Trebate li stroj koji može isporučiti stotine bilijuna izračuna s pomičnim zarezom u sekundi? Ili vam treba priča o šanku o tome kako je superračunalo u vašem podrumu prebacilo prekidač? Izgradnja vlastitog računalnog klastera visokih performansi, zvanog superračunalo, izazov je za svakog stručnjaka koji voli vikend s slobodnim vremenom i nešto novca za spaljivanje. Tehnički gledano, moderno, višeprocesorsko superračunalo je mreža računala koja paralelno rade zajedno kako bi riješila problem. Ovaj članak će ukratko opisati svaki korak u procesu, s naglaskom na hardver i softver.
Koraci
Korak 1. Prvo odredite hardverske komponente i potrebne resurse
Trebat će vam jedan glavni čvor, najmanje desetak identičnih računskih čvorova, Ethernet prekidač, jedinica za distribuciju energije i stalak. Odredite potrebnu električnu energiju, potrebno hlađenje i potreban prostor. Također odlučite koju IP adresu želite za svoje privatne mreže, kako nazvati čvorove, koje softverske pakete želite instalirati i koju tehnologiju želite omogućiti paralelnim računalima (više o tome kasnije).
- Iako je hardver skup, sav softver naveden u ovom priručniku besplatan je, a većina je otvorenog koda.
- Ako želite vidjeti koliko bi vaše superračunalo teoretski bilo brzo, upotrijebite ovaj alat:
Korak 2. Izgradite računske čvorove
Morat ćete sastaviti računske čvorove ili nabaviti poslužitelje za predgradnju.
- Odaberite kućište računalnog poslužitelja koje maksimalno povećava prostor, hlađenje i energetsku učinkovitost.
- Ili možete upotrijebiti desetak rabljenih, zastarjelih poslužitelja - čija će cjelina nadmašiti zbroj njihovih dijelova, ali će vam uštedjeti priličnu količinu novca. Svi procesori, mrežni adapteri i matične ploče trebaju biti identični kako bi cijeli sustav mogao lijepo svirati. Naravno, ne zaboravite na RAM i pohranu za svaki čvor i barem jedan optički pogon za čvor head.
Korak 3. Instalirajte poslužitelje u stalak
Počnite od dna, tako da stalak nije težak odozgo. Trebat će vam prijatelj koji će vam u tome pomoći - gusti poslužitelji mogu biti vrlo teški i teško ih je uvesti u šine koje ih drže u stalku.
Korak 4. Instalirajte Ethernet prekidač iznad kućišta poslužitelja
Iskoristite ovaj trenutak za konfiguriranje prekidača: dopustite velike veličine okvira od 9000 bajtova, postavite IP adresu na statičku adresu koju ste odlučili u 1. koraku i isključite nepotrebne protokole usmjeravanja, poput SMTP Snoopinga.
Korak 5. Instalirajte PDU (jedinicu za distribuciju energije)
Ovisno o tome koliko će struje vašim čvorovima možda trebati pri maksimalnom opterećenju, možda će vam za računanje visokih performansi trebati 220 volti.
Korak 6. Nakon što je sve instalirano, možete započeti proces konfiguracije
Linux je de facto OS za HPC klastere - ne samo da je idealno okruženje za znanstveno računanje, već i ne košta instalacija na stotine ili čak tisuće čvorova. Zamislite koliko bi koštalo instaliranje Windowsa na sve te čvorove!
- Počnite s instaliranjem najnovije verzije BIOS -a matične ploče i firmvera, koji bi trebali biti isti na svim čvorovima.
- Instalirajte željeni linux distro na svaki čvor, s grafičkim korisničkim sučeljem za čvor head. Popularni izbori uključuju CentOS, OpenSuse, Scientific Linux, RedHat i SLES.
- Ovaj autor toplo preporučuje korištenje distribucije klastera Rocks. Uz instaliranje svih alata potrebnih za funkcioniranje računalnog klastera, Rocks koristi izvrsnu metodu za 'distribuciju' mnogih svojih instanci na čvorove vrlo brzo koristeći PXE boot i Red Hat 'Kick Start' proceduru.
Korak 7. Instalirajte sučelje za prenošenje poruka, upravitelja resursa i druge potrebne knjižnice
Ako niste instalirali Rocks u prethodnom koraku, morat ćete ručno postaviti potreban softver za omogućavanje paralelnih računalnih mehanizama.
- Prvo će vam trebati prijenosni sustav za upravljanje bashom, poput Torque Resource Managera, koji vam omogućuje rastavljanje i raspodjelu zadataka na više strojeva.
- Uparite okretni moment s Maui Cluster Schedulerom kako biste dovršili postavljanje.
- Zatim ćete morati instalirati sučelje za prenošenje poruka, potrebno za pojedinačne procese na zasebnim računalnim čvorovima za dijeljenje istih podataka. OpenMP je jednostavno.
- Ne zaboravite matematičke biblioteke i prevoditelje s više niti za izradu vaših programa za paralelno računanje. Jesam li spomenuo da trebate samo instalirati Rocks?
Korak 8. Umrežite računske čvorove zajedno
Glavni čvor šalje računske zadatke računskim čvorovima, koji pak moraju poslati rezultat natrag, kao i međusobno slanje poruka. Što brže to bolje.
- Za povezivanje svih čvorova u klasteru upotrijebite privatnu ethernet mrežu.
- Glavni čvor može djelovati i kao NFS, PXE, DHCP, TFTP i NTP poslužitelj preko Ethernet mreže.
- Morate odvojiti ovu mrežu od javnih mreža, što osigurava da emitirani paketi ne ometaju druge mreže u vašem LAN -u.
Korak 9. Testirajte klaster
Posljednja stvar koju biste mogli htjeti učiniti prije nego što svom računaru prepustite svu ovu računalnu snagu jest provjeriti performanse. HPL (Lynpack visoke performanse) mjerenje popularan je izbor za mjerenje računalne brzine klastera. Morat ćete ga sastaviti iz izvora sa svim mogućim optimizacijama koje vaš prevoditelj nudi za arhitekturu koju ste odabrali.
- Naravno, morate sastaviti iz izvora sa svim mogućim opcijama optimizacije za vašu platformu. Na primjer, ako koristite AMD procesore, kompajlirajte s Open64 s -0brzom razinom optimizacije.
- Usporedite svoje rezultate na TOP500.org kako biste usporedili svoj klaster s najbržih 500 superračunala na svijetu!
Video - Korištenjem ove usluge neki se podaci mogu podijeliti s YouTubeom
Savjeti
- Za stvarno velike mrežne brzine, pogledajte mrežna sučelja InfiniBand. Budite spremni platiti premijske cijene.
- IPMI može učiniti upravljanje velikim klasterom lakim pružanjem KVM-over-IP-a, daljinskog uključivanja napajanja itd.
- Pomoću Ganglia pratite računalna opterećenja na čvorovima.
