Saturs

• Pakāpieni
• Padomi
• Brīdinājumi

Vai meklējat mašīnu, kas sekundē varētu veikt simtiem triljonu peldošā komata aprēķinu? Vai arī jūs vienkārši vēlaties lepoties ar draugiem par superdatoru, kas uzstādīts jūsu istabā? Augstas veiktspējas skaitļošanas klastera vai superdatora izveidošana ir izaicinājums, kuru var mēģināt paveikt ikviens entuziasts, kuram ir brīva nedēļas nogale un nedaudz naudas. Tehniski runājot, daudzprocesoru superdators ir datoru tīkls, kas darbojas kopā, lai atrisinātu problēmu. Šajā rakstā būs īsi aprakstīts katrs procesa posms, galveno uzmanību pievēršot aparatūrai un programmatūrai.

Pakāpieni

1. 

   Vispirms nosakiet nepieciešamos aparatūras komponentus un resursus. Jums būs nepieciešams galvas mezgls, vismaz 12 identiski tīkla mezgli, Ethernet slēdzis, enerģijas sadales bloks un statīvs. Nosakiet nepieciešamo elektrības, dzesēšanas un telpas pieprasījumu. Izlemiet arī, kuru IP adresi vēlaties izmantot privātajiem tīkliem, kā nosaukt mezglus, kuras programmatūras paketes vēlaties instalēt un kuru tehnoloģiju izmantos paralēlas skaitļošanas veikšanai (vairāk par to vēlāk).
   • Lai arī aparatūra ir dārga, visas rokasgrāmatā uzskaitītās programmas ir bezmaksas, un vairums no tām ir atvērtā koda programmas.
   • Ja vēlaties redzēt, cik ātrs teorētiski būtu jūsu superdators, izmantojiet šo rīku: http://hpl-calculator.sourceforge.net/

2. 

   
   
   Izveidojiet mezglus. Jums būs jāmontē mezgli vai jāiegādājas iepriekš samontēti serveri.
   • Izvēlieties servera šasiju, kas maksimāli palielina vietu, dzesēšanu un enerģijas patēriņu.
   • Varat arī izmantot vairākus novecojušus serverus - to kopējās izmaksas būs lielākas nekā detaļu summa, taču jūs tomēr daudz ietaupīsit. Visiem procesoriem, tīkla adapteriem un mātesplatēm jābūt identiskām, lai sistēma darbotos labi. Acīmredzot katrā mezglā noteikti iekļaujiet RAM un atmiņu, kā arī vismaz vienu galvas mezgla optisko diskdzini.

3. 

   
   
   Instalējiet serverus statīvā. Sāciet no apakšas, lai tā augšdaļa nebūtu pārāk smaga. Tam jums būs nepieciešama draugu palīdzība - blīvi serveri var būt ļoti smagi, un ir grūti tos vadīt pa celiņiem, kas tos tur.

4. 

   Instalējiet Ethernet slēdzi virs servera šasijas. Šoreiz veltiet laika slēdža konfigurēšanai: iespējojiet jumbo kadru izmērus 9000 baitu, iestatiet IP adreses uz statisko adresi, kas noteikta pirmajā solī, un atspējojiet nevajadzīgus maršrutēšanas protokolus, piemēram, SMTP Snooping.

5. 

   
   
   Instalējiet strāvas sadales bloku. Atkarībā no tā, cik lielu strāvu mezgli prasīs ar pilnu slodzi, augstas veiktspējas skaitļošanai jums var būt nepieciešams 220 volti.

6. 

   Kad viss ir instalēts, jūs varat sākt konfigurācijas procesu. Linux ir ideāla operētājsistēma HPC klasteriem - tā ir ne tikai ideāla vide zinātniskai skaitļošanai, bet arī brīvi instalējama simtiem vai pat tūkstošiem mezglu. Iedomājieties, cik maksātu Windows instalēšana visos šajos mezglos?
   • Sāciet ar mātesplates BIOS un programmaparatūras jaunākās versijas instalēšanu, kurai visiem mezgliem jābūt identiskiem.
   • Katrā mezglā instalējiet iecienīto Linux versiju ar galvas mezgla grafisko interfeisu. Pie populārām iespējām pieder CentOS, OpenSuse, Scientific Linux, RedHat un SLES.
   • Varat arī izmantot Rocks Cluster Distribution. Papildus visu klastera darbībai nepieciešamo rīku instalēšanai Rocks izmanto lielisku metodi, lai ļoti ātri sadalītu vairākus gadījumus mezglos, izmantojot PXE sāknēšanu un Red Hat “Kick Start” procedūru.

7. 

   Instalējiet ziņojumapmaiņas saskarni, resursu pārvaldību un citas nepieciešamās bibliotēkas. Ja iepriekšējā posmā neinstalējāt Rocks, jums būs manuāli jākonfigurē programmatūra, kas nepieciešama paralēlo skaitļošanas mehānismu iespējošanai.
   • Pirmkārt, jums būs nepieciešama pārnēsājama liela mēroga pārvaldības sistēma, piemēram, Torque Resource Manager, kas ļauj sadalīt un sadalīt uzdevumus vairākās mašīnās.
   • Pārveidojiet griezes momentu ar Maui klasteru plānotāju, lai pabeigtu instalēšanu.
   • Pēc tam jums būs jāinstalē ziņojumu pārraides saskarne, kas nepieciešama dažādu mezglu atsevišķiem procesiem, lai koplietotu tos pašus datus. OpenMP ir ērti lietojams.
   • Neaizmirstiet vairāku pavedienu matemātiskās bibliotēkas paralēlām skaitļošanas programmām. Tas tiešām ir vienkāršāk, ja instalējat Rocks.

8. 

   Pievienojiet datora mezglus. Galvas mezgls nosūta uzdevumus datora mezgliem, kuriem pēc tam ir jānosūta rezultāts atpakaļ, kā arī jānosūta ziņojumi viens otram. Jo ātrāk, jo labāk.
   • Izmantojiet privātu Ethernet tīklu, lai savienotu visus klastera mezglus.
   • Galvas mezgls var arī darboties kā NFS, PXE, DHCP, TFTP un NTP serveris Ethernet tīklā.
   • Šis tīkls ir jānošķir no publiskajiem tīkliem, kas nodrošina, ka pārraides paketes netraucēs citus jūsu LAN tīklus.

9. 

   Pārbaudiet kopu. Pēdējais, ko vēlaties darīt, pirms lietotājiem atlaidāt visu skaitļošanas jaudu, ir pārbaudīt viņu veiktspēju. HPL (High Performance Lynpack) etalons ir populāra izvēle klastera skaitļošanas ātruma mērīšanai. Jums tas būs jāapkopo no avota ar visām iespējamām optimizācijām, kuras kompilators piedāvā izvēlētajai arhitektūrai.
   • Acīmredzot jums jāapkopo no visiem avotiem ar visām iespējamām jūsu platformas optimizācijām. Piemēram, ja izmantojat AMD CPU, sastādiet ar Open 64 ar -0fast optimizācijas līmeni.
   • Salīdziniet rezultātus vietnē TOP500.org, lai salīdzinātu savu kopu ar 500 ātrākajiem superdatoriem pasaulē!

Padomi

• IPMI var atvieglot liela klastera administrēšanu, nodrošinot KVM over-IP, attālinātas apstrādes releju un daudz ko citu.
• Lai sasniegtu patiešām lielu tīkla ātrumu, meklējiet InfiniBand tīkla saskarnes. Cenas tomēr nav īpaši pieņemamas.
• Izmantojiet Ganglia, lai uzraudzītu mezglu skaitļošanas slodzi.

Brīdinājumi

• Pārliecinieties, vai jūsu infrastruktūra var izturēt slodzi, kas tiem uzlikta.