Avainsana-arkisto: LSI

FreeNAS levypalvelimen raudan valinta

Vanhasta levypalvelimesta alkoi loppua tila kesken. Se koostui kahdesta erillisestä Buffalon levypalvelimesta, josta uudempi LinkStation LS-WXL toimi varsinaisena tietovarastona ja vanhempi LinkStation LS-WTGL teki kerran viikkoon varmuuskopiot. Kummankin laitteen kaksi levyä oli peilattu, jolloin tieto oli nelinkertaisesti varmistettu. Tämän takia tallennuskapasiteettia on ollut käytössä vain 500 Gt (25 % levykapasiteetista).

IMG_2462

RAID levyjärjestelmät ja tasot

RAID levyjärjestelmän huonona puolena voidaan pitää sitä, että vaikka ne selviävät levyrikosta, niin ohjainkortin leviäminen onkin kinkkisempi juttu. Jotta vanhan levypakan tiedot saisi luettua, tarvitaan identtinen laite (ohjain) johon levyt kytkeä. Vastaavan raudan hankkiminen voi kuitenkin olla hankalaa tai jopa mahdotonta kun aikaa on kulunut muutamia vuosia laitteen hankkimisesta. RAID -ohjaimen muokkaama ja tallentama data on aina valmistajakohtaista, jolloin eri valmistajan ohjain ei toimi vanhojen levyjen tietojen lukemiseen. Tämän takia vara ohjain tulisi hankkia samalla kertaa kun muuta järjestelmää on hankkimassa.

Softa RAID poistaa rautariippuvuuden, mutta koska aiemmin olen käyttänyt kaupallisia tuotteita, ongelma on aina ollut läsnä. Tästä syytä vanhassa järjestelmässä kummankin laitteen levyt oli peilattu laitekohtaisesti, sekä laitteet keskenään. Tällainen järjestely hukkaa valtavasti levytilaa, mutta sen pitäisi olla hyvin vikasietoinen sekä ohjainkortti että levyvikoja vastaan. RAID -tason valinta vaikuttaa myös tietojen luku ja kirjoitusnopeuteen.

RAID -tasoja löytyy muutamia:

  • RAID 0, eli tietojen lomitus. Tässä yhdistetään levyt yhdeksi asemaksi. Jos yksi levy hajoaa, kaikki tiedot katoavat. Tästä syystä RAID 0-tasoa ei tulisi käyttää sellaisenaan missään, ei ainakaan ilman varmuuskopiointia. Tämä vaihtoehto tarjoaa käyttöön 100 % asennetusta kapasiteetista. Tarvitsee vähintään kaksi levyä.
  • RAID 1, eli tietojen peilaus. Tässä sama data tallennetaan kahdelle levylle. Yhden levyn hajoaminen ei vaikuta tallennettuun dataan. Tämä vaihtoehto tarjoaa kahdella levyllä 50 % asennetusta kapasiteetista. Tarvitsee vähintään kaksi levyä.
  • RAID 5, vähän kuin RAID 0, mutta sisältää lisäksi pariteetti data levyn, jolloin minkä tahansa yksittäisen levyn hajoaminen ei kadota tietoja. Tämä vaihtoehto tarjoaa C * (N-1) kokoisen kapasiteetin, esimerkiksi kolmella levyllä toteutettuna 66 % asennetusta kapasiteetista saadaan hyötykäyttöön. Tarvitsee vähintään kolme levyä.
  • RAID 6 on kuten RAID 5, mutta yhden levyn sijaan siinä on kaksi pariteetti levyä, jolloin kaksi levyistä voi hajota tietojen katoamatta. Tämä vaihtoehto tarjoaa C * (N-2) kokoisen kapasiteetin, esimerkiksi neljällä levyllä toteutettuna 50 % kapasiteetista jää hyötykäyttöön, kuudella levyllä hyötysuhde nousee jo 66 %:iin. Tarvitsee vähintään neljä levyä.
  • RAID 0+1, yhdistää sekä tietojen lomituksen että peilauksen. Pelkkää 0-tasoa ei kannata käyttää, vaan käyttää esimerkiksi 0+1. Tämä vaihtoehto tarjoaa 50 % asennetusta kapasiteetista. Tarvitsee vähintään neljä levyä.
  • Lisäksi löytyy tasot 10, 50 ja 60, joita en tässä ala käymään läpi. Lisätietoa näistä ja edellä mainituista tasoista voi käydä lukemassa esimerkiksi täältä.

RAID levyjärjestelmä ei poista tietojen varmuuskopioinnin tarvetta, tästä syystä vanha järjestelmä oli toteutettu kahdella erillisellä laitteella jossa data sijaitsi. Täten myös uusi järjestelmä tulee sisältämään datat kahdessa eri järjestelmässä.

Vaatimukset uudelle levypalvelimelle:

  • Alhainen tehonkulutus
  • Nykyistä järjestelmää nopeampi (vanhassa noin 6Mbit/s)
  • Nykyistä vikasietoisempi => RAID 6 levyjärjestelmä
  • Reilusti kapasiteettia
  • Levyjen salausmahdollisuus
  • Helpompi korjata ja päivittää tarpeen tullen
  • Pitää saada sijoitettua räkkikaappiin
  • Etähallinta mahdollisuus


Vaihtoehdot

Kaupalliset isokapasiteettiset levypalvelimet ovat arvokkaita. Western Digitalin, WD My Cloud EX4 24 Tt -levypalvelin kustantaa 1710€, tukien tasoja 0, 1, 5 ja 10. RAID 5-tasolla kapasiteettia jää hyötykäyttöön 18 Tt. Tällöin varmennetun terabitin hinnaksi muodostuu 95€.

WD:n levypalvelin ei kuitenkaan tue RAID 6-tasoa, jolla seuraava levypalvelin oli tarkoitus toteuttaa. Koska tämä malli on jo näin kallis, laite joka tukisi 6-tasoa on vieläkin kalliimpi. Täten vaihtoehdoksi jää rakentaa levypalvelin itse. Näin toteutettuna levypalvelimesta saa juuri sellaisen kun haluaa ja varaosien hankkiminen on huomattavasti helpompaa ja halvempaa. Lisäksi omilla valinnoilla voi vaikuttaa järjestelmän kokonaishintaan, mutta valitettava tosiasia on että levykapasiteetti on se mikä maksaa kaikkein eniten.

Komponentit

Seuraavassa on listaus komponenteista jotka levypalvelimen osiksi lopulta valikoitui. Osa komponenteista on hankittu jo 4 vuotta sitten virtuaalipalvelinta varten, jotka jatkossa hoitavat levypalvelimen virkaa. Alle listatut hinnat ovat hankintahetkien hintoja, joten tänä päivänä saa varmasti nopeampaa ja halvempaa rautaa.

TuoteKuvausMääräá-hintaHinta yht.
KoteloSharkoon MS120 MicroATX144,90€44,90€
EmolevyAsus P7F-M1202,90€202,90€
ProsessoriIntel Core i5-760 2.8GHz1158,90€158,90€
KeskusmuistiG.Skill Ares DDR3 1333MHz 2x4Gb247,90€95,80€
TeholähdeSilentiumPC Vero L1 500W149,90€49,90€
KovalevytWestern Digital Red 3TB7113,90€797,30€
SSD-levytKingston HyperX FURY SSD 120 Gb244,90€89,80€
USB-muistiKingston DataTraveller micro 8GB17,90€7,90€
EtähallintaAsus ASMB4-iKVM1~20€~20€
RAID-ohjainLSI SAS 9211-8i164,77€64,77€
SATA-kaapelitHP Amphenol MiniSAS SFF-8087 to 4xSATA29,79€19,58€
Toimituskulut~15€
Yhteensä~1567€

Tällä kokoonpanolla kahdella pariteettilevyllä varmistetun levypalvelimen hyötykäyttö terabitin hinnaksi muodostuu 104,50€/Tt. Tässä ei selvinnyt yhtään halvemmalla kuin valmiilla kaupallisella tuotteella, mutta näin saan RAID 6 käyttöön, järjestelmä ei ole enää rautariippuvainen softa RAID:in ansiosta, sekä tietysti rakentamisen ilo. Lisäksi FreeNAS mahdollistaa julmetun määrän säätömahdollisuuksia, levyjen salauksen sekä erilaisten palveluiden ajamista, kuten iSCSI ja PLEX. Tosin vastaavia ominaisuuksia löytyy myös kaupallisista laitteista nykypäivänä.

Valintakriteerit

Levypalvelimeen ei kannata valita mitään kallista ja nopeinta rautaa. Emolevyksi kelpaa mikä tahansa emolevy, sen ei ole pakko olla palvelinkäyttöön tarkoitettu. Jos nurkissa pyörii vanha, mutta edelleen toimiva tietokone, on siinä hyvä alusta levypalvelimelle.

Koska halusin mahdollisuuden etäkäyttöön, oli ainoa vaihtoehto käyttää palvelinemolevyä. Palvelinkäyttöön tarkoitettuja microATX emolevyjä kourallisella SATA -liittimiä ei kuitenkaan ole helppo löytää ja kun sellaisen löytää, on hinta huikea (~600€). Prosessoriksi on valittu edullisin malli joka emolevyn kantaan sopii.

Koska halusin iKVM etähallinnan koneelle, enkä halunnut maksaa uudesta emolevystä järkyttäviä summia, tuli eteen levy/RAID -ohjaimen hankkiminen. Lähtökohtaisesti kaikki alle 100€ hintaiset ohjainkortit kannattaa unohtaa. LSI 9211-8i on piireissä hyväksi ja luotettavaksi kehuttu, joten päädyin itsekin samaan valintaan. Kyseinen ohjain on huomattavan kallis, noin 400€, mutta kuten laiteluettelosta voit huomata, en moista summaa ole kortista kuitenkaan maksanut. Lisää ohjainkortin hankkimisesta ja ohjelmiston päivittämisestä voi lukea toisesta blogauksestani.

ZFS -tiedostojärjestelmä on muistisyöppö, mitä enemmän keskusmuistia on, sitä parempi. Minimi muistinmäärä on 8 Gt, suositus vähintään 16 Gt. Koska entiseen virtuaalipalvelimeen olin aikoinani ostanut 16 Gt muistia, oli tämä puoli siltä osin kunnossa.

Kovalevyiksi valikoitui 7 kpl Western Digital RED 3 Tt, jotka on tarkoitettu NAS käyttöön. 3 Tt mallit valikoituivat kokonaishinnan perusteella. RAIDZ2 järjestelmässä on kaksi pariteettilevyä, halvin kombinaatio levyjen määrä suhteessa niiden hintaan muodostui 3 Tt levyistä, kun käyttökapasiteettitavoitteeksi asetti noin 15 Tt.

SSD levyt eivät ole pakollisia, mutta niillä pitäisi voida nopeuttaa levypalvelimelle kirjoittamista ja lukemista. Levyt toimivat välimuistina, mikäli keskusmuisti ei riitä. Jättämällä nämä levyt pois, saa systeemin hintaa pudotettua 90€.

Kotelo valikoitui ulkomittojen, sekä etusäleikön tuplapuhaltimien takia. Kotelo vetää vakiona tosin vain 2kpl 3,5″ kovalevyjä tai 4 kpl 2,5″ levyjä. Mikäli valmistaja olisi suunnitellut kovalevykehikon noin 5mm leveämmiksi, sekä olisi lisännyt reiät kovalevyille, olisi kotelossa ollut tilaa seitsemälle levylle, sentin ilmanvaihtoraoilla. Koska koteloa ei ollut näin toteutettu, piti sitä hieman modifioida. 5.25″ asemapaikalle saa asennettua vielä yhden kovalevyn, jota tulevaisuudessa voin hyödyntää vaikka Hot-Spare -levynä RAID -pakassa.

IMG_2266 IMG_2265

Vaikka kovalevyt ovat virtapihejä, vajaa 5W/kpl kirjoittaessa/lukiessa ja prosessori mahdollisimman pienitehoinen, valitsin hyvähyötysuhteisen 500W teholähteen. Järjestelmä syö arviolta 60W verran tehoa ollessaan päällä, joten teholähde riittää paremmin kuin hyvin. Virtalähde on mitoitettu lähinnä käynnistyshetkeä varten, sekä toimimaan mahdollisimman hiljaisesti alhaisella kuormituksella, sillä laitteisto tulee olemana päällä 24/7/365.

FreeNAS:in kotisivuilta voi lukea lisää järjestelmän minimivaatimuksista.

Jutun seuraavassa osassa käsittelen FreeNAS:in asennusta ja parametrointia.

LSI SAS 9211-8i levyohjain ja P20 IT firmwaren päivittäminen

Hankin Kiinasta levypalvelinta varten PCIe-liitäntäisen LSI SAS 9211-8i -levyohjaimen, sillä emolevyssä ei ollut riittävästi SATA-portteja tarpeisiini. Kyseinen kortti on ns. OEM-tuote ja näyttää täysin identtiseltä kuin Avago SAS 9211-8i (Avago on entinen LSI). Avagon sivuilta löytyvät ohjekirjat, ohjelmistot jne. soveltuvat suoraan OEM-ohjaimelle. Eroa on ainoastaan paketoinnissa sekä hinnassa.

Siinä missä LSI/Avago SAS 9211-8i maksaa suomessa 335-470€, maksoi se Kiinasta tilattuna vain 64€. Tätä juttua kirjoitettaessa hinta on pudonnut 48€ paikkeille toimituskuluineen. Myyjänä toimi eBayssä käyttäjä alex_xu10, joka vastasi kyselyihin nopeasti ja hoiti postittamisen ym. kommervenkit kunnialla, joita matkalla oli Kiinan turvatarkastusten kanssa. Kokemusteni perusteella luotettava ja hyvä myyjä, suosittelen. Linkki ohjainkorttiin myyjän sivuille. Mukana seuraa ohjainkortti, matalan ja korkean pofiliin kiinnitysrauta sekä ajurilevy, josta löytyy aika vanhahkot (P14) ajuriversiot.

IMG_2319 IMG_2321

Pelkkä ohjainkortti ei kuitenkaan riitä, vaan tarvitaan myös kaapelit kovalevyjen kytkemiseksi ohjainkorttiin. Kaapelin tulee olla oikean tyyppinen, jotta halutun tyyppiset kovalevyt toimivat ohjaimen kanssa. Tässä tapauksessa ohjainkortin päässä on 2 kpl MiniSAS SFF-8087 liittimiä, jotka tarvitsee saada muutetuksi SATA-liittimiksi SATA-levyille (ei SAS-levyille).

IMG_2320

Tilasin kaapeleita kaksi kappeletta eBaystä. Myyjänä qbtl, tuote HP Amphenol MiniSAS SFF-8087 to 4xSATA, hintaa toimituskuluineen kahdelle kaapelille yhteensä vajaa 20€. Tämäkin myyjä oli nopea ja luotettava, suosittelen. Suomessa yksittäinen vastaavan tyyppinen kaapeli maksaa valmistajasta riippuen 20-60€/kpl.

IMG_2264

Sitten itse asiaan, eli ohjelmiston version tarkistaminen, esivalmistelut sekä päivittäminen.

FreeNAS:in asennuksen jälkeen järjestelmä antoi varotuksen väärästä ohjelmaversiosta ohjainkortilla. Tähän osasin varautua, sillä kortit toimitetaan IR ohjelmistolla (Integrated RAID), joka tarkoittaa kortin sisäistä RAID toimintoa. Ohjelmisto pitää päivittää IT-versioon (Initiator Target), jotta ohjainta voi käyttää softa raidin kanssa. Levyt löytyvät ja näkyvät FreeNAS:ssa väärästä ohjelmaversiosta huolimatta, joten tämän ei pidä antaa hämätä.

lsi_versio

FreeNAS 9.10-STABLE versiossa on bugi, sillä P21 ohjelmistoversiota ei ole olemassa ohjainkortille. Uusin versio on P20, jonka kanssa FreeNAS toimii vaikka versio virhettä kiljuukin vielä päivityksen teon jälkeenkin.

lsi_versio2

Ohjelmiston päivittämisen kanssa tulee olla varovainen, sillä buuttaus tai sähkökatko kesken firmwaren päivittämisen saa aikaan kortin hajoamisen.


Mitä tarvitaan:

  • LSI SAS 9211-8i ohjain
  • USB muisti, koolla ei väliä
  • Rufus, USB-tikun formatoimiseksi
  • Uusin versio kortin firmwaresta ja asentaja ohjelmasta
    • 9211-8i_Package_P20_IR_IT_Firmware_BIOS_for_MSDOS_Windows
    • Installer_P20_for_MSDOS_and_Windows


USB-muistin luominen:

Formatoi USB-muisti alla olevan kuvan asetuksilla.

rufus_lsi_usb_format

Kopioi USB-muistiin seuraavat tiedostot lataamistasi paketeista:

  • sas2flsh.exe (asentaja paketin hakemistosta \sas2flash_dos_rel\)
  • 2118it.bin (P20 firmis paketin hakemistosta \Firmware\HBA_9211_8i_IT\)
  • mptsas2.rom (P20 firmis paketin hakemistosta \sasbios_rel\)

Tämän jälkeen varmista BIOS asetuksista, että kone buuttaa USB muistilta.

Firmwaren päivittäminen:

    1. Ensimmäiseksi tarkistetaan, että päivitysohjelma näkee oikean ohjainkortin. Tähän käytetään komentoa sas2flsh.exe -listall. Operaatio kestää noin minuutin.lsi_2_listall

      Vaikka kyseessä on SAS 9211-8i ohjain, syystä tai toisesta ohjelma näyttää valitun ohjaimen olevan SAS2008(B2). Kyseessä on yksi ja sama ohjain, nimeäminen voisi vain olla loogisempaa. Tämän nimen näkee koneen buutin yhteydessä, samassa listassa johon ohjain luettelee liitetyt kovalevyt. Jutun lopussa palaan asiaan lyhyesti. Ongelmien välttämiseksi kaikki muut ohjaimet ja lisäkortit kannattaa poistaa koneesta ennen päivityksen tekemistä.

    2. Kun oikea ohjain on varmuudella löydetty, voidaan jatkaa ohjaimen firmwaren poistamisella. Poistaminen tapahtuu komennolla sas2flsh.exe -o -e 6. Tyhjentämisessä menee hetki. Tämän komennon suorittamisen jälkeen koneen sammuminen on ohjaimen kannalta katastrofaalista.lsi_3_erase
    3. Onnistuneen tyhjennyksen jälkeen on aika ajaa uusi ohjelmaversio sisälle. Tämä tapahtuu komennolla sas2flsh.exe -o -f 2118it.bin -b mptsas2.rom. Päivityksen aikana vilisee pari ruudullista päivitykseen liittyvää statustietoa.lsi_4_update2
    4. Lopuksi tarkistetaan sas2flsh.exe -listall komennolla, että ohjelmaversio on päivittynyt.lsi_5_listall
    5. Päivitys on valmis ja koneen voi käynnistää uudelleen.

Koneen käynnistymisen yhteydessä ohjain luettelee siihen liitetyt levyt, mutta myös itsensä. Kun aiemmin puhuin ohjaimen epäloogisesta nimeämisestä, niin ensimmäiseltä listan riviltä löytyy tämä mystinen nimi, joka vahvistaa kyseessä olevan yksi ja sama ohjain.

lsi_6_buutti

Kun buutin yhteydessä paina Ctrl-C, voi käydä vielä asetusohjelman kautta tarkistamassa asennetun ohjelmaversion, joka tässä tapauksessa on siis 20.00.07.00-IT.  Tätä kautta tarkasteltuna ohjaimen nimi vastaa sen tyyppiä.

lsi_7_versio

Vaihtoehtoisesti päivittämisessä voisi käyttää EFI shell:iä, mutta koska Asuksen lankku ei tätä menetelmää tukenut, turvauduin DOS vaihtoehtoon. Myös versiot VMwarelle, Solarikselle, Linuxille ja FreeBSD:lle on tarjolla, joista voi valita haluamansa. Ylläolevat ohjeet pätevät, käytit sitten mitä asentajaa tahansa.