IBM je poznat po tome da poseduje svoju terminologiju i skraćenice za iste stvari za koje drugi proizvođači koriste standardne nazive. Ovo je (delimični) spisak tih skraćenica koji ću vremenom proširivati kako mi koja skraćenica “padne pod ruku”. Deo skraćenica nije IBM-ov ali ih isti često koristi pa su i one navedene.

• AIX – Advanced Interactive Executive (IBM’s implementation of the UNIX Operating System)
• DASD – Direct Access Storage Device. (IBM’s term for a hard disk)
• DDM – Disk Drive Module (IBM’s term for a hard disk)
• RISC – Reduced Instruction Set Computer
• HMC – Hardware Management Console
• SPNC – System Power Control Network
• MCM – Multi Chip Module
• DCM – Dual Chip Module
• CEC – Central Electronic Complex
• CPC – Cluster Processor Complex
• ASMI – Advanced System Management Interface
• WebSM – Web based System Manager
• PPAR – Physical Partition
• LPAR – Logical Partition
• LIC – Licensed Internal Code
• LMB – Logical Memory Block
• DLPAR – Dynamic Logical Partitioning
• WPAR – Workload Partition
• NIM – Network Installation Manager
• BOS – Base Operating System
• POST – Power on Self Test
• SMIT – System Management Interface Tool
• LPP – Licensed Program Products
• ODM – Object Data Manager
• RSPC – PowerPC Reference Platform
• CHRP – Common Hardware Reference Platform
• BLV – Boot Logical Volume
• LVM – Logical Volume Manager
• VGDA – Volume Group Descriptor Area
• VGSA – Volume Group Status Area
• LVCB – Logical Volume Control Block
• HACMP – High Availability Cluster Multi-Processing
• MWC – Mirror Write Consistency
• SRC – System Resource Controller
• NDAF – Network Data Facillity
• LMT – Lightweight Memory Trace
• RTEC – Real Time Error Checking
• VMM – Virtual Memory Manager
• IPC – Inter Process Communication
• PSMD – Page Size Management Daemon
• MPIO – Multi Path IO
• PCM – Path Control Module
• FFDC – First Failure Data Capture
• HPM – Hardware Performance Monitor
• PURR – Processor Utilization Resource Register
• SPURR – Scaled Processor Utilization Resource Register
• MLS – Multi Level Security (Trusted AIX)
• APAR – Authorized Program Analysis Report
• CKD – Count Key Data (zSeries)
• DFSMS – Data Facility Storage Management System
• ESCON – Enterprise System Connection
• EPO – Emergency Power Off
• FICON – Fibre Channel Connection
• FC-AL – Fibre Channel Arbitrated Loop
• FRU – Field Replaceable Unit
• GDPS – Geographically Dispersed Parallel Sysplex
• HCD – Hardware Configuration Data
• IML – Initial Microcode Load
• IPL – Initial Program Load
• LSS – Logical Sub System
• MAP – maintenance analysis procedure
• MLC – Machine Level Control
• MRPD – Machine Reported Product Data
• MES – miscellaneous equipment specification
• MTBF – mean time between failures
• SDD – Subsystem Multipathing Device Driver
• VPD – Vital Product Data
• WWNP – worldwide port name
• WWNN – worldwide node name

Luka Gerzic AIX, IBM P Serija, Storage AIX, apar, asmi, blv, bos, cec, chrp, ckd, cpc, dasd, dcm, ddm, dfsms, dlpar, epo, escon, fcal, ffdc, ficon, fru, gdps, hacmp, hcd, hmc, hpm, ibm, iml, ipc, ipl, lic, lmb, lmt, lpar, lpp, lss, lvcb, lvm, map, mcm, mes, mlc, mls, mpio, mrpd, mtbf, mwc, ndaf, nim, odm, pcm, post, ppar, psmd, purr, risc, rspc, rtec, sdd, smit, spnc, src, vgda, vgsa, vmm, vpd, wpar, wwnn, wwnp

Za slučaj da nekome zatreba kao meni, ako tražite način da utvrdite šta se dešava u kom momentu prilikom podizanja mašine evo linkova ka IBM sajtu za većinu progres kodova koji vas mogu interesovati. Progres kodovi (tkz. Reference code) koji se pojavljuju prilikom podizanja IPL-a (Initial Program Load) na IBM P seriji (uglavnom su 8 karaktera sem ukoliko to nije drugačije naznačeno). Par primera ovih kodova bi bio:  C1202000, C2001000, C600407E, C7004091 itd. Ovi kodovi mogu biti prikazani na HMC konzoli prilikom podizanja, reboot-a ili shutdown-a particije, a grupišu se u nekoliko celina u zavisnosti od segmenta koji sistem ispituje:

• 4–char. codes (begin with a space character, a zero, or a two) – AIX IPL progress codes
• BCxx (4 char.) – (BCxx) Base motherboard controller progress codes
• C1xx – Service processor progress codes
  
  • (C1xx) Service processor progress codes (checkpoints)
  • (D1xx) Service processor progress codes (service processor dump and platform dump)
  • (D1xx) Service processor status progress codes

• C2xx – (C2xx) Virtual service processor progress codes
• C3yx, C500, C5yx, C600, C6xx – IPL status progress codes
• C700 – (C700) Server firmware IPL status progress codes
• C900 – (C900) IPL status progress codes
• CAxx – (CAxx) Partition firmware progress codes
• Dxxx (4 char.) – (Dxxx, Exxx) System firmware progress codes (Models A50, 185 only)
• D1xx – Service processor progress codes
• D2xx – (D200) Partition status progress codes
• D6xx – (D6xx) General status progress codes
• D9xx – (D9xx) General status progress codes
• Exxx (4 char.) – (Dxxx, Exxx) System firmware progress codes (Models A50, 185 only)

Luka Gerzic IBM P Serija asm, firmware, ibm, IBM P Serija, ipl, microcode, reference code, service processor

Evo friških vesti vezanih za SSD diskove na IBM P seriji. Dobre vesti su kao što već znamo da su SSD diskovi daleko brži prilikom random I/O-a. Loše vesti su da su malog kapaciteta (trenutno) tačnije 69GB, i užasno su skupi, o čemu sam već pisao (doduše cene su bile tada nezvanične).

Evo zbog čega se IBM “pravda”, kad je u pitanju cena uređaja. Ako uzmemo PC tehnologiju običnih USB flash diskova znamo da:

• Nema pokretnih delova, samo memorijski čipovi, nije mu potrebno dodatno napajanje
• Koristi se par puta u toku dana maksimalno ne duže od sat/dva u kontinuitetu
• Spor pristup, pogotovu prilikom pisanja.
• Ograničen broj upisa (merljiv u hiljadama), a potom tkz. “memory cell failure” i smanjenje kapaciteta. Ako se upisuje 1-5 puta u toku dana može da traje nekoliko godina.

S druge strane Enterprise SSD:

• Izrazito opterećenje (read/write) 24 x 7 godinama
• SAS interfejs koji omogućuje oko 3 GB/s
• Algoritmi za jednaku distribuciju opterećenja (podataka) na sve memorijske čipove.
• Proaktivna provera svih memorijskih jedinica i blokiranje “sumnjivih” ćelija bez gubljenja podataka
• 85% redudanse (128 GB RAW memorije, 69 GB upotrebljive)
• Veliki broj mem. čipova radi paralelizacije procesa i boljih random I/O operacija

Evo nekih nezvaničnih cifri koje pominje IBM, a koje nisam imao još prilike da testiram:

4KB random I/O:

• Regularni disk: ~120 do 200 IOPS-a
• SSD: ~28000 IOPS-a

Potrošnja struje:

Da bi dobili performanse od 135.000 IOPS-a, treba vam SAN disk sistem koji potroši oko 7.7 KW-a. Za iste performanse trebaju vam 5 SSD modula koji potroše 330 W.

Transfer (održivi) performanse kod SSD disk modula:

• 220 MB/s Read
• 122 MB/s Write

Prosečno vreme pristupa SSD diska: od 20 do 120 mikro sekundi

Minimum koji morate da ispunite da bi ste mogli da implementirate SSD diskove u svoj box su sledeći: AIX 5.3 TL7 SP9 a za AIX 6.1 TL0 SP9. Uz to vam treba i Server firmware FW3.4.2, HMC firmware V7R3.4.0 Service Pack  i Power subsystem Firmware V3.4.2.

Naravno postoje i neka ograničenja u celoj priči ako želite da bude IBM supported. Mada u Srbiji je termin “radiće to, ko ga j*** što nije podržano” mnogo češći. Enivej, evo šta kaže IBM kako se to radi:

1. Ako nije by the book nije podržano od IBM-a
2. Nema intermix-a “običnih” diskova i SSD-ova u istom blok-u ili subsistemu.
3. U EXP12S SAS kutiji može da se stavi maksimum 8 SSD-ova
4. Formatiranje SSD diskova na kapacitet od 69GB se vrši sa 528 byte sektorima (a ne 512 byte-a po sektoru kako su neki ovde primetili da može da bi dobili 74 GB prostora).
5. Ne možete koristiti SSD module i obične diskove u mirror modu (bilo hw ili sw).
6. Pročitaj pravilo br. 1.

I na kraju, dobro skriveno u gomili linkova na IBM sajtu: Installing and configuring Solid State Drives in AIX & IBM Power Series.

Update (09.06.2009). IBM je izbacio zvanične testove (sa cenama), možete ih skinuti sa ovog direktnog linka (pdf).

Luka Gerzic IBM P Serija ibm, sas, ssd

IBM je počeo sa prodajom SSD diskova za IBM P seriju. Ovi diskovi se razlikuju od onih koje su počeli da implementiraju u martu na X seriju i Blade sisteme. Za P seriju IBM koristi 128GB Zeus-IOP flash diskove (STEC) sa kojima je IBM sklopio partnerski odnos prošlog meseca. Diskove pomenutog kapaciteta (128GB) re-formatiraju na 69GB. Po IBM-u ovime se smanjuje tkz. “wear levelling” koji se koriste u proizvodnji SSD diskova, što se postiže prebacivanjem i razmeštanjem podataka na disku sa oštećenih (istrošenih) memorijskih blokova na nove manje korišćene. Time navodno se produžava život SSD disku drastično.

IBM SSD diskovi dolaze u 2,5 inč faktoru, imaju oko 220MB/sec održivi transfer prilikom čitanja i oko 122MB/sec za pisanje. Broj I/O operacija se kreće u rangu oko 28.000 (IOPS-a) prilikom random transakcija. Ugrađen im je 3GB/sec SAS interfejs i pristup je u proseku između 20 µs i 120 µs, u zavisnosti od toga gde je podatak kome se pristupa raspoređen. Po IBM-u (ako im je verovati), njihov SSD disk ima 87 puta brže I/O operacije po sekundi nego standardni 15K RPM SAS disk, i pritom troši 1/5 struje u odnosu na “stare” diskove.

Pre nego što odmah pozovete vašeg IBM dilera, pripremite čašu ‘ladne vode i nešto slatko, jer će od cifri da vam se sloši. Naime, ova nova pomama za SSD diskovima i konačnom zamenom mehaničkih diskova se smatra egzotikom svuda pa i kod IBM-a. A kao što znate egzotika košta. Po nekim nezvaničnim šuškanjima, IBM za entry level Power 520 i 550 servere naplaćuje oko $10.000 za jedan SSD modul, dok za modele 560 i 570 cifre idu na $14.000 po SSD modulu. Za sada nema vesti da će SSD ići na 595 mašine, no to će se vrlo brzo promeniti. Ako ove cene poredimo sa cenom diskova od recimo 146GB (15k SAS) za P seriju koji imaju cifru od oko $500, budemo zaista neprijatno iznenađeni. Poređenja radi, Intel-ovi SSD diskovi (32GB X25E SATA diskovi koje je počeo da pakuje SUN još u martu koštaju oko $1.200. Naravno, SATA nije isto što i SAS, Intel diskovi mogu da guraju do 3,300 IOPs-a (ako poredimo sa 35.000 IOPS-a IBM SSD-ova), s druge strane SSD diskovi imaju tkz. wear leveling, pa duplo manje kapaciteta zbog toga itd. Naravno, Intel diskove sigurno nećete moći da stavite u IBM P seriju. Posle svega toga ostaje pitanje da li je sada vreme da se pređe na SSD tehnologiju ili da ipak sačekamo da se cene i kvalitet “ispeglaju” prvo.

Luka Gerzic IBM P Serija, Storage ibm, iops, power, sas, sata, ssd

Pre nego što krenem da pišem o samom NMON-u, za one koji ga već uveliko koriste jedna dobra vest. NMON je konačno postao sastavni deo AIX-a od verzije 5.3 TL9 kao i uz 6.1 TL2 (u šta ulazi i VIOS 2.1). Naime IBM je konačno uvrstio ovaj alat u svoj support base, tako da će sada NMON dolaziti standardno uz sam AIX. Nova verzija NMON-a se zove topas_nmon, sadrži sve mogućnosti i opcije kao i klasični nmon 12e. Stara (klasična) verzija nmon-a će biti još neko vreme podržana, međutim sav razvoj se prebacuje na topas_nmon.  Dosadašnja praksa je bila da se NMON ažurira na otprilike svakih 6 meseci, sada će to biti prilikom svakog update-a AIX-a kroz IBM support kanale. Verzija NMON-a za linux neće biti poremećena novim statusom, i nastavlja svoj “život” kao i do sada.

Za one koji ga do sada nisu koristili, ili koji su samo čuli o ovom programu, pre svega evo malo informacija. NMON je skraćenica od Nigel’s Monitor (po autoru programa). Ovaj besplatni alat će vam omogućiti detaljan uvid u rad vašeg AIX /Linux sistema. Sam NMON ima mogućnost prikaza podataka na više načina. Direktno na ekran preko vama omiljenog terminala, ili direktno u fajl za kasniju obradu i analizu. Ako koristite ovu drugu opciju postoje različite vrste parsiranja podataka koje su drugi kreirali, a istakao bih NMON Analyser Excel spreadsheet koji će vam output fajl parsirati i prikazati lepe i zanimljive grafikone ili izveštaje. Uz manje parsiranje output fajl možete provući i kroz rrdtool i kreirati sebi lepe realtime grafikone opterećenja pojedinih sistema koji vas interesuju, a iste kasnije lako možete prikazati na web-u (ili nekom fensi izveštaju). NMON može prikazati sledeće informacije:

1. CPU utilizaciju
2. Iskorišćenost memorije
3. Različite statistike Kernel-a
4. Disks I/O, transfer statuse, i read/write odnose
5. Slobodan prostor na disk sekcijama
6. Disk adaptere i njihove performanse
7. Mrežne I/O odnose, iskorišćenost i performanse
8. Swap (page space) utilizaciju, slobodan prostor itd.
9. Specifikacije CPU-a i AIX-a
10. IBM HTTP Web cache
11. Custom disk grupe
12. Specifikaciju samog hardware-a (mašine) i njene resurse
13. Asynchronous I/O – (samo na AIX-u)
14. Workload Manager (WLM) – (samo na AIX-u)
15. IBM TotalStorage® Enterprise Storage Server® (ESS) disks – (samo na AIX-u)
16. Network File System (NFS)
17. Dynamic LPAR (DLPAR) changes – (samo na AIX-u i IBM pSeriji)

Startup NMON-a izgleda ovako:

Na početnom ekranu NMON-a birate njegove opcije prikaza. Nemoguće je prikazati sve opcije NMON-a na jednom ekranu, ali mislim da ovaj screeny dobro ilustruje deo mogućnosti ovog alata:

Na gore prikazanoj slici, NMON prikazuje aktivnost virtuelnih CPU-a, iskorišćenost memorije, swap-a, mreže, I/O volume grupa koje sistem poseduje, virtuelnih diskova koji su dodeljeni sistemu, top procese i detaljne statistike AIX kernela. Ovo naravno nije sve što NMON može da prikaže adminu sistema, kao što sam gore napisao, mogućnosti su velike. Fino tjuniranje sistema sa direktnim uvidom u efekte vašeg prčkanja možete videti odmah, vrlo detaljno sa samo par komandi. O situacijama kada treba da ustanovite šta “guši” vaš AIX sistem neću ni da govorim. Ovo je jedan od must have alata za svakog AIX admin-a.

A evo kako to može da izgleda u praksi prilikom nadzora rada jednog LPAR-a, gde je fokus na disk sekciji (klikni da veću fotku):

Luka Gerzic AIX, IBM P Serija, Linux/BSD AIX, cpu, disk, io, mem, nmon, proc, topas, topas_nmon

Ako koristite sve prednosti virtuelizacije na IBM P seriji koristeći VIOS-e do sada ste na starom 1.5.x.x VIOS-u mogli da se prošvercujete sa minimumom od 512MB memorije za neke manje i srednje opterećene sisteme. To sa novim VIOS-om 2.1 neće proći. Naime novi VIOS 2.1 zahteva da ima minimum 1GB memorije da bi isti mogao da se podigne uopšte. Po VIOS 2.1 Release Notes-u svaki LHEA (Logical Host Ethernet Adapter) port dodeljen VIOS serveru zahteva minimum 612MB memorije. I ne nisam pogrešno otkucao, za svaki port po 612MB memorije. I to nije sve. Na tu cifru (612MB) treba dodati još i osnovnu memoriju koju je VIOS 1.5.x.x do sada zahtevao što je 512MB. Evo primera, ako npr. imate dva (2) LHEA matematika je sledeća: 612MB x2 + 512MB = 1736MB RAM-a za jedan VIOS + isto toliko ako imate dual VIOS setup. Na to dodajte i oko minimum 16GB prostora na diskovima za instalaciju VIOS-a. Ako ne prosledite dovoljnu količinu memorije VIOS će se “zaglaviti” tokom boot procesa odmah posle instalacije. Čini se da IBM misli da memorija za P seriju nikad nije bila jeftinija. Doduše nisam siguran da će VIOS 2.1 ući u produkciju kod ljudi koji još uvek vrte 1.5.x.x u nekom bližem periodu. Ko nije uzeo skoro P6 mašinu sa licencama za VIOS mislim da neće prelaziti na 2.x VIOS ako baš ne bude morao.

Luka Gerzic AIX, IBM P Serija AIX, hea, ibm, lhea, p5, p6, PowerVM, vios, vios 1, vios 2, Virtuelizacija

13/12/2007 godine na IBM skupu “System P, recommended hardware for SAP” u Colonial Sun-u održao sam predavanje na temu “IBM Customer story – DELTA M Transition to enterprise”. Govorio sam o IBM P seriji, DS8300 enterprajz storage-u, virtuelizaciji, problemima na koje smo naišli tokom tranzicije itd. Prezentaciju u Power Point-u možeš preuzeti sa mog sajta. Slike sa ovog skupa su ovde i ovde.

Luka Gerzic IBM P Serija, Lično, Storage, Virtuelizacija delta m, deltayu, ds8300, enterprise, failover, ibm, IBM P Serija, sap, vios