Luka Gerzic Razno

Nešto sam u tom raspoloženju ovih dana. To me je i nateralo da napišem ovaj blog. Posmatram okolo kako se neke stvari rade i ne sviđa mi se. Mislim tu pre svega na činjenicu da se danas svako naziva sistem administratorom. Sad svako može da kaže da zna da instalira Linux operativni sistem, i on je odmah sistem admin. To me podseća na davno prošlo vreme kada je ista situacija bila sa Winblows-om i ljudima koji su za sebe govorili da su administratori samo zato što su znali da instaliraju Winblows NT. Tome je naravno mnogo doprinela popularizacija Linux-a, i drastično pojednostavljeni procesi instalacije, manipulacije paketima, daleko većim brojem developer-a koji prave raznorazne GUI-e itd. Lepo je sve to, što neko sada zna da uz nekoliko click-ova instalira Linux operativni sistem, ali to ne znači da je taj neko sada i admin.

Linux/UNIX оperativnim sistemima se bavim nekih 15-tak godina. Vrlo dobro se sećam kada se 1 (jedan) server pripremao po nekoliko dana. Izvlačio se maksimum iz svakog delića mašine i njenih resursa. Svojevremeno smo se utrkivali ko će bolje da optimizuje kernel, da static kernel bude ispod 220kb (da kilobajta), primenjivali su se različiti security patchevi, … Danas, više ni ne znaju koliko megabajta je kernel. Optimizovao se svaki servis koji pruža ta mašina, koristile su se specijalne biblioteke, različite vrste configure opcija, svaki servis bio je chroot-ovan ili jail-ovan, particije su kreirane po svakom servisu, pisani su vrlo kvalitetni firewall-ovi specifični za servise, sistem se bre znao u “prste”, znao sam kako “diše” server. Testirao se svaki servis da bi se izabrao odgovarajući daemon koji će isti vršiti, znalo se da se sendmail odmah menja sa qmail-om, postfix-om … Znalo se da na mašini ne sme biti suid-a, radio se checksum fajlova, primenjivali su se specijalni kontrolni moduli za bolju kontrolu sistema,… Pratile su se mailing liste za svaki servis koji se koristi na sistemu, od developer do user grupa. Drugim rečima iskorišćenje sistema bilo je maksimalno a security je bio na zavidnom nivou, naravno ne savršen ali prokleto dobar. Rezultat? Uptime na serverima po 2-3 godine, nikad haknuti (bar ne da smo znali ) ali šta su te 486-ice, prvi Pentium-i, SUN-ovi i SGi-evi gurali tada, kad bi neko pravio poređenje … ehhh, ta nostalgija.

A danas? Danas se jako slabo ceni takva optimizacija, a opet svi viču “virtuelizuj! konsoliduj! optimizuj!”. Po meni je to paradox. Zapošljavaju se tzv. administratori koji su radili par meseci sa linux-0m i koji misle da znaju šta znači postaviti, podesiti, optimizovati i obezbediti neki servis ili server. I onda se poredi ko je uradio više po tome koliki je broj servera ili servisa instaliran i podešen za XYZ vremena. Štancuju se virtuelne mašine, da ne kažem kloniraju, kao tobože se vrši konsolidacija i iskorišćenje resursa, a da ti ljudi ni ne znaju kako to funkcioniše jer svo vreme koriste GUI. Naravno današnji multi core procesori i nikad jeftinija memorija će gurati i žvakati takve by-default instalirane sisteme, ali gde je tu kvalitet? Kad se pomene exploit(i), ovi tzv. admin-i ne znaju ni šta je to, a kamoli kako isti funkcionišu, što se njih tiče, dovoljno je postaviti par linija u hosts.(deny|allow) ili eventualno podići default SLES/RH/CentOS firewall i to je to, što se bezbednosti tiče. Tužno, ali istinito. Moram naravno da se složim sa činjenicom da je sada mnogo jednostavnije koristiti Linux i generalno UNIX, ali to ne znači da svako može sebi da okači titulu linux/unix sistem administratora samo zato što je par puta instalirao isti.

Luka Gerzic Linux/BSD, Lično, Razno admin, linux, sysadm, unux

Recimo da želite da “skinete” neko predavanje koje ste slušali preko web browser-a iz flash player-a (koga ja to lažem?), tj hteli ste da skinete neku pesmu koje nema na torentu a vrti se na nekom sajtu iz flash player-a (youtube/myspace/facebook?), evo kako to možete da uradite:

Ako koristite pulseaudio, onda je ovo vrlo jednostavno. Potrebno vam je nekoliko alata, prvo treba vam pactl (Control a running PulseAudio sound server), zatim pacat (Play back or record raw audio streams on a PulseAudio sound server). Prvo potrebno je da otkrijete gde je stream koji ćete maznuti:

$ pactl list | grep -A2 ‘Source #’ | grep ‘Name: .*\.monitor$’ | cut -d” ” -f2
alsa_output.pci_8086_284b_sound_card_0_alsa_playback_0.monitor

Sve što onda treba da uradite jeste da pripremite sledeću “kobaju”:

$ parec –device=alsa_output.pci_8086_284b_sound_card_0_alsa_playback_0.monitor –format=s16le –rate=44100 –channels=2 | sox –type raw -s2L –rate 44100 –channels 2 – –type wav “Ime Izvođača – Neka pesma.wav”

Pustite audio/video zapis u vašem browser-u i okinite komandu iznad. Kad se audio/video zapis završi prekinite gornju komandu sa CTRL+C. Dobićete u radnom direktorijumu nekompresovani raw wav fajl koji možete kompresovati u mp3 na sledeći način:

$ lame -b 256 “Ime Izvođača – Neka pesma.wav” “Ime Izvođača – Neka pesma.mp3″
LAME 3.98 32bits (http://www.mp3dev.org/)
CPU features: MMX (ASM used), SSE (ASM used), SSE2
Using polyphase lowpass filter, transition band: 19383 Hz – 19916 Hz
Encoding Ime Izvođača – Neka pesma.wav to Ime Izvođača – Neka pesma.mp3
Encoding as 44.1 kHz j-stereo MPEG-1 Layer III (5.5x) 256 kbps qval=3
Frame          |  CPU time/estim | REAL time/estim | play/CPU |    ETA
10633/10633 (100%)|    0:14/    0:14|    0:15/    0:15|   18.921x|    0:00
———————————————————————————————————————————————————————————–
kbps        LR    MS  %     long switch short %
256.0       53.0  47.0        95.7   2.7   1.7
Writing LAME Tag…done
ReplayGain: -2.5dB

I to je to. Dobili ste mp3 fajl u istom radnom direktorijumu. Uživajte.

Luka Gerzic Linux/BSD, Razno cli, flashplayer, lame, mp3, pacat, pactl, pulseaudio, wav, wav2mp3

Naslov ovog teksta apsolutno nema veze sa SMS (Short Message Service) vašeg vam omiljenog GSM operatera, ako ste to pomislili, već sa M$ Winbows Systems Management Server klijent software-om.

Pre nekog vremena primetio sam da mi u regularnim intervalima ceo notebook “štucne” na par sekundi i onda se vrati u normalu kao da se ništa nije dogodilo. S obzirom da koristim linux kao main os, počeo sam da kopam po mašini ne bi li našao šta me to smara. Prvo naravno provera top-a, procesori slobodni, memorije nije da ima u izobilju ali je ima dovoljno, swap skoro da ga i ne koristim. Hmmm da vidimo šta radi disk. vmstat je odmah pokazao da se tu dešava nešto čudno:

Neobični upisi na disk od stane neke aplikacije u regularnim intervalima, gde se dešavalo da upis bude i po nekoliko desetina megabajta, prilično me je zaintrigiralo. S obzirom da sam našao šta kuca mašinu (prvo što sam bio pomislio bio je da neka aplikacija “kuca” procesor a ne disk), krenuo sam da čeprkam. Trebalo je naći koji proces od svih procesa na mašini ima potrebu da se igra sa diskom na ovako surov način. Idealan alat za to bio je iotop koji vam može prikazati koji proces radi šta sa diskom. I odmah se pokazalo:

Eh sad, vbox kod mene vrti Winblows XP korporativni (AD+Exchange stuff) na kome nema apsolutno ništa od software-a osim Outlook-a. Na samom WinXP-u, prva pomisao je da je virtuelna mašina iz nekog razloga ostala bez (1Gb) slobodne memorije pa ciklično swap-uje po disku. Međutim to nije bio slučaj. Da bih video koji proces pod Winblows-om kida disk, upotrebio sam jedan od besplatnih i veoma korisnih alata za uvid rad Winblows sistema. Sysinternals Process Explorer je odličan program i odmah je prikazao gde je problem:

Pošto ja nisam neki stručnjak za Winblows niti isti koristim za bilo šta osim za igranje i poneki email, raspitao sam se kod mojih kolega koji znaju dosta na tu temu. Procesi msiexec.exe startovan od stane  Winblows SMS je software-a gura zakrpe i programe mašinama koje su pod AD-om, po potrebi kada to administratori AD-a žele. Par trikova na AD-u, gpupdate /force i nekoliko restart-a kasnije problem je bio idalje tu. Međutim po savetu kolege posle brisanja \HKEY_LOCAL_MACHINE\SYSTEM\CurrentControlSet\services\CcmExec segmenta iz registry-a i opet restart-a, problem je prestao. Ako ne možete da se igrate sa registryem postoji i ručna privremena varijanta:

X:\WINXP\system32>sc stop ccmexec

SERVICE_NAME: ccmexec
TYPE : 10 WIN32_OWN_PROCESS
STATE : 3 STOP_PENDING
(STOPPABLE,NOT_PAUSABLE,ACCEPTS_SHUTDOWN)
WIN32_EXIT_CODE : 0 (0×0)
SERVICE_EXIT_CODE : 0 (0×0)
CHECKPOINT : 0×0
WAIT_HINT : 0×0

Odmah da se ogradim. Ovakva akcija brisanja i zaustavljanja ovog servisa možda neće biti dobrodošla u vašem okruženju i pod polisama koje vi imate. Međutim ako imate ok admin-e koji imaju poverenja u to šta radite sa vašom radnom stanicom onda možete da primenite ovo što sam gore pomenuo kako vam mašina ne bi štucala s vremena na vreme. Naravno ovako nešto nećete ni primetiti ako niste pod AD-om.

Luka Gerzic Linux/BSD, Razno ad, ccmexec, gpupdate, iotop, msiexec, sc, sms, vbox, virtualbox, vmstat

Do sada nisam pisao na temu super kompjutera, velikih cluster-a i ostalih egzotičnih mašina, ali ovde ću ipak napraviti izuzetak. U poslednjih nekoliko meseci koliko radim na projektu novog data centra, prilično vremena sam potrošio konsultujući se sa eminentnim stručnjacima na temu hlađenja, napajanja i zaštite data centra kako bi smo izabrali optimalno rešenje za naše potrebe. Kreirati idealno okruženje sa posebnim osvrtom na smanjenu potrošnju energije (čitaj smanjenje troškova), pritom koristeći trenutno dostupna rešenja nije nimalo lak posao. Upravo zbog toga, novi IBM-ov press release koji je izašao pre nekoliko dana me je prilično zainteresovao, jer obećava novu tehnologiju hlađenja sistema.

Krajem juna (2009-te) IBM je objavio da intezivno radi na novoj tehnologiji hlađenja svojih servera zajedno sa renomiranim švajcarskim institutom “Swiss Federal Institute of Technology Zurich” (ETH). A Podršku ovom projektu pružaju i IBM Switzerland kao i IBM R&D labaratorija u Boeblingen-u (Nemačka). Ako tome pridodamo i vest od pre mesec dana o izgradnji prvog IBM Nanoscale Exploratory Technology Lab-a (NETL, investicija od $90m) koji će biti posvećen istraživanjima na polju nanotehnologije upravo u Švajcarskoj, slika postaje jasnija. NETL centar bi trebao biti završen oko 2011 godine.

Entire countries are investing to compete in nanotechnology, said John Kelly, senior vice president and director of IBM Research, at the launch of NETL in Zurich today. “We view this investment as the bridge to the next 15 years. Nanotechnology will create the electronic components for future computers, be at the heart of many medical devices, and have first-order impacts on energy and the environment.”

Kada bi govorili samo o sistemu vodenog hlađenja u data centrima, to možda ne bi bilo toliko interesantno, da IBM nije počeo razvoj tehnologije hlađenja procesora i komponenti na najnižem mogućem nivou (za današnju dostupnu tehnologiju). Celokupna nova tehnologija razvija se zbog novog IBM cluster-a koji će prvi implementirati ova nova rešenja. Cluster koji nosi radno ime Aquasar Supercomputer bi trebalo da bude sastavljen od po dve BladeCenter šasije koje će imati mix bladeova QS22 sa IBM PowerXCell 8i procesorima kao i HS22 koji će nositi Intel Nehalem procesore unutar jednog rack ormana. Aquasar će biti prvi super kompjuter na svetu koji će direktno hladiti procesor “iznutra”.

I to nije sve. Toplota koju će disipirati celokupan data centar (svi rack ormani) iskoristiće se za zagrevanje prostorija same labaratorije u vidu podnog grejanja. Pored toga što Aquasar treba da smanji ukupnu disipaciju CO2 otprilike oko 30 tona po godini (po njihovim proračunima) u odnosu na postojeće sisteme istih karakteristika, Aquasar će smanjiti i potrošnju energije za oko 40%.  Nova tehnologija, tkz. chip-level water-cooling će omogućiti maksimalno iskorišćenje toplotne disipacije. Očekivana realna snaga novog cluster-a će biti oko 10 Teraflops-a a početak rada je najavljen za 2010-u godinu. Tim stručnjaka koji radi na ovom projektu tvrdi da je vodeno hlađenje ovih sistema i do 4000 puta efikasnije nego hlađenje vazduhom.

Chip-level hlađenje sa temperaturom vode od 60 stepeni celzijusa je dovoljno da drži sistem daleko ispod maksamlnih 85 stepeni celzijusa što dozvoljava slabije oscilacije u temperaturi. Moje neko razmišljanje, na temu ovog sistema se odnosi na deo gde ne verujem da će koristiti čistu vodu zbog kamenca, već će to možda biti neka vrsta glikola. Pored toga nigde još nije objavljeno kako će se vršiti filtriranje te tečnosti, jer najmanja prljavština može da napravi ozbiljan problem prilikom hlađenja ovako delikatnog sistema. Primera radi kada se vare cevi za hlađenje unutrašnji deo zavarene cevi nosi u sebi opiljke koji se tek posle izvesnog vremena pojave na filteru, što nije problem na velikim sistemima gde su prečnik cevi i ventila nekoliko hiljada puta veći nego što će ovde biti slučaj. Možemo samo da pretpostavimo da će servisiranje ovakve opreme biti obavezno (barem u  trajanju garancije ovakvog sistema) od strane IBM-a, što naravno neće biti jeftino.

I za kraj, video koji govori više od 1000 reči:

Luka Gerzic Razno aquasar, cooling, ETH, hpc, ibm, nano, nanoscale, NETL, reusable energy, supercomputer, tech

U martu sam pisao, da je pored ostalih novosti na DS8000 seriju dosla i enkripcija diskova. Evo nešto više detalja na tu temu. IBM je izbacio novi tip diskova koji nose oznaku FDE (Full Disk Encryption). U ovom momentu diskovi sa FDE-om su kapaciteta 146GB, 300GB i 450GB na 15K u FC opciji. Za razliku od ostalih non-FDE diskova, FDE diskove nije moguće miksovati, tj opcija IBM intermix nije dostupna. Ovo važi i za SFI sisteme (2x LPAR storage). Enkripcija podataka je urađena na hardwareskom nivou i IBM tvrdi da nema ni najmanjeg pada performansi prilikom rada sa podacima dok je uključena enkripcija podataka. Disk enkripcija je simetričnog tipa, i koristi se uz TKLM (Tivoli Key Lifecycle Manager). Kada je TKLM povezan sa DS8000 storage sistemom, TKLM će generisati ključeve za enkripciju i dekripciju podataka koji se koriste za svaki disk u sistemu koji ima oznaku FDE. Sve opcije oko korišćenja ove tehnologije će biti ubačene u TKLM koji IBM smatra centralnim segmentom sistema za sve buduće potrebe enkriptovanja i dekriptovanja podatka, što praktično znači da će se na TKLM nadograditi. Tako će i ostali uređaji kojima je potrebna enkripcija podataka dobiti tu mogućnost u bližoj budućnosti.

Luka Gerzic Razno decryption, ds8000, ds8300, encryption, fde, ibm, intermix, lpar, sfi, tklm

Imao sam malo slobodnog vremena pa sam podesio mobilepress plugin za wordpress. Sada moju internet prezentaciju možete pogledati i preko većine modernih mobilnih telefona. Ako neko naleti na neki problem, slobodno mi pustite email da vidim da li mogu da nešto izmenim kako bi sajt bio funkcionalniji. Probao sam preko iPhone-a i radi savršeno. Većina novijih nokia prikazuje takođe veoma lepo sav sadržaj. Ostale proizvođače mobilnih telefona nažalost nisam mogao da testiram.

Luka Gerzic Razno blog, mobilepress, wordpress

Intel je izbacio celu seriju novih procesora (i bilo je glupo da prodaju prošlogodišnje modele ove godine zar ne?) pod već toliko spominjanim imenom Nehalem (Xeon 5500). Intelov GM izjavio je na konferenciji u Kaliforniji da je ovaj procesor prava revolucija, poredeći ga sa izlaskom Pentium Pro procesora davne 1995-te godine. Nije ni čudo, jer da nije AMD-a (Da se prisetimo Opteron-a sa njegovim mogućnostima: 64-bit memorijske ekstenzije, multicore, point-to-point interkonekcije između procesora, memorije i I/O-a, integrisani memorijski kontroleri, i pregršt svega ostalog) verovatno bi smo se još uvek kretali u svetu 32-bitnih procesora, a 64 bita bi eventualno videli na nekom Itanium-u. No Intel ne bi bio Intel kad ne bi izbacio 17 verzija novog procesora. U najkraćem od 2.13GHz do 3.2GHz (od 4 do 8 MB L2 keš-a) u MP verziji (2 procesora) i od 2.66GHz do 3.2GHz za radne stanice (1 procesor). Koga interesuje da gleda detalje Intelov sajt ima listu svih modela. Od novosti tu je Intel® Turbo Boost Technology (oh pa mi smo ponovo dobili Turbo dugme, kao na starim 286 i 386 računarima…), zatim navodno drastično smanjenje potrošnje struje (130W za najjači model i nije epohalno manje struje, doduše ako gledamo snagu procesora po wat-u potrošnje, onda i ima smisla), Intel® Virtualization Technology (Intel® VT FlexMigration, VT FlexPriority, VT Extended Page Tables) i Intel Virtualization Technology for Directed I/O (Intel® VT-d), Intel Virtualization Technology for Connectivity (Intel® VT-c), mnogo blabla o začetku x86 hardverske virtuelizacije (previše termina za premalo mogućnosti). Naravno u celoj priči Intel će pratiti svi ostali veliki igrači poput IBM-a, HP-a, Dell-a, Cisco-a (mda sad su i oni u igri) itd. IBM je odmah izbacio čitavu liniju svoje xSerije pod imenima IBM System x3650 M2 and System x3550 M2, zatim novi blade IBM BladeCenter HS22 i potpuno novi proizvod, iDataPlex.

Luka Gerzic Razno 64bit, blade, bladecenter, hs22, ibm, idataplex, intel, nehalem, x3550, x3650, xeon

VMware je prikazao svoju novu mobilnu platformu za virtuelizaciju koja vam omogućava da na svom mobilnom telefonu pokrenete 2 operativna sistema (na video snimku se vidi kako demonstrator pokreće Window$ CE i Google Android na istom telefonu). Iako je u pitanju preveliki i nimalo praktični Nokia N800 (da ne kažem cigla), prikaz njihovog hypervisor-a i nove tehnologije je itekako zanimljiv.

Ovo bi generalno trebalo da znači da u budućnosti možemo da očekujemo jednostavnu migraciju svog radnog okruženja (operativnog sistema) sa jednog na drugi mobilni telefon.Više detalja na originalnom članku koji je preneo ITPro časopis.

Luka Gerzic Linux/BSD, Razno android, ce, mobile, n800, nokia, Virtuelizacija, vmware, vmware mobile, windows

Posle zaista velikog broja tekstova na net-u koje sam pročitao na temu DNS propusta koji je uzdrmao celokupan Internet ( /. US-CERT VU#800113, ISC, BBC, Wall Street i mnogi drugi), našao sam originalni tekst na temu bug-a koji je otkrio Dan Kaminsky. U jednom delu svog blog-a on je napisao nešto što je meni privuklo pažnju, a tiče se DJB-a i njegovog software-a. Citat neću prevoditi, već ću ga ovde preneti u originalnoj formi:

“… It was an interesting discussion, with lots of disagreement, but ever-growing consensus. After evaluating several options, one approach was clear and, I must admit, somewhat embarassing to Paul (Vixie). DJB was right. All those years ago, Dan J. Bernstein was right: Source Port Randomization should be standard on every name server in production use. There is a fantastic quote that guides a lot of the work I do: Luck is the residue of design. Dan Bernstein is a notably lucky programmer, and that’s no accident. The professor lives and breathes systems engineering in a way that my hackish code aspires to one day experience. DJB got “lucky” here – he ended up defending himself against an attack he almost certainly never encountered. Such is the mark of excellent design. Excellent design protects you against things you don’t have any information about. And so we are deploying this excellent design to provide no information. …”

Eto, ako me neko ikad bude ponovo pitao zašto koristim qmail, ili neki drugi DJB-ov sofware, sada imam odličnu referencu gde da tu osobu uputim. Mislim da ovo može da “začepi usta” i onim najglasnim zagovornicima (gnu-brain-washed) koje sam godinama slušao kako pričaju notorne gluposti, najčešće iz apsolutnog neznanja.

Luka Gerzic Razno bind, dan, djb, dns, dnssec, kaminsky, port randomization, security, tinydns, vixie