Dobrica Pavlinušić
Knjižnica Filozofskog fakulteta Sveučilišta u Zagrebu

Zgrada kao cluster za obradu podataka - da li je rješenje u vreći?
45 min

Ako radite u većoj organizaciji, ona vjerojatno ima nekoliko desetaka računala koja nisu potpuno iskorištena. U mom primjeru, to su bila računala koja su obavljala funkciju web kioska.

Što možemo učiniti s njima? Pretpostavimo da možemo podatke podijeliti u dijelove (shards), staviti svaki dio u memoriju jednog računala i pokrenuti komadić koda preko njih... Pomalo zvuči kao map/reduce od Google-a, ali kako to implementirati.

Pokazati ću svoj pokušaj u rješavanju tog problema: Sack - http://blog.rot13.org/2009/10/sack_sharding_memory_hash_in_perl.html

Sack je NoSQL baza sa distribuiranom memorijom koja se skalira jednostavim dodavanjem računala. Koristi se preko komandno-linijskog sučelja (REPL+vi) i web-a (status, rezultati, grafovi) ali doći do prototipa koji radi uključivalo je otkriti nekoliko stramputica u dizajniranju rješenja koje predstavlja zanimljivo novo područje:  Datacenter as Computer.