OLAP vs In-memory processing

Nu cu mult timp în urmă, prelucrarea în timp real a informaţiilor din bazele mari de date era peste capacitatea de procesare a calculatoarelor vremii. Memoria era scumpă, vitezele de transfer erau mici iar procesoarele erau lente.
Managerii aveau însă nevoie de răspunsuri rapide pentru a lua decizii bazate pe informaţii concrete. Datele erau la îndemână, extragerea şi procesarea lor era prea lentă. Cum să livrăm răspunsurile la întrebările managementului în timp util? Soluţia găsită a fost să se precalculeze toate răspunsurile posibile, astfel încât orice întrebare s-ar ridica doar să se livreze răspunsul.

Datele s-au organizat în “cuburi” multimensionale care puteau fi “rotite” şi “feliate”. Astfel s-a rezolvat problema vitezei şi se putea deservi un număr mare de utilizatori care aveau putere de procesare redusă.

Necesarul de procesare s-a transformat în necesar de stocare, un cub OLAP necesitând un spaţiu de câteva ori mai mare decât datele originale (deoarece conţine toate combinaţiile posibile ale acestora). Datele sunt organizate ierarhic, calea de la informaţia globală până la detalii fiind predefinită în paşi intermediari.

Dacă un raport ridică o întrebare al cărui răspuns se află în afara cubului, ghinion. Mai mult, cuburile trebuiesc repopulate periodic, proces consumator de resurse şi timp, ceea ce duce la întârzieri în livrarea informaţiilor către utilizatori. Modificarea unui cub sau aducerea de noi informaţii este deasemenea un proces consumator de timp şi se executa numai de către specialişti.

Această arhitectură este predominantă şi în zilele noastre deoarece soluţiile BI clasice au fost construite în jurul ei.

În zilele noastre beneficiem de viteze mari de transfer, memorie ieftină şi procesoare performante. Tehnologia In-memory elimină necesitatea precalculării datelor, aceasta făcându-se direct în memoria RAM a calculatorului care este extrem de rapidă faţă de harddisk.

QlikTech este una din companiile vizionare care s-au poziţionat corect faţă de legea lui Moore (“numărul de tranzistori care se pot pune pe un circuit integrat se dublează la fiecare doi ani” - 1965). Dezvoltând tehnologia AQL (Advanced Query Logic), în care datele sunt asociate (şi nu ierarhizate), rezultă un necesar de stocare de la 20 până la 400 de ori mai mic decât spaţiul ocupat de datele originale, iar viteza de interogare a datelor este extrem de mare.

Interogarea datelor poate fi facută din orice direcţie deoarece nu mai suntem constrânşi de ierarhizare. Adaugarea de noi informaţii sau modificarea celor existente este extrem de facilă deoarece deja avem toate datele în memorie. Cu ajutorul unei interfeţe intuitive precum QlikView, modificările pot fi făcute chiar de către utilizatori nespecialişti.

Tehnologia In-memory processing este viitorul în domeniul BI deoarece oferă flexibilitate şi viteză, mai ales pe arhitectura 64-bit, din ce în ce mai populară.