Każdego dnia ludzie wytwarzają 2,5 kwintyliona bajtów danych. Aż 90 proc. tych zasobów powstało w ciągu minionych dwóch lat. Cyfrowe dane płyną do nas zewsząd: z czujników zbierających informacje z flot samochodowych, systemów sprzedażowych czy aplikacji lokalizacyjnych w telefonach komórkowych.
– Według IDC trend Big Data rozpoczął się w 2010 r., kiedy dane niestrukturalne, a więc pliki czy obiekty, zaczęły przyrastać szybciej niż dane strukturalne, czyli np. bazy danych – mówi Radosław Machnica, konsultant techniczny w Hitachi Data Systems Poland.
Wydawałoby się, że z problemem gromadzenia i przetwarzania ogromnych ilości informacji zmagają się tylko wielkie korporacje. Otóż nie tylko. Jak twierdzą specjaliści, polskie małe i średnie przedsiębiorstwa gromadzą dziesiątki i setki gigabajtów danych. Ta ilość jeszcze nie kwalifikuje się do miana Big Data, jednak tam, gdzie się pojawia, mogą znaleźć zastosowanie mechanizmy wykorzystywane przy obsłudze dużych ilości danych.
Na początek narzędzie niekomercyjne
Wielkość wytwarzanych danych zależy nie tylko od rozmiarów przedsiębiorstwa, ale też od branży, w jakiej ono działa. Przykładem może być obsługa sklepu internetowego prowadzonego przez jednoosobową firmę. Sklep taki przechowuje dane o produktach, transakcjach i klientach, a do tego śledzi natężenie ruchu na stronie WWW. A to już wymaga oprogramowania na znacznie wyższym poziomie zaawansowania w porównaniu z aplikacją, z której korzysta jednoosobowa firma usługowa. W obu przypadkach może jednak być użyte to samo skalowalne narzędzie.
Przykład? Podstawą pakietu IBM z zakresu Big Data, skierowanego do małych i średnich przedsiębiorstw (MSP), jest przechowywanie danych. Jest to zadanie bazy danych DB2, wyspecjalizowanej w zastosowaniach transakcyjnych. Mała, początkująca firma, generująca gigabajty danych, może w ramach tego oprogramowania skorzystać z dostępnego bezpłatnie niekomercyjnego narzędzia.