Analiza danych wymaga nie tylko umiejętności liczenia. Potrzebna jest też spostrzegawczość i przede wszystkim intuicja, które pozwolą analitykowi doszukać się ukrytych zależności pomiędzy zmiennymi. Intuicja to cecha wydawałoby się typowo ludzka. Jednak dobrze napisany program komputerowy potrafi ją zastąpić.
Max Kanter, student Massachusetts Institute of Technology (MIT), napisał swój program w ramach pracy magisterskiej. Zarówno jemu, jak i jego promotorowi algorytm wydawał się bardzo dobry, potrzeba jednak było jakiegoś obiektywnego testu. O to w świecie analityków danych nietrudno. Środowisko to organizuje konkursy na najtrafniejszą analizę, więc Kanter zgłosił swój program do kilku edycji takich zmagań: pucharu KDD 2014 i 2015 oraz zawodów IJCAI 2015. Zasady były za każdym razem podobne. Uczestnicy otrzymywali bazę z olbrzymią ilością danych i na tej podstawie musieli odpowiedzieć jak najtrafniej na konkursowe pytanie.
W przypadku konkursu KDD należało przewidzieć, który z uczestników internetowych studiów zrezygnuje z kursu w ciągu dziesięciu dni oraz który z pomysłów na biznes przedstawiony na portalu crowdfundingowym zostanie przez publiczność uznany za ekscytujący. Przewidywania dotyczyły więc ludzkich zachowań. W obu edycjach pucharu KDD algorytm studenta wykazał się zdolnością przewidywania na poziomie 95 proc. tego, co zaprezentował zwycięzca, pokonując większość innych drużyn.
A były to drużyny nie byle jakie, sami fascynaci analizy danych, motywowani chęcią zdobycia nagród z puli wynoszącej 20 tys. dolarów.
A były to drużyny nie byle jakie, sami fascynaci analizy danych, motywowani chęcią zdobycia nagród z puli wynoszącej 20 tys. dolarów.
