Implementacija statističkog hijerarhijskog algoritma za grupiranje podataka dobivenih iz tokova podataka : završni rad - Mance, Ivana (I. Mance, 2019)
Sažetak na hrvatskom: Živimo u eri podataka u kojoj je brza i efektivna obrada velike količine podataka nužna za inovativnost i razvoj. Nije više moguće ručno obrađivati gomile podataka koje kruže raznim računalnim sustavima, zbog čega se poseže za automatiziranom obradom i strojnim učenjem. Algoritmi grupiranja su nenadzirani oblik strojnog učenja gdje algoritam pokušava raspodijeliti podatke u grupe bez ikakvih oznaka. Algoritam statističkog hijerarhijskog grupiranja spada u obitelj hijerarhijskih aglomerativnih algoritama. Pripadnost podata grupi određuje računajući mahalanobisovu udaljenost koja uzima u obzir ovisnosti između dimenzija podataka. Manje grupe nazvane komponente grupiraju se u veće grupe nazvane klasteri. Implementacija algoritma izvedena je s Apache Sparkom, analitičkim strojem za distribuiranu obradu velikih skupova podataka. Spark za pohranu distribuiranih podataka koristi strukturu RDD, a obrada podataka svodi se na transformacije i akcije nad RDD-ima. U implementaciji algoritma, RDD čine serijalizirani Javini objekti koji predstavljaju komponente klastera. Algoritam je uspješniji na podacima s izraženijom ovisnošću među dimenzijama podataka.