Pristup otkrivanju zakonitosti u podacima korišćenjem Oracle Data Miner-a i analitičkih funkcija

Abstract

U ovom radu je opisan način na koji se velike količine podataka mogu obraditi u Oracle bazi podataka korišćenjem različitih algoritama i funkcija. Nakon što su algoritmi istrenirani, performanse njihove primene na novim setovima podataka se mogu izmeriti i analizirati. Fokus ovog rada je na poređenju specifičnih algoritama kako bi mogao da se donese zaključak o tome koji od njih daje pouzdanije rezultate prilikom obrade podataka. Kako bi se osigurali da je najefikasniji algoritam izabran, Oracle analitičke funkcije se mogu koristiti za pripremu podataka pre treniranja algoritama, kao i za obradu rezultata dobijenih nakon primene algoritama. Hadoop razvojni okvir i Hive, kao njegov sastavni deo, su jako često korišćeni za poboljšani pristup podacima koje bi trebalo analizirati i obraditi.

In this paper we have described the way of processing a large amount of data in Oracle Database using different algorithms and functions. After training Data Mining algorithms, their performance on new datasets can be measured and examined. We have paid attention on the comparison of specific algorithms so that we can make a decision which of them gives more reliable data processing results. To make sure that more efficient algorithm is chosen, Oracle analytic functions can be used for data preparation before using the algorithms and for analysing the results obtained after the execution of the algorithms. Hadoop framework and Hive, as part of it, have been used to improve access to data being processed.