Metodologija otkrivanja nestandardnih opservacija u k-dimenzionom prostoru

Abstract

Predmet istraživanja ove doktorske disertacije je formiranje metodologije za otkrivanje multivarijacionih nestandardnih opservacija kroz unapređenje metode Ivanovićevog odstojanja. Otkrivanje nestandardnih opservacija u k-dimenzionom prostoru je podjednako važno kao i njihovo otkrivanje u jednoj dimenziji. Pod pojmom „nestandardna opservacija” se podrazumeva ona opservacija koja je na neki način nekonzistentna sa preostalima iz posmatranog skupa. Otkrivanje multivarijacionih nestandardnih opservacija se najčešće sprovodi korišćenjem metode Mahalanobisovog odstojanja. Ivanovićevo odstojanje se koristi u cilju merenja intenziteta neke pojave, korišćenjem većeg broja izabranih indikatora. Unapređena metoda Ivanovićevog odstojanja testira značajnost svakog od posmatranih indikatora korišćenjem odgovarajuće F statistike. Kroz upotrebu definisanih procedura za eliminaciju i/ili selekciju indikatora, nova metoda teži formiranju „optimalnog” skupa indikatora, redukujući dimenziju posmatranog kompleksnog problema. Metoda sekvencijalnog Ivanovićevog odstojanja uzima u obzir diskriminacionu moć svakog od korišćenih indikatora. U skladu s tim, formira se jedinstvena vrednost odstojanja za svaku opservaciju iz posmatranog skupa. Rezultati istraživanja pokazali su da se ova metoda može uspešno koristiti za otkrivanje multivarijacionih nestandardnih opservacija.

The subject of this doctoral dissertation is the development of the methodology for detecting multivariate outliers through the modification of the Ivanović (I-distance) distance method. Detecting outliers in the k-dimensional space is as important as detecting them in a single dimension. The term outlier refers to the observation which is in some way inconsistent with the rest of the observations in a data set. Multivariate outliers are most commonly detected using the Mahalanobis distance method. I-distance is used to measure the intensity of an occurrence, using a number of selected indicators. An improved method of I-distance tests the significance of each of the observed indicators using the appropriate F statistics. Through defined procedures for the elimination and /or selection of indicators, the new method seeks to form an optimal set of indicators, while reducing the dimension of the complex problem at hand. The stepwise I-distance method takes into account the discriminatory power of each of the indicators used. Accordingly, a unique I-distance value is formed for each observation from the observed set. The research results show that this method can be used to detect multivariate outliers.