Poboljšanje objašnjivosti VI modela na primeru ocenjivanja timskog rada studenata programiranja

Abstract

U našem prethodnom istraživanju, ocenjivan je timski rad studenata programiranja preko metrika dobijenih iz repozitorijuma koda. Pedagoška osnova je bila rubrika za ocenjivanje timskog rada. Upotrebljene su tri metode mašinskog učenja (stabla odlučivanja, random forest i neuronske mreže) kao i fazi zaključivanje, a evaluacija je obuhvatala kvalitet klasifikacije, praktičnost i objašnjivost. Objašnjivost je bila naročito bitna jer su nastavnici želeli da znaju zašto su studenti dobili određene ocene tj. kako je VI metoda došla do njih. Jedan od zaključaka je bio da, iz aspekta objašnjivosti, upravo fazi zaključivanje (korišćenjem traga izvršenih pravila), na osnovu mišljenja nastavnika, pruža najshvatljivija objašnjenja, a zatim stabla odlučivanja (grafički prikaz stabla). Za neuronske mreže i random forest, u to vreme nisu bile raspoložive metode za objašnjavanje. Intenzivan razvoj oblasti objašnjive VI u toku poslednjih nekoliko godina doneo je različite metode koje omogućavaju ljudima (korisnicima) da shvate kako je neki VI model izveo određeni rezultat i da, na taj način, doprinesu poverenju u rezultate modela i sam model. U ovom radu, fokus je na diskusiji o mogućnostima modela objašnjive VI na navedenom primeru ocenjivanja timskog rada, sa osvrtom na praktičnost pojedinačnih metoda i prilagođenost objašnjenja krajnjim korisnicima. Konkretno, u radu se razmatraju metode kontra-činjeničnih objašnjenja, SHAP i druge vizuelizacije i porede sa „klasičnim“ metodama za objašnjavanje poteklim iz oblasti ekspertnih sistema.