Poboljšanje objašnjivosti VI modela na primeru ocenjivanja timskog rada studenata programiranja
Апстракт
U našem prethodnom istraživanju, ocenjivan je timski rad studenata programiranja preko metrika dobijenih iz repozitorijuma koda. Pedagoška osnova je bila rubrika za ocenjivanje timskog rada. Upotrebljene su tri metode mašinskog učenja (stabla odlučivanja, random forest i neuronske mreže) kao i fazi zaključivanje, a evaluacija je obuhvatala kvalitet klasifikacije, praktičnost i objašnjivost. Objašnjivost je bila naročito bitna jer su nastavnici želeli da znaju zašto su studenti dobili određene ocene tj. kako je VI metoda došla do njih. Jedan od zaključaka je bio da, iz aspekta objašnjivosti, upravo fazi zaključivanje (korišćenjem traga izvršenih pravila), na osnovu mišljenja nastavnika, pruža najshvatljivija objašnjenja, a zatim stabla odlučivanja (grafički prikaz stabla). Za neuronske mreže i random forest, u to vreme nisu bile raspoložive metode za objašnjavanje. Intenzivan razvoj oblasti objašnjive VI u toku poslednjih nekoliko godina doneo je različite metode koje omogućavaju ljudim...a (korisnicima) da shvate kako je neki VI model izveo određeni rezultat i da, na taj način, doprinesu poverenju u rezultate modela i sam model. U ovom radu, fokus je na diskusiji o mogućnostima modela objašnjive VI na navedenom primeru ocenjivanja timskog rada, sa osvrtom na praktičnost pojedinačnih metoda i prilagođenost objašnjenja krajnjim korisnicima. Konkretno, u radu se razmatraju metode kontra-činjeničnih objašnjenja, SHAP i druge vizuelizacije i porede sa „klasičnim“ metodama za objašnjavanje poteklim iz oblasti ekspertnih sistema.
Кључне речи:
Mašinsko učenje, Objašnjiva veštačka inteligencija, Fazi zaključivanje, Softversko inženjerstvo, EdukacijaИзвор:
Konferencija Veštačka inteligencija 2023, 26-12-2023, 118-118Издавач:
- Srpska akademija nauka i umetnosti (SANU) i Matematički institur pri SANU
Напомена:
- Knjiga apstrakata
URI
http://www.mi.sanu.ac.rs/~ai_conf/AI_conf_Knjiga_apstrakata.pdfhttps://rfos.fon.bg.ac.rs/handle/123456789/2741
Институција/група
Fakultet organizacionih naukaTY - CONF AU - Tomić, Bojan AU - Kijevčanin, Anisja AU - Jovanović, Jelena AU - Ševarac, Zoran PY - 2023-12-26 UR - http://www.mi.sanu.ac.rs/~ai_conf/AI_conf_Knjiga_apstrakata.pdf UR - https://rfos.fon.bg.ac.rs/handle/123456789/2741 AB - U našem prethodnom istraživanju, ocenjivan je timski rad studenata programiranja preko metrika dobijenih iz repozitorijuma koda. Pedagoška osnova je bila rubrika za ocenjivanje timskog rada. Upotrebljene su tri metode mašinskog učenja (stabla odlučivanja, random forest i neuronske mreže) kao i fazi zaključivanje, a evaluacija je obuhvatala kvalitet klasifikacije, praktičnost i objašnjivost. Objašnjivost je bila naročito bitna jer su nastavnici želeli da znaju zašto su studenti dobili određene ocene tj. kako je VI metoda došla do njih. Jedan od zaključaka je bio da, iz aspekta objašnjivosti, upravo fazi zaključivanje (korišćenjem traga izvršenih pravila), na osnovu mišljenja nastavnika, pruža najshvatljivija objašnjenja, a zatim stabla odlučivanja (grafički prikaz stabla). Za neuronske mreže i random forest, u to vreme nisu bile raspoložive metode za objašnjavanje. Intenzivan razvoj oblasti objašnjive VI u toku poslednjih nekoliko godina doneo je različite metode koje omogućavaju ljudima (korisnicima) da shvate kako je neki VI model izveo određeni rezultat i da, na taj način, doprinesu poverenju u rezultate modela i sam model. U ovom radu, fokus je na diskusiji o mogućnostima modela objašnjive VI na navedenom primeru ocenjivanja timskog rada, sa osvrtom na praktičnost pojedinačnih metoda i prilagođenost objašnjenja krajnjim korisnicima. Konkretno, u radu se razmatraju metode kontra-činjeničnih objašnjenja, SHAP i druge vizuelizacije i porede sa „klasičnim“ metodama za objašnjavanje poteklim iz oblasti ekspertnih sistema. PB - Srpska akademija nauka i umetnosti (SANU) i Matematički institur pri SANU C3 - Konferencija Veštačka inteligencija 2023 T1 - Poboljšanje objašnjivosti VI modela na primeru ocenjivanja timskog rada studenata programiranja EP - 118 SP - 118 ER -
@conference{ author = "Tomić, Bojan and Kijevčanin, Anisja and Jovanović, Jelena and Ševarac, Zoran", year = "2023-12-26", abstract = "U našem prethodnom istraživanju, ocenjivan je timski rad studenata programiranja preko metrika dobijenih iz repozitorijuma koda. Pedagoška osnova je bila rubrika za ocenjivanje timskog rada. Upotrebljene su tri metode mašinskog učenja (stabla odlučivanja, random forest i neuronske mreže) kao i fazi zaključivanje, a evaluacija je obuhvatala kvalitet klasifikacije, praktičnost i objašnjivost. Objašnjivost je bila naročito bitna jer su nastavnici želeli da znaju zašto su studenti dobili određene ocene tj. kako je VI metoda došla do njih. Jedan od zaključaka je bio da, iz aspekta objašnjivosti, upravo fazi zaključivanje (korišćenjem traga izvršenih pravila), na osnovu mišljenja nastavnika, pruža najshvatljivija objašnjenja, a zatim stabla odlučivanja (grafički prikaz stabla). Za neuronske mreže i random forest, u to vreme nisu bile raspoložive metode za objašnjavanje. Intenzivan razvoj oblasti objašnjive VI u toku poslednjih nekoliko godina doneo je različite metode koje omogućavaju ljudima (korisnicima) da shvate kako je neki VI model izveo određeni rezultat i da, na taj način, doprinesu poverenju u rezultate modela i sam model. U ovom radu, fokus je na diskusiji o mogućnostima modela objašnjive VI na navedenom primeru ocenjivanja timskog rada, sa osvrtom na praktičnost pojedinačnih metoda i prilagođenost objašnjenja krajnjim korisnicima. Konkretno, u radu se razmatraju metode kontra-činjeničnih objašnjenja, SHAP i druge vizuelizacije i porede sa „klasičnim“ metodama za objašnjavanje poteklim iz oblasti ekspertnih sistema.", publisher = "Srpska akademija nauka i umetnosti (SANU) i Matematički institur pri SANU", journal = "Konferencija Veštačka inteligencija 2023", title = "Poboljšanje objašnjivosti VI modela na primeru ocenjivanja timskog rada studenata programiranja", pages = "118-118" }
Tomić, B., Kijevčanin, A., Jovanović, J.,& Ševarac, Z.. (2023-12-26). Poboljšanje objašnjivosti VI modela na primeru ocenjivanja timskog rada studenata programiranja. in Konferencija Veštačka inteligencija 2023 Srpska akademija nauka i umetnosti (SANU) i Matematički institur pri SANU., 118-118.
Tomić B, Kijevčanin A, Jovanović J, Ševarac Z. Poboljšanje objašnjivosti VI modela na primeru ocenjivanja timskog rada studenata programiranja. in Konferencija Veštačka inteligencija 2023. 2023;:118-118..
Tomić, Bojan, Kijevčanin, Anisja, Jovanović, Jelena, Ševarac, Zoran, "Poboljšanje objašnjivosti VI modela na primeru ocenjivanja timskog rada studenata programiranja" in Konferencija Veštačka inteligencija 2023 (2023-12-26):118-118.