ChatGPT vs. DeepSeek: Prevođenje prirodnog jezika u SQL kod

Abstract

Veliki jezički modeli su privukli značajnu pažnju zbog sposobnosti generisanja smislenog i preciznog teksta. Prevođenje prirodnog jezika u SQL kod, kao i primena velikih jezičkih modela u ovoj oblasti, postaje sve popularnija tema među istraživačima. U radu se analiziraju performanse dva velika jezička modela, GPT-4o i DeepSeek R1, u generisanju SQL koda iz prirodnog jezika koristeći BIRD skup podataka. Fokus istraživanja je na proceni tačnosti generisanja SQL koda u zavisnosti od složenosti upita, s posebnim akcentom na složenost šema baza podataka. Rezultati pokazuju umerene performanse oba modela, pri čemu GPT-4o postiže tačnost od 60.17%, a DeepSeek R1 tačnost od 60.37%. Iako su ove vrednosti gotovo identične, detaljna analiza otkriva značajne razlike u performansama, pri čemu DeepSeek R1 pokazuje bolje rezultate u rešavanju izazovnijih upita, dok oba modela ostvaruju sličnu tačnost kod jednostavnijih upita. Istraživanje ukazuje na potrebu za detaljnijim testiranjima modela na upitima različite složenosti, kako bi se stekla preciznija slika o njihovim stvarnim sposobnostima.