Egy magyar nyelvű táblázatos kérdésmegválaszolás kiértékelő adatbázis
Cikkünkben nagy nyelvi modellek táblázat értelmezési képességeit vizsgáljuk. Ehhez készítettünk egy magyar nyelvű kiértékelőadatbázist, amiben Wikipédiaról származó táblázatok és azok alapján megválaszolható kérdés-válasz párok találhatók. A kérdés-válasz párokat a táblázat környezetében található s...
Elmentve itt :
| Szerzők: | |
|---|---|
| Testületi szerző: | |
| Dokumentumtípus: | Könyv része |
| Megjelent: |
Szegedi Tudományegyetem TTIK, Informatikai Intézet
Szeged
2025
|
| Sorozat: | Magyar Számítógépes Nyelvészeti Konferencia
21 |
| Kulcsszavak: | Nyelvi modell, Nyelvészet - számítógép alkalmazása |
| Tárgyszavak: | |
| Online Access: | http://acta.bibl.u-szeged.hu/88787 |
| Tartalmi kivonat: | Cikkünkben nagy nyelvi modellek táblázat értelmezési képességeit vizsgáljuk. Ehhez készítettünk egy magyar nyelvű kiértékelőadatbázist, amiben Wikipédiaról származó táblázatok és azok alapján megválaszolható kérdés-válasz párok találhatók. A kérdés-válasz párokat a táblázat környezetében található szövegek alapján automatikusan generáltuk, majd ezeket kézzel ellenőriztük. Az így kapott korpuszon összehasonlítottuk 14 nagy nyelvi modell pontosságát. Azt konkludálhatjuk, hogy 2024 végén a 8 milliárd paraméteres modellek körülbelül 10 százalékponttal, míg a 30 millárd körüli modellek 5 százalékponttal teljesítenek rosszabbul, mint a GPT4o. |
|---|---|
| Terjedelem/Fizikai jellemzők: | 269-278 |
| ISBN: | 978-963-688-034-7 |