Txatbotak neurtzeko Ebaluatoia jarri du martxan Hitz Zentroak
Hitz zentroak, adimen artifiziala (AA) eta beste hizkuntza-teknologia batzuk euskaraz eta euskararentzat lantzen ari den ikertegiak, Ebaluatoia jarri du martxan. 20 txatbot eredu ebaluatzeko proposamen bat da, euskaldun guztioi irekia otsailaren 17a arte, eta sariekin, partehartzea sustatzeko. Ebaluatuko diren 20 ereduen artean izen ezagunekoak daude, eta orain arte publiko egin ez diren Latxa sistemaren txatbot bertsio batzuk ere bai, baina ebaluazioa anonimoa da, txat egitean zeuk esan beharko duzu zein iruditzen zaizun hobea saio bakoitzean.
Otsailaren 17a arte hartu daiteke parte Ebaluatoian, eta 20.000 erantzun bildu nahi ditu Hitz Zentroak. Parte-hartzea sustatzeko, sariak jarri dituzte: Partehartzaile guztien artean, zozketaz, teknologian gastatzeko 350 euroko bonoa.
https://ebaluatoia.hitz.eus/ orrian sartu eta izena eman ondoren, ekin ebaluazioari. Txat lehio batekin bezala da, baina galdera edo iruzkina zuzentzen duzunean, erantzuna bi leihotan agertuko zaizu, A eta B, eredu sortatik bik erantzungo dizute. Jarraitu dezakezu galderak egiten, eta beste txat bat hasi, eta halako batean zure ebaluazioa bidali, A edo B, zer den hobea bi irizpide desberdinetan: edukiaren kalitatea, eta euskararen kalitatea. Ez bi parametroak batera, baizik eta bakoitzean A ala B den hobea, eta berdinketa somatzen ote duzun.
Goiko irudiko adibidean, Sustatuko editoreak euskaraz arreba / ahizpa terminoekin txatbotak nola dabiltzan probatu nahi izan du, adibidez.
Hizkuntza Eredu Handiak (LLM ingelesezko sigletan) erabiltzeko interfazeak dira txatbotak: testua eman, eta erantzun egiten dute. ChatGPT da ezagunena (OpenAI enpresarena), eta euskaraz bikain aritzen diren Claude (Anthropic-ena) eta Deepseek berria ere badaude. Hitz zentroaren Latxa euskarazko garapenak ez du oraindik txatbot publikorik, baina Ebaluatoian Latxaren bertsio bat baino gehiago jarri dute, 20 txatbot ereduren artean. Beste batzuk dira, GPT-4o edo Claude Sonnet komertzialak, edo Llama 3.1 Irekia. Baina zuk bi txat lehio ebaluatzen dituzularik, ez duzu jakingo zein den zer.
Txat eredu batzuk onak dira, baina txar samarrak ere sartu dituzte, ebaluazioaren parametro zientifikoek hala eskatzen baitute.
Ebaluatoian parte hartzean zure erantzunak erabiliko dira txatbot-en ebaluaziorako eta txatbot berrien ikerkuntzarako. Datu hauek etorkizunean era irekian (CC0 lizentzia) argitaratuko dira, Hitz zentroaren arabera.
Erantzun
Sartu