LibreTranslate itzultzaile automatiko libreari euskara irakasten

LibreTranslate ez da kanpoko API edo zerbitzari komertzialetan oinarritzen, erraz erabil daitekeen interfazea eskaintzen du eta norberaren zerbitzari batean jar daiteke martxan, pribatutasuna eta datuen kontrola bermatuz. Hizkuntza aniztasuna sustatzea eta teknologia irekia bultzatzea ditu helburu nagusi eta software librearen komunitatearen laguntza eta garapena duenez, edonork beren proiektuetan integratu dezake doan eta lizentzia libreenpean.

Berebiziko tresna izan daiteke euskaldunontzat. Librezale edo Game Erauntsia bezalako proiektuetan, non software librea edota bideojokoak musutruk itzultzen diren komunitate hauetan, itzulpen iradokizun onak egiten dituen tresna libre eta doako bat eskura izatea aspalditik buruan nebilkien ideia bat zen. Badira gure inguruan hainbat enpresek eta erakundek sortutako itzultzaile oso onak, baina, guztiz librea den tresna bat eskura izatea ezinbestekoa iruditzen zitzaidan.

Aukera mordo bat sortzen dituelako, eta bide ematen dielako baita ziurrenik ere (datu libreetan oinarritzen baita) bestelako enpresei ere tresna berri eta hobeagoak sortzeko. Beraz, zuzenean LibreTranslate komunitatean ikertu eta honelako modelo bat sortzeko zer egin behar zen ikasi, eta nire kabuz bat sortu nuen. Dokumentazioan aipatzen zuen moduan, modeloa entrenatzerako orduan, Opus project delako korpusean dauden datu libreak erabiltzen ditu defektuz eta ingelesetik euskararako ereduarekin hastea iruditu zitzaidan onena.

Bi arrazoi nituen horretarako:

• Aurkitu nuen Corpusik handiena zen (15 milioi esaldi)
• LibreTranslate tresnak ingelesa erabiltzen du "komodin" moduan gainerako hizkuntzen arteko itzulpen gurutzatuak egiteko. Hau da, Galizieratik euskararako testu bat itzuli behar badu, GL -> EN -> EU itzulpen fluxu bat egiten du. Galizieratik ingelesera, eta ingelesetik euskarara, zuzenean itzuli beharrean.

Horrela, EN -> EU eta EU -> EN modeloak lortuz gero, LibreTranslatek eskura zituen gainerako hizkuntzetarako itzulpenak ere eskuragarri izango zituen edonork, naiz eta adituek dioten moduan, modu honetako itzulpenak kalitate eskasagokoak izan. Zerbait eskura izatea zen kontua, eta software libreko tresna honetan ere euskara presente egotea!

Opus Project-ek eskeinitako 15 milioi esaldi pare (ingelesetik euskarara), 10€ bat euro, 12 ordu eta 100 bat GB behar izan nituen entrenamendu osoa gauzatzeko. Noski, horretarako prestatutako makina bat alokatu behar izan nuen, edozein makinak ez baitu balio (besteak beste NVIDIA markako GPU ahaltsu bat behar izan nuen). Dokumentazioan bertan zetorren lotura bat erabili nuen https://vast.ai/ zerbitzuko makina alokatzeko, horrela argostranslate itzultzaile modelo hauek sortzeko proiektuak berak ere komisio portzentaia bat jasotzen baizuen.

Nire sorpresarako baina nire modeloa garatzaileen eskura jarri eta publitzerakoan zera jakin nuen, LibreTranslateko garatzaileak ere euskarazko lehen modelo hori sortzen ari zirela! Proiektuko foroan gure modeloek itzulitako hainbat testu partekatu ostean, garatzailea berak sortutako modeloa hobea zela ondorioztatu nuen eta berori txertatzea erabaki genuen. Ondoren, EU -> EN modeloa ere garatzaileek sortu eta LibreTranslaten hizkuntzen zerrendan argitaratu zuten.

Bitartean, LibreTranslate nire etxeko ordenagailuan muntatu eta martxan jarrita eta nik neuk sortutako ingelesa-euskara modeloaren laguntzaz LibreTranslate beraren interfazea euskaratu nuen! Horixe baita software librea, eskaintzen dituen aukerak infinituak dira!

Bada, une honetan, eta Galizieraren aurretik beste 92 hizkuntzekin batera eskuragarri duzue itzultzaile zerbitzu libre hau. Dagoeneko eskuragarri duzue https://libretranslate.com webgune ofizialean, proba txikiak egin nahi badituzue. Erabilera intentsiboagoa egiteko baina, GAKO bat eskatu beharko duzue. Alternatiba moduan hala ere, norberak honelako zerbitzari bat martxan jar dezake doan. Nik dagoeneko badaukat nirea ;)

Informazio gehiago kontu honetaz, blog post honetan.