AA batek zenbat eta gehiago "arrazoitu", orduan eta okerrago

Esperimentu bat egin dute ikertzaileek, premisa honetatik abiatuta: AA produktuetan, txat adimentsuen kategorian, "arrazoitze" ereduak agertu dira azken aldian. Batetik, erabiltzaileak aukera du erakustarazteko txatean nola egiten duen "arrazoitzea" delako AA sistemak, zuk planteaturiko galderari paragrafo soil batekin baino gehiagorekin erantzunez. Era berean, suposatzen da "arrazoitze" horrek laguntzen duela AA txataren emaitza hobetzen, lehen kolpean eman ditzakeen erantzun okerrak fintzen.

Deepseekekin, geuk ere egin genituen aproba batzuk hemen Sustatun, ingelesez.

Ikertzaileen esperimentuan zenbait asmakizun kontrolatu (jolasak, azken batean) testeatu dituzte, arrazoitze-eredu batzuk probatzeko (Claude 3.7 eta DeepSeek-R1 adibidez), guztietan gauza bera probatzeko, eta asmakizunaren konplexutasun maila handituz.

Eta zera aurkitu dute. Eredu arrazoitsuek hobetzen dute pixkat beste txat adimentsu batzuen emaitza, baina hasieran bakarrik. Jokoa konplexuago bihurtu ahala, "arrazoitzeak" ez du batere laguntzen. Kolapso batera iristen dira eta zero emaitza zuen ematen dituzte sisyema guztiek. Ez dute inondik urrats logikoak kateatzea, muga zorrotzak azalduz arrazoiketa sinbolikoan eta urratsez urratsezko egiaztatzean (hori baita arrazoitze artifizial honen gako bat: urrats bat aztertzen du makinak, eta hortik logikaz hurrengora doa, eta ustez horrela fidagarritasuna lortzen da.

Grafikoetan ikusten da nola joko guztietan, probatutako bi ereduetan zerora jaisten da zuzentasuna konplexutasuna gehitu ahala:

Sistema konplexuagoetan ere, baliabide eta token askoko konputazioa erabilita ere, ez dago eskala hobetik. Ez da eskala kontua hortaz, kanpo-mugek eragindakoa, sistemaren barne-ahultasunak eragindakoa baizik. Ikuspegi pesimista bat AA garapenerako: sistema konplexuago batean gehiago inbertituz alferrik izan daitekeela dio ikerketa.

Ikertzaileen arabera, probatutako ereduek "gehiegizko pentsamendua" erakusten dute: erantzun zuzen samarrak goiz sortzen dituzte, baina gero bide okerrak arakatuz hondatzen dituzte. Eta konplexutasuna handitzen den heinean, modeloek ez dute erantzun zuzenik aurkitzen inondik ere.

Zer esan nahi du horrek? Arrazoiketaren itxura egiten dutela, ez dago ez arrazoitzerik ezta adimenik. 

Azterketa kontsultatzeko, hemen.

Bertan aipatzen dira logika jokoei buruzko estekak, interesa izan dezaketelakoan:

• Tower of Hanoi / Hanoiko dorrea
• Checker jumping / Dama-fitxak saltoka
• Blocks World / Bloke-mundua
• River Crossing / Ibaiak gurutzatu. Joko edo asmakizun honen aldaera interesgarri bat da Kant eta Konigsberg hiriko zubiena.