779 Zenbakia 2023-06-15 / 2023-09-13

Gaiak

Azken asteetan adimen artifizialarekin erlazionatutako hitzik erabilienetako bat ChatGPT izan liteke. Azken datuen arabera, ChatGPT-k 100 milioi erabiltzaile baino gehiago ditu. Badirudi hizkuntzaren prozesamenduan oinarritutako adimen artifizialeko teknologia hau gizarteratu egin dela. Baina zer da ChatGPT eta zer egin dezake horrelako tresna batek? OpenAI enpresaren produktu bat da ChatGPT. GPT (Generative Pre-trained Transformer) ereduaren inplementazio espezifiko bat da, gizakiekin elkarrizketak izateko bereziki diseinatua eta GPT3.5 hizkuntza-eredu handian doitua.

Horrelako produktu batera iritsi aurretik, nabarmentzekoak dira hizkuntzaren prozesamenduan azken urteetan izandako aurrerapenak. 2010eko hamarkadan nabarmengarria den aldaketa teknologiko bat ikusi genuen, izan ere, hamarkada horretan hitzen errepresentazioa adierazteko neurona-sareak erabiltzen zituzten sistemak aurkeztu ziren.  Hitz-bektoreak agertzearekin, aukera sortu zen hitzak adierazteko zenbakizko bektore gisa dimentsio handiko espazio batean. Bektoreak hitzen arteko esanahia eta harremanak jasotzen ditu. Horrela, antzeko esanahiak dituzten hitzak elkarrengandik hurbilago kokatzen dira, eta esanahi desberdinak dituzten hitzak berriz, urrunago daude. Dimentsio handiko espazio bat izanik, hitz bakoitzaren kokapena faktore eta dimentsio aniztunek zehazten dute. Errepresentazio hauek lortzeko eta hitzen arteko erlazioak ikasteko, algoritmoek testu kopuru handia aztertzen dute eta modu horretan, “hizkuntza-paisaia” bat sortzeko gai dira. Errepresentazio hauek hizkuntzarekin lotutako hitz mailako zereginak hobeto egiteko erabiltzen dira batez ere, hala nola, hitzen antzekotasuna, hitzen analogia edo hitzen adieren desanbiguazioa.

Azken urteotan berriz, hizkuntzarekin lotutako zereginen ikuspegia iraultzen ari diren ikasketa sakoneko teknika eta tresna berri eta aurreratuen sorreraren lekuko izan da hizkuntza-teknologiako komunitatea. Nagusiki lau arrazoiengatik gertatu da arrakasta: 1) neurona-sare sakonen teknologiaren heldutasuna, 2) datu-kopuru handien eskuragarritasuna, 3) errendimendu handiko konputazio-ahalmena, eta 4) autoikasketarako hurbilpen sinple eta eraginkorren aplikazioa. 

GPT3 moduko ereduek milioika eta milioika parametro dituzte eta horri esker entrenamendu-datuetatik ezagutza eta informazio kopuru handia harrapatzeko gai dira.

Horren ondorioz, aurrez entrenatutako hizkuntza-ereduak zabaltzen hasi dira. Hizkuntza-eredu batek, testu kopuru handiak aztertuz, hizkuntza baten patroiak, egiturak eta erlazio semantikoak jasotzen ditu parametroetan kodetuz, testu berria sortzeko. Hitzak eta esaldiak nola erabiltzen diren, esaldiak nola osatzen diren eta testuinguruak esanahian nola eragiten duen ere ikasten du. Horri esker, hizkuntza-ereduak hizkuntzari lotutako hainbat lan egin ditzake: galderak erantzun, testuak sortu, itzulpenak egin, gramatika zuzendu edota informazioa laburtu.

Baina nola ikasten dute hizkuntzari buruz? Nola dira gai esaldi edo dokumentu mailako testuak sortzeko? Ataza “sinple” bat egiten ikasten dute: hitz-segida bat emanik, hitz segidaren hurrengo hitza iragartzen ikasten dute. Demagun “Sagarrak berdeak dira, limoiak ___” esaldia dugula. Hizkuntza-ereduak hutsunearen aurretik agertzen den esaldiaren testuingurua jaso eta hutsunea betetzeko hitz probableena iradokitzen du. Esaterako, “Sagarrak berdeak dira, limoiak horiak” adibidea askotan ikusi badu, “horiak” hitzak emandako testuinguruaren jarraipena izatea oso litekeena dela ikasten du. Alegia, “horiak” hitzari probabilitate handiagoa esleitzen dio testuinguru horretan agertzeko aukera gutxiago duten beste hitz batzuekin alderatuta eta modu horretara milioika parametroak modu egokian doitzen dira. Prozesu hau behin eta berriz gertatzen da, hitz berriak sortuz aurretik sortutako tokenetan oinarrituta.

Hizkuntza-eredu oso handiek, GPT familiakoek bezala, testuinguru zabalagoak irakurtzeko gai dira. GPT3 moduko ereduek milioika eta milioika parametro dituzte eta horri esker entrenamendu-datuetatik ezagutza eta informazio kopuru handia harrapatzeko gai dira. Hizkuntza-eredu handiek erantzunak sortzerakoan edo hurrengo hitza iragartzerakoan aurreko hitzak eta esaldiak kontuan hartzeko gaitasuna dutenez, sortzen duten hizkuntza hobetzen da, koherentzia hobetuz. Gai eta idazkera-estilo asko biltzen duten datu multzo zabaletan entrenatuak izan direnez, hizkuntzaren erabilera zabala jasotzen dute eta hainbat domeinuri buruzko ezagutza orokorrak eskuratzen dute. Eredu hauek kalitate handiko testu koherenteak sortzeko gai dira, ikusitako datu guztiei esker.

Gainera, adibide gutxi batzuetatik hasita, domeinu edo ataza berrietara egokitzeko gaitasuna erakutsi dute. Horri esker, eredu handiek, entrenamendu-datu mugatuekin, zeregin berri edo espezializatuak burutu ditzakete. Ez hori bakarrik, hizkuntza-ereduek datu-multzo txikiekin ataza berrietara egokitzen dira, aurretik duten ezagutza erabiliz. Azken finean, hizkuntza-eredu handiek hizkuntza errepresentatzeko gaitasun hobeak dituztenez, testu koherenteagoa eta linguistikoki zehatzagoa sortu dezakete, hizkuntzarekin zerikusia duten hainbat zereginetan euren errendimendua hobetuz.

ChatGPTk GPT familiako arkitektura eta gaitasun berdinak ditu, GPT-3.5 hizkuntza-ereduan doitua baitago. Hala ere, elkarrizketetan erantzun erakargarriagoak eta koherenteagoak emateko optimizatua izan da. Horretarako, giza feedbackarekin errefortzu bidezko ikasketa (Reinforcement Learning with Human Feedback (RLHF)) erabili da. Gizakien trebetasunak eta adimen artifizialaren gaitasunak konbinatzen dira horrela, giza balioekin hobeto lerrokatzen den sistema bat sortzeko. Bi urrats egiten dira horretarako. Lehenik eta behin, aurre-entrenamenduko fasean datu multzo masiboetatik ikasten da, hizkuntza-patroiak jasotzeko. Bigarren urrats batean, eredua hobetu egiten da giza iritziak erabiliz. Pertsonek zeregin erabakigarria dute hemen. Ereduak sortutako erantzunak ebaluatzen eta baloratzen dituzte: erantzunen kalitatea balora dezakete edo emaitza hobeak lortzeko jarraibide zehatzak eman ditzakete. Ondoren, ereduak feedback hori hartzen du eta bertatik ikasten du, bere portaera egokituz, erantzun hobeak, zehatzagoak eta lagungarriagoak emateko.  Azken helburua sistemaren portaera giza balioekin lerrokatzea da, gizakien beharrekin eta lehentasunekin bat datorrena. Horrela, informazio baliagarria eskaintzen du, erabakiak hartzen laguntzeko eta gurekin modu naturalago eta lagungarriagoan elkarreragiteko duen gaitasuna hobetuz.

Interneteko testu sorta handietan entrenatua izan denez, hainbat hizkuntzetako edukia ikusi du ereduak. Beraz, ingelesez gain, beste hizkuntza batzuetan sor dezake testua, gaztelaniaz, frantsesez edo euskaraz, besteak beste. Hala ere, ingelesez errendimendu hobea du, entrenamendu-datu gehienak hizkuntza horretan baitaude. Beste hizkuntzetan tentuz ibili beharko gara sistema erabiltzean. Ez hori bakarrik, ChatGPTk informazio zehatza eta lagungarria ematen saiatzen bada ere, guztia oso modu naturalean idatziz, gerta liteke erantzunetan dagoen informazioa ez izatea guztiz fidagarria edo eguneratua. Izan ere, ikasketa-fasean erabilitako datuetan dauden patroi eta informazioan oinarrituak sortzen dira erantzunak. Interneten eskuragarri dagoen informazio mota zabala da eta bertan eduki zuzenak zein okerrak edo zaharkituak aurkitzeko aukera dagoenez, informazio desegokia sortzeko aukera beti egongo da. Komeni da beraz, ematen den informazioa egiaztatzea eta pentsamendu kritikoz aztertzea. Are gehiago, entrenamendu-datuetan dauden alborapenak islatu edo handitu ditzake horrelako eredu batek. ChatGPT entrenatzeko eta doitzeko erabilitako datuek alborapenak izan ditzakete, Interneten, liburuetan eta gizakiek sortutako beste testu-iturrietatik ateratzen baitira. ChatGPTk gizartearen, kulturaren, historioaren edota genero-ikuspegiaren aurreiritzi eta lehentasunen isla izan daiteke. Beste behin ere azpimarratu behar da hemen beraz, ereduaren irteerari pentsamendu kritikoarekin heltzearen beharra.

Bere ezaugarri on zein txarrekin, tresna hauek geratzeko etorri direla ematen du. Agian hemendik eta urte gutxi barru beste hurbilpen hobe batean oinarritutako teknologia agertuko da eta zeregin konplexuagoak egiteko gai izango dira, hori aurreratzea ez da erraza. Baina teknologia batean edo bestean oinarritutako tresnak gure artean geratzeko etorri direla ematen duenez, bultza ditzagun guztion artean horrelako tresna irekiak, hizkuntza guztietarakoak eta alborapen gabekoak.  Horretarako, oinarrizko ikerketa beharrezkoa da. Bultza dezagun hori. Jar ditzagun tresna hobeak guztion eskura eta sustatu dezagun baliabide horien erabilera zentzuzkoa.