LLMs la bele koreji-an iha tarefa razaun, Estudu husi DeepMind hetan.

Photo of author

By naroman

Imajen ne’ebé hala’o ho Bing Image Creator Artigu ida ne’e mak parte husi ami nia abrangénsia kona-ba peskiza AI nian. Sientista sira halo estratéjia varias liu ba hadi’ak no abilidade razaun ba modelu língua ne’ebé boot, hanesan aumentu ho rekuperasaun no razaun “chain-of-thought”. Entre sira ne’e, “self-correction” – teknika ida ne’ebé modelu língua boot sira hato’o liña rasik nian – hetan popularidade makaas, hodi demonstra efikasia iha aplikasaun barak. Maibé, mekanismu iha tuir de’it. Estudu foun ne’ebé halo husi Google DeepMind ho kolaborasaun ho Universidade Illinois at Urbana-Champaign hatete katak, modelu língua boot sira ladún di’ak tebes wainhira halo self-correction ba resposta rasik sira tanpa feedback eksternu. Iha faktus, estudu ne’e sugere katak self-correction bele prejudika desempenhu modelu sira ne’e, desafia kompreensaun prevalente kona-ba teknika popular ida ne’e. Ita boot hatene di’ak self-correction ne’e? Self-correction baseia ba ideia katak modelu língua boot sira bele aprezenta saida makaas no hatutan fila fali ba resposta rasik sira. Por ezemplu, modelu língua boot ida bele laiha kapasidade atu resolve problema matemátika, maibé bele hatutan resposta nia ho razaun hafoin revizaun ba saida maka modelu hato’o rasik no razaun. Estudu barak hatete katak prosesu ida ne’e, ne’ebé hatete mos ho “self-critique,” “self-refine,” ka “self-improve”. Maibé, efetividade self-correction la universu ba hotu hotu tarefa. Papel husi DeepMind ho Universidade Illinois hatete katak, suksesu self-correction depende iha natureza tarefa ne’ebé mak iha. Iha tarefa razaun, teknika self-correction normalmente suksesu liu bainhira bele uza sira rekursu eksternu, hanesan feedback umanu, ferramenta eksternu hanesan kalkuladóra ka executor kode, ka baze konhesimentu. Peskizadór sira subliña faktu katak, feedback kualidade di’ak la’ós sempre disponível iha aplikasaun barak. Ne’e hatudu katak importante atu kompriende kapasidade intrinseka modelu língua boot sira nian no hatene sa mak self-correction ne’e bele atribui ba konhesimentu internu modelu nian. Sira halo introdusaun ba konseitu “intrinsic self-correction,” ne’ebé refere ba kazu ida ne’ebé modelu tenta koreji resposta inisial bazeia ba kapasidade internu modelu nian, ho laiha feedback eksternu. Téknika self-correction ne’ebé tuir iha modelu língua boot Estudu ne’ebé halo husi peskizadór sira testa self-correction iha benchmark sira ne’ebé hatene desempenhu modelu iha rezolve problema matemátika, hatutan pergunta múltipla, no rezolve problema kuzaun ne’ebé presiza razaun. Sira uza prosesu tolu ba self-correction. Primeiru, sira hato’o pergunta ba modelu. Dahuluk, sira hato’o fali modelu hodi reviza resposta liña kotuk. Ikus, sira hato’o nafatin ba modelu fali hodi hatutan pergunta inisial bazeia ba feedback ne’ebé modelu hato’o rasik. Sira nia rezultadu hatudu katak self-correction funsiona efetivamente bainhira modelu sira bele asesu ba rótulu verdade ne’ebé inklui iha benchmark dataset. Identi iha algoritmu bele hatene sa mak momentu atu para prosesu razaun no evita muda resposta bainhira resposta ne’e ona koreta. Hanesan peskizadór sira hatete, “Rezultadu sira ne’e uza rótulu veridade hodi prevene modelu hodi altera resposta ne’ebé koreta ba resposta ne’ebé inkoreta. Maibé, determina nafatin sa mak hodi prevene mudansa moras ne’e, de’it bazeia ba resposta ne’e ona koreta, la’os lakon.” Maibé, asumsaun ne’e la reflete situasaun realidade, iha ne’ebé rótulu veridade la’ós sempre disponível. Se rótulu veridade fácilmente asesível, la presiza uza modelu aprendizajen makina hodi predikta. Peskizadór sira demonstra katak bainhira sira hasai rótulu husi prosesu self-correction, desempenhu modelu sira iha tendénsia atu kria keda. Interejante, modelu sira oferese resposta koreta iha inisial, maibé muda ba resposta inkoreta hafoin self-correction. Tuir ezemplu, iha GPT-3.5-Turbo (modelu ne’ebé uza iha ChatGPT nian versa

Tetun Translator

FREE
VIEW