{"id":1534,"date":"2025-02-16T22:51:39","date_gmt":"2025-02-16T22:51:39","guid":{"rendered":"https:\/\/vienapaskola.lt\/index.php\/2025\/02\/16\/sie-tyrejai-naudojo-npr-sekmadienio-galvosukiu-klausimus-kad-butu-lyginami-ai-samprotavimo-modeliai\/"},"modified":"2025-02-16T22:51:39","modified_gmt":"2025-02-16T22:51:39","slug":"sie-tyrejai-naudojo-npr-sekmadienio-galvosukiu-klausimus-kad-butu-lyginami-ai-samprotavimo-modeliai","status":"publish","type":"post","link":"https:\/\/vienapaskola.lt\/index.php\/2025\/02\/16\/sie-tyrejai-naudojo-npr-sekmadienio-galvosukiu-klausimus-kad-butu-lyginami-ai-samprotavimo-modeliai\/","title":{"rendered":"\u0160ie tyr\u0117jai naudojo NPR sekmadienio galvos\u016bki\u0173 klausimus, kad b\u016bt\u0173 lyginami AI \u201esamprotavimo\u201c modeliai"},"content":{"rendered":"


\n<\/p>\n

\n

Kiekvien\u0105 sekmadien\u012f NPR \u0161eimininkas Willas Shortzas, \u201eThe New York Times\u201c kry\u017eia\u017eod\u017ei\u0173 d\u0117lion\u0117s guru, pradeda t\u016bkstan\u010dius klausytoj\u0173 viktorin\u0105 ilgame\u010diame segmente, vadinamame \u201eThe Sunday Puzzle\u201c. Nors para\u0161yta, kad b\u016bt\u0173 i\u0161spr\u0119sta be taip pat<\/em> Daug \u017eini\u0173 apie tai, kad \u201eBrainteasers\u201c paprastai kelia i\u0161\u0161\u016bk\u012f net kvalifikuotiems konkurso dalyviams.<\/p>\n

\u0160tai kod\u0117l kai kurie ekspertai mano, kad jie yra perspektyvus b\u016bdas patikrinti AI problem\u0173 sprendimo geb\u0117jim\u0173 ribas.<\/p>\n

Neseniai atliktame tyrime tyr\u0117j\u0173 komanda, kilusi i\u0161 Wellesley koled\u017eo, Oberlino koled\u017eo, Teksaso universiteto Austine, \u0160iaur\u0117s ryt\u0173 universitete, Charleso universitete ir \u201eStartup Cursor\u201c, suk\u016br\u0117 AI etalon\u0105, naudodamas m\u012fsles i\u0161 sekmadienio d\u0117lion\u0117s epizod\u0173. Komanda sako, kad j\u0173 testas atskleid\u0117 stebinan\u010dias \u012f\u017evalgas, kaip ir \u0161ie samprotavimo modeliai – \u201eOpenai\u201c O1, be kita ko, kartais \u201epasiduoti\u201c ir pateikti atsakymus, kurie, j\u0173 \u017einiomis, n\u0117ra teisingi.<\/p>\n

\u201eMes nor\u0117jome sukurti etalon\u0105 su problemomis, kurias \u017emon\u0117s gali suprasti tur\u0117dami tik bendr\u0105sias \u017einias\u201c,-\u201eTechCrunch\u201c pasakojo Arjun Guha, \u201eNortheastern\u201c informatikos fakulteto narys ir vienas i\u0161 tyrimo bendraautori\u0173.<\/p>\n

\u0160iuo metu AI pramon\u0117 yra \u0161iek tiek palyginama. Daugelis test\u0173, da\u017eniausiai naudojam\u0173 vertinant PG modelius, zondo \u012fg\u016bd\u017eius, pavyzd\u017eiui, kompetencija atsi\u017evelgiant \u012f daktaro lygio matematikos ir mokslo klausimus, kurie n\u0117ra svarb\u016bs paprastam vartotojui. Tuo tarpu daugelis etalon\u0173 – net palyginti neseniai i\u0161leisti etalonai greitai art\u0117ja prie sodrumo ta\u0161ko.<\/p>\n

Vie\u0161ojo radijo viktorinos \u017eaidimo, pavyzd\u017eiui, \u201eThe Sunday\u201c d\u0117lion\u0117s, prana\u0161umai yra tai, kad jis nei\u0161bando ezoterini\u0173 \u017eini\u0173, o i\u0161\u0161\u016bkiai yra suformuluoti taip, kad modeliai negali remtis \u201erote atmintimi\u201c, kad juos i\u0161spr\u0119st\u0173, paai\u0161kino Guha.<\/p>\n

\u201eManau, kad \u0161ios problemos sunkiai daro tai, kad tikrai sunku padaryti prasming\u0105 problemos pa\u017eang\u0105, kol nei\u0161spr\u0119site – b\u016btent tada viskas paspaud\u017eia kartu\u201c, – sak\u0117 Guha. \u201eTam reikalingas \u012f\u017evalgos derinys ir pa\u0161alinimo procesas\u201c.<\/p>\n

\u017dinoma, n\u0117 vienas etalonas n\u0117ra tobulas. Sekmadienio galvos\u016bkis yra tik JAV centras ir angl\u0173 kalba. Ir kadangi viktorinos yra vie\u0161ai prieinamos, gali b\u016bti, kad jose apmokyti modeliai tam tikra prasme gali \u201eapgauti\u201c, nors Guha sako, kad jis to nemat\u0117.<\/p>\n

\u201eNauji klausimai i\u0161leid\u017eiami kiekvien\u0105 savait\u0119, ir mes galime tik\u0117tis, kad naujausi klausimai bus tikrai nematyti\u201c, – prid\u016br\u0117 jis. \u201eMes ketiname i\u0161laikyti etalon\u0105 \u0161vie\u017ei\u0105 ir sekti, kaip laikui b\u0117gant kei\u010diasi modelio na\u0161umas\u201c.<\/p>\n

Tyr\u0117j\u0173 etalone, kur\u012f sudaro apie 600 sekmadienio galvos\u016bki\u0173 m\u012fsl\u0117s, toki\u0173 samprotavimo modeli\u0173 kaip O1 ir \u201eDeepseek\u201c R1 \u017eymiai pralenkia likusius. Prie\u017ei\u016bros modeliai kruop\u0161\u010diai patikrinkite save prie\u0161 pateikdami rezultatus, o tai padeda jiems i\u0161vengti kai kuri\u0173 sp\u0105st\u0173, kurie paprastai kelia AI modelius. Kompromisas yra tas, kad samprotavim\u0173 modeliai u\u017etrunka \u0161iek tiek ilgiau, kad b\u016bt\u0173 galima gauti sprendimus-paprastai sekund\u017ei\u0173 ar minu\u010di\u0173 ilgiau.<\/p>\n

Bent vienas modelis \u201eDeepseek\u201c R1 pateikia sprendimus, kuriuos jis \u017eino, kad klysta d\u0117l kai kuri\u0173 sekmadienio galvos\u016bki\u0173 klausim\u0173. R1 nurodys Verbatim\u0105 \u201eA\u0161 atsisakau\u201c, po kurio pateiks neteisingas atsakymas, pasirinktas, atrodo, atsitiktinai – elgesys, su kuriuo \u0161is \u017emogus tikrai gali b\u016bti susij\u0119s.<\/p>\n

Modeliai priima kitus keistus sprendimus, pavyzd\u017eiui, pateikti neteising\u0105 atsakym\u0105 tik tam, kad nedelsiant j\u012f atsitrauktum\u0117te, pabandykite erzinti geresn\u012f ir v\u0117l nes\u0117kmingai. Jie taip pat \u012fstrigo \u201egalvoti\u201c am\u017einai ir pateikia nes\u0105moningus atsakym\u0173 paai\u0161kinimus arba i\u0161kart pateikia teising\u0105 atsakym\u0105, bet tada be akivaizd\u017eios prie\u017easties svarsto alternatyvius atsakymus.<\/p>\n

\u201eKalbant apie sunkias problemas, R1 tiesiogine prasme sako, kad jis\u201e nusivyl\u0117 \u201c, – sak\u0117 Guha. \u201eBuvo juokinga pamatyti, kaip modelis m\u0117gd\u017eioja tai, k\u0105 gali pasakyti \u017emogus. Belieka i\u0161siai\u0161kinti, kaip \u201enusivylimas\u201c samprotavimais gali paveikti modelio rezultat\u0173 kokyb\u0119 \u201c.<\/p>\n

\"NPR
R1 \u201enusivyl\u0119s\u201c klausimu sekmadienio galvos\u016bki\u0173 i\u0161\u0161\u016bki\u0173 rinkinyje.<\/span>Vaizdo kreditai:<\/strong>Guha ir kt.<\/span><\/figcaption><\/figure>\n

Dabartinis geriausiai veikiantis etalono modelis yra O1, kurio rezultatas yra 59%, o po to neseniai i\u0161leistas \u201eO3-Mini\u201c nustatytas auk\u0161tas \u201esamprotavimo pastangas\u201c (47%). (R1 surinko 35%.) Kaip kitas \u017eingsnis, tyr\u0117jai planuoja i\u0161pl\u0117sti savo bandymus su papildomais samprotavimo modeliais, kurie, j\u0173 manymu, pad\u0117s nustatyti sritis, kuriose \u0161ie modeliai gali b\u016bti sustiprinti.<\/p>\n

\"NPR
Modeli\u0173, kuriuos komanda i\u0161band\u0117 ant savo etalono, balai.<\/span>Vaizdo kreditai:<\/strong>Guha ir kt.<\/span><\/figcaption><\/figure>\n

\u201eJums nereikia doktorant\u016bros, kad b\u016bt\u0173 galima gerai samprotauti, tod\u0117l tur\u0117t\u0173 b\u016bti \u012fmanoma sukurti samprotavimo etalonus, kuriems nereikia \u017eini\u0173 daktaro laipsnyje\u201c,-teig\u0117 Guha. \u201eEtalonas su platesne prieiga leid\u017eia platesniam tyr\u0117j\u0173 rinkiniui suprasti ir analizuoti rezultatus, o tai savo ruo\u017etu gali sukelti geresni\u0173 sprendim\u0173 ateityje. Be to, kadangi moderniausi modeliai vis labiau naudojami nustatymuose, kurie daro \u012ftak\u0105 visiems, mes tikime, kad visi tur\u0117t\u0173 sugeb\u0117ti intuityviai nustatyti, kokie \u0161ie modeliai yra ir n\u0117ra-galimi. \u201c<\/p>\n<\/div>\n


\n
Source link <\/a><\/p>\n","protected":false},"excerpt":{"rendered":"

Kiekvien\u0105 sekmadien\u012f NPR \u0161eimininkas Willas Shortzas, \u201eThe New York Times\u201c kry\u017eia\u017eod\u017ei\u0173 d\u0117lion\u0117s guru, pradeda t\u016bkstan\u010dius klausytoj\u0173 viktorin\u0105 ilgame\u010diame segmente, vadinamame \u201eThe Sunday Puzzle\u201c. Nors para\u0161yta, kad b\u016bt\u0173 i\u0161spr\u0119sta be taip pat Daug \u017eini\u0173 apie tai, kad \u201eBrainteasers\u201c paprastai kelia i\u0161\u0161\u016bk\u012f net kvalifikuotiems konkurso dalyviams. \u0160tai kod\u0117l kai kurie ekspertai mano, kad jie yra perspektyvus b\u016bdas […]<\/p>\n","protected":false},"author":1,"featured_media":1535,"comment_status":"","ping_status":"","sticky":false,"template":"","format":"standard","meta":{"om_disable_all_campaigns":false,"_monsterinsights_skip_tracking":false,"footnotes":""},"categories":[4],"tags":[487,3522,156,3523,3524,3525,3519,3520,2812,3521,3517,3518],"class_list":["post-1534","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-technologijos","tag-butu","tag-galvosukiu","tag-kad","tag-klausimus","tag-lyginami","tag-modeliai","tag-naudojo","tag-npr","tag-samprotavimo","tag-sekmadienio","tag-sie","tag-tyrejai"],"aioseo_notices":[],"aioseo_head":"\n\t\t\n\t\n\t\n\t\n\t\n\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t