Šių metų tarptautinėje mašinų mokymosi konferencijoje (ICML2025), Jaeho Kim, Yunseok Lee ir Seulki Lee Laimėjo puikų pozicijos popieriaus apdovanojimą už jų darbo poziciją: AI konferencijos kolegų peržiūros krizė reikalauja autoriaus atsiliepimų ir apžvalgininkų apdovanojimų. Iš „Jaeho“ girdime apie problemas, kurias jie bandė išspręsti, ir jų siūlomą autoriaus atsiliepimų mechanizmą ir recenzentų apdovanojimų sistemą.
Ar galėtumėte pasakyti ką nors apie problemą, į kurią išspręsite savo pozicijos dokumente?
Mūsų pozicijos dokumente nagrinėjamos problemos, kankinančios dabartines AI konferencijų tarpusavio apžvalgos sistemas, kartu kyla klausimų apie būsimą kolegų peržiūros kryptį.
Artėjanti dabartinės kolegų peržiūros sistemos AI konferencijose problema yra eksponentinis popierinių pateikimų augimas, kurį lemia didėjantis susidomėjimas AI. Šiais metais „Urips“ pateikė daugiau nei 30 000 paraiškų, o ICLR per vienerius metus padidėjo 59,8%. Šis didžiulis paraiškų padidėjimas sukėlė esminį neatitikimą: nors popieriaus pateikimai auga eksponentiškai, kvalifikuotų recenzentų fondas neatsiliko nuo tempo.
Pateikimas kai kurioms pagrindinėms AI konferencijoms per pastaruosius kelerius metus.
Šis disbalansas turi rimtų padarinių. Daugumai straipsnių nebėra tinkama peržiūros kokybė, nes pakenkia „Peer Review“ esminė mokslinių žinių vartininko funkcija. Kai peržiūros procesas nepavyksta, netinkami dokumentai ir ydingi tyrimai gali paslysti, potencialiai užteršti mokslinį įrašą.
Atsižvelgiant į gilų AI visuomenės poveikį, šis kokybės kontrolės suskaidymas kelia riziką, kuri apima toli už akademinės bendruomenės ribų. Prasti moksliniai tyrimai, patenkantys į mokslinį diskursą, gali suklaidinti būsimą darbą, paveikti politinius sprendimus ir galiausiai trukdyti tikroms žinioms tobulinti. Mūsų pozicijos dokumente pagrindinis dėmesys skiriamas šiam kritiniam klausimui ir siūlo metodus, kaip mes galime pagerinti apžvalgos kokybę, todėl geriau skleisti žinias.
Ką jūs ginčijatės pozicijos dokumente?
Mūsų pozicijos dokumente siūlomi du pagrindiniai pakeitimai, siekiant išspręsti dabartinę kolegų peržiūros krizę: autoriaus atsiliepimų mechanizmą ir recenzentų atlygio sistemą.
Pirma, autorių atsiliepimų sistema leidžia autoriams oficialiai įvertinti gautų apžvalgų kokybę. Ši sistema leidžia autoriams įvertinti recenzentų supratimą apie savo darbą, nustatyti galimus LLM sukurto turinio požymius ir nustatyti pagrindines apsaugos priemones nuo nesąžiningų, šališkų ar paviršutiniškų apžvalgų. Svarbu tai, kad tai nėra susiję su recenzentų bausme, o greičiau sukuriant minimalią atskaitomybę, siekiant apsaugoti autorius nuo mažos recenzentų, kurie gali neatitikti profesinių standartų.
Antra, mūsų recenzentų skatinimo sistema suteikia ir tiesioginę, ir ilgalaikę profesinę vertę kokybės peržiūrai. Dėl trumpalaikės motyvacijos autoriaus vertinimo balai lemia tinkamumą skaitmeniniams ženkliukams (tokiems kaip „Top 10% recenzento“ pripažinimas), kuriuos galima parodyti tokiuose akademiniuose profiliuose kaip „OpenReview“ ir „Google Scholar“. Siekdami ilgalaikio karjeros poveikio, mes siūlome tokią naują metriką kaip „recenzentų poveikio balas“-iš esmės H indeksas, apskaičiuotas pagal vėlesnius dokumentų citatas, kurias įvertino apžvalgininkas. Tai traktuoja recenzentus kaip į dokumentus, kurie padeda pagerinti, ir patvirtina jų vaidmenį tobulinant mokslines žinias.
Ar galėtumėte papasakoti daugiau apie savo pasiūlymą dėl šio naujo dvipusio tarpusavio peržiūros metodo?
Mūsų siūloma dvipusė tarpusavio apžvalgos sistema daro vieną pagrindinį dabartinio proceso pakeitimą: mes padalijome apžvalgos leidimą į dvi fazes.
Autorių siūloma modifikuoti tarpusavio peržiūros sistemą.
Šiuo metu autoriai pateikia dokumentus, recenzentai rašo išsamias apžvalgas, o visos apžvalgos išleidžiamos iškart. Mūsų sistemoje autoriai pirmiausia gauna tik neutralius skyrius – santrauką, stipriąsias puses ir klausimus apie jų dokumentą. Tada autoriai pateikia grįžtamąjį ryšį apie tai, ar recenzentai tinkamai suprato savo darbą. Tik po šio atsiliepimo mes išleidžiame antrąją dalį, kurioje yra trūkumų ir reitingų.
Šis požiūris siūlo tris pagrindinius privalumus. Pirma, tai praktiška – mums nereikia keisti esamų terminų ar peržiūrėti šablonus. Antrąjį etapą galima išleisti iškart po to, kai autoriai pateikia atsiliepimą. Antra, tai apsaugo autorius nuo neatsakingų apžvalgų, nes recenzentai žino, kad jų darbas bus įvertintas. Trečia, kadangi recenzentai paprastai apžvelgia kelis dokumentus, mes galime sekti jų atsiliepimų balus, kad padėtume teritorijos kėdėms nustatyti (IR) atsakingus recenzentus.
Pagrindinė įžvalga yra ta, kad autoriai geriausiai žino savo darbą ir gali greitai pastebėti, kai recenzentas netinkamai įsitraukė į savo darbą.
Ar galėtumėte pakalbėti apie konkrečią atlygio sistemą, kurią siūlote dokumente?
Mes siūlome ir trumpalaikį, ir ilgalaikį atlygį, skirtą kreiptis į recenzentų motyvaciją, kuri laikui bėgant natūraliai mažėja, nepaisant entuziastingo pradžios.
Trumpalaikiai: skaitmeniniai ženkliukai, rodomi recenzentų akademiniuose profiliuose, apdovanoti pagal autorių atsiliepimų balus. Tikslas yra tai, kad apžvalgininkų įnašai būtų labiau matomi. Nors kai kuriose konferencijose pateikiami geriausi apžvalgininkai savo svetainėse, šiuos sąrašus sunku rasti. Mūsų ženkliukai būtų aiškiai rodomi profiliuose ir netgi būtų galima atspausdinti ant konferencijos pavadinimų žymų.
Ženkliuko, kuris gali pasirodyti profiliuose, pavyzdys.
Ilgalaikė: skaitinė metrika, skirta kiekybiškai įvertinti apžvalgininkų poveikį AI konferencijose. Mes siūlome stebėjimo priemones, tokias kaip H-indeksas, skirtas apžvelgti dokumentai. Šios metrikos galėtų būti įtrauktos į akademinius portfelius, panašius į tai, kaip mes šiuo metu stebime leidinio poveikį.
Pagrindinė idėja yra apčiuopiamos karjeros naudos sukūrimas recenzentams, tuo pačiu nustatant kolegų peržiūrą kaip profesionalią akademinę paslaugą, kuri apdovanoja tiek autorius, tiek recenzentus.
Kaip manote, kas gali būti keletas šios sistemos įgyvendinimo privalumų ir trūkumų?
Mūsų sistemos pranašumai yra tris kartus. Pirma, tai labai praktiškas sprendimas. Mūsų požiūris nekeičia dabartinių peržiūros tvarkaraščių ar peržiūri naštą, todėl jį lengva įtraukti į esamas sistemas. Antra, tai skatina recenzentus elgtis atsakingai, žinant, kad jų darbas bus įvertintas. Mes pabrėžiame, kad dauguma recenzentų jau elgiasi profesionaliai – tačiau net nedaugelis neatsakingų apžvalgininkų gali rimtai pakenkti tarpusavio apžvalgos sistemai. Trečia, su pakankamu mastu autorių atsiliepimų balai taps tvaresnės konferencijos. Teritorijos kėdės turės geresnę informaciją apie apžvalgininkų kokybę, leisdama jiems priimti labiau pagrįstus sprendimus dėl popieriaus priėmimo.
Tačiau recenzentai turi didelį žaidimų potencialą. Recenzentai gali optimizuoti apdovanojimus pateikdami pernelyg teigiamų apžvalgų. Šių problemų kovos su kova priemonėmis tikrai reikalingos. Šiuo metu tiriame sprendimus, skirtus spręsti šią problemą.
Ar yra kokių nors baigiamųjų minčių, kurias norėtumėte pridėti apie galimą ateitį
konferencijų ir kolegų peržiūros?
Viena iš kylančių tendencijų, kurias mes pastebėjome, yra vis didesnė LLM diskusija tarpusavyje peržiūra. Nors manome, kad dabartinės LLM turi keletą trūkumų (pvz. Kai tai atsitiks, susidursime su pagrindine dilema: jei LLM pateiks geresnes apžvalgas, kodėl žmonės turėtų peržiūrėti? Kaip greitas LLMS kilimas mus užklupo nepasiruošęs ir sukūrė chaosą, mes negalime sau leisti pakartoti. Turėtume kuo greičiau ruoštis šiam klausimui.
Apie Jaeho
|
Jaeho Kim yra Korėjos universiteto podoktorantūros tyrinėtojas kartu su profesoriumi Changhee Lee. Jis įgijo daktaro laipsnį. iš UNIST, prižiūrint profesoriui Seulki Lee. Pagrindiniame jo tyrime pagrindinis dėmesys skiriamas laiko eilučių mokymui, ypač kuriant pagrindų modelius, generuojančius sintetinius ir žmogaus valdomus laiko eilučių duomenis, siekiant sumažinti skaičiavimo ir duomenų sąnaudas. Jis taip pat prisideda prie bendraamžių peržiūros proceso tobulinimo pagrindinėse AI konferencijose, o jo darbas pripažintas ICML 2025 Neįvykdyto pozicijos popieriaus apdovanojimu. |
Perskaitykite visą darbą
Pareigos: AI konferencijos tarpusavio apžvalgos krizė reikalauja autoriaus atsiliepimų ir apžvalgininko apdovanojimų, Jaeho Kim, Yunseok Lee, Seulki Lee.
„AiHub“ yra ne pelno siekianti organizacija, skirta AI bendruomenės prijungimui prie visuomenės, teikdamas nemokamą informaciją apie aukštos kokybės informaciją AI.
„AiHub“ yra ne pelno siekianti organizacija, skirta AI bendruomenės prijungimui prie visuomenės, teikdamas nemokamą informaciją apie aukštos kokybės informaciją AI.
