Egy úttörő kísérletben, amelyet a Nemzetközi Gépi Tanulás Konferencia (ICLR) vezetett, a Brit Columbiai Egyetem és az Oxford közötti együttműködés a mesterséges intelligencia tudományos publikálásban való képességeit vizsgálta. A kezdeményezés célja az volt, hogy felmérje, milyen szerepet játszhat a mesterséges intelligencia a tudományos lektorálási folyamatban, hangsúlyozva a MI etikát és annak lehetőségét, hogy hozzájáruljon a tudományos irodalomhoz. A Brit Columbiai Egyetem Intézményi Felülvizsgálati Bizottságának (IRB) jóváhagyásával a tanulmány három MI által generált cikket nyújtott be kettős vak lektorálásra, biztosítva a bírálók elfogulatlan értékelését.
A lektorálás eredményei azt mutatták, hogy az egyik MI által generált cikk a workshopok szintjén általában elfogadáshoz szükséges küszöbérték feletti pontszámot kapott, átlagosan 6,25-öt 10-ből. Az elfogadási kritériumok azonban a workshopok esetében jelentősen kevésbé szigorúak, mint a fő konferencia szekcióinál. Az elfogadott cikk a "negatív eredmények" témáját vizsgálta a neurális hálózatok tréningje során, ami érdekes, de nem feltétlenül forradalmi téma. A kísérlet vitát indított a gépi generált kutatások megbízhatóságáról és minőségéről, kiemelve a további megbeszélés szükségességét arról, milyen szerepet kellene játszania a mesterséges intelligenciának a tudományos törekvésekben.
Ennek ellenére mindhárom beadványt visszavonták a publikáció előtt, hogy elkerüljék a zavart és fenntartsák az etikai normákat, biztosítva az átláthatóságot és csökkentve a megtévesztés látszatát a tudományos közösségben. A mesterséges intelligencia eszközök újradefiniálják a tartalomkészítést és javítják a folyamatokat különböző területeken, beleértve a tudományos publikálást is.
A kísérlet során technikai korlátok merültek fel, többek között formázási hibák és hivatkozási pontatlanságok, amelyek rávilágítottak az MI által generált tartalom jelenlegi korlátaira. Ezen kívül emberi felügyelet volt szükséges ahhoz, hogy az MI-t a workshopnak megfelelő témák felé irányítsák, kiemelve a mesterséges intelligencia etika fontosságát a tudományos kutatás integritásának és elszámoltathatóságának fenntartásában.
A meta-lektorálási folyamat hiánya tovább korlátozta az MI képességeinek külső validálását, ami arra utal, hogy alapos irányelvekre van szükség az MI szerzőség közzétételéhez a jövőbeni publikációkban.
A kísérlet tágabb következményei alapvető kérdéseket vetnek fel az MI-generált tartalmak tudományos publikálásba való integrálásával kapcsolatban. Míg a workshop-elfogadás bemutatta az MI potenciálját, egyben kiemelte azokat a kihívásokat is, amelyekkel az MI szembesül a fő konferencia szekciók szigorú elvárásainak teljesítésében. A jövőbeni fejlesztések célja az MI képességek finomítása lesz, hogy megfeleljenek az emberi szintű publikációs követelményeknek, potenciálisan felgyorsítva a tudományos fejlődést, miközben biztosítják a reprodukálhatóságot.
A kísérletben felmerülő etikai és eljárási megfontolások kiemelik a világos irányelvek szükségességét az MI szerzőség közzétételében az átláthatóság és a bizalom fenntartása érdekében az akadémiai közösségen belül. A cikkek visszavonásával a szervezők hangsúlyozták az MI jelenlegi szerepét mint támogató eszközt, nem pedig mint önálló kutatót.
Ahogy az MI technológia fejlődik, optimizmus van arra vonatkozóan, hogy emberi szintű cikkeket generálhatna, feltéve, hogy az etikai megfontolások továbbra is előtérben maradnak az akadémiai területbe való integrálása során. A folyamatos feltárás és standardizálás kulcsfontosságú lesz az MI teljes potenciáljának felfedezéséhez a tudományos publikálás terén.
References
- https://www.turtlesai.com/en/pages-2480/sakana-ai-scientist-v2-paper-passes-peer-review-at
- https://bitcoinworld.co.in/ai-paper-peer-review-sakana/
- https://news.bensbites.com/posts/36285-sakana-claims-its-ai-generated-paper-passed-peer-review-but-its-a-bit-more-nuanced-than-that
- https://www.yenisafak.com/en/news/japan-based-tech-startup-produces-1st-ai-generated-peer-reviewed-scientific-paper-3699701
- https://sakana.ai/ai-scientist-first-publication/
