Zoeken in de literatuur is een verplichting voor iedereen die in een wetenschappelijk tijdschrift wil publiceren, maar het is vaak een ondankbare, arbeidsintensieve en tijdrovende taak. Een internationaal team van onderzoekers heeft een wedstrijd opgezet tussen ChatGPT, dat geen introductie nodig heeft, en Elicit, dat een uitleg verdient.
"De belangrijkste functie van Elicit is het opzoeken van wetenschappelijke literatuur die vrij beschikbaar is op het internet. Dus, door een eenvoudige vraag te stellen (of door Elicit deze voor u te laten genereren), toont de site u relevante wetenschappelijke artikelen met samenvattingen van de belangrijkste informatie die ze bevatten", zoals de makers het verwoorden.
Ready? Fight!
Over het algemeen zou je kunnen denken dat de twee zoekmachines gebaseerd zijn op dezelfde technologie en dus dezelfde resultaten zouden moeten opleveren... Het probleem komt neer op het stellen van de juiste vraag om de best mogelijke antwoorden te krijgen. Hier vroegen de onderzoekers naar een reeks artikelen over patiënten met chronische hepatitis B die werden behandeld met TDF en entacavir in relatie tot het optreden van leverkanker.
De onderzoekers ontdekten dat ChatGPT artikelen vond die gewoon niet bestonden: de resultaten bevatten titels, auteurs, tijdschriftnamen en PMID's van artikelen die "waarschijnlijk" werden geacht, maar "hallucinaties" bleken te zijn.
Winnaar door KO
Elicit deed het daarentegen veel beter! De onderzoekers ontdekten dat de AI 70 artikelen ophaalde in 10 minuten, waarvan er 48 waren gepubliceerd tijdens de onderzoeksperiode en 22 daarna. Van de 48 studies die tijdens de opgegeven periode waren gepubliceerd en het resultaat waren van de Elicit-zoekopdracht, waren 11 artikelen identiek aan de artikelen die met traditionele zoekmethoden waren gevonden, en 37 artikelen waren nieuw geïdentificeerd. Van de 20 artikelen die door Elicit werden gemist bij de traditionele zoekopdracht, waren er 5 abstracts van bijeenkomsten en 8 waren gepubliceerd vóór 2018 en includeerden alleen entecavir-patiënten zonder een vergelijkende arm. Hoewel Elicit 42,0% van de patiënten in de meta-analyse miste, werd slechts één vergelijkende studie (596 patiënten) gemist en vond de AI nieuwe studies.
Het is duidelijk dat AI de manier waarop wetenschappers in de toekomst publicaties produceren ingrijpend zal veranderen. We moeten echter voorzichtig zijn met hoe we de vraag stellen: dit is de taak van de "prompt engineer" (een beroep in ontwikkeling). We zullen ook op onze hoede moeten zijn voor confirmatiebias en zelfverwijzing, wat vandaag de dag al het geval is in communicatie.
Hoewel AI ons veel tijd kan besparen bij soms uitputtende en repetitieve taken, betekent het wel dat we onze kritische vermogens alert moeten houden...
> Lees ook: Springer Nature lanceert AI om onderzoekers te helpen hun artikels in het Engels te redigeren
