A The Check, egy többnyelvű, mesterséges intelligencián alapuló tényellenőrző chatbot több hónapos kutatás, fejlesztés és tesztelés után kísérleti fejlesztési fázisának végére ért. Mit tanultunk a folyamatból?

A TheCheck chatbot fejlesztése, egy a Newtral (Spanyolország), a Delfi (Litvánia), az Ostro (Szlovénia), a Lakmusz (Magyarország) és a Faktoje (Albánia) tényellenőrző szervezetek által vezetett projekt azt vizsgálta, hogy a generatív AI miként segítheti a tényellenőrző újságírók munkáját, és hogyan teheti a nyilvánosság számára könnyebben hozzáférhetővé az ellenőrzött információkat több nyelven.

A The Checket azért hoztuk létre, hogy utat mutasson a generatív AI-alapú tényellenőrző chatbotok következő generációjának, amelyek érthetően és pontosan válaszolnak a felhasználók kérdéseire. Ez hatékonyabbá és robosztusabbá teszi a dezinformáció elleni küzdelmet a generatív mesterséges intelligencia korszakában.

A nyelvi generálást és a valós idejű információkeresést kombináló RAG (Retrieval-Augmented Generation) architektúrán alapuló modell a generatív AI képességeit kombinálja egy minőségbiztosított tényellenőrzési adatbázissal. Ezáltal a felhasználók kérdéseket intézhetnek a rendszerhez, és világos, átlátható, forrásokkal alátámasztott válaszokat kaphatnak.

A Newtral végezte a rendszer technikai fejlesztését, biztosítva, hogy a chatbot képes legyen pontos és releváns információkat kinyerni az ellenőrzött állítások élő adatbázisából. A chatbot képzése során nem csupán a helyes információk felkutatására helyezték a hangsúlyt, hanem azok forrásainak megjelölésére is. Ez a lényeges tulajdonság megkülönbözteti a chatbotot más mesterséges intelligencia alapú eszközöktől.

Együttműködés

Önmagában a technológia nem lett volna elég. A The Check projekt erőssége a közösségi központú megközelítés volt. A konzorcium tagjai, nevezetesen a Delfi, az Ostro, a Lakmusz és a Faktoje nélkülözhetetlen szerepet játszottak a chatbot többnyelvűségének megteremtésében.

A tényellenőrző újságírók a tesztelés során több száz, mesterséges intelligencia által generált választ vizsgáltak meg és láttak el megjegyzésekkel. A pontosság, az érthetőség és a források feltüntetése szempontjából értékelték ezeket. Ez a gyakorlati visszacsatolás elengedhetetlen volt a rendszer tanításához és a fejlesztésre szoruló területek azonosításához.

Hiányosságok és kihívások

Az egyik leggyakoribb kihívás, amellyel szembesültünk, hogy a chatbot önállóan nem képes releváns tényellenőrzést találni a felhasználói kérdésekre adott válaszokhoz. Ez rávilágított egy lényeges korlátra: a mesterséges intelligencia kizárólag a rendelkezésére álló adatbázisból tud információt lekérdezni.

Amennyiben egy adott állítással kapcsolatban nem létezett már leközölt tényellenőrzés, a chatbot vagy nem válaszolt, vagy tematikusan kapcsolódó, de a kérdésre közvetlen választ nem adó tartalmat jelenített meg. Ez jól mutatja, hogy a jövőbeli lefedettség javításához mennyire fontos a strukturált tényellenőrzési adatbázisok bővítése és a bejegyzések ellátása részletesebb metaadatokkal.

A válaszok minősége

A válasz minősége a nem megfelelő vagy irreleváns hivatkozás, a helytelen nyelvezet vagy az úgynevezett hallucináció (valótlan állítások megjelenése) miatt akkor is problémás lehetett, ha a chatbot összességében helyes választ adott az adott kérdésre. Ezek a hibák rámutattak, hogy a jó minőségű válaszhoz a pontos tények megtalálásán túl szükséges a felhasznált tartalom, a felhasználói kérdés nyelve és a válasz felépítése közötti szoros összhang is. Az ilyen jellegű hibák csökkentése érdekében elengedhetetlen volt a RAG folyamat forrásszűrésének, nyelvi azonosításának és a válaszok ellenőrzésének fejlesztése.

A projekt a nyelvi képességek tesztelésén túl fontos tanulságokkal szolgált arról, hogy a mesterséges intelligencia miként tudja kiegészíteni és hatékonyabbá tenni a tényellenőrző újságírók munkáját. A technológia erősségeinek és gyengeségeinek (például a komplex állítások vagy a helyi kontextus kezelése) feltárásával a csapat megalapozta a jövőbeli, széles körben alkalmazható és megbízható eszközök fejlesztését.

A TheCheck azon kezdeményezések egyre növekvő hullámának része, amelyek a mesterséges intelligenciát nem csupán kihívásnak tekintik a félretájékoztatás területén, hanem a megoldás részének is.

(Címlapi fotó: Sebastien Bozon/AFP)