Veripol - Algoritmul de detectare a denunțurilor false de furt cu violență

«Este prima unealtă de acest tip din lume», afirma un comunicat de presă publicat de Poliția Națională. Veripol a fost prezentată în 2018 ca un algoritm capabil să detecteze denunțuri false de furt cu violență, cu o precizie de peste 90%. În octombrie 2024, la șase ani distanță, această IA a încetat să mai fie operațională, conform informațiilor confirmate de Civio din partea Cabinetului Tehnic al Direcției Generale de Poliție. Ministerul de Interne menționează că motivul pentru renunțarea la utilizarea sa este lipsa de validitate în procedurile judiciare.

Abandonarea Veripol vine la trei luni după publicarea în BOE a Regulamentului european privind inteligența artificială, care include poligrafele printre IA-urile «de risc ridicat», pentru care sunt prevăzute obligații foarte stricte în ceea ce privește revizuirea, actualizarea și transparența. La sfârșitul lunii septembrie, un raport elaborat de specialiști în drept și matematică de la Universitatea din Valencia a semnalat deficiențe serioase ale instrumentului. Prima dintre ele, lipsa de informații despre funcționarea sa.

Lucrările pentru punerea sa în funcțiune au fost realizate de mai mulți cercetători de la universitățile Complutense și Carlos III, și de polițistul Miguel Camacho-Collados, în prezent responsabil cu inovarea tehnologică și securitatea cibernetică în Consiliul de Stat. Conform explicațiilor din articolul academic care detaliază dezvoltarea sa, eșantionul cu care a fost antrenat instrumentul era compus din 1.122 de denunțuri de furt din Spania din 2015, dintre care 534 erau adevărate și restul de 588, false. Au procesat textele denunțurilor cu tehnici NLP — simplificându-le pentru a fi procesate automat — și au clasificat cuvintele folosite pe tipuri, eliminând toate cele care apăreau în mai puțin de 1% din eșantion sau în mai mult de 99%. Apoi au aplicat diverse metode de regresie statistică pentru a alege ce cuvinte erau mai frecvente în denunțurile false și adevărate. Ca exemplu, studiul citează că, conform Veripol, dacă o denunțare conține cuvintele «zi», «avocat», «asigurare» sau «spate» este mai probabil să fie falsă, mai ales dacă se spune de mai multe ori numărul «două sute» sau adverbe precum «abia». Dimpotrivă, denunțurile care fac referire la autobuze, la o anumită marcă de mobil sau la un număr de înmatriculare al unei mașini este mai probabil să fie adevărate.

În iunie 2017 a fost realizat un test pilot în secțiile de poliție din Málaga și Murcia. Conform afirmațiilor din articolul academic, în 83,54% din denunțurile identificate ca false de Veripol, reclamantul a sfârșit prin a recunoaște că a mințit. În decembrie același an, cercetarea a fost premiată de Fundația Poliției Spaniole, iar în 2018 Ministerul de Interne a anunțat implementarea sa în toate secțiile de poliție.

Conform datelor organizației Algorithm Watch, de la implementarea sa până în octombrie 2020, Veripol a fost folosit pentru a analiza aproximativ 84.000 de denunțuri. Dintre cele 49.702 de denunțuri care au fost procesate în 2019, 2.338 au fost identificate ca false atât de acest instrument, cât și de alte mijloace. Studiul Universității din Valencia indică faptul că, în 2022, a fost folosit mult mai puțin: numărul de denunțuri analizate de Veripol a scăzut la 3.762, dintre care 511 au fost detectate ca fiind false.

Același raport semnalează deficiențe serioase ale instrumentului, care încep chiar de la premisa sa: ideea de bază că 57% din denunțurile de furt cu violență care sunt depuse sunt false, cifră care are ca referință numărul mare de cazuri de furt nerezolvate. De asemenea, critică eșantionul redus, de puțin peste 1.000 de denunțuri față de cele aproximativ 60.000 de cazuri de furt cu violență care sunt înregistrate în fiecare an în Spania, conform Portalului Statistic de Criminalitate. Sau lipsa unui protocol de utilizare și a informațiilor despre formarea oferită agenților de poliție pentru utilizarea sa. O știre publicată în 2020 de La Voz de Galicia a avertizat că secția de poliție din Vigo, care avea programul din 2018, nu îl putea folosi din cauza lipsei de formare a agenților săi.

De asemenea, subliniază că denunțurile analizate de Veripol au fost de fapt redactate de agenți de poliție, deci nu este o reproducere literală a declarației reclamantului. «Nu analizează povestea pe care posibilul mincinos o spune poliției, ci analizează povestea pe care polițistul însuși o scrie», subliniază raportul, care adaugă că instrumentul nu ține cont nici de diferențele de limbaj între teritorii.

Dar, mai presus de toate, critică opacitatea cu privire la utilizarea sa. «Sistemul nu este transparent», conchide raportul Universității din Valencia. «Nu există date oficiale disponibile despre Veripol deloc», adaugă. Civio a solicitat în februarie 2023 și, din nou, în decembrie 2024 informații despre funcționarea tehnică a acestui instrument și despre utilizarea sa, fără ca Ministerul de Interne, până în prezent, să fi oferit un răspuns nici măcar cu privire la numărul de secții de poliție în care a fost implementat în cele din urmă.

Acest articol a fost publicat inițial în Civio, o redacție independentă non-profit care investighează în profunzime afacerile publice.

Metodologie

În februarie 2023, Civio a solicitat Ministerului de Interne, în virtutea Legii Transparenței, specificațiile tehnice ale Veripol, cazurile sale de utilizare și orice alt document care să permită cunoașterea modului în care funcționează aplicația și ce informații conține sau poate conține. Având în vedere refuzul Ministerului de Interne de a furniza aceste informații, au depus o reclamație la Consiliul de Transparență și Bună Guvernare, care la 31 octombrie a aceluiași an a rezolvat dreptul de acces și a ordonat Ministerului de Interne să furnizeze informațiile solicitate. Singurele informații furnizate în cele din urmă au fost link-urile către notele de presă publicate de Poliție și de Universitatea Complutense cu privire la punerea sa în funcțiune și premiul acordat de Fundația Poliției Spaniole.

În decembrie 2024, Civio a solicitat din nou informații referitoare la Veripol. În mod specific, lista secțiilor de poliție în care instrumentul fusese implementat și datele de utilizare, inclusiv numărul de cazuri procesate pe an și procentul dintre acestea în care instrumentul a concluzionat că denunțul era fals. De la Minister au răspuns indicând că au încetat să mai folosească Veripol la 21 octombrie 2024 și au refuzat să ofere date de utilizare. În prezent, este activă o reclamație la Consiliul de Transparență și Bună Guvernare pentru a accesa aceste date.

David Cabo și Ana Villota au participat la geneza și implementarea jocului.

În pre-printul articolului publicat în revista Knowledge-Based Systems, «Applying automatic text-based detection of deceptive language to police reports: Extracting behavioral patterns from a multi-step classification model to understand how we lie to the police» (Lara Quijano-Sánchez, Federico Liberatore, Jose Camacho Collados și Miguel Camacho-Collados, Cardiff University, 2018), sunt colectate date din 2015 despre instrument, precum și o listă de 110 termeni, traduși din spaniolă în engleză. Civio a contactat autorii, dar aceștia nu au furnizat lista de cuvinte originală în spaniolă.

Prin urmare, pentru a evita ambiguitățile rezultate din traducere, au fost colectate doar acele cuvinte care sunt explicate cu context. Lista finală de termeni, cu ponderile lor respective (cu cât valoarea este mai mare, cu atât influența este mai mare), de cuvinte care apar sau apar foarte frecvent determină că denunțul este probabil fals este: zi (0,48), avocat (0,43), asigurare (0,24), spate (7,74), rucsac (0,10), umăr (17,99), cască (26,92), iPhone (25,56), Apple (0,23), în spate (0,12), două sute (0,30), euro (6,81), numerar (19,19).

Selecția care a fost făcută pentru cazul denunțului probabil adevărat este: autobuz (0,52), număr de înmatriculare (0,19), lanț (16,06), poliție (0,31), chinez (52,58), gât (16,62), portal (0,26), palier (0,36), chiar și (72,31), barbă (0,34), centimetru (0,09), subțire (0,09), brunet (0,10), țipăt (40,67), apucare (0,12), doctor (16,75), prieten (0,13).

Vizualizarea jocului a fost dezvoltată cu Svelte.js.