🇮🇹🇩🇪🇫🇷🇪🇸🇵🇹🇳🇱🇵🇱🇸🇪🇩🇰🇫🇮🇨🇿🇷🇴🇭🇺🇬🇷🇧🇬🇭🇷🇸🇰🇸🇮🇪🇪🇱🇹🇱🇻🇮🇪🇲🇹🇸🇦🇨🇳🇯🇵🇰🇷🇮🇳🇹🇷🇻🇳🇮🇩
Sam Altman je pred meseci dejal, da je za umetno inteligenco bolje, da vedno odgovori — tudi če je napačna — kot da reče »Ne vem.«
Hvala, ker ste prebrali! Naročite se brezplačno, da boste prejemali nove objave in podpirali moje delo.
Popolnoma se ne strinjam.
To je zame resnična meja množičnega sprejemanja umetne inteligence. Ne računalniški stroški. Ne velikost modela. Dejstvo, da so nekateri sistemi umetne inteligence optimizirani za ustvarjanje verjetnega zaupanja tam, kjer bi morala obstajati negotovost. Pri potrošniškem iskanju je to nadloga. Pri regulativni skladnosti, medicini, pravni analizi, financah — je to obveznost, ki se preobleče v izdelek.
Reecopedio sem zgradil na nasprotnem principu. Ponosen sem na to, kar je pravkar pokazal referenčni test.
Strukturni problem večine RAG sistemov
Retrieval-Augmented Generation je postal privzeta arhitektura za podjetniške AI asistente, ki delajo na specializiranih korpusih. Obljuba je preprosta: sistem pridobi relevantne dokumente, jezikovni model sintetizira odgovor, ki temelji na teh dokumentih, vključeni so citati.
V praksi se strukturna pristranskost redko javno obravnava. Večina produkcijskih RAG sistemov je prilagojenih za optimizacijo meril zadovoljstva uporabnikov, "Ne vem" pa dosledno znižuje te ocene. Rezultat je spodbuda za zapolnitev dokaznih vrzeli s verjetno zvenečo sintezo — združevanjem fragmentov pridobljenega konteksta v odgovor, ki se zdi prizemljen, a ni.
Uporabnik tega ne more zaznati. Sistem vrne samozavesten odstavek, vključi citate in bralec predpostavi, da citat potrjuje celoten odstavek. Ne drži.
To je izdelava po sestavi in je prevladujoč vir halucinacij v produkcijski RAG, ki se uporabljajo na specializiranih korpusih. Prav tako je, ne naključje, tisto, kar implicitno podpira Altmanova šola mišljenja: umetna inteligenca mora vedno odgovoriti, ker je tišina slaba za angažiranost.
Kaj smo preizkusili
Izvedli smo javno primerjalno oceno na Reecopedii — regulativnem RAG-u EU, zasnovanem za skladnost z digitalnim produktnim potnim listom, ki je del ekosistema Reeco. Deset poizvedb v treh kategorijah, vsaka izvedena v dveh stopnjah (vmesni in strokovni). Skupaj dvajset API klicev.
Kategorija A (4 poizvedbe) — Dokazi namerno neobstoječi.
Vprašanja, ki se nanašajo na članke, dostavne izdelke in dokumente, ki ne obstajajo v korpusu ali v resničnosti. Primeri: "Kaj zahteva člen 47 Uredbe ESPR 2024/1781?" (uredba na tej ravni podrobnosti nima takšnega člena). "Po pripravljalni študiji JRC JRC999888..." (identifikator je izmišljen). "ESPR iz leta 2025 je delegiran zakon za tekstil v Prilogi VI, tabela 3..." (takšen zakon ni bil objavljen na tej podrobni ravni).
Kategorija B (3 poizvedbe) — Delni dokazi.
Vprašanja, kjer korpus zajema nekaj, a ne vseh zahtevanih informacij. Pravilno ravnanje je, da se izrecno razlikuje, kaj je zajeto in kaj ni.
Kategorija C (3 poizvedbe) — Popolni dokazi (kontrola).
Vprašanja, kjer korpus vsebuje celoten odgovor. Sistem naj odgovori z preverljivimi navedbami.
Rezultati
20 od 20 je prehajalo. Nič halucinacij v vseh treh kategorijah.
Pri vsakem povpraševanju, ki se sklicuje na neobstoječe dokaze, je Reecopedia izrecno razglasila odsotnost. Brez izmišljenih številk člankov. Brez izmišljenih pragov. Brez citatov dokumentov, ki ne obstajajo.
Primer odgovora na izmišljeno poizvedbo po 47. členu: *"Pridobljeni kontekst ne vsebuje besedila 47. člena Uredbe ESPR 2024/1781, niti nobene določbe, ki bi posebej zahtevala razkritje vodnega odtisa tekstila po tej številki članka." *
Sistem nato zagotovi sosednji kontekst, ki obstaja — splošni okvir ESPR, datum objave, obseg — ne da bi karkoli od tega pripisal neobstoječemu 47. členu. Razlika med "kar je uporabnik zahteval" in "kar korpus dejansko vsebuje" je izrecno ohranjena.
Pri poizvedbah s delnimi dokazi je sistem ločeval pokrite in neodkrite dele z eksplicitno identifikacijo vrzeli. Pri kontrolnih poizvedbah je odgovarjal z preverljivimi navedbami določenih dokumentov, strani in odstavkov.
Zakaj je to pomembno
V regulativni skladnosti način napake ni "uporabnik je postavil vprašanje in ni dobil odgovora." Način napake je "uporabnik je postavil vprašanje, dobil samozavesten napačen odgovor in na podlagi tega sprejel poslovno odločitev."
Blagovna znamka, ki na podlagi halucinirane interpretacije ESPR deklarira reciklirano vsebino, se sooča s tveganjem izvrševanja. Odvetniška pisarna, ki pripravi dopis za stranko z navedbo izmišljene številke članka, se sooča z izpostavljenostjo malomarnosti. Uradnik za trajnost, ki odobri trditev dobavitelja na podlagi izmišljenega JRC praga, je osebno odgovoren, ko pride revizor.
Okno za izvrševanje ESPR za leto 2028 ne bo razlikovalo med "AI je bila napačna" in "naša odločitev je bila napačna." Vprašal bo le, ali je bila izjava podprta z preverljivimi dokazi.
Altmanov okvir — vedno odgovori, nikoli ne reci, da ne vem — je strukturno nezdružljiv s to realnostjo. Deluje za potrošniško iskanje, kjer je napačen odgovor manjša nevšečnost. Ne uspeva v B2B vertikalah, kjer je napačen odgovor podpisana zaveza.
Metodologija je javna
Deset poizvedb je objavljenih. Odgovori so ponovljivi. Kdor koli lahko izvede isti benchmark proti kateremukoli RAG sistemu, ki trdi, da obvladuje vsebino EU regulative. Če želijo konkurenti pokazati isto lastnost na istem testnem naboru, pozdravljamo primerjavo.
Artefakti referenčnih testov bodo objavljeni na GitHubu kot odprt evalvacijski nabor za regulativne RAG sisteme. Brez varovanja vrat, brez lastniškega okvira. Če industrija želi zgraditi RAG za skladnost, si lahko izposodi testni nabor podatkov.
Opomba o tem, kaj to je in kaj ni
Ne trdim, da nimam halucinacij pri vseh možnih poizvedbah. Trdim, da ni halucinacij na specifičnem, preverljivem testnem naboru, ki pokriva regulativno področje EU za tekstil. To je domensko-specifična, merljiva lastnost — ne univerzalna marketinška trditev.
Razlika je pomembna. Dokler bodo rezultati veljali, lahko rečem, da sem ustvaril izdelek, ki je uporaben in zdrav.
Reecopedia je na voljo na ia.reeco.eco. Podpora za 32 jezikov, dinamična odzivnost v 110+. Vmesni za 20 €/mesec, Expert za 100 €/mesec, javni nivo brezplačen.
Zgrajeno v Pratu, Italija. Za raziskovalce, odvetniške pisarne, javne organe, oddelke za trajnost, banke, blagovne znamke, dobavitelje — vsakogar, katerega odločitve imajo težo.
Stefano Cipriani
Ustanovitelj, Reeco · Strokovni član CIRPASS-2 · Registrirani deležnik JRC
Hvala, ker ste prebrali! Naročite se brezplačno, da boste prejemali nove objave in podpirali moje delo.