7.6 KiB
GraphRAG v6 — finálne kontroly bodu 3
Grafový DEV má 722/722 a historická regresia 320/320, vrátane nezávislej zdrojovej kontroly všetkých vrátených typovaných faktov. Generované odpovede majú strict 316/320 — 98,75 %. Cieľ ≥92 % je splnený.
Ide o historickú regresiu, nie nový nezávislý TEST. Všetky otázky sú známe; 42 DEV otázok je zahrnutých aj vo finálnych 320. Nejde o všeobecnú pravdivosť agenta ani o meranie natívneho výberu OpenWebUI nástrojov.
Výsledky
| Meranie | Výsledok | Úspešnosť |
|---|---|---|
| Graf DEV | 722/722 | 100,00 % |
| Graf regresia | 320/320 | 100,00 % |
| Zdrojovo podporené typované fakty v grafových regresných výstupoch | 320/320 | 100,00 % |
| LLM DEV | 40/42 | 95,24 % |
| LLM regresia — prvý pokus | 316/320 | 98,75 % |
| LLM regresia — po deklarovaných kontrolách/opravách | 316/320 | 98,75 % |
| Parseovateľné odpovede so zdrojovo podporenými štruktúrovanými tvrdeniami | 317/320 | 99,06 % |
| Syntetické živé funkčné scenáre, mimo benchmarku | 9/9 | 100,00 % |
| Automatizované testy vrátane všetkých živých testov | 565 | všetky prešli |
Tri otázky použili jediný povolený opravný požiadavok pre neplatný JSON; ani druhá odpoveď neprešla schémou. Opravný pokus vyvolaný porušením kontextu sa v tejto finálnej regresii nepoužil. Žiadne prvé JSON odpovede nepotrebovali odbaľovanie Markdown bloku. Všetky pokusy sú uložené.
| Kategória generovania | Strict správne | Úspešnosť |
|---|---|---|
candidate_set_aggregation |
32/32 | 100.00 % |
conjunctive_disambiguation |
40/40 | 100.00 % |
document_author_category_multi_hop |
23/24 | 95.83 % |
negative_lookup |
32/32 | 100.00 % |
person_keyword_title |
31/32 | 96.88 % |
person_multiple_categories |
24/24 | 100.00 % |
person_title_year |
23/24 | 95.83 % |
same_academic_year_pair |
40/40 | 100.00 % |
same_start_year_pair |
31/32 | 96.88 % |
shared_keyword_pair |
40/40 | 100.00 % |
Štyri strict zlyhania
wide-104: text obsahuje skloňované „Martina NaN1“, protokol vyžaduje pôvodné „Martin NaN1“. Štruktúrované väzby a zdroje prešli; ide o konzervatívne odmietnutie povrchového tvaru mena. Neoznačujeme ho za fakticky nesprávny rok. Zmrazený primárny strict výsledok nemeníme.wide-119,wide-143,wide-176: dva neplatné JSON/schema výstupy.accepted_for_delivery=false; odpovede neprešli na doručenie. Bez parseovateľného výstupu sa správnosť tvrdení nedá spoľahlivo vyhodnotiť.
Úplné zlyhania aj kontexty sú v failures.json. Kód ani prompt grafového generovania sa podľa tohto finálneho výsledku neladil.
Zdrojový benchmark
V6 zachováva 1 042 otázok a všetky ID, formulácie, kategórie a rozdelenie.
Priame čítanie odhalilo generické linkové označenia „rešerš“, ktoré sa
nesprávne vydávali za akademický názov. Opravených je 15 očakávaní; štyri
regresné otázky wide-116, wide-142, wide-145, wide-165 ostali v
menovateli a očakávajú no_answer. Regresia má 284 pozitívnych a 36
negatívnych očakávaní. Pôvodná v4 má 288/32 a zostáva nezmenená.
Zdrojový audit všetkých 1 042 aktuálnych otázok má 0 nesúladov.
Nezávislé priame čítanie vzorky 34 otázok vykonala AI oddelene od
retrievera: 31 podporených, dve opravené a jedna podmienená ročníkom
adresára. Pri wide-112 Tomáš Kuchárik nemá explicitne uvedený začiatok
štúdia; používa sa zavedený fallback students/2016. Ide o konvenciu,
ktorú má človek potvrdiť pred výkladom ako administratívny fakt.
Hárok pre človeka je pripravený;
ľudské posúdenie neprebehlo.
Kontext, citácie a RAG
Kontext obsahuje úplnosť, orezanie, dôvody a verziu dát. Model má jasné pokyny pre neúplné výsledky a presný agregovaný počet s orezanými dôkazmi. Guard kontroluje URL v zozname aj v texte oproti zdrojom konkrétneho dotazu, štruktúrované hodnoty a spojenie názvu/roku s tagom cez tú istú osobu. Nepoužíva gold. Najviac jeden spoločný opravný požiadavok rieši formát alebo porušenie kontextu; oracle vstupuje až do následného hodnotenia.
Prepočet 56 archivovaných súborov skontroloval 6 044 uložených odpovedí,
vrátane opakovaných experimentov. Našiel päť výskytov nepovolenej URL;
nejde o 6 044 nezávislých otázok. Historický finálny RAG DEV ostáva
624/629, finálny RAG TEST po prísnej kontrole URL má 506/519 — 97,50 %,
pôvodné skóre bolo 507/519. Súbory ani pôvodné metriky sa neprepisovali.
Pri q0892 navyše uvedená http://skner.tukekemt.xyz v Markdowne reálne
existuje, ale nie je medzi archivovanými source_url; prísne odmietnutie
odkazu nie je dôkazom nepravdivosti tej adresy. Celý prepočet.
Živá RAG vzorka piatich vopred zvolených otázok mala 5/5 správnych faktov
aj citácií, ale 5/5 vynechaných upozornení. Vrstva finalize_rag_answer()
preto vie pridať iba pravdivé upozornenie, bez zmeny faktov; uchová
model_answer, pôvodné dôvody a príznak display_notice_added. Neobíde
neznámu citáciu ani nepodložené tvrdenie o úplnom zozname. Prehratie tých
istých uložených výstupov má 5/5 prijateľných odpovedí. Nie je to nové
meranie modelu ani odhad jeho presnosti z piatich prípadov.
História a porovnateľnosť
| Verzia | Grafové meranie | Generovanie |
|---|---|---|
| v4 | TEST 320/320; dodatočné faktové overenie 319/320 | nový LLM TEST 281/300 |
| v5.1 | historická regresia 320/320 so všetkými typovanými faktami | regresia 317/320 |
| v6 | historická regresia 320/320 so všetkými typovanými faktami | strict regresia 316/320 |
V6 opravuje 15 gold očakávaní a pridáva kontroly; rozdiel percent nie je kontrolovaný odhad zlepšenia/zhoršenia modelu. Všetky v1–v5.1 výstupy, klasický RAG, retrieval baseline aj vybrané experimenty ostávajú zachované. Prvý v6 DEV kandidát 41/42 je uložený; po oprave odmietnutého spojenia tagu a roku bol finálny DEV 40/42 s dvomi JSON chybami. Všetky iterácie sú priznané a žiadne chybné otázky sa nevyberali z finálneho merania.
Nasadenie a ďalší bod
Nasadené Docker API, SQLite a Neo4j používajú spoločnú verziu
10b78a8e70744e2792ffe4cf11d45571, wiki Git
3e892a1d49e9bce118cd03478ce15e01c2bebb4e.
Graf má 446 uzlov a 877 vzťahov; index 114 dokumentov a 887 chunkov.
Predvolene je viditeľných 113 dokumentov: 16 bez published sa zahrnie,
jediný explicitný published=false sa vylúči. Kontrola porovnáva
normalizované Neo4j hodnoty s pôvodnými JSON metadátami.
Overenie hostiteľa a
overenie v Docker obraze kontrolujú odtlačky,
pripravenosť RAG/Neo4j/GraphRAG, skutočné RAG API, grafové pozitívne aj
negatívne dotazy a spoločnú verziu. frozen_v6.json fixuje graf,
frozen_answers.json parametre generovania a frozen_release_v6.json
všetky runtime moduly vrátane samostatnej RAG prezentačnej vrstvy.
Bod 4 pridá samostatne inštalovateľné OpenWebUI nástroje a hlavného agenta. Musí používať existujúce guardy a rešpektovať odmietnutie doručenia aj úplnosť zdrojov. Natívny výber a kombinovanie nástrojov sa v dnešnom 320-otázkovom grafovom meraní netestovali. Pre nový nezávislý odhad treba nové vopred overené otázky; ľudská kontrola pripraveného hárka je odporúčaná.