GraphRAG v7 — uzavretie bodu 3, 26. 10. 2026

Nový query-group TEST dosiahol 80/80 pri grafovom vyhľadávaní aj pri finálnych odpovediach. Na prvý pokus modelu prešlo 77/80 — 96,25 %; tri otázky prešli po jednom povolenom opravnom požiadavku. Cieľ ≥92 % je splnený už pri prvom pokuse aj pri finálnej pipeline. Celá sada má 591 úspešných testov, bez preskočenia.

Bod 3 je technicky uzavretý pre podporované typy dotazov a tento korpus. Hodnotí sa modelový výber štruktúrovaných tvrdení, kontrola zdrojov a renderer; nie ľubovoľná voľná próza LLM ani natívne OpenWebUI smerovanie. 100 % na 80 otázkach nie je zárukou všeobecnej pravdivosti.

Výsledky

Meranie	Správne	Úspešnosť
Graf DEV vrátane známych regresií	1 046/1 046	100,00 %
Graf nový query-group TEST	80/80	100,00 %
Graf historická podmnožina v DEV	320/320	100,00 %
Model + renderer DEV, finálne	46/46	100,00 %
Nový TEST, prvý pokus modelu + renderer	77/80	96,25 %
Nový TEST, po jednej povolenej oprave	80/80	100,00 %
Historická regresia, prvý pokus	310/320	96.88 %
Historická regresia, finálne	319/320	99.69 %
Živé syntetické funkčné scenáre mimo benchmarku	9/9	100,00 %

Modelový DEV mal prvý pokus 45/46 a jednu úspešnú opravu formátu. V novom TESTe potreboval fresh7-054 opravu schémy a fresh7-058, fresh7-059 odstránenie nepodloženého počtu pri neagregačnej otázke. Opravu vyvolal iba formát alebo skutočný kontext; gold ani následné skóre sa pri rozhodovaní o opakovaní nepoužívajú. Finálna historická regresia má 0 chýb spracovania, 10 opravných požiadavkov (z toho formát 3, kontext 7). Všetky odpovede, pôvodné pokusy a prípadné zlyhania ostávajú v menovateli.

Zostávajúci prípad wide-285: po chybe schémy model vložil názov dcérskeho dokumentu PYTORCH - LSTM TUTORIÁL ako akademický názov k roku 2019. Taká väzba nie je v akademických faktoch doložená; guard ju odmietol (unsupported_academic_binding, accepted_for_delivery=false). Odpoveď sa nedoručila. Povolený opravný pokus už bol vyčerpaný. Úplný záznam.

Kategória nového TESTu	Finálne správne	Úspešnosť
`candidate_set_aggregation`	7/7	100.00 %
`conjunctive_disambiguation`	6/6	100.00 %
`document_author_category_multi_hop`	2/2	100.00 %
`negative_lookup`	8/8	100.00 %
`person_keyword_title`	10/10	100.00 %
`person_multiple_categories`	7/7	100.00 %
`person_title_year`	10/10	100.00 %
`same_academic_year_pair`	10/10	100.00 %
`same_start_year_pair`	10/10	100.00 %
`shared_keyword_pair`	10/10	100.00 %

Uzavreté podbody

Podbod	Konkrétny výsledok
3.1 Benchmark a zdroje	1 126 zdrojovo skontrolovaných otázok; 10 opravených očakávaní po odstránení odhadu štúdia z adresára. Nová vzorka 20 otázok priamo skontrolovaná z Markdownov.
3.2 Evaluator a doručenie	Rozpory v úplnosti, nepodložené počty/roky, chýbajúce claims/citácie a HTML/referenčné odkazy majú regresné testy. Finálny text vzniká iba z overených tvrdení.
3.3 DEV	Kompletný grafový DEV 1 046/1 046, modelový DEV 46/46; staré prípady `wide-104`, `wide-119`, `wide-143`, `wide-176` prešli na prvý pokus aj v novej regresii.
3.4 Zmrazenie	`frozen_v7.json`, deklarácie generovania a `frozen_release_v7.json`; explicitné CLI vstupy, odtlačky rendereru aj spoločných modulov.
3.5 Finálne overenie	Nový TEST 80 skupín bez DEV prekryvu, jednorazovo po zmrazení; samostatná historická regresia 320 otázok a kontrola Dockeru.
3.6 Metriky a správa	Oddelené prvotné a finálne odpovede, vyhľadávanie a modelová pipeline, nový TEST a regresia. V1–v6 ostávajú zachované.

Opravené chyby

Rok 1999 sa už nevynechá: dotaz na Jána Holpa nevracia práce z 2019/2021. Aj ostatné štvormiestne roky sa aplikujú ako obmedzenie. Nepodporovaný číselný zápis po „roku“ sa explicitne odmieta.
Veta „Výpis je neúplný“ neospravedlňuje iné kladné tvrdenie o úplnom zozname. Pravdivé popretie úplnosti je povolené.
Prirodzený text sa skladá deterministicky z validovaných claims/count a URL. Pri regrade neočakávanej voľnej prózy dopísaný rok 2099 neprejde. Zostávajúci číselný filter nie je univerzálny sémantický analyzátor; používateľovi sa preto nedoručuje nekontrolovaný voľný text modelu.
Počet bez úplnej agregácie sa odmietne. Pozitívne faktové odpovede vyžadujú tvrdenia a citácie, vrátane zdrojov jednotlivých atribútov. Count=0 v úplnej prázdnej agregácii je povolený.
Kontrolujú sa aj referenčné Markdown a HTML odkazy, relatívne URL, entity a korektné URL so zátvorkami. Nepovolené odkazy sa neobchádzajú upozornením.
Začiatok štúdia je iba explicitne uvedený údaj. Graf eviduje pôvod a istotu, chýbajúca hodnota ostáva neznáma; wide-112 už nevyžaduje odhadovaný rok Tomáša Kuchárika. Cohort nie je administratívny fakt o nástupe na štúdium.
Skloňované meno sa v texte rozpoznáva obmedzenými príponami pri zachovaní presnej štruktúrovanej identity. Canonical renderer používa pôvodné meno.
Dataset, audit, manifest a DEV ID sa pri evaluácii vyberajú explicitne; spúšťanie už potichu nevyberá v4.

Nezávislosť a pôvod očakávaní

Všetkých 1 042 v6 otázok je odhalených a v7 ich označuje ako DEV. Štyri nové auditové rokové regresie dopĺňajú počet na 1 046. Historických 320 sa vyhodnocuje z tejto množiny samostatne. Je to regresia, nie nový TEST.

Nový TEST má 80 kombinácií, 72 kladných a 8 záporných. Seed 20261026, kvóty a ID vznikli z raw Markdownov pred čítaním predikcií. Normalizované query skupiny ani formulácie sa s DEV neprekrývajú. Po zmrazení sa podľa TESTu nemenil kód, prompt, gold ani výber otázok. Korpus, osoby a rodiny šablón sú známe; nejde o unseen-profile experiment.

Priama AI kontrola 20 otázok pokrýva všetkých desať kategórií. Zdrojový hárok a výňatky sú uložené. Ľudská anotácia neprebehla. Neistá adresárová konvencia bola odstránená, nie potvrdená bez dôkazu. Autor–kategória má iba dve nové skupiny a výpis kategórií sedem; nemožno tvrdiť rovnakú štatistickú silu každej kategórie.

Regresia a zachované referencie

V6 mala strict 316/320. V7 mení gold pri 10 známych otázkach (sedem z historických 320) a používa štruktúrovaný modelový výstup s rendererom. Rozdiel percent nie je izolovaný odhad zlepšenia samotného LLM. Všetky pôvodné baseline, otázky, finálne JSON/CSV a v1–v6 výsledky sa zachovávajú.

Prepočet citácií 56 archivovaných súborov má 6 044 odpovedí a päť výskytov URL mimo podkladov, rovnako ako v6. Ide o prekrývajúce sa experimenty. Klasický RAG sa novým modelovým TESTom nemeral. Prehratie piatich uložených RAG odpovedí cez kontrolu upozornenia opäť prešlo 5/5; to nie je nová presnosť modelu. Je to regresia prezentačnej vrstvy.

Nasadenie a reprodukcia

Súbory, SQLite a Neo4j sú po koordinovanom /sync na spoločnej generácii 33ea0794472c416e97c84371a2a6cdf8; wiki Git je 3e892a1d49e9bce118cd03478ce15e01c2bebb4e. Index má 114 dokumentov a 887 chunkov, graf 446 uzlov a 877 vzťahov. Explicitné published=false sa skryje, 16 chýbajúcich hodnôt sa zahrnie; viditeľných je 113 dokumentov.

Hostiteľské overenie a overenie Dockeru potvrdzujú dostupnosť, spoločnú generáciu, normalizované publikovanie a runtime odtlačky. Modelové výstupy obsahujú celý skutočný grafový kontext a verziu dát.

Príkazy a zmeny. Reprodukcia používa nový výstupný adresár a príslušný release checkout. Git HEAD v metadátach merania je východiskový commit pred finálnym commitom; konkrétny meraný kód určujú obsahové SHA. Model model120-fast je vzdialená služba; parametre a odpovede sú uložené, váhy prevádzkuje poskytovateľ.

Ďalším blokom sú natívne nástroje a hlavný agent v OpenWebUI. Musia rešpektovať odmietnutie doručenia a odovzdať overený text; voľné prepísanie rendererového textu bez kontrol by uvedené vlastnosti obišlo. Toto smerovanie sa v bode 3 nemeralo a je súčasťou bodu 4.

8.5 KiB Raw Blame History Unescape Escape