GraphRAG: finálna evaluácia v1 — 24. 10. 2026

Vyhľadávanie bolo ladené na DEV, potom zmrazené pomocou ../../frozen_v1.json a až následne vyhodnotené na celom TESTe. Po finálnom TESTe sa implementácia, evaluator, benchmark ani audit nemenili.

Výsledky

Beh	Strict	Úspešnosť	Priemer	Medián	p95
Pôvodné vyhľadávanie, aktuálny evaluator (DEV)	106/286	37.06 %	29.99 ms	28.12 ms	41.82 ms
Finálny DEV	209/286	73.08 %	32.79 ms	32.21 ms	41.83 ms
Finálny TEST	152/214	71.03 %	29.58 ms	29.33 ms	33.78 ms

Pôvodné vyhľadávanie pochádza z commitu 9f3483d; jeho odtlačok je v baseline_dev.json. Porovnanie používa rovnaký benchmark, graf, parametre a aktuálny sprísnený evaluator. Historický baseline 127/286 = 44,41 % používal starší evaluator; priamo porovnateľný baseline je 106/286 = 37,06 %.

Latencie merajú samotné grafové vyhľadávanie. Neobsahujú tvorbu odpovede LLM, volanie OpenWebUI ani úvodný odtlačok celého grafu. Nie sú porovnateľné s približne 19 sekundami celého klasického RAG toku.

Nesúlady benchmarku so zdrojmi

Pred TESTom vznikol statický audit všetkých 500 otázok priamo proti vstupným dokumentom, tagom a deterministickému grafovému payloadu. Audit nepoužíva výstup vyhľadávania. Pôvodný benchmark zostal od začiatku tejto úpravy nezmenený bajt po bajte. Primárne skóre vyššie zahŕňa aj všetky problémové anotácie.

Zistený nesúlad	DEV	TEST
Očakávané kľúčové slovo nie je vo frontmatter katalógu	66	46
Tag existuje, ale nie je prepojený s očakávanou osobou	5	11
Presná očakávaná množina kategórií nezodpovedá aj poddokumentom	6	3
Spolu otázok so zisteným nesúladom	77	60

Textová zmienka o OpenWebUI alebo Elasticsearch v tele stránky sa podľa súčasného modelu nestáva uzlom Keyword. Rovnako sa automaticky nestotožňujú rôzne tagy alebo preklady. Vymyslenie grafového faktu na splnenie takýchto očakávaní by bolo nesprávne.

Doplnkové výsledky pre podmnožinu bez zistených zdrojových nesúladov:

Sada	Strict	Úspešnosť
DEV	209/209	100.00 %
TEST	152/154	98.70 %

Toto je doplnková analýza, nie náhrada primárneho skóre ani dôkaz bezchybnosti všetkých ostatných anotácií. Pravidlá auditu a zoznam otázok boli uložené pred finálnym TESTom a overujú sa odtlačkom vo freeze manifeste.

Kategórie

Kategória	DEV strict	TEST strict
`candidate_set_aggregation`	9/9	7/7
`conjunctive_disambiguation`	2/11	1/9
`document_author_category_multi_hop`	35/35	25/25
`person_keyword_title`	4/42	3/38
`person_multiple_categories`	15/21	6/9
`person_title_year`	44/44	36/36
`same_academic_year_pair`	56/56	42/44
`same_start_year_pair`	28/28	32/32
`shared_keyword_pair`	16/40	0/14

Kompletné metriky hodnôt, typovaných entít, relácií, vlastností, množín, zdrojov, kategórií, obtiažností a latencií obsahujú JSON a CSV súbory. Document recall a source recall dosiahli v oboch finálnych behoch 1,0; recall kontextových zdrojov sám osebe neznamená správnu odpoveď.

Overenie a zostávajúce limity

Celá testovacia sada: 359 passed, 4 skipped. Desiatich nových Neo4j integračných prípadov sa týka skutočné vykonanie Cypher dotazov v oddelených transakciách s rollbackom.
Opravené sú skloňovanie názvu, otázky na spoločný rok bez číselného roku v otázke, spojenie názvu/tagu a roku/tagu pri tej istej osobe, autor/kategória pri tom istom dokumente a URL zdrojov vrátane zamietnutých kandidátov.
Počítanie sa vykonáva pred prezentačným limitom. Orezaný výsledok nemôže prejsť strict hodnotením.
Evaluator neuznáva názov ani inú hodnotu iba preto, že sa rozpoznala z otázky. Entity sa hodnotia podľa typu a pri agregácii sa kontroluje aj počet.
Vo finálnom TESTe ostali g0065 a g0129, dve formulácie otázky na spoločný rok pri rovnakej dvojici osôb. Podklady obsahujú navyše dokument Martina Jančuru; pravdepodobnou príčinou je príliš široké fuzzy rozpoznávanie mena. Detaily sú v holdout_failures.json. Po tomto zistení sa kód neupravoval.
V budúcej verzii treba túto nejednoznačnosť riešiť na samostatných vývojových prípadoch a pripraviť nový nezávislý holdout. Aktuálny TEST už nemá slúžiť ako nový nedotknutý test pre takto ladenú verziu.
expected_paths sú opisné anotácie. Strict vyhodnocuje typované fakty, relácie a vlastnosti, nie doslovnú zhodu týchto textových reťazcov s cestou.
Meria sa grafová retrieval vrstva, nie kvalita odpovede LLM. Otázky zdieľajú wiki a formulárové šablóny medzi DEV/TEST; výsledky nemožno vydávať za všeobecnú presnosť na ľubovoľných otázkach.

Rozhodnutie o stave

Vývojový beh 3.3 je uzavretý pre v1, verzia 3.4 je obsahovo zmrazená, TEST 3.5 prebehol a metriky 3.6 sú uložené. Audit 3.1 odhalil 137 zdrojových nesúladov, ktoré sú explicitne zaznamenané. Finálny benchmark potrebuje novú zdrojovo overenú verziu pred formálnym porovnaním RAG a GraphRAG. Táto evaluácia ich nezakrýva úpravou otázok po TESTe.

5.3 KiB Raw Blame History