# GraphRAG: finálna evaluácia v1 — 24. 10. 2026

Vyhľadávanie bolo ladené na DEV, potom zmrazené pomocou `../../frozen_v1.json` a až následne vyhodnotené na celom TESTe. Po finálnom TESTe sa implementácia, evaluator, benchmark ani audit nemenili.

## Výsledky

| Beh | Strict | Úspešnosť | Runtime chyby | Priemer | Medián | p95 |
|---|---:|---:|---:|---:|---:|---:|
| Pôvodné vyhľadávanie, aktuálny evaluator (DEV) | 106/286 | 37.06 % | 0 | 29.99 ms | 28.12 ms | 41.82 ms |
| Finálny DEV | 209/286 | 73.08 % | 0 | 32.79 ms | 32.21 ms | 41.83 ms |
| Finálny TEST | 152/214 | 71.03 % | 0 | 29.58 ms | 29.33 ms | 33.78 ms |

Pôvodné vyhľadávanie pochádza z commitu `9f3483d`; jeho odtlačok je v `baseline_dev.json`. Porovnanie používa rovnaký benchmark, graf, parametre a aktuálny sprísnený evaluator. Historický baseline 127/286 = 44,41 % používal starší evaluator; priamo porovnateľný baseline je 106/286 = 37,06 %.

Latencie merajú samotné grafové vyhľadávanie. Neobsahujú tvorbu odpovede LLM, volanie OpenWebUI ani úvodný odtlačok celého grafu. Nie sú porovnateľné s približne 19 sekundami celého klasického RAG toku.

## Nesúlady benchmarku so zdrojmi

Pred TESTom vznikol statický audit všetkých 500 otázok priamo proti vstupným dokumentom, tagom a deterministickému grafovému payloadu. Audit nepoužíva výstup vyhľadávania. Pôvodný benchmark zostal od začiatku tejto úpravy nezmenený bajt po bajte. Primárne skóre vyššie zahŕňa aj všetky problémové anotácie.

| Zistený nesúlad | DEV | TEST |
|---|---:|---:|
| Očakávané kľúčové slovo nie je vo frontmatter katalógu | 66 | 46 |
| Tag existuje, ale nie je prepojený s očakávanou osobou | 5 | 11 |
| Presná očakávaná množina kategórií nezodpovedá aj poddokumentom | 6 | 3 |
| Spolu otázok so zisteným nesúladom | 77 | 60 |

Textová zmienka o OpenWebUI alebo Elasticsearch v tele stránky sa podľa súčasného modelu nestáva uzlom `Keyword`. Rovnako sa automaticky nestotožňujú rôzne tagy alebo preklady. Vymyslenie grafového faktu na splnenie takýchto očakávaní by bolo nesprávne.

Doplnkové výsledky pre podmnožinu bez zistených zdrojových nesúladov:

| Sada | Strict | Úspešnosť |
|---|---:|---:|
| DEV | 209/209 | 100.00 % |
| TEST | 152/154 | 98.70 % |

Toto je doplnková analýza, nie náhrada primárneho skóre ani dôkaz bezchybnosti všetkých ostatných anotácií. Pravidlá auditu a zoznam otázok boli uložené pred finálnym TESTom a overujú sa odtlačkom vo freeze manifeste.

## Kategórie

| Kategória | DEV strict | TEST strict |
|---|---:|---:|
| `candidate_set_aggregation` | 9/9 | 7/7 |
| `conjunctive_disambiguation` | 2/11 | 1/9 |
| `document_author_category_multi_hop` | 35/35 | 25/25 |
| `person_keyword_title` | 4/42 | 3/38 |
| `person_multiple_categories` | 15/21 | 6/9 |
| `person_title_year` | 44/44 | 36/36 |
| `same_academic_year_pair` | 56/56 | 42/44 |
| `same_start_year_pair` | 28/28 | 32/32 |
| `shared_keyword_pair` | 16/40 | 0/14 |

Kompletné metriky hodnôt, typovaných entít, relácií, vlastností, množín, zdrojov, kategórií, obtiažností a latencií obsahujú JSON a CSV súbory. Document recall a source recall dosiahli v oboch finálnych behoch 1,0; recall kontextových zdrojov sám osebe neznamená správnu odpoveď.

## Overenie a zostávajúce limity

- Celá testovacia sada: **359 passed, 4 skipped**. Desiatich nových Neo4j integračných prípadov sa týka skutočné vykonanie Cypher dotazov v oddelených transakciách s rollbackom.
- Opravené sú skloňovanie názvu, otázky na spoločný rok bez číselného roku v otázke, spojenie názvu/tagu a roku/tagu pri tej istej osobe, autor/kategória pri tom istom dokumente a URL zdrojov vrátane zamietnutých kandidátov.
- Počítanie sa vykonáva pred prezentačným limitom. Orezaný výsledok nemôže prejsť strict hodnotením.
- Evaluator neuznáva názov ani inú hodnotu iba preto, že sa rozpoznala z otázky. Entity sa hodnotia podľa typu a pri agregácii sa kontroluje aj počet.
- Vo finálnom TESTe ostali **g0065 a g0129**, dve formulácie otázky na spoločný rok pri rovnakej dvojici osôb. Podklady obsahujú navyše dokument Martina Jančuru; pravdepodobnou príčinou je príliš široké fuzzy rozpoznávanie mena. Detaily sú v `holdout_failures.json`. Po tomto zistení sa kód neupravoval.
- V budúcej verzii treba túto nejednoznačnosť riešiť na samostatných vývojových prípadoch a pripraviť nový nezávislý holdout. Aktuálny TEST už nemá slúžiť ako nový nedotknutý test pre takto ladenú verziu.
- `expected_paths` sú opisné anotácie. Strict vyhodnocuje typované fakty, relácie a vlastnosti, nie doslovnú zhodu týchto textových reťazcov s cestou.
- Meria sa grafová retrieval vrstva, nie kvalita odpovede LLM. Otázky zdieľajú wiki a formulárové šablóny medzi DEV/TEST; výsledky nemožno vydávať za všeobecnú presnosť na ľubovoľných otázkach.

## Rozhodnutie o stave

Vývojový beh 3.3 je uzavretý pre v1, verzia 3.4 je obsahovo zmrazená, TEST 3.5 prebehol a metriky 3.6 sú uložené. Audit 3.1 odhalil 137 zdrojových nesúladov, ktoré sú explicitne zaznamenané. Finálny benchmark potrebuje novú zdrojovo overenú verziu pred formálnym porovnaním RAG a GraphRAG. Táto evaluácia ich nezakrýva úpravou otázok po TESTe.