69 lines
5.3 KiB
Markdown
69 lines
5.3 KiB
Markdown
# GraphRAG: finálna evaluácia v1 — 24. 10. 2026
|
|
|
|
Vyhľadávanie bolo ladené na DEV, potom zmrazené pomocou `../../frozen_v1.json` a až následne vyhodnotené na celom TESTe. Po finálnom TESTe sa implementácia, evaluator, benchmark ani audit nemenili.
|
|
|
|
## Výsledky
|
|
|
|
| Beh | Strict | Úspešnosť | Runtime chyby | Priemer | Medián | p95 |
|
|
|---|---:|---:|---:|---:|---:|---:|
|
|
| Pôvodné vyhľadávanie, aktuálny evaluator (DEV) | 106/286 | 37.06 % | 0 | 29.99 ms | 28.12 ms | 41.82 ms |
|
|
| Finálny DEV | 209/286 | 73.08 % | 0 | 32.79 ms | 32.21 ms | 41.83 ms |
|
|
| Finálny TEST | 152/214 | 71.03 % | 0 | 29.58 ms | 29.33 ms | 33.78 ms |
|
|
|
|
Pôvodné vyhľadávanie pochádza z commitu `9f3483d`; jeho odtlačok je v `baseline_dev.json`. Porovnanie používa rovnaký benchmark, graf, parametre a aktuálny sprísnený evaluator. Historický baseline 127/286 = 44,41 % používal starší evaluator; priamo porovnateľný baseline je 106/286 = 37,06 %.
|
|
|
|
Latencie merajú samotné grafové vyhľadávanie. Neobsahujú tvorbu odpovede LLM, volanie OpenWebUI ani úvodný odtlačok celého grafu. Nie sú porovnateľné s približne 19 sekundami celého klasického RAG toku.
|
|
|
|
## Nesúlady benchmarku so zdrojmi
|
|
|
|
Pred TESTom vznikol statický audit všetkých 500 otázok priamo proti vstupným dokumentom, tagom a deterministickému grafovému payloadu. Audit nepoužíva výstup vyhľadávania. Pôvodný benchmark zostal od začiatku tejto úpravy nezmenený bajt po bajte. Primárne skóre vyššie zahŕňa aj všetky problémové anotácie.
|
|
|
|
| Zistený nesúlad | DEV | TEST |
|
|
|---|---:|---:|
|
|
| Očakávané kľúčové slovo nie je vo frontmatter katalógu | 66 | 46 |
|
|
| Tag existuje, ale nie je prepojený s očakávanou osobou | 5 | 11 |
|
|
| Presná očakávaná množina kategórií nezodpovedá aj poddokumentom | 6 | 3 |
|
|
| Spolu otázok so zisteným nesúladom | 77 | 60 |
|
|
|
|
Textová zmienka o OpenWebUI alebo Elasticsearch v tele stránky sa podľa súčasného modelu nestáva uzlom `Keyword`. Rovnako sa automaticky nestotožňujú rôzne tagy alebo preklady. Vymyslenie grafového faktu na splnenie takýchto očakávaní by bolo nesprávne.
|
|
|
|
Doplnkové výsledky pre podmnožinu bez zistených zdrojových nesúladov:
|
|
|
|
| Sada | Strict | Úspešnosť |
|
|
|---|---:|---:|
|
|
| DEV | 209/209 | 100.00 % |
|
|
| TEST | 152/154 | 98.70 % |
|
|
|
|
Toto je doplnková analýza, nie náhrada primárneho skóre ani dôkaz bezchybnosti všetkých ostatných anotácií. Pravidlá auditu a zoznam otázok boli uložené pred finálnym TESTom a overujú sa odtlačkom vo freeze manifeste.
|
|
|
|
## Kategórie
|
|
|
|
| Kategória | DEV strict | TEST strict |
|
|
|---|---:|---:|
|
|
| `candidate_set_aggregation` | 9/9 | 7/7 |
|
|
| `conjunctive_disambiguation` | 2/11 | 1/9 |
|
|
| `document_author_category_multi_hop` | 35/35 | 25/25 |
|
|
| `person_keyword_title` | 4/42 | 3/38 |
|
|
| `person_multiple_categories` | 15/21 | 6/9 |
|
|
| `person_title_year` | 44/44 | 36/36 |
|
|
| `same_academic_year_pair` | 56/56 | 42/44 |
|
|
| `same_start_year_pair` | 28/28 | 32/32 |
|
|
| `shared_keyword_pair` | 16/40 | 0/14 |
|
|
|
|
Kompletné metriky hodnôt, typovaných entít, relácií, vlastností, množín, zdrojov, kategórií, obtiažností a latencií obsahujú JSON a CSV súbory. Document recall a source recall dosiahli v oboch finálnych behoch 1,0; recall kontextových zdrojov sám osebe neznamená správnu odpoveď.
|
|
|
|
## Overenie a zostávajúce limity
|
|
|
|
- Celá testovacia sada: **359 passed, 4 skipped**. Desiatich nových Neo4j integračných prípadov sa týka skutočné vykonanie Cypher dotazov v oddelených transakciách s rollbackom.
|
|
- Opravené sú skloňovanie názvu, otázky na spoločný rok bez číselného roku v otázke, spojenie názvu/tagu a roku/tagu pri tej istej osobe, autor/kategória pri tom istom dokumente a URL zdrojov vrátane zamietnutých kandidátov.
|
|
- Počítanie sa vykonáva pred prezentačným limitom. Orezaný výsledok nemôže prejsť strict hodnotením.
|
|
- Evaluator neuznáva názov ani inú hodnotu iba preto, že sa rozpoznala z otázky. Entity sa hodnotia podľa typu a pri agregácii sa kontroluje aj počet.
|
|
- Vo finálnom TESTe ostali **g0065 a g0129**, dve formulácie otázky na spoločný rok pri rovnakej dvojici osôb. Podklady obsahujú navyše dokument Martina Jančuru; pravdepodobnou príčinou je príliš široké fuzzy rozpoznávanie mena. Detaily sú v `holdout_failures.json`. Po tomto zistení sa kód neupravoval.
|
|
- V budúcej verzii treba túto nejednoznačnosť riešiť na samostatných vývojových prípadoch a pripraviť nový nezávislý holdout. Aktuálny TEST už nemá slúžiť ako nový nedotknutý test pre takto ladenú verziu.
|
|
- `expected_paths` sú opisné anotácie. Strict vyhodnocuje typované fakty, relácie a vlastnosti, nie doslovnú zhodu týchto textových reťazcov s cestou.
|
|
- Meria sa grafová retrieval vrstva, nie kvalita odpovede LLM. Otázky zdieľajú wiki a formulárové šablóny medzi DEV/TEST; výsledky nemožno vydávať za všeobecnú presnosť na ľubovoľných otázkach.
|
|
|
|
## Rozhodnutie o stave
|
|
|
|
Vývojový beh 3.3 je uzavretý pre v1, verzia 3.4 je obsahovo zmrazená, TEST 3.5 prebehol a metriky 3.6 sú uložené. Audit 3.1 odhalil 137 zdrojových nesúladov, ktoré sú explicitne zaznamenané. Finálny benchmark potrebuje novú zdrojovo overenú verziu pred formálnym porovnaním RAG a GraphRAG. Táto evaluácia ich nezakrýva úpravou otázok po TESTe.
|