39 lines
2.1 KiB
Markdown
39 lines
2.1 KiB
Markdown
# Generovanie odpovedí nad zmrazeným grafom
|
|
|
|
Tento experiment meria OpenWebUI chat API po dodaní skutočného grafového
|
|
kontextu lokálnym skriptom. Neoveruje prehliadač ani automatický výber
|
|
nainštalovaných nástrojov hlavným agentom. Klasický RAG sa nemení.
|
|
|
|
Pôvodná diagnostika použila 20 otázok. Všetkých 20 sa stalo DEV; zostávajúcich
|
|
300 otázok zo zmrazeného grafového benchmarku tvorí nový TEST generovania.
|
|
Predchádzajúce interné grafové meranie neposkytlo výstupy jazykového modelu.
|
|
Žiadne očakávania, zdrojový oracle ani výsledky evaluatora sa modelu neposielajú.
|
|
|
|
`graph_answer_prompt.txt` určuje výstup. Kontext obsahuje iba skutočné relevantné
|
|
fakty a zdroje, bez mien profilov vydávaných za názov akademickej práce či typu
|
|
osoby zamieňaného za taxonomickú kategóriu. Štruktúrované tvrdenia musia spájať
|
|
správne fakty pri tej istej osobe/práci/dokumente. Kontrolujú sa aj zdrojové
|
|
odkazy, množiny, počty a povinné hodnoty v prirodzenom texte. Nepovinné `null`
|
|
znamená neprítomnosť tvrdenia. Označenie diplomovej práce za dizertačnú sa odmieta.
|
|
|
|
Ide o prísne, ale stále pravidlové hodnotenie. Nejde o úplnú sémantickú kontrolu
|
|
každej možnej vety. Zdrojový oracle je nezávislý od grafového buildera, nie od
|
|
človeka, ktorý by nezávisle anotoval celý test. Osoby, korpus a šablóny sú známe.
|
|
|
|
Každý nový výstupný adresár obsahuje deklaráciu pred meraním, SHA kódu/promptu,
|
|
presné DEV/TEST ID a výsledky všetkých otázok. Odpovede sa ukladajú priebežne;
|
|
chyba ani prerušený beh sa nesmie zatajiť či premenovať na nezávislý nový TEST.
|
|
Po odhalení TEST výsledkov patria tieto otázky pri ladení do DEV.
|
|
|
|
```bash
|
|
set -a
|
|
source .env
|
|
set +a
|
|
# Reprodukcia používa vždy nový adresár; nejde o nový nezávislý TEST.
|
|
python -m tools.answer_evaluation.evaluate_graph_answers \
|
|
--split test --output-dir /tmp/graphrag-answers-reproduction
|
|
```
|
|
|
|
Model je `model120-fast`; presný názov modelu vrátený serverom, tokeny a pôvodné
|
|
odpovede sú uložené vo výsledkoch. Prístupový kľúč zostáva iba v prostredí.
|