dp-zp-agent/tools/answer_evaluation

Generovanie odpovedí nad zmrazeným grafom

Tento experiment meria OpenWebUI chat API po dodaní skutočného grafového kontextu lokálnym skriptom. Neoveruje prehliadač ani automatický výber nainštalovaných nástrojov hlavným agentom. Klasický RAG sa nemení.

Pôvodná diagnostika použila 20 otázok. Všetkých 20 sa stalo DEV; zostávajúcich 300 otázok zo zmrazeného grafového benchmarku tvorí nový TEST generovania. Predchádzajúce interné grafové meranie neposkytlo výstupy jazykového modelu. Žiadne očakávania, zdrojový oracle ani výsledky evaluatora sa modelu neposielajú.

graph_answer_prompt.txt určuje výstup. Kontext obsahuje iba skutočné relevantné fakty a zdroje, bez mien profilov vydávaných za názov akademickej práce či typu osoby zamieňaného za taxonomickú kategóriu. Štruktúrované tvrdenia musia spájať správne fakty pri tej istej osobe/práci/dokumente. Kontrolujú sa aj zdrojové odkazy, množiny, počty a povinné hodnoty v prirodzenom texte. Nepovinné null znamená neprítomnosť tvrdenia. Označenie diplomovej práce za dizertačnú sa odmieta.

Ide o prísne, ale stále pravidlové hodnotenie. Nejde o úplnú sémantickú kontrolu každej možnej vety. Zdrojový oracle je nezávislý od grafového buildera, nie od človeka, ktorý by nezávisle anotoval celý test. Osoby, korpus a šablóny sú známe.

Každý nový výstupný adresár obsahuje deklaráciu pred meraním, SHA kódu/promptu, presné DEV/TEST ID a výsledky všetkých otázok. Odpovede sa ukladajú priebežne; chyba ani prerušený beh sa nesmie zatajiť či premenovať na nezávislý nový TEST. Po odhalení TEST výsledkov patria tieto otázky pri ladení do DEV.

set -a
source .env
set +a
# Reprodukcia používa vždy nový adresár; nejde o nový nezávislý TEST.
python -m tools.answer_evaluation.evaluate_graph_answers \
  --split test --output-dir /tmp/graphrag-answers-reproduction

Model je model120-fast; presný názov modelu vrátený serverom, tokeny a pôvodné odpovede sú uložené vo výsledkoch. Prístupový kľúč zostáva iba v prostredí.