32 lines
4.9 KiB
JSON
32 lines
4.9 KiB
JSON
{
|
|
"scope": "DEV acceptance cases from original student Markdown profiles; not an independent TEST",
|
|
"questions": [
|
|
{"id":"content-01","query":"Ako pokročil Ján Malinovský so svojou prácou?","expected_person":"Ján Malinovský","evidence_contains":"Extrahovaný text pomocou pypdf a docx","source":"pages/students/2022/jan_malinovsky/README.md"},
|
|
{"id":"content-02","query":"Na čom pracoval Ján Holp?","expected_person":"Ján Holp","evidence_contains":"Implementovaný PageRank","source":"pages/students/2016/jan_holp/README.md"},
|
|
{"id":"content-03","query":"Kedy dosiahol Ján Holp aký výsledok v roku 2020?","expected_person":"Ján Holp","evidence_contains":"funguje databáza Cassandra","expected_date":"2020-06-23","source":"pages/students/2016/jan_holp/README.md"},
|
|
{"id":"content-04","query":"Ako pokročil Ján Pták so svojím projektom?","expected_person":"Ján Pták","missing_results":true,"evidence_contains":"Vytvorte agenta","source":"pages/students/2022/jan_ptak/README.md"},
|
|
{"id":"content-05","query":"Kto pracoval na niečom podobnom ako Ján Pták?","expected_any_related_people":["Ján Malinovský","Matej Ščišľak","Valerii Kutsenko","Maksym Zatirka","Oleh Poiasnik","Samuel Vasiľ"],"requires_both_sides":true,"evaluation_note":"Bounded topic discovery need not return one prescribed student or ranking. Accept a documented RAG/knowledge-graph example, with literal evidence for both the candidate and Ján Pták; unrelated interface/webhook-only matches are tested separately."},
|
|
{"id":"content-06","query":"Kto vytvoril chatbota?","expected_person":"Martin Šarišský","evidence_contains":"Chatbot funguje","source":"pages/students/2021/martin_sarissky/README.md"},
|
|
{"id":"content-07","query":"Kto sa venoval anotácii pomenovaných entít?","must_not_equate":"Anotácia nie je automaticky rozpoznávanie; plán nie je výsledok."},
|
|
{"id":"content-08","query":"Kto sa venoval rozpoznávaniu pomenovaných entít?","must_not_equate":"Zadanie sa nesmie označiť za dokončenú implementáciu."},
|
|
{"id":"content-09","query":"Ktoré práce aktuálne vedie Daniel Hladek?","must_disclaim_current_activity":true,"must_not_use":"document_author"},
|
|
{"id":"content-10","query":"Aké témy sa riešili od roku 2020 do roku 2021 a ktorí študenti?","requires_explicit_meeting_date":true},
|
|
{"id":"content-11","query":"Ako pokročil Xaver Neexistujúci?","expected_status":"no_answer"},
|
|
{"id":"content-12","query":"Kto sa venoval kvantovej teleportácii na Marse?","expected_status":"no_answer"},
|
|
{"id":"content-13","query":"Kedy dosiahol Ján Holp výsledok v roku 1999?","expected_status":"no_answer"},
|
|
{"id":"content-14","query":"xdzf","expected_status":"ambiguous"},
|
|
{"id":"content-15","query":"Ako pokročil Ján?","expected_status":"ambiguous"},
|
|
{"id":"content-16","query":"Na čom pracoval Ján Holpp?","requires_recognized_name_notice":true},
|
|
{"id":"content-17","query":"Aký je názov diplomovej práce Jána Holpa a z ktorého roku je?","regression":"Systém získavania informácií v slovenskom jazyku; 2021"},
|
|
{"id":"content-18","query":"Aké spoločné kľúčové slová majú Ján Pták a Ján Malinovský?","regression":"NLP; RAG"},
|
|
{"id":"academic-01","query":"Kto je vedúcim diplomovej práce Jána Holpa z roku 2021?","expected_person":"Ján Holp","answer_contains":["Vedúci práce: Daniel Hládek","Systém získavania informácií"]},
|
|
{"id":"academic-02","query":"Kto je vedúci a konzultant bakalárskej práce Samuela Vasiľa?","expected_person":"Samuel Vasiľ","answer_contains":["Konzultant: Matúš Čavojský","Vedúci práce: v dostupných podkladoch nie je uvedený"]},
|
|
{"id":"academic-03","query":"Kedy mal Ján Malinovský naposledy stretnutie a o čom bolo?","expected_person":"Ján Malinovský","answer_contains":["2026-05-14","RAGAS","Plán:"]},
|
|
{"id":"academic-04","query":"Ukončil Samuel Vasiľ štúdium úspešne alebo predčasne?","expected_status":"no_answer","answer_contains":["Ukončil predčasne","odlišným alebo neurčeným rozsahom"]},
|
|
{"id":"academic-05","query":"Ktorí študenti v roku 2024 úspešne ukončili svoje práce pod vedením Daniela Hladeka?","expected_status":"no_answer","answer_contains":["súčasne spĺňala všetky podmienky","úspešnú obhajobu"]},
|
|
{"id":"academic-06","query":"Kto je vedúci diplomovej práce Dávida Omastu z roku 2023?","expected_person":"Dávid Omasta","answer_contains":["Vedúci práce: Ján Staš"],"answer_excludes":["Vedúci práce: Daniel Hládek"]},
|
|
{"id":"academic-07","query":"Kto je vedúci diplomovej práce Dávida Omastu z roku 2024?","expected_person":"Dávid Omasta","answer_contains":["Vedúci práce: Daniel Hládek"],"answer_excludes":["Vedúci práce: Ján Staš"]},
|
|
{"id":"academic-08","query":"Ukončil Ondrej Megela diplomovú prácu úspešne alebo neúspešne?","expected_status":"no_answer","answer_contains":["nie je v dostupných podkladoch doložené","Nemožno z toho usúdiť, že stále prebieha"]}
|
|
]
|
|
}
|