6.3 KiB
6.3 KiB
| 1 | id | split | category | difficulty | question | requested_model | response_model | tool_called | tool_call_count | answer_contains_score | source_url_score | should_answer_score | overall_score | strict_pass | expected_answer_contains | expected_source_urls | rag_source_urls | answer | first_model_latency_seconds | tool_latency_seconds | final_model_latency_seconds | total_latency_seconds | prompt_tokens | completion_tokens | total_tokens | error |
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| 2 | q0001 | dev | entity_lookup | easy | Nájdi dokument o osobe Ján Holp. | model120-fast | Qwen3.5-122B-A10B-Q4_K_M | True | 1 | 1.0 | 1.0 | 1.0 | 1.0 | True | ["Ján Holp"] | ["https://zp.kemt.fei.tuke.sk/students/2016/jan_holp"] | ["https://zp.kemt.fei.tuke.sk/students/2016/jan_holp"] | V dostupných dokumentoch ZP Wiki sa o osobe Ján Holp nachádzajú informácie o jeho štúdiu, ktoré začalo v roku 2016, a o jeho bakalárskej práci s názvom „Vyhľadávač na slovenskom internete" z roku 2019, ako aj o diplomovej práci s názvom „Systém získavania informácií v slovenskom jazyku" z roku 2021. Zdroj: https://zp.kemt.fei.tuke.sk/students/2016/jan_holp | 1.855543 | 0.04037 | 6.536437 | 8.432721 | 5976 | 205 | 6181 | |
| 3 | q0002 | dev | fact_title | easy | Aký je názov diplomová práca osoby Ján Holp? | model120-fast | Qwen3.5-122B-A10B-Q4_K_M | True | 1 | 1.0 | 1.0 | 1.0 | 1.0 | True | ["Systém získavania informácií v slovenskom jazyku"] | ["https://zp.kemt.fei.tuke.sk/students/2016/jan_holp"] | ["https://zp.kemt.fei.tuke.sk/students/2016/jan_holp"] | Názov diplomovej práce Ján Holpa je Systém získavania informácií v slovenskom jazyku. Zdroj: https://zp.kemt.fei.tuke.sk/students/2016/jan_holp | 1.440291 | 0.034781 | 3.265832 | 4.741183 | 3035 | 103 | 3138 | |
| 4 | q0003 | dev | reverse_lookup | medium | Kto sa venuje práci s názvom „Systém získavania informácií v slovenskom jazyku“? | model120-fast | Qwen3.5-122B-A10B-Q4_K_M | True | 1 | 1.0 | 1.0 | 1.0 | 1.0 | True | ["Ján Holp"] | ["https://zp.kemt.fei.tuke.sk/students/2016/jan_holp"] | ["https://zp.kemt.fei.tuke.sk/students/2016/jan_holp"] | Na práci s názvom „Systém získavania informácií v slovenskom jazyku" sa v rámci svojej diplomovej práce z roku 2021 v roku začiatku štúdia 2016 podieľal Ján Holp. Zdroj: https://zp.kemt.fei.tuke.sk/students/2016/jan_holp | 1.586781 | 0.032754 | 1.793497 | 3.413269 | 3077 | 144 | 3221 | |
| 5 | q0004 | dev | topic_lookup | medium | Nájdi študenta alebo dokument, ktorý rieši tému „Systém získavania informácií v slovenskom jazyku“. | model120-fast | Qwen3.5-122B-A10B-Q4_K_M | True | 1 | 1.0 | 1.0 | 1.0 | 1.0 | True | ["Ján Holp", "Systém získavania informácií v slovenskom jazyku"] | ["https://zp.kemt.fei.tuke.sk/students/2016/jan_holp"] | ["https://zp.kemt.fei.tuke.sk/students/2016/jan_holp"] | Študent Ján Holp vypracoval diplomovú prácu s názvom „Systém získavania informácií v slovenskom jazyku“ v roku 2021, pri ktorej začal štúdium v roku 2016. Zdroj: https://zp.kemt.fei.tuke.sk/students/2016/jan_holp | 1.819523 | 0.034531 | 3.789378 | 5.643685 | 3098 | 157 | 3255 | |
| 6 | q0005 | dev | paraphrase | medium | Akej téme sa venuje diplomová práca Jána Holpa? | model120-fast | Qwen3.5-122B-A10B-Q4_K_M | True | 1 | 1.0 | 1.0 | 1.0 | 1.0 | True | ["Systém získavania informácií v slovenskom jazyku"] | ["https://zp.kemt.fei.tuke.sk/students/2016/jan_holp"] | ["https://zp.kemt.fei.tuke.sk/students/2016/jan_holp", "https://zp.kemt.fei.tuke.sk/students/2017/martin_jancura", "https://zp.kemt.fei.tuke.sk/students/2021/matej_novotny", "https://zp.kemt.fei.tuke.sk/students/2016/patrik_pavlisin", "https://zp.kemt.fei.tuke.sk/students/2022/jan_malinovsky"] | Diplomová práca Jána Holpa sa zaoberá témou Systém získavania informácií v slovenskom jazyku. Zdroj: https://zp.kemt.fei.tuke.sk/students/2016/jan_holp | 1.456083 | 0.042547 | 5.83287 | 7.331866 | 6435 | 110 | 6545 | |
| 7 | q0006 | dev | fact_start_year | easy | V ktorom roku začal študovať Ján Holp? | model120-fast | Qwen3.5-122B-A10B-Q4_K_M | True | 1 | 1.0 | 1.0 | 1.0 | 1.0 | True | ["2016"] | ["https://zp.kemt.fei.tuke.sk/students/2016/jan_holp"] | ["https://zp.kemt.fei.tuke.sk/students/2016/jan_holp"] | Ján Holp začal študovať v roku 2016. Zdroj: https://zp.kemt.fei.tuke.sk/students/2016/jan_holp | 1.501519 | 0.036725 | 3.148166 | 4.686654 | 3039 | 96 | 3135 | |
| 8 | q0007 | dev | verification | medium | Je pri osobe Ján Holp uvedený rok začiatku štúdia 2016? | model120-fast | Qwen3.5-122B-A10B-Q4_K_M | True | 1 | 1.0 | 1.0 | 1.0 | 1.0 | True | ["2016"] | ["https://zp.kemt.fei.tuke.sk/students/2016/jan_holp"] | ["https://zp.kemt.fei.tuke.sk/students/2016/jan_holp"] | Áno, pri osobe Ján Holp je uvedený rok začiatku štúdia 2016. Zdroj: https://zp.kemt.fei.tuke.sk/students/2016/jan_holp | 1.642486 | 0.035661 | 1.278389 | 2.956764 | 3067 | 110 | 3177 | |
| 9 | q0008 | dev | fact_work_year | easy | V ktorom roku je pri osobe Ján Holp uvedená diplomová práca? | model120-fast | Qwen3.5-122B-A10B-Q4_K_M | True | 1 | 1.0 | 1.0 | 1.0 | 1.0 | True | ["2021"] | ["https://zp.kemt.fei.tuke.sk/students/2016/jan_holp"] | ["https://zp.kemt.fei.tuke.sk/students/2016/jan_holp"] | Diplomová práca osobe Ján Holp je uvedená v roku 2021. Zdroj: https://zp.kemt.fei.tuke.sk/students/2016/jan_holp | 1.292269 | 0.03313 | 3.205778 | 4.531426 | 3031 | 87 | 3118 | |
| 10 | q0009 | dev | disambiguation_year | hard | Rozlíš rok začiatku štúdia a rok práce osoby Ján Holp. | model120-fast | Qwen3.5-122B-A10B-Q4_K_M | True | 1 | 1.0 | 1.0 | 1.0 | 1.0 | True | ["2016", "2021"] | ["https://zp.kemt.fei.tuke.sk/students/2016/jan_holp"] | ["https://zp.kemt.fei.tuke.sk/students/2016/jan_holp"] | Podľa dostupných informácií začal Ján Holp štúdium v roku 2016 a jeho diplomová práca bola vypracovaná v roku 2021. Zdroj: https://zp.kemt.fei.tuke.sk/students/2016/jan_holp | 1.530212 | 0.034428 | 3.479579 | 5.044445 | 3056 | 123 | 3179 | |
| 11 | q0010 | dev | adversarial_year | hard | Je rok 2016 rokom záverečnej práce osoby Ján Holp? | model120-fast | Qwen3.5-122B-A10B-Q4_K_M | True | 1 | 1.0 | 1.0 | 1.0 | 1.0 | True | ["2016", "2021"] | ["https://zp.kemt.fei.tuke.sk/students/2016/jan_holp"] | ["https://zp.kemt.fei.tuke.sk/students/2016/jan_holp", "https://zp.kemt.fei.tuke.sk/students/2022/jan_ptak", "https://zp.kemt.fei.tuke.sk/students/2022/jan_malinovsky", "https://zp.kemt.fei.tuke.sk/students/2023/oleksandr_dorybohov", "https://zp.kemt.fei.tuke.sk/students/2021/vladimir_ferko"] | Rok 2016 nie je rokom záverečnej práce Jána Holpa, ale rokom začiatku jeho štúdia. Podľa dostupných informácií vypracovával svoju diplomovú prácu v roku 2021. Zdroj: https://zp.kemt.fei.tuke.sk/students/2016/jan_holp | 1.788465 | 0.041874 | 1.837584 | 3.668296 | 7025 | 153 | 7178 |