--- title: Artur Hyrenko published: true taxonomy: category: [dp2026] tag: [chatbot,rasa,dialog,nlp] author: Daniel Hladek --- rok začiatku štúdia: 2021 # Diplomová práca 2026 Vyhodndotenie jazykových modelov Stretnutie 28.2.2025 Stav: - Vyskúšané LM (cez ollama, aj API) Python (in progress). - Stretnutie 5.2.2025 Úlohy: - Oboznámte sa s problematikou veľkých jazykových modelov. Towards Data Science - Naučte sa Python lepšie - Poučte sa o strojovom účení. - Vyskúšajte si framework HF Transformers - Vyskúšajte si veľký jazykový model, napr. cez systém OLLAMA. - Oboznámte sa s frameworkom lm-eval-harness. Zistite, aké úlohy a aké metriky sa používajú. Zásobník úloh: - Nájdite na webe zaujímavý zdroj otázok a odpovedí, ktorý by bol vhodný na vyhodnotneie jazykového modelu. - Vyberte úlohu vhodnú na anotáciu (spolu s vedúcim).