zpwiki/pages/students/2021/artur_hyrenko/README.md

---
title: Artur Hyrenko
published: true
taxonomy:
    category: [dp2026]
    tag: [chatbot,rasa,dialog,nlp]
    author: Daniel Hladek
---


rok začiatku štúdia: 2021

# Diplomová práca 2026

Vyhodndotenie jazykových modelov


Stretnutie 28.2.2025

Stav:

- Vyskúšané LM (cez ollama, aj API) Python (in progress).


Úlohy:

- Pokračujte v štúdiu.
- Pozrite sa na článok a dataset https://github.com/kinit-sk/gest . Urobte si poznámky. Zistite aké jazykové modely majp podporu slovenského jazyka. Zistite ako sa vyhodnocuje bias v jazykových modelov. Zistitie, aké podobné množiny existujú pre iné jazyky. 

Zásobník úloh:

- Porovnajte viaceré modely pre mieru výskyt rodových stereotypov. Môže byť aj pre viaceré jazyky (slovenčina, angličtina, ruština).
- Zistitie, ako je možné potlačiť neželané vlastnosti modelu. (https://huggingface.co/docs/trl/en/index, https://github.com/allenai/open-instruct).

Stretnutie 5.2.2025

Úlohy:

- Oboznámte sa s problematikou veľkých jazykových modelov. Towards Data Science
- Naučte sa Python lepšie
- Poučte sa o strojovom účení.
- Vyskúšajte si framework HF Transformers
- Vyskúšajte si veľký jazykový model, napr. cez systém OLLAMA.
- Oboznámte sa s frameworkom lm-eval-harness. Zistite, aké úlohy a aké metriky sa používajú. 

Zásobník úloh:

- Nájdite na webe zaujímavý zdroj otázok a odpovedí, ktorý by bol vhodný na vyhodnotneie jazykového modelu.
- Vyberte úlohu vhodnú na anotáciu (spolu s vedúcim).