1.5 KiB
1.5 KiB
| title | published | taxonomy | |||||||||||
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| Artur Hyrenko | true |
|
rok začiatku štúdia: 2021
Diplomová práca 2026
Vyhodndotenie jazykových modelov
Stretnutie 28.2.2025
Stav:
- Vyskúšané LM (cez ollama, aj API) Python (in progress).
Úlohy:
- Pokračujte v štúdiu.
- Pozrite sa na článok a dataset https://github.com/kinit-sk/gest . Urobte si poznámky. Zistite aké jazykové modely majp podporu slovenského jazyka. Zistite ako sa vyhodnocuje bias v jazykových modelov. Zistitie, aké podobné množiny existujú pre iné jazyky.
Zásobník úloh:
- Porovnajte viaceré modely pre mieru výskyt rodových stereotypov. Môže byť aj pre viaceré jazyky (slovenčina, angličtina, ruština).
- Zistitie, ako je možné potlačiť neželané vlastnosti modelu. (https://huggingface.co/docs/trl/en/index, https://github.com/allenai/open-instruct).
Stretnutie 5.2.2025
Úlohy:
- Oboznámte sa s problematikou veľkých jazykových modelov. Towards Data Science
- Naučte sa Python lepšie
- Poučte sa o strojovom účení.
- Vyskúšajte si framework HF Transformers
- Vyskúšajte si veľký jazykový model, napr. cez systém OLLAMA.
- Oboznámte sa s frameworkom lm-eval-harness. Zistite, aké úlohy a aké metriky sa používajú.
Zásobník úloh:
- Nájdite na webe zaujímavý zdroj otázok a odpovedí, ktorý by bol vhodný na vyhodnotneie jazykového modelu.
- Vyberte úlohu vhodnú na anotáciu (spolu s vedúcim).