54 lines
1.5 KiB
Markdown
54 lines
1.5 KiB
Markdown
---
|
|
title: Artur Hyrenko
|
|
published: true
|
|
taxonomy:
|
|
category: [dp2026]
|
|
tag: [chatbot,rasa,dialog,nlp]
|
|
author: Daniel Hladek
|
|
---
|
|
|
|
|
|
rok začiatku štúdia: 2021
|
|
|
|
# Diplomová práca 2026
|
|
|
|
Vyhodndotenie jazykových modelov
|
|
|
|
|
|
Stretnutie 28.2.2025
|
|
|
|
Stav:
|
|
|
|
- Vyskúšané LM (cez ollama, aj API) Python (in progress).
|
|
|
|
|
|
Úlohy:
|
|
|
|
- Pokračujte v štúdiu.
|
|
- Pozrite sa na článok a dataset https://github.com/kinit-sk/gest . Urobte si poznámky. Zistite aké jazykové modely majp podporu slovenského jazyka. Zistite ako sa vyhodnocuje bias v jazykových modelov. Zistitie, aké podobné množiny existujú pre iné jazyky.
|
|
|
|
Zásobník úloh:
|
|
|
|
- Porovnajte viaceré modely pre mieru výskyt rodových stereotypov. Môže byť aj pre viaceré jazyky (slovenčina, angličtina, ruština).
|
|
- Zistitie, ako je možné potlačiť neželané vlastnosti modelu. (https://huggingface.co/docs/trl/en/index, https://github.com/allenai/open-instruct).
|
|
|
|
Stretnutie 5.2.2025
|
|
|
|
Úlohy:
|
|
|
|
- Oboznámte sa s problematikou veľkých jazykových modelov. Towards Data Science
|
|
- Naučte sa Python lepšie
|
|
- Poučte sa o strojovom účení.
|
|
- Vyskúšajte si framework HF Transformers
|
|
- Vyskúšajte si veľký jazykový model, napr. cez systém OLLAMA.
|
|
- Oboznámte sa s frameworkom lm-eval-harness. Zistite, aké úlohy a aké metriky sa používajú.
|
|
|
|
Zásobník úloh:
|
|
|
|
- Nájdite na webe zaujímavý zdroj otázok a odpovedí, ktorý by bol vhodný na vyhodnotneie jazykového modelu.
|
|
- Vyberte úlohu vhodnú na anotáciu (spolu s vedúcim).
|
|
|
|
|
|
|
|
|