KEMT/zpwiki
31
1
Fork 9
Code Issues Pull Requests Releases Wiki Activity

Update pages/students/2022/valerii_kutsenko/README.md

Browse Source
This commit is contained in:
dano 2024-10-18 07:57:44 +00:00
parent 498aaaccf4
commit 4aa4ff8d46
1 changed files with 15 additions and 2 deletions
Show Stats Download Patch File Download Diff File Expand all files Collapse all files

17
pages/students/2022/valerii_kutsenko/README.md
View File

@ -7,7 +7,6 @@ taxonomy:
author: Daniel Hladek
---
rok začiatku štúdia: 2022
# Bakalárska práca 2025
@ -33,9 +32,23 @@ Stretnutie 18.10.2024
Stav:
- Natrénovaný model SlovakT5 Base. Skripty sú na [GITe](https://git.kemt.fei.tuke.sk/vk202uf/bp2024).
- Natrénovaný model SlovakT5 Base. Skripty sú na [GITe](https://git.kemt.fei.tuke.sk/vk202uf/bp2024). Trénovanie funguje.
- Naštudované články o T5 a Falcon, napísané poznámky.
Úlohy:
- Doplnte vyhodnotenie modelu pomocu BLEU Skore. Ako testovaciu množinu použite testovaciu časť SkQUAD.
- Natrénujte aj iné modely: mt5-base, SlavicT5-base, umt5-base. Opíšte testovací scenár - ako ste dotrénovali model . Vyhodnotte ich v tabuľke. Do práce napíšte o týchto modeloch.
Zásobník úloh:
- SKúste natrénovať aj modely typu GPT. Tam bude treba upraviť skript na model typu GPT - SlovakMistral 7B. Titeo modely sú veľké. Budete potrebovať prístup na školský server. Budete potrebovať použiť mnetódu: quantization (bitsandbytes) a peft (parameter efficient fine tuning).
- Ako bude model dobrý, tak ho uverejníme na repoztári Huggingface Hub.
- Ak bude práca dobrá, skúsime prepracovať a urobiť článok na konferencii.
- V spolupráci Y. Leonov urobiť vyhodnotenie aj v medicínskej doméne.
- Skúsíme poprosiť doktorov o názor.
Stretnutie 27.9.2024
Stav: