KEMT/zpwiki
32
1
Fork 9
Code Issues Pull Requests Releases Wiki Activity

Merge branch 'master' of git.kemt.fei.tuke.sk:KEMT/zpwiki

Browse Source
This commit is contained in:
Daniel Hládek 2025-04-10 13:27:39 +02:00
commit e0be38a050
1 changed files with 18 additions and 0 deletions
Show Stats Download Patch File Download Diff File Expand all files Collapse all files

18
pages/students/2021/artur_hyrenko/README.md
View File

@ -14,6 +14,24 @@ rok začiatku štúdia: 2021
Vyhodndotenie jazykových modelov
Stretnutie 4.4.2025
Stav:
- Preštudované niektoré jazykové modely.
Úlohy:
- Pokračujte v štúdiu Python, Anaconda, Transformers, dive into deep learning.
- Napíšte poznámky o tom ako funguje model typu GPT, napr. LLAMA alebo DeepSeek. Napíšte ako sa trénuje - čo na to potrebujeme a v akých fázach to prebieha. Napíšte aj odkazy na odbornú literatúru.
- Zisite ako prebieha dotrénovanie pomocou PEFT-LORA a napíšte o tom poznáky,
- Zistite ako prebieha dotrénovanie typu reinforcement learning a napíšte o tom poznámky.
Zásobník úloh:
- Môžeme riešiť problém bezpečnosti jazykových modelov. Ako upraviť model tak, aby neprezradil citlivé alebo nebezpečné informácie.
- Dotrénujme existujúci jazykový model (napr. SlovakMistral) na úlohu instruct a využime reinforcement learning na potlačenie neželaných vlastností.
Stretnutie 28.2.2025