KEMT/zpwiki
32
1
Fork 9
Code Issues Pull Requests Releases Wiki Activity

zz

Browse Source
This commit is contained in:
Daniel Hládek 2025-10-03 09:53:51 +02:00
parent ad606e8e83
commit 8429bdb20b
1 changed files with 20 additions and 0 deletions
Show Stats Download Patch File Download Diff File Expand all files Collapse all files

20
pages/students/2023/denis_le_thanh/README.md
View File

@ -28,6 +28,26 @@ Ciele:
- Skúsiť dotrénovať slovenský generatívny model (slovak-mistral-7b) pre inštrukcie.
Stretnutie 3.10.2025
Stav:
- Naštudované LLM, transformers, anaconda, Okapi, open instruct, ollama.
Úlohy:
- Naštudovať a vyskúšať PEFT-QLORA.
- Vyskúšajte si skript pre dotrénovanie Slovak Mistral.(poslal som cez Teams)
- Oboznámte sa s Huggingface TRL.
- Oboznámte sa s knižnicou "unsloth".
- Oboznámte sa s https://github.com/hiyouga/LLaMA-Factory
- Pracujte na teoretickej časti: opíšte základné pojmy, metódy a dátové množiny. Používajte google scholar a bibliografické odkazy.
- Najprv pracujte s domácou GPU, ak nebude stačiť pracujte s Google Coolab, ak nebude stačiť požiadajte konzultanta.
Zásobník úloh:
- Dotrénujte a vyhodnotte Slovak Mistral.
Stretnutie 26.2.
Úlohy: