di445js/zpwiki
1
0
Fork 0
forked from KEMT/zpwiki
Code Issues Pull Requests Projects Releases Wiki Activity

Update pages/students/2022/jakub_schwarc/README.md

Browse Source
This commit is contained in:
dano 2026-10-01 09:16:43 +00:00
parent 2144dd0717
commit e13236e714
1 changed files with 15 additions and 0 deletions
Show Stats Download Patch File Download Diff File Expand all files Collapse all files

15
pages/students/2022/jakub_schwarc/README.md
View File

@ -19,10 +19,25 @@ Stav:
- vytvorený repozitár s konfiguráciami - vytvorený repozitár s konfiguráciami
- vyskúšaná AYA collection dataset - zbehlo 86 percent datasetu. Kolísala evaluácia. - vyskúšaná AYA collection dataset - zbehlo 86 percent datasetu. Kolísala evaluácia.
- vyskúšaná lm-eval a Alpaca. - vyskúšaná lm-eval a Alpaca.
- Momentálne máme k dispozicii SlovakAlpaca a slovenskú časť AYA colections.
- porovnanie AYA a Alpaca dotrénovania. Alpaca vyzerá lepšie. - porovnanie AYA a Alpaca dotrénovania. Alpaca vyzerá lepšie.
- prípravených 10 experimentov s eval a loss priebehom. - prípravených 10 experimentov s eval a loss priebehom.
- výsledky sú na https://git.kemt.fei.tuke.sk/js886io/Diplomovka - výsledky sú na https://git.kemt.fei.tuke.sk/js886io/Diplomovka
Úlohy:
- Navrhnite scenár pre dotrénovanie jazykového modelu. Ake LORA spôsoby? Ako nastaviť lm factory?
- Pripravte experiment na optimalizáciu hyperparametrov. Najdôležitejší je LR. Na ostetné sa môžete spýtať AI. Tú istú kofiguráciu spúštate s roznym LR v "menšom" experimente a sledujete evall loss. Sledujte aj gradient pre identifikáciu "explosion". Porovnanie má zmysel iba v rámci tohot experimentu.
- Napíšte projekt na HPC Perun.
- Pripravte skript, ktorý zozbiera a pripravý trénovacie dáta, ktoré mame k dispozícii. Dáta rozdeľte na 3 časti. train, test, eval. Test a eval by mali byť tak, nastavené, aby vyhodnotenie na nich netrovalo príáliš dlho. Stačí iba jedna mnoižina ak sú dáta podobné.
- pripravte skript, ktorý vyhodnotí výsledný model. Na vyhodnotenie použite "eval" časť dát.
- napíšte poznámky do DP, kde opíšete metódy ktoré používate - Supervised Fine Tuning, modely ktoré používate, spôsob vyhodnotenie.
Úlohy na neskôr:
- zlepšite trénovacie dáta
- použite vyhodnotenie SK-bench.
- Použite iný multilinguálny model na dotrénovanie - napr. OLMO.
# Diplomový projekt 2026 # Diplomový projekt 2026