119 lines
4.5 KiB
Markdown
119 lines
4.5 KiB
Markdown
---
|
|
title: Jakub Schwarc
|
|
published: true
|
|
taxonomy:
|
|
category: [dp2027]
|
|
tag: [nlp]
|
|
author: Daniel Hladek
|
|
---
|
|
|
|
|
|
rok začiatku štúdia: 2022
|
|
|
|
# Diplomová práca 2027
|
|
|
|
Stretnutie 1.10.ľ2026
|
|
|
|
Stav:
|
|
|
|
- vytvorený repozitár s konfiguráciami
|
|
- vyskúšaná AYA collection dataset - zbehlo 86 percent datasetu. Kolísala evaluácia.
|
|
- vyskúšaná lm-eval a Alpaca.
|
|
- Momentálne máme k dispozicii SlovakAlpaca a slovenskú časť AYA colections.
|
|
- porovnanie AYA a Alpaca dotrénovania. Alpaca vyzerá lepšie.
|
|
- prípravených 10 experimentov s eval a loss priebehom.
|
|
- výsledky sú na https://git.kemt.fei.tuke.sk/js886io/Diplomovka
|
|
|
|
Úlohy:
|
|
|
|
- Navrhnite scenár pre dotrénovanie jazykového modelu. Ake LORA spôsoby? Ako nastaviť lm factory?
|
|
- Pripravte experiment na optimalizáciu hyperparametrov. Najdôležitejší je LR. Na ostetné sa môžete spýtať AI. Tú istú kofiguráciu spúštate s roznym LR v "menšom" experimente a sledujete evall loss. Sledujte aj gradient pre identifikáciu "explosion". Porovnanie má zmysel iba v rámci tohot experimentu.
|
|
- Napíšte projekt na HPC Perun.
|
|
- Pripravte skript, ktorý zozbiera a pripravý trénovacie dáta, ktoré mame k dispozícii. Dáta rozdeľte na 3 časti. train, test, eval. Test a eval by mali byť tak, nastavené, aby vyhodnotenie na nich netrovalo príáliš dlho. Stačí iba jedna mnoižina ak sú dáta podobné.
|
|
- pripravte skript, ktorý vyhodnotí výsledný model. Na vyhodnotenie použite "eval" časť dát.
|
|
- napíšte poznámky do DP, kde opíšete metódy ktoré používate - Supervised Fine Tuning, modely ktoré používate, spôsob vyhodnotenie.
|
|
|
|
Úlohy na neskôr:
|
|
|
|
- zlepšite trénovacie dáta
|
|
- použite vyhodnotenie SK-bench.
|
|
- Použite iný multilinguálny model na dotrénovanie - napr. OLMO.
|
|
|
|
|
|
# Diplomový projekt 2026
|
|
|
|
|
|
Téma:
|
|
|
|
Inštrukčné dotrénovanie jazykového modelu
|
|
|
|
Ciele na semester:
|
|
|
|
- Dotrénujte a vyhodnotte Slovak Mistral.
|
|
|
|
Stretnutie 10.6.2026
|
|
|
|
Stav:
|
|
|
|
- kódy sú na servri titan
|
|
- funguje dotrénovanie Slovak Mistral pomocou Slovak Alpaca na Titan, pomocou unsloth aj LlamaFactory. Používa sa qlora.
|
|
- po dotrénovaní to je ručne vyskúšané. Nevie odborné výrazy. Model rozumie jednoduchým inštrukciám. Model je ukecaný.
|
|
|
|
Úlohy:
|
|
|
|
- Vytvorte GIT repozitár a dajte tam kódy.
|
|
- Pre LLmamaFactory dávajte na GIT konfigurácie.
|
|
- Rozšírte trénovaciu sadu - o zdroje v https://github.com/slovak-nlp/resources Zatiaľ najlepšie vyzerá byť CohereLabs/aya_collection_language_split
|
|
- Model zverejnite na HuggingFace hube.
|
|
- Napíšte si poznámky o aktuálnych metódach PEFT a SFT. Preštudujte si vedecké články z Google Scholar.
|
|
- Vyhodnotte model pomocu lm-evaluation-harness. Pozrite si výsledky https://wandb.ai/hladek/lmeval?nw=nwuserhladek
|
|
|
|
Príkaz na vyhodnotenie je
|
|
```
|
|
/home/dh343ko/miniconda3/envs/transformers/bin/lm-eval --model hf --model_args pretrained=google/mt5-large --tasks arc_sk,hellaswag_sk,m_mmlu_sk,truthfulqa_sk_mc1,truthfulqa_sk_mc2,sklegal,skquad --output_path zzz --wandb_args project=lmeval_mt5-large --device cuda:0 --batch_size 8
|
|
```
|
|
|
|
|
|
Zásobník úloh:
|
|
|
|
- Možno bude potrebné použiť lepší HW.
|
|
- Zlepšite proces vyhodnotenia. Dá sa použiť sk bech ktorý je v príprave.
|
|
- Zistite, čo je to zarovnanie jazykových modelov. Pozrite si framework huggingface trl. Zistite, čo je to meóda DPO a RLHF. Ku tomu existuje DP práca Hyrenko.
|
|
- Strojovo preložte vybranú množinu.
|
|
- Vytvorte github repozitár so skriptami pre dotrénovanie jazykovéo modelu.
|
|
|
|
|
|
|
|
Stretnutie 27.2.
|
|
|
|
- Oboznámte sa problematikou podľa zadaných zdrojov.
|
|
- Pozrite si https://allenai.org/olmo
|
|
|
|
Úlohy:
|
|
|
|
- Oboznámte sa s problematikou veľkých jazykových modelov. Towards Data Science
|
|
- Naučte sa Python lepšie. Nainštalujte si prostredie Anaconda.
|
|
- Poučte sa o strojovom účení. Dive into deep learning.
|
|
- Vyskúšajte si framework HF Transformers.
|
|
- Oboznámte sa s repozitárom https://github.com/allenai/open-instruct, prečítajte si články
|
|
- Oboznámte sa s repozitárom https://github.com/nlp-uoregon/Okapi, prečítajte si články
|
|
|
|
Zásobník úloh:
|
|
|
|
- Pracujte na teoretickej časti: opíšte základné pojmy, metódy a dátové množiny. Používajte google scholar a bibliografické odkazy.
|
|
- Najprv pracujte s domácou GPU, ak nebude stačiť pracujte s Google Coolab, ak nebude stačiť požiadajte konzultanta.
|
|
- Naštudovať a vyskúšať PEFT-QLORA.
|
|
- Oboznámte sa s knižnicou "unsloth".
|
|
- Oboznámte sa s Huggingface TRL.
|
|
- Oboznámte sa s https://github.com/hiyouga/LLaMA-Factory
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|