89 lines
2.9 KiB
Markdown
89 lines
2.9 KiB
Markdown
---
|
|
title: Jakub Schwarc
|
|
published: true
|
|
taxonomy:
|
|
category: [dp2027]
|
|
tag: [nlp]
|
|
author: Daniel Hladek
|
|
---
|
|
|
|
|
|
rok začiatku štúdia: 2022
|
|
|
|
# Diplomový projekt 2026
|
|
|
|
|
|
Téma:
|
|
|
|
Inštrukčné dotrénovanie jazykového modelu
|
|
|
|
Ciele na semester:
|
|
|
|
- Dotrénujte a vyhodnotte Slovak Mistral.
|
|
|
|
Stretnutie 10.6.2026
|
|
|
|
Stav:
|
|
|
|
- kódy sú na servri titan
|
|
- funguje dotrénovanie Slovak Mistral pomocou Slovak Alpaca na Titan, pomocou unsloth aj LlamaFactory. Používa sa qlora.
|
|
- po dotrénovaní to je ručne vyskúšané. Nevie odborné výrazy. Model rozumie jednoduchým inštrukciám. Model je ukecaný.
|
|
|
|
Úlohy:
|
|
|
|
- Vytvorte GIT repozitár a dajte tam kódy.
|
|
- Pre LLmamaFactory dávajte na GIT konfigurácie.
|
|
- Rozšírte trénovaciu sadu - o zdroje v https://github.com/slovak-nlp/resources Zatiaľ najlepšie vyzerá byť CohereLabs/aya_collection_language_split
|
|
- Model zverejnite na HuggingFace hube.
|
|
- Napíšte si poznámky o aktuálnych metódach PEFT a SFT. Preštudujte si vedecké články z Google Scholar.
|
|
- Vyhodnotte model pomocu lm-evaluation-harness. Pozrite si výsledky https://wandb.ai/hladek/lmeval?nw=nwuserhladek
|
|
|
|
Príkaz na vyhodnotenie je
|
|
```
|
|
/home/dh343ko/miniconda3/envs/transformers/bin/lm-eval --model hf --model_args pretrained=google/mt5-large --tasks arc_sk,hellaswag_sk,m_mmlu_sk,truthfulqa_sk_mc1,truthfulqa_sk_mc2,sklegal,skquad --output_path zzz --wandb_args project=lmeval_mt5-large --device cuda:0 --batch_size 8
|
|
```
|
|
|
|
|
|
Zásobník úloh:
|
|
|
|
- Možno bude potrebné použiť lepší HW.
|
|
- Zlepšite proces vyhodnotenia. Dá sa použiť sk bech ktorý je v príprave.
|
|
- Zistite, čo je to zarovnanie jazykových modelov. Pozrite si framework huggingface trl. Zistite, čo je to meóda DPO a RLHF. Ku tomu existuje DP práca Hyrenko.
|
|
- Strojovo preložte vybranú množinu.
|
|
- Vytvorte github repozitár so skriptami pre dotrénovanie jazykovéo modelu.
|
|
|
|
|
|
|
|
Stretnutie 27.2.
|
|
|
|
- Oboznámte sa problematikou podľa zadaných zdrojov.
|
|
- Pozrite si https://allenai.org/olmo
|
|
|
|
Úlohy:
|
|
|
|
- Oboznámte sa s problematikou veľkých jazykových modelov. Towards Data Science
|
|
- Naučte sa Python lepšie. Nainštalujte si prostredie Anaconda.
|
|
- Poučte sa o strojovom účení. Dive into deep learning.
|
|
- Vyskúšajte si framework HF Transformers.
|
|
- Oboznámte sa s repozitárom https://github.com/allenai/open-instruct, prečítajte si články
|
|
- Oboznámte sa s repozitárom https://github.com/nlp-uoregon/Okapi, prečítajte si články
|
|
|
|
Zásobník úloh:
|
|
|
|
- Pracujte na teoretickej časti: opíšte základné pojmy, metódy a dátové množiny. Používajte google scholar a bibliografické odkazy.
|
|
- Najprv pracujte s domácou GPU, ak nebude stačiť pracujte s Google Coolab, ak nebude stačiť požiadajte konzultanta.
|
|
- Naštudovať a vyskúšať PEFT-QLORA.
|
|
- Oboznámte sa s knižnicou "unsloth".
|
|
- Oboznámte sa s Huggingface TRL.
|
|
- Oboznámte sa s https://github.com/hiyouga/LLaMA-Factory
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|