---
title: Jakub Schwarc
published: true
taxonomy:
    category: [dp2027]
    tag: [nlp]
    author: Daniel Hladek
---


rok začiatku štúdia: 2022

# Diplomový projekt 2026


Téma:

Inštrukčné dotrénovanie jazykového modelu

Ciele na semester:

- Dotrénujte a vyhodnotte Slovak Mistral.

Stretnutie 10.6.2026

Stav:

- kódy sú na servri titan
- funguje dotrénovanie Slovak Mistral pomocou Slovak Alpaca na Titan, pomocou unsloth aj LlamaFactory. Používa sa qlora.
- po dotrénovaní to je ručne vyskúšané. Nevie odborné výrazy. Model rozumie jednoduchým inštrukciám. Model je ukecaný.

Úlohy:

- Vytvorte GIT repozitár a dajte tam kódy.
- Pre LLmamaFactory dávajte na GIT konfigurácie.
- Rozšírte trénovaciu sadu - o zdroje v https://github.com/slovak-nlp/resources Zatiaľ najlepšie vyzerá byť CohereLabs/aya_collection_language_split
- Model zverejnite na HuggingFace hube.
- Napíšte si poznámky o aktuálnych metódach PEFT a SFT. Preštudujte si vedecké články z Google Scholar.
- Vyhodnotte model pomocu lm-evaluation-harness. Pozrite si výsledky https://wandb.ai/hladek/lmeval?nw=nwuserhladek

Príkaz na vyhodnotenie je 
```
/home/dh343ko/miniconda3/envs/transformers/bin/lm-eval --model hf --model_args pretrained=google/mt5-large --tasks arc_sk,hellaswag_sk,m_mmlu_sk,truthfulqa_sk_mc1,truthfulqa_sk_mc2,sklegal,skquad --output_path zzz --wandb_args project=lmeval_mt5-large --device cuda:0 --batch_size 8
```
 

Zásobník úloh:

- Možno bude potrebné použiť lepší HW.  
- Zlepšite proces vyhodnotenia. Dá sa použiť  sk bech ktorý je v príprave. 
- Zistite, čo je to zarovnanie jazykových modelov. Pozrite si framework huggingface trl. Zistite, čo je to meóda DPO a RLHF.  Ku tomu existuje  DP práca Hyrenko.
- Strojovo preložte vybranú množinu.
- Vytvorte github repozitár so skriptami pre dotrénovanie jazykovéo modelu.



Stretnutie 27.2.

- Oboznámte sa problematikou podľa zadaných zdrojov.
- Pozrite si https://allenai.org/olmo

Úlohy:

- Oboznámte sa s problematikou veľkých jazykových modelov. Towards Data Science
- Naučte sa Python lepšie. Nainštalujte si prostredie Anaconda.
- Poučte sa o strojovom účení. Dive into deep learning.
- Vyskúšajte si framework HF Transformers.
- Oboznámte sa s repozitárom https://github.com/allenai/open-instruct, prečítajte si články
- Oboznámte sa s repozitárom https://github.com/nlp-uoregon/Okapi, prečítajte si články

Zásobník úloh:

- Pracujte na teoretickej časti: opíšte základné pojmy, metódy a dátové množiny. Používajte google scholar a bibliografické odkazy.
- Najprv pracujte s domácou GPU, ak nebude stačiť pracujte s Google Coolab, ak nebude stačiť požiadajte konzultanta.
- Naštudovať a vyskúšať PEFT-QLORA.
- Oboznámte sa s knižnicou "unsloth".
- Oboznámte sa s Huggingface TRL.
- Oboznámte sa s https://github.com/hiyouga/LLaMA-Factory