diff --git a/pages/students/2022/jakub_schwarc/README.md b/pages/students/2022/jakub_schwarc/README.md index 3dc85fcd..0623e53b 100644 --- a/pages/students/2022/jakub_schwarc/README.md +++ b/pages/students/2022/jakub_schwarc/README.md @@ -19,10 +19,25 @@ Stav: - vytvorený repozitár s konfiguráciami - vyskúšaná AYA collection dataset - zbehlo 86 percent datasetu. Kolísala evaluácia. - vyskúšaná lm-eval a Alpaca. +- Momentálne máme k dispozicii SlovakAlpaca a slovenskú časť AYA colections. - porovnanie AYA a Alpaca dotrénovania. Alpaca vyzerá lepšie. - prípravených 10 experimentov s eval a loss priebehom. - výsledky sú na https://git.kemt.fei.tuke.sk/js886io/Diplomovka +Úlohy: + +- Navrhnite scenár pre dotrénovanie jazykového modelu. Ake LORA spôsoby? Ako nastaviť lm factory? +- Pripravte experiment na optimalizáciu hyperparametrov. Najdôležitejší je LR. Na ostetné sa môžete spýtať AI. Tú istú kofiguráciu spúštate s roznym LR v "menšom" experimente a sledujete evall loss. Sledujte aj gradient pre identifikáciu "explosion". Porovnanie má zmysel iba v rámci tohot experimentu. +- Napíšte projekt na HPC Perun. +- Pripravte skript, ktorý zozbiera a pripravý trénovacie dáta, ktoré mame k dispozícii. Dáta rozdeľte na 3 časti. train, test, eval. Test a eval by mali byť tak, nastavené, aby vyhodnotenie na nich netrovalo príáliš dlho. Stačí iba jedna mnoižina ak sú dáta podobné. +- pripravte skript, ktorý vyhodnotí výsledný model. Na vyhodnotenie použite "eval" časť dát. +- napíšte poznámky do DP, kde opíšete metódy ktoré používate - Supervised Fine Tuning, modely ktoré používate, spôsob vyhodnotenie. + +Úlohy na neskôr: + +- zlepšite trénovacie dáta +- použite vyhodnotenie SK-bench. +- Použite iný multilinguálny model na dotrénovanie - napr. OLMO. # Diplomový projekt 2026