From 8429bdb20b10c7d3dfacc15e78130a3ae6e9e8a5 Mon Sep 17 00:00:00 2001 From: Daniel Hladek Date: Fri, 3 Oct 2025 09:53:51 +0200 Subject: [PATCH] zz --- pages/students/2023/denis_le_thanh/README.md | 20 ++++++++++++++++++++ 1 file changed, 20 insertions(+) diff --git a/pages/students/2023/denis_le_thanh/README.md b/pages/students/2023/denis_le_thanh/README.md index ceb7f92b..224e8555 100644 --- a/pages/students/2023/denis_le_thanh/README.md +++ b/pages/students/2023/denis_le_thanh/README.md @@ -28,6 +28,26 @@ Ciele: - Skúsiť dotrénovať slovenský generatívny model (slovak-mistral-7b) pre inštrukcie. +Stretnutie 3.10.2025 + +Stav: + +- Naštudované LLM, transformers, anaconda, Okapi, open instruct, ollama. + +Úlohy: + +- Naštudovať a vyskúšať PEFT-QLORA. +- Vyskúšajte si skript pre dotrénovanie Slovak Mistral.(poslal som cez Teams) +- Oboznámte sa s Huggingface TRL. +- Oboznámte sa s knižnicou "unsloth". +- Oboznámte sa s https://github.com/hiyouga/LLaMA-Factory +- Pracujte na teoretickej časti: opíšte základné pojmy, metódy a dátové množiny. Používajte google scholar a bibliografické odkazy. +- Najprv pracujte s domácou GPU, ak nebude stačiť pracujte s Google Coolab, ak nebude stačiť požiadajte konzultanta. + +Zásobník úloh: + +- Dotrénujte a vyhodnotte Slovak Mistral. + Stretnutie 26.2. Úlohy: