diff --git a/pages/students/2022/jakub_schwarc/README.md b/pages/students/2022/jakub_schwarc/README.md index 45174c47..4eb0206b 100644 --- a/pages/students/2022/jakub_schwarc/README.md +++ b/pages/students/2022/jakub_schwarc/README.md @@ -21,6 +21,11 @@ Ciele na semester: - Dotrénujte a vyhodnotte Slovak Mistral. +Stretnutie 27.2. + +- Obozn8mte sa problematikou podľa zadaných zdrojov. +- Pozrite si https://allenai.org/olmo + Úlohy: - Oboznámte sa s problematikou veľkých jazykových modelov. Towards Data Science @@ -35,8 +40,8 @@ Zásobník úloh: - Pracujte na teoretickej časti: opíšte základné pojmy, metódy a dátové množiny. Používajte google scholar a bibliografické odkazy. - Najprv pracujte s domácou GPU, ak nebude stačiť pracujte s Google Coolab, ak nebude stačiť požiadajte konzultanta. - Naštudovať a vyskúšať PEFT-QLORA. -- Oboznámte sa s Huggingface TRL. - Oboznámte sa s knižnicou "unsloth". +- Oboznámte sa s Huggingface TRL. - Oboznámte sa s https://github.com/hiyouga/LLaMA-Factory