diff --git a/pages/students/2020/pavol_hudak/README.md b/pages/students/2020/pavol_hudak/README.md index 926713b2..580cb9fd 100644 --- a/pages/students/2020/pavol_hudak/README.md +++ b/pages/students/2020/pavol_hudak/README.md @@ -32,6 +32,12 @@ Vybrať jednu z úloh: - Tvorba instruct datasetu - Anotácia alebo preklad množín - Dotrénovanie LLM na dostupnom hardvéri - LORA-PEFT +Stretnutie 7.6.2024 + +Stav: + +- Práca na dotrénovaní LLama3 a Phi2 cez kaggle, zatiaľ nefunguje. + Stretnutie 5.4. Stav: @@ -45,7 +51,7 @@ Stav: - Skúste dotrénovať veľký jazykový model metódou PEFT s množinou SlovakAlpaca. Vyberte vhodný model. - Vyskúšajte modely cez ollama. - Prihláste sa na quadro.kemt.fei.tuke.sk tam nainštalujte anaconda. Vedúci Vám musí urobiť prístup. -- Kandidáti sú UMT5, TinyLLama, LLama, Mistral, Phi alebo iné. +- Kandidáti sú UMT5, TinyLLama, LLama3, Mistral, mt0, Phi alebo iné. - Vyhodnote presnosť dotrénovania (BLEU - založené na porovnávaní ngramov výsledku a očakávania). - Robte si poznámky o tom ako funguje veľký jazykový model a metóda PEFT.