From 2036b817d3c7b3a77fb9d60884d1be63d91ab642 Mon Sep 17 00:00:00 2001 From: dano Date: Fri, 7 Jun 2024 12:19:02 +0000 Subject: [PATCH] Update 'pages/students/2020/pavol_hudak/README.md' --- pages/students/2020/pavol_hudak/README.md | 8 +++++++- 1 file changed, 7 insertions(+), 1 deletion(-) diff --git a/pages/students/2020/pavol_hudak/README.md b/pages/students/2020/pavol_hudak/README.md index 926713b2..580cb9fd 100644 --- a/pages/students/2020/pavol_hudak/README.md +++ b/pages/students/2020/pavol_hudak/README.md @@ -32,6 +32,12 @@ Vybrať jednu z úloh: - Tvorba instruct datasetu - Anotácia alebo preklad množín - Dotrénovanie LLM na dostupnom hardvéri - LORA-PEFT +Stretnutie 7.6.2024 + +Stav: + +- Práca na dotrénovaní LLama3 a Phi2 cez kaggle, zatiaľ nefunguje. + Stretnutie 5.4. Stav: @@ -45,7 +51,7 @@ Stav: - Skúste dotrénovať veľký jazykový model metódou PEFT s množinou SlovakAlpaca. Vyberte vhodný model. - Vyskúšajte modely cez ollama. - Prihláste sa na quadro.kemt.fei.tuke.sk tam nainštalujte anaconda. Vedúci Vám musí urobiť prístup. -- Kandidáti sú UMT5, TinyLLama, LLama, Mistral, Phi alebo iné. +- Kandidáti sú UMT5, TinyLLama, LLama3, Mistral, mt0, Phi alebo iné. - Vyhodnote presnosť dotrénovania (BLEU - založené na porovnávaní ngramov výsledku a očakávania). - Robte si poznámky o tom ako funguje veľký jazykový model a metóda PEFT.