From 55ad30bdaf277be152eefa8086a562e8610006bd Mon Sep 17 00:00:00 2001 From: dano Date: Fri, 23 Feb 2024 14:46:22 +0000 Subject: [PATCH] Update 'pages/students/2020/pavol_hudak/README.md' --- pages/students/2020/pavol_hudak/README.md | 35 ++++++++++++++++++----- 1 file changed, 28 insertions(+), 7 deletions(-) diff --git a/pages/students/2020/pavol_hudak/README.md b/pages/students/2020/pavol_hudak/README.md index 398a7af8f5..1ff03336e3 100644 --- a/pages/students/2020/pavol_hudak/README.md +++ b/pages/students/2020/pavol_hudak/README.md @@ -13,20 +13,41 @@ rok začiatku štúdia: 2020 Ciel: -Vylepšiť slovenský veľký jazykový model. +Vylepšiť slovenský veľký jazykový model. Vylepšiť RAG - retrieval augmented generation pre slovenčinu. Vybrať jednu z úloh: - Tvorba instruct datasetu - Anotácia alebo preklad množín -- Dotrénvanie LLM na dostupnom hardvéri - LORA-PEFT +- Dotrénovanie LLM na dostupnom hardvéri - LORA-PEFT - Rozpoznávanie nenávistnej reči (pomocou LLM?, prompting, finetuning) +Stretnutie 23.2. + +Stav: + +- Rozbehané prostredie s Pytorch aj CUDA Anaconda na vlastnom PC. +- Vyskúšaný HF google/t5 ... na úlohu strojového prekladu + +Úlohy: + +- Pokračujte v štúdiu podľa otvorených úloh. +- Nainštalujte a vyskúšajte softvér PrivateGPT. +- Prihláste sa na systém IDOC a nainštalujte si tam systém Anaconda. + +Zásobník úloh: + +- Nainštalujte a vyskúšajte balíček LangChain. +- Zistite čo je to metóda PEFT - LORA. +- Skúste dotrénovať veľký jazykový model s množinou SlovakAlpaca. +- Skúste vylepšiť LLM pomocou inej množiny, strojovo preloženej. + Stretnutie 14.2. Úlohy: -- Oboznámiť sa s veľkými jazykovými modelmi LLM. Ako funguje ChatGPT? Čo je to LLAMA? Napíšte si poznámky. -- Nainštalujte si Anaconda. -- Pokračujte v štúdiu Python. Preštudujte si knihu Dive deep into deep learning. -- Nainštalujte si knižnicu Huggingface Transformers. Vyskúšajte LLM model LLAMA https://huggingface.co/meta-llama/Llama-2-70b -- Prejdite si tento tutoriál https://huggingface.co/blog/llama2 +- [ ] Oboznámiť sa s veľkými jazykovými modelmi LLM. Ako funguje ChatGPT? Čo je to LLAMA? Napíšte si poznámky. +- [x] Nainštalujte si Anaconda. +- [-] Pokračujte v štúdiu Python. Preštudujte si knihu Dive deep into deep learning. +- [x] Nainštalujte si knižnicu Huggingface Transformers. +- [ ] Vyskúšajte LLM model LLAMA https://huggingface.co/meta-llama/Llama-2-70b +- [ ] Prejdite si tento tutoriál https://huggingface.co/blog/llama2