do867bc/zpwiki
1
0
Fork 0
forked from KEMT/zpwiki
Code Issues Pull Requests Projects Releases Wiki Activity

Update 'pages/students/2020/pavol_hudak/README.md'

Browse Source
This commit is contained in:
dano 2024-02-23 14:46:22 +00:00
parent 624de1cc22
commit 55ad30bdaf
1 changed files with 28 additions and 7 deletions
Show Stats Download Patch File Download Diff File Expand all files Collapse all files

35
pages/students/2020/pavol_hudak/README.md
View File

@ -13,20 +13,41 @@ rok začiatku štúdia: 2020
Ciel: Ciel:
Vylepšiť slovenský veľký jazykový model. Vylepšiť slovenský veľký jazykový model. Vylepšiť RAG - retrieval augmented generation pre slovenčinu.
Vybrať jednu z úloh: Vybrať jednu z úloh:
- Tvorba instruct datasetu - Anotácia alebo preklad množín - Tvorba instruct datasetu - Anotácia alebo preklad množín
- Dotrénvanie LLM na dostupnom hardvéri - LORA-PEFT - Dotrénovanie LLM na dostupnom hardvéri - LORA-PEFT
- Rozpoznávanie nenávistnej reči (pomocou LLM?, prompting, finetuning) - Rozpoznávanie nenávistnej reči (pomocou LLM?, prompting, finetuning)
Stretnutie 23.2.
Stav:
- Rozbehané prostredie s Pytorch aj CUDA Anaconda na vlastnom PC.
- Vyskúšaný HF google/t5 ... na úlohu strojového prekladu
Úlohy:
- Pokračujte v štúdiu podľa otvorených úloh.
- Nainštalujte a vyskúšajte softvér PrivateGPT.
- Prihláste sa na systém IDOC a nainštalujte si tam systém Anaconda.
Zásobník úloh:
- Nainštalujte a vyskúšajte balíček LangChain.
- Zistite čo je to metóda PEFT - LORA.
- Skúste dotrénovať veľký jazykový model s množinou SlovakAlpaca.
- Skúste vylepšiť LLM pomocou inej množiny, strojovo preloženej.
Stretnutie 14.2. Stretnutie 14.2.
Úlohy: Úlohy:
- Oboznámiť sa s veľkými jazykovými modelmi LLM. Ako funguje ChatGPT? Čo je to LLAMA? Napíšte si poznámky. - [ ] Oboznámiť sa s veľkými jazykovými modelmi LLM. Ako funguje ChatGPT? Čo je to LLAMA? Napíšte si poznámky.
- Nainštalujte si Anaconda. - [x] Nainštalujte si Anaconda.
- Pokračujte v štúdiu Python. Preštudujte si knihu Dive deep into deep learning. - [-] Pokračujte v štúdiu Python. Preštudujte si knihu Dive deep into deep learning.
- Nainštalujte si knižnicu Huggingface Transformers. Vyskúšajte LLM model LLAMA https://huggingface.co/meta-llama/Llama-2-70b - [x] Nainštalujte si knižnicu Huggingface Transformers.
- Prejdite si tento tutoriál https://huggingface.co/blog/llama2 - [ ] Vyskúšajte LLM model LLAMA https://huggingface.co/meta-llama/Llama-2-70b
- [ ] Prejdite si tento tutoriál https://huggingface.co/blog/llama2