forked from KEMT/zpwiki
Update 'pages/students/2020/pavol_hudak/README.md'
This commit is contained in:
parent
624de1cc22
commit
55ad30bdaf
@ -13,20 +13,41 @@ rok začiatku štúdia: 2020
|
|||||||
|
|
||||||
Ciel:
|
Ciel:
|
||||||
|
|
||||||
Vylepšiť slovenský veľký jazykový model.
|
Vylepšiť slovenský veľký jazykový model. Vylepšiť RAG - retrieval augmented generation pre slovenčinu.
|
||||||
|
|
||||||
Vybrať jednu z úloh:
|
Vybrať jednu z úloh:
|
||||||
|
|
||||||
- Tvorba instruct datasetu - Anotácia alebo preklad množín
|
- Tvorba instruct datasetu - Anotácia alebo preklad množín
|
||||||
- Dotrénvanie LLM na dostupnom hardvéri - LORA-PEFT
|
- Dotrénovanie LLM na dostupnom hardvéri - LORA-PEFT
|
||||||
- Rozpoznávanie nenávistnej reči (pomocou LLM?, prompting, finetuning)
|
- Rozpoznávanie nenávistnej reči (pomocou LLM?, prompting, finetuning)
|
||||||
|
|
||||||
|
Stretnutie 23.2.
|
||||||
|
|
||||||
|
Stav:
|
||||||
|
|
||||||
|
- Rozbehané prostredie s Pytorch aj CUDA Anaconda na vlastnom PC.
|
||||||
|
- Vyskúšaný HF google/t5 ... na úlohu strojového prekladu
|
||||||
|
|
||||||
|
Úlohy:
|
||||||
|
|
||||||
|
- Pokračujte v štúdiu podľa otvorených úloh.
|
||||||
|
- Nainštalujte a vyskúšajte softvér PrivateGPT.
|
||||||
|
- Prihláste sa na systém IDOC a nainštalujte si tam systém Anaconda.
|
||||||
|
|
||||||
|
Zásobník úloh:
|
||||||
|
|
||||||
|
- Nainštalujte a vyskúšajte balíček LangChain.
|
||||||
|
- Zistite čo je to metóda PEFT - LORA.
|
||||||
|
- Skúste dotrénovať veľký jazykový model s množinou SlovakAlpaca.
|
||||||
|
- Skúste vylepšiť LLM pomocou inej množiny, strojovo preloženej.
|
||||||
|
|
||||||
Stretnutie 14.2.
|
Stretnutie 14.2.
|
||||||
|
|
||||||
Úlohy:
|
Úlohy:
|
||||||
|
|
||||||
- Oboznámiť sa s veľkými jazykovými modelmi LLM. Ako funguje ChatGPT? Čo je to LLAMA? Napíšte si poznámky.
|
- [ ] Oboznámiť sa s veľkými jazykovými modelmi LLM. Ako funguje ChatGPT? Čo je to LLAMA? Napíšte si poznámky.
|
||||||
- Nainštalujte si Anaconda.
|
- [x] Nainštalujte si Anaconda.
|
||||||
- Pokračujte v štúdiu Python. Preštudujte si knihu Dive deep into deep learning.
|
- [-] Pokračujte v štúdiu Python. Preštudujte si knihu Dive deep into deep learning.
|
||||||
- Nainštalujte si knižnicu Huggingface Transformers. Vyskúšajte LLM model LLAMA https://huggingface.co/meta-llama/Llama-2-70b
|
- [x] Nainštalujte si knižnicu Huggingface Transformers.
|
||||||
- Prejdite si tento tutoriál https://huggingface.co/blog/llama2
|
- [ ] Vyskúšajte LLM model LLAMA https://huggingface.co/meta-llama/Llama-2-70b
|
||||||
|
- [ ] Prejdite si tento tutoriál https://huggingface.co/blog/llama2
|
||||||
|
Loading…
Reference in New Issue
Block a user