forked from KEMT/zpwiki
1.8 KiB
1.8 KiB
| title | published | taxonomy | |||||||||
|---|---|---|---|---|---|---|---|---|---|---|---|
| Eduard Matovka | true |
|
rok začiatku štúdia: 2021
Bakalárska práca 2024
Spolupráca Vladimír Ferko
Nadväzuje Martin Jancura
Názov: Slovenská konverzačná umelá inteligencia
Predbežný cieľ:
Natrénovať jazykový model pre jednoduchú slovenskú konverzáciu.
Predbežné úlohy:
- Oboznámte sa s existujúcimi modelmi pre generovanie slovenkého jazyka.
- Pripravte korpus diskusií v slovenskom jazyku. Vyberte vhodný zdroj diskusí a pripravte ho do podoby vhodnej na trénovanie neurónových sietí. Napr. modrý koník, modrá strecha, íné diskusie.
- Natrénujte neurónovú sieť pre odpovedanie v diskusiách.
- Vytvorte webové demo.
Stretnutie 1.8.2023
Stav:
- Oboznámenie sa s jazykom Python
Úlohy:
- Pokračujte v štúdiu jazyka Python. Pozrite si nástroje zo stránky Python. Pozrite si zdroje zo stránky NLP .
- Nainštalujte si prostredie Anaconda a knižnicu Huggingface transformers.
- Prečítajte si knihu https://d2l.ai/
- Zistite ako funguje neurónová sieť typu Transformer. https://jalammar.github.io/illustrated-transformer/
- Zistite, čo je to generatívny jazykový model. Napíšte na 3 strany čo ste sa dozvedeli o generatívnych jazykových modeloch. Použite aj článok https://arxiv.org/abs/1910.13461
- Napíšte jednoduchý skript na strojový preklad pomocou knižnice HF transformers.
- Oboznámte sa s https://github.com/karpathy/minGPT
Zásobník úloh:
- Zoberte korpus slovenských alebo iných diskusí a natrénujte neurónový model aby podľa neho odpovedal na zadané odázky.
- Zistite, ako sa vyhodnucujú generatívne modely pre úlohu konverzácie.