zpwiki/pages/students/2021/eduard_matovka

title	published	taxonomy
Eduard Matovka	true	category tag author bp2024 dialog nlp Daniel Hladek

rok začiatku štúdia: 2021

Bakalárska práca 2024

Spolupráca Vladimír Ferko

Nadväzuje Martin Jancura

Názov: Slovenská konverzačná umelá inteligencia

Predbežný cieľ:

Natrénovať jazykový model pre jednoduchú slovenskú konverzáciu.

Predbežné úlohy:

• Oboznámte sa s existujúcimi modelmi pre generovanie slovenkého jazyka.
• Pripravte korpus diskusií v slovenskom jazyku. Vyberte vhodný zdroj diskusí a pripravte ho do podoby vhodnej na trénovanie neurónových sietí. Napr. modrý koník, modrá strecha, íné diskusie.
• Natrénujte neurónovú sieť pre odpovedanie v diskusiách.
• Vytvorte webové demo.

Stretnutie 1.8.2023

Stav:

• Oboznámenie sa s jazykom Python

Úlohy:

• Pokračujte v štúdiu jazyka Python. Pozrite si nástroje zo stránky Python. Pozrite si zdroje zo stránky NLP .
• Nainštalujte si prostredie Anaconda a knižnicu Huggingface transformers.
• Prečítajte si knihu https://d2l.ai/
• Zistite ako funguje neurónová sieť typu Transformer. https://jalammar.github.io/illustrated-transformer/
• Zistite, čo je to generatívny jazykový model. Napíšte na 3 strany čo ste sa dozvedeli o generatívnych jazykových modeloch. Použite aj článok https://arxiv.org/abs/1910.13461
• Napíšte jednoduchý skript na strojový preklad pomocou knižnice HF transformers.
• Oboznámte sa s https://github.com/karpathy/minGPT

Zásobník úloh:

• Zoberte korpus slovenských alebo iných diskusí a natrénujte neurónový model aby podľa neho odpovedal na zadané odázky.
• Zistite, ako sa vyhodnucujú generatívne modely pre úlohu konverzácie.