zpwiki/pages/students/2018/ondrej_megela/README.md

Ondrej Megela

Začiatok štúdia: 2018

Bakalársky projekt 2020

Názov: Neurónové jazykové modelovanie s pomocou nástroja Fairseq

Návrh na zadanie:

1. Vypracujte prehľad metód jazykového modelovania pomoocu neurónových sietí
2. Vytvorte jazykový model metódou BERT alebo poodobnou metódou.
3. Vyhodnnotte vytvorený jazykový model a navrhnite zlepšenia.

Zásobník úloh:

• Prejsť si tutoriál https://github.com/pytorch/fairseq/blob/master/examples/roberta/README.md alebo podobný.

Virtuálne stretnutie 2.10.2020

Úlohy do ďalšieho stretnutia:

• Naštudujte si a vyracujte poznámky s uvedením zdroja:
  • spracovanie prirodzeného jazyka
  • jazykové modelovanie
  • rekurentná neurónová sieť
  • architektúra enkóder dekóder alebo seq2seq
• Nainštalujte si prostredie Anaconda, pytorch a knižnicu fairseq

Na štúdium:

https://git.kemt.fei.tuke.sk/KEMT/zpwiki/src/branch/master/pages/topics

• python
• nlp
• seq2seq