zpwiki/pages/students/2018/ondrej_megela/README.md

title	published	taxonomy
Ondrej Megela	true	category tag author bp2021 nlp fairseq lm Daniel Hladek

Ondrej Megela

Začiatok štúdia: 2018

Bakalársky projekt 2020

Názov: Neurónové jazykové modelovanie s pomocou nástroja Fairseq

Návrh na zadanie:

1. Vypracujte prehľad metód jazykového modelovania pomoocu neurónových sietí
2. Vytvorte jazykový model metódou BERT alebo poodobnou metódou.
3. Vyhodnnotte vytvorený jazykový model a navrhnite zlepšenia.

Zásobník úloh:

• Prejsť si tutoriál https://github.com/pytorch/fairseq/blob/master/examples/roberta/README.md alebo podobný.

Virtuálne stretnutie 16.10.2020

Stav:

• Vypracované poznámky k uvedeným bodom.
• Problém s inštaláciou Anaconda.

Do ďalieho stretnutia:

• nainštalujte pytorch a knižnicu fairseq
• prejtide si tutoriál https://fairseq.readthedocs.io/en/latest/getting_started.html#training-a-new-model
• Napíšte ďalšie poznámky ku architektúre encoder-decoder, nájdite najdôležitejšie články a čo hovoria.

Virtuálne stretnutie 2.10.2020

Vytvorený prístup ssh megela@idoc.fei.tuke.sk

Úlohy do ďalšieho stretnutia:

• Naštudujte si a vyracujte poznámky s uvedením zdroja:
  • spracovanie prirodzeného jazyka
  • jazykové modelovanie
  • rekurentná neurónová sieť
  • architektúra enkóder dekóder alebo seq2seq
• Nainštalujte si prostredie Anaconda, pytorch a knižnicu fairseq

Na štúdium:

https://git.kemt.fei.tuke.sk/KEMT/zpwiki/src/branch/master/pages/topics

• python
• nlp
• seq2seq