dmytro_ushatenko/pages/students/2018/ondrej_megela

title	published	taxonomy
Ondrej Megela	true	category tag author bp2021 nlp fairseq lm Daniel Hladek

Ondrej Megela

Začiatok štúdia: 2018

Bakalársky projekt 2020

Názov: Neurónové jazykové modelovanie s pomocou nástroja Fairseq

Návrh na zadanie:

1. Vypracujte prehľad metód jazykového modelovania pomoocu neurónových sietí
2. Vytvorte jazykový model metódou BERT alebo podobnou metódou.
3. Vyhodnotte vytvorený jazykový model a navrhnite zlepšenia.

Zásobník úloh:

• Cieľom je vedieť natrénovať BERT model a vyhodnotiť ho na zvolenej testovacej množine.

Virtuálne stretnutie 4.12.2020

Stav:

• Preštudovaný tutoriál https://github.com/pytorch/fairseq/blob/master/examples/roberta/README.pretraining.md
• Vyriešený problém s Pytorch.
• Inštalácia Fairseq Conda aj Pytorch.
• Chyba optimizéra Fairseq a jej riešenie.
• Vypracované poznámky o trénovaní a vyhodnocovaní BERT.

Virtuálne stretnutie 20.11.2020

Stav:

• Urobené tutoriály ale iba na CPU.

Do ďalšieho stretnutia:

• Prejsť si tutoriál https://github.com/pytorch/fairseq/blob/master/examples/roberta/README.pretraining.md .
• Pracovať na písomnej časti - zamerať sa na vyhodnotenie BERT modelu. Na aké modelové úlohy sa používa?
• Napíšte poznámky, kde všade sa vyskytol technický problém a aké bolo riešenie. Dôležité sú verzie a podmienky pri ktorých sa problém vyskytol.
• Spíšte ako nainštalovať knižnice tak aby to fungovalo (s CPU aj s GPU).
• Vytvorte si na GITe repozitár bp2021, do neho dajte poznámky a kódy ktoré ste vyskúšali.

Virtuálne stretnutie 13.11.2020

Stav:

• Vypracované poznámky aj k transformer a BERT
• Vyskúšaná release verzia Fairseq. Stále trvá technický problém s tutoriálom.
• Vyskúšaný BERT tutoriáli. Chyba "illegal instruction" pri extrahovaní príznakov "extract features from ROBERTA". https://discuss.pytorch.org/t/illegal-instruction-core-dumped-in-first-pytorch-tutorial/62059/3 pravdepodobne problém s inštrukčnou sadou CPU.
• \vytvorený prístup na tesla pre vyriešenie.

Do ďalšieho stretnutia:

• pokračovať v otvorených úlohách.

Virtuálne stretnutie 30.10.2020

Stav:

• Vypracované poznámky k seq2seq
• nainštalovaný Pytorch a fairseq
• problémy s tutoriálom. Riešenie by mohlo byť použitie release verzie 0.9.0, pip install fairseq=0.9.0

Do ďalšieho stretnutia:

• Vyriešte technické porblémy
• prejdide si tutoriál https://fairseq.readthedocs.io/en/latest/getting_started.html#training-a-new-model
• Prejsť si tutoriál https://github.com/pytorch/fairseq/blob/master/examples/roberta/README.md alebo podobný.
• Preštudujte si články na tému BERT, urobte si poznámky čo ste sa dozvedeli spolu so zdrojom.

Virtuálne stretnutie 16.10.2020

Stav:

• Vypracované poznámky k uvedeným bodom.
• Problém s inštaláciou Anaconda.

Do ďalieho stretnutia:

• nainštalujte pytorch a knižnicu fairseq
• prejtide si tutoriál https://fairseq.readthedocs.io/en/latest/getting_started.html#training-a-new-model
• Napíšte ďalšie poznámky ku architektúre encoder-decoder, nájdite najdôležitejšie články a čo hovoria.

Virtuálne stretnutie 2.10.2020

Vytvorený prístup ssh megela@idoc.fei.tuke.sk

Úlohy do ďalšieho stretnutia:

• Naštudujte si a vyracujte poznámky s uvedením zdroja:
  • spracovanie prirodzeného jazyka
  • jazykové modelovanie
  • rekurentná neurónová sieť
  • architektúra enkóder dekóder alebo seq2seq
• Nainštalujte si prostredie Anaconda, pytorch a knižnicu fairseq

Na štúdium:

https://git.kemt.fei.tuke.sk/KEMT/zpwiki/src/branch/master/pages/topics

• python
• nlp
• seq2seq