zpwiki/pages/students/2018/ondrej_megela/README.md

title	published	taxonomy
Ondrej Megela	true	category tag author bp2021 nlp fairseq lm bert question-answer qa Daniel Hladek

Ondrej Megela

Začiatok štúdia: 2018

Súvisiace stránky:

• Oleh Bilykh - question answering
• Lukáš Pokrývka - paralelné trénovanie
• Question Answering - interný projekt
• Matej Čarňanský (BERT)

Bakalársky projekt 2020

Názov: Neurónové jazykové modelovanie typu BERT.

Návrh na zadanie:

1. Vypracujte prehľad metód jazykového modelovania pomocou neurónových sietí.
2. Vypracujte prehľad aplikácií modelu typu BERT a spôsoby ich vyhodnotenia.
3. Natrénujte jazykový model metódou BERT alebo podobnou.
4. Vyhodnoťte jazykový model a navrhnite zlepšenia presnosti.

Zásobník úloh:

• Cieľom je vedieť natrénovať BERT model a vyhodnotiť ho na zvolenej testovacej množine.

Virtuálne stretnutie 18.12.2020

Stav:

• Natrénovaný model ROBERTA na malej množine Wiki103 podľa tutoriálu. Trénovanie trvalo jeden týždeň.
• Spísané poznámky ku množine SQUAD.
• Vytvorený prístup na server quadra.kemt.fei.tuke.sk

Úlohy:

• Pokračovať v písaní
• Prejsť si tutoriál https://github.com/pytorch/fairseq/blob/master/examples/roberta/commonsense_qa/README.md - cieľom je vedieť vyhodnotiť BERT model.
• Pri trénovaní si overte, či sú využité všetky 4 karty.
• Pozrite si DP Lukáš Pokrývka
• Ak pôjde trénovanie v poriadku, skúste vykonať viac experimentov s rôznymi parametrami, zapíšte si postup experimetu (príkazový riadok) a výsledok.

Virtuálne stretnutie 4.12.2020

Stav:

• Preštudovaný tutoriál https://github.com/pytorch/fairseq/blob/master/examples/roberta/README.pretraining.md
• Vyriešený problém s Pytorch.
• Inštalácia Fairseq Conda aj Pytorch.
• Chyba optimizéra Fairseq a jej riešenie.
• Vypracované poznámky o trénovaní a vyhodnocovaní BERT.

Úlohy:

• Pokračujte v práci na písomnej časti. Skúste prepísať odrážky do plynulého textu.
• Pridajte poznámky o vyhodnotení pomocou SQUAD.
• Pokračujte v trénovaní Roberta na dátovej sade Wiki-103 na systéme Tesla, odhadovaný čas trénovania 64 hod.
• Zistite ako sa dá vyhodnotiť natrénovaný model Roberta.
• Zvážiť možnosť trénovania na systéme Titan a Quadra (pre vedúceho).

Virtuálne stretnutie 20.11.2020

Stav:

• Urobené tutoriály ale iba na CPU.

Do ďalšieho stretnutia:

• Prejsť si tutoriál https://github.com/pytorch/fairseq/blob/master/examples/roberta/README.pretraining.md .
• Pracovať na písomnej časti - zamerať sa na vyhodnotenie BERT modelu. Na aké modelové úlohy sa používa?
• Napíšte poznámky, kde všade sa vyskytol technický problém a aké bolo riešenie. Dôležité sú verzie a podmienky pri ktorých sa problém vyskytol.
• Spíšte ako nainštalovať knižnice tak aby to fungovalo (s CPU aj s GPU).
• Vytvorte si na GITe repozitár bp2021, do neho dajte poznámky a kódy ktoré ste vyskúšali.

Virtuálne stretnutie 13.11.2020

Stav:

• Vypracované poznámky aj k transformer a BERT
• Vyskúšaná release verzia Fairseq. Stále trvá technický problém s tutoriálom.
• Vyskúšaný BERT tutoriáli. Chyba "illegal instruction" pri extrahovaní príznakov "extract features from ROBERTA". https://discuss.pytorch.org/t/illegal-instruction-core-dumped-in-first-pytorch-tutorial/62059/3 pravdepodobne problém s inštrukčnou sadou CPU.
• \vytvorený prístup na tesla pre vyriešenie.

Do ďalšieho stretnutia:

• pokračovať v otvorených úlohách.

Virtuálne stretnutie 30.10.2020

Stav:

• Vypracované poznámky k seq2seq
• nainštalovaný Pytorch a fairseq
• problémy s tutoriálom. Riešenie by mohlo byť použitie release verzie 0.9.0, pip install fairseq=0.9.0

Do ďalšieho stretnutia:

• Vyriešte technické porblémy
• prejdide si tutoriál https://fairseq.readthedocs.io/en/latest/getting_started.html#training-a-new-model
• Prejsť si tutoriál https://github.com/pytorch/fairseq/blob/master/examples/roberta/README.md alebo podobný.
• Preštudujte si články na tému BERT, urobte si poznámky čo ste sa dozvedeli spolu so zdrojom.

Virtuálne stretnutie 16.10.2020

Stav:

• Vypracované poznámky k uvedeným bodom.
• Problém s inštaláciou Anaconda.

Do ďalieho stretnutia:

• nainštalujte pytorch a knižnicu fairseq
• prejtide si tutoriál https://fairseq.readthedocs.io/en/latest/getting_started.html#training-a-new-model
• Napíšte ďalšie poznámky ku architektúre encoder-decoder, nájdite najdôležitejšie články a čo hovoria.

Virtuálne stretnutie 2.10.2020

Vytvorený prístup ssh megela@idoc.fei.tuke.sk

Úlohy do ďalšieho stretnutia:

• Naštudujte si a vyracujte poznámky s uvedením zdroja:
  • spracovanie prirodzeného jazyka
  • jazykové modelovanie
  • rekurentná neurónová sieť
  • architektúra enkóder dekóder alebo seq2seq
• Nainštalujte si prostredie Anaconda, pytorch a knižnicu fairseq

Na štúdium:

https://git.kemt.fei.tuke.sk/KEMT/zpwiki/src/branch/master/pages/topics

• python
• nlp
• seq2seq