---
title: Ondrej Megela 
published: true
taxonomy:
    category: [bp2021]
    tag: [nlp,fairseq,lm]
    author: Daniel Hladek
---
# Ondrej Megela 

Začiatok štúdia: 2018

## Bakalársky projekt 2020

Názov: Neurónové jazykové modelovanie s pomocou nástroja Fairseq

Návrh na zadanie:

1. Vypracujte prehľad metód jazykového modelovania pomoocu neurónových sietí
2. Vytvorte jazykový model metódou BERT alebo podobnou metódou.
3. Vyhodnotte vytvorený jazykový model a navrhnite zlepšenia. 

Zásobník úloh:

- Cieľom je vedieť natrénovať BERT model a vyhodnotiť ho na zvolenej testovacej množine.

Virtuálne stretnutie 4.12.2020

Stav:

- Preštudovaný tutoriál https://github.com/pytorch/fairseq/blob/master/examples/roberta/README.pretraining.md
- Vyriešený problém s Pytorch. 
- Inštalácia [Fairseq](https://git.kemt.fei.tuke.sk/om385wg/bp2021/wiki/In%C5%A1tal%C3%A1cia-fairseq) Conda aj Pytorch.
- Chyba optimizéra [Fairseq](https://git.kemt.fei.tuke.sk/om385wg/bp2021/wiki/Vyrie%C5%A1en%C3%A9-Chyby) a jej riešenie.
- Vypracované poznámky o trénovaní a vyhodnocovaní BERT.


Virtuálne stretnutie 20.11.2020

Stav:

- Urobené tutoriály ale iba na CPU.

Do ďalšieho stretnutia:

- Prejsť si tutoriál https://github.com/pytorch/fairseq/blob/master/examples/roberta/README.pretraining.md .
- Pracovať na písomnej časti - zamerať sa na vyhodnotenie BERT modelu. Na aké modelové úlohy sa používa? 
- Napíšte poznámky, kde všade sa vyskytol technický problém a aké bolo riešenie. Dôležité sú verzie a podmienky pri ktorých sa problém vyskytol.
- Spíšte ako nainštalovať knižnice tak aby to fungovalo (s CPU aj s GPU).
- Vytvorte si na GITe repozitár bp2021, do neho dajte poznámky a kódy ktoré ste vyskúšali.


Virtuálne stretnutie 13.11.2020

Stav:

- Vypracované poznámky aj k transformer a BERT
- Vyskúšaná release verzia Fairseq. Stále trvá technický problém s tutoriálom. 
- Vyskúšaný BERT tutoriáli. Chyba "illegal instruction" pri extrahovaní príznakov "extract features from ROBERTA". https://discuss.pytorch.org/t/illegal-instruction-core-dumped-in-first-pytorch-tutorial/62059/3 pravdepodobne problém s inštrukčnou sadou CPU. 
- \vytvorený prístup na tesla pre vyriešenie.

Do ďalšieho stretnutia:

- pokračovať v otvorených úlohách.


Virtuálne stretnutie 30.10.2020

Stav:
- Vypracované poznámky k seq2seq
- nainštalovaný Pytorch a fairseq
- problémy s tutoriálom. Riešenie by mohlo byť použitie release verzie 0.9.0, pip install fairseq=0.9.0

Do ďalšieho stretnutia:

- Vyriešte technické porblémy
- prejdide si tutoriál https://fairseq.readthedocs.io/en/latest/getting_started.html#training-a-new-model
- Prejsť si tutoriál https://github.com/pytorch/fairseq/blob/master/examples/roberta/README.md alebo podobný.
- Preštudujte si články na tému BERT, urobte si poznámky čo ste sa dozvedeli spolu so zdrojom.


Virtuálne stretnutie 16.10.2020

Stav:

- Vypracované poznámky k uvedeným bodom.
- Problém s inštaláciou Anaconda.

Do ďalieho stretnutia:

- nainštalujte  pytorch a knižnicu fairseq
- prejtide si tutoriál https://fairseq.readthedocs.io/en/latest/getting_started.html#training-a-new-model
- Napíšte ďalšie poznámky ku architektúre encoder-decoder, nájdite najdôležitejšie články a čo hovoria.


Virtuálne stretnutie 2.10.2020

Vytvorený prístup `ssh megela@idoc.fei.tuke.sk`

Úlohy do ďalšieho stretnutia:
- Naštudujte si a vyracujte poznámky s uvedením zdroja:
    - spracovanie prirodzeného jazyka
    - jazykové modelovanie
    - rekurentná neurónová sieť
    - architektúra enkóder dekóder alebo seq2seq
- Nainštalujte si prostredie Anaconda, pytorch a knižnicu fairseq

Na štúdium:

https://git.kemt.fei.tuke.sk/KEMT/zpwiki/src/branch/master/pages/topics

- python
- nlp
- seq2seq