---
title: Ondrej Megela 
published: true
taxonomy:
    category: [bp2021]
    tag: [nlp,fairseq,lm]
    author: Daniel Hladek
---
# Ondrej Megela 

Začiatok štúdia: 2018

## Bakalársky projekt 2020

Názov: Neurónové jazykové modelovanie s pomocou nástroja Fairseq

Návrh na zadanie:

1. Vypracujte prehľad metód jazykového modelovania pomoocu neurónových sietí
2. Vytvorte jazykový model metódou BERT alebo poodobnou metódou.
3. Vyhodnnotte vytvorený jazykový model a navrhnite zlepšenia. 

Zásobník úloh:
- Prejsť si tutoriál https://github.com/pytorch/fairseq/blob/master/examples/roberta/README.md alebo podobný.

Virtuálne stretnutie 16.10.2020

Stav:

- Vypracované poznámky k uvedeným bodom.
- Problém s inštaláciou Anaconda.

Virtuálne stretnutie 2.10.2020

Vytvorený prístup `ssh megela@idoc.fei.tuke.sk`

Úlohy do ďalšieho stretnutia:
- Naštudujte si a vyracujte poznámky s uvedením zdroja:
    - spracovanie prirodzeného jazyka
    - jazykové modelovanie
    - rekurentná neurónová sieť
    - architektúra enkóder dekóder alebo seq2seq
- Nainštalujte si prostredie Anaconda, pytorch a knižnicu fairseq

Na štúdium:

https://git.kemt.fei.tuke.sk/KEMT/zpwiki/src/branch/master/pages/topics

- python
- nlp
- seq2seq