2020-10-01 13:33:21 +00:00
---
title: Ondrej Megela
published: true
taxonomy:
2020-10-02 14:06:48 +00:00
category: [bp2021]
2020-10-16 09:04:08 +00:00
tag: [nlp,fairseq,lm]
2020-10-01 13:33:21 +00:00
author: Daniel Hladek
---
2020-09-22 10:46:44 +00:00
# Ondrej Megela
2020-10-02 08:20:56 +00:00
Začiatok štúdia: 2018
## Bakalársky projekt 2020
Názov: Neurónové jazykové modelovanie s pomocou nástroja Fairseq
Návrh na zadanie:
1. Vypracujte prehľad metód jazykového modelovania pomoocu neurónových sietí
2020-11-13 09:37:48 +00:00
2. Vytvorte jazykový model metódou BERT alebo podobnou metódou.
2020-11-20 12:09:20 +00:00
3. Vyhodnotte vytvorený jazykový model a navrhnite zlepšenia.
Virtuálne stretnutie 20.11.2020
Stav:
2020-10-02 08:39:55 +00:00
2020-11-13 09:37:48 +00:00
Virtuálne stretnutie 13.11.2020
Stav:
- Vypracované poznámky aj k transformer a BERT
- Vyskúšaná release verzia Fairseq. Stále trvá technický problém s tutoriálom.
2020-11-20 12:09:20 +00:00
- Vyskúšaný BERT tutoriáli. Chyba "illegal instruction" pri extrahovaní príznakov "extract features from ROBERTA". https://discuss.pytorch.org/t/illegal-instruction-core-dumped-in-first-pytorch-tutorial/62059/3 pravdepodobne problém s inštrukčnou sadou CPU.
2020-11-13 10:07:39 +00:00
- \vytvorený prístup na tesla pre vyriešenie.
2020-11-20 12:09:20 +00:00
Do ďalšieho stretnutia:
2020-11-13 10:07:39 +00:00
2020-11-20 12:09:20 +00:00
- pokračovať v otvorených úlohách.
2020-11-13 09:37:48 +00:00
2020-10-02 08:48:52 +00:00
2020-10-30 09:59:36 +00:00
Virtuálne stretnutie 30.10.2020
Stav:
- Vypracované poznámky k seq2seq
- nainštalovaný Pytorch a fairseq
2020-10-30 10:17:35 +00:00
- problémy s tutoriálom. Riešenie by mohlo byť použitie release verzie 0.9.0, pip install fairseq=0.9.0
2020-11-13 09:37:48 +00:00
Do ďalšieho stretnutia:
2020-10-30 10:17:35 +00:00
- Vyriešte technické porblémy
2020-10-30 10:22:21 +00:00
- prejdide si tutoriál https://fairseq.readthedocs.io/en/latest/getting_started.html#training-a-new-model
2020-10-30 10:17:35 +00:00
- Prejsť si tutoriál https://github.com/pytorch/fairseq/blob/master/examples/roberta/README.md alebo podobný.
2020-10-30 10:22:21 +00:00
- Preštudujte si články na tému BERT, urobte si poznámky čo ste sa dozvedeli spolu so zdrojom.
2020-10-30 10:17:35 +00:00
2020-10-30 09:59:36 +00:00
2020-10-16 09:04:08 +00:00
Virtuálne stretnutie 16.10.2020
Stav:
- Vypracované poznámky k uvedeným bodom.
- Problém s inštaláciou Anaconda.
2020-10-16 09:26:37 +00:00
Do ďalieho stretnutia:
- nainštalujte pytorch a knižnicu fairseq
- prejtide si tutoriál https://fairseq.readthedocs.io/en/latest/getting_started.html#training-a-new-model
- Napíšte ďalšie poznámky ku architektúre encoder-decoder, nájdite najdôležitejšie články a čo hovoria.
2020-10-02 08:39:55 +00:00
Virtuálne stretnutie 2.10.2020
2020-10-02 08:54:05 +00:00
Vytvorený prístup `ssh megela@idoc.fei.tuke.sk`
2020-10-02 08:39:55 +00:00
Úlohy do ďalšieho stretnutia:
- Naštudujte si a vyracujte poznámky s uvedením zdroja:
- spracovanie prirodzeného jazyka
- jazykové modelovanie
- rekurentná neurónová sieť
- architektúra enkóder dekóder alebo seq2seq
2020-10-02 08:43:06 +00:00
- Nainštalujte si prostredie Anaconda, pytorch a knižnicu fairseq
Na štúdium:
https://git.kemt.fei.tuke.sk/KEMT/zpwiki/src/branch/master/pages/topics
- python
- nlp
2020-10-02 14:06:48 +00:00
- seq2seq
