2020-10-01 13:33:21 +00:00
|
|
|
---
|
|
|
|
|
title: Stanislav Matsunych
|
|
|
|
|
published: true
|
|
|
|
|
taxonomy:
|
2020-10-01 13:46:14 +00:00
|
|
|
category: [bp2020]
|
2020-10-01 13:33:21 +00:00
|
|
|
tag: [nn,lm,nlp]
|
|
|
|
|
author: Daniel Hladek
|
|
|
|
|
---
|
2019-12-19 08:48:33 +00:00
|
|
|
# Stanislav Matsunych
|
2020-02-19 13:13:04 +00:00
|
|
|
|
|
|
|
|
## Bakalárska práca 2019
|
|
|
|
|
|
|
|
|
|
Generovanie a modelovanie prirodzeného jazyka pomocou rekurentných neurónových sietí
|
|
|
|
|
|
2020-09-18 08:42:58 +00:00
|
|
|
- [Zdrojové texty BP](https://git.kemt.fei.tuke.sk/sm892rt/BC_Matsunych_2020_Final)
|
|
|
|
|
- [CRZP](https://opac.crzp.sk/?fn=detailBiblioForm&sid=60B4917E3BAC23F10C7DAB27651C&seo=CRZP-detail-kniha)
|
|
|
|
|
|
2020-02-19 13:13:04 +00:00
|
|
|
### Návrh na zadanie
|
|
|
|
|
|
|
|
|
|
1. Vypracovať prehľad metód generovania prirodzeného jazyka pomocou rekurentných neurónových sietí
|
|
|
|
|
2. Vyberte si vhodnú metódu na zostavenie modelu prirodzeného jazyka a natrénujte model na vhodných dátach.
|
|
|
|
|
3. Vytvorte aplikáciu, ktorá bude demonštrovať generovanie prirodzeného jazyka
|
|
|
|
|
4. Vyhodnotte vytvorený model a navrhnite jeho zlepšenia.
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
## Stretnutia
|
|
|
|
|
|
2020-05-14 14:17:33 +00:00
|
|
|
Revízia 14.5.:
|
|
|
|
|
|
|
|
|
|
- obhajoba v septembri
|
|
|
|
|
|
2020-02-19 13:13:04 +00:00
|
|
|
19.2.2020:
|
|
|
|
|
|
|
|
|
|
- Naštudovať perpelxitu, porozmýšľať ako to implementovať, perplexita= cross entropis
|
|
|
|
|
- začať pracovať na teoretickej časti (vytvárať finálnu podobu).
|
|
|
|
|
|
|
|
|
|
|
2019-12-19 08:48:33 +00:00
|
|
|
## Bakalársky projekt 2019
|
|
|
|
|
|
|
|
|
|
Pozrieť si
|
|
|
|
|
|
|
|
|
|
- https://medium.com/@shivambansal36/language-modelling-text-generation-using-lstms-deep-learning-for-nlp-ed36b224b275
|
|
|
|
|
- https://towardsdatascience.com/character-level-language-model-1439f5dd87fe
|
|
|
|
|
|
|
|
|
|
Prejsť si tutoriál
|
|
|
|
|
|
|
|
|
|
- http://karpathy.github.io/2015/05/21/rnn-effectiveness/
|
|
|
|
|
- https://machinelearningmastery.com/develop-character-based-neural-language-model-keras/
|
|
|
|
|
|
|
|
|
|
Cielom je:
|
|
|
|
|
|
|
|
|
|
Vytvoriť jazykový model slovenského jazyka na báze rekurentných neurónových sietí
|
|
|
|
|
|
|
|
|
|
- V prvom semestri bude výstup:
|
|
|
|
|
- jednoduchý program na vytvorenie LM a generovanie znakov z neho
|
|
|
|
|
|
|
|
|
|
- Vypracujte rešerš na tému "Rekurentné neurónové siete na tvorbu jazykových modelov " (LSTM, GRU) cca 10 strán
|
|
|
|
|
|
2019-12-19 08:49:48 +00:00
|
|
|
Možné trénovacie texty: [Zlatý fond sme](https://zlatyfond.sme.sk/)
|
2019-12-19 08:48:33 +00:00
|
|
|
|
2019-12-19 08:53:01 +00:00
|
|
|
Možný framework pre web demo: [Flask](https://www.fullstackpython.com/flask.html)
|
|
|
|
|
|
2019-12-19 09:02:58 +00:00
|
|
|
Tutoriál https://realpython.com/flask-by-example-part-1-project-setup/
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
502 mkdir flask
|
|
|
|
|
503 ls -l
|
|
|
|
|
504 cd flask/
|
|
|
|
|
505 ls -l
|
|
|
|
|
506 python -m virtualenv
|
|
|
|
|
507 python -m virtualenv ./venv
|
|
|
|
|
508 ls -l
|
|
|
|
|
509 source ./venv/bin/activate
|
|
|
|
|
510 ls -l
|
|
|
|
|
511 pip install flask
|
|
|
|
|
512 ls -l
|
|
|
|
|
513 ls -l ./venv/lib/python3.8/site-packages/
|
|
|
|
|
514 python
|
|
|
|
|
515 pip install ipython
|
|
|
|
|
516 ipython
|
|
|
|
|
517 ls -l
|
|
|
|
|
518 vim ./mojawebka.py
|
|
|
|
|
519 history
|
|
|
|
|
|
