zpwiki/pages/students/2017/stanislav_matsunych/README.md

Stanislav Matsunych

Bakalárska práca 2019

Generovanie a modelovanie prirodzeného jazyka pomocou rekurentných neurónových sietí

Návrh na zadanie

1. Vypracovať prehľad metód generovania prirodzeného jazyka pomocou rekurentných neurónových sietí
2. Vyberte si vhodnú metódu na zostavenie modelu prirodzeného jazyka a natrénujte model na vhodných dátach.
3. Vytvorte aplikáciu, ktorá bude demonštrovať generovanie prirodzeného jazyka
4. Vyhodnotte vytvorený model a navrhnite jeho zlepšenia.

Stretnutia

19.2.2020:

• Naštudovať perpelxitu, porozmýšľať ako to implementovať, perplexita= cross entropis
• začať pracovať na teoretickej časti (vytvárať finálnu podobu).

Bakalársky projekt 2019

Pozrieť si

• https://medium.com/@shivambansal36/language-modelling-text-generation-using-lstms-deep-learning-for-nlp-ed36b224b275
• https://towardsdatascience.com/character-level-language-model-1439f5dd87fe

Prejsť si tutoriál

• http://karpathy.github.io/2015/05/21/rnn-effectiveness/
• https://machinelearningmastery.com/develop-character-based-neural-language-model-keras/

Cielom je:

Vytvoriť jazykový model slovenského jazyka na báze rekurentných neurónových sietí

• V prvom semestri bude výstup:

• jednoduchý program na vytvorenie LM a generovanie znakov z neho

• Vypracujte rešerš na tému "Rekurentné neurónové siete na tvorbu jazykových modelov " (LSTM, GRU) cca 10 strán

Možné trénovacie texty: Zlatý fond sme

Možný framework pre web demo: Flask

Tutoriál https://realpython.com/flask-by-example-part-1-project-setup/

  502  mkdir flask
  503  ls -l
  504  cd flask/
  505  ls -l
  506  python -m virtualenv
  507  python -m virtualenv ./venv
  508  ls -l
  509  source ./venv/bin/activate
  510  ls -l
  511  pip install flask
  512  ls -l
  513  ls -l ./venv/lib/python3.8/site-packages/
  514  python
  515  pip install ipython
  516  ipython
  517  ls -l
  518  vim ./mojawebka.py
  519  history