zpwiki/pages/students/2018/david_omasta
2023-01-13 10:05:38 +00:00
..
README.md Update 'pages/students/2018/david_omasta/README.md' 2023-01-13 10:05:38 +00:00

title published taxonomy
Dávid Omasta true
category tag author
dp2023
lm
Daniel Hladek

Začiatok štúdia: 2018

Súvisiace stránky:

  • Question Answering - interný projekt
  • Jozef Olekšák
  • Matej Čarňanský (BERT)
  • Ondrej Megela

Diplomová práca 2023

Téma: Dotrénovanie slovenského generatívneho jazykového modelu.

Vedúci: Ján Staš

Návrh na názov:

Generatívne modely slovenského jazyka

Návrh na zadanie DP:

  • Vypracujte prehľad najnovších generatívnych neurónových jazykových modelov.
  • Vypracujte prehľad slovenských a multilinguálnych generatívnych jazykových modelov.
  • Navrhnite experiment, pri ktorom bude model generovať odpovede na zadané otázky a kontext.
  • Analyzujte výsledky experimentu vhodným spôsobom a identifikujte možné zlepšenia.

Ciele na zimný semester:

Praktické:

  • Rozbehajte proces dotrénovania jazykových modelov pomocou knižnice Huggingface Transformers
  • Vyberte alebo vytvorte vhodnú dátovú množinu ktorá bude obsahovať slovenské dialógu.
  • Vyskúšajte slovenský generatívny model GPT a dotrénujte ho pre použitie v dialógovom systéme.
  • Vytvorte demonštračnú aplikáciu.

Teoretické:

  • Vypracujte prehľad najnovších generatívnych neurónových jazykových modelov (cca 20 strán).
  • Napíšte návod na inštaláciu a návod na použitie skriptov pre dotrénovanie (cca 5 strán).

Stretnutie 24.11

Stav:

  • nainštalované prostredie na idoc, spustený hf skript run_generation.py
  • prečítané články.

Úlohy:

Stretnutie 14.10.

Stav:

  • Na vlastnom počítači rozbehané Anaconda, Pytorch a CUDA.
  • Prečítané články.

Úlohy:

  • Pokračovať.

Stretnutie 7.10.

Stav:

  • Obznámený s Google Colab. Vyskúšané tutoriály BERT text classification,

Úlohy:

  • [-] Prečítajte si ako funguje neurónová sieť typu Transformer a [ ] písomne to vysvetlite. Uveďte odkazy na odborné články.
  • Písomne vysvetlite, čo to je generatívny jazykový model a ako funguje. Uveďte odkazy na najnovšie články o generatívnych jazykových modeloch - T5, GPT, BART.
  • Nainštalujte si prostredie Anaconda, knižnicu PyTorch s podporou CUDA a knižnicu HF transformers. Použite server idoc.
  • Vyskúšajte tento skript: https://github.com/huggingface/transformers/tree/main/examples/pytorch/text-generation.

Zásobník úloh: