diff --git a/pages/students/2018/ondrej_megela/README.md b/pages/students/2018/ondrej_megela/README.md index d1804e35f..558c99744 100644 --- a/pages/students/2018/ondrej_megela/README.md +++ b/pages/students/2018/ondrej_megela/README.md @@ -22,6 +22,32 @@ Pozrieť toto: https://paperswithcode.com/task/text-generation?page=3 +# Diplomová práca 2023 + +Súvisiace práce: + +- Dávid Omasta + +Cieľ: Využiť slovenský generatívny model na tvorbu databázy otázok a odpovedí. + +Stav: + +- PatilSuraj zatiaľ nefunguje. Funguje iba na T5 a Bart vlastné anglické, nefunguje na gpt-j ano na mt5. Stále je tam možnosť vyskúšať vlastný slovenský BART. + +Úlohy: + +- Vyskúšať slovenský GPT model v úlohe few-shot learning. Inšpirácia https://huggingface.co/blog/few-shot-learning-gpt-neo-and-inference-api. Použite niektorý prístup z patilsuraj. +- Vyoracujte písomný prehľad generatívnych jazykových modelov. +- Vypracujte písomný prehľad metód generovania otázok pomocou jazykového modelu. Nezabudnite na odkazy na odbornú literatúru. + + +Zásobník úloh: + +- Dotrénovať slovenský GPT model pomocou HF skriptu run_clm.py +- Zistiť aký veľký model nám funguje. +- Vybrať vhodný server na dorénovanie. Koľko GRAM potrebujeme? +- Záložná možnosť - písať pre anglický jazyk. + ## Diplomový projekt 1 2022 Cieľ: