From ae824caeb57c86b3d534d388579989b4598b0e8a Mon Sep 17 00:00:00 2001 From: dano Date: Fri, 28 Oct 2022 08:40:02 +0000 Subject: [PATCH] Update 'pages/students/2018/ondrej_megela/README.md' --- pages/students/2018/ondrej_megela/README.md | 32 ++++++++++++++++----- 1 file changed, 25 insertions(+), 7 deletions(-) diff --git a/pages/students/2018/ondrej_megela/README.md b/pages/students/2018/ondrej_megela/README.md index 558c997442..852f72d746 100644 --- a/pages/students/2018/ondrej_megela/README.md +++ b/pages/students/2018/ondrej_megela/README.md @@ -30,23 +30,41 @@ Súvisiace práce: Cieľ: Využiť slovenský generatívny model na tvorbu databázy otázok a odpovedí. + +Stretnutie 28.10 + +Stav: +- Vyskúšaný slovenský GPT model v rôznych veľkostiach. Generovanie funguje. Obbmedzene funguje aj zero shot sentiment classification. Zagtiaľ nefuguje pre generovanie otázok. + +Úlohy: + +- Pokračovať v Zero Shot: Vymeniť Sentence za Veta. Pozrieť Separátor v slovníku. +- Skúsiť rozbehať run_clm pre slovenský GPT model pre úlohu generovania otázok. Poskytnutý prístup do repozitára bert-train. + +Zásobník úloh: + +- Možno by sa dalo formulovať úlohu ako klasický machne translation a použiť niekotrý existujúci setup pre preklad bez predtrénovania. Existujú skripty pre fairseq. +- Možno bude fungovať nejaký multilinguálny generatívny model. + +Stretnutie 7.10: + Stav: - PatilSuraj zatiaľ nefunguje. Funguje iba na T5 a Bart vlastné anglické, nefunguje na gpt-j ano na mt5. Stále je tam možnosť vyskúšať vlastný slovenský BART. Úlohy: -- Vyskúšať slovenský GPT model v úlohe few-shot learning. Inšpirácia https://huggingface.co/blog/few-shot-learning-gpt-neo-and-inference-api. Použite niektorý prístup z patilsuraj. -- Vyoracujte písomný prehľad generatívnych jazykových modelov. -- Vypracujte písomný prehľad metód generovania otázok pomocou jazykového modelu. Nezabudnite na odkazy na odbornú literatúru. +- [x] Vyskúšať slovenský GPT model v úlohe few-shot learning. Inšpirácia https://huggingface.co/blog/few-shot-learning-gpt-neo-and-inference-api. Použite niektorý prístup z patilsuraj. +- [ ] Vyoracujte písomný prehľad generatívnych jazykových modelov. +- [ ] Vypracujte písomný prehľad metód generovania otázok pomocou jazykového modelu. Nezabudnite na odkazy na odbornú literatúru. Zásobník úloh: -- Dotrénovať slovenský GPT model pomocou HF skriptu run_clm.py -- Zistiť aký veľký model nám funguje. -- Vybrať vhodný server na dorénovanie. Koľko GRAM potrebujeme? -- Záložná možnosť - písať pre anglický jazyk. +- [ ] Dotrénovať slovenský GPT model pomocou HF skriptu run_clm.py +- [ ] Zistiť aký veľký model nám funguje. +- [ ] Vybrať vhodný server na dorénovanie. Koľko GRAM potrebujeme? +- [ ] Záložná možnosť - písať pre anglický jazyk. ## Diplomový projekt 1 2022