forked from KEMT/zpwiki
Update 'pages/students/2018/ondrej_megela/README.md'
This commit is contained in:
parent
de34985d85
commit
ae824caeb5
@ -30,23 +30,41 @@ Súvisiace práce:
|
|||||||
|
|
||||||
Cieľ: Využiť slovenský generatívny model na tvorbu databázy otázok a odpovedí.
|
Cieľ: Využiť slovenský generatívny model na tvorbu databázy otázok a odpovedí.
|
||||||
|
|
||||||
|
|
||||||
|
Stretnutie 28.10
|
||||||
|
|
||||||
|
Stav:
|
||||||
|
- Vyskúšaný slovenský GPT model v rôznych veľkostiach. Generovanie funguje. Obbmedzene funguje aj zero shot sentiment classification. Zagtiaľ nefuguje pre generovanie otázok.
|
||||||
|
|
||||||
|
Úlohy:
|
||||||
|
|
||||||
|
- Pokračovať v Zero Shot: Vymeniť Sentence za Veta. Pozrieť Separátor v slovníku.
|
||||||
|
- Skúsiť rozbehať run_clm pre slovenský GPT model pre úlohu generovania otázok. Poskytnutý prístup do repozitára bert-train.
|
||||||
|
|
||||||
|
Zásobník úloh:
|
||||||
|
|
||||||
|
- Možno by sa dalo formulovať úlohu ako klasický machne translation a použiť niekotrý existujúci setup pre preklad bez predtrénovania. Existujú skripty pre fairseq.
|
||||||
|
- Možno bude fungovať nejaký multilinguálny generatívny model.
|
||||||
|
|
||||||
|
Stretnutie 7.10:
|
||||||
|
|
||||||
Stav:
|
Stav:
|
||||||
|
|
||||||
- PatilSuraj zatiaľ nefunguje. Funguje iba na T5 a Bart vlastné anglické, nefunguje na gpt-j ano na mt5. Stále je tam možnosť vyskúšať vlastný slovenský BART.
|
- PatilSuraj zatiaľ nefunguje. Funguje iba na T5 a Bart vlastné anglické, nefunguje na gpt-j ano na mt5. Stále je tam možnosť vyskúšať vlastný slovenský BART.
|
||||||
|
|
||||||
Úlohy:
|
Úlohy:
|
||||||
|
|
||||||
- Vyskúšať slovenský GPT model v úlohe few-shot learning. Inšpirácia https://huggingface.co/blog/few-shot-learning-gpt-neo-and-inference-api. Použite niektorý prístup z patilsuraj.
|
- [x] Vyskúšať slovenský GPT model v úlohe few-shot learning. Inšpirácia https://huggingface.co/blog/few-shot-learning-gpt-neo-and-inference-api. Použite niektorý prístup z patilsuraj.
|
||||||
- Vyoracujte písomný prehľad generatívnych jazykových modelov.
|
- [ ] Vyoracujte písomný prehľad generatívnych jazykových modelov.
|
||||||
- Vypracujte písomný prehľad metód generovania otázok pomocou jazykového modelu. Nezabudnite na odkazy na odbornú literatúru.
|
- [ ] Vypracujte písomný prehľad metód generovania otázok pomocou jazykového modelu. Nezabudnite na odkazy na odbornú literatúru.
|
||||||
|
|
||||||
|
|
||||||
Zásobník úloh:
|
Zásobník úloh:
|
||||||
|
|
||||||
- Dotrénovať slovenský GPT model pomocou HF skriptu run_clm.py
|
- [ ] Dotrénovať slovenský GPT model pomocou HF skriptu run_clm.py
|
||||||
- Zistiť aký veľký model nám funguje.
|
- [ ] Zistiť aký veľký model nám funguje.
|
||||||
- Vybrať vhodný server na dorénovanie. Koľko GRAM potrebujeme?
|
- [ ] Vybrať vhodný server na dorénovanie. Koľko GRAM potrebujeme?
|
||||||
- Záložná možnosť - písať pre anglický jazyk.
|
- [ ] Záložná možnosť - písať pre anglický jazyk.
|
||||||
|
|
||||||
## Diplomový projekt 1 2022
|
## Diplomový projekt 1 2022
|
||||||
|
|
||||||
|
Loading…
Reference in New Issue
Block a user