Update 'pages/students/2018/ondrej_megela/README.md'
This commit is contained in:
parent
c026422601
commit
54446db373
@ -24,6 +24,44 @@ Cieľ:
|
|||||||
- Vytvoriť a vyhodnotiť generatívny model slovenského jazyka.
|
- Vytvoriť a vyhodnotiť generatívny model slovenského jazyka.
|
||||||
- Navrhnúť a vytvoriť overovaciu množinu pre slovenské generatívne modely.
|
- Navrhnúť a vytvoriť overovaciu množinu pre slovenské generatívne modely.
|
||||||
|
|
||||||
|
Stretnutie 8.4.
|
||||||
|
|
||||||
|
Prezreté sú tri repozitáre.
|
||||||
|
kompatibilné s HF Transformers
|
||||||
|
|
||||||
|
|
||||||
|
https://github.com/p208p2002/Transformer-QG-on-SQuAD#seq2seq-lm
|
||||||
|
- Používa modely GPT-2, BART,T5, upravený „BERT“
|
||||||
|
- vstup ide odsek + zvýraznená odpoveď pomocou tokenu [HL]
|
||||||
|
|
||||||
|
Haystack deepset – QG pipeline
|
||||||
|
- Postup: (https://haystack.deepset.ai/tutorials/question-generation)
|
||||||
|
- kompatibilný s HF Transformers
|
||||||
|
- https://github.com/deepset-ai/haystack#mortar_board-tutorials
|
||||||
|
- https://www.deepset.ai/blog/generate-questions-automatically-for-faster-annotation
|
||||||
|
|
||||||
|
https://github.com/patil-suraj/question_generation
|
||||||
|
- Využíva 2 formáty vstupu:
|
||||||
|
- Oddelenie odpovede pomocou SEP, odpoveď je osobitne
|
||||||
|
- 42 `[SEP]` 42 is the answer to life, the universe and everything. Vyznačenie odpovede pomocou HL priamo v kontexte.
|
||||||
|
- `<hl>` 42 `<hl>` is the answer to life, the universe and everything.
|
||||||
|
|
||||||
|
3 možnosti definície úlohy generovanie otázok :
|
||||||
|
- QG – vstup je kontext a odpoveď, výstup je otázka
|
||||||
|
- Multitask QA- QG: Deje sa vo viacerých krokoch: vyhľadanie odpovede (zaujímavej časti) v texte, generovanie otazky na zaklade odpovede, spätné vyhľadanie odpovede
|
||||||
|
- End-to-End QG – Generovanie otázok len na zaklade kontextu, vstup je kontext, výstup je otázka.
|
||||||
|
|
||||||
|
Úlohy:
|
||||||
|
|
||||||
|
- Začneme s prístupom "End-To-End" - generovanie otázok na základe zadaného odseku.
|
||||||
|
- Rozbehnite skript, ktorý naučí generatívny model generovať otázky na základe zadaného odseku. Ako vstup použite sk-quad.
|
||||||
|
|
||||||
|
Zásobník úloh:
|
||||||
|
|
||||||
|
- Navrhnite a implementujte spôsob vyhľadanie zaujímavej časti odseku - kandidáta na možnú odpoveď.
|
||||||
|
|
||||||
|
|
||||||
|
|
||||||
11.3.
|
11.3.
|
||||||
|
|
||||||
- Vyskúšaný GPT na cloab, zatiaľ nefunguje kvôli pamäti.
|
- Vyskúšaný GPT na cloab, zatiaľ nefunguje kvôli pamäti.
|
||||||
|
Loading…
Reference in New Issue
Block a user