diff --git a/pages/students/2018/ondrej_megela/README.md b/pages/students/2018/ondrej_megela/README.md index f90ac654f..4e2050efa 100644 --- a/pages/students/2018/ondrej_megela/README.md +++ b/pages/students/2018/ondrej_megela/README.md @@ -24,6 +24,44 @@ Cieľ: - Vytvoriť a vyhodnotiť generatívny model slovenského jazyka. - Navrhnúť a vytvoriť overovaciu množinu pre slovenské generatívne modely. +Stretnutie 8.4. + +Prezreté sú tri repozitáre. +kompatibilné s HF Transformers + + +https://github.com/p208p2002/Transformer-QG-on-SQuAD#seq2seq-lm +- Používa modely GPT-2, BART,T5, upravený „BERT“ +- vstup ide odsek + zvýraznená odpoveď pomocou tokenu [HL] + +Haystack deepset – QG pipeline +- Postup: (https://haystack.deepset.ai/tutorials/question-generation) +- kompatibilný s HF Transformers +- https://github.com/deepset-ai/haystack#mortar_board-tutorials +- https://www.deepset.ai/blog/generate-questions-automatically-for-faster-annotation + +https://github.com/patil-suraj/question_generation +- Využíva 2 formáty vstupu: +- Oddelenie odpovede pomocou SEP, odpoveď je osobitne + - 42 `[SEP]` 42 is the answer to life, the universe and everything. Vyznačenie odpovede pomocou HL priamo v kontexte. + - `` 42 `` is the answer to life, the universe and everything. + +3 možnosti definície úlohy generovanie otázok : +- QG – vstup je kontext a odpoveď, výstup je otázka +- Multitask QA- QG: Deje sa vo viacerých krokoch: vyhľadanie odpovede (zaujímavej časti) v texte, generovanie otazky na zaklade odpovede, spätné vyhľadanie odpovede +- End-to-End QG – Generovanie otázok len na zaklade kontextu, vstup je kontext, výstup je otázka. + +Úlohy: + +- Začneme s prístupom "End-To-End" - generovanie otázok na základe zadaného odseku. +- Rozbehnite skript, ktorý naučí generatívny model generovať otázky na základe zadaného odseku. Ako vstup použite sk-quad. + +Zásobník úloh: + +- Navrhnite a implementujte spôsob vyhľadanie zaujímavej časti odseku - kandidáta na možnú odpoveď. + + + 11.3. - Vyskúšaný GPT na cloab, zatiaľ nefunguje kvôli pamäti.