forked from KEMT/zpwiki
3.9 KiB
3.9 KiB
| title | published | taxonomy | ||||||||||||
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| Oleh Bilykh | true |
|
Oleh Bilykh
Začiatok štúdia: 2018
Súvisiace stránky:
- Ongrej Megela - RoBERTa
- Lukáš Pokrývka - paralelné trénovanie
- Question Answering - interný projekt
- Matej Čarňanský (BERT)
Bakalársky projekt 2020
Konzultácie sa budú konakť minimálne raz za dva týždne, menej ako 6 konzultácií za semester je dôvodom pre zníženie hodnotenia alebo neudelenie zápočtu.
Téma:
Automatické generovanie odpovedí na otázky v prirodzenom jazyku pomocou neurónových sietí.
Návrh na zadanie BP:
- Vypracujte teoretický prehľad metód automatického generovania odpovede na otázky v prirodzenom jazyku.
- Zvoľte vhodný existujúci systém a pripravte ho na použitie.
- Navrhnite, vykonajte a vyhodnoťte experimenty s generovaním odpovede na otázky v prirodzenom jazyku.
- Navrhnite možné zlepšenia systému pre generovanie odpovede.
Zásobník úloh:
- Nainštalovať a natrénovať systém DrQA s databázou SquAD.
- Natrénujte vlastný model.
- Vyhodnnotte natrénovaný model.
- Pripravte jednoduché demo ako webovú aplikáciu (doplňujúca úloha).
Stretnutie 2.2.2021
Stav:
- Nainštalovaný a funkčný systém DrQA na servri tesla - konzola aj web aplikácia.
- Použitý je existujúci model.
- Dorobená prezentácia.
Do ďalšieho stretnutia:
- Pracujte na písomnej časti - prezentujte na ďalšom stretnutí.
- Vytvorte repozitár na GITe a dajte tam návod na inštaláciu DrQA.
- Zistite ako sa robí vyhodnotenie a vyhodnotte existujúci model na databáze SQAD.
- Prejdite si https://github.com/facebookresearch/DrQA/blob/master/scripts/reader/README.md a urobte zápis vykonaných krokov.
E-mail 17.12.2020:
- Na IDOC nainštalovaný Pytorch 1.0, spustenie ide na GPU, ale nastala chyba
OSError: [Errno 12] Cannot allocate memory. - Vytvorený prístup na tesla, kde sa nachádza viac pamäte.
Stretnutie: 3.12.2020
Stav:
- Riešenie technického problému so spustením, pravdepodobne treba použiť staršiu verziu Pytorch 1.0. Na CPU na idoc to nejde, načíta model ale nevypíše výsledky.
Stretnutie 20.11.2020
Stav:
- Technický problém s inštaláciou: https://github.com/facebookresearch/DrQA
- Vytvorený prístup na idoc
- Práca na písomnej časti.
Úlohy do ďalšieho stretnutia:
- skúsiť nainštalovať DrQA na Linuxe.
- anotovať aspoň 100 otázok podľa: https://zp.kemt.fei.tuke.sk/topics/question/navod
- zapíšte si postup pre úspešnú inštaláciou
- Prebehnite tutoriál DrQA
- Pokračujte v písaní - urobte si poznámky z článku "Reading {Wikipedia} to Answer Open-Domain Questions" o DrQA.
Stretnutie: 13.11.2020
Stav:
- Nainštalovaná Anaconda a Jupyter notebook, nič viac.
Úlohy na ďalšie stretnutie:
- Dobehnúť zameškané.
Stretnutie: 12.10.2020
Úlohy na ďalšie stretnutie:
- Vypracujte poznámky z toho čo ste sa dozvedeli o systémoch pre generovanie odpovedí.
- definujte úlohu
- predstavte existujúce implementácie. Aké metódy využívajú? Uveďte aj odkazy na odborné články.
- predstavte možné trénovacie množiny
- Z literatúry zistite, akým spôsobom sa vyhodnocuje systém pre generovanie odpovedí.
- Vyskúšajte si nainštalovať systém DrQA a vyskúšajte ho s existujúcim modelom.
- odporúčam použiť virtuálne prostredie Python (virtualenv) alebo systém Anaconda.
- Prejdite si tutoriál https://github.com/facebookresearch/DrQA
Stav:
- Oboznámenie sa s úlohou.
Stretnutie 25.9.2020
Úlohy na ďalšie stretnutie:
- Oboznámte sa s https://git.kemt.fei.tuke.sk/KEMT/zpwiki/src/branch/master/pages/topics/question
- čo je SQuaD
- prečítajte si články
- Pozrite si existujúce implementácie, jednu z nich si vyberiete.