--- title: Alina Vitko published: true taxonomy: category: [bp2022] tag: [ir,qa,nlp] author: Daniel Hladek --- rok začiatku štúdia: 2019 # Bakalárska práca 2022 Systémy pre generovanie odpovede na otázku v prirodzenom jazyku 1. Vypracujte prehľad aktuálnych metód pre generovanie odpovede na otázku v prirodzenom jazyku. 2. Vyberte a podrobne opíšte existujúci systém pre generovanie odpovede na otázku v prirodzenom slovenskom jazyku. 3. Vytvorte demonštračnú webovú aplikáciu pre vybraný systém. 4. Navrhnite zlepšenia systému pre generovanie odpovede. Stretnutie 28.1. - Demo aplikácia funguje - vieme ju spustit aj nainstalovat. - Vytvorený repozitár so zdrojovými kódmi demo aplikácie https://git.kemt.fei.tuke.sk/dano/qademo Úlohy: - Naklonujte si repozitár. - Získajte slovenský model a dajte ho do adresára models. Zistite, akého typu je slovenský model. - Modifikujte demo aplikáciu tak, aby pracovala so slovenským modelom. - Modifikujte demo aplikáciu tak aby bola "naša". Preložte ju, doplnte obrázky. - Oboznámte sa s knižnicou https://streamlit.io/ - Do práce pridajte časť, kde podrobne opíšete ako funguje QA s použitím knižnite transformers. Napíšte o modeloch, ktoré budete prezentovať. Zásobník úloh: - Pripravte aplikáciu do podoby vhodnej na nasadenie. Vytvorte Dockerfile. ## Bakalársky projekt 2021 Vytovrenie prehľadu existujúcich systémov QA. Stretnutie 17.12.2021 - Inštalácia funguje, ale spustenie nefunguje. Možný dôvod je to že to nie je kompatibilné s Windows. Alebo nastala chyba pri inštalácii. Úlohy: - Nainštalujte si WSL2 a Windows Terminal. - do ubuntu na wsl2 nainštalujte Anaconda for Linux. - Vyskúšajte to ešte raz do čistého prostredia anaconda. Staré zmažte. - Prejdite si knihu https://diveintopython3.net/ - Pozrite si https://github.com/gerulata/slovakbert a prečítajte si článok na Arxiv. https://arxiv.org/abs/2109.15254 . Vytvorte si nové Anaconda prostredie a prejdite si tutoriál na tej stránke. Stretnutie 10.12.2021 - Vyskúšané https://github.com/fastforwardlabs/question_answering, zatiaľ nefunguje. - Mierne vylepšené texty. Úlohy: Vyskúšajte nainštalovať https://github.com/facebookresearch/DrQA do virtuálneho priostredia Anaconda. Ako nainštalovať https://github.com/fastforwardlabs/question_answering: Je potrebné mať nekoľko GB voľného miesta. Ak je Váš počítač pomalý, vytvorím Vám konto na školskom servri. 1. Aktivujte si prázdne prostredie Anaconda. ``` conda create -m qa conda activate qa ``` 2. Nainštalujte Pytorch: ``` conda install pytorch=1.6 torchvision torchaudio cpuonly -c pytorch ``` 3. naklonujte repozitár ``` git clone https://github.com/fastforwardlabs/question_answering cd question_answering ``` 4. nainštalujte aplikáciu ``` pip install -r requirements.txt ``` 5. Spustite web rozhranie ``` streamlit run ./apps/wikiqa.py ``` Stretnutie 12.11.2021 - Pokračuje práca na texte - Nainštalovaná Anaconda - Začiatok Python Tutoriálu Úlohy: - Pokračujte v práci na texte. - Pokračujte v Python Tutoriáli. - Prečítajte si blogy na https://qa.fastforwardlabs.com/ Vyskúšajte si, či Vám to pôjde v Anaconde. - Nainštalujte si HuggingFace transformers: https://huggingface.co/transformers/installation.html do Anacondy - Prejdite si tutoriál https://huggingface.co/transformers/training.html - Ak Vám to pôjde, prejdite si tutoriál https://github.com/huggingface/notebooks/blob/master/examples/question_answering.ipynb - Ak sa zaseknete, skúsime to vyriešiť na konzultácii. Zásobník úloh: - Nainštalujte a vyskúšajte toto: https://github.com/facebookresearch/DrQA Stretnutie 5.11.2021 - Splnené zadané úlohy z minulého týždňa, okrem nainštalovania Stretnutie 28.10.2021 Stav: Vypracovaný prehľad viacerých systémov QA a viacerých datasetov na QA. Úlohy: - Navrhnite niekoľko spôsobov prekladu výrazu question answering systems do slovenčiny. - napr. systémy odpovedania na otázku, systémy pre generovanie odpovede na otázku v prirodzenom jazyku. - Vyhľadajte tieto termíny na internete. - Nainštalujte a vyskúšajte vybraný systém - Doplňte odkazy na odborné články do textu práce. Úlohy: - [x] Doplňte odkazy na zdroje, aj do textu. - [x] Doplňte teoretický úvod do QA. - [x] Dopíšte informácie o datasetoch SQUAD -1.0 a 2.0. a [MRQA](https://mrqa.github.io/2019/shared). - [x] Doplňte metodiku vyhodnotenia QA, napr. F1-precision-recall. - [ ] Vyberte jeden systém QA, skúste ho nainštalovať a vyskúšať tak ako je. Zásobník úloh: - Nainštalujte si najprv balíček Anaconda. - Prejdite si knihu https://diveintopython3.net/ Stretnutie 15.10.2021 Stav: - Začiatok písania prehľadu QA (nie hotový). Úlohy: - Vyberte min. dva odborné články alebo knihy a napíšte čo ste sa z nich dozvedeli o systémoch pre generovanie odpovede na otázku v prirodzenom jazyku, Napíšte bibliografické údaje o zdroji. - Webové stránky a blogy môžete tiež používať. - Nájdite a opíšte čo najviac QA systémov. Začať môžete systémom DRQA.