forked from KEMT/zpwiki
		
	
		
			
				
	
	
		
			202 lines
		
	
	
		
			5.8 KiB
		
	
	
	
		
			Markdown
		
	
	
	
	
	
			
		
		
	
	
			202 lines
		
	
	
		
			5.8 KiB
		
	
	
	
		
			Markdown
		
	
	
	
	
	
| ---
 | |
| title: Alina Vitko
 | |
| published: true
 | |
| taxonomy:
 | |
|     category: [bp2022]
 | |
|     tag: [ir,qa,nlp]
 | |
|     author: Daniel Hladek
 | |
| ---
 | |
| 
 | |
| rok začiatku štúdia: 2019
 | |
| 
 | |
| # Bakalárska práca 2022
 | |
| 
 | |
| Systémy pre generovanie odpovede na otázku v prirodzenom jazyku
 | |
| 
 | |
| 
 | |
| 1. Vypracujte prehľad aktuálnych metód pre generovanie odpovede na otázku v prirodzenom jazyku.
 | |
| 2. Vyberte a podrobne opíšte  existujúci systém pre generovanie odpovede na otázku v prirodzenom slovenskom jazyku.
 | |
| 3. Vytvorte demonštračnú webovú aplikáciu pre vybraný systém.
 | |
| 4. Navrhnite zlepšenia systému pre generovanie odpovede.
 | |
| 
 | |
| Stretnutie 8.4.
 | |
| 
 | |
| Progres zatiaľ nenastal.
 | |
| 
 | |
| Úlohy platia z minulého stretnutia.
 | |
| 
 | |
| Zásobník úloh:
 | |
| 
 | |
| - Študujte Python a Docker.
 | |
| - Pripravte nasadenie aplikácie pomocou systému Docker. Napíšte Dockerfile.
 | |
| - Napíšte vlastnú aplikáciu Streamlit alebo inej knižnice (pywebio, gradio).
 | |
| - Inšpirujte sa:
 | |
|     - https://github.com/gradio-app/hub-bert-squad
 | |
|     - https://www.mihaileric.com/posts/state-of-the-art-question-answering-streamlit-huggingface/
 | |
| 
 | |
| 
 | |
| 
 | |
| Stretnutie 17.1.2022
 | |
|  
 | |
| - Zmenené texty v demo aplikácii
 | |
| - Pridaná časť do textu práce
 | |
| 
 | |
| Úlohy:
 | |
| 
 | |
| - Dokončiť demo slovenským modelom podľa minulých úloh.
 | |
| - pokračovať v písaní práce.
 | |
| 
 | |
| Stretnutie 28.1.
 | |
| 
 | |
| - Demo aplikácia funguje - vieme ju spustit aj nainstalovat.
 | |
| - Vytvorený repozitár so zdrojovými kódmi demo aplikácie https://git.kemt.fei.tuke.sk/dano/qademo
 | |
| 
 | |
| Úlohy:
 | |
| 
 | |
| - Naklonujte si repozitár. 
 | |
| - Získajte slovenský model a dajte ho do adresára models. Zistite, akého typu je slovenský model. 
 | |
| - Modifikujte demo aplikáciu tak, aby pracovala so slovenským modelom.
 | |
| - Modifikujte demo aplikáciu tak aby bola "naša". Preložte ju, doplnte obrázky.
 | |
| - Oboznámte sa s knižnicou https://streamlit.io/
 | |
| - Do práce pridajte časť, kde podrobne opíšete ako funguje QA s použitím knižnite transformers. Napíšte o modeloch, ktoré budete prezentovať.
 | |
| 
 | |
| 
 | |
| Zásobník úloh:
 | |
| 
 | |
| - Pripravte aplikáciu do podoby vhodnej na nasadenie. Vytvorte Dockerfile.
 | |
| 
 | |
| 
 | |
| 
 | |
| ## Bakalársky projekt 2021
 | |
| 
 | |
| Vytovrenie prehľadu existujúcich systémov QA.
 | |
| 
 | |
| Stretnutie 17.12.2021
 | |
| 
 | |
| - Inštalácia funguje, ale spustenie nefunguje. Možný dôvod je to že to nie je kompatibilné s Windows. Alebo nastala chyba pri inštalácii.
 | |
| 
 | |
| Úlohy:
 | |
| 
 | |
| - Nainštalujte si WSL2 a Windows Terminal.
 | |
| - do ubuntu na wsl2 nainštalujte Anaconda for Linux.
 | |
| - Vyskúšajte to ešte raz do čistého prostredia anaconda. Staré zmažte.
 | |
| - Prejdite si knihu https://diveintopython3.net/
 | |
| - Pozrite si https://github.com/gerulata/slovakbert a prečítajte si článok na Arxiv. https://arxiv.org/abs/2109.15254 . Vytvorte si nové Anaconda prostredie a prejdite si tutoriál na tej stránke.
 | |
| 
 | |
| 
 | |
| 
 | |
| Stretnutie 10.12.2021
 | |
| 
 | |
| - Vyskúšané https://github.com/fastforwardlabs/question_answering, zatiaľ nefunguje.
 | |
| - Mierne vylepšené texty.
 | |
| 
 | |
| Úlohy:
 | |
| 
 | |
| Vyskúšajte nainštalovať https://github.com/facebookresearch/DrQA do virtuálneho priostredia Anaconda.
 | |
| 
 | |
| 
 | |
| Ako nainštalovať https://github.com/fastforwardlabs/question_answering:
 | |
| 
 | |
| Je potrebné mať nekoľko GB voľného miesta. Ak je Váš počítač pomalý, vytvorím Vám konto na školskom servri.
 | |
| 
 | |
| 1. Aktivujte si prázdne prostredie Anaconda. 
 | |
|     
 | |
| ```
 | |
|     conda create -m qa
 | |
|     conda activate qa
 | |
| ```
 | |
| 
 | |
| 2. Nainštalujte Pytorch:
 | |
| 
 | |
| ```
 | |
|     conda install pytorch=1.6 torchvision torchaudio cpuonly -c pytorch
 | |
| ```
 | |
| 
 | |
| 3. naklonujte repozitár
 | |
| 
 | |
| ```
 | |
|     git clone https://github.com/fastforwardlabs/question_answering
 | |
|     cd question_answering
 | |
| ```
 | |
| 
 | |
| 4. nainštalujte aplikáciu
 | |
| 
 | |
| ```
 | |
|     pip install -r requirements.txt
 | |
| ```
 | |
| 
 | |
| 5. Spustite web rozhranie
 | |
| 
 | |
| ```
 | |
|     streamlit run ./apps/wikiqa.py
 | |
| ```
 | |
| 
 | |
| 
 | |
| 
 | |
| 
 | |
| Stretnutie 12.11.2021
 | |
| 
 | |
| - Pokračuje práca na texte
 | |
| - Nainštalovaná Anaconda
 | |
| - Začiatok Python Tutoriálu
 | |
| 
 | |
| Úlohy:
 | |
| 
 | |
| - Pokračujte v práci na texte.
 | |
| - Pokračujte v Python Tutoriáli.
 | |
| - Prečítajte si blogy na https://qa.fastforwardlabs.com/ Vyskúšajte si, či Vám to pôjde v Anaconde.
 | |
| - Nainštalujte si HuggingFace transformers: https://huggingface.co/transformers/installation.html do Anacondy
 | |
| - Prejdite si tutoriál https://huggingface.co/transformers/training.html
 | |
| - Ak Vám to pôjde, prejdite si tutoriál https://github.com/huggingface/notebooks/blob/master/examples/question_answering.ipynb
 | |
| - Ak sa zaseknete, skúsime to vyriešiť na konzultácii.
 | |
| 
 | |
| 
 | |
| Zásobník úloh:
 | |
| 
 | |
| - Nainštalujte a vyskúšajte toto: https://github.com/facebookresearch/DrQA
 | |
| 
 | |
| 
 | |
| Stretnutie 5.11.2021
 | |
| 
 | |
| - Splnené zadané úlohy z minulého týždňa, okrem nainštalovania
 | |
| 
 | |
| Stretnutie 28.10.2021
 | |
| 
 | |
| Stav:
 | |
| 
 | |
| Vypracovaný prehľad viacerých systémov QA a viacerých datasetov na QA.
 | |
| 
 | |
| Úlohy:
 | |
| 
 | |
| - Navrhnite niekoľko spôsobov prekladu výrazu question answering systems do slovenčiny. 
 | |
| - napr. systémy odpovedania na otázku, systémy pre generovanie odpovede na otázku v prirodzenom jazyku.
 | |
| - Vyhľadajte tieto termíny na internete.
 | |
| - Nainštalujte a vyskúšajte vybraný systém
 | |
| - Doplňte odkazy na odborné články do textu práce. 
 | |
| 
 | |
| Úlohy:
 | |
| 
 | |
| - [x] Doplňte odkazy na zdroje, aj do textu.
 | |
| - [x] Doplňte teoretický úvod do QA.
 | |
| - [x] Dopíšte informácie o datasetoch SQUAD -1.0 a 2.0. a [MRQA](https://mrqa.github.io/2019/shared).
 | |
| - [x] Doplňte metodiku vyhodnotenia QA, napr. F1-precision-recall.
 | |
| - [ ] Vyberte jeden systém QA, skúste ho nainštalovať a vyskúšať tak ako je.
 | |
| 
 | |
| Zásobník úloh:
 | |
| 
 | |
| - Nainštalujte si najprv balíček Anaconda.
 | |
| - Prejdite si knihu https://diveintopython3.net/
 | |
| 
 | |
| Stretnutie 15.10.2021
 | |
| 
 | |
| Stav:
 | |
| 
 | |
| - Začiatok písania prehľadu QA (nie hotový).
 | |
| 
 | |
| Úlohy:
 | |
| 
 | |
| - Vyberte min. dva odborné články alebo knihy a napíšte čo ste sa z nich dozvedeli o systémoch pre generovanie odpovede na otázku v prirodzenom jazyku, Napíšte bibliografické údaje o zdroji.
 | |
| - Webové stránky a blogy môžete tiež používať.
 | |
| - Nájdite a opíšte čo najviac QA systémov. Začať môžete systémom DRQA.
 | |
| 
 |