| .. | ||
| README.md | ||
| title | published | taxonomy | ||||||||
|---|---|---|---|---|---|---|---|---|---|---|
| Vladyslav Krupko | true |
|
rok začiatku štúdia: 2020
Bakalárska práca 2024
Na Maise je vypísaná nová téma ohľadom "konverzačnej umelej inteligencie". Je potrebné čím skôr finalizovať tému aj praconvé úlohy.
Ciele:
- Dotrénovať ChatGPT alebo iný generatívny model pre vlastnú databázu otázok a odpovedí.
Stretnutie 21.11.2023
Stav:
- Napísaný text na tému Seq2Seq.
- Napísaný scraper pre získavanie dát z E shopu.
Úlohy:
- Skúste dotrénovať model ChatGPT. Využijeme kredity Azure pre študentov . Prihlásite sa ako študent do MAISU. Prejdite si tutoriál. Dávajte pozor, aby ste si nevyčerpali študentské kredity.
- Zistite, ako funguje ChatGPT a ako ho dotrénovať. Prečítajte si niekoľko blogov a napíšte si poznámky. Použite aj odkazy na odborné články.
- Zistite, ako vyhodnotiť dotrénovaný model. Ako funguje https://github.com/openai/evals ? Napíšte o tom poznánky.
Zásobník úloh:
- Urobte si repozitár bp2024 na git.kemt.fei.tuke.sk. Skripty dávajte na git.
- Na generovanie odpovedí použijeme jednoduchý model T5-small v HF transformers.
- Vytvorte trénovaciu databázu ktorá Vás zaujíma vo formáte ktorý je požadovaný. Druhá možnosť je využiť "Košické dáta".
- Preštudujte si knihu https://d2l.ai/ a napíšte si z nej poznámky.
- Zistite ako funguje model T5 a model BART a napíšte o tom správu na 3 strany. Odborné články vyhľadajte na Google Scholar. Do správy zapíšte ktoré odborné články ste prečítali.
- Nainštalujte si prostredie Anaconda.
- Nainštalujte si knižnicu HF transformers, prejdite si základný tutoriál.
- Prejdite si tutoriál https://huggingface.co/docs/transformers/tasks/summarization
Bakalárska práca 2023
Téma: Oprava preklepov v slovenskom jazyku.
Súvisiaca dizertačná práca Maroš Harahus.
Cieľ:
- Naštudovať si problematiku opravy preklepov a napísať prehľad aktuálnych metód.
- Vykonať jednoduchý experiment na automatickú opravu preklepov pomocou neurónovej siete.
- Naprogramovať webovú demo aplikáciu.
Stretnutie 28.9.2023
Stav:
- Nainštalovaná Anaconda, problém s CUDA.
Úlohy:
- Pokračujte v otvorených úlohách z minulého roka.
- Na inštalovanie Pytorch je potrebné nainštalovať najprv CUDa cez Anaconda.
conda install pytorch==1.10.0 torchvision==0.11.0 torchaudio==0.10.0 cudatoolkit=10.2 -c pytorch
Nápad:
- Natrénovať chatbota pre pomoc zákazníkom. Aké trénovacie dáta a aký model použiť?
Stretnutie 29.9.2022
Úlohy:
- Prečítajte si článok "Survey of Automatic Spelling Correction" a napíšte z neho poznámky na cca 2 strany.
- Prečítajte si článok Comparison of recurrent neural networks for slovak punctuation restoration.
- Zistite, ako funguje neurónový strojový preklad. Prečítajte si niekoľko blogov a napíšte si poznámky na jednu stranu, uveďte aj odkazy na články. Kľúčové slovíčko je enkóder-dekóder architektúra.
- Nainštalujte si systém Anaconda.
- [-] Nainštalujte si knižnicu Pytorch
Zásobník úloh:
- Nainštalujte si systém Fairseq
- Prejdite si aspoň jeden fairseq tutoriál, napr. https://fairseq.readthedocs.io/en/latest/tutorial_simple_lstm.html
Zásobník úloh:
- Vybrať dáta a urobiť experiment.
- naprogramovať demo.