2023-06-29 08:42:00 +00:00
---
2023-12-20 09:33:56 +00:00
title: Nikita Bodnar
2023-06-29 08:42:00 +00:00
published: true
taxonomy:
2024-10-10 08:46:23 +00:00
category: [vp2023,bp2024,bp2025]
2023-06-29 08:42:00 +00:00
tag: [chatbot,rasa,dialog,nlp]
author: Daniel Hladek
---
rok začiatku štúdia: 2021
2024-11-28 15:04:53 +00:00
# Bakalárska práca 2025
Stav:
- Nainštalovaný MarianMT a rozbehaný preklad z nemčiny do angličtiny.
- Textová časť je neuspokojivá.
Úlohy:
- Naučte sa trénovať systém pre strojový preklad.
- Vytvorte korpus pre trénovanie systému na opravu textu. Korpus vytvoríte z webového textu (mc4-sk) do ktorého programovo pridáte chyby. Text korpusu mc4 nájdete na HuggingFace Hube. Knižnica datasets slúži na prácu s korpusmi. Korpus musí byť "dostatočne" (viac ako 1GB) veľký.
- Natrénujte a vyhodnotte model.
- Píšte BP do šablóny podľa pokynov. Prečítajte si odborné články a používajte odkazy. Odborné články nájdete na Google Scholar.
2023-06-29 08:42:00 +00:00
# Bakalárska práca 2024
2024-10-10 08:46:23 +00:00
Korekcia textu pomocou neurónových sietí
2023-06-29 08:42:00 +00:00
2024-10-10 08:46:23 +00:00
Spolupráca: Maroš Harahus, Andrii Pervashov
2023-06-29 08:42:00 +00:00
2023-12-20 09:33:05 +00:00
Zadanie BP:
2024-01-24 09:03:35 +00:00
1. Vypracujte prehľad existujúcich systémov pre neurónový strojový preklad.
2023-12-20 09:33:05 +00:00
2. Definujte úlohu korekcie textu a vysvetlite, ako je možné ju riešiť pomocou systému pre strojový preklad.
3. Vyberte a pripravte dáta do vhodnej podoby a aplikujte existujúci model pre strojový preklad na opravu textu vo vybranej úlohe.
4. Číselne a slovne vyhodnoťte model na vybranej úlohe. Identifikujte jeho slabé miesta a navrhnite zlepšenia.
2023-06-29 08:42:00 +00:00
2024-01-24 09:03:35 +00:00
Stretnutie 24.1.2024:
Stav:
- Nie je posun.
Úlohy:
2024-11-28 15:04:53 +00:00
- Natrénujte jednoduchý ľubovoľný model pre strojový preklad pomocou Marian NMT. Skripty su v repozitári bert-train.
2024-01-24 09:03:35 +00:00
- Natrénujte model pre opravu korekcie na slovenskom texte a vyhodnoote ho.
- Pokračujte v písaní bakalárskej práce.
2023-11-23 13:01:12 +00:00
Stretnutie 23.11.2023
Stav:
- Prečítaný článok o Spelling a urobené poznámky
- Ostatné úlohy: in progress. Treba pridať!!!
Úlohy:
2024-01-24 09:03:35 +00:00
- Vedúcim bol odovzdaný funkčný Marian na servri IDOC. Aj model pre generovanie-opravu znakov. Oboznámte sa so systémov. Spustite model pre preklad. Spustite trénovanie.
- Vyhodnotte presnosť tohoto systému. Presnosť sa hodnotí metrikou WER, CER. Skripty nájdete v bert-train repozitári.
2023-11-23 13:01:12 +00:00
- Zlepšite tento systém.
- V texte vysvetlite, ako funguje model typu Transformer. Vysvetlite, ako funguje Marian NMT. Aké neurónové siete používa? Uvedte aj odkazy na odborné články.
2023-06-29 08:42:00 +00:00
2023-10-06 07:32:25 +00:00
Stretnutie 6.10.
2023-06-29 08:42:00 +00:00
Stav:
2023-10-06 07:32:25 +00:00
- Štúdium Python a neurónové siete.
2023-07-03 14:21:08 +00:00
Stretnutie 3.7.
2023-10-06 07:32:25 +00:00
Stav:
Existuje model Marian NMT rep korekciu.
2023-07-03 14:21:08 +00:00
2023-07-03 14:26:05 +00:00
2023-10-06 07:32:25 +00:00
Úloha:
2023-07-03 14:21:08 +00:00
2023-10-06 07:32:25 +00:00
- [-] Zistite ako funguje neurónová sieť typu Transformer.
2023-11-23 12:40:16 +00:00
- [x] Nainštalujte si systém Anaconda a prejdite si knihu Dive into Pyhton 3.
2023-10-06 07:32:25 +00:00
- [ ] Zistite ako funguje strojový preklad.
2023-11-23 12:40:16 +00:00
- [x] Prečítajte si článok Hládek: "Survey of Automatic Spelling Correction" a *urobte si poznámky* .
2023-11-23 13:01:12 +00:00
- [-] Prečítajte si knihu https://d2l.ai/
2023-10-06 07:32:25 +00:00
- [ ] Vaše zistenia zapíšte do textového súboru. Pridajte odkazy na zdroje - odborné články a blogy.
- [ ] Oboznámiť sa zo systémom Marian NMT. Nainštalujte si to a vyskúšajte nejaké demo na strojový preklad.
- [ ] Získajte prístup na školský server idoc.
2023-07-03 14:21:08 +00:00
2023-07-03 14:26:05 +00:00
Zásobník úloh:
2023-07-03 14:21:08 +00:00
- Vyskúšaje natrénovať model Marian NMT podľa návodu na stránke.
- Získajte od vedúceho skripty pre trénovanie Marian NMT na úlohu korekcie textu.
- Podľa nich natrénujte a vyhodnotte model.
- Zistite s akými parametrami model pracuje najlepšie. Skúste model vylepšiť.
- Vypracujte webové demo.
