2024-04-26 10:04:25 +00:00
---
title: Andrii Pervashov
published: true
taxonomy:
category: [bp2025]
tag: [rag,nlp]
author: Daniel Hladek
---
rok začiatku štúdia: 2022
## Bakalárska práca 2025
Návrh na tému:
Korekcia textu pomocou neurónových sietí
- Oboznámte sa s existujúcimi systémami pre neurónový strojový preklad.
- Aplikujte existujúci model na opravu textu vo vybraných úlohách.
- Vyhodnnotte model pomocou overovacej množiny.
2024-10-03 09:11:54 +00:00
Stretnutie 3.10.2024
Stav:
- Spustený skript WikiEdits bez úprav. Výsledkom bol (asi) dobrý súbor csv s úpravami v slovenskom jazyku.
- Vyskúšané dotrénovanie modelu mt5-base na tejto databáze. Trénovanie sa spustí. Po zatvorení tmux sa trénovanie nepodarí obnoviť.
2024-09-04 11:03:03 +00:00
Online update 4.9.2024
2024-04-26 10:04:25 +00:00
Úlohy:
2024-09-04 11:03:03 +00:00
- Upravte skripty [WikiEdits ](https://github.com/snukky/wikiedits/tree/master/wikiedits ) na slovenský jazyk
2024-04-26 10:04:25 +00:00
2024-08-14 13:12:05 +00:00
Stav 14.8.2024:
2024-08-14 13:11:29 +00:00
2024-09-04 11:03:03 +00:00
- Nainštalovaná Anaconda, rozbehaný anglický trénovací skript s databázou WikiEdits a modelom T5small. Notebook je príliš pomalý na trénovanie.
2024-08-14 13:11:29 +00:00
- Oboznámenie sa s materiálmi - d2dl aj Python.
Úlohy:
- Pokračujte v štúdiu modelov T5 aj GPT aj ChatGPT. Robte si písomné poznámky. Poznačte si odkazy na odborné články, napr. Arxiv.
- Použite server google scholar a zistite ako sa robí ooprava textu pomocu modelu T5. Poznačte si články ktoré sa týkajú tejto témy a napíšte o čom tie články sú.
- Prečítajte si môj článok Survey of Automatic Spelling Correction a urobte si poznámky,
- dotrénujte anglický model t5 small na opravu a vyhodnotte ho. Na vyhodnotneie sa používa metrika WER, CER, SER, BLEU. Zistite čo to je.
Zásobník úloh:
- Natrénujte model pre opravu textu v slovenskom jazyku.
- Pripravte webové demo.
2024-09-04 11:03:03 +00:00
Stretnutie 26.4. 2024
Úlohy:
- Nainštalujte si prostredie Anaconda.
- Prejdite si knihu Dive Deep into Python 3.
- Prečítajte si knihu https://d2l.ai/ a napíšte si poznámky.
- Nainštalujte si Pytorch, a huggingface transformers a oboznámte sa ako funguje táto knižnica.
- Zistite ako funguje tento model https://huggingface.co/docs/transformers/en/model_doc/byt5
- Napíšte si poznámky o tom ako funguje model Transformers a ako funguje model T5.
