From 8d03d79a43fe5882184013bbf92f01a93f034969 Mon Sep 17 00:00:00 2001 From: Daniel Hladek Date: Thu, 5 Oct 2023 09:40:21 +0200 Subject: [PATCH] z --- pages/students/2018/adrian_remias/README.md | 62 +++++++++++++++++++++ 1 file changed, 62 insertions(+) create mode 100644 pages/students/2018/adrian_remias/README.md diff --git a/pages/students/2018/adrian_remias/README.md b/pages/students/2018/adrian_remias/README.md new file mode 100644 index 000000000..cb84a0c86 --- /dev/null +++ b/pages/students/2018/adrian_remias/README.md @@ -0,0 +1,62 @@ +--- +title: Adrián Remiáš +published: true +date: 01-02-2014 +taxonomy: + category: [dp2024] + tag: [nlp, transformers, interpuction] + author: Daniel Hladek +--- +# Adrián Remiáš + +Rok začiatku štúdia: 2018 + +# Diplomová práca 2024 + +Návrh na zadamie: + +- Vypracujte prehľad metód obnovy interpunkcie v slovenskom jazyku +- Vypracujte prehľad metód jazykového modelovania pomocou neurónovej siete typu Transformer +- Pripravte dátovú množinu pre trénovanie a vyhodnotneie neurónovej siete na úlohu dopĺňania a opravy interpunkcie. +- Vyberte viacero neurónových modelov, natrénujte ich na úlohu dopňlňania a opravy interpunkcie +- Vyhodnotte experimenty a vyberte najlepší model. + + +Ciele: + +- Natrénovanie modelu pre opravu iterpunkcie a jeho vyhodnotenie. +- Výsledky by mali byť prezentovateľné vo vedeckom článku. + + +Stretnutie 5.10.2023 + +Stav: + +- Urobená bakalárska práca na tému "Analýza textu z pohľadu forenznej lingvistiky". + + +Úlohy: + +- Nainštalujte si balíček Anaconda. Pomocou neho si nainštalujete knižnicu Pytorch s podporou CUDA. + + + conda install pytorch torchvision torchaudio pytorch-cuda=11.8 -c pytorch -c nvidia + pip install transformers + +- Oboznámte sa s frameworkom HuggingFace [Transformers](https://huggingface.co/docs/transformers/index). Vypracujte si viacero úvodných tutoriálov. +- Podrobne sa oboznámte s úlohou [token classificaton](https://huggingface.co/docs/transformers/tasks/token_classification). +- Prečítajte si [článok](https://ieeexplore.ieee.org/abstract/document/9089903 Comparison of Recurrent Neural Networks for Slovak Punctuation Restoration, urobte si poznámky. +- Prečítajte si "Attention is all you need" https://arxiv.org/abs/1706.03762, urobte si poznámky. +- Vyhľadajte heslo "punctuation restoration" na google scholar, poznačte si najdôležitejšie články. Prečítajte si ich a napíšte, akú metódu používaju. + +Zásobník úloh: + +- Vyberte množinu slovenských textov a upravte ju do podoby vhodnej na trénovanie neurónovej siete. Natrénujte neurónovú sieť. +- Na katedrovom gite si vytvorte repozitár s názvom DP2024, do neho dajte kódy pre tvorbu dát a trénovanie siete. Dáta nedávajte na git. + + + + + + +