z
This commit is contained in:
parent
888f08f7ea
commit
8d03d79a43
62
pages/students/2018/adrian_remias/README.md
Normal file
62
pages/students/2018/adrian_remias/README.md
Normal file
@ -0,0 +1,62 @@
|
||||
---
|
||||
title: Adrián Remiáš
|
||||
published: true
|
||||
date: 01-02-2014
|
||||
taxonomy:
|
||||
category: [dp2024]
|
||||
tag: [nlp, transformers, interpuction]
|
||||
author: Daniel Hladek
|
||||
---
|
||||
# Adrián Remiáš
|
||||
|
||||
Rok začiatku štúdia: 2018
|
||||
|
||||
# Diplomová práca 2024
|
||||
|
||||
Návrh na zadamie:
|
||||
|
||||
- Vypracujte prehľad metód obnovy interpunkcie v slovenskom jazyku
|
||||
- Vypracujte prehľad metód jazykového modelovania pomocou neurónovej siete typu Transformer
|
||||
- Pripravte dátovú množinu pre trénovanie a vyhodnotneie neurónovej siete na úlohu dopĺňania a opravy interpunkcie.
|
||||
- Vyberte viacero neurónových modelov, natrénujte ich na úlohu dopňlňania a opravy interpunkcie
|
||||
- Vyhodnotte experimenty a vyberte najlepší model.
|
||||
|
||||
|
||||
Ciele:
|
||||
|
||||
- Natrénovanie modelu pre opravu iterpunkcie a jeho vyhodnotenie.
|
||||
- Výsledky by mali byť prezentovateľné vo vedeckom článku.
|
||||
|
||||
|
||||
Stretnutie 5.10.2023
|
||||
|
||||
Stav:
|
||||
|
||||
- Urobená bakalárska práca na tému "Analýza textu z pohľadu forenznej lingvistiky".
|
||||
|
||||
|
||||
Úlohy:
|
||||
|
||||
- Nainštalujte si balíček Anaconda. Pomocou neho si nainštalujete knižnicu Pytorch s podporou CUDA.
|
||||
|
||||
|
||||
conda install pytorch torchvision torchaudio pytorch-cuda=11.8 -c pytorch -c nvidia
|
||||
pip install transformers
|
||||
|
||||
- Oboznámte sa s frameworkom HuggingFace [Transformers](https://huggingface.co/docs/transformers/index). Vypracujte si viacero úvodných tutoriálov.
|
||||
- Podrobne sa oboznámte s úlohou [token classificaton](https://huggingface.co/docs/transformers/tasks/token_classification).
|
||||
- Prečítajte si [článok](https://ieeexplore.ieee.org/abstract/document/9089903 Comparison of Recurrent Neural Networks for Slovak Punctuation Restoration, urobte si poznámky.
|
||||
- Prečítajte si "Attention is all you need" https://arxiv.org/abs/1706.03762, urobte si poznámky.
|
||||
- Vyhľadajte heslo "punctuation restoration" na google scholar, poznačte si najdôležitejšie články. Prečítajte si ich a napíšte, akú metódu používaju.
|
||||
|
||||
Zásobník úloh:
|
||||
|
||||
- Vyberte množinu slovenských textov a upravte ju do podoby vhodnej na trénovanie neurónovej siete. Natrénujte neurónovú sieť.
|
||||
- Na katedrovom gite si vytvorte repozitár s názvom DP2024, do neho dajte kódy pre tvorbu dát a trénovanie siete. Dáta nedávajte na git.
|
||||
|
||||
|
||||
|
||||
|
||||
|
||||
|
||||
|
Loading…
Reference in New Issue
Block a user