z

pages/students/2018/adrian_remias/README.md

@@ -0,0 +1,62 @@
+---
+title: Adrián Remiáš
+published: true
+date: 01-02-2014
+taxonomy:
+    category: [dp2024]
+    tag: [nlp, transformers, interpuction]
+    author: Daniel Hladek
+---
+# Adrián Remiáš
+
+Rok začiatku štúdia: 2018
+
+# Diplomová práca 2024
+
+Návrh na zadamie:
+
+- Vypracujte prehľad metód obnovy interpunkcie v slovenskom jazyku
+- Vypracujte prehľad metód jazykového modelovania pomocou neurónovej siete typu Transformer
+- Pripravte dátovú množinu pre trénovanie a vyhodnotneie  neurónovej siete na úlohu dopĺňania a opravy interpunkcie.
+- Vyberte viacero neurónových modelov, natrénujte ich na úlohu dopňlňania a opravy interpunkcie
+- Vyhodnotte experimenty a vyberte najlepší model. 
+
+
+Ciele:
+
+- Natrénovanie modelu pre opravu iterpunkcie a jeho vyhodnotenie.
+- Výsledky by mali byť prezentovateľné vo vedeckom článku.
+
+
+Stretnutie 5.10.2023
+
+Stav:
+
+- Urobená bakalárska práca na tému "Analýza textu z pohľadu forenznej lingvistiky".
+
+
+Úlohy:
+
+-  Nainštalujte si balíček Anaconda. Pomocou neho si nainštalujete knižnicu Pytorch s podporou CUDA.
+
+    
+        conda install pytorch torchvision torchaudio pytorch-cuda=11.8 -c pytorch -c nvidia
+        pip install transformers
+
+- Oboznámte sa s frameworkom HuggingFace [Transformers](https://huggingface.co/docs/transformers/index). Vypracujte si viacero úvodných tutoriálov.
+- Podrobne sa oboznámte s úlohou [token classificaton](https://huggingface.co/docs/transformers/tasks/token_classification).
+- Prečítajte si [článok](https://ieeexplore.ieee.org/abstract/document/9089903 Comparison of Recurrent Neural Networks for Slovak Punctuation Restoration, urobte si poznámky.
+- Prečítajte si "Attention is all you need" https://arxiv.org/abs/1706.03762, urobte si poznámky.
+- Vyhľadajte heslo "punctuation restoration" na google scholar, poznačte si najdôležitejšie články. Prečítajte si ich a napíšte, akú metódu používaju.
+
+Zásobník úloh:
+
+- Vyberte množinu slovenských textov a upravte ju do podoby  vhodnej na trénovanie neurónovej siete. Natrénujte neurónovú sieť.
+- Na katedrovom gite si vytvorte repozitár s názvom DP2024, do neho dajte kódy pre tvorbu dát a trénovanie siete. Dáta nedávajte na git.
+
+
+
+
+
+
+