From b41de7711f281266d162e0d862b6ba114b8b7271 Mon Sep 17 00:00:00 2001 From: dano Date: Wed, 4 Jun 2025 07:35:43 +0000 Subject: [PATCH] Update pages/students/2021/matej_novotny/README.md --- pages/students/2021/matej_novotny/README.md | 18 ++++++++++++++++++ 1 file changed, 18 insertions(+) diff --git a/pages/students/2021/matej_novotny/README.md b/pages/students/2021/matej_novotny/README.md index 177547ca..c5996f44 100644 --- a/pages/students/2021/matej_novotny/README.md +++ b/pages/students/2021/matej_novotny/README.md @@ -17,6 +17,24 @@ Klasifikácia webových dát pre lepšie jazykové modelovanie Cieľ je lepšie pripraviť webové dáta na trénovanie jazykového modelu. +1. Trénovacie dáta zotriedime podľa druhu (blogy, eshopy, wikipedia, tematicka stranka, diskusie, kniha, clanok,reklama). Druhy textu vyjadrujú kvalitu. Mozeme identifikovat aj domenu (zdravie, pravo, architektura, auta, ). Na to využijeme alebo natrénujeme model. Môžeme vyhodnotiť aj mieru nenávisti v danom texte. +2. Pomocou informacie o texte vieme zostaviť kvalitný všeobecný alebo tematický korpus. +3. Z týchto textov chceme natrénovať alebo dotrénovať jazykový model. + + +Stretnutie 4.6.2025 + +Stav: + +- naštudovaná klasifikácia pomocou Transformer. +- preskúmany mc4 dataset. + +Úloha: + +- naučiť sa procovať s HF Transformers. Prejdite si tutoriál na klasifikáciu dokumentov. Pozrite sa do adresára na githube examples/pytorch/classification, tam nájdete skripty pre klasifikáciu. + + + Stretnutie: