2024-05-16 09:33:37 +00:00
---
title: Serhii Yemets
published: true
taxonomy:
category: [bp2025]
tag: [ner,nlp]
author: Daniel Hladek
---
rok začiatku štúdia: 2022
2024-10-30 12:04:03 +00:00
# Bakalárska práca 2025
2024-05-16 09:33:37 +00:00
2024-10-30 11:51:04 +00:00
2024-05-16 09:33:37 +00:00
Cieľ:
- Zlepšenie slovenského modelu pre rozpoznávanie pomenovaných entít.
Do budúcnosti:
- Vypracovanie webového dema
- Využitie modelu v nejakej zaujímavej úlohe (chatbot alebo právne texty).
2024-10-30 11:51:04 +00:00
Stretnutie 30.10.2024
Stav:
- Napísané texty o NE.
- Vyskúšané a naštudované veci podľa pokynov,
- Začiatok práce na webovom deme.
Úlohy:
2024-10-30 12:03:49 +00:00
- Naštudujte korpusy s NER pre slovenský jazyk. Napíšte ich zoznam. Ku každému napíšte veľkosť (počet viet, slov) a druhy pomenovaných entít.
2024-10-30 12:17:27 +00:00
- Najprv budeme pracovať s ručne anotovanými dátami. Použite ich na natrénovanie modelu typu BERT (napr. SlovakBER alebo mbert) a vyhodnotte ich presnosť. Na trénovanie použite Spacy alebo Transformers.
2024-10-30 12:03:49 +00:00
- Pokračujte v písaní BP. Stručne (max. 1.5 strany) vysvetlite ako funguje transformer. Na google scholar nájdite vedecké články o NER a napíšte čo ste sa z nich dozvedeli. Aké majú výsledky a aké metódy používaju?
2024-10-30 12:17:27 +00:00
- Prejdite si tutoriál https://huggingface.co/docs/transformers/en/tasks/token_classification
2024-10-30 12:03:49 +00:00
Zásobník úloh:
2024-10-30 12:17:27 +00:00
- Natrénujte nový Spacy NER model ktorý by bol lepší ako pôvodný.
2024-10-30 12:03:49 +00:00
- Spojte viacero dátových množin (manuálne anotovaných) do jednej a použite je na natrénovanie modelu.
- Použite veľký jazykový model pre NER anotáciu a porovnajte ho s menším dotrénovaným NER modelom.
- Vykonané experimenty slovne opíšte a výslekdy zapíšte do tabuliek. Výsledky slovne okomentujte.
2024-10-30 11:51:04 +00:00
Stretnutie 20.5.20204
2024-05-16 09:33:37 +00:00
Úlohy:
2024-10-30 11:51:04 +00:00
- [x] Zistite čo je to rozpoznávanie pomenovaných entít (named entity recognition) a napíšte o tom správu.
- [x] Zopakujte si základy jazyka Python "Dive into Python 3". Nainštalujte si prostredie Anaconda.
- [x] Oboznámte sa s knižnicou Spacy a vyskúšajte si skripty v https://github.com/hladek/spacy-skmodel
- [x] Nainštalujte si knižnicu Huggingface Transformers. Oboznámte sa s ňou. Zistite, ako sa trénuje model NER pomocou takejto knižnice.
- [x] Zistite, aké modely a jazykové zdroje sú dostupné pre túto úlohy pre slovenský jazyk https://github.com/slovak-nlp/resources
2024-05-16 09:33:37 +00:00
Zásobník úloh:
- Pripravte viacero korpusov pre NER. Môžu byť aj viacjazyčné.
- Natrénujte model Huggingface pre NER
