forked from KEMT/zpwiki
.. | ||
README.md |
title | published | taxonomy | |||||||||
---|---|---|---|---|---|---|---|---|---|---|---|
Patrik Pokrivčák | true |
|
rok začiatku štúdia: 2019
Diplomová práca
Téma:
Rozpoznávanie nenávistnej reči pomocou veľkých jazykových modelov
Cieľe:
- Naučiť sa rozpoznávať nenávistnú reči HS pomocou LLM - lokálnych alebo komerčných.
- Zlepšiť chopnosti LLM pre rozpoznávanie HS - dotrénovaním alebo promptingom.
- Vytvoriť demo
- Výsledky prezentovať na konferencii - alebo článku.
Nápad:
- Generovanie nenávistnej reči pre účely trénovania.
- Rozpoznávanie HS pomocou embeding modelov, few shot alebo dotrénovanie.
Súvisiaca téma:
Stretnutie 10.5.2024
Stav:
- Poznámky o neurónových sieťach a rozbehané HF tarnsformers.
- Práca s Kaggle.
Úlohy:
- Pokračovať v otvorených úlohách a štúdiu.
- Zistite čo je to SentenceTransformer. Prejdite si tutoriál https://sbert.net/docs/usage/semantic_textual_similarity.html Ako model použite multilingual e5 base alebo slovakbert-mnlr.
- Prečítajte si niekoľko vedeckých článkov o klasifikácii HS, poznačte si ich informácie a urobte si poznámky. Na vyhľadanie článkov použite google scholar.
Zásobník úloh:
- Vyskúšajte Ollama a niekoľko jazykových modelov (LLAMA3, mistral, ) pre few-shot rozpoznávanie HS.
- Dotrénujte embedding model na HS detection
- Pripravte dáta na vyhodnotenie few shot klasifikácie.
Stretnutie 5.4.
Stav:
- Začiatok štúdia Python a LMM.
Úlohy:
- Pokračujte v štúdiu neurónových sietí a klasifikácie nenávsistnej reči podľa otvorených úloh. Píšte si poznámky.
- [-] Zistite, ako pracuje model GPT. Zistite čo je to prompting. Navrhnite "prompt" pre ChatGPT ktorý by klasifikoval nenávistnú reč.
- Oboznámte sa s knižnicou HF transformers. Nainštalujte si ju. Prejdite si jeden alebo 2 tutoriály.
- Zistite ako funguje "few shot" alebo "zero shot" learning s GPT modelom. Vyskúšajte si to z HF Transformers. napr. https://huggingface.co/blog/few-shot-learning-gpt-neo-and-inference-api
Stretnutie 15.2.
Úlohy:
- Nainštalujte si prostredie Anaconda. Naučiť sa lepšie programovať v jazyku Python.
- [-] Prečítajte si Dive into Python 3.
- Priečítajte si Dive into Deep learning.
- Zistite si čo je to nenávistná reč a ako sa rozpoznáva pomocou neurónových sietí. Napíšte si o tom poznámky na dve strany.
- [-] Zistite, aké existujú veľké jazykové modely a ako pracujú. Napíšte o tom poznámky na 2 strany.