zpwiki/pages/students/2019/patrik_pokrivcak/README.md

2.0 KiB

title published taxonomy
Patrik Pokrivčák true
category tag author
dp2025
nlp
hate
Daniel Hladek

rok začiatku štúdia: 2019

Diplomová práca

Téma:

Rozpoznávanie nenávistnej reči pomocou veľkých jazykových modelov

Cieľe:

  • Naučiť sa rozpoznávať nenávistnú reči HS pomocou LLM - lokálnych alebo komerčných.
  • Zlepšiť chopnosti LLM pre rozpoznávanie HS - dotrénovaním alebo promptingom.
  • Vytvoriť demo
  • Výsledky prezentovať na konferencii - alebo článku.

Nápad:

  • Generovanie nenávistnej reči pre účely trénovania.
  • Rozpoznávanie HS pomocou embeding modelov, few shot alebo dotrénovanie.

Súvisiaca téma:

Stretnutie 10.5.2024

Stav:

  • Poznámky o neurónových sieťach a rozbehané HF tarnsformers.

Úlohy:

  • Pokračovať v otvorených úlohách.

Stretnutie 5.4.

Stav:

  • Začiatok štúdia Python a LMM.

Úlohy:

  • Pokračujte v štúdiu neurónových sietí a klasifikácie nenávsistnej reči podľa otvorených úloh. Píšte si poznámky.
  • [-] Zistite, ako pracuje model GPT. Zistite čo je to prompting. Navrhnite "prompt" pre ChatGPT ktorý by klasifikoval nenávistnú reč.
  • Oboznámte sa s knižnicou HF transformers. Nainštalujte si ju. Prejdite si jeden alebo 2 tutoriály.
  • Zistite ako funguje "few shot" alebo "zero shot" learning s GPT modelom. Vyskúšajte si to z HF Transformers. napr. https://huggingface.co/blog/few-shot-learning-gpt-neo-and-inference-api

Stretnutie 15.2.

Úlohy:

  • Nainštalujte si prostredie Anaconda. Naučiť sa lepšie programovať v jazyku Python.
  • [-] Prečítajte si Dive into Python 3.
  • Priečítajte si Dive into Deep learning.
  • Zistite si čo je to nenávistná reč a ako sa rozpoznáva pomocou neurónových sietí. Napíšte si o tom poznámky na dve strany.
  • [-] Zistite, aké existujú veľké jazykové modely a ako pracujú. Napíšte o tom poznámky na 2 strany.