zpwiki/pages/students/2022/tetiana_mohorian

title	published	taxonomy
Tetiana Mohorian	true	category tag author bp2025 rag nlp Daniel Hladek

rok začiatku štúdia: 2022

Bakalárska práca 2025

• Spolupráca P. Pokrivčák
• Python
• Hate Speech

Návrh na tému:

Rozpoznávanie nenávistnej reči pomocou veľkých jazykových modelov.

• Oboznámte sa s existujúcimi veľkými jazykovými modelmi - uzatvorenými aj otvorenými.
• Aplikujte existujúci model na úlohu detekcie nenávistnej reči.
• Na adaptáciu použite "prompting" a "LORA".
• Vyhodnotte model pomocou overovacej množiny.

Stretnutie 18.10.2024

Stav:

• Urobené 3 prehľadové tabuľky s modelmi - architektúra, presnosť, multilinguaglita.
• Pozretá kniha DDIP3 a d2dl. Poznámky na 20 strán.
• Nainštalovaná OLLama, Transformers, vyskúšaný Mistral.
• Urobené všetko.

Úlohy:

• Pokračujte v písaní bakalárskej práce. Postupujte od definície úlohy, prehľad súčasného stavu, Vaše riešenie, experimenty a závery. Používajte odkazy na odbornú literatúru (vedecké články cez Google Scholar).
• Navrhnite promt (može byť aj viac rôznych) pre veľký jazykový model pre detekciu nenávistnej reči.
• Pomocou množiny vyhodnotte model pre detekciu HS v zero shot alebo v few shot scenári. Na vyhodnotenie použite metriku Precision-Recall-F1.
• Oboznámte sa ako funguje overenie veľkých jazykových modelov pomocu Eleuther lm-evaluation-harness.

Zásobník úloh:

• Dotrénujte vybrané modely na úlohu detekcie nenávistnej reči. Model bude vykonávať binárnu klasifikáciu.
• Pripravte skript pre overenie LLM na úlohe rozpoznávanie nenávistnej reči.
• Pripravte postup pre overenie pomocu existujúceho frameworku pre overenie.

Stretnutie 3.10.2024

Úlohy:

• Oboznámte sa s existujúcimi veľkými jazykovými modelmi - uzatvorenými aj otvorenými. Urobte si poznámky a napíšte prehľad.
• Prejdite si knihu Dive Deep into Python 3.
• Prečítajte si knihu https://d2l.ai/ a napíšte si poznámky.
• Zistite čo je to "prompting", a "few shot learning". Napíšte si poznámky.
• Oboznámte sa s OPEN AI Python API.
• Nainštalujte si prostredie Anaconda.
• Nainštalujte si Pytorch, a huggingface transformers a oboznámte sa ako funguje táto knižnica.
• Nainštalujte si prostredie OLLAMA a vyskúšajte lokálne jazykové modely

Zásobník úloh:

• Nainštalujte si knižnicu LangChain a pozrite si ako fungujú ChatModely