KEMT/zpwiki
32
1
Fork 9
Code Issues Pull Requests Releases Wiki Activity

zz

Browse Source
This commit is contained in:
Daniel Hládek 2025-10-10 11:13:21 +02:00
parent d051688820
commit 53f990bab3
1 changed files with 28 additions and 0 deletions
Show Stats Download Patch File Download Diff File Expand all files Collapse all files

28
pages/students/2021/artur_hyrenko/README.md
View File

@ -22,6 +22,34 @@ Možné ciele:
- Vyhodnotiť viacero jazykových modelov vo viacerých jazykoch.
- Navrhnúť zlepšenia na zvýšenie bezpečnosti.
Stretnutie 10.10.2025:
Stav:
Preštudované:
- https://github.com/EleutherAI/lm-evaluation-harness?utm_source=chatgpt.com
- https://github.com/confident-ai/deepeval?utm_source=chatgpt.com
- https://github.com/open-compass/opencompass?utm_source=chatgpt.com
- https://github.com/explodinggradients/ragas?utm_source=chatgpt.com
- https://github.com/braintrustdata/autoevals?utm_source=chatgpt.com
Úlohy:
- pozrite si databázy PKU-Alignment/PKU-SafeRLHF alebo aurora-m/adversarial-prompts . Vyhľadajte iné databázy.
- Vyskúšajte LLM s týmito databázami. Ako sa bydú správať?
- Oboznámte sa s pojmom LLM alignment. Ako upravíme správanie jazykového modelu pomocou reinformcement learning?
- Používajte google scholar a píšte si poznámky.
- Pokračujte v otvorených úlohách - DPO.
Zásobník úloh:
- Vybrať metódy, vybrať databázu a vybrať model. Databázu vieme aj generovať - augmentovať. Alebo ju vieme ručne upraviť.
- Niektorú databázu viem aj preložiť. Prístup vieme použiť aj na nový jazykový model slovak-t5-large.
- Ako sa správajú modely v rôznych jazykoch?
- vyhodnotiť model z hľadiska bezpečnosti.
- upraviť správanie modelu tak aby sa zlepšilo.
Stretnutie 2.10. :
Úlohy: