diff --git a/pages/students/2021/artur_hyrenko/README.md b/pages/students/2021/artur_hyrenko/README.md index 813dbbc5..5e87ea51 100644 --- a/pages/students/2021/artur_hyrenko/README.md +++ b/pages/students/2021/artur_hyrenko/README.md @@ -22,6 +22,34 @@ Možné ciele: - Vyhodnotiť viacero jazykových modelov vo viacerých jazykoch. - Navrhnúť zlepšenia na zvýšenie bezpečnosti. +Stretnutie 10.10.2025: + +Stav: + +Preštudované: + +- https://github.com/EleutherAI/lm-evaluation-harness?utm_source=chatgpt.com +- https://github.com/confident-ai/deepeval?utm_source=chatgpt.com +- https://github.com/open-compass/opencompass?utm_source=chatgpt.com +- https://github.com/explodinggradients/ragas?utm_source=chatgpt.com +- https://github.com/braintrustdata/autoevals?utm_source=chatgpt.com + +Úlohy: + +- pozrite si databázy PKU-Alignment/PKU-SafeRLHF alebo aurora-m/adversarial-prompts . Vyhľadajte iné databázy. +- Vyskúšajte LLM s týmito databázami. Ako sa bydú správať? +- Oboznámte sa s pojmom LLM alignment. Ako upravíme správanie jazykového modelu pomocou reinformcement learning? +- Používajte google scholar a píšte si poznámky. +- Pokračujte v otvorených úlohách - DPO. + +Zásobník úloh: + +- Vybrať metódy, vybrať databázu a vybrať model. Databázu vieme aj generovať - augmentovať. Alebo ju vieme ručne upraviť. +- Niektorú databázu viem aj preložiť. Prístup vieme použiť aj na nový jazykový model slovak-t5-large. +- Ako sa správajú modely v rôznych jazykoch? +- vyhodnotiť model z hľadiska bezpečnosti. +- upraviť správanie modelu tak aby sa zlepšilo. + Stretnutie 2.10. : Úlohy: