zz

pages/students/2021/artur_hyrenko/README.md

@@ -22,6 +22,34 @@ Možné ciele:
 - Vyhodnotiť viacero jazykových modelov vo viacerých jazykoch.
 - Navrhnúť zlepšenia na zvýšenie bezpečnosti.
 
+Stretnutie 10.10.2025:
+
+Stav:
+
+Preštudované:
+
+- https://github.com/EleutherAI/lm-evaluation-harness?utm_source=chatgpt.com
+- https://github.com/confident-ai/deepeval?utm_source=chatgpt.com
+- https://github.com/open-compass/opencompass?utm_source=chatgpt.com
+- https://github.com/explodinggradients/ragas?utm_source=chatgpt.com
+- https://github.com/braintrustdata/autoevals?utm_source=chatgpt.com
+
+Úlohy:
+
+- pozrite si databázy PKU-Alignment/PKU-SafeRLHF alebo aurora-m/adversarial-prompts . Vyhľadajte iné databázy.
+- Vyskúšajte LLM s týmito databázami. Ako sa bydú správať?
+- Oboznámte sa s pojmom LLM alignment. Ako upravíme správanie jazykového modelu pomocou reinformcement learning?
+- Používajte google scholar a píšte si poznámky.
+- Pokračujte v otvorených úlohách - DPO.
+
+Zásobník úloh:
+
+- Vybrať metódy, vybrať databázu a vybrať model. Databázu vieme aj generovať - augmentovať.  Alebo ju vieme ručne upraviť. 
+- Niektorú databázu viem aj preložiť. Prístup vieme použiť aj na nový jazykový model slovak-t5-large.
+- Ako sa správajú modely v rôznych jazykoch?
+- vyhodnotiť model z hľadiska bezpečnosti.
+- upraviť správanie modelu tak aby sa zlepšilo.
+
 Stretnutie 2.10. :
 
 Úlohy: