zz
This commit is contained in:
parent
d051688820
commit
53f990bab3
@ -22,6 +22,34 @@ Možné ciele:
|
||||
- Vyhodnotiť viacero jazykových modelov vo viacerých jazykoch.
|
||||
- Navrhnúť zlepšenia na zvýšenie bezpečnosti.
|
||||
|
||||
Stretnutie 10.10.2025:
|
||||
|
||||
Stav:
|
||||
|
||||
Preštudované:
|
||||
|
||||
- https://github.com/EleutherAI/lm-evaluation-harness?utm_source=chatgpt.com
|
||||
- https://github.com/confident-ai/deepeval?utm_source=chatgpt.com
|
||||
- https://github.com/open-compass/opencompass?utm_source=chatgpt.com
|
||||
- https://github.com/explodinggradients/ragas?utm_source=chatgpt.com
|
||||
- https://github.com/braintrustdata/autoevals?utm_source=chatgpt.com
|
||||
|
||||
Úlohy:
|
||||
|
||||
- pozrite si databázy PKU-Alignment/PKU-SafeRLHF alebo aurora-m/adversarial-prompts . Vyhľadajte iné databázy.
|
||||
- Vyskúšajte LLM s týmito databázami. Ako sa bydú správať?
|
||||
- Oboznámte sa s pojmom LLM alignment. Ako upravíme správanie jazykového modelu pomocou reinformcement learning?
|
||||
- Používajte google scholar a píšte si poznámky.
|
||||
- Pokračujte v otvorených úlohách - DPO.
|
||||
|
||||
Zásobník úloh:
|
||||
|
||||
- Vybrať metódy, vybrať databázu a vybrať model. Databázu vieme aj generovať - augmentovať. Alebo ju vieme ručne upraviť.
|
||||
- Niektorú databázu viem aj preložiť. Prístup vieme použiť aj na nový jazykový model slovak-t5-large.
|
||||
- Ako sa správajú modely v rôznych jazykoch?
|
||||
- vyhodnotiť model z hľadiska bezpečnosti.
|
||||
- upraviť správanie modelu tak aby sa zlepšilo.
|
||||
|
||||
Stretnutie 2.10. :
|
||||
|
||||
Úlohy:
|
||||
|
Loading…
Reference in New Issue
Block a user