forked from KEMT/zpwiki
Update 'pages/students/2019/kristian_sopkovic/README.md'
This commit is contained in:
parent
4bf9d7eb82
commit
84f7990e3b
@ -38,6 +38,21 @@ na trénovanie Sentence Transformer
|
||||
|
||||
## Diplomový projekt 2
|
||||
|
||||
Stretnutie 3.11.2023
|
||||
|
||||
Stav:
|
||||
|
||||
- Sú spracované ďalšie dáta o službách z Magistrátu Košíc.
|
||||
- Dotrénovanie multilinguálnych modelov na NLI databázach. MNLR loss. Model E5 a varianty. Batch size by mala byť najmenej 256. LR na finetuning je E-5. Preto je možné pracovať iba so SMALL model. Max seq. len bol orezaný na 256 z 512 aby to išlo na 1x24 GB Titan.
|
||||
- SIMSCE prístup na trénovanie pomocou MNLR, je SOTA. Koher reranker je tiež SOTA, ale je komerčný.
|
||||
- Pokračujeme v minulých úlohách.
|
||||
|
||||
Úlohy:
|
||||
|
||||
- Chceme dotrénovať E5 model na anglickom, nemeckom a slovenskom SNLI pre úlohu kros linguálneho IR. Vyhodnocovať budeme na SQUADE anglickom, nemeckom a slovenskom jazyku.
|
||||
|
||||
|
||||
|
||||
Stretnutie 13.10.2023
|
||||
|
||||
Stav:
|
||||
|
Loading…
Reference in New Issue
Block a user