KEMT/zpwiki
32
1
Fork 9
Code Issues Pull Requests Releases Wiki Activity

Update 'pages/students/2019/kristian_sopkovic/README.md'

Browse Source
This commit is contained in:
dano 2023-11-03 08:19:42 +00:00
parent 4bf9d7eb82
commit 84f7990e3b
1 changed files with 15 additions and 0 deletions
Show Stats Download Patch File Download Diff File Expand all files Collapse all files

15
pages/students/2019/kristian_sopkovic/README.md
View File

@ -38,6 +38,21 @@ na trénovanie Sentence Transformer
## Diplomový projekt 2
Stretnutie 3.11.2023
Stav:
- Sú spracované ďalšie dáta o službách z Magistrátu Košíc.
- Dotrénovanie multilinguálnych modelov na NLI databázach. MNLR loss. Model E5 a varianty. Batch size by mala byť najmenej 256. LR na finetuning je E-5. Preto je možné pracovať iba so SMALL model. Max seq. len bol orezaný na 256 z 512 aby to išlo na 1x24 GB Titan.
- SIMSCE prístup na trénovanie pomocou MNLR, je SOTA. Koher reranker je tiež SOTA, ale je komerčný.
- Pokračujeme v minulých úlohách.
Úlohy:
- Chceme dotrénovať E5 model na anglickom, nemeckom a slovenskom SNLI pre úlohu kros linguálneho IR. Vyhodnocovať budeme na SQUADE anglickom, nemeckom a slovenskom jazyku.
Stretnutie 13.10.2023
Stav: