From 84f7990e3b7fcda537c5da79506a7ef04f2a3533 Mon Sep 17 00:00:00 2001 From: dano Date: Fri, 3 Nov 2023 08:19:42 +0000 Subject: [PATCH] Update 'pages/students/2019/kristian_sopkovic/README.md' --- pages/students/2019/kristian_sopkovic/README.md | 15 +++++++++++++++ 1 file changed, 15 insertions(+) diff --git a/pages/students/2019/kristian_sopkovic/README.md b/pages/students/2019/kristian_sopkovic/README.md index 9d642934..f3e4b7d1 100644 --- a/pages/students/2019/kristian_sopkovic/README.md +++ b/pages/students/2019/kristian_sopkovic/README.md @@ -38,6 +38,21 @@ na trénovanie Sentence Transformer ## Diplomový projekt 2 +Stretnutie 3.11.2023 + +Stav: + +- Sú spracované ďalšie dáta o službách z Magistrátu Košíc. +- Dotrénovanie multilinguálnych modelov na NLI databázach. MNLR loss. Model E5 a varianty. Batch size by mala byť najmenej 256. LR na finetuning je E-5. Preto je možné pracovať iba so SMALL model. Max seq. len bol orezaný na 256 z 512 aby to išlo na 1x24 GB Titan. +- SIMSCE prístup na trénovanie pomocou MNLR, je SOTA. Koher reranker je tiež SOTA, ale je komerčný. +- Pokračujeme v minulých úlohách. + +Úlohy: + +- Chceme dotrénovať E5 model na anglickom, nemeckom a slovenskom SNLI pre úlohu kros linguálneho IR. Vyhodnocovať budeme na SQUADE anglickom, nemeckom a slovenskom jazyku. + + + Stretnutie 13.10.2023 Stav: