From 98b34a632cd42a85ff1eecb7f5a4c0b31ae328cc Mon Sep 17 00:00:00 2001 From: dano Date: Thu, 21 Oct 2021 11:14:54 +0000 Subject: [PATCH] Update 'pages/topics/bert/README.md' --- pages/topics/bert/README.md | 10 ++-------- 1 file changed, 2 insertions(+), 8 deletions(-) diff --git a/pages/topics/bert/README.md b/pages/topics/bert/README.md index ec62a362e8..6cd33df561 100644 --- a/pages/topics/bert/README.md +++ b/pages/topics/bert/README.md @@ -6,11 +6,7 @@ author: Daniel Hládek ! Cieľ: ! -! - Natrénovať a slovenský jazykový model typu BERT z korpusu webových textov -! - Vyhodnotiť jazykový model dotrénovaním na úlohách: -! - SK-QUAD 2.0 -! - POS z Slovak Treebank -! - kategórie zo Slovak Categorized news Corpus +! - Natrénovať a vyhodnotiť slovenský jazykový model typu BERT z korpusu webových textov ## Súvisiace projekty @@ -20,12 +16,10 @@ author: Daniel Hládek - https://git.kemt.fei.tuke.sk/dano/bert-train - - ## Hotové úlohy - Dotrénovaný model multilingual BERT base na SK QUAD, funguje demo skript. Nefunguje exaktné vyhodnotenie. -- Natrénovaný model Electra-small 128, slovník SNK Morpho 1M slov., 30 tisíc BPE tokenov. Squad Vyhodnotenie 0.17 +- Natrénovaný model Electra-small 128, 256 batch size, learning 2e-4, skweb2017dedup, Slovník 32K wordpiece, ## Rozpracované úlohy