diff --git a/pages/topics/bert/README.md b/pages/topics/bert/README.md index ec62a362..6cd33df5 100644 --- a/pages/topics/bert/README.md +++ b/pages/topics/bert/README.md @@ -6,11 +6,7 @@ author: Daniel Hládek ! Cieľ: ! -! - Natrénovať a slovenský jazykový model typu BERT z korpusu webových textov -! - Vyhodnotiť jazykový model dotrénovaním na úlohách: -! - SK-QUAD 2.0 -! - POS z Slovak Treebank -! - kategórie zo Slovak Categorized news Corpus +! - Natrénovať a vyhodnotiť slovenský jazykový model typu BERT z korpusu webových textov ## Súvisiace projekty @@ -20,12 +16,10 @@ author: Daniel Hládek - https://git.kemt.fei.tuke.sk/dano/bert-train - - ## Hotové úlohy - Dotrénovaný model multilingual BERT base na SK QUAD, funguje demo skript. Nefunguje exaktné vyhodnotenie. -- Natrénovaný model Electra-small 128, slovník SNK Morpho 1M slov., 30 tisíc BPE tokenov. Squad Vyhodnotenie 0.17 +- Natrénovaný model Electra-small 128, 256 batch size, learning 2e-4, skweb2017dedup, Slovník 32K wordpiece, ## Rozpracované úlohy