du707zr/dmytro_ushatenko
1
0
Fork 0
forked from KEMT/zpwiki
Code Issues Pull Requests Releases Wiki Activity

Update 'pages/topics/bert/README.md'

Browse Source
This commit is contained in:
dano 2021-10-21 11:14:54 +00:00
parent 13faa91944
commit 98b34a632c
1 changed files with 2 additions and 8 deletions
Show Stats Download Patch File Download Diff File Expand all files Collapse all files

10
pages/topics/bert/README.md
View File

@ -6,11 +6,7 @@ author: Daniel Hládek
! Cieľ:
!
! - Natrénovať a slovenský jazykový model typu BERT z korpusu webových textov
! - Vyhodnotiť jazykový model dotrénovaním na úlohách:
! - SK-QUAD 2.0
! - POS z Slovak Treebank
! - kategórie zo Slovak Categorized news Corpus
! - Natrénovať a vyhodnotiť slovenský jazykový model typu BERT z korpusu webových textov
## Súvisiace projekty
@ -20,12 +16,10 @@ author: Daniel Hládek
- https://git.kemt.fei.tuke.sk/dano/bert-train
## Hotové úlohy
- Dotrénovaný model multilingual BERT base na SK QUAD, funguje demo skript. Nefunguje exaktné vyhodnotenie.
- Natrénovaný model Electra-small 128, slovník SNK Morpho 1M slov., 30 tisíc BPE tokenov. Squad Vyhodnotenie 0.17
- Natrénovaný model Electra-small 128, 256 batch size, learning 2e-4, skweb2017dedup, Slovník 32K wordpiece,
## Rozpracované úlohy