zpwiki/pages/topics/bert/README.md

---
title: Jazykový model slovenského jazyka
published: true
author: Daniel Hládek
---

! Cieľ:
!
! - Natrénovať a slovenský jazykový model typu BERT z korpusu webových textov
! - Vyhodnotiť jazykový model dotrénovaním na úlohách:
!    - SK-QUAD 2.0
!    - POS z Slovak Treebank
!    - kategórie zo Slovak Categorized news Corpus

## Súvisiace projekty

- [SlovakBERT](https://github.com/gerulata/slovakbert) od Kinit, a [článok](https://arxiv.org/abs/2109.15254)
- [SK Quad](/topics/question) - Slovak Question Answering Dataset 
- bakalárska práca [Ondrej Megela](/students/2018/ondrej_megela)

## Hotové úlohy

- Dotrénovaný model multilingual BERT base  na SK QUAD, funguje demo skript. Nefunguje exaktné vyhodnotenie.
- Natrénovaný model Electra-small 128, slovník SNK Morpho 1M slov., 30 tisíc BPE tokenov. Squad Vyhodnotenie 0.17

## Rozpracované úlohy

- Natrénovať Electra Base.
- Vylepšiť parametre trénovania.
- Dokončiť SK SQUAD databázu pre exaktné vyhodnotenie.
- Dotrénovať model na SK QUAD a exaktne vyhodnotiť pomocou oficiálneho squad skriptu.
- Pripraviť aj iné množiny na vyhodnotnie:
    - kategorizácia textu na SCNC1.
    - POS na Slovak Treebank.
    - pripraviť iné množiny.

## Poznámky

- Nie každý model je vhodný na QA. Je potrebné aby mal veľký rozmer vstupného vektora aby aj dlhší odsek mohol byť na vstupe. Z toho dôvodu "small model" asi nestačí na QA.
- Väčší vstupný rozmer je obmedzený veľkosťou RAM pri trénovaní. Pri electre bolo max. 256 tokenov na odsek. 
- Electra vie využiť iba jednu Titan kartu, druhú zbytočne blokuje.
- Trénovanie base electra trvá cca 40 dní na jednej karte.
- Trénovanie electra small trvá asi 3 dni na jednej karte Titan RTX, ale model už ďalej nekonverguje po jednom dni.
- Trénovanie electra small trvá asi 7 dní na jednej karte GTX1080
- Dotrénovanie trvá iba niekoľko hodín.
- Electric small 128 nefunguje na Quadre kvôli pamäti,
- Spotrebu pamäte  ovplyvňujú veľkosť vstupného vektora, veľkosť trénovacej dávky.
- V SLovak Bert bola veľkosť vstupného vektora 512. Máme toľko pamäte?

## Budúci výskum

- Zistiť aký je optimálny počet tokenov? V Slovak BERT použili 50k.
- Zistiť aký je optimálný slovník?
- Pripraviť webové demo na slovenské QA.
- Integrovať QA s dialógovým systémom.
- Integrovať QA s vyhľadávačom.
- Zostaviť multilinguálny BERT model.
- Natrénovať BART model.
- Natrénovať model založený na znakoch.
zz 2021-10-12 11:52:58 +00:00			`---`
			`title: Jazykový model slovenského jazyka`
			`published: true`
			`author: Daniel Hládek`
			`---`

			`! Cieľ:`
			`!`
			`! - Natrénovať a slovenský jazykový model typu BERT z korpusu webových textov`
			`! - Vyhodnotiť jazykový model dotrénovaním na úlohách:`
			`! - SK-QUAD 2.0`
			`! - POS z Slovak Treebank`
			`! - kategórie zo Slovak Categorized news Corpus`

			`## Súvisiace projekty`

			`- [SlovakBERT](https://github.com/gerulata/slovakbert) od Kinit, a [článok](https://arxiv.org/abs/2109.15254)`
			`- [SK Quad](/topics/question) - Slovak Question Answering Dataset`
zz 2021-10-12 11:55:31 +00:00			`- bakalárska práca [Ondrej Megela](/students/2018/ondrej_megela)`
zz 2021-10-12 11:52:58 +00:00
			`## Hotové úlohy`

			`- Dotrénovaný model multilingual BERT base na SK QUAD, funguje demo skript. Nefunguje exaktné vyhodnotenie.`
Update 'pages/topics/bert/README.md' 2021-10-12 15:19:45 +00:00			`- Natrénovaný model Electra-small 128, slovník SNK Morpho 1M slov., 30 tisíc BPE tokenov. Squad Vyhodnotenie 0.17`
zz 2021-10-12 11:52:58 +00:00
			`## Rozpracované úlohy`

			`- Natrénovať Electra Base.`
			`- Vylepšiť parametre trénovania.`
			`- Dokončiť SK SQUAD databázu pre exaktné vyhodnotenie.`
			`- Dotrénovať model na SK QUAD a exaktne vyhodnotiť pomocou oficiálneho squad skriptu.`
			`- Pripraviť aj iné množiny na vyhodnotnie:`
			`- kategorizácia textu na SCNC1.`
			`- POS na Slovak Treebank.`
			`- pripraviť iné množiny.`

			`## Poznámky`

			`- Nie každý model je vhodný na QA. Je potrebné aby mal veľký rozmer vstupného vektora aby aj dlhší odsek mohol byť na vstupe. Z toho dôvodu "small model" asi nestačí na QA.`
			`- Väčší vstupný rozmer je obmedzený veľkosťou RAM pri trénovaní. Pri electre bolo max. 256 tokenov na odsek.`
			`- Electra vie využiť iba jednu Titan kartu, druhú zbytočne blokuje.`
			`- Trénovanie base electra trvá cca 40 dní na jednej karte.`
zz 2021-10-12 13:09:09 +00:00			`- Trénovanie electra small trvá asi 3 dni na jednej karte Titan RTX, ale model už ďalej nekonverguje po jednom dni.`
			`- Trénovanie electra small trvá asi 7 dní na jednej karte GTX1080`
zz 2021-10-12 11:52:58 +00:00			`- Dotrénovanie trvá iba niekoľko hodín.`
zz 2021-10-12 13:09:09 +00:00			`- Electric small 128 nefunguje na Quadre kvôli pamäti,`
			`- Spotrebu pamäte ovplyvňujú veľkosť vstupného vektora, veľkosť trénovacej dávky.`
Update 'pages/topics/bert/README.md' 2021-10-12 15:16:25 +00:00			`- V SLovak Bert bola veľkosť vstupného vektora 512. Máme toľko pamäte?`
zz 2021-10-12 11:52:58 +00:00
			`## Budúci výskum`

Update 'pages/topics/bert/README.md' 2021-10-12 15:16:25 +00:00			`- Zistiť aký je optimálny počet tokenov? V Slovak BERT použili 50k.`
zz 2021-10-12 11:52:58 +00:00			`- Zistiť aký je optimálný slovník?`
			`- Pripraviť webové demo na slovenské QA.`
			`- Integrovať QA s dialógovým systémom.`
			`- Integrovať QA s vyhľadávačom.`
			`- Zostaviť multilinguálny BERT model.`
			`- Natrénovať BART model.`
			`- Natrénovať model založený na znakoch.`