diff --git a/pages/topics/bert/README.md b/pages/topics/bert/README.md index 2e6e8a43..d8f27213 100644 --- a/pages/topics/bert/README.md +++ b/pages/topics/bert/README.md @@ -45,10 +45,11 @@ author: Daniel Hládek - Dotrénovanie trvá iba niekoľko hodín. - Electric small 128 nefunguje na Quadre kvôli pamäti, - Spotrebu pamäte ovplyvňujú veľkosť vstupného vektora, veľkosť trénovacej dávky. +- V SLovak Bert bola veľkosť vstupného vektora 512. Máme toľko pamäte? ## Budúci výskum -- Zistiť aký je optimálny počet tokenov? +- Zistiť aký je optimálny počet tokenov? V Slovak BERT použili 50k. - Zistiť aký je optimálný slovník? - Pripraviť webové demo na slovenské QA. - Integrovať QA s dialógovým systémom.