From 5c2545f1d5159331745f66c60c4b56e77a25c8c8 Mon Sep 17 00:00:00 2001 From: dano Date: Tue, 12 Oct 2021 15:16:25 +0000 Subject: [PATCH] Update 'pages/topics/bert/README.md' --- pages/topics/bert/README.md | 3 ++- 1 file changed, 2 insertions(+), 1 deletion(-) diff --git a/pages/topics/bert/README.md b/pages/topics/bert/README.md index 2e6e8a4343..d8f2721338 100644 --- a/pages/topics/bert/README.md +++ b/pages/topics/bert/README.md @@ -45,10 +45,11 @@ author: Daniel Hládek - Dotrénovanie trvá iba niekoľko hodín. - Electric small 128 nefunguje na Quadre kvôli pamäti, - Spotrebu pamäte ovplyvňujú veľkosť vstupného vektora, veľkosť trénovacej dávky. +- V SLovak Bert bola veľkosť vstupného vektora 512. Máme toľko pamäte? ## Budúci výskum -- Zistiť aký je optimálny počet tokenov? +- Zistiť aký je optimálny počet tokenov? V Slovak BERT použili 50k. - Zistiť aký je optimálný slovník? - Pripraviť webové demo na slovenské QA. - Integrovať QA s dialógovým systémom.