du707zr/dmytro_ushatenko
1
0
Fork 0
forked from KEMT/zpwiki
Code Issues Pull Requests Releases Wiki Activity

Aktualizovat „pages/students/2016/lukas_pokryvka/README.md“

Browse Source
This commit is contained in:
Lukáš Pokrývka 2020-03-30 15:48:18 +00:00
parent 94fbc8f201
commit 5417ed5a34
1 changed files with 1 additions and 1 deletions
Show Stats Download Patch File Download Diff File Expand all files Collapse all files

2
pages/students/2016/lukas_pokryvka/README.md
View File

@ -60,5 +60,5 @@ Stretnutie 9.3.2020
Ako prvý nástroj na zoznámenie sa s trénovaním W2V som zvolil Gensim. Nevýhodou knižnice je, že pri trénovaní nevyužíva GPU v žiadnom prípade. Podľa zdrojov na internete je však Gensim násobne rýchlejšia knižnica pri implementácii na menšie korpusy (https://rare-technologies.com/gensim-word2vec-on-cpu-faster-than-word2veckeras-on-gpu-incubator-student-blog/). Keďže môj korpus má približne 30GB, trénovanie pomocou Gensim by zrejme nebol najlepší nápad. Preto som si z korpusu vytiahol prvých 10,000 riadkov a otestoval implementáciu na tomto súbore. Celý skript je dostupný na [gensim_W2V.py](./dp2021/scripts/gensim_w2v.py).
Výsledok nebol vôbec presný, čo sa vzhľadom na veľkosť korpusu dalo očakávať. Pri slove letisko bola však zhoda vysoká, čo potvrdzuje správnosť implementácie.
![Výsledok implementácie Gensim](./gensim.png)
![Výsledok implementácie Gensim](./gensim.PNG)
Keďže som mal problém skript s plným korpusom spustiť na školskom serveri, v ďalšom riešení chcem využiť aj GPU. V úvahu pripadá aj rozdelenie korpusu na viacero častí s tým, že sa zachová kontext.