dmytro_ushatenko/pages/students/2019/michal_stromko/vp2023/articles/Making Monolingual Sentence Embeddings Multilingual using Knowledge Distillation.md

9 lines
755 B
Markdown
Raw Normal View History

# Making Monolingual Sentence Embeddings Multilingual using Knowledge Distillation
## Abstrak
- tento článok predstavuje vylepšenia vyhľadávania, na základe rozšírenia modelu, pomocou pridania nových viet do modelu.
- tieto vety su podobne tym ktore sa uz nachadzali v modeli, a vypocitane vektory by mali byt umiestnene, tak aby boli blyzko pri predtym vypocitanom embedingu.
- pri takomto trenovani pouzivame trenovanie viacjazycnych viet.
- vyhodou takéhoto použitia je jednoduché rozšírenie existujúcich modelov s relatívne malým počtom vzoriek.
- článok je zameraný na ukážku účinosti vyhľadávania pre viac ako 50 jazykov z rôznych rodín, v konečnom dôsledku to môže znamenať aj zahrnutie slovenského jazyka.