1.9 KiB
1.9 KiB
| title | published | taxonomy | ||||||||
|---|---|---|---|---|---|---|---|---|---|---|
| Dávid Kostilník | true |
|
rok začiatku štúdia: 2020
Diplomová práca 2025
Ešte sa rozhodne.
Téma:
Sémantické vyhľadávanie pomocou veľkých modelov
- Tvorba datasetu prekladom, využitie existujúcich datasetov
- Dotrénovanie existujúceho modelu typu BERT pomocou preloženého MS MARCO.
Ciele:
- Zlepšiť RAG.
Stretnutie 29.10.2024
Stav:
- Prečítané nejaké články. Inak nič.
Úlohy:
- Podrobne si naštudujte a vyskúšajte framework Sentence Transformers https://sbert.net/index.html. Využite Google Colab na príklady.
- Podrobne si naštudujte databázu MS MARCO. Zistite a vyskúšajte dotrénovanie anglického modelu typu BERT (bert, roberta, xlm, deberta ...) na databáze MS Marco.
- Píšte si poznámky o tom čo ste zistili o SBERT. Použite odkazy na vedecké články. Vedecké článkuý nájdete na Google Scholar.
Zásobník úloh:
- pracujte na servri quadro a prostredí Anaconda.
- Natrénujte slovenský BERT model na preloženej databáze MS MARCO (WIP K. Sopkovič).
Diplomový projekt 2024
Stretnutie 4.4. 2024
Úlohy:
- Oboznámte sa s tým, ako funguje neurónová sieť typu Transformer. Urobte si poznámky. Poznačete si zdroje, uprednostnite vedecké články.
- Oboznámte sa ako funguje rekurentná neurónová sieť. Sústreďte sa na typ RWKV. Urobte si poznmámy.
- Vyskúšajte si túto NN. Začnite tu https://wiki.rwkv.com/basic/play.html
Zásobník úloh:
- Oboznámte sa ako funguje NN Mamba.
- Zostavte RAG systém s pomocou RWKV.
- Oboznámte sa ako funguje Sentence Transformer.
- Porovnajte embeddingy RWKV s inými metódami (Sentence Transformers)
Stretnutie 15.2.2024
Úlohy:
- Oboznámte sa s prácou K. Sopkovič a M. Stromko.