zpwiki/pages/students/2020/david_kostilnik

title	published	taxonomy
Dávid Kostilník	true	category tag author dp2025 ir Daniel Hladek

rok začiatku štúdia: 2020

Diplomová práca 2025

Ešte sa rozhodne.

Téma:

Sémantické vyhľadávanie pomocou veľkých modelov

• Tvorba datasetu prekladom, využitie existujúcich datasetov
• Dotrénovanie existujúceho modelu pomocou preloženého MS MARCO.

Ciele:

• Zlepšiť RAG.

Stretnutie 29.1.2024

Stav:

• Prečítané nejaké články. Inak nič.

Úlohy:

• Podrobne si naštudujte a vyskúšajte framework Sentence Transformers. Využite Google Colab.
• Podrobne si naštudujte databázu MS MARCO. Zistite a vyskúšajte dotrénovanie anglického modelu na databáze MS Marco.

Zásobník úloh:

• pracujte na servri quadro a prostredí Anaconda.

Diplomový projekt 2024

Stretnutie 4.4. 2024

Úlohy:

• Oboznámte sa s tým, ako funguje neurónová sieť typu Transformer. Urobte si poznámky. Poznačete si zdroje, uprednostnite vedecké články.
• Oboznámte sa ako funguje rekurentná neurónová sieť. Sústreďte sa na typ RWKV. Urobte si poznmámy.
• Vyskúšajte si túto NN. Začnite tu https://wiki.rwkv.com/basic/play.html

Zásobník úloh:

• Oboznámte sa ako funguje NN Mamba.
• Zostavte RAG systém s pomocou RWKV.
• Oboznámte sa ako funguje Sentence Transformer.
• Porovnajte embeddingy RWKV s inými metódami (Sentence Transformers)

Stretnutie 15.2.2024

Úlohy:

• Oboznámte sa s prácou K. Sopkovič a M. Stromko.