---
title: Oleksandr Pichak
published: true
---

Kontinuálna adaptácia neurónových siete počas inferencie

študent EKF, začiatok štúdia 2026

Ciele:

Chceme zistiť, ako sa správa "kontinuálne" dotrénovanie siete počas infernecie. 
   
- Ako využijeme dotrénovanie z predošlých behov v nasledujúcich?
- Spôsobuje ďalšie využitie adaptácie zabúdanie?
- Je možné preniesť znalosť získanú adaptáciou do ďalšej domény?
- Publikovať článok na túto tému.

Stretnuie 14.10.

Testovací scenár:

- Máme generatívny model Qwen.
- Príkladom balíčka na ttt je https://github.com/nikitadurasov/torch-ttt alebo 

Úlohy:


- Vyberieme testovaciu množinu.  Testovacia množina by mala byť dosť veľká aby sa mohlo prejaviť TTT pre viacero behov naraz. Mala byt tam byť aj iná množina pre testovanie prenosu medzi doménami. Potebujeme aspoň 2 domény ak chceme testovať prenos medzi doménami.
- Rozbehať TTT prístup a odmerať "prínos" v benchmarku. Ako vieme zlepšič výkon, ak použijeme TTT počas jedného behu?
- Rozbehať kontinuálny prístup a porovnať s predošlými výsledkami. Ako vieme zlepšiť výkon, ako použijeme TTT adaptáciu aj z k minulých behov. V rámci jednej domény.  Ako sa zhorší výkon modelu v iných oblastiach?
- Aký je prenos medzi doménami - pomáhajú predošlé behy z inej domény?

Zásobník úloh:

- Preskúmať prístup Sangyun Lee, Sean Michael McLeish, Tom Goldstein, Giulia Fanti: "Language Models Need Sleep" 	
- Vytenis Šliogeris, Povilas Daniušis, Artūras Nakvosas, https://arxiv.org/abs/2505.05946 Full-Parameter Continual Pretraining of Gemma2: Insights into Fluency and Domain Knowledge