From e20b208455a838bcbbaab40f4ae2bd1a649969aa Mon Sep 17 00:00:00 2001 From: Daniel Hladek Date: Wed, 14 Oct 2026 14:11:36 +0200 Subject: [PATCH] zz --- pages/interns/oleksandr_pichak/README.md | 37 ++++++++++++++++++++++++ 1 file changed, 37 insertions(+) create mode 100644 pages/interns/oleksandr_pichak/README.md diff --git a/pages/interns/oleksandr_pichak/README.md b/pages/interns/oleksandr_pichak/README.md new file mode 100644 index 000000000..6ea079bdf --- /dev/null +++ b/pages/interns/oleksandr_pichak/README.md @@ -0,0 +1,37 @@ +--- +title: Oleksandr Pichak +published: true +--- + +Kontinuálna adaptácia neurónových siete počas inferencie + +študent EKF, začiatok štúdia 2026 + +Ciele: + +Chceme zistiť, ako sa správa "kontinuálne" dotrénovanie siete počas infernecie. + +- Ako využijeme dotrénovanie z predošlých behov v nasledujúcich? +- Spôsobuje ďalšie využitie adaptácie zabúdanie? +- Je možné preniesť znalosť získanú adaptáciou do ďalšej domény? + + +Testovací scenár: + +- Máme generatívny model Qwen. +- Príkladom balíčka na ttt je https://github.com/nikitadurasov/torch-ttt alebo + +Úlohy: + + +- Vyberieme testovaciu množinu. Testovacia množina by mala byť dosť veľká aby sa mohlo prejaviť TTT pre viacero behov naraz. Mala byt tam byť aj iná množina pre testovanie prenosu medzi doménami. Potebujeme aspoň 2 domény ak chceme testovať prenos medzi doménami. +- Rozbehať TTT prístup a odmerať "prínos" v benchmarku. Ako vieme zlepšič výkon, ak použijeme TTT počas jedného behu? +- Rozbehať kontinuálny prístup a porovnať s predošlými výsledkami. Ako vieme zlepšiť výkon, ako použijeme TTT adaptáciu aj z k minulých behov. V rámci jednej domény. Ako sa zhorší výkon modelu v iných oblastiach? +- Aký je prenos medzi doménami - pomáhajú predošlé behy z inej domény? + +Zásobník úloh: + +- Preskúmať prístup Sangyun Lee, Sean Michael McLeish, Tom Goldstein, Giulia Fanti: "Language Models Need Sleep" +- Vytenis Šliogeris, Povilas Daniušis, Artūras Nakvosas, https://arxiv.org/abs/2505.05946 Full-Parameter Continual Pretraining of Gemma2: Insights into Fluency and Domain Knowledge + +