From 6c9ad5bd3d0940af6bd6df43d574db86f8d42e42 Mon Sep 17 00:00:00 2001 From: Jakub Date: Sun, 4 Oct 2026 23:56:42 +0200 Subject: [PATCH] README --- README.md | 3 +-- 1 file changed, 1 insertion(+), 2 deletions(-) diff --git a/README.md b/README.md index 30e44df..9ec94bf 100644 --- a/README.md +++ b/README.md @@ -695,7 +695,6 @@ Naopak experiment: mal najlepší validačný `eval_loss = 0.6918`, ale nebol najlepší vo väčšine externých benchmarkov. Jeho najlepší výsledok v rámci Hruška experimentov bol `truthfulqa_sk_mc1 = 0.2057`. -To ukazuje dôležitý rozdiel medzi validačným lossom a downstream benchmarkmi: nižší loss na validačnej časti Aya datasetu neznamená automaticky najlepší výkon na nezávislých úlohách. Validačný loss meria predovšetkým prispôsobenie dátovej distribúcii použitej pri tréningu, zatiaľ čo benchmarky merajú odlišné schopnosti modelu. Ďalšie pozorovania: @@ -759,7 +758,7 @@ Preto sa nedá povedať, že checkpoint s najnižším validačným lossom je au ## Súhrnné porovnanie vybraných modelov | Model / checkpoint | ARC acc_norm | HellaSwag acc_norm | M-MMLU acc | TQA MC1 | TQA MC2 | SKLegal acc_norm | SKQuad F1 | -|---|---:|---:|---:|---:|---:|---:|---:|---:| +|---|---:|---:|---:|---:|---:|---:|---:| | Alpaca QLoRA | 0.3473 | 0.5106 | 0.2928 | 0.2391 | 0.3942 * | 0.4693 | 27.7994 | | Hruška 08 attention-only | 0.3524 | 0.5218 | 0.3448 | 0.1877 | 0.3674 | 0.4768 | 43.3752 | | Hruška 10 best eval loss | 0.3293 | 0.5157 | 0.3448 | 0.2057 | 0.3480 | 0.4618 | 37.7561 |