diff --git a/README.md b/README.md index 8a68024..39c182e 100644 --- a/README.md +++ b/README.md @@ -904,20 +904,20 @@ Pôvodné [konfigurácie](aya_300k_lr_experiments/configs/) a [tréningové logy Prvá séria obsahovala LR `0.00018`, `0.00020` a `0.00023`. Po jej vyhodnotení sa rozsah rozšíril smerom nadol o `0.00015`, `0.00010` a `0.00008`. Všetkých šesť behov dokončilo jednu epochu. -| Learning rate | Finálny eval loss | Minimálny eval loss | Krok minima | -|---:|---:|---:|---:| -| 0.00008 | 0.875217 | 0.875217 | 18 688 | -| **0.00010** | **0.872620** | **0.872620** | **18 688** | -| 0.00015 | 0.884270 | 0.884270 | 18 688 | -| 0.00018 | 0.891460 | 0.891388 | 18 000 | -| 0.00020 | 0.897669 | 0.897507 | 18 000 | -| 0.00023 | 0.903236 | 0.903193 | 18 000 | +| Learning rate | Finálny eval loss | +|---:|---:| +| 0.00008 | 0.875217 | +| **0.00010** | **0.872620** | +| 0.00015 | 0.884270 | +| 0.00018 | 0.891460 | +| 0.00020 | 0.897669 | +| 0.00023 | 0.903236 | **LR `0.00010` bol vybraný preto, že dosiahol najnižší finálny validačný loss zo všetkých šiestich 300k behov: `0.87261962890625`.** Rozdiel oproti LR `0.00008` je približne 0.002597. Ide o najlepší bodový výsledok v tejto sérii. Na 30k skúške bol najlepší skúšaný LR `0.0002`. Výsledky 300k série preto ukazujú význam overenia LR na väčšej vzorke. -Presné údaje sú v [pôvodnom LR súhrne](aya_300k_lr_experiments/results/aya_300k_lr_summary.csv), [rozšírenom súhrne behov](aya_300k_lr_experiments/results/training_run_summary.csv) a [histórii validačného loss](aya_300k_lr_experiments/results/eval_loss_history.csv). +Presné údaje sú v [súhrne](aya_300k_lr_experiments/results/aya_300k_lr_summary.csv).