js886io/Diplomovka
1
0
Fork 0
Code Issues Pull Requests Actions Packages Projects Releases Wiki Activity

oprava

Browse Source
This commit is contained in:
Jakub Schwarc 2026-10-25 01:18:39 +02:00
parent 6e7ae9d1da
commit fada5550d3
1 changed files with 9 additions and 9 deletions
Show Stats Download Patch File Download Diff File Expand all files Collapse all files

18
README.md
View File

@ -904,20 +904,20 @@ Pôvodné [konfigurácie](aya_300k_lr_experiments/configs/) a [tréningové logy
Prvá séria obsahovala LR `0.00018`, `0.00020` a `0.00023`. Po jej vyhodnotení sa rozsah rozšíril smerom nadol o `0.00015`, `0.00010` a `0.00008`. Všetkých šesť behov dokončilo jednu epochu. Prvá séria obsahovala LR `0.00018`, `0.00020` a `0.00023`. Po jej vyhodnotení sa rozsah rozšíril smerom nadol o `0.00015`, `0.00010` a `0.00008`. Všetkých šesť behov dokončilo jednu epochu.
| Learning rate | Finálny eval loss | Minimálny eval loss | Krok minima | | Learning rate | Finálny eval loss |
|---:|---:|---:|---:| |---:|---:|
| 0.00008 | 0.875217 | 0.875217 | 18 688 | | 0.00008 | 0.875217 |
| **0.00010** | **0.872620** | **0.872620** | **18 688** | | **0.00010** | **0.872620** |
| 0.00015 | 0.884270 | 0.884270 | 18 688 | | 0.00015 | 0.884270 |
| 0.00018 | 0.891460 | 0.891388 | 18 000 | | 0.00018 | 0.891460 |
| 0.00020 | 0.897669 | 0.897507 | 18 000 | | 0.00020 | 0.897669 |
| 0.00023 | 0.903236 | 0.903193 | 18 000 | | 0.00023 | 0.903236 |
**LR `0.00010` bol vybraný preto, že dosiahol najnižší finálny validačný loss zo všetkých šiestich 300k behov: `0.87261962890625`.** Rozdiel oproti LR `0.00008` je približne 0.002597. Ide o najlepší bodový výsledok v tejto sérii. **LR `0.00010` bol vybraný preto, že dosiahol najnižší finálny validačný loss zo všetkých šiestich 300k behov: `0.87261962890625`.** Rozdiel oproti LR `0.00008` je približne 0.002597. Ide o najlepší bodový výsledok v tejto sérii.
Na 30k skúške bol najlepší skúšaný LR `0.0002`. Výsledky 300k série preto ukazujú význam overenia LR na väčšej vzorke. Na 30k skúške bol najlepší skúšaný LR `0.0002`. Výsledky 300k série preto ukazujú význam overenia LR na väčšej vzorke.
Presné údaje sú v [pôvodnom LR súhrne](aya_300k_lr_experiments/results/aya_300k_lr_summary.csv), [rozšírenom súhrne behov](aya_300k_lr_experiments/results/training_run_summary.csv) a [histórii validačného loss](aya_300k_lr_experiments/results/eval_loss_history.csv). Presné údaje sú v [súhrne](aya_300k_lr_experiments/results/aya_300k_lr_summary.csv).
<p align="center"> <p align="center">