Perun

perun/ministral_3b_aya/README.md

@@ -43,7 +43,7 @@ Job 152588 vyhodnotil checkpoint 109 064 na 1 000 testovacích príkladoch. Pri
 
 ## Čiastočné výsledky SK-bench
 
-Pôvodný Ministral a model so zlúčeným adaptérom z checkpointu 109 064 boli vyhodnotené na **rovnakých 385 z 412 slovenských zero-shot variantov**, ktoré pokrývajú **29 z 33 úloh**. Výsledok spája pôvodných 340 variantov (joby 145668 a 152980) a 45 doplnených variantov (joby 157393 a 157394).
+Pôvodný Ministral a model so zlúčeným adaptérom z checkpointu 109 064 boli vyhodnotené na **rovnakých 385 z 412 slovenských zero-shot variantov**, ktoré pokrývajú **29 z 33 úloh**.
 
 | Skupina | Pokrytie | Pôvodný | Dotrénovaný | Rozdiel |
 |---|---:|---:|---:|---:|
@@ -75,4 +75,4 @@ python scripts/evaluate.py runs/ministral_aya/used_config.yaml \
   --split test --output-dir runs/ministral_aya/evaluations/aya_test --max-new-tokens 256
 ```
 
-[`input_config.yaml`](configs/input_config.yaml) je pôvodný vstup a `--run-dir` určuje nový výstupný priečinok. [`used_config.yaml`](configs/used_config.yaml) zaznamenáva konfiguráciu skutočne použitú pri jobe 148065 vrátane ciest na Perune.
+Na nový tréning použi [`input_config.yaml`](configs/input_config.yaml). V priečinku zadanom cez `--run-dir` tréning vytvorí `used_config.yaml`, ktorý potom použije evaluačný skript. Použité nastavenia jobu 148065 sú uložené v [`run.json`](training/run.json).

perun/ministral_3b_aya/configs/used_config.yaml

@@ -1,53 +0,0 @@
-model_name_or_path: ministral/Ministral-3b-instruct
-model_revision: 2c95908929198d6e69af8638f0dbbd9bc6b93f9e
-stage: sft
-do_train: true
-do_eval: true
-finetuning_type: lora
-use_unsloth: true
-use_unsloth_gc: true
-bf16: true
-infer_dtype: bfloat16
-flash_attn: sdpa
-dataset_dir: /mnt/project/perun26012578/perun/data/aya_slovak_fixed
-dataset: aya_train
-eval_dataset: aya_eval
-cutoff_len: 4096
-packing: false
-train_on_prompt: false
-preprocessing_num_workers: 8
-dataloader_num_workers: 2
-overwrite_cache: false
-lora_rank: 16
-lora_alpha: 32
-lora_dropout: 0.0
-lora_target: q_proj,k_proj,v_proj,o_proj,gate_proj,up_proj,down_proj
-per_device_train_batch_size: 8
-per_device_eval_batch_size: 8
-gradient_accumulation_steps: 1
-learning_rate: 0.0002
-num_train_epochs: 1.0
-lr_scheduler_type: cosine
-warmup_ratio: 0.08
-optim: adamw_torch
-weight_decay: 0.0
-max_grad_norm: 0.5
-gradient_checkpointing: true
-ddp_find_unused_parameters: false
-output_dir: /mnt/project/perun26012578/perun/models/ministral-3b-instruct/runs/full_aya_lr_0p000200_epoch1/adapter
-overwrite_output_dir: false
-logging_steps: 10
-eval_strategy: steps
-eval_steps: 1000
-save_strategy: steps
-save_steps: 1000
-save_total_limit: 2
-save_only_model: false
-load_best_model_at_end: true
-metric_for_best_model: loss
-greater_is_better: false
-predict_with_generate: false
-plot_loss: true
-report_to: none
-seed: 42
-data_seed: 42