From 79d825727923f672f295555806cb2f17960ffefc Mon Sep 17 00:00:00 2001 From: Jakub Date: Thu, 12 Nov 2026 17:01:26 +0100 Subject: [PATCH] Perun --- perun/ministral_3b_aya/README.md | 4 +- .../ministral_3b_aya/configs/used_config.yaml | 53 ------------------- 2 files changed, 2 insertions(+), 55 deletions(-) delete mode 100644 perun/ministral_3b_aya/configs/used_config.yaml diff --git a/perun/ministral_3b_aya/README.md b/perun/ministral_3b_aya/README.md index 598c337..ceea87d 100644 --- a/perun/ministral_3b_aya/README.md +++ b/perun/ministral_3b_aya/README.md @@ -43,7 +43,7 @@ Job 152588 vyhodnotil checkpoint 109 064 na 1 000 testovacích príkladoch. Pri ## Čiastočné výsledky SK-bench -Pôvodný Ministral a model so zlúčeným adaptérom z checkpointu 109 064 boli vyhodnotené na **rovnakých 385 z 412 slovenských zero-shot variantov**, ktoré pokrývajú **29 z 33 úloh**. Výsledok spája pôvodných 340 variantov (joby 145668 a 152980) a 45 doplnených variantov (joby 157393 a 157394). +Pôvodný Ministral a model so zlúčeným adaptérom z checkpointu 109 064 boli vyhodnotené na **rovnakých 385 z 412 slovenských zero-shot variantov**, ktoré pokrývajú **29 z 33 úloh**. | Skupina | Pokrytie | Pôvodný | Dotrénovaný | Rozdiel | |---|---:|---:|---:|---:| @@ -75,4 +75,4 @@ python scripts/evaluate.py runs/ministral_aya/used_config.yaml \ --split test --output-dir runs/ministral_aya/evaluations/aya_test --max-new-tokens 256 ``` -[`input_config.yaml`](configs/input_config.yaml) je pôvodný vstup a `--run-dir` určuje nový výstupný priečinok. [`used_config.yaml`](configs/used_config.yaml) zaznamenáva konfiguráciu skutočne použitú pri jobe 148065 vrátane ciest na Perune. +Na nový tréning použi [`input_config.yaml`](configs/input_config.yaml). V priečinku zadanom cez `--run-dir` tréning vytvorí `used_config.yaml`, ktorý potom použije evaluačný skript. Použité nastavenia jobu 148065 sú uložené v [`run.json`](training/run.json). diff --git a/perun/ministral_3b_aya/configs/used_config.yaml b/perun/ministral_3b_aya/configs/used_config.yaml deleted file mode 100644 index c353be0..0000000 --- a/perun/ministral_3b_aya/configs/used_config.yaml +++ /dev/null @@ -1,53 +0,0 @@ -model_name_or_path: ministral/Ministral-3b-instruct -model_revision: 2c95908929198d6e69af8638f0dbbd9bc6b93f9e -stage: sft -do_train: true -do_eval: true -finetuning_type: lora -use_unsloth: true -use_unsloth_gc: true -bf16: true -infer_dtype: bfloat16 -flash_attn: sdpa -dataset_dir: /mnt/project/perun26012578/perun/data/aya_slovak_fixed -dataset: aya_train -eval_dataset: aya_eval -cutoff_len: 4096 -packing: false -train_on_prompt: false -preprocessing_num_workers: 8 -dataloader_num_workers: 2 -overwrite_cache: false -lora_rank: 16 -lora_alpha: 32 -lora_dropout: 0.0 -lora_target: q_proj,k_proj,v_proj,o_proj,gate_proj,up_proj,down_proj -per_device_train_batch_size: 8 -per_device_eval_batch_size: 8 -gradient_accumulation_steps: 1 -learning_rate: 0.0002 -num_train_epochs: 1.0 -lr_scheduler_type: cosine -warmup_ratio: 0.08 -optim: adamw_torch -weight_decay: 0.0 -max_grad_norm: 0.5 -gradient_checkpointing: true -ddp_find_unused_parameters: false -output_dir: /mnt/project/perun26012578/perun/models/ministral-3b-instruct/runs/full_aya_lr_0p000200_epoch1/adapter -overwrite_output_dir: false -logging_steps: 10 -eval_strategy: steps -eval_steps: 1000 -save_strategy: steps -save_steps: 1000 -save_total_limit: 2 -save_only_model: false -load_best_model_at_end: true -metric_for_best_model: loss -greater_is_better: false -predict_with_generate: false -plot_loss: true -report_to: none -seed: 42 -data_seed: 42