Diplomovka/lmeval/lmeval_comparison_all.csv

1	model	training_eval_loss	arc_acc	arc_acc_norm	hellaswag_acc	hellaswag_acc_norm	m_mmlu_acc	truthfulqa_mc1_acc	truthfulqa_mc2_acc	sklegal_acc	sklegal_acc_norm	skquad_exact	skquad_f1	skquad_HasAns_exact	skquad_HasAns_f1	skquad_NoAns_exact	skquad_NoAns_f1	skquad_best_exact	skquad_best_f1
2	alpaca_qlora		0.32591958939264326	0.3473053892215569	0.4133895624670532	0.5105956773853453	0.2928341754708314	0.2390745501285347	0.39419828418377467	0.2841079460269865	0.46926536731634183	1.9722425127830534	27.7993811825338	2.410565457109886	34.145591726147124	0.05605381165919283	0.05605381165919283	18.61629969738078	28.301192071377013
3	01_baseline_r16_a16_lr5e5_adamw	0.7567	0.30196749358426006	0.34046193327630453	0.41560358460727465	0.5209277807063785	0.3549992344204563	0.17994858611825193	0.34391089322085056	0.28785607196401797	0.46851574212893554	14.160492538870917	36.6797346829585	17.38684446723939	45.05730189342111	0.05605381165919283	0.05605381165919283	18.689345716372742	36.915470604294036
4	02_optimizer_adamw8bit_r16_a16_lr5e5	0.7521	0.29597946963216426	0.3378956372968349	0.4130732735898788	0.521244069583553	0.35438677078548464	0.1928020565552699	0.35373417730948353	0.2886056971514243	0.4715142428785607	13.76395700720025	36.21782844597198	16.912424669829466	44.50255801997045	0.0	0.0	18.63716998852134	36.46155623142899
5	03_rank8_a16_lr5e5	0.7586	0.28999144568006846	0.33105218135158254	0.4137058513442277	0.5167105956773853	0.34550604807839536	0.18380462724935734	0.3424520772406517	0.29760119940029983	0.4715142428785607	13.993530209746426	36.36378811056779	17.194512116938068	44.68190556014504	0.0	0.0	18.77282688093499	36.37507422583225
6	04_rank32_a32_lr5e5	0.7292	0.2891360136869119	0.33532934131736525	0.41412756984712706	0.5200843437005799	0.3449701423977951	0.19023136246786632	0.3367013908863517	0.2908545727136432	0.47301349325337333	13.32568089324846	36.02282635500946	16.361071932299012	44.2501275753373	0.05605381165919283	0.05605381165919283	18.67891057080246	36.12444280653584
7	05_r16_alpha32_lr5e5	0.7323	0.2994011976047904	0.33361847733105215	0.4130732735898788	0.5190300474433316	0.35714285714285715	0.19665809768637532	0.3555125811399826	0.29685157421289354	0.46701649175412296	14.598768652822708	37.873456685535025	17.925375048083087	46.52408455154278	0.05605381165919283	0.05605381165919283	18.77282688093499	38.068000672246654
8	06_lr1e4_r16_a16	0.7184	0.29597946963216426	0.33105218135158254	0.411070110701107	0.5207169214549289	0.3549992344204563	0.19023136246786632	0.34733281230911506	0.2841079460269865	0.46551724137931033	14.014400500886987	37.57962398015711	17.207334273624824	46.16303841541808	0.05605381165919283	0.05605381165919283	18.80413231764583	37.69906094942537
9	07_lr2e5_r16_a16	0.7912	0.29426860564585117	0.32763045337895635	0.41560358460727465	0.522509225092251	0.3379268105956209	0.16709511568123395	0.32463255972324384	0.29610194902548725	0.47226386806596704	11.322132943754566	33.83807391933327	13.899217848442108	41.565618972813276	0.05605381165919283	0.05605381165919283	18.61629969738078	33.95862223270098
10	08_attention_only_r16_a16_lr5e5	0.8094	0.31565440547476475	0.35243798118049613	0.4157090142329995	0.5217712177121772	0.3448170264890522	0.18766066838046272	0.3673805917101876	0.2893553223388306	0.4767616191904048	18.136283001147866	43.37517960476381	22.28490832157969	53.29713375464183	0.0	0.0	19.628508817698005	43.397808641902465
11	09_batch2_accum4_r16_a16_lr5e5	0.7563	0.29597946963216426	0.3378956372968349	0.4136004217185029	0.5209277807063785	0.35140101056499773	0.18637532133676094	0.340221777957301	0.2871064467766117	0.46926536731634183	13.388291766670145	35.3128443275733	16.450827029106296	43.3905612503058	0.0	0.0	18.62673484295106	35.431132341766855
12	10_r16_a32_lr1e4	0.6918	0.3028229255774166	0.32934131736526945	0.41012124406958356	0.515656299420137	0.3448170264890522	0.20565552699228792	0.34795284436431645	0.2698650674662669	0.4617691154422789	14.160492538870917	37.75612784500817	17.38684446723939	46.37991705843228	0.05605381165919283	0.05605381165919283	18.77282688093499	38.08192856860334
13	titan_aya_25k		0.2643284858853721	0.32506415739948674	0.4048497627833421	0.4942540853979968	0.3341754708314194	0.17609254498714652	0.32507560661819124	0.2653673163418291	0.4587706146926537	4.633204633204633	25.867828563515147	5.667393255545583	31.759379551758638	0.11210762331838565	0.11210762331838565	18.61629969738078	25.922669866068382
14	titan_aya_225k		0.30025662959794697	0.34473909324208724	0.39768054823405374	0.4792830785450712	0.2719338539274231	0.20051413881748073	0.36134935010431024	0.25337331334332835	0.43928035982008995	10.883856829802776	35.04710724582597	13.373509424285166	43.0640375351648	0.0	0.0	18.64760513409162	35.17783479678552