Trénovacie experimenty
Do tohto súboru sa budú postupne zapisovať štatistiky a poznámky ku vykonaným trénovacím experimentom.
V rámci experimentu pracujeme s dvomi databázami:
- Wikiart - vlastná anotovaná databáza článkov. Každý článok = 1 veta.
- Skner - anotovaná databáza z https://skner.tukekemt.xyz/ . Počet viet v jednotlivých článkoch je rôzny.
Trénovanie Wikiart
- Experiment - trénovanie modelu pomocou databázy Wikiart
Celkovo 501 článkov.
351 použitých na trénovanie, 150 na testovanie.
15 iterácii trénovania.
F-skóre natrénovaného modelu: 55,55%
Entita |
Počet anotácii |
F-skóre |
PER |
85 |
41,66% |
LOC |
240 |
65,51% |
ORG |
30 |
0,0% |
MISC |
42 |
44,44% |
Trénovanie Skner
- Experiment - trénovanie modelu pomocou databázy skner.
Celkovo 488 článkov.
342 použitých na trénovanie, 146 na testovanie.
15 iterácii trénovania.
F-skóre natrénovaného modelu: 60,99%
Entita |
Počet anotácii |
F-skóre |
PER |
376 |
60,07% |
LOC |
885 |
67,39% |
ORG |
149 |
42,10% |
MISC |
80 |
8,69% |
Celkovo 976 článkov.
684 použitých na trénovanie, 292 na testovanie.
15 iterácii trénovania.
F-skóre natrénovaného modelu: 62,9%%
Entita |
Počet anotácii |
F-skóre |
PER |
684 |
60,68% |
LOC |
1417 |
70,45% |
ORG |
280 |
40,87% |
MISC |
416 |
43,08% |
Celkovo 2696 článkov.
1871 použitých na trénovanie, 801 na testovanie.
15 iterácii trénovania.
F-skóre natrénovaného modelu: 70.33%
Entita |
Počet anotácii |
F-skóre |
PER |
1886 |
71,08% |
LOC |
3678 |
79,01% |
ORG |
820 |
48,81% |
MISC |
1171 |
52,38% |
3. Experiment
- Experiment - na natrénovanie modelu je využitá kompletná databáza Skner. Na testovanie modelu je využitá databáza Wikiart.
1.verzia databázy skner - 488 článkov
15 iterácii trénovania.
F-skóre natrénovaného modelu: 49,67%
Entita |
F-skóre |
PER |
39,08% |
LOC |
60,99% |
ORG |
27,77% |
MISC |
4,44% |
2.verzia databázy skner - 976 článkov
15 iterácii trénovania.
F-skóre natrénovaného modelu: 51,08%
Entita |
F-skóre |
PER |
38,22% |
LOC |
60,83% |
ORG |
33,33% |
MISC |
30,30% |
3.verzia databázy skner - 2672 článkov
15 iterácii trénovania.
F-skóre natrénovaného modelu: 56,26%
Entita |
F-skóre |
PER |
45,35% |
LOC |
67,25% |
ORG |
31,58% |
MISC |
39,47% |
4. Experiment
- Experiment - Obe databázy sme zlúčili.
- verzia
Celkovo 989 článkov.
693 použitých na trénovanie, 296 na testovanie.
15 iterácii trénovania.
F-skóre natrénovaného modelu: 61,90%
Entita |
Počet anotácii |
F-skóre |
PER |
461 |
54,00% |
LOC |
1125 |
71,87% |
ORG |
179 |
42,00% |
MISC |
122 |
18,18% |
- verzia
Celkovo 3197 článkov.
2222 použitých na trénovanie, 951 na testovanie.
15 iterácii trénovania.
F-skóre natrénovaného modelu: 70,48%
Entita |
Počet anotácii |
F-skóre |
PER |
1971 |
69,18% |
LOC |
3918 |
80,52% |
ORG |
850 |
42,33% |
MISC |
1213 |
50,24% |