233 lines
10 KiB
Markdown
233 lines
10 KiB
Markdown
---
|
||
title: Analyzátor písomných prác
|
||
published: true
|
||
taxonomy:
|
||
category: [ziveit2027]
|
||
tag: [ocr,vllm]
|
||
author: Daniel Hladek
|
||
---
|
||
|
||
# Analyzátor písomných prác
|
||
|
||
Projekt Živé IT 2026-2027
|
||
|
||
|
||
Ľudia:
|
||
|
||
- Sofia Sedláková
|
||
- Samuel Prokop
|
||
- Adrián Nguyen Quogoc
|
||
- Matúš Farbár
|
||
|
||
Z firmy:
|
||
|
||
- Viktória Barátová, Indícia n.o. - v oblasti vzdelávania, Projekt Kľúče k slovenčine.
|
||
- Michal Tornay, VŠVU, Typolab - písmo
|
||
|
||
|
||
Zdroje:
|
||
|
||
- https://git.kpi.fei.tuke.sk/sp171ny/analyzator-pisomnych-prac
|
||
- https://drive.google.com/drive/folders/11eZP-jnBA1gLZOgBbc0CENzStDxFlXoF
|
||
- Naša zhrnujúca koncepcia písania: https://docs.google.com/document/d/1TNHjqe7zs-LuOXIRockMaO4MmddTw2_5zjKSR2REeXc/edit
|
||
- Skeny pracovných listov: https://drive.google.com/drive/folders/1B5aA1aLBmfnLOHXXIRWvVNHcmYHcnKaa
|
||
|
||
Cieľ
|
||
|
||
Navrhnúť a vytvoriť prototyp AI nástroja, ktorý analyzuje naskenované pracovné listy žiakov z písania a pomáha nášmu tímu vidieť, kde deti potrebujú podporu a kde treba upraviť zadania. V prvom kroku slúži nástroj na vývoj metodiky. V druhom kroku bude pre pedagóga identifikovať individuálne potreby detí.
|
||
|
||
Očakávaný výstup na konci
|
||
|
||
- funkčný prototyp s možnosťou rozšírenia,
|
||
- ukážka práce na reálnych dátach, Dáta spracúvame anonymizovane, s ohľadom na súkromie žiakov a škôl.
|
||
- export dát,
|
||
- odporúčania pre ďalší rozvoj.
|
||
- Úzky a realistický rozsah : radšej menej vecí spoľahlivo než všetko naraz.
|
||
- Výsledky majú byť jednoduché a zrozumiteľné aj pre učiteľa bez technických znalostí.
|
||
|
||
|
||
S čím budete pracovať
|
||
|
||
- naskenované pracovné listy žiakov z pilotovania (1. a 2. ročník),
|
||
- stručný popis cieľov jednotlivých úloh,
|
||
- odborné a teoretické podklady k písaniu,
|
||
- ukážky kategórií chýb a pozorovaní z pilotu, prípadne poznámky tímu.
|
||
|
||
Sledovať budeme tieto prúdy
|
||
|
||
- pilot prvých ročníkov 2025/26,
|
||
- pilot prvých ročníkov 2026/27,
|
||
- pilot druhých ročníkov 2026/27.
|
||
|
||
Tri roviny
|
||
|
||
1. Technická podoba písma – aká je predloha, ako ju deti reálne píšu, kde vznikajú odchýlky a ak sa dá, prečo. Pri odchýlkach rozlíšiť, či ide o problém s tvarom, ktorý treba upraviť v predlohe, alebo o individuálnu ťažkosť dieťaťa, ktorá môže byť prediktorom oslabenia či poruchy a treba na ňu upozorniť (napr. zámena smeru chvostíka pri písmenách ako l a j).
|
||
2. Funkčnosť pracovných listov – či repetitívne listy upevňujú schopnosť čitateľne písať, a ak nie, kde to klesá; či a kde nerepetitívne listy vedú k tvorivému písaniu. Pri odchýlkach rozlíšiť, či ide o problém s tvarom, ktorý treba upraviť v predlohe, alebo o individuálnu ťažkosť dieťaťa, ktorá môže byť prediktorom oslabenia či poruchy a treba na ňu upozorniť
|
||
3. Plnenie písomných zadaní – aké slová a vety deti píšu, kvalitatívne aj kvantitatívne. Pri odchýlkach rozlíšiť, či ide o problém s tvarom, ktorý treba upraviť v predlohe, alebo o individuálnu ťažkosť dieťaťa, ktorá môže byť prediktorom oslabenia či poruchy a treba na ňu upozorniť (DLD).
|
||
|
||
Čo má nástroj vedieť
|
||
|
||
1. Spracovať naskenovaný pracovný list.
|
||
2. Priradiť výstup k typu úlohy a k tomu, čo sa v nej sleduje.
|
||
3. Porovnať cieľ úlohy s tým, čo dieťa napísalo.
|
||
4. Rozpoznať technické chyby v písme, opakujúce sa slabé miesta a neporozumenie zadaniu.
|
||
5. Pripraviť stručné zhrnutie a odporúčanie pre tím, ako upraviť zadanie, aby ho deti zvládli a rozvíjalo potrebné zručnosti.
|
||
6. Pripraviť indikátory pre pedagóga a odporúčaný postup v individuálnych potrebách deti.
|
||
|
||
|
||
Stretnutie 22.10. 2026
|
||
|
||
(Farbár, Prokop, Sedláková, Barátová, Tornay, Hládek)
|
||
|
||
|
||
- Aké sú technické možnosti?
|
||
- Aké sú potreby pedagógov?
|
||
- Aké sú akceptovateľné odchýlky od normy?
|
||
|
||
Otáča dieťa písmená? Toto je dôležité
|
||
|
||
Technický postup riešenia:
|
||
|
||
1. Predspracovanie - uvedenie do "spracovateľnej podoby"
|
||
1. Segementácia - kde sú záujmové oblasti? Identifikácia riadkov a jednotlivých písmen.
|
||
1. Klasifikácia - čo vieme zistiť zo záujmových oblastí?. Porovnanie písmen so vzormi. Aké to je písmeno? Ako veľmi sa podobá na svoj vzor? Podobá sa na nagetívy vzor?
|
||
1. Postspracovanie - celkový záver zo spracovania
|
||
|
||
Úlohy:
|
||
|
||
- Urobiť rešerš dostupných nástrojov pre segmentáciu a klasifikáciu
|
||
- Anotovať možné varianty písma
|
||
|
||
Stretnutie 30.10.
|
||
|
||
|
||
Stav:
|
||
|
||
- Je hotová demo aplikácia, ktorá beží na lokálnom PC
|
||
- Demo aplikácia vie:
|
||
- Vytvoriť záznam pre študenta
|
||
- Načítať scan listu
|
||
- Analyzovať napísané písmená a porovnať ich so vzorom, ktorý sa nachádza na začiatkku pracovného listu.
|
||
- vie urobiť heatmap podľa písmena - podobnosť so vzorom
|
||
- vie červenou vyznačiť chýbajúce alebo chybné časti písmena aj ma úrovni slova.
|
||
- je urobené prihlásenie na frontend.
|
||
- nástroj vie detekovať percentuálny uspešnosť napísaného písmena - z toho vieme upozorniť na konkrétne nedostaty.
|
||
- Zrojové kódy sú na KPI GIT LAB. react - express -mongo - nodejs stack.
|
||
- backend je vo forme skriptov, nemá zatiaľ API.
|
||
|
||
Nástroj zatiaľ vie:
|
||
|
||
1. [x] Spracovať naskenovaný pracovný list.
|
||
2. [ ] Priradiť výstup k typu úlohy a k tomu, čo sa v nej sleduje.
|
||
3. [ ] Porovnať cieľ úlohy s tým, čo dieťa napísalo.
|
||
4. [x] Rozpoznať technické chyby v písme, opakujúce sa slabé miesta a neporozumenie zadaniu.
|
||
5. [-] Pripraviť stručné zhrnutie a odporúčanie pre tím, ako upraviť zadanie, aby ho deti zvládli a rozvíjalo potrebné zručnosti.
|
||
6. [-] Pripraviť indikátory pre pedagóga a odporúčaný postup v individuálnych potrebách deti.
|
||
|
||
Úlohy:
|
||
|
||
1. Potrebujeme spätnú väzbu od "zákazníka".
|
||
- Aké typy úlohy sú definované? Čo sa sleduje v jednotlivých typoch úloh?
|
||
- Aké sú požiadavky pedagógov na takýto nástroj? Čo má byť výsledkom, kotrý vie učiteľ použiť?
|
||
- Aká je množina pedagogických opatrení z ktorých má nástroj vyberať? Akú spätnú väzbu potrebuje dieťa.
|
||
- Aké scenáre používania predpokladáme?
|
||
|
||
2. Pokračovať v práci na backende. Malo by tam byť prihlasovanie. Nástorj by malo byť možné nasadiť na školskú infraštruktúru. Všetky modely sú lokálne. Ku backendu pripravte dockerfiles a docker compose. Môžete si pozrieť https://student.kemt.fei.tuke.sk/zkt/home
|
||
|
||
3. Pripravte prehľad existujúcich dátových množín na vyhodnotenie práce s písanýámn písmom.
|
||
|
||
4. Napíšte stručnú dokumentáciu - slovný opis riešenej úlohy a navrhnutého riešenia.
|
||
|
||
|
||
Zásobník úloh:
|
||
|
||
- Možno bude potrebné automaticky rozpoznať typ úlohy.
|
||
- Môžeme vybrať "lepší model". Aké povieme že ktorý model je lepší? Možno bude treba pripraviť množinu na vyhodnotenie.
|
||
|
||
|
||
## Poznánky
|
||
|
||
Možné nástroje:
|
||
|
||
### DTLR — Differential Temporal Line Recognition
|
||
[GitHub](https://github.com/raphael-baena/DTLR)
|
||
|
||
Segmentácia historických rukopisov pomocou differenciálnej geometrie a pilot curves.
|
||
Dobrá na detekciu riadkov v historických/štýlových textoch. Pre moderný detský
|
||
písmo menej priamočiara — na úroveň písmen by bolo treba ďalšej segmentácie.
|
||
|
||
### Kraken
|
||
[GitHub](https://github.com/mittagessen/kraken) | [Dokumentácia](https://github.com/mittagessen/kraken)
|
||
|
||
Modulárny OCR toolbox pre historické dokumenty. Robustná riadková segmentácia
|
||
(projekčné profily, morfologické operácie), bilingual segmentation na rozdeľovanie
|
||
písmen, link-time line segmentation pre adaptívne prispôsobenie. Ideálne na
|
||
riadkovú segmentáciu, dá sa učiť na vlastných dátach. **Najvhodnejší nástroj na
|
||
riadky.**
|
||
|
||
### Pyliaia
|
||
[Doc](https://doc.teklia.com/pylaia/)
|
||
|
||
HTR riešenie na frameworku LaIA s kompletným pipeline: binarizácia, detekcia
|
||
riadkov, detekcia písmen. Podporuje transfer learning a vlastné tréningové dáta.
|
||
Rieši aj riadky aj písmená v jednom pipeline, silné v adaptácii na nové štýly
|
||
písma.
|
||
|
||
### PERO OCR
|
||
[GitHub](https://github.com/DCGM/pero-ocr)
|
||
|
||
Complete OCR toolkit od DCGM: riadková segmentácia (projekčné profily), detekcia
|
||
znakových oblastí, klasifikácia. Primárne pre tlačený text, s úpravami použiteľné
|
||
pre rukopis.
|
||
|
||
### Escriptorium
|
||
[GitHub](https://github.com/UB-Mannheim/escriptorium)
|
||
|
||
Nástroj na transkripciu historických rukopisov s vlastnou anotáciou a HTR
|
||
modelmi. Má nástroje na segmentáciu, primárne postavený na už anotovaných dátach.
|
||
Skôr celkový HTR pipeline — po prispôsobení použiteľný ako klasifikačný backend.
|
||
|
||
## Modely
|
||
|
||
### OCR on the Hub
|
||
[Hugging Face Collection](https://huggingface.co/collections/davanstrien/ocr-on-the-hub)
|
||
|
||
Kolekcia rôznych OCR modelov — prehľad aktuálnych riešení. Nie priamo nástroj,
|
||
ale orientačný bod pre výber konkrétnych modelov (TROCR, Indra, atď.).
|
||
|
||
### Qwen3-VL
|
||
[GitHub](https://github.com/QwenLM/Qwen3-VL)
|
||
|
||
Multimodálny vision-language model — dokáže priamo "vidieť" obrázok a rozumieť
|
||
mu. Detekuje oblasti záujmu, extrahuje text, popisuje obsah. **Vhodné na vyššiu
|
||
úroveň**: klasifikácia typu chyby, kvalitatívny popis, identifikácia
|
||
neporozumenia zadaniu. Nie na granularnú písmenkovú segmentáciu.
|
||
|
||
### TROCR Handwritten
|
||
[Hugging Face](https://huggingface.co/microsoft/trocr-base-handwritten)
|
||
|
||
Transformer-based OCR špeciálne na rukopis. Pracuje riadok po riadku (potrebuje
|
||
predchádzajúcu riadkovú segmentáciu). **Výborný na klasifikáciu písmen** po
|
||
predchádzajúcej segmentácii riadkov. Po pretrénovaní na detskom písme potenciálne
|
||
veľmi presný.
|
||
|
||
### Indra-OCR
|
||
[Hugging Face](https://huggingface.co/datalab-to/indra-ocr)
|
||
|
||
Nový multimodálny OCR model od DataLab. Primárne na rýchlu extrakciu textu z
|
||
obrázkov — good pre riadky/odseky, nie na písmenkovú úroveň.
|
||
|
||
### Dots.OCR
|
||
[GitHub](https://github.com/studio-dots-ai/dots.ocr)
|
||
|
||
Moderné OCR riešenie od štúdia Dots. Podobný prístup ako ostatné moderné OCR
|
||
nástroje — extrakcia textu, nie granularná segmentácia.
|
||
|
||
### Unlimited-OCR
|
||
[GitHub](https://github.com/baidu/Unlimited-OCR)
|
||
|
||
OCR riešenie od Baidu. Široký rozsah podporovaných jazykov a formátov, ale
|
||
primárne orientované na tlačený text a všeobecnú extrakciu textu. Nie na
|
||
granularnú písmenkovú segmentáciu.
|
||
|