From b149af29589600fd57b9e92dd760bae11fd81188 Mon Sep 17 00:00:00 2001 From: Jakub Maruniak Date: Mon, 2 Nov 2020 10:54:55 +0000 Subject: [PATCH] =?UTF-8?q?Aktualizovat=20=E2=80=9Epages/students/2016/jak?= =?UTF-8?q?ub=5Fmaruniak/dp2021/README.md=E2=80=9C?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit --- .../2016/jakub_maruniak/dp2021/README.md | 29 ++++++++++++++++++- 1 file changed, 28 insertions(+), 1 deletion(-) diff --git a/pages/students/2016/jakub_maruniak/dp2021/README.md b/pages/students/2016/jakub_maruniak/dp2021/README.md index f3d29488..c23e236f 100644 --- a/pages/students/2016/jakub_maruniak/dp2021/README.md +++ b/pages/students/2016/jakub_maruniak/dp2021/README.md @@ -1 +1,28 @@ -DP2021 \ No newline at end of file +## Diplomový projekt 2 2020 +Stav: +- aktualizácia anotačnej schémy (jedná sa o testovaciu schému s vlastnými dátami) +- vykonaných niekoľko anotácii, trénovanie v Prodigy - nízka presnosť = malé množstvo anotovaných dát. Trénovanie v spacy zatiaľ nefunguje. +- Štatistiky o množstve prijatých a odmietnutých anotácii získame z Prodigy: prodigy stats wikiart. Zatiaľ 156 anotácii (151 accept, 5 reject). Na získanie prehľadu o množstve anotácii jednotlivých entít potrebujeme vytvoriť skript. + + +## Diplomový projekt 1 2020 + +- vytvorenie a spustenie docker kontajneru + + +``` +./build-docker.sh +docker run -it -p 8080:8080 -v ${PWD}:/work prodigy bash +# (v mojom prípade:) +winpty docker run --name prodigy -it -p 8080:8080 -v C://Users/jakub/Desktop/annotation/work prodigy bash +``` + + + + +### Spustenie anotačnej schémy +- `dataminer.csv` články stiahnuté z wiki +- `cd ner` +- `./01_text_to_sent.sh` spustenie skriptu *text_to_sent.py*, ktorý rozdelí články na jednotlivé vety +- `./02_ner_correct.sh` spustenie anotačného procesu pre NER s návrhmi od modelu +- `./03_ner_export.sh` exportovanie anotovaných dát vo formáte jsonl potrebnom pre spracovanie vo spacy