From 4d4fa7c3c857faa37043b0639900e00c02c98756 Mon Sep 17 00:00:00 2001 From: Jakub Maruniak Date: Sun, 24 May 2020 17:50:38 +0000 Subject: [PATCH] =?UTF-8?q?Aktualizovat=20=E2=80=9Epages/students/2016/jak?= =?UTF-8?q?ub=5Fmaruniak/dp2021/annotation/README.md=E2=80=9C?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit --- .../dp2021/annotation/README.md | 21 +++++++++++++------ 1 file changed, 15 insertions(+), 6 deletions(-) diff --git a/pages/students/2016/jakub_maruniak/dp2021/annotation/README.md b/pages/students/2016/jakub_maruniak/dp2021/annotation/README.md index 9363ef6064..7c38a7123d 100644 --- a/pages/students/2016/jakub_maruniak/dp2021/annotation/README.md +++ b/pages/students/2016/jakub_maruniak/dp2021/annotation/README.md @@ -1,16 +1,25 @@ ## Diplomový projekt 1 2020 +- vytvorenie a spustenie docker kontajneru + > `./build-docker.sh` + > + > `docker run -it -p 8080:8080 -v ${PWD}:/work prodigy bash` + > + > (v mojom prípade): + > + > `winpty docker run --name prodigy -it -p 8080:8080 -v C://Users/jakub/Desktop/annotation/work prodigy bash` + - príprava dát stiahnutie článkov z wiki pomocou nástroja dataminer, uložené v súbore *dataminer.csv* - vytvorenie skriptu *text_to_sent.py*, ktorý rozdelí text na vety a zapíše ich do súboru *textfile.csv* + vytvorený skript *text_to_sent.py* rozdelí text na jednotlivé vety a zapíše ich do súboru *textfile.csv* + > `cd ner` + > + > `./01_text_to_sent.sh` -- vytvorenie a spustenie docker kontajneru - > docker build . -t prodigy - > winpty docker run --name prodigy -it -p 8080:8080 -v C://Users/jakub/Desktop/annotation/work prodigy bash - spustenie anotačného procesu pre NER s návrhmi od modelu - > prodigy ner.correct wikiart sk_sk1 ./textfile.csv --label OSOBA,MIESTO,ORGANIZACIA,PRODUKT + > `./02_ner_correct.sh` - anotované dáta možno exportovať vo formáte jsonl potrebnom pre spracovanie vo spacy - > prodigy db-out wikiart > ./annotations.jsonl \ No newline at end of file + > `./03_ner_export.sh` \ No newline at end of file