Compare commits

...

9 Commits

Author SHA1 Message Date
a9fdbc95ac moved spacy 2020-01-25 17:29:42 +01:00
2a0b129f17 moved spacy 2020-01-25 17:29:36 +01:00
36c81ebef9 moved seq2seq 2020-01-25 17:28:47 +01:00
c204151a7d move python 2020-01-25 17:27:48 +01:00
370a58b1fc move prodigy 2020-01-25 17:26:46 +01:00
70d5e80997 move nlp 2020-01-25 17:25:37 +01:00
a63d41e65d moved named entity 2020-01-25 17:23:44 +01:00
e91fe261bf moved chatbot 2020-01-25 13:19:44 +01:00
f3b595d9b0 link rename tool 2020-01-25 13:19:32 +01:00
16 changed files with 110 additions and 38 deletions

72
linker.py Normal file
View File

@ -0,0 +1,72 @@
import os
import sys
import re
import posixpath
import argparse
linkre = re.compile(r"\[(.+?)\]\((.+?)\)")
def normlink(link,start_link):
if link.startswith("http"):
return link
target = posixpath.normpath(link)
# Absolute path
if target[0] == "/":
return target
elif target.startswith("./"):
target = posixpath.normpath(start_link + target)
else:
target = posixpath.normpath(start_link + "/" + target)
#print(">>>>>>" + link + " " + target)
#print(target)
return target
def process(lfrom,lto):
for root, dirs, files in os.walk("./pages", topdown=False):
for file_name in files:
if not file_name.endswith(".md"):
continue
full_file_name = root + "/"+ file_name
# strip README.md
page_name = full_file_name[7:-10]
#print(page_name)
def replink(match):
name = match.group(1)
target = normlink(match.group(2),page_name)
#print(lto)
#print(target)
out = match.group(0)
if target == lfrom:
print("match at" + page_name + ":" + name)
if lto:
out = "[{}]({})".format(name,lto)
#print("Replaced to " + out)
return out
content = []
changed = False
with open(full_file_name) as f:
for l in f:
if re.search(linkre,l) is not None:
line = re.sub(linkre,replink,l)
if line != l:
print("replace")
print(l.rstrip())
print(line.rstrip())
answer = sys.stdin.readline().strip()
if len(answer) == 0 or answer[0] != "n":
l = line
changed = True
content.append(l)
if lto and changed:
with open(full_file_name,"w") as f:
f.write("".join(content))
if __name__ == "__main__":
parser = argparse.ArgumentParser()
parser.add_argument("lfrom")
parser.add_argument("-r","--replace",type=str)
args = parser.parse_args()
process(args.lfrom,args.replace)

View File

@ -21,11 +21,11 @@ Wiki stánka pre spoluprácu na záverečných prácach.
## Projekty
- [Spracovanie prirodzeného jazyka](../teachers/hladek/topics/nlp)
- [Podpora slovenčiny v knižnici Spacy](../teachers/hladek/topics/spacy)
- [Anotácia textových korpusov](../teachers/hladek/topics/prodigy)
- [Rozpoznávanie pomenovaných entít](../teachers/hladek/topics/named-entity)
- [Dialógový systém](../teachers/hladek/topics/chatbot)
- [Spracovanie prirodzeného jazyka](/topics/nlp)
- [Podpora slovenčiny v knižnici Spacy](/topics/spacy)
- [Anotácia textových korpusov](/topics/prodigy)
- [Rozpoznávanie pomenovaných entít](/topics/named-entity)
- [Dialógový systém](/topics/chatbot)
## Predmety

View File

@ -5,8 +5,8 @@
Projektové stránky:
- [Spracovanie prirodzeného jazyka](../../../teachers/hladek/topics/nlp)
- [Python](../../../teachers/hladek/topics/python)
- [Spracovanie prirodzeného jazyka](/topics/nlp)
- [Python](/topics/python)
Úlohy na vypracovanie:

View File

@ -3,9 +3,9 @@
Projektové stránky:
- [Spracovanie prirodzeného jazyka](../../../teachers/hladek/topics/nlp)
- [Python](../../../teachers/hladek/topics/python)
- [Sequence to Sequence](../../../teachers/hladek/topics/seq2seq)
- [Spracovanie prirodzeného jazyka](/topics/nlp)
- [Python](/topics/python)
- [Sequence to Sequence](/topics/seq2seq)
- Vypracujte min. 4 stranový rešerš na tému: "Sequence to Sequence" (Encoder-Decoder, seq2seq, transformer, attention)

View File

@ -24,11 +24,11 @@ Anotácia textových dát v slovenskom jazyku
Spolupráca s projektom:
- [Podpora slovenčiny v Spacy](../../../teachers/hladek/topics/spacy)
- [Anotácia textových dát](../../../teachers/hladek/topics/prodigy)
- [Rozpoznávanie pomenovaných entít](../../../teachers/hladek/topics/named-entity)
- [Spracovanie prir. jazyka](../../../teachers/hladek/topics/nlp)
- [Programovanie v jazyku Python](../../../teachers/hladek/topics/python)
- [Podpora slovenčiny v Spacy](/topics/spacy)
- [Anotácia textových dát](/topics/prodigy)
- [Rozpoznávanie pomenovaných entít](/topics/named-entity)
- [Spracovanie prir. jazyka](/topics/nlp)
- [Programovanie v jazyku Python](/topics/python)
#### Anotácia textových dát

View File

@ -4,9 +4,9 @@
Projektové stránky:
- [Spracovanie prirodzeného jazyka](../../../teachers/hladek/topics/nlp)
- [Python](../../../teachers/hladek/topics/python)
- [Podpora slovenčiny v knižnici Spacy](../../../teachers/hladek/topics/spacy)
- [Spracovanie prirodzeného jazyka](/topics/nlp)
- [Python](/topics/python)
- [Podpora slovenčiny v knižnici Spacy](/topics/spacy)
[Spacy tutoriál](./timovy_projekt)

View File

@ -7,7 +7,7 @@ published: true
- Vedúci: Daniel Hládek
- odporúčaný čas konzultácie: štvrtok o 9:00
- Oblasť: [Spracovanie prirodzeného jazyka](../../topics/nlp), [Programovanie v jazyku Python](../../topics/python)
- Oblasť: [Spracovanie prirodzeného jazyka](/topics/nlp), [Programovanie v jazyku Python](/topics/python)
## Ciele
@ -60,10 +60,10 @@ Podmienky na zápočet:
Projekty:
- [NLP](../../topics/nlp)
- [Python](../../topics/python)
- [prodigy](../../topics/prodigy)
- [spacy](../../topics/spacy)
- [NLP](/topics/nlp)
- [Python](/topics/python)
- [prodigy](/topics/prodigy)
- [spacy](/topics/spacy)
28.10
@ -104,9 +104,9 @@ Výstup do prvého semestra:
Projekty
- [NLP](../../topics/nlp)
- [Python](../../topics/python)
- [pomenované entity](../../topics/named-entity)
- [NLP](/topics/nlp)
- [Python](/topics/python)
- [pomenované entity](/topics/named-entity)
V druhom semestri:
@ -128,9 +128,9 @@ Pomôcka pre začínajúcich študentov:
- Aké predmety budem študovať?
- Ako skončím predmet? (potrebujem zápočet a skúšku)
- [NLP](../../topics/nlp)
- [Python](../../topics/python)
- [pomenované entity](../../topics/chatbot)
- [NLP](/topics/nlp)
- [Python](/topics/python)
- [pomenované entity](/topics/chatbot)
Úlohy na tento semester:
@ -167,9 +167,9 @@ Návrh na zadanie bakalárskej práce:
3. Vykonajte sadu experimentov a vyhodnoťte presnosť zvolenej metódy.
4. Na základe výsledkov experimentov navrhnite zlepšenia.
- [NLP](../../topics/nlp)
- [Python](../../topics/python)
- [Sequence to Sequence](../../topics/seq2seq)
- [NLP](/topics/nlp)
- [Python](/topics/python)
- [Sequence to Sequence](/topics/seq2seq)
## Ediz Morochovič
@ -190,6 +190,6 @@ Zadanie BP:
Projekty:
- [NLP](../../topics/nlp)
- [Python](../../topics/python)
- [pomenované entity](../../topics/named-entity)
- [NLP](/topics/nlp)
- [Python](/topics/python)
- [pomenované entity](/topics/named-entity)

View File

@ -9,7 +9,7 @@ published: true
Ciele:
- [Spracovanie prirodzeného jazyka](../../topics/nlp), [Programovanie v jazyku Python](../../topics/python)
- [Spracovanie prirodzeného jazyka](/topics/nlp), [Programovanie v jazyku Python](/topics/python)
- špecifikovať zadanie diplomovej práce
- naučiť sa pracovať s [odbornou literatúrou](../zp)
- oboznámiť kolegov s obsahom vykonanej práce

View File

@ -26,5 +26,5 @@ published: true
- Andrej Hopko (BP)
- Lukáš Pokrývka (TP)
- Jakub Maruniak
- [Cesar Gutierez](../named-entity) (stáž leto 2019)
- [Cesar Gutierez](/topics/named-entity) (stáž leto 2019)

View File

@ -3,7 +3,7 @@
## Úlohy
- Vytvoriť modul v jazyku Python pre podporu slovenčiny
- Pripraviť trénovacie dáta pomocu frameworku [Prodigy](./../prodigy).
- Pripraviť trénovacie dáta pomocu frameworku [Prodigy](/topics/prodigy).
- Natrénovať štatistické modely:
- pre morfologickú analýzu
- rozpoznávanie pomenovaných entít