forked from KEMT/zpwiki
zz
This commit is contained in:
parent
decae588d2
commit
cf79d5873a
@ -1,318 +0,0 @@
|
|||||||
---
|
|
||||||
published:true
|
|
||||||
---
|
|
||||||
# Spracovanie prirodzeného jazyka
|
|
||||||
|
|
||||||
Ing. Daniel Hládek PhD.
|
|
||||||
|
|
||||||
daniel.hladek@tuke.sk
|
|
||||||
|
|
||||||
---
|
|
||||||
Rastie potreba spracovávať veľké množstvo človekom vytvoreného textu alebo hovorenej reči
|
|
||||||
|
|
||||||
---
|
|
||||||
Čo je spracovanie prirodzeného jazyka
|
|
||||||
Natural Language Processing (NLP)
|
|
||||||
|
|
||||||
---
|
|
||||||
Kombinácia viacerých techník z oblasti:
|
|
||||||
|
|
||||||
- Teórie formálnych jazykov
|
|
||||||
- Štatistiky
|
|
||||||
- Strojového učenia
|
|
||||||
- Lingvistiky
|
|
||||||
- Psychológie
|
|
||||||
|
|
||||||
---
|
|
||||||
|
|
||||||
Spracovanie prirodzeného jazyka získavaním znalostí pomáha pri bežných činnostiach.
|
|
||||||
|
|
||||||
---
|
|
||||||
|
|
||||||
dáta => informácie => znalosti
|
|
||||||
|
|
||||||
text => príznaky => zistenia
|
|
||||||
|
|
||||||
---
|
|
||||||
|
|
||||||
## Znalosť je užitočná informácia
|
|
||||||
|
|
||||||
(dá sa premeniť na peniaze).
|
|
||||||
|
|
||||||
---
|
|
||||||
Typické úlohy NLP
|
|
||||||
|
|
||||||
---
|
|
||||||
Motivačný príklad: Alexa, WolframAlpha, Siri
|
|
||||||
|
|
||||||
Počítač "porozumie" ľudskej komunikácii
|
|
||||||
|
|
||||||
---
|
|
||||||
Každý Váš deň:
|
|
||||||
|
|
||||||
Google, Facebook, Apple
|
|
||||||
|
|
||||||
---
|
|
||||||
Porozumenie otázke : Google, počítačové hry, WolframAlpha (Siri)
|
|
||||||
Fulltextové vyhľadávanie: Google
|
|
||||||
Cielenie reklamy: AdSense, eTarget
|
|
||||||
|
|
||||||
---
|
|
||||||
Ohodnotenie sentimentu a detekcia nevhodných alebo podozrivých príspevkov: Facebook , LinkedIn
|
|
||||||
|
|
||||||
Strojový preklad: Googe Translate
|
|
||||||
Detekcia spamu: Spam Assasin, Gmail
|
|
||||||
|
|
||||||
---
|
|
||||||
Získavanie informácií (Information Retrieval)
|
|
||||||
|
|
||||||
Vyhľadávanie na webe napr. Vyhľadanie stránok súvisiacich s “natural language processing”
|
|
||||||
|
|
||||||
Monitoring médií
|
|
||||||
Čo všetko sa napíše alebo odvysiela v televízii alebo v rádiu o mojej spoločnosti?
|
|
||||||
|
|
||||||
---
|
|
||||||
|
|
||||||
Cielenie reklamy
|
|
||||||
|
|
||||||
Analýza sentimentu na sociálnych sieťach
|
|
||||||
|
|
||||||
Dolovanie v dátach a získavanie znalostí
|
|
||||||
Aká je priemerná cena hamburgeru v Južnej Amerike?
|
|
||||||
|
|
||||||
---
|
|
||||||
Prepis textu (Machine Translation):
|
|
||||||
|
|
||||||
Strojový preklad. Napr. Ako sa povie “Dnes je pekný deň” po japonsky?
|
|
||||||
|
|
||||||
Parafrázovač. Napr. Akým iným spôsobom sa dá povedať “Mám rád bryndzové halušky”
|
|
||||||
|
|
||||||
Porozumenie jazyku (Natural Language Understanding)
|
|
||||||
|
|
||||||
---
|
|
||||||
|
|
||||||
Chatboty, Umelý psychiater.
|
|
||||||
|
|
||||||
“Umelá inteligencia” - počítač na lodi Enterpise, ktorý rozumie slovným príkazom kapitána a vie mu odpovedať na jeho požiadavky
|
|
||||||
Morfologická analýza (hľadanie gramatickej a sémantickej funkcie slova)
|
|
||||||
|
|
||||||
|
|
||||||
---
|
|
||||||
Prirodzený jazyk je veľmi neurčitý (ambiguity)
|
|
||||||
|
|
||||||
---
|
|
||||||
|
|
||||||
- To isté vieme povedať rôznymi spôsobmi
|
|
||||||
- Jedna výpoveď môže mať veľa rôznych významov
|
|
||||||
- Často pri komunikácii prenášame aj neverbálnu informáciu:
|
|
||||||
- Pocity
|
|
||||||
- Gestá
|
|
||||||
- Prízvuk a štýl reči
|
|
||||||
|
|
||||||
---
|
|
||||||
Homonymá:
|
|
||||||
|
|
||||||
Práve sedím v škole. Nevyznám sa v občianskom práve.
|
|
||||||
To auto stojí 10000 eúr. Auto stojí na kraji cesty.
|
|
||||||
|
|
||||||
---
|
|
||||||
Synonymá:
|
|
||||||
|
|
||||||
Išiel som do Bratislavy. Išiel som do Blavy.
|
|
||||||
|
|
||||||
---
|
|
||||||
Neurčité poradie slov vo vete:
|
|
||||||
|
|
||||||
Dnes je pekný deň. Pekný deň je dnes. Deň je dnes pekný.
|
|
||||||
|
|
||||||
---
|
|
||||||
Neurčitý význam slov:
|
|
||||||
|
|
||||||
„Po tráve sa nechodí, po tráve sa smeje”
|
|
||||||
|
|
||||||
---
|
|
||||||
Novotvary a slangové výrazy:
|
|
||||||
|
|
||||||
Vygoogli si to a potom to postni na fb.
|
|
||||||
|
|
||||||
---
|
|
||||||
Emócie a spoločenské konvencie:
|
|
||||||
|
|
||||||
Pane! Pekne ste sa doriadil!
|
|
||||||
|
|
||||||
---
|
|
||||||
Preklepy a brepty:
|
|
||||||
|
|
||||||
Viď prednašku.
|
|
||||||
|
|
||||||
---
|
|
||||||
|
|
||||||
Počítačový jazyk je jednoznačný
|
|
||||||
Potrebujeme metódy pre prácu s neurčitosťou
|
|
||||||
|
|
||||||
---
|
|
||||||
Práca s neurčitosťou v NLP
|
|
||||||
|
|
||||||
- Klasifikácia kontextov alebo ich postupností
|
|
||||||
- Prepisovanie postupnosti symbolov
|
|
||||||
|
|
||||||
---
|
|
||||||
Klasifikácia kontextov
|
|
||||||
|
|
||||||
Mapovanie:
|
|
||||||
|
|
||||||
c => S
|
|
||||||
|
|
||||||
- C: kontext: Veta,Dokument
|
|
||||||
- S: symbol: Morfologická značka, léma, vetný člen...
|
|
||||||
|
|
||||||
|
|
||||||
---
|
|
||||||
Využitie
|
|
||||||
|
|
||||||
- detekcia sentimentu
|
|
||||||
- detekcia spamu
|
|
||||||
- identifikácia pomenovaných entít
|
|
||||||
|
|
||||||
---
|
|
||||||
Pri klasifikácii nám pomáha, ak vieme ktorá časť kontextu je dôležitá pre klasifikáciu.
|
|
||||||
|
|
||||||
- Slovo
|
|
||||||
- Koncovka, Koreň slova
|
|
||||||
- Predchádzajúce slovo, Nasledujúce slovo
|
|
||||||
- Typ prvého písmena
|
|
||||||
|
|
||||||
---
|
|
||||||
## Príznaková funkcia
|
|
||||||
|
|
||||||
Taká binárna funkcia kontextu, ktorá je pravdivá iba v prípade výskytu daného príznaku v kontexte.
|
|
||||||
Vhodná sada príznakových funkcií nám pomáha riešiť problém.
|
|
||||||
|
|
||||||
---
|
|
||||||
## Príznaková funkcia
|
|
||||||
|
|
||||||
Mapovanie
|
|
||||||
|
|
||||||
Symbol => jednotkový vektor
|
|
||||||
|
|
||||||
dnes => 0000100001
|
|
||||||
|
|
||||||
|
|
||||||
---
|
|
||||||
## Klasifikátor kontextov
|
|
||||||
|
|
||||||
Extrakcia príznakov, klasifikácia
|
|
||||||
|
|
||||||
symbol=> príznakový vektor => trieda
|
|
||||||
|
|
||||||
---
|
|
||||||
## Klasifikátor kontextov
|
|
||||||
|
|
||||||
- Ľudskú znalosť vo forme pravidiel
|
|
||||||
- Štatistické informácie z trénovacích korpusov
|
|
||||||
- Kombináciu oboch prístupov
|
|
||||||
|
|
||||||
---
|
|
||||||
## Pravidlá
|
|
||||||
|
|
||||||
- Slovníky
|
|
||||||
- Formálna gramatika
|
|
||||||
- Regulárne výrazy
|
|
||||||
|
|
||||||
---
|
|
||||||
## Štatistické prístupy
|
|
||||||
|
|
||||||
- HMM
|
|
||||||
- N-gram model
|
|
||||||
- Umelá neurónová sieť
|
|
||||||
|
|
||||||
---
|
|
||||||
## Hlboké neurónové siete
|
|
||||||
|
|
||||||
- LSTM, Konvolučné siete, Transformery
|
|
||||||
|
|
||||||
Výpočtovo náročné
|
|
||||||
|
|
||||||
---
|
|
||||||
## Prepisovanie postupnosti symbolov
|
|
||||||
|
|
||||||
Mapovanie:
|
|
||||||
|
|
||||||
postupnosť => iná postupnosť
|
|
||||||
|
|
||||||
---
|
|
||||||
## Prepisovanie postupnosti symbolov
|
|
||||||
|
|
||||||
- strojový preklad
|
|
||||||
- korekcia preklepov a gramatiky
|
|
||||||
- dialógové systémy
|
|
||||||
|
|
||||||
---
|
|
||||||
## Enkóder-Dekóder
|
|
||||||
|
|
||||||
Enkóder:
|
|
||||||
|
|
||||||
symboly => príznaky => významový vektor
|
|
||||||
|
|
||||||
Dekóder:
|
|
||||||
|
|
||||||
model a významový vektor => výstupné symboly
|
|
||||||
|
|
||||||
---
|
|
||||||
## Enkóder Dekóder
|
|
||||||
|
|
||||||
Hlboké neurónové siete
|
|
||||||
|
|
||||||
---
|
|
||||||
|
|
||||||
# Aj vy môžte robiť NLP
|
|
||||||
|
|
||||||
---
|
|
||||||
|
|
||||||
## Všeobecný programovací jazyk
|
|
||||||
|
|
||||||
Python
|
|
||||||
|
|
||||||
---
|
|
||||||
|
|
||||||
## Všeobecné knižnice pre strojové učenie
|
|
||||||
|
|
||||||
- keras
|
|
||||||
- pytorch
|
|
||||||
|
|
||||||
---
|
|
||||||
|
|
||||||
## Všeobecné knižnice pre NLP
|
|
||||||
|
|
||||||
- Spacy
|
|
||||||
- Flair
|
|
||||||
|
|
||||||
---
|
|
||||||
## Strojový preklad
|
|
||||||
|
|
||||||
- fairseq
|
|
||||||
|
|
||||||
---
|
|
||||||
## Extrakcia sémantických príznakov
|
|
||||||
|
|
||||||
- glove
|
|
||||||
- fasttext
|
|
||||||
- word2vec
|
|
||||||
|
|
||||||
---
|
|
||||||
## Získavanie informácií a spracovanie logov
|
|
||||||
|
|
||||||
Elasticsearch
|
|
||||||
|
|
||||||
---
|
|
||||||
## Dialógové systémy a porozumenie jazyku
|
|
||||||
|
|
||||||
RASA
|
|
||||||
|
|
||||||
---
|
|
||||||
## Bibliografia
|
|
||||||
|
|
||||||
Jurafsky, Martin: Natural Language Processing
|
|
||||||
Christopher Manning: Natural Language Processing, Stanford University Online Video Lectures
|
|
||||||
|
|
||||||
|
|
||||||
Loading…
Reference in New Issue
Block a user