From 4c5ec09b6a2411268c14a837508b3e44c920f6b6 Mon Sep 17 00:00:00 2001 From: =?UTF-8?q?Patrik=20Pavli=C5=A1in?= Date: Mon, 8 Feb 2021 10:59:17 +0000 Subject: [PATCH 01/78] =?UTF-8?q?Aktualizovat=20=E2=80=9Epages/students/20?= =?UTF-8?q?16/patrik=5Fpavlisin/tp20/README.md=E2=80=9C?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit --- .../2016/patrik_pavlisin/tp20/README.md | 166 +++++++++--------- 1 file changed, 85 insertions(+), 81 deletions(-) diff --git a/pages/students/2016/patrik_pavlisin/tp20/README.md b/pages/students/2016/patrik_pavlisin/tp20/README.md index ac997af5cd..69b0bdc553 100755 --- a/pages/students/2016/patrik_pavlisin/tp20/README.md +++ b/pages/students/2016/patrik_pavlisin/tp20/README.md @@ -1,82 +1,86 @@ -# Strojový preklad - -## Štatistický strojový preklad - -Strojový preklad je automatický preklad jednej, alebo skupiny viacerých viet jedného jazyka do druhého pomocou počítačov. Jedná sa o dôležitú aplikáciu v oblasti spracovania prirodzeného jazyka a záujem o toto odvetvie je takmer taký starý ako elektronický počítač. Štatistický strojový preklad zaznamenal za necelé dve desaťročia obrovský pokrok a v súčasnosti práve on dominuje v tejto oblasti výskumu. SMT využíva veľké množstvo paralelných korpusov a textov, ktoré už boli predtým preložené, vďaka čomu je stroj preložiť dovtedy nevidené vety. Príkladom pre SMT sú modely IBM, slovné modely, ktoré predstavujú prvú generáciu štatistického strojového prekladu. S použitím rôznych nástrojov a dostatku paralelného textu tak môžeme vytvoriť strojový preklad pre nový jazykový pár vo veľmi krátkom čase, podľa niektorých štúdii dokonca za menej ako deň. - -Popularita internetu výrazne ovplyvnila záujem o strojový preklad a šírenie informácii vo viacerých jazykoch. Príkladom sú viacjazyčné vlády, spravodajské agentúry a spoločnosti pôsobiace na globálnom trhu. Vďaka tomuto rozšíreniu sú základným zdrojom vo výskume SMT, pretože sú každodenným produktom bežných ľudských činností. A je to taktiež jeden z dôvodov, prečo Európska únia, či Vláda Spojených štátov zvýšila financovanie výskumu strojového prekladu na podporu svojich záujmov v oblasti politiky. Rýchli a lacný výpočtový hardvér umožnil aplikácie, ktoré závisia od veľkého počtu súborov údajov a miliárd štatistík. Výrazne k tomu prispeli pokroky v rýchlosti procesora, veľkosti a rýchlosti pamäte novších počítačov. Vývoj metrík automatického prekladu taktiež umožnil zrýchliť vývoj systémov strojového prekladu a podporil konkurenciu medzi výskumnými skupinami. [10] - -## Neurónový strojový preklad -Sila NMT spočíva v jeho schopnosti učiť sa priamo, end-to-end spôsobom, mapovanie zo vstupného textu na asociovaný výstupný text. Neurónový strojový preklad je jedným z novších prístupov k štatistickej strojovej translácii založenej čisto na neurónových sieťach, pozostávajú z kódovacieho zariadenia a dekódera. Tento typ strojového prekladu viedol k zlepšeniu najmä v oblasti hodnotenia ľudí, v porovnaní so systémami založenými na štatistických pravidlách a štatistickým strojovým prekladom. Posledné štúdie však ukazujú, že NMT všeobecne produkuje plynulé, ale nedostatočné preklady, čo je v kontraste s konvenčným štatistickým strojovým prekladom, ktorý produkuje adekvátne, ale nie plynulé preklady. Kóder extrahuje reprezentáciu pevnej dĺžky zo vstupnej vety s premennou dĺžkou a dekóder následne vygeneruje finálny preklad z danej reprezentácie. Neurálny strojový preklad funguje dobre predovšetkým na krátke vety bez neznámych slov, preklad sa však zhoršuje s pribúdajúcou dĺžkou textu a neznámych slov, taktiež slovná zásoba ma veľký vplyv na výkon prekladu. Výhodou neurálneho strojového prekladu je, že oproti SMT vyžaduje iba zlomok pamäte pre trénovanie (napr. ak neurónový strojový preklad použije 500 MB pamäte, SMT by na rovnaké trénovanie využil desiatky gigabajtov). Na rozdiel od iných konvenčných prekladových systémov, sa každý komponent modelu neurálneho prekladu trénuje spoločne, aby sa maximalizoval výkon prekladu. [4] [5] [6] [7] - -## NMT s SMT výhodami - -Vzhľadom na vedomosti, ktoré máme o NMT a SMT je preto prirodzené pokúsiť sa využívať výhody oboch modelov na lepšie preklady. Konkrétne začleniť model SMT do rámca NMT, čo znamená, že v každom kroku SMT odošle ďalšie odporúčania generovaných slov na základe dekódovacích informácii z NMT. Experimentálne výsledky čínsko-anglického prekladu (NMT advised by SMT, 2016) ukazujú, že navrhovaný prístup dosahuje mimoriadne konzistentné vylepšenia oproti najnovším NMT a SMT modelom. Jedným z rozdielov v tomto prístupe je, že tento model nevyberá ďalšie slovo len na základe vektorových reprezentácií, ale umožňuje tiež predikciu na základe odporúčaní z modelu SMT. (Viac informácii na [3] ). - -## Recurrent neural network - -Rekurentná neurónová sieť (RNN) je trieda umelých neurónových sietí, kde spojenia medzi uzlami vytvárajú usmernený graf pozdĺž časovej postupnosti. To mu umožňuje vykazovať časové dynamické správanie. RNN môžu používať svoj vnútorný stav (pamäť) na spracovanie sekvencií vstupov s premennou dĺžkou. Obojsmerná rekurentná neurónová sieť, známa ako kódovač, používa neurónová sieť na kódovanie zdrojovej vety pre druhý RNN, známy ako dekodér, ktorý sa používa na predikciu slov v cieľovom jazyku. Rekurentné neurónové siete čelia problémom pri kódovaní dlhých vstupov do jedného vektora. To je možné kompenzovať pomocou tzv. attention mechanisms, ktorý umožňuje dekodéru sústrediť sa na rôzne časti vstupu pri generovaní každého slova výstupu. Existujú ďalšie modely pokrytia, ktoré sa zaoberajú problémami v takýchto mechanizmoch pozornosti, napríklad ignorovanie informácií o minulom zosúladení vedúcich k nadmernému prekladu a nedostatočnému prekladu. - -Termín „rekurentná neurónová sieť“ sa používa bez rozdielu na označenie dvoch širokých tried sietí s podobnou všeobecnou štruktúrou, kde jedna je konečný impulz a druhá nekonečný impulz. Obe triedy sietí vykazujú časové dynamické správanie. Konečná impulzná opakujúca sa sieť je usmernený acyklický graf, ktorý je možné rozvinúť a nahradiť ho striktne doprednou neurálnou sieťou, zatiaľ čo nekonečná impulzná opakujúca sa sieť je usmernený cyklický graf, ktorý sa nedá rozvinúť. Konečné impulzné aj nekonečné impulzné opakujúce sa siete môžu mať ďalšie uložené stavy a úložisko môže byť pod priamou kontrolou neurónovej siete. Úložisko je tiež možné nahradiť inou sieťou alebo grafom, ak obsahuje časové oneskorenia alebo má spätnoväzbové slučky. (Viac informácii na ( [7],[8] ). - -## Convolutional Neural Networks - -Okrem RNN je ďalším prirodzeným prístupom k riešeniu sekvencií s premennou dĺžkou použitie rekurzívnej konvolučnej neurónovej siete, kde sú parametre na každej úrovni zdieľané cez celú sieť. Konvolučné neurónové siete sú v zásade o niečo lepšie pre dlhé nepretržité sekvencie, ale pôvodne sa nepoužívali kvôli niekoľkým slabinám. Tie boli v roku 2017 úspešne kompenzované pomocou „attention mechanisms“. - -Konvolučná neurónová sieť (CNN) je trieda hlbokých neurónových sietí, ktorá sa najčastejšie používa na analýzu vizuálnych snímok. Sú tiež známe ako umelé neurónové siete s posunom invariantu alebo s priestorovým invariantom (SIANN) na základe ich architektúry zdieľaných váh a charakteristík invariantnosti translácie. CNN používajú v porovnaní s inými algoritmami klasifikácie obrázkov relatívne malé predbežné spracovanie. To znamená, že sa sieť učí filtre, ktoré boli v tradičných algoritmoch vyrobené ručne. Táto nezávislosť od predchádzajúcich znalostí a ľudského úsilia pri navrhovaní funkcií je hlavnou výhodou. - -CNN sú legalizované verzie viacvrstvových perceptrónov. Viacvrstvové perceptróny zvyčajne znamenajú plne spojené siete, to znamená, že každý neurón v jednej vrstve je spojený so všetkými neurónmi v nasledujúcej vrstve. Vďaka „úplnému prepojeniu“ týchto sietí sú náchylné na preplnenie údajov. Typické spôsoby regularizácie zahŕňajú pridanie určitej formy merania hmotnosti k stratovej funkcii. CNN používajú odlišný prístup k regularizácii: využívajú hierarchický vzorec v dátach a zhromažďujú zložitejšie vzory pomocou menších a jednoduchších vzorov. Z hľadiska rozsahu prepojenosti a zložitosti sú teda CNN na dolnej extrému. (Viac informácii na [5],[6] ). - -## Encoder–Decoder Approach - -Architektúra Encoder-Decoder s rekurentnými neurónovými sieťami sa stala efektívnym a štandardným prístupom pre neurálnu strojovú transláciu (NMT) a predikciu sekvencie za sekvenciou (seq2seq) všeobecne. - -Strojový preklad je hlavnou problémovou doménou pre modely sekvenčnej transdukcie, ktorých vstup aj výstup sú sekvencie s premennou dĺžkou. Na zvládnutie tohto typu vstupov a výstupov môžeme navrhnúť architektúru s dvoma hlavnými komponentmi. Prvým komponentom je kódovač, ktorý berie ako vstup sekvenciu s premennou dĺžkou a transformuje ju do stavu s pevným tvarom. Druhým komponentom je dekodér, ktorý mapuje kódovaný stav pevného tvaru na sekvenciu s premennou dĺžkou. Toto sa nazýva architektúra dekodér-dekodér. - -Aj keď je architektúra Encoder-Decoder efektívna, má problémy s dlhými sekvenciami textu, ktoré sa majú preložiť. Problém pramení z internej reprezentácie pevnej dĺžky, ktorá sa musí použiť na dekódovanie každého slova vo výstupnej sekvencii. Riešením je použitie attention mechanism (mechanizmu pozornosti), ktorý umožňuje modelu naučiť sa, kam má venovať pozornosť vstupnej sekvencii, pretože každé slovo výstupnej sekvencie je dekódované. - -Kľúčovými výhodami tohto prístupu sú schopnosť trénovať jeden end-to-end model priamo na zdrojových a cieľových vetách a schopnosť zvládnuť vstupné a výstupné sekvencie textu s rôznou dĺžkou. Ako dôkaz úspechu metódy je architektúra jadrom prekladateľskej služby Google. Architektúra rekurentnej neurónovej siete Encoder-Decoder s pozornosťou je v súčasnosti najmodernejším riešením niektorých benchmarkových problémov pre strojový preklad. Táto architektúra je použitá v jadre systému Google Neural Machine Translation alebo GNMT, ktorý sa používa v ich službe Google Translate. [8] - -![LSTM](https://git.kemt.fei.tuke.sk/KEMT/zpwiki/raw/commit/5134c49afabbb2e5e8e090b8fa54bb1711dd6160/pages/students/2016/patrik_pavlisin/1.png)**Obr 1. encoder-decoder architektúra** - - -## BERT - -Bidirectional Encoder Representations from Transformers (BERT) je strojové školenie zamerané na techniku strojového učenia na spracovanie prirodzeného jazyka (NLP) vyvinuté spoločnosťou Google. Keď bol BERT publikovaný, dosiahol vynikajúcu výkonnosť v mnohých úlohách porozumenia prirodzenému jazyku ako napr. SQuAD (Stanford Question Answering Dataset) a SWAG (Situations With Adversarial Generations). Dôvody spoľahlivého výkonu BERT v týchto úlohách porozumenia prirodzenému jazyku ešte nie sú dobre pochopené. - -V súčasnosti sú vopred vytrénované jazykové modely BERT považované za dôležité pre širokú škálu úloh NLP, ako sú napríklad Natural Language Inference (NLI) a Question Answer (QA). Napriek svojmu obrovskému úspechu stále majú limity na reprezentáciu kontextových informácií v korpuse špecifickom pre danú oblasť, pretože sú trénované na všeobecnom korpuse (napr. Anglická Wikipedia). Napríklad Ubuntu Corpus, ktorý je najpoužívanejším korpusom pri výbere odpovedí, obsahuje množstvo terminológií a príručiek, ktoré sa vo všeobecnom korpuse zvyčajne nevyskytujú (napr. Apt-get, mkdir a grep). Pretože sa korpus zameriava predovšetkým na určitú doménu, existujúce diela majú obmedzenia pri porovnávaní kontextu dialógu a odozvy. Korpus konverzácií, ako napríklad Twitter a Reddits, sa navyše skladá hlavne z hovorových výrazov, ktoré sú zvyčajne gramaticky nesprávne. [1] [2] - -## Metódy vyhodnotenia - -Ako zistíme či je náš výstup zo systému SMT dobrý ? Na vyhodnotenie strojového prekladu bolo navrhnutých veľa rôznych metód. Zaujímavosťou je že o metódach pre hodnotenie strojového prekladu sa za v posledných rokoch píše viac ako o samotnom strojovom preklade. Vyhodnotenie človekom je vo všeobecnosti veľmi časovo a finančne náročné, pretože vyžaduje zaplatenie odborníka v daných dvoch jazykoch. Z toho dôvodu sa začali vyvíjať automatické metriky, ktoré úzko korelujú s ľudských úsudkom. Čím presnejšie tieto metriky budú tým lepšia bude naša výkonnosť v hodnotením strojového prekladu. Pri vývoji týchto metrík bolo dôležité použiť sady testovacích viet, pre ktoré už existovali ľudské preklady, napríklad z paralelného korpusu. Metódy automatického prekladu sú založené na čiastočnom zosúladení reťazcov medzi výstupným a referenčným prekladom (viz. Obrázok 1). - -![LSTM](https://git.kemt.fei.tuke.sk/KEMT/zpwiki/raw/commit/5134c49afabbb2e5e8e090b8fa54bb1711dd6160/pages/students/2016/patrik_pavlisin/2.png)**Obr 2. Príklad čiastočnej zhody reťazcov používaný vo väčšine metód hodnotenia.** - - -Jednou z metrík na hodnotenie je napríklad známy Levenshtein, známy tiež ako word error rate (WER), ten predstavuje počet vložení, odstránení a substitúcii potrebných na prevedenie výstupnej vety na vetu vstupnú. Táto metrika je však najmenej vhodná, pretože nerozpoznáva nové usporiadanie slov. Slovo, ktoré je správne preložené, ale na zlom mieste bude penalizované ako vymazanie (na výstupe) a vloženie (na správnom mieste). Preto je výhodnejšie použiť position-independent word error rate (PER), ktorá nepenalizuje poradie, pretože výstupné a referenčné vety považuje za neusporiadané. Za posledné roky je však najbežnejšou používanou metrikou BLEU, ktorá berie do úvahy jednoslovné zhody medzi výstupnou a referenčnou vetou ako aj zhody n-gramov. BLEU je zameraná na presnosť, čo znamená, že počet n-gramových zhôd považuje za zlomok počtu celkových n-gramov vo výstupe. Zlomok sa počíta osobitne pre každé n a berie sa geometrický priemer. Presnosť metriky BLEU je upravená tak, aby eliminovala opakovania, ktoré sa vyskytujú vo vetách. - -Aj keď sa BLEU pokúša zachytiť povolené rozdiely v preklade, tak tento systém zachádza oveľa ďalej ako by mal. BLEU nekladie žiadne výslovné obmedzenia na hranicu, v ktorej sa vyskytujú zodpovedajúce n-gramy. Pre umožnenie variácie pri výbere slova sa preto v preklade metriky BLEU používajú viacnásobné preklady odkazov, ale taktiež kladie len veľmi málo obmedzení na to ako je možné čerpať gramové zhody z viacerých referenčných prekladov. BLEU je týmito spôsobmi obmedzené, umožňuje obrovské množstvo variácií, ďaleko nad rámec toho, čo by sa dalo považovať za prijateľnú variáciu v strojovom preklade. Ukázalo sa, že pre priemerný preklad hypotéz existuje viac ako milión možných variantov, z ktorých každý získal podobné skóre BLEU. Tvrdíme preto, že počet prekladov, ktoré majú rovnaké skóre, je taký veľký, že je nepravdepodobné, aby všetci z nich boli hodnotené ľudskými prekladateľmi rovnako kvalitne. Z toho vyplýva, že je možné dostať identické skóre po hodnotení metrikou BLEU, ktoré by ale ľudia hodnotili horšie. Je preto tiež možné dosiahnuť vyššie skóre BLEU, bez toho, aby sa v skutočnosti zlepšila samotná kvalita strojového prekladu. - -Neschopnosť BLEU rozlišovať medzi náhodne generovanými variáciami prekladu naznačuje, že to v niektorých prípadoch nemusí korelovať s ľudskými úsudkami o kvalite prekladu. S pribúdajúcim počtom identického skóre klesá pravdepodobnosť, že by sa všetky z nich dali považovať za rovnako pravdepodobné. To zdôrazňuje skutočnosť, že BLEU je metrika na meranie hrubej kvality prekladu. K tomuto tvrdeniu prispieva aj niekoľko ďalších faktorov ako napríklad, že so synonymami a parafrázami sa zaobchádza iba vtedy ak sú v skupine viacerých referenčných odkazov. Dalej skóre slov sa počíta rovnako, takže v prípade chýbajúceho obsahového materiálu to neprináša žiadnu penalizáciu. Každá z týchto chýb prispieva k zvýšeniu zle preložených a nezrozumiteľných prekladov. Vzhľadom na to, že BLEU môže teoreticky priradiť rovnaké skóre prekladu dvom textom odlišnej kvality, je logické, že vyššie skóre BLEU nemusí nevyhnutne znamenať skutočne zlepšenie kvality prekladu. [9] - -## Zoznam použitej literatúri - -[1]. WANG T., LEE D., LEE CH. YANG K., OH D., LIM H.: _Domain Adaptive Training BERT for Response Selection._ [online]. [citované 01-08-2019]. - -[2]. DEVLIN J., CHANG M., LEE K., TOUTANOVA K.: BERT: _Pre-training of Deep Bi-directional Transformers for Language Understanding._ [online]. [citované 24-05-2019]. - -[3]. WANG X., LU Z., TU Z., LI H., XIONG D., ZHANG M.: _Neural Machine Translation Advised by Statistical Machine Translation._ [online]. [citované 30-12-2016]. - -[4]. ZHANG A., LIPTON C. Z., LI M., SMOLA J. A.: _Dive into Deep Learning._ [online]. [citované 06-11-2020]. - -[5]. O´SHEA K., NASH R.: _An Introduction to Convolutional Neural Networks._ [online]. [citované 02-12-2015]. - -[6]. KALCHBERNNER N., GREFENSTETTE E., BLUNSOM P.: _A Convolutional Neural Network for Modelling Sentences__._ [online]. [citované 08-08-2014]. - -[7]. ZAREMBA W., SUTSKEVER I., VINYALS O.: _Recurrent Neural Network Regularization_. [online]. [citované 19-02-2015]. - -[8]. CHO K., MERRIENBOER vB., BAHDANAU D.: _On the Properties of Neural Machine Translation: Encoder–Decoder Approaches._ [online]. [citované 07-10-2014]. - -[9]. CALLISON-BURCH C., OSBORNE M., KOEHN P.: _Re-evaluating the Role of BLEU in Machine Translation Research__._ [online]. [citované 2006]. - +# Strojový preklad + +## Štatistický strojový preklad + +Strojový preklad je automatický preklad jednej, alebo skupiny viacerých viet jedného jazyka do druhého pomocou počítačov. Jedná sa o dôležitú aplikáciu v oblasti spracovania prirodzeného jazyka a záujem o toto odvetvie je takmer taký starý ako elektronický počítač. Štatistický strojový preklad zaznamenal za necelé dve desaťročia obrovský pokrok a v súčasnosti práve on dominuje v tejto oblasti výskumu. SMT využíva veľké množstvo paralelných korpusov a textov, ktoré už boli predtým preložené, vďaka čomu je stroj preložiť dovtedy nevidené vety. Príkladom pre SMT sú modely IBM, slovné modely, ktoré predstavujú prvú generáciu štatistického strojového prekladu. S použitím rôznych nástrojov a dostatku paralelného textu tak môžeme vytvoriť strojový preklad pre nový jazykový pár vo veľmi krátkom čase, podľa niektorých štúdii dokonca za menej ako deň. + +Popularita internetu výrazne ovplyvnila záujem o strojový preklad a šírenie informácii vo viacerých jazykoch. Príkladom sú viacjazyčné vlády, spravodajské agentúry a spoločnosti pôsobiace na globálnom trhu. Vďaka tomuto rozšíreniu sú základným zdrojom vo výskume SMT, pretože sú každodenným produktom bežných ľudských činností. A je to taktiež jeden z dôvodov, prečo Európska únia, či Vláda Spojených štátov zvýšila financovanie výskumu strojového prekladu na podporu svojich záujmov v oblasti politiky. Rýchli a lacný výpočtový hardvér umožnil aplikácie, ktoré závisia od veľkého počtu súborov údajov a miliárd štatistík. Výrazne k tomu prispeli pokroky v rýchlosti procesora, veľkosti a rýchlosti pamäte novších počítačov. Vývoj metrík automatického prekladu taktiež umožnil zrýchliť vývoj systémov strojového prekladu a podporil konkurenciu medzi výskumnými skupinami. [10] + +## Neurónový strojový preklad +Sila NMT spočíva v jeho schopnosti učiť sa priamo, end-to-end spôsobom, mapovanie zo vstupného textu na asociovaný výstupný text. Neurónový strojový preklad je jedným z novších prístupov k štatistickej strojovej translácii založenej čisto na neurónových sieťach, pozostávajú z kódovacieho zariadenia a dekódera. Tento typ strojového prekladu viedol k zlepšeniu najmä v oblasti hodnotenia ľudí, v porovnaní so systémami založenými na štatistických pravidlách a štatistickým strojovým prekladom. Posledné štúdie však ukazujú, že NMT všeobecne produkuje plynulé, ale nedostatočné preklady, čo je v kontraste s konvenčným štatistickým strojovým prekladom, ktorý produkuje adekvátne, ale nie plynulé preklady. Kóder extrahuje reprezentáciu pevnej dĺžky zo vstupnej vety s premennou dĺžkou a dekóder následne vygeneruje finálny preklad z danej reprezentácie. Neurálny strojový preklad funguje dobre predovšetkým na krátke vety bez neznámych slov, preklad sa však zhoršuje s pribúdajúcou dĺžkou textu a neznámych slov, taktiež slovná zásoba ma veľký vplyv na výkon prekladu. Výhodou neurálneho strojového prekladu je, že oproti SMT vyžaduje iba zlomok pamäte pre trénovanie (napr. ak neurónový strojový preklad použije 500 MB pamäte, SMT by na rovnaké trénovanie využil desiatky gigabajtov). Na rozdiel od iných konvenčných prekladových systémov, sa každý komponent modelu neurálneho prekladu trénuje spoločne, aby sa maximalizoval výkon prekladu. [4] [5] [6] [7] + +## NMT s SMT výhodami + +Vzhľadom na vedomosti, ktoré máme o NMT a SMT je preto prirodzené pokúsiť sa využívať výhody oboch modelov na lepšie preklady. Konkrétne začleniť model SMT do rámca NMT, čo znamená, že v každom kroku SMT odošle ďalšie odporúčania generovaných slov na základe dekódovacích informácii z NMT. Experimentálne výsledky čínsko-anglického prekladu (NMT advised by SMT, 2016) ukazujú, že navrhovaný prístup dosahuje mimoriadne konzistentné vylepšenia oproti najnovším NMT a SMT modelom. Jedným z rozdielov v tomto prístupe je, že tento model nevyberá ďalšie slovo len na základe vektorových reprezentácií, ale umožňuje tiež predikciu na základe odporúčaní z modelu SMT. (Viac informácii na [3] ). + +## Recurrent neural network + +Rekurentná neurónová sieť (RNN) je trieda umelých neurónových sietí, kde spojenia medzi uzlami vytvárajú usmernený graf pozdĺž časovej postupnosti. To mu umožňuje vykazovať časové dynamické správanie. RNN môžu používať svoj vnútorný stav (pamäť) na spracovanie sekvencií vstupov s premennou dĺžkou. Obojsmerná rekurentná neurónová sieť, známa ako kódovač, používa neurónová sieť na kódovanie zdrojovej vety pre druhý RNN, známy ako dekodér, ktorý sa používa na predikciu slov v cieľovom jazyku. Rekurentné neurónové siete čelia problémom pri kódovaní dlhých vstupov do jedného vektora. To je možné kompenzovať pomocou tzv. attention mechanisms, ktorý umožňuje dekodéru sústrediť sa na rôzne časti vstupu pri generovaní každého slova výstupu. Existujú ďalšie modely pokrytia, ktoré sa zaoberajú problémami v takýchto mechanizmoch pozornosti, napríklad ignorovanie informácií o minulom zosúladení vedúcich k nadmernému prekladu a nedostatočnému prekladu. + +Termín „rekurentná neurónová sieť“ sa používa bez rozdielu na označenie dvoch širokých tried sietí s podobnou všeobecnou štruktúrou, kde jedna je konečný impulz a druhá nekonečný impulz. Obe triedy sietí vykazujú časové dynamické správanie. Konečná impulzná opakujúca sa sieť je usmernený acyklický graf, ktorý je možné rozvinúť a nahradiť ho striktne doprednou neurálnou sieťou, zatiaľ čo nekonečná impulzná opakujúca sa sieť je usmernený cyklický graf, ktorý sa nedá rozvinúť. Konečné impulzné aj nekonečné impulzné opakujúce sa siete môžu mať ďalšie uložené stavy a úložisko môže byť pod priamou kontrolou neurónovej siete. Úložisko je tiež možné nahradiť inou sieťou alebo grafom, ak obsahuje časové oneskorenia alebo má spätnoväzbové slučky. (Viac informácii na ( [7],[8] ). + +## Convolutional Neural Networks + +Okrem RNN je ďalším prirodzeným prístupom k riešeniu sekvencií s premennou dĺžkou použitie rekurzívnej konvolučnej neurónovej siete, kde sú parametre na každej úrovni zdieľané cez celú sieť. Konvolučné neurónové siete sú v zásade o niečo lepšie pre dlhé nepretržité sekvencie, ale pôvodne sa nepoužívali kvôli niekoľkým slabinám. Tie boli v roku 2017 úspešne kompenzované pomocou „attention mechanisms“. + +Konvolučná neurónová sieť (CNN) je trieda hlbokých neurónových sietí, ktorá sa najčastejšie používa na analýzu vizuálnych snímok. Sú tiež známe ako umelé neurónové siete s posunom invariantu alebo s priestorovým invariantom (SIANN) na základe ich architektúry zdieľaných váh a charakteristík invariantnosti translácie. CNN používajú v porovnaní s inými algoritmami klasifikácie obrázkov relatívne malé predbežné spracovanie. To znamená, že sa sieť učí filtre, ktoré boli v tradičných algoritmoch vyrobené ručne. Táto nezávislosť od predchádzajúcich znalostí a ľudského úsilia pri navrhovaní funkcií je hlavnou výhodou. + +CNN sú legalizované verzie viacvrstvových perceptrónov. Viacvrstvové perceptróny zvyčajne znamenajú plne spojené siete, to znamená, že každý neurón v jednej vrstve je spojený so všetkými neurónmi v nasledujúcej vrstve. Vďaka „úplnému prepojeniu“ týchto sietí sú náchylné na preplnenie údajov. Typické spôsoby regularizácie zahŕňajú pridanie určitej formy merania hmotnosti k stratovej funkcii. CNN používajú odlišný prístup k regularizácii: využívajú hierarchický vzorec v dátach a zhromažďujú zložitejšie vzory pomocou menších a jednoduchších vzorov. Z hľadiska rozsahu prepojenosti a zložitosti sú teda CNN na dolnej extrému. (Viac informácii na [5],[6] ). + +## Encoder–Decoder Approach + +Architektúra Encoder-Decoder s rekurentnými neurónovými sieťami sa stala efektívnym a štandardným prístupom pre neurálnu strojovú transláciu (NMT) a predikciu sekvencie za sekvenciou (seq2seq) všeobecne. + +Strojový preklad je hlavnou problémovou doménou pre modely sekvenčnej transdukcie, ktorých vstup aj výstup sú sekvencie s premennou dĺžkou. Na zvládnutie tohto typu vstupov a výstupov môžeme navrhnúť architektúru s dvoma hlavnými komponentmi. Prvým komponentom je kódovač, ktorý berie ako vstup sekvenciu s premennou dĺžkou a transformuje ju do stavu s pevným tvarom. Druhým komponentom je dekodér, ktorý mapuje kódovaný stav pevného tvaru na sekvenciu s premennou dĺžkou. Toto sa nazýva architektúra dekodér-dekodér. + +Aj keď je architektúra Encoder-Decoder efektívna, má problémy s dlhými sekvenciami textu, ktoré sa majú preložiť. Problém pramení z internej reprezentácie pevnej dĺžky, ktorá sa musí použiť na dekódovanie každého slova vo výstupnej sekvencii. Riešením je použitie attention mechanism (mechanizmu pozornosti), ktorý umožňuje modelu naučiť sa, kam má venovať pozornosť vstupnej sekvencii, pretože každé slovo výstupnej sekvencie je dekódované. + +Kľúčovými výhodami tohto prístupu sú schopnosť trénovať jeden end-to-end model priamo na zdrojových a cieľových vetách a schopnosť zvládnuť vstupné a výstupné sekvencie textu s rôznou dĺžkou. Ako dôkaz úspechu metódy je architektúra jadrom prekladateľskej služby Google. Architektúra rekurentnej neurónovej siete Encoder-Decoder s pozornosťou je v súčasnosti najmodernejším riešením niektorých benchmarkových problémov pre strojový preklad. Táto architektúra je použitá v jadre systému Google Neural Machine Translation alebo GNMT, ktorý sa používa v ich službe Google Translate. [8] + +|![](https://git.kemt.fei.tuke.sk/KEMT/zpwiki/raw/commit/5134c49afabbb2e5e8e090b8fa54bb1711dd6160/pages/students/2016/patrik_pavlisin/1.png)| +|:--:| +|Obr 1. encoder-decoder architektúra| + + +## BERT + +Bidirectional Encoder Representations from Transformers (BERT) je strojové školenie zamerané na techniku strojového učenia na spracovanie prirodzeného jazyka (NLP) vyvinuté spoločnosťou Google. Keď bol BERT publikovaný, dosiahol vynikajúcu výkonnosť v mnohých úlohách porozumenia prirodzenému jazyku ako napr. SQuAD (Stanford Question Answering Dataset) a SWAG (Situations With Adversarial Generations). Dôvody spoľahlivého výkonu BERT v týchto úlohách porozumenia prirodzenému jazyku ešte nie sú dobre pochopené. + +V súčasnosti sú vopred vytrénované jazykové modely BERT považované za dôležité pre širokú škálu úloh NLP, ako sú napríklad Natural Language Inference (NLI) a Question Answer (QA). Napriek svojmu obrovskému úspechu stále majú limity na reprezentáciu kontextových informácií v korpuse špecifickom pre danú oblasť, pretože sú trénované na všeobecnom korpuse (napr. Anglická Wikipedia). Napríklad Ubuntu Corpus, ktorý je najpoužívanejším korpusom pri výbere odpovedí, obsahuje množstvo terminológií a príručiek, ktoré sa vo všeobecnom korpuse zvyčajne nevyskytujú (napr. Apt-get, mkdir a grep). Pretože sa korpus zameriava predovšetkým na určitú doménu, existujúce diela majú obmedzenia pri porovnávaní kontextu dialógu a odozvy. Korpus konverzácií, ako napríklad Twitter a Reddits, sa navyše skladá hlavne z hovorových výrazov, ktoré sú zvyčajne gramaticky nesprávne. [1] [2] + +## Metódy vyhodnotenia + +Ako zistíme či je náš výstup zo systému SMT dobrý ? Na vyhodnotenie strojového prekladu bolo navrhnutých veľa rôznych metód. Zaujímavosťou je že o metódach pre hodnotenie strojového prekladu sa za v posledných rokoch píše viac ako o samotnom strojovom preklade. Vyhodnotenie človekom je vo všeobecnosti veľmi časovo a finančne náročné, pretože vyžaduje zaplatenie odborníka v daných dvoch jazykoch. Z toho dôvodu sa začali vyvíjať automatické metriky, ktoré úzko korelujú s ľudských úsudkom. Čím presnejšie tieto metriky budú tým lepšia bude naša výkonnosť v hodnotením strojového prekladu. Pri vývoji týchto metrík bolo dôležité použiť sady testovacích viet, pre ktoré už existovali ľudské preklady, napríklad z paralelného korpusu. Metódy automatického prekladu sú založené na čiastočnom zosúladení reťazcov medzi výstupným a referenčným prekladom (viz. Obrázok 1). + +|![](https://git.kemt.fei.tuke.sk/KEMT/zpwiki/raw/commit/c3bd7dca0c3305a736ddf42b88e1e35f3c59c9ec/pages/students/2016/patrik_pavlisin/tp20/2.png)| +|:--:| +|Obr 2. Príklad čiastočnej zhody reťazcov používaný vo väčšine metód hodnotenia.| + + +Jednou z metrík na hodnotenie je napríklad známy Levenshtein, známy tiež ako word error rate (WER), ten predstavuje počet vložení, odstránení a substitúcii potrebných na prevedenie výstupnej vety na vetu vstupnú. Táto metrika je však najmenej vhodná, pretože nerozpoznáva nové usporiadanie slov. Slovo, ktoré je správne preložené, ale na zlom mieste bude penalizované ako vymazanie (na výstupe) a vloženie (na správnom mieste). Preto je výhodnejšie použiť position-independent word error rate (PER), ktorá nepenalizuje poradie, pretože výstupné a referenčné vety považuje za neusporiadané. Za posledné roky je však najbežnejšou používanou metrikou BLEU, ktorá berie do úvahy jednoslovné zhody medzi výstupnou a referenčnou vetou ako aj zhody n-gramov. BLEU je zameraná na presnosť, čo znamená, že počet n-gramových zhôd považuje za zlomok počtu celkových n-gramov vo výstupe. Zlomok sa počíta osobitne pre každé n a berie sa geometrický priemer. Presnosť metriky BLEU je upravená tak, aby eliminovala opakovania, ktoré sa vyskytujú vo vetách. + +Aj keď sa BLEU pokúša zachytiť povolené rozdiely v preklade, tak tento systém zachádza oveľa ďalej ako by mal. BLEU nekladie žiadne výslovné obmedzenia na hranicu, v ktorej sa vyskytujú zodpovedajúce n-gramy. Pre umožnenie variácie pri výbere slova sa preto v preklade metriky BLEU používajú viacnásobné preklady odkazov, ale taktiež kladie len veľmi málo obmedzení na to ako je možné čerpať gramové zhody z viacerých referenčných prekladov. BLEU je týmito spôsobmi obmedzené, umožňuje obrovské množstvo variácií, ďaleko nad rámec toho, čo by sa dalo považovať za prijateľnú variáciu v strojovom preklade. Ukázalo sa, že pre priemerný preklad hypotéz existuje viac ako milión možných variantov, z ktorých každý získal podobné skóre BLEU. Tvrdíme preto, že počet prekladov, ktoré majú rovnaké skóre, je taký veľký, že je nepravdepodobné, aby všetci z nich boli hodnotené ľudskými prekladateľmi rovnako kvalitne. Z toho vyplýva, že je možné dostať identické skóre po hodnotení metrikou BLEU, ktoré by ale ľudia hodnotili horšie. Je preto tiež možné dosiahnuť vyššie skóre BLEU, bez toho, aby sa v skutočnosti zlepšila samotná kvalita strojového prekladu. + +Neschopnosť BLEU rozlišovať medzi náhodne generovanými variáciami prekladu naznačuje, že to v niektorých prípadoch nemusí korelovať s ľudskými úsudkami o kvalite prekladu. S pribúdajúcim počtom identického skóre klesá pravdepodobnosť, že by sa všetky z nich dali považovať za rovnako pravdepodobné. To zdôrazňuje skutočnosť, že BLEU je metrika na meranie hrubej kvality prekladu. K tomuto tvrdeniu prispieva aj niekoľko ďalších faktorov ako napríklad, že so synonymami a parafrázami sa zaobchádza iba vtedy ak sú v skupine viacerých referenčných odkazov. Dalej skóre slov sa počíta rovnako, takže v prípade chýbajúceho obsahového materiálu to neprináša žiadnu penalizáciu. Každá z týchto chýb prispieva k zvýšeniu zle preložených a nezrozumiteľných prekladov. Vzhľadom na to, že BLEU môže teoreticky priradiť rovnaké skóre prekladu dvom textom odlišnej kvality, je logické, že vyššie skóre BLEU nemusí nevyhnutne znamenať skutočne zlepšenie kvality prekladu. [9] + +## Zoznam použitej literatúri + +[1]. WANG T., LEE D., LEE CH. YANG K., OH D., LIM H.: _Domain Adaptive Training BERT for Response Selection._ [online]. [citované 01-08-2019]. + +[2]. DEVLIN J., CHANG M., LEE K., TOUTANOVA K.: BERT: _Pre-training of Deep Bi-directional Transformers for Language Understanding._ [online]. [citované 24-05-2019]. + +[3]. WANG X., LU Z., TU Z., LI H., XIONG D., ZHANG M.: _Neural Machine Translation Advised by Statistical Machine Translation._ [online]. [citované 30-12-2016]. + +[4]. ZHANG A., LIPTON C. Z., LI M., SMOLA J. A.: _Dive into Deep Learning._ [online]. [citované 06-11-2020]. + +[5]. O´SHEA K., NASH R.: _An Introduction to Convolutional Neural Networks._ [online]. [citované 02-12-2015]. + +[6]. KALCHBERNNER N., GREFENSTETTE E., BLUNSOM P.: _A Convolutional Neural Network for Modelling Sentences__._ [online]. [citované 08-08-2014]. + +[7]. ZAREMBA W., SUTSKEVER I., VINYALS O.: _Recurrent Neural Network Regularization_. [online]. [citované 19-02-2015]. + +[8]. CHO K., MERRIENBOER vB., BAHDANAU D.: _On the Properties of Neural Machine Translation: Encoder–Decoder Approaches._ [online]. [citované 07-10-2014]. + +[9]. CALLISON-BURCH C., OSBORNE M., KOEHN P.: _Re-evaluating the Role of BLEU in Machine Translation Research__._ [online]. [citované 2006]. + [10]. LOPEZ A.: _A Survey of Statistical Machine Translation._ [online]. [citované 01-04-2007]. \ No newline at end of file From f16a2068bee3cc3e2dacc1d0ef9dfbf0da1e7b3c Mon Sep 17 00:00:00 2001 From: =?UTF-8?q?Patrik=20Pavli=C5=A1in?= Date: Mon, 8 Feb 2021 12:28:57 +0000 Subject: [PATCH 02/78] =?UTF-8?q?Aktualizovat=20=E2=80=9Epages/students/20?= =?UTF-8?q?16/patrik=5Fpavlisin/tp20/README.md=E2=80=9C?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit --- pages/students/2016/patrik_pavlisin/tp20/README.md | 2 ++ 1 file changed, 2 insertions(+) diff --git a/pages/students/2016/patrik_pavlisin/tp20/README.md b/pages/students/2016/patrik_pavlisin/tp20/README.md index 69b0bdc553..2dafe40903 100755 --- a/pages/students/2016/patrik_pavlisin/tp20/README.md +++ b/pages/students/2016/patrik_pavlisin/tp20/README.md @@ -46,6 +46,8 @@ Kľúčovými výhodami tohto prístupu sú schopnosť trénovať jeden end-to-e Bidirectional Encoder Representations from Transformers (BERT) je strojové školenie zamerané na techniku strojového učenia na spracovanie prirodzeného jazyka (NLP) vyvinuté spoločnosťou Google. Keď bol BERT publikovaný, dosiahol vynikajúcu výkonnosť v mnohých úlohách porozumenia prirodzenému jazyku ako napr. SQuAD (Stanford Question Answering Dataset) a SWAG (Situations With Adversarial Generations). Dôvody spoľahlivého výkonu BERT v týchto úlohách porozumenia prirodzenému jazyku ešte nie sú dobre pochopené. +BERT využíva Transformátor, attention mechanism (mechanizmus pozornosti), ktorý sa učí kontextové vzťahy medzi slovami v texte. Vo svojej základnej podobe obsahuje Transformer dva samostatné mechanizmy - kódovač, ktorý číta textový vstup, a dekodér, ktorý vytvára predikciu úlohy. Pretože cieľom BERT je vygenerovať jazykový model, je potrebný iba mechanizmus kódovacieho zariadenia. Na rozdiel od smerových modelov, ktoré čítajú textový vstup postupne (zľava doprava alebo sprava doľava), čítací transformátor číta celú postupnosť slov naraz. Preto sa považuje za obojsmerný, aj keď by bolo presnejšie povedať, že je nesmerový. Táto vlastnosť umožňuje modelu naučiť sa kontext slova na základe celého jeho okolia (vľavo a vpravo od slova). Nasledujúca tabuľka obsahuje podrobný popis kódovacieho zariadenia Transformer. Vstupom je postupnosť tokenov, ktoré sa najskôr vložia do vektorov a potom sa spracujú v neurónovej sieti. Výstupom je postupnosť vektorov veľkosti H, v ktorých každý vektor zodpovedá vstupnému tokenu s rovnakým indexom. + V súčasnosti sú vopred vytrénované jazykové modely BERT považované za dôležité pre širokú škálu úloh NLP, ako sú napríklad Natural Language Inference (NLI) a Question Answer (QA). Napriek svojmu obrovskému úspechu stále majú limity na reprezentáciu kontextových informácií v korpuse špecifickom pre danú oblasť, pretože sú trénované na všeobecnom korpuse (napr. Anglická Wikipedia). Napríklad Ubuntu Corpus, ktorý je najpoužívanejším korpusom pri výbere odpovedí, obsahuje množstvo terminológií a príručiek, ktoré sa vo všeobecnom korpuse zvyčajne nevyskytujú (napr. Apt-get, mkdir a grep). Pretože sa korpus zameriava predovšetkým na určitú doménu, existujúce diela majú obmedzenia pri porovnávaní kontextu dialógu a odozvy. Korpus konverzácií, ako napríklad Twitter a Reddits, sa navyše skladá hlavne z hovorových výrazov, ktoré sú zvyčajne gramaticky nesprávne. [1] [2] ## Metódy vyhodnotenia From 4725ca375b6551b8d6339c1bbc0bdc037eb1db35 Mon Sep 17 00:00:00 2001 From: dano Date: Mon, 8 Feb 2021 12:41:31 +0000 Subject: [PATCH 03/78] Update 'pages/students/2017/than_trung_thanh/README.md' --- pages/students/2017/than_trung_thanh/README.md | 6 ++++++ 1 file changed, 6 insertions(+) diff --git a/pages/students/2017/than_trung_thanh/README.md b/pages/students/2017/than_trung_thanh/README.md index b7d19be3a3..5539e5f48a 100644 --- a/pages/students/2017/than_trung_thanh/README.md +++ b/pages/students/2017/than_trung_thanh/README.md @@ -31,6 +31,12 @@ Predbežné zadanie: - Pomocou nástroja Spacy vytvorte a vyhodnoťte model pre rozpoznávanie pomenovaných entít v slovenčine. - Zistite, ako Vami anotované dáta zlepšili presnosť vytvoreného modelu. +Stretnutie 8.2.2020: + +Stav: +- Anotovaných 1000 anotácií (3 dni). +- Prečítané články a spracovaný rešerš na 3,5 strany. + Stretnutie 28.1.2020: From 84e87bb4b28016bd21bd4ddcbf089de33b6a8178 Mon Sep 17 00:00:00 2001 From: dano Date: Mon, 8 Feb 2021 13:05:15 +0000 Subject: [PATCH 04/78] Update 'pages/students/2017/than_trung_thanh/README.md' --- pages/students/2017/than_trung_thanh/README.md | 4 ++-- 1 file changed, 2 insertions(+), 2 deletions(-) diff --git a/pages/students/2017/than_trung_thanh/README.md b/pages/students/2017/than_trung_thanh/README.md index 5539e5f48a..e3204a2164 100644 --- a/pages/students/2017/than_trung_thanh/README.md +++ b/pages/students/2017/than_trung_thanh/README.md @@ -28,8 +28,8 @@ Predbežné zadanie: - Vypracujte teoretický úvod, kde vysvetlíte čo je to rozpoznávanie pomenovaných entít a akými najnovšími metódami sa robí. - Vysvetlite, ako pracuje klasifikátor pre rozpoznávanie pomenovaných entít v knižnici Spacy . - Pomocou nástroja Prodigy anotujte dostatočné množstvo textu pre výskyt pomenovaných entít. -- Pomocou nástroja Spacy vytvorte a vyhodnoťte model pre rozpoznávanie pomenovaných entít v slovenčine. -- Zistite, ako Vami anotované dáta zlepšili presnosť vytvoreného modelu. +- Pomocou nástroja Spacy vytvorte a vyhodnoťte model pre rozpoznávanie pomenovaných entít v slovenčine. Zistite, ako Vami anotované dáta zlepšili presnosť vytvoreného modelu. +- Navrhnite spôsoby pre ďalšie zlepšenie presnosti modelu pre rozponávanie pomenovaných entít. Stretnutie 8.2.2020: From fce34e5be13bb39cfa8f0d516786ee9859900184 Mon Sep 17 00:00:00 2001 From: dano Date: Mon, 8 Feb 2021 13:05:48 +0000 Subject: [PATCH 05/78] Update 'pages/students/2017/than_trung_thanh/README.md' --- pages/students/2017/than_trung_thanh/README.md | 2 +- 1 file changed, 1 insertion(+), 1 deletion(-) diff --git a/pages/students/2017/than_trung_thanh/README.md b/pages/students/2017/than_trung_thanh/README.md index e3204a2164..19db68fd4e 100644 --- a/pages/students/2017/than_trung_thanh/README.md +++ b/pages/students/2017/than_trung_thanh/README.md @@ -29,7 +29,7 @@ Predbežné zadanie: - Vysvetlite, ako pracuje klasifikátor pre rozpoznávanie pomenovaných entít v knižnici Spacy . - Pomocou nástroja Prodigy anotujte dostatočné množstvo textu pre výskyt pomenovaných entít. - Pomocou nástroja Spacy vytvorte a vyhodnoťte model pre rozpoznávanie pomenovaných entít v slovenčine. Zistite, ako Vami anotované dáta zlepšili presnosť vytvoreného modelu. -- Navrhnite spôsoby pre ďalšie zlepšenie presnosti modelu pre rozponávanie pomenovaných entít. +- Navrhnite spôsoby pre ďalšie zlepšenie presnosti modelu pre rozpoznávanie pomenovaných entít. Stretnutie 8.2.2020: From a496371f87b60ea16425b2cd547303b510e8d965 Mon Sep 17 00:00:00 2001 From: dano Date: Mon, 8 Feb 2021 13:10:13 +0000 Subject: [PATCH 06/78] Update 'pages/students/2017/than_trung_thanh/README.md' --- pages/students/2017/than_trung_thanh/README.md | 6 ++++++ 1 file changed, 6 insertions(+) diff --git a/pages/students/2017/than_trung_thanh/README.md b/pages/students/2017/than_trung_thanh/README.md index 19db68fd4e..d403519f65 100644 --- a/pages/students/2017/than_trung_thanh/README.md +++ b/pages/students/2017/than_trung_thanh/README.md @@ -31,12 +31,18 @@ Predbežné zadanie: - Pomocou nástroja Spacy vytvorte a vyhodnoťte model pre rozpoznávanie pomenovaných entít v slovenčine. Zistite, ako Vami anotované dáta zlepšili presnosť vytvoreného modelu. - Navrhnite spôsoby pre ďalšie zlepšenie presnosti modelu pre rozpoznávanie pomenovaných entít. + Stretnutie 8.2.2020: Stav: - Anotovaných 1000 anotácií (3 dni). - Prečítané články a spracovaný rešerš na 3,5 strany. +Do ďalšieho stretnutia: + +- Pracovať na zlepšení písomného prejavu. +- Nájsť odborné články z dokumentácie Spacy, ku každému napísať bibliografický odkaz a čo ste sa dozvedeli do prehľadu. +- Prepracovať rešerš kompletne - odstrániť sémantické aj gramatické chyby. Stretnutie 28.1.2020: From 0ce9836241c05d0054e9d2b68e5ba6c1316ce02e Mon Sep 17 00:00:00 2001 From: dano Date: Mon, 8 Feb 2021 13:16:06 +0000 Subject: [PATCH 07/78] Update 'pages/students/2017/than_trung_thanh/README.md' --- pages/students/2017/than_trung_thanh/README.md | 1 + 1 file changed, 1 insertion(+) diff --git a/pages/students/2017/than_trung_thanh/README.md b/pages/students/2017/than_trung_thanh/README.md index d403519f65..e0d53e0c32 100644 --- a/pages/students/2017/than_trung_thanh/README.md +++ b/pages/students/2017/than_trung_thanh/README.md @@ -43,6 +43,7 @@ Do ďalšieho stretnutia: - Pracovať na zlepšení písomného prejavu. - Nájsť odborné články z dokumentácie Spacy, ku každému napísať bibliografický odkaz a čo ste sa dozvedeli do prehľadu. - Prepracovať rešerš kompletne - odstrániť sémantické aj gramatické chyby. +- Prečítajte si a napíšte poznámky z: Li, Jing, et al. "A survey on deep learning for named entity recognition." IEEE Transactions on Knowledge and Data Engineering (2020). Stretnutie 28.1.2020: From 3b49a1288d112a98fe43403d438f71daca9f7c26 Mon Sep 17 00:00:00 2001 From: dano Date: Tue, 9 Feb 2021 11:22:09 +0000 Subject: [PATCH 08/78] Update 'pages/students/2018/martin_wencel/README.md' --- pages/students/2018/martin_wencel/README.md | 4 ++-- 1 file changed, 2 insertions(+), 2 deletions(-) diff --git a/pages/students/2018/martin_wencel/README.md b/pages/students/2018/martin_wencel/README.md index 03bf35a8be..46848ac3d5 100644 --- a/pages/students/2018/martin_wencel/README.md +++ b/pages/students/2018/martin_wencel/README.md @@ -17,7 +17,7 @@ Konzultačné hodiny sú v piatok 9:20-14:00. ## Bakalársky projekt 2020 -Názov: Online demonštrácia spracovania slovenského prirodzeného jazyka +Názov: Demonštrácia spracovania slovenského prirodzeného jazyka pomocou knižnice Spacy Cieľ: - Vytvoriť demonštráciu spracovania slovenského jazyka pomocou knižnice spacy @@ -34,7 +34,7 @@ Zásobník úloh: Návrh na zadanie: -1. Vypracujte teoretický úvod do spracovania prirodzeného slovenského jazyka. Vysvetlite čo to je parsing, morfologická analýza a rozpoznávanie pomenovaných entít a akými metódami sa vykonávajú. +1. Vypracujte teoretický úvod do spracovania prirodzeného slovenského jazyka. Vysvetlite, čo to je parsing, morfologická analýza a rozpoznávanie pomenovaných entít a akými metódami sa vykonávajú. 1. Podrobne vysvetlite, ako pracuje parsing, morfologická analýza a rozpoznávanie pomenovaných entít v knižnici Spacy. 1. Natrénujte a vyhodnoťte model pre spracovanie slovenského a anglického jazyka v knižnici Spacy. 1. Vytvorte demonštračnú webovú aplikáciu pomocou ktorej je možné vyskúšať natrénované modely. From 4197c0f93db75f48110ce61aab96ceebdce3a01d Mon Sep 17 00:00:00 2001 From: dano Date: Tue, 9 Feb 2021 11:34:10 +0000 Subject: [PATCH 09/78] Update 'pages/students/2017/than_trung_thanh/README.md' --- pages/students/2017/than_trung_thanh/README.md | 2 +- 1 file changed, 1 insertion(+), 1 deletion(-) diff --git a/pages/students/2017/than_trung_thanh/README.md b/pages/students/2017/than_trung_thanh/README.md index e0d53e0c32..3651f3a218 100644 --- a/pages/students/2017/than_trung_thanh/README.md +++ b/pages/students/2017/than_trung_thanh/README.md @@ -10,7 +10,7 @@ taxonomy: ## Bakalársky projekt 2020 -Rozpoznávanie pomenovaných entít v slovenskom jazyku +Rozpoznávanie pomenovaných entít v slovenskom jazyku pomocou nástrojov Spacy a Prodigy - Tvorba korpusu a modelu pomocou nástrojov Spacy a Prodigy - Práca na internom projekte [rozpoznávanie pomenovaných entít](https://git.kemt.fei.tuke.sk/KEMT/zpwiki/src/branch/master/pages/topics/named-entity). From 33bc139883994ae4da9db0581b393646727800d3 Mon Sep 17 00:00:00 2001 From: dano Date: Tue, 9 Feb 2021 12:41:52 +0000 Subject: [PATCH 10/78] Update 'pages/students/2018/ondrej_megela/README.md' --- pages/students/2018/ondrej_megela/README.md | 7 ++++--- 1 file changed, 4 insertions(+), 3 deletions(-) diff --git a/pages/students/2018/ondrej_megela/README.md b/pages/students/2018/ondrej_megela/README.md index 3ba0f3bece..8a56cf2304 100644 --- a/pages/students/2018/ondrej_megela/README.md +++ b/pages/students/2018/ondrej_megela/README.md @@ -20,13 +20,14 @@ Súvisiace stránky: ## Bakalársky projekt 2020 -Názov: Neurónové jazykové modelovanie s pomocou nástroja Fairseq +Názov: Neurónové jazykové modelovanie typu BERT. Návrh na zadanie: -1. Vypracujte prehľad metód jazykového modelovania pomoocu neurónových sietí +1. Vypracujte prehľad metód jazykového modelovania pomoocu neurónových sietí. +1. Vypracujte prehľad aplikácií modelu typu BERT a spôsoby ich vyhodnotenia. 2. Vytvorte jazykový model metódou BERT alebo podobnou metódou. -3. Vyhodnotte vytvorený jazykový model a navrhnite zlepšenia. +3. Vyhodnotte vytvorený jazykový model a navrhnite zlepšenia presnosti. Zásobník úloh: From 190fe1079dca6302801654a4c4a50b67bf65071b Mon Sep 17 00:00:00 2001 From: dano Date: Tue, 9 Feb 2021 12:43:42 +0000 Subject: [PATCH 11/78] Update 'pages/students/2018/ondrej_megela/README.md' --- pages/students/2018/ondrej_megela/README.md | 4 ++-- 1 file changed, 2 insertions(+), 2 deletions(-) diff --git a/pages/students/2018/ondrej_megela/README.md b/pages/students/2018/ondrej_megela/README.md index 8a56cf2304..d73391f408 100644 --- a/pages/students/2018/ondrej_megela/README.md +++ b/pages/students/2018/ondrej_megela/README.md @@ -26,8 +26,8 @@ Návrh na zadanie: 1. Vypracujte prehľad metód jazykového modelovania pomoocu neurónových sietí. 1. Vypracujte prehľad aplikácií modelu typu BERT a spôsoby ich vyhodnotenia. -2. Vytvorte jazykový model metódou BERT alebo podobnou metódou. -3. Vyhodnotte vytvorený jazykový model a navrhnite zlepšenia presnosti. +2. Natréonujte jazykový model metódou BERT alebo podobnou. +3. Vyhodnoťte jazykový model a navrhnite zlepšenia presnosti. Zásobník úloh: From 19935ed495bcbab11e77192cc45916ce70002584 Mon Sep 17 00:00:00 2001 From: dano Date: Tue, 9 Feb 2021 12:47:52 +0000 Subject: [PATCH 12/78] Update 'pages/students/2018/samuel_sirotnik/README.md' --- pages/students/2018/samuel_sirotnik/README.md | 6 +++--- 1 file changed, 3 insertions(+), 3 deletions(-) diff --git a/pages/students/2018/samuel_sirotnik/README.md b/pages/students/2018/samuel_sirotnik/README.md index 9b78272a15..03007c1ac5 100644 --- a/pages/students/2018/samuel_sirotnik/README.md +++ b/pages/students/2018/samuel_sirotnik/README.md @@ -15,9 +15,9 @@ Rok začiatku štúdia: 2018 Pokusný klaster Raspberry Pi pre výuku klaudových technológií -1. Vypracujte teoretický úvod do technológie Kubernetes -2. Vytvorte pokusný klaster pomocou viacerých modulov Raspberry Pi a nainštalujte na neho Kubernmetes -3. Vypracujte podrobný návod na zostavenie hardvérovej časti +1. Vypracujte teoretický úvod do technológie Kubernetes. +2. Vytvorte pokusný klaster pomocou viacerých modulov Raspberry Pi a nainštalujte na neho Kubernetes. +3. Vypracujte podrobný návod na zostavenie hardvérovej časti klastra. 4. Vypracujte podrobný návod na inštaláciu softvéru - operačného systému a súčastí Kubernetes. Cieľ projektu je vytvoriť domáci lacný klaster pre výuku cloudových technológií. From 70f2fa8a1722286acb46c85cb72a5ca7781c3a13 Mon Sep 17 00:00:00 2001 From: dano Date: Tue, 9 Feb 2021 12:50:03 +0000 Subject: [PATCH 13/78] Update 'pages/students/2018/samuel_sirotnik/README.md' --- pages/students/2018/samuel_sirotnik/README.md | 2 +- 1 file changed, 1 insertion(+), 1 deletion(-) diff --git a/pages/students/2018/samuel_sirotnik/README.md b/pages/students/2018/samuel_sirotnik/README.md index 03007c1ac5..8f5c860c9e 100644 --- a/pages/students/2018/samuel_sirotnik/README.md +++ b/pages/students/2018/samuel_sirotnik/README.md @@ -13,7 +13,7 @@ Rok začiatku štúdia: 2018 ## Bakalársky projekt 2020 -Pokusný klaster Raspberry Pi pre výuku klaudových technológií +Pokusný Kubernetes klasters použitím Raspberry Pi pre výuku klaudových technológií 1. Vypracujte teoretický úvod do technológie Kubernetes. 2. Vytvorte pokusný klaster pomocou viacerých modulov Raspberry Pi a nainštalujte na neho Kubernetes. From 7517e1e040a55d5622b3e0ddaf92aecbae0de42c Mon Sep 17 00:00:00 2001 From: dano Date: Tue, 9 Feb 2021 14:21:32 +0000 Subject: [PATCH 14/78] Update 'pages/students/2016/darius_lindvai/README.md' --- pages/students/2016/darius_lindvai/README.md | 14 ++++++++------ 1 file changed, 8 insertions(+), 6 deletions(-) diff --git a/pages/students/2016/darius_lindvai/README.md b/pages/students/2016/darius_lindvai/README.md index 7bfacf90e0..9f272e4e5b 100644 --- a/pages/students/2016/darius_lindvai/README.md +++ b/pages/students/2016/darius_lindvai/README.md @@ -11,6 +11,14 @@ Rok začiatku štúdia: 2016 Repozitár so [zdrojovými kódmi](https://git.kemt.fei.tuke.sk/dl874wn/dp2021) +Názov: Obnovenie interpunkcie pomocou hlbokých neurónových sietí + +1. Vypracujte prehľad metód na obnovenie interpunkcie pomocou neurónových sietí. +2. Vyberte vhodnú metódu obnovenia interpunkcie pomocou neurónových sietí. +3. Pripravte množinu dát na trénovanie neurónovej siete, navrhnite a vykonajte sadu experimentov s rôznymi parametrami. +4. Vyhodnoťte experimenty a navrhnite možné zlepšenia. + + ## Diplomový projekt 2 2020 Stretnutie 25.1.2021 @@ -79,12 +87,6 @@ Urobené: - 3. Vykonať sadu experimentov na overenie presnosti klasifikácie zvolenej neurónovej siete -Názov: Obnovenie interpunkcie pomocou neurónových sietí - -1. Vypracujte prehľad metód na obnovenie interpunkcie pomocou neurónových sietí. -2. Vyberte vhodnú metódu obnovenia interpunkcie pomocou neurónových sietí. -3. Pripravte množinu dát na trénovanie neurónovej siete, navrhnite a vykonajte sadu experimentov s rôznymi parametrami. -4. Vyhodnoťte experimenty a navrhnite možné zlepšenia. ## Zápis o činnosti From 491ae275d275f87c972d2935f39ec4792d6da702 Mon Sep 17 00:00:00 2001 From: dano Date: Tue, 9 Feb 2021 14:25:46 +0000 Subject: [PATCH 15/78] Update 'pages/students/2017/than_trung_thanh/README.md' --- pages/students/2017/than_trung_thanh/README.md | 2 +- 1 file changed, 1 insertion(+), 1 deletion(-) diff --git a/pages/students/2017/than_trung_thanh/README.md b/pages/students/2017/than_trung_thanh/README.md index 3651f3a218..836e25de8a 100644 --- a/pages/students/2017/than_trung_thanh/README.md +++ b/pages/students/2017/than_trung_thanh/README.md @@ -3,7 +3,7 @@ title: Than Trung Thanh published: true taxonomy: category: [bp2021] - tag: [demo,nlp] + tag: [demo,nlp, named entity, ne, spacy, prodigy, anotation] author: Daniel Hladek --- # Than Trung Thanh From 168f8e0f7ceee2b5d9b52ff07f77cfec7648ae61 Mon Sep 17 00:00:00 2001 From: dano Date: Tue, 9 Feb 2021 14:30:02 +0000 Subject: [PATCH 16/78] Update 'pages/students/2016/jakub_maruniak/README.md' --- pages/students/2016/jakub_maruniak/README.md | 43 +++++++++++--------- 1 file changed, 24 insertions(+), 19 deletions(-) diff --git a/pages/students/2016/jakub_maruniak/README.md b/pages/students/2016/jakub_maruniak/README.md index 1754ec2f1c..ab9de21d69 100644 --- a/pages/students/2016/jakub_maruniak/README.md +++ b/pages/students/2016/jakub_maruniak/README.md @@ -8,9 +8,32 @@ taxonomy: --- # Jakub Maruniak - *Rok začiatku štúdia*: 2016 + +*Návrh na názov DP*: + +Anotácia a rozpoznávanie pomenovaných entít v slovenskom jazyku. + +*Návrh na zadanie DP*: + +1. Vypracujte teoretický úvod, kde vysvetlíte čo je to rozpoznávanie pomenovaných entít a akými najnovšími metódami sa robí. Vysvetlite, ako pracuje klasifikátor pre rozpoznávanie pomenovaných entít v knižnici Spacy. +2. Pripravte postup na anotáciu textového korpusu pre systém Prodigy pre trénovanie modelu vo vybranej úlohe spracovania prirodzeného jazyka. +3. Vytvorte množinu textových dát v slovenskom jazyku vhodných na trénovanie štatistického modelu spracovania prirodzeného jazyka pomocou knižnice Spacy. +4. Natrénujte štatistický model pomocou knižnice Spacy a zistite, aký vplyv má veľkosť trénovacej množiny na presnosť klasifikátora. + +*Spolupráca s projektom*: + +- [Podpora slovenčiny v Spacy](/topics/spacy) +- [Anotácia textových dát](/topics/prodigy) +- [Rozpoznávanie pomenovaných entít](/topics/named-entity) +- [Spracovanie prir. jazyka](/topics/nlp) +- [Programovanie v jazyku Python](/topics/python) + + + + + ## Diplomový projekt 2 Ciele: @@ -206,21 +229,3 @@ Návrh možných entít na anotáciu: *Písomná práca*: [Rešerš](./timovy_projekt) -*Návrh na zadanie DP*: - -1. Vypracujte prehľad metód prípravy textových korpusov pomocou crowdsourcingu. -2. Pripravte postup na anotáciu textového korpusu pre systém Prodigy pre trénovanie modelu vo vybranej úlohe spracovania prirodzeného jazyka. -3. Vytvorte množinu textových dát v slovenskom jazyku vhodných na trénovanie štatistického modelu spracovania prirodzeného jazyka pomocou knižnice Spacy. -4. Natrénujte štatistický model pomocou knižnice Spacy a zistite, aký vplyv má veľkosť trénovacej množiny na presnosť klasifikátora. - -*Návrh na názov DP*: - -Anotácia textových dát v slovenskom jazyku pomocou metódy crowdsourcingu - -*Spolupráca s projektom*: - -- [Podpora slovenčiny v Spacy](/topics/spacy) -- [Anotácia textových dát](/topics/prodigy) -- [Rozpoznávanie pomenovaných entít](/topics/named-entity) -- [Spracovanie prir. jazyka](/topics/nlp) -- [Programovanie v jazyku Python](/topics/python) From fee914ac1850a264653ae35e97235355d0490de5 Mon Sep 17 00:00:00 2001 From: dano Date: Tue, 9 Feb 2021 14:31:55 +0000 Subject: [PATCH 17/78] Update 'pages/students/2016/jakub_maruniak/README.md' --- pages/students/2016/jakub_maruniak/README.md | 1 - 1 file changed, 1 deletion(-) diff --git a/pages/students/2016/jakub_maruniak/README.md b/pages/students/2016/jakub_maruniak/README.md index ab9de21d69..70c7aae873 100644 --- a/pages/students/2016/jakub_maruniak/README.md +++ b/pages/students/2016/jakub_maruniak/README.md @@ -10,7 +10,6 @@ taxonomy: *Rok začiatku štúdia*: 2016 - *Návrh na názov DP*: Anotácia a rozpoznávanie pomenovaných entít v slovenskom jazyku. From 12b389be3d4a5890db7b0c14c381179dd648adba Mon Sep 17 00:00:00 2001 From: dano Date: Tue, 9 Feb 2021 14:35:12 +0000 Subject: [PATCH 18/78] Update 'pages/students/2016/lukas_pokryvka/README.md' --- pages/students/2016/lukas_pokryvka/README.md | 25 ++++++++++---------- 1 file changed, 13 insertions(+), 12 deletions(-) diff --git a/pages/students/2016/lukas_pokryvka/README.md b/pages/students/2016/lukas_pokryvka/README.md index ac94850388..adb20cc6a3 100644 --- a/pages/students/2016/lukas_pokryvka/README.md +++ b/pages/students/2016/lukas_pokryvka/README.md @@ -10,6 +10,19 @@ taxonomy: *Rok začiatku štúdia:* 2016 + +Názov: Paralelné trénovanie neurónových sietí + +*Meno vedúceho:* Ing. Daniel Hládek, PhD. + +*Návrh na zadanie DP:* + +1. Vypracujte prehľad literatúry na tému "Paralelné trénovanie neurónových sietí". +2. Vyberte vhodnú metódu paralelného trénovania. +3. Pripravte dáta a vykonajte sadu experimentov pre overenie funkčnosti a výkonu paralelného trénovania. +4. Navrhnite možné zlepšenia paralelného trénovania neurónových sietí. + + ## Diplomový projekt 2 2020 Ciele na semester: @@ -175,18 +188,6 @@ Stretnutie 9.3.2020 *Písomná práca:* [Paralelné spracovanie prirodzeného jazyka](./timovy_projekt) -## Diplomová práca 2021 - -### Paralelné trénovanie neurónových sietí - -*Meno vedúceho:* Ing. Daniel Hládek, PhD. - -*Návrh na zadanie DP:* - -1. Vypracujte prehľad literatúry na tému "Paralelné trénovanie neurónových sietí". -2. Vyberte vhodnú metódu paralelného trénovania. -3. Pripravte dáta a vykonajte sadu experimentov pre overenie funkčnosti a výkonu paralelného trénovania. -4. Navrhnite možné zlepšenia paralelného trénovania neurónových sietí. - Zaujímavá príručka [Word2vec na Spark](http://spark.apache.org/docs/latest/ml-features.html#word2vec) From 266b7fd85d976e6a05ba78f824df762e9b87acb4 Mon Sep 17 00:00:00 2001 From: dano Date: Tue, 9 Feb 2021 14:43:27 +0000 Subject: [PATCH 19/78] Update 'pages/students/2016/tomas_kucharik/README.md' --- pages/students/2016/tomas_kucharik/README.md | 10 +++++++++- 1 file changed, 9 insertions(+), 1 deletion(-) diff --git a/pages/students/2016/tomas_kucharik/README.md b/pages/students/2016/tomas_kucharik/README.md index adcabe630d..0cd2c8c909 100644 --- a/pages/students/2016/tomas_kucharik/README.md +++ b/pages/students/2016/tomas_kucharik/README.md @@ -11,7 +11,15 @@ taxonomy: ## Diplomová práca 2021 -Vytváranie komplexných korpusov pre aplikácie porozumenia prirodzeného jazyka +Názov: Vytváranie korpusu otázok a odpovedí pomocou crowdsourcingu. + +Zadanie: + +1. Vypracujte prehľad metód vytvárania jazykových zdrojov pomocou crowsdourcingu. +2. Vypracujte prehľad aktuálnych systémov pre generovanie odpovede na otázku v prirodzenom jazyku. +3. Navrhnite postup pre vytvorenie korpusu otázok a odpovedí v slovenskom jazyku. +4. Vytvorte webovú aplikáciu a pomocou nej anotujte dostatočné množstvo otázok a odpovedí. +5. Navrhnite zlepšenia procesu anotácie otázok a odpovedí. Cieľom práce je príprava nástrojov a budovanie tzv. "Question Answering datasetov" From a8a4c49dfb0774bd37101aab6d69c1afbbee2e53 Mon Sep 17 00:00:00 2001 From: dano Date: Tue, 9 Feb 2021 14:44:52 +0000 Subject: [PATCH 20/78] Update 'pages/students/2016/tomas_kucharik/README.md' --- pages/students/2016/tomas_kucharik/README.md | 2 +- 1 file changed, 1 insertion(+), 1 deletion(-) diff --git a/pages/students/2016/tomas_kucharik/README.md b/pages/students/2016/tomas_kucharik/README.md index 0cd2c8c909..9aecb9f17d 100644 --- a/pages/students/2016/tomas_kucharik/README.md +++ b/pages/students/2016/tomas_kucharik/README.md @@ -11,7 +11,7 @@ taxonomy: ## Diplomová práca 2021 -Názov: Vytváranie korpusu otázok a odpovedí pomocou crowdsourcingu. +Názov: Vytváranie korpusu otázok a odpovedí v slovenskom jazyku pomocou crowdsourcingu. Zadanie: From 06579199e857083f03cf1de1052892724aa2a59e Mon Sep 17 00:00:00 2001 From: dano Date: Tue, 9 Feb 2021 14:45:21 +0000 Subject: [PATCH 21/78] Update 'pages/students/2016/tomas_kucharik/README.md' --- pages/students/2016/tomas_kucharik/README.md | 2 +- 1 file changed, 1 insertion(+), 1 deletion(-) diff --git a/pages/students/2016/tomas_kucharik/README.md b/pages/students/2016/tomas_kucharik/README.md index 9aecb9f17d..7da2e59cab 100644 --- a/pages/students/2016/tomas_kucharik/README.md +++ b/pages/students/2016/tomas_kucharik/README.md @@ -11,7 +11,7 @@ taxonomy: ## Diplomová práca 2021 -Názov: Vytváranie korpusu otázok a odpovedí v slovenskom jazyku pomocou crowdsourcingu. +Názov: Tvorba korpusu otázok a odpovedí v slovenskom jazyku pomocou crowdsourcingu Zadanie: From 49f85e84302935e52da2c7315c7459cc35fa22d7 Mon Sep 17 00:00:00 2001 From: dano Date: Tue, 9 Feb 2021 14:47:29 +0000 Subject: [PATCH 22/78] Update 'pages/students/2016/dominik_nagy/README.md' --- pages/students/2016/dominik_nagy/README.md | 26 ++++++++++++---------- 1 file changed, 14 insertions(+), 12 deletions(-) diff --git a/pages/students/2016/dominik_nagy/README.md b/pages/students/2016/dominik_nagy/README.md index ce65a8b25f..982e9fe7f6 100644 --- a/pages/students/2016/dominik_nagy/README.md +++ b/pages/students/2016/dominik_nagy/README.md @@ -10,6 +10,20 @@ taxonomy: *Rok začiatku štúdia*: 2016 +## Diplomová práca 2021 + +*Názov diplomovej práce*: Prepis postupností pomocou neurónových sietí pre strojový preklad + +*Meno vedúceho*: Ing. Daniel Hládek, PhD. + +*Zadanie diplomovej práce*: + +1. Vypracujte teoretický prehľad metód "sequence to sequence". +2. Pripravte si dátovú množinu na trénovanie modelu sequence to sequence pre úlohu strojového prekladu. +3. Vyberte minimálne dva rôzne modely a porovnajte ich presnosť na vhodnej dátovej množine. +4. Na základe výsledkov experimentov navrhnite zlepšenia. + + ## Diplomový projekt 2 Virtuálne stretnutie 25.9. @@ -59,18 +73,6 @@ Stretnutie 6.3.2020. - Pozrieť článok [fairseq: A Fast, Extensible Toolkit for Sequence Modeling](https://www.aclweb.org/anthology/N19-4009/) - Pozrieť prístup a článok https://github.com/pytorch/fairseq/blob/master/examples/joint_alignment_translation/README.md -## Diplomová práca 2021 - -*Názov diplomovej práce*: Prepis postupností pomocou neurónových sietí pre strojový preklad - -*Meno vedúceho*: Ing. Daniel Hládek, PhD. - -*Zadanie diplomovej práce*: - -1. Vypracujte teoretický prehľad metód "sequence to sequence". -2. Pripravte si dátovú množinu na trénovanie modelu sequence to sequence pre úlohu strojového prekladu. -3. Vyberte minimálne dva rôzne modely a porovnajte ich presnosť na vhodnej dátovej množine. -4. Na základe výsledkov experimentov navrhnite zlepšenia. ## Tímový projekt 2019 From 81b9692a70f2506d9df767e24c3359332279afd5 Mon Sep 17 00:00:00 2001 From: Daniel Hladek Date: Tue, 9 Feb 2021 16:18:04 +0100 Subject: [PATCH 23/78] zz --- pages/topics/seq2seq/README.md | 2 +- 1 file changed, 1 insertion(+), 1 deletion(-) diff --git a/pages/topics/seq2seq/README.md b/pages/topics/seq2seq/README.md index 17b35ac9c5..0425a5a031 100644 --- a/pages/topics/seq2seq/README.md +++ b/pages/topics/seq2seq/README.md @@ -2,7 +2,7 @@ title: Prepis postupností published: true taxonomy: - category: [project] + category: [info] tag: [nn,nlp] author: Daniel Hladek --- From 859726965c0db826ea14da3027c536d9e70993ca Mon Sep 17 00:00:00 2001 From: Daniel Hladek Date: Tue, 9 Feb 2021 16:22:42 +0100 Subject: [PATCH 24/78] zz --- pages/topics/prodigy/README.md | 2 +- 1 file changed, 1 insertion(+), 1 deletion(-) diff --git a/pages/topics/prodigy/README.md b/pages/topics/prodigy/README.md index 50e8a6f87a..80bcacdbfa 100644 --- a/pages/topics/prodigy/README.md +++ b/pages/topics/prodigy/README.md @@ -2,7 +2,7 @@ title: Anotácia textových dát published: true taxonomy: - category: [project] + category: [info] tag: [annotation,ner,question-answer,nlp] author: Daniel Hladek --- From b9bb24dc7d262eeb5a87606567dcb66b0f6befd9 Mon Sep 17 00:00:00 2001 From: Daniel Hladek Date: Tue, 9 Feb 2021 16:25:13 +0100 Subject: [PATCH 25/78] zz --- pages/topics/otvorene/README.md | 11 ++++++++++- 1 file changed, 10 insertions(+), 1 deletion(-) diff --git a/pages/topics/otvorene/README.md b/pages/topics/otvorene/README.md index 93b04fcb63..c2880f6dd2 100644 --- a/pages/topics/otvorene/README.md +++ b/pages/topics/otvorene/README.md @@ -1,20 +1,29 @@ --- title: Otvorené projekty +published: true +taxonomy: + category: [info] + tag: [nn,nlp] + author: Daniel Hladek --- Strojový preklad slovenského jazyka + - Zoberte existjúci systém pre strojový preklad - Pripravte existujúci paralelný korpus pre trénovanie - Vytvorte model pre strojový preklad slovenského jazyka. Rozpoznávanie pomenovaných entít: + - Zlepšite model pre rozpoznávanie pomenovaných entít -Morfologická analýza s podporou predtrénovania +Morfologická analýza s podporou predtrénovania: + - Zoberte existujúci model pre morfologickú anlaýzu slovenského jazyka vyhodnotte ho - Použite BERT model na natrénovanie morfologickej anotácie a pporovnajte presnosť so základným modelom. Vyhľadávač na slovenskom internete + - Vytvorte index pre vyhľadávanie v databáze slovenských stránok (Cassandra, Elasticseaech). - Vytvorte webové rozhranie k vyhľadávaču From a7ac574a1fef69ca930dc5c6db2d539e2dca168f Mon Sep 17 00:00:00 2001 From: Daniel Hladek Date: Tue, 9 Feb 2021 17:05:04 +0100 Subject: [PATCH 26/78] zz --- pages/topics/otvorene/README.md | 59 +++++++++++++++++++++++++++------ 1 file changed, 48 insertions(+), 11 deletions(-) diff --git a/pages/topics/otvorene/README.md b/pages/topics/otvorene/README.md index c2880f6dd2..eecf9ea8a7 100644 --- a/pages/topics/otvorene/README.md +++ b/pages/topics/otvorene/README.md @@ -6,27 +6,64 @@ taxonomy: tag: [nn,nlp] author: Daniel Hladek --- +# Otvorené témy záverečných prác -Strojový preklad slovenského jazyka +Daniel Hládek -- Zoberte existjúci systém pre strojový preklad -- Pripravte existujúci paralelný korpus pre trénovanie + +## Bakalárske práce + +Naučíte sa: + +- niečo o spracovaní prirodzeného jazyka +- vytvárať webové aplikácie +- pracovať s nástrojmi v jazyku Python +- prekonávať technické problémy + +Požiadavky: + +- chcieť sa naučiť niečo nové + +### Demonštračný systém pre generovanie odpovede na otázku v prirodzenom jazyku + +- Natrénujte existujúci systém pre generovanie odpovede na otázku v prorodzdenom jazyku. +- Vytvorte demonštračnú webovú aplikáciu. + +### Strojový preklad slovenského jazyka + +- Zoberte existjúci systém pre strojový preklad. +- Pripravte existujúci paralelný korpus pre trénovanie. - Vytvorte model pre strojový preklad slovenského jazyka. -Rozpoznávanie pomenovaných entít: +### Rozpoznávanie pomenovaných entít v slovenskom jazyku -- Zlepšite model pre rozpoznávanie pomenovaných entít +- Zlepšite model pre rozpoznávanie pomenovaných entít +- Anotujte korpus, navrhnite lepší klasifikátor. -Morfologická analýza s podporou predtrénovania: - -- Zoberte existujúci model pre morfologickú anlaýzu slovenského jazyka vyhodnotte ho -- Použite BERT model na natrénovanie morfologickej anotácie a pporovnajte presnosť so základným modelom. - -Vyhľadávač na slovenskom internete +### Vyhľadávač na slovenskom internete - Vytvorte index pre vyhľadávanie v databáze slovenských stránok (Cassandra, Elasticseaech). - Vytvorte webové rozhranie k vyhľadávaču +## Diplomové práce + +Naučíte sa: + +- Niečo viac o neurónových sieťach. +- Vytvárať jednoduché programy na úpravu dát. +- Zapojiť sa do reálneho výskumu. + +### Morfologická analýza s podporou predtrénovania + +- Zoberte existujúci model pre morfologickú analýzu slovenského jazyka vyhodnotte ho +- Použite BERT model na natrénovanie morfologickej anotácie a porovnajte presnosť so základným modelom. + +### Slovné jednotky v predspracovaní pre strojový preklad + +- Natrénujte systém pre strojový preklad +- Vytvorte niekoľko modelov pre rozdelenie slov na menšie jednotky v slovenskom jazyku. Pre každý model rozdelenia slov natrénujte systém pre strojový preklad. +- Porovnajte výsledky strojového prekladu s rôznymi rozdeleniami slov. + From 7d48c765c67cb90a72930d4423c1e53bc3a40ef8 Mon Sep 17 00:00:00 2001 From: =?UTF-8?q?Patrik=20Pavli=C5=A1in?= Date: Thu, 11 Feb 2021 16:22:09 +0000 Subject: [PATCH 27/78] =?UTF-8?q?Aktualizovat=20=E2=80=9Epages/students/20?= =?UTF-8?q?16/patrik=5Fpavlisin/tp20/README.md=E2=80=9C?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit --- .../2016/patrik_pavlisin/tp20/README.md | 37 ++++++++++++------- 1 file changed, 23 insertions(+), 14 deletions(-) diff --git a/pages/students/2016/patrik_pavlisin/tp20/README.md b/pages/students/2016/patrik_pavlisin/tp20/README.md index 2dafe40903..da677ec23d 100755 --- a/pages/students/2016/patrik_pavlisin/tp20/README.md +++ b/pages/students/2016/patrik_pavlisin/tp20/README.md @@ -7,35 +7,43 @@ Strojový preklad je automatický preklad jednej, alebo skupiny viacerých viet Popularita internetu výrazne ovplyvnila záujem o strojový preklad a šírenie informácii vo viacerých jazykoch. Príkladom sú viacjazyčné vlády, spravodajské agentúry a spoločnosti pôsobiace na globálnom trhu. Vďaka tomuto rozšíreniu sú základným zdrojom vo výskume SMT, pretože sú každodenným produktom bežných ľudských činností. A je to taktiež jeden z dôvodov, prečo Európska únia, či Vláda Spojených štátov zvýšila financovanie výskumu strojového prekladu na podporu svojich záujmov v oblasti politiky. Rýchli a lacný výpočtový hardvér umožnil aplikácie, ktoré závisia od veľkého počtu súborov údajov a miliárd štatistík. Výrazne k tomu prispeli pokroky v rýchlosti procesora, veľkosti a rýchlosti pamäte novších počítačov. Vývoj metrík automatického prekladu taktiež umožnil zrýchliť vývoj systémov strojového prekladu a podporil konkurenciu medzi výskumnými skupinami. [10] ## Neurónový strojový preklad -Sila NMT spočíva v jeho schopnosti učiť sa priamo, end-to-end spôsobom, mapovanie zo vstupného textu na asociovaný výstupný text. Neurónový strojový preklad je jedným z novších prístupov k štatistickej strojovej translácii založenej čisto na neurónových sieťach, pozostávajú z kódovacieho zariadenia a dekódera. Tento typ strojového prekladu viedol k zlepšeniu najmä v oblasti hodnotenia ľudí, v porovnaní so systémami založenými na štatistických pravidlách a štatistickým strojovým prekladom. Posledné štúdie však ukazujú, že NMT všeobecne produkuje plynulé, ale nedostatočné preklady, čo je v kontraste s konvenčným štatistickým strojovým prekladom, ktorý produkuje adekvátne, ale nie plynulé preklady. Kóder extrahuje reprezentáciu pevnej dĺžky zo vstupnej vety s premennou dĺžkou a dekóder následne vygeneruje finálny preklad z danej reprezentácie. Neurálny strojový preklad funguje dobre predovšetkým na krátke vety bez neznámych slov, preklad sa však zhoršuje s pribúdajúcou dĺžkou textu a neznámych slov, taktiež slovná zásoba ma veľký vplyv na výkon prekladu. Výhodou neurálneho strojového prekladu je, že oproti SMT vyžaduje iba zlomok pamäte pre trénovanie (napr. ak neurónový strojový preklad použije 500 MB pamäte, SMT by na rovnaké trénovanie využil desiatky gigabajtov). Na rozdiel od iných konvenčných prekladových systémov, sa každý komponent modelu neurálneho prekladu trénuje spoločne, aby sa maximalizoval výkon prekladu. [4] [5] [6] [7] + +Sila NMT spočíva v jeho schopnosti učiť sa priamo, end-to-end spôsobom, mapovanie zo vstupného textu na asociovaný výstupný text. End-to-end učenie je typ procesu Deep Learning, v ktorom sú všetky parametre trénované spoločne, a nie krok za krokom. Neurónový strojový preklad je jedným z novších prístupov v štatistickom strojovom preklade založený čisto na neurónových sieťach, pozostávajú z kódovacieho zariadenia a dekódera. Tento typ strojového prekladu viedol k zlepšeniu najmä v oblasti hodnotenia ľudí, v porovnaní so systémami založenými na štatistickom strojovom preklade. Podľa najnovších štúdií NMT všeobecne produkuje plynulé, ale nedostatočné preklady, čo je v kontraste s konvenčným štatistickým strojovým prekladom, ktorý produkuje adekvátne, ale nie plynulé preklady. Kódovacie zariadenie extrahuje reprezentáciu pevnej dĺžky zo vstupnej vety s premennou dĺžkou a dekóder následne vygeneruje finálny preklad z danej reprezentácie. Neurálny strojový preklad funguje dobre predovšetkým na krátke vety bez neznámych slov, preklad sa však zhoršuje s pribúdajúcou dĺžkou textu a neznámych slov, taktiež slovná zásoba ma veľký vplyv na výkon prekladu. Výhodou neurónového strojového prekladu je, že oproti SMT vyžaduje iba zlomok pamäte pre trénovanie (napr. ak neurónový strojový preklad použije 500 MB pamäte, SMT by na rovnaké trénovanie využil desiatky gigabajtov). Na rozdiel od iných konvenčných prekladových systémov, sa každý komponent modelu neurálneho prekladu trénuje spoločne, aby sa maximalizoval výkon prekladu. [4] [5] [6] [7] ## NMT s SMT výhodami -Vzhľadom na vedomosti, ktoré máme o NMT a SMT je preto prirodzené pokúsiť sa využívať výhody oboch modelov na lepšie preklady. Konkrétne začleniť model SMT do rámca NMT, čo znamená, že v každom kroku SMT odošle ďalšie odporúčania generovaných slov na základe dekódovacích informácii z NMT. Experimentálne výsledky čínsko-anglického prekladu (NMT advised by SMT, 2016) ukazujú, že navrhovaný prístup dosahuje mimoriadne konzistentné vylepšenia oproti najnovším NMT a SMT modelom. Jedným z rozdielov v tomto prístupe je, že tento model nevyberá ďalšie slovo len na základe vektorových reprezentácií, ale umožňuje tiež predikciu na základe odporúčaní z modelu SMT. (Viac informácii na [3] ). +Vzhľadom na vedomosti, ktoré máme o NMT a SMT je preto prirodzené pokúsiť sa využívať výhody oboch modelov na lepšie preklady. Konkrétne začleniť model SMT do rámca NMT, čo znamená, že v každom kroku SMT odošle ďalšie odporúčania generovaných slov na základe dekódovacích informácii z NMT. Experimentálne výsledky čínsko-anglického prekladu (NMT advised by SMT, 2016) ukazujú, že navrhovaný prístup dosahuje mimoriadne konzistentné vylepšenia oproti najnovším NMT a SMT modelom. Jedným z rozdielov v tomto prístupe je, že tento model nevyberá ďalšie slovo len na základe vektorových reprezentácií (vektory čísel, ktoré predstavujú význam slova), ale umožňuje tiež predikciu na základe odporúčaní z modelu SMT. (Viac informácii na [3] ). ## Recurrent neural network -Rekurentná neurónová sieť (RNN) je trieda umelých neurónových sietí, kde spojenia medzi uzlami vytvárajú usmernený graf pozdĺž časovej postupnosti. To mu umožňuje vykazovať časové dynamické správanie. RNN môžu používať svoj vnútorný stav (pamäť) na spracovanie sekvencií vstupov s premennou dĺžkou. Obojsmerná rekurentná neurónová sieť, známa ako kódovač, používa neurónová sieť na kódovanie zdrojovej vety pre druhý RNN, známy ako dekodér, ktorý sa používa na predikciu slov v cieľovom jazyku. Rekurentné neurónové siete čelia problémom pri kódovaní dlhých vstupov do jedného vektora. To je možné kompenzovať pomocou tzv. attention mechanisms, ktorý umožňuje dekodéru sústrediť sa na rôzne časti vstupu pri generovaní každého slova výstupu. Existujú ďalšie modely pokrytia, ktoré sa zaoberajú problémami v takýchto mechanizmoch pozornosti, napríklad ignorovanie informácií o minulom zosúladení vedúcich k nadmernému prekladu a nedostatočnému prekladu. +Rekurentné neurónové siete (RNN) sú najmodernejším algoritmom pre sekvenčné dáta a používajú ich napr. Apple´s Siri alebo Google. Je to prvý algoritmus, ktorý si pamätá svoj vstup a to vďaka vnútornej pamäti, čo ho robí perfektným pre problémy strojového učenia, ktoré zahŕňajú sekvenčné dáta. RNN môžu používať svoj vnútorný stav (pamäť) na spracovanie sekvencií vstupov s premennou dĺžkou. Obojsmerná rekurentná neurónová sieť, známa ako kóder, používa neurónová sieť na kódovanie zdrojovej vety pre druhý RNN, známy ako dekodér, ktorý sa používa na predikciu slov v cieľovom jazyku. Neurónová sieť sa považuje za snahu napodobniť akcie ľudského mozgu zjednodušeným spôsobom. Mechanizmus pozornosti je tiež pokusom o implementáciu rovnakej akcie selektívneho sústredenia sa na niekoľko dôležitých vecí, zatiaľ čo ostatné sú ignorované v hlbokých neurónových sieťach. Rekurentné neurónové siete čelia problémom pri kódovaní dlhých vstupov do jedného vektora. To je možné kompenzovať pomocou tzv. attention mechanisms (mechanizmus pozornosti), ktorý umožňuje dekodéru sústrediť sa na rôzne časti vstupu pri generovaní každého slova výstupu. + +Termín „rekurentná neurónová sieť“ sa používa bez rozdielu na označenie dvoch širokých tried sietí s podobnou všeobecnou štruktúrou, kde jedna je konečný impulz a druhá nekonečný impulz. Obe triedy sietí vykazujú časové dynamické správanie. Konečná impulzná opakujúca sa sieť je filter, ktorého impulzná odozva (alebo odozva na akýkoľvek vstup konečnej dĺžky) má konečnú dobu trvania, pretože sa v konečnom čase usadí na nule, zatiaľ čo nekonečná impulzná odozva (IIR) je vlastnosť vzťahujúca sa na mnoho lineárnych časovo invariantných systémov, ktoré sa vyznačujú tým, že majú impulznú odozvu h (t), ktorá sa nestane presne nulou za určitým bodom, ale pokračuje donekonečna. (Viac informácii na ( [7],[8] ). -Termín „rekurentná neurónová sieť“ sa používa bez rozdielu na označenie dvoch širokých tried sietí s podobnou všeobecnou štruktúrou, kde jedna je konečný impulz a druhá nekonečný impulz. Obe triedy sietí vykazujú časové dynamické správanie. Konečná impulzná opakujúca sa sieť je usmernený acyklický graf, ktorý je možné rozvinúť a nahradiť ho striktne doprednou neurálnou sieťou, zatiaľ čo nekonečná impulzná opakujúca sa sieť je usmernený cyklický graf, ktorý sa nedá rozvinúť. Konečné impulzné aj nekonečné impulzné opakujúce sa siete môžu mať ďalšie uložené stavy a úložisko môže byť pod priamou kontrolou neurónovej siete. Úložisko je tiež možné nahradiť inou sieťou alebo grafom, ak obsahuje časové oneskorenia alebo má spätnoväzbové slučky. (Viac informácii na ( [7],[8] ). ## Convolutional Neural Networks -Okrem RNN je ďalším prirodzeným prístupom k riešeniu sekvencií s premennou dĺžkou použitie rekurzívnej konvolučnej neurónovej siete, kde sú parametre na každej úrovni zdieľané cez celú sieť. Konvolučné neurónové siete sú v zásade o niečo lepšie pre dlhé nepretržité sekvencie, ale pôvodne sa nepoužívali kvôli niekoľkým slabinám. Tie boli v roku 2017 úspešne kompenzované pomocou „attention mechanisms“. +Okrem RNN je ďalším prirodzeným prístupom k riešeniu sekvencií s premennou dĺžkou použitie rekurzívnej konvolučnej neurónovej siete, kde sú parametre na každej úrovni zdieľané cez celú sieť. Konvolučné neurónové siete sú v zásade o niečo lepšie pre dlhé nepretržité sekvencie, ale pôvodne sa nepoužívali kvôli niekoľkým slabinám. Tie boli v roku 2017 úspešne kompenzované pomocou „attention mechanisms“. -Konvolučná neurónová sieť (CNN) je trieda hlbokých neurónových sietí, ktorá sa najčastejšie používa na analýzu vizuálnych snímok. Sú tiež známe ako umelé neurónové siete s posunom invariantu alebo s priestorovým invariantom (SIANN) na základe ich architektúry zdieľaných váh a charakteristík invariantnosti translácie. CNN používajú v porovnaní s inými algoritmami klasifikácie obrázkov relatívne malé predbežné spracovanie. To znamená, že sa sieť učí filtre, ktoré boli v tradičných algoritmoch vyrobené ručne. Táto nezávislosť od predchádzajúcich znalostí a ľudského úsilia pri navrhovaní funkcií je hlavnou výhodou. +Konvolučná neurónová sieť (CNN) je trieda hlbokých neurónových sietí, ktorá sa najčastejšie používa na analýzu vizuálnych snímok. Sú tiež známe ako umelé neurónové siete s invariantným posunom alebo s priestorovým invariantom (SIANN) na základe ich architektúry zdieľaných váh a charakteristík invariantnosti prekladu. CNN používajú v porovnaní s inými algoritmami klasifikácie obrázkov relatívne malé predbežné spracovanie. To znamená, že sa sieť učí filtre, ktoré boli v tradičných algoritmoch vyrobené ručne. Táto nezávislosť od predchádzajúcich znalostí a ľudského úsilia pri navrhovaní funkcií je hlavnou výhodou. + +Konvolučné siete sa inšpirovali biologickými procesmi v tom, že vzorec spojenia medzi neurónmi pripomína organizáciu vizuálnej mozgovej kôry zvieraťa. Jednotlivé kortikálne neuróny (vonkajšia vrstva nervového tkaniva mozgu) reagujú na podnety iba v obmedzenej oblasti zorného poľa známej ako receptívne pole. Vnímavé polia rôznych neurónov sa čiastočne prekrývajú tak, že pokrývajú celé zorné pole. + +CNN používajú v porovnaní s inými algoritmami klasifikácie obrázkov relatívne málo predbežného spracovania. To znamená, že sa sieť učí filtre, ktoré boli v tradičných algoritmoch vyrobené ručne. Pri spracovaní signálu je filtrom zariadenie alebo proces, ktorý odstraňuje zo signálu niektoré nežiaduce komponenty alebo vlastnosti. Táto nezávislosť od predchádzajúcich znalostí a ľudského úsilia pri navrhovaní funkcií je hlavnou výhodou. (Viac informácii na [5],[6] ). -CNN sú legalizované verzie viacvrstvových perceptrónov. Viacvrstvové perceptróny zvyčajne znamenajú plne spojené siete, to znamená, že každý neurón v jednej vrstve je spojený so všetkými neurónmi v nasledujúcej vrstve. Vďaka „úplnému prepojeniu“ týchto sietí sú náchylné na preplnenie údajov. Typické spôsoby regularizácie zahŕňajú pridanie určitej formy merania hmotnosti k stratovej funkcii. CNN používajú odlišný prístup k regularizácii: využívajú hierarchický vzorec v dátach a zhromažďujú zložitejšie vzory pomocou menších a jednoduchších vzorov. Z hľadiska rozsahu prepojenosti a zložitosti sú teda CNN na dolnej extrému. (Viac informácii na [5],[6] ). ## Encoder–Decoder Approach -Architektúra Encoder-Decoder s rekurentnými neurónovými sieťami sa stala efektívnym a štandardným prístupom pre neurálnu strojovú transláciu (NMT) a predikciu sekvencie za sekvenciou (seq2seq) všeobecne. +Architektúra Encoder-Decoder s rekurentnými neurónovými sieťami sa stala efektívnym a štandardným prístupom pre neurónový strojový preklad (NMT) a predikciu Sequence-to-sequence (seq2seq) všeobecne. Seq2seq je trénovanie modelov na prevod sekvencií z jednej domény (napr. vety v angličtine) na sekvencie v inej doméne (napr. rovnaké vety preložené do slovenčiny) -Strojový preklad je hlavnou problémovou doménou pre modely sekvenčnej transdukcie, ktorých vstup aj výstup sú sekvencie s premennou dĺžkou. Na zvládnutie tohto typu vstupov a výstupov môžeme navrhnúť architektúru s dvoma hlavnými komponentmi. Prvým komponentom je kódovač, ktorý berie ako vstup sekvenciu s premennou dĺžkou a transformuje ju do stavu s pevným tvarom. Druhým komponentom je dekodér, ktorý mapuje kódovaný stav pevného tvaru na sekvenciu s premennou dĺžkou. Toto sa nazýva architektúra dekodér-dekodér. +Mnoho úloh strojového učenia sa dá vyjadriť ako transformácia - alebo transdukcia - vstupných sekvencií do výstupných sekvencií (napr. rozpoznávanie reči, strojový preklad, alebo prevod textu na reč. (Alex Graves, 2012) -Aj keď je architektúra Encoder-Decoder efektívna, má problémy s dlhými sekvenciami textu, ktoré sa majú preložiť. Problém pramení z internej reprezentácie pevnej dĺžky, ktorá sa musí použiť na dekódovanie každého slova vo výstupnej sekvencii. Riešením je použitie attention mechanism (mechanizmu pozornosti), ktorý umožňuje modelu naučiť sa, kam má venovať pozornosť vstupnej sekvencii, pretože každé slovo výstupnej sekvencie je dekódované. +Strojový preklad je hlavnou problémovou doménou pre modely sekvenčnej transdukcie, ktorých vstup aj výstup sú sekvencie s premennou dĺžkou. Na zvládnutie tohto typu vstupov a výstupov môžeme navrhnúť architektúru s dvoma hlavnými komponentmi. Prvým komponentom je kódovacie zariadenie, ktoré berie ako vstup sekvenciu s premennou dĺžkou a transformuje ju do stavu s pevným tvarom. Druhým komponentom je dekodér, ktorý mapuje kódovaný stav pevného tvaru na sekvenciu s premennou dĺžkou. Toto sa nazýva Encoder-Decoder architektúra. + +Aj keď je architektúra Encoder-Decoder efektívna, má problémy s dlhými sekvenciami textu, ktoré sa majú preložiť. Problém pramení z internej reprezentácie pevnej dĺžky, ktorá sa musí použiť na dekódovanie každého slova vo výstupnej sekvencii. Riešením je použitie attention mechanism (mechanizmu pozornosti), ktorý umožňuje modelu naučiť sa, kam má venovať pozornosť vstupnej sekvencii, pretože každé slovo výstupnej sekvencie je dekódované. + +Kľúčovými výhodami tohto prístupu sú schopnosť trénovať jeden end-to-end model priamo na zdrojových a cieľových vetách a schopnosť zvládnuť vstupné a výstupné sekvencie textu s rôznou dĺžkou. Ako dôkaz úspechu metódy je architektúra jadrom prekladateľskej služby Google. Architektúra rekurentnej neurónovej siete Encoder-Decoder s pozornosťou je v súčasnosti najmodernejším riešením niektorých benchmarkových problémov pre strojový preklad. Táto architektúra je použitá v jadre systému Google Neural Machine Translation alebo GNMT, ktorý sa používa v ich službe Google Translate. [8] -Kľúčovými výhodami tohto prístupu sú schopnosť trénovať jeden end-to-end model priamo na zdrojových a cieľových vetách a schopnosť zvládnuť vstupné a výstupné sekvencie textu s rôznou dĺžkou. Ako dôkaz úspechu metódy je architektúra jadrom prekladateľskej služby Google. Architektúra rekurentnej neurónovej siete Encoder-Decoder s pozornosťou je v súčasnosti najmodernejším riešením niektorých benchmarkových problémov pre strojový preklad. Táto architektúra je použitá v jadre systému Google Neural Machine Translation alebo GNMT, ktorý sa používa v ich službe Google Translate. [8] |![](https://git.kemt.fei.tuke.sk/KEMT/zpwiki/raw/commit/5134c49afabbb2e5e8e090b8fa54bb1711dd6160/pages/students/2016/patrik_pavlisin/1.png)| |:--:| @@ -44,11 +52,12 @@ Kľúčovými výhodami tohto prístupu sú schopnosť trénovať jeden end-to-e ## BERT -Bidirectional Encoder Representations from Transformers (BERT) je strojové školenie zamerané na techniku strojového učenia na spracovanie prirodzeného jazyka (NLP) vyvinuté spoločnosťou Google. Keď bol BERT publikovaný, dosiahol vynikajúcu výkonnosť v mnohých úlohách porozumenia prirodzenému jazyku ako napr. SQuAD (Stanford Question Answering Dataset) a SWAG (Situations With Adversarial Generations). Dôvody spoľahlivého výkonu BERT v týchto úlohách porozumenia prirodzenému jazyku ešte nie sú dobre pochopené. +Bidirectional Encoder Representations from Transformers (BERT) je Transformer-based technika strojového učenia pre spracovanie prirodzeného jazyka vyvinutý spoločnosťou Google. Transformátor je model Deep Learning predstavený v roku 2017, ktorý sa používa predovšetkým v oblasti spracovania prirodzeného jazyka (NLP). Deep Learning je funkcia umelej inteligencie (AI), ktorá napodobňuje činnosť ľudského mozgu pri spracovaní údajov a vytváraní vzorcov pre použitie pri rozhodovaní. Keď bol BERT publikovaný, dosiahol vynikajúcu výkonnosť v mnohých úlohách porozumenia prirodzenému jazyku ako napr. SQuAD (Stanford Question Answering Dataset) a SWAG (Situations With Adversarial Generations). Dôvody spoľahlivého výkonu BERT v týchto úlohách porozumenia prirodzenému jazyku ešte nie sú dobre pochopené. -BERT využíva Transformátor, attention mechanism (mechanizmus pozornosti), ktorý sa učí kontextové vzťahy medzi slovami v texte. Vo svojej základnej podobe obsahuje Transformer dva samostatné mechanizmy - kódovač, ktorý číta textový vstup, a dekodér, ktorý vytvára predikciu úlohy. Pretože cieľom BERT je vygenerovať jazykový model, je potrebný iba mechanizmus kódovacieho zariadenia. Na rozdiel od smerových modelov, ktoré čítajú textový vstup postupne (zľava doprava alebo sprava doľava), čítací transformátor číta celú postupnosť slov naraz. Preto sa považuje za obojsmerný, aj keď by bolo presnejšie povedať, že je nesmerový. Táto vlastnosť umožňuje modelu naučiť sa kontext slova na základe celého jeho okolia (vľavo a vpravo od slova). Nasledujúca tabuľka obsahuje podrobný popis kódovacieho zariadenia Transformer. Vstupom je postupnosť tokenov, ktoré sa najskôr vložia do vektorov a potom sa spracujú v neurónovej sieti. Výstupom je postupnosť vektorov veľkosti H, v ktorých každý vektor zodpovedá vstupnému tokenu s rovnakým indexom. +BERT využíva Transformátor, attention mechanism (mechanizmus pozornosti), ktorý sa učí kontextové vzťahy medzi slovami v texte. Vo svojej základnej podobe obsahuje Transformer dva samostatné mechanizmy – encoder, ktorý číta text zo vstupu, a dekodér, ktorý vytvára predpoveď pre danú úlohu. Pretože cieľom BERT je vygenerovať jazykový model, je potrebný iba encoder mechanizmus. Na rozdiel od smerových modelov, ktoré čítajú textový vstup postupne (zľava doprava alebo sprava doľava), Transformer encoder číta celú postupnosť slov naraz. Preto sa považuje za obojsmerný, aj keď by bolo presnejšie povedať, že je nesmerový. Táto vlastnosť umožňuje modelu naučiť sa kontext slova na základe celého jeho okolia (vľavo a vpravo od slova). Vstupom je postupnosť tokenov, ktoré sa najskôr vložia do vektorov a potom sa spracujú v neurónovej sieti. Výstupom je postupnosť vektorov veľkosti H, v ktorých každý vektor zodpovedá vstupnému tokenu s rovnakým indexom. + +V súčasnosti sú vopred vytrénované jazykové modely BERT považované za dôležité pre širokú škálu úloh NLP, ako sú napríklad Natural Language Inference (NLI je podtémou spracovania prirodzeného jazyka v umelej inteligencii, ktorá sa zaoberá strojovým čítaním s porozumením) a Question Answer (QA je disciplína informatiky v oblasti získavania informácií). Napriek svojmu obrovskému úspechu stále majú limity na reprezentáciu kontextových informácií v korpuse špecifickom pre danú oblasť, pretože sú trénované na všeobecnom korpuse (napr. Anglická Wikipedia). Napríklad Ubuntu Corpus, ktorý je jedným z najpoužívanejších korpusov pri výbere odpovedí, obsahuje množstvo terminológií a príručiek, ktoré sa vo všeobecnom korpuse zvyčajne nevyskytujú (napr. Apt-get, mkdir a grep). Pretože sa korpus zameriava predovšetkým na určitú doménu, existujúce diela majú obmedzenia pri porovnávaní kontextu dialógu a odozvy. Korpus konverzácií, ako napríklad Twitter a Reddits, sa navyše skladá hlavne z hovorových výrazov, ktoré sú zvyčajne gramaticky nesprávne. [1] [2] -V súčasnosti sú vopred vytrénované jazykové modely BERT považované za dôležité pre širokú škálu úloh NLP, ako sú napríklad Natural Language Inference (NLI) a Question Answer (QA). Napriek svojmu obrovskému úspechu stále majú limity na reprezentáciu kontextových informácií v korpuse špecifickom pre danú oblasť, pretože sú trénované na všeobecnom korpuse (napr. Anglická Wikipedia). Napríklad Ubuntu Corpus, ktorý je najpoužívanejším korpusom pri výbere odpovedí, obsahuje množstvo terminológií a príručiek, ktoré sa vo všeobecnom korpuse zvyčajne nevyskytujú (napr. Apt-get, mkdir a grep). Pretože sa korpus zameriava predovšetkým na určitú doménu, existujúce diela majú obmedzenia pri porovnávaní kontextu dialógu a odozvy. Korpus konverzácií, ako napríklad Twitter a Reddits, sa navyše skladá hlavne z hovorových výrazov, ktoré sú zvyčajne gramaticky nesprávne. [1] [2] ## Metódy vyhodnotenia From 53bb746b5cde94aa2d122edc5a4c7eeb78286424 Mon Sep 17 00:00:00 2001 From: =?UTF-8?q?Patrik=20Pavli=C5=A1in?= Date: Thu, 11 Feb 2021 16:23:54 +0000 Subject: [PATCH 28/78] =?UTF-8?q?Aktualizovat=20=E2=80=9Epages/students/20?= =?UTF-8?q?16/patrik=5Fpavlisin/tp20/README.md=E2=80=9C?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit --- pages/students/2016/patrik_pavlisin/tp20/README.md | 2 +- 1 file changed, 1 insertion(+), 1 deletion(-) diff --git a/pages/students/2016/patrik_pavlisin/tp20/README.md b/pages/students/2016/patrik_pavlisin/tp20/README.md index da677ec23d..ba54d4c82a 100755 --- a/pages/students/2016/patrik_pavlisin/tp20/README.md +++ b/pages/students/2016/patrik_pavlisin/tp20/README.md @@ -61,7 +61,7 @@ V súčasnosti sú vopred vytrénované jazykové modely BERT považované za d ## Metódy vyhodnotenia -Ako zistíme či je náš výstup zo systému SMT dobrý ? Na vyhodnotenie strojového prekladu bolo navrhnutých veľa rôznych metód. Zaujímavosťou je že o metódach pre hodnotenie strojového prekladu sa za v posledných rokoch píše viac ako o samotnom strojovom preklade. Vyhodnotenie človekom je vo všeobecnosti veľmi časovo a finančne náročné, pretože vyžaduje zaplatenie odborníka v daných dvoch jazykoch. Z toho dôvodu sa začali vyvíjať automatické metriky, ktoré úzko korelujú s ľudských úsudkom. Čím presnejšie tieto metriky budú tým lepšia bude naša výkonnosť v hodnotením strojového prekladu. Pri vývoji týchto metrík bolo dôležité použiť sady testovacích viet, pre ktoré už existovali ľudské preklady, napríklad z paralelného korpusu. Metódy automatického prekladu sú založené na čiastočnom zosúladení reťazcov medzi výstupným a referenčným prekladom (viz. Obrázok 1). +Ako zistíme či je náš výstup zo systému SMT dobrý ? Na vyhodnotenie strojového prekladu bolo navrhnutých veľa rôznych metód. Zaujímavosťou je že o metódach pre hodnotenie strojového prekladu sa za v posledných rokoch píše viac ako o samotnom strojovom preklade. Vyhodnotenie človekom je vo všeobecnosti veľmi časovo a finančne náročné, pretože vyžaduje zaplatenie odborníka v daných dvoch jazykoch. Z toho dôvodu sa začali vyvíjať automatické metriky, ktoré úzko korelujú s ľudských úsudkom. Čím presnejšie tieto metriky budú tým lepšia bude naša výkonnosť v hodnotením strojového prekladu. Pri vývoji týchto metrík bolo dôležité použiť sady testovacích viet, pre ktoré už existovali ľudské preklady, napríklad z paralelného korpusu. Metódy automatického prekladu sú založené na čiastočnom zosúladení reťazcov medzi výstupným a referenčným prekladom (viz. Obrázok 2). |![](https://git.kemt.fei.tuke.sk/KEMT/zpwiki/raw/commit/c3bd7dca0c3305a736ddf42b88e1e35f3c59c9ec/pages/students/2016/patrik_pavlisin/tp20/2.png)| |:--:| From 51403c9634975426d9d6b224ea53a4ba16ce8c1d Mon Sep 17 00:00:00 2001 From: dano Date: Fri, 12 Feb 2021 08:30:09 +0000 Subject: [PATCH 29/78] Update 'pages/students/2016/jakub_maruniak/README.md' --- pages/students/2016/jakub_maruniak/README.md | 10 +++++++++- 1 file changed, 9 insertions(+), 1 deletion(-) diff --git a/pages/students/2016/jakub_maruniak/README.md b/pages/students/2016/jakub_maruniak/README.md index 70c7aae873..32378199ff 100644 --- a/pages/students/2016/jakub_maruniak/README.md +++ b/pages/students/2016/jakub_maruniak/README.md @@ -41,10 +41,18 @@ Ciele: Zásobník úloh: -- Zvážiť zmenu názvu práce. Je "Crowdsourcing" relevantný pojen? - Použiť model na podporu anotácie - Do konca ZS vytvoriť report vo forme článku. +Stretnutie 12.2.: + +- Prebrali sme článok. Treba vyhodiť a popresúvať niektoré časti, inak v poriadku. + +Do budúceho stretnutia: + +- Vybrať vhodný časopis na publikovanie +- Využiť pri trénovaní ďalšie anotované dáta. + From f555d21e00cdff0ba2245967bd5977557b8d6124 Mon Sep 17 00:00:00 2001 From: dano Date: Fri, 12 Feb 2021 12:28:11 +0000 Subject: [PATCH 30/78] Update 'pages/students/2018/ondrej_megela/README.md' --- pages/students/2018/ondrej_megela/README.md | 8 ++++---- 1 file changed, 4 insertions(+), 4 deletions(-) diff --git a/pages/students/2018/ondrej_megela/README.md b/pages/students/2018/ondrej_megela/README.md index d73391f408..adb2b24db8 100644 --- a/pages/students/2018/ondrej_megela/README.md +++ b/pages/students/2018/ondrej_megela/README.md @@ -24,10 +24,10 @@ Názov: Neurónové jazykové modelovanie typu BERT. Návrh na zadanie: -1. Vypracujte prehľad metód jazykového modelovania pomoocu neurónových sietí. -1. Vypracujte prehľad aplikácií modelu typu BERT a spôsoby ich vyhodnotenia. -2. Natréonujte jazykový model metódou BERT alebo podobnou. -3. Vyhodnoťte jazykový model a navrhnite zlepšenia presnosti. +1. Vypracujte prehľad metód jazykového modelovania pomocou neurónových sietí. +2. Vypracujte prehľad aplikácií modelu typu BERT a spôsoby ich vyhodnotenia. +3. Natrénujte jazykový model metódou BERT alebo podobnou. +4. Vyhodnoťte jazykový model a navrhnite zlepšenia presnosti. Zásobník úloh: From d3f978adb076425cfaf2a2b38f5b56ee95decb3a Mon Sep 17 00:00:00 2001 From: dano Date: Fri, 12 Feb 2021 12:33:40 +0000 Subject: [PATCH 31/78] Update 'pages/students/2018/ondrej_megela/README.md' --- pages/students/2018/ondrej_megela/README.md | 13 +++++++++++++ 1 file changed, 13 insertions(+) diff --git a/pages/students/2018/ondrej_megela/README.md b/pages/students/2018/ondrej_megela/README.md index adb2b24db8..fba554a793 100644 --- a/pages/students/2018/ondrej_megela/README.md +++ b/pages/students/2018/ondrej_megela/README.md @@ -33,6 +33,19 @@ Zásobník úloh: - Cieľom je vedieť natrénovať BERT model a vyhodnotiť ho na zvolenej testovacej množine. +Stretnutie 12.2. + +Stav: + +- Pokúšame sa vytvoriť hodnotenie pomcou množiny CommonSenseQA +- Problém pri trénovaní na Wiki103 na stroji Quadra, (vyzerá to ako deadlock) + +Do budúceho stretnutia: + +- Problém sa možno dá obísť skopírovaním modelu zo stroja Tesla. + + + Virtuálne stretnutie 18.12.2020 Stav: From 711ed0b5afa65674636ed4da2e53239196dc2939 Mon Sep 17 00:00:00 2001 From: dano Date: Fri, 12 Feb 2021 12:39:06 +0000 Subject: [PATCH 32/78] Update 'pages/students/2018/ondrej_megela/README.md' --- pages/students/2018/ondrej_megela/README.md | 4 ++++ 1 file changed, 4 insertions(+) diff --git a/pages/students/2018/ondrej_megela/README.md b/pages/students/2018/ondrej_megela/README.md index fba554a793..ad7871b813 100644 --- a/pages/students/2018/ondrej_megela/README.md +++ b/pages/students/2018/ondrej_megela/README.md @@ -39,10 +39,14 @@ Stav: - Pokúšame sa vytvoriť hodnotenie pomcou množiny CommonSenseQA - Problém pri trénovaní na Wiki103 na stroji Quadra, (vyzerá to ako deadlock) +- Máme k dispozícii ROBERTA model natrénovaný na veľkej množine slovenských dát. Do budúceho stretnutia: - Problém sa možno dá obísť skopírovaním modelu zo stroja Tesla. +- na kopírovanie použite príkaz `scp -r user@server:zdrojovyadresar cielovyadresar`. +- pokračovať vo vyhodnotení pomocou CommonSenseQA. +- skúste vyhodnotiť aj slovenský model. Ako? From 4819c16d6cce386c93abfb0b63b9ec725377f464 Mon Sep 17 00:00:00 2001 From: dano Date: Fri, 12 Feb 2021 13:06:50 +0000 Subject: [PATCH 33/78] Update 'pages/students/2018/ondrej_megela/README.md' --- pages/students/2018/ondrej_megela/README.md | 1 + 1 file changed, 1 insertion(+) diff --git a/pages/students/2018/ondrej_megela/README.md b/pages/students/2018/ondrej_megela/README.md index ad7871b813..6c2f13a2c1 100644 --- a/pages/students/2018/ondrej_megela/README.md +++ b/pages/students/2018/ondrej_megela/README.md @@ -47,6 +47,7 @@ Do budúceho stretnutia: - na kopírovanie použite príkaz `scp -r user@server:zdrojovyadresar cielovyadresar`. - pokračovať vo vyhodnotení pomocou CommonSenseQA. - skúste vyhodnotiť aj slovenský model. Ako? +- pracujte na súvislom texte bakalárskej práce. From d2d8f8bd38bb0167e222d894d578940bc6f36b34 Mon Sep 17 00:00:00 2001 From: dano Date: Fri, 12 Feb 2021 13:47:22 +0000 Subject: [PATCH 34/78] Update 'pages/students/2016/maros_harahus/README.md' --- pages/students/2016/maros_harahus/README.md | 11 +++++------ 1 file changed, 5 insertions(+), 6 deletions(-) diff --git a/pages/students/2016/maros_harahus/README.md b/pages/students/2016/maros_harahus/README.md index 899df6d2ab..ff864a52c6 100644 --- a/pages/students/2016/maros_harahus/README.md +++ b/pages/students/2016/maros_harahus/README.md @@ -8,16 +8,15 @@ taxonomy: --- # Maroš Harahus -Názov diplomovej práce: Štatistická morfologická anotácia slovenského jazyka +Názov diplomovej práce: Neurónová morfologická anotácia slovenského jazyka ## Návrh na zadanie DP -1. Vypracujte prehľad spôsobov morfologickej anotácie slovenského jazyka. -2. Vysvetlite, ako funguje morfologická anotácia v knižnici Spacy. Vysvetlite, ako funguje predtrénovanie v knižnici Spacy. -3. Pripravte slovenské trénovacie dáta vo vhodnom formáte a natrénujte základný model morfologickej anotácie pomocou knižnice Spacy. -4. Pripravte model pre morfologickú anotáciu s pomocou predtrénovania. -5. Vyhodnoťte presnosť značkovania modelov vo viacerých experimentoch a navrhnite možné zlepšenia. +1. Vysvetlite, ako funguje neurónová morfologická anotácia v knižnici Spacy. Vysvetlite, ako funguje predtrénovanie v knižnici Spacy. +2. Pripravte slovenské trénovacie dáta vo vhodnom formáte a natrénujte základný model morfologickej anotácie pomocou knižnice Spacy. +3. Pripravte model pre morfologickú anotáciu s pomocou predtrénovania. +4. Vyhodnoťte presnosť značkovania modelov vo viacerých experimentoch a navrhnite možné zlepšenia. ## Diplomový projekt 2 2020 From 24e3b79e73bd8a106d61d371f0487c1206e6bc24 Mon Sep 17 00:00:00 2001 From: dano Date: Fri, 12 Feb 2021 13:49:51 +0000 Subject: [PATCH 35/78] Update 'pages/students/2016/maros_harahus/README.md' --- pages/students/2016/maros_harahus/README.md | 11 +++++++++++ 1 file changed, 11 insertions(+) diff --git a/pages/students/2016/maros_harahus/README.md b/pages/students/2016/maros_harahus/README.md index ff864a52c6..9f0f0e4de2 100644 --- a/pages/students/2016/maros_harahus/README.md +++ b/pages/students/2016/maros_harahus/README.md @@ -25,6 +25,17 @@ Zásobník úloh: - skúsiť prezentovať na lokálnej konferencii, (Data, Znalosti and WIKT) alebo fakultný zborník (krátka verzia diplomovky). - Využiť korpus Multext East pri trénovaní. Vytvoriť mapovanie Multext Tagov na SNK Tagy. +Stretnutie 12.2. + +Stav: + +- Práca na texte + +Do ďalšieho stretnutia: + +- Opraviť text podľa ústnej spätnej väzby + + Stretnutie 25.1.2021 Stav: From 7f87917ce3ab281e719489e39475e535d5d0bd25 Mon Sep 17 00:00:00 2001 From: dano Date: Fri, 12 Feb 2021 13:53:37 +0000 Subject: [PATCH 36/78] Update 'pages/students/2016/maros_harahus/README.md' --- pages/students/2016/maros_harahus/README.md | 4 ++++ 1 file changed, 4 insertions(+) diff --git a/pages/students/2016/maros_harahus/README.md b/pages/students/2016/maros_harahus/README.md index 9f0f0e4de2..d2a31f0d87 100644 --- a/pages/students/2016/maros_harahus/README.md +++ b/pages/students/2016/maros_harahus/README.md @@ -24,6 +24,7 @@ Zásobník úloh: - skúsiť prezentovať na lokálnej konferencii, (Data, Znalosti and WIKT) alebo fakultný zborník (krátka verzia diplomovky). - Využiť korpus Multext East pri trénovaní. Vytvoriť mapovanie Multext Tagov na SNK Tagy. +- vykonať a opísať viac experinentov s rôznymi nastaveniami. Stretnutie 12.2. @@ -34,6 +35,9 @@ Stav: Do ďalšieho stretnutia: - Opraviť text podľa ústnej spätnej väzby +- Vysvetlite čo je to morfologická anotácia. +- Vystvetlite ako sa robí? Ako funguje spacy neurónová sieť? +- atď. predošlé textové úlohy z 30.10. 2020 Stretnutie 25.1.2021 From 249dfe8af84409137b52e43523675afe013f2e50 Mon Sep 17 00:00:00 2001 From: =?UTF-8?q?Daniel=20Hl=C3=A1dek?= Date: Wed, 17 Feb 2021 12:52:05 +0000 Subject: [PATCH 37/78] Update 'pages/students/2016/dominik_nagy/README.md' --- pages/students/2016/dominik_nagy/README.md | 25 ++++++++++++++++++++-- 1 file changed, 23 insertions(+), 2 deletions(-) diff --git a/pages/students/2016/dominik_nagy/README.md b/pages/students/2016/dominik_nagy/README.md index 982e9fe7f6..2bbb2cda91 100644 --- a/pages/students/2016/dominik_nagy/README.md +++ b/pages/students/2016/dominik_nagy/README.md @@ -2,7 +2,7 @@ title: Dominik Nagy published: true taxonomy: - category: [dp2021,bp2019] + category: [dp2022,bp2019] tag: [translation,nlp] author: Daniel Hladek --- @@ -10,7 +10,7 @@ taxonomy: *Rok začiatku štúdia*: 2016 -## Diplomová práca 2021 +## Diplomová práca 2022 *Názov diplomovej práce*: Prepis postupností pomocou neurónových sietí pre strojový preklad @@ -24,8 +24,29 @@ taxonomy: 4. Na základe výsledkov experimentov navrhnite zlepšenia. +## Príprava na Diplomový projekt 2 2021 + +Zásobník úloh: + +- Využiť BERT model pri strojovom preklade zo slovenčiny + +Stretnutie 17.2.2021 + +Stav: + +- Plán ukončiť v roku 2022 +- Vypracovaný tutoriál https://fairseq.readthedocs.io/en/latest/getting_started.html#training-a-new-model a https://fairseq.readthedocs.io/en/latest/tutorial_simple_lstm.html + +Do ďalšieho stretnutia: + +- Pripraviť slovensko-anglický korpus do podoby vhodnej na trénovanie. Zistite v akej podobe je potrebné dáta mať. +- Natrénovať model fairseq pre strojový preklad zo slovenčiny. +- Zistite ako prebieha neurónový strojový preklad, čo je to neurónová sieť, čo je to enkóder, dekóder model a napíšte to vlastnými slovami. Napíšte aj odkiaľ ste to zistili. +- Prečítajte si https://arxiv.org/abs/1705.03122 a https://arxiv.org/abs/1611.02344 a napíšte čo ste sa dozvedeli. + ## Diplomový projekt 2 + Virtuálne stretnutie 25.9. - Možnosť predĺženia štúdia From a10b54b46f632d1c3a5b68bace0a7b14d3380519 Mon Sep 17 00:00:00 2001 From: Daniel Hladek Date: Thu, 18 Feb 2021 10:50:58 +0100 Subject: [PATCH 38/78] zz --- pages/topics/question/navod/README.md | 40 +++++++++++++++++++++------ 1 file changed, 31 insertions(+), 9 deletions(-) diff --git a/pages/topics/question/navod/README.md b/pages/topics/question/navod/README.md index 9c1948cb7d..8e8fe777f2 100644 --- a/pages/topics/question/navod/README.md +++ b/pages/topics/question/navod/README.md @@ -64,10 +64,17 @@ Najprv sa Vám zobrazí krátky článok. Vašou úlohou bude prečítať si č 4. Ten istý článok sa Vám zobrazí 5 krát, vymyslite k nemu 5 rôznych otázok. 5. Ak sa Vám zobrazí hlasenie "No tasks available", skúste obnoviť stránku. -Aby bola anotácia platná: +## Začnite anotovať -- Otázka musí byť jednoznačná. -- Odpoveď sa musí nachádzať v článku. +Do formulára napíšte Váš e-mail aby bolo možné rozpoznať, kto vykonal anotáciu. + +{% include "forms/form.html.twig" with { form: forms('question1') } %} + +Pozrite sa koľko ste anotovali. Súčet sa synchronizuje raz za hodinu: + +{% include "forms/form.html.twig" with { form: forms('questionapp') } %} + +## Vyradenie nevhodných textov Ak je zobrazený text nevhodný, tak ho zamietnite. Nevhodný text: @@ -77,18 +84,34 @@ Ak je zobrazený text nevhodný, tak ho zamietnite. Nevhodný text: - Obsahuje málo súvislého textu - Obsahuje veľa skratkovitých informácií. - Obsahuje príliš málo faktov. +- Chýbajú v ňom dôležité fakty. -## Začnite anotovať +Ak je zobrazený text príliš zložitý alebo neviete rozhodnúť či je alebo nie je vhodný, tak ho môžete preskočiť a ponúkne sa neskôr inému anotátorovi. -Do formulára napíšte Váš e-mail aby bolo možné rozpoznať, kto vykonal anotáciu. +## Vyznačovanie odpovede +Odpoveď na otázku musí byť jednoliata časť paragrafu. Odpoveď nemôže byť viacero rôznych častí toho istého odseku. +V prípade, že vyznačíte viac častí jednej odpovede tak sa výsledná odpoveď počíta od začiatku prvej časti po koniec poslednej časti. +Ak Vám používateľské rozhranie nedovoľuje vyznačiť celú odpoveď, tak stačí vyznačiť začiatočné a konečné slovo odpovede. -{% include "forms/form.html.twig" with { form: forms('question1') } %} +## Platné a neplatné anotácie -Pozrite sa koľko ste anotovali. Súčet sa synchronizuje raz za hodinu: +Do celkového počtu Vami vykonaných anotácií sa nebudú počítať anotácie: -{% include "forms/form.html.twig" with { form: forms('questionapp') } %} +- ktoré ste vyradili z dôvodu nevhodného textu, +- kde ste zabudli napísať otázku, +- kde je otázka príliš krátka (menej ako 3 slová), +- kde nie je vyznačená žiadna odpoveď. +Snažte sa, aby bola anotácia platná aj z významového hľadiska: + +- Odpoveď sa musí nachádzať v článku. +- Otázka musí byť jednoznačná. Jednoznačná otázka je otázka ktorú musíte položiť, aby ste dostali vyznačenú odpoveď. + +Príklad na nejednoznačnú otázku: + +- Kto sa narodil v roku 1982? (veľa rôznych ľudí). +- Kto sa umiestnil na druhom mieste na olympiáde? (nie je jasné na ktorej olymiáde a v ktorej disciplíne). ## Príklad na anotáciu otázok @@ -105,4 +128,3 @@ Príklad na nesprávu otázku: 2. Čo sa deje v mŕtvych bunkách? - otázka nie je jednoznačná, presná odpoveď sa v článku nenachádza. 3. Čo je normálny fyziologický proces? - odpoveď sa v článku nenachádza. - From 18b817e10c86e52f92155b21ddf48617cd096c12 Mon Sep 17 00:00:00 2001 From: dano Date: Thu, 18 Feb 2021 12:45:45 +0000 Subject: [PATCH 39/78] Update 'pages/students/2016/patrik_pavlisin/README.md' --- pages/students/2016/patrik_pavlisin/README.md | 18 ++++++++++++++++++ 1 file changed, 18 insertions(+) diff --git a/pages/students/2016/patrik_pavlisin/README.md b/pages/students/2016/patrik_pavlisin/README.md index c84cac34bc..bb2c2ef0c0 100644 --- a/pages/students/2016/patrik_pavlisin/README.md +++ b/pages/students/2016/patrik_pavlisin/README.md @@ -25,6 +25,24 @@ Návrh na nástroje pre strojový preklad: 3. Pripraviť vybraný paralelný korpus do vhodnej podoby a pomocou vybranej metódy natrénovať model pre strojový preklad. 4. Vyhodnotiť experimenty a navrhnúť možnosti na zlepšenie. +## Diplomový projekt 1 + +Stretnutie 18.2. + +Stav: +- Vypracovaný článok z minulého semestra + +Úlohy: + +- V linuxovom prostredí (napr. idoc) si vytvorte python virtuálne prostredie: + - vytvorte si adresár s projektom + - mkdir ./venv + - python3 -m virtualenv ./venv + - source ./venv/bin/activate + - Keď skončíte: deactivate +- Prejdite si tutoriál https://github.com/OpenNMT/OpenNMT-py + + ## Tímový projekt 2021 Ciel: From f1672122c3d4f57468360d517f213a090096faaf Mon Sep 17 00:00:00 2001 From: dano Date: Thu, 18 Feb 2021 12:50:34 +0000 Subject: [PATCH 40/78] Update 'pages/students/2016/patrik_pavlisin/README.md' --- pages/students/2016/patrik_pavlisin/README.md | 2 ++ 1 file changed, 2 insertions(+) diff --git a/pages/students/2016/patrik_pavlisin/README.md b/pages/students/2016/patrik_pavlisin/README.md index bb2c2ef0c0..676b8aae41 100644 --- a/pages/students/2016/patrik_pavlisin/README.md +++ b/pages/students/2016/patrik_pavlisin/README.md @@ -41,6 +41,8 @@ Stav: - source ./venv/bin/activate - Keď skončíte: deactivate - Prejdite si tutoriál https://github.com/OpenNMT/OpenNMT-py +- Prečítjte si články z https://opennmt.net/OpenNMT-py/ref.html +- Vypracujte poznámky k článku "Google’s neural machine translation system: bridging the gap between human and machine translation. arXiv preprint arXiv:1609.08144, 2016". Čo ste sa z čánku dozvedeli? ## Tímový projekt 2021 From 16af997cff652fc8c8fd5dd7986446fee93564fb Mon Sep 17 00:00:00 2001 From: dano Date: Fri, 19 Feb 2021 13:18:56 +0000 Subject: [PATCH 41/78] Update 'pages/students/2018/samuel_sirotnik/README.md' --- pages/students/2018/samuel_sirotnik/README.md | 22 +++++++++++++++++-- 1 file changed, 20 insertions(+), 2 deletions(-) diff --git a/pages/students/2018/samuel_sirotnik/README.md b/pages/students/2018/samuel_sirotnik/README.md index 8f5c860c9e..6e62dab09a 100644 --- a/pages/students/2018/samuel_sirotnik/README.md +++ b/pages/students/2018/samuel_sirotnik/README.md @@ -11,7 +11,9 @@ taxonomy: Rok začiatku štúdia: 2018 -## Bakalársky projekt 2020 + +## Bakalárska práca 2020 + Pokusný Kubernetes klasters použitím Raspberry Pi pre výuku klaudových technológií @@ -22,11 +24,27 @@ Pokusný Kubernetes klasters použitím Raspberry Pi pre výuku klaudových tec Cieľ projektu je vytvoriť domáci lacný klaster pre výuku cloudových technológií. - Zásobník úloh: - Aktivujte si technológiu WSL2 a Docker Desktop ak používate Windows. +Stretnutie 19.2. + +Stav: + +- Zmontovaný klaster, ale nie je kompletný. Zostavený cluster case, karty a dosky. +- Vyskytla sa chyba po zapojení micro HDMI kábla (čierna obrazovka), bliká červená LED na doske. + +Do ďalšieho stretnutia: + +- Pokročiť so zostavením HW. Vymyslieť sieťovú kabeláž, primontovanie zdroja, primontovanie switcha. +- Pokračujte v práci na písomnej časti. +- Skúste na zostavenom klastri rozbehať Kubernetes. +- Pripraviť postup na vytvorenie obrazu operačného systému. Napísať skript pre inštaláciu baličkov a programov na čístý Raspbery PI OS. Vymyslieť skript na zostavenie nového obrazu flash karty. + + +## Bakalársky projekt 2020 + Stretnutie 27.11. Stav: From 5dfc29d1c228d4ac6a74a17d5757a59a10aca9de Mon Sep 17 00:00:00 2001 From: dano Date: Mon, 22 Feb 2021 12:45:26 +0000 Subject: [PATCH 42/78] Update 'pages/students/2018/ondrej_megela/README.md' --- pages/students/2018/ondrej_megela/README.md | 13 ++++++++++++- 1 file changed, 12 insertions(+), 1 deletion(-) diff --git a/pages/students/2018/ondrej_megela/README.md b/pages/students/2018/ondrej_megela/README.md index 6c2f13a2c1..04642f62b3 100644 --- a/pages/students/2018/ondrej_megela/README.md +++ b/pages/students/2018/ondrej_megela/README.md @@ -17,8 +17,9 @@ Súvisiace stránky: - [Question Answering](/topics/question) - interný projekt - Matej Čarňanský (BERT) +## Bakalárska práca 2020 + -## Bakalársky projekt 2020 Názov: Neurónové jazykové modelovanie typu BERT. @@ -33,6 +34,16 @@ Zásobník úloh: - Cieľom je vedieť natrénovať BERT model a vyhodnotiť ho na zvolenej testovacej množine. +Stretnutie 22.2. + +Stav: + +- Natrénovaný model wiki103 na stroji Quadro. Problém sa vyriešil vypnutím GPU pri trénovaní, +- + + +## Bakalársky projekt 2020 + Stretnutie 12.2. Stav: From f952cd1bbe773f9f5d611dab39395e0c6a82e7c7 Mon Sep 17 00:00:00 2001 From: dano Date: Mon, 22 Feb 2021 13:07:30 +0000 Subject: [PATCH 43/78] Update 'pages/students/2018/ondrej_megela/README.md' --- pages/students/2018/ondrej_megela/README.md | 9 ++++++++- 1 file changed, 8 insertions(+), 1 deletion(-) diff --git a/pages/students/2018/ondrej_megela/README.md b/pages/students/2018/ondrej_megela/README.md index 04642f62b3..646d22972c 100644 --- a/pages/students/2018/ondrej_megela/README.md +++ b/pages/students/2018/ondrej_megela/README.md @@ -33,13 +33,20 @@ Návrh na zadanie: Zásobník úloh: - Cieľom je vedieť natrénovať BERT model a vyhodnotiť ho na zvolenej testovacej množine. +- vyhodnotiť slovenský Roberta Model na pokusnej množine SK-quad. Stretnutie 22.2. Stav: - Natrénovaný model wiki103 na stroji Quadro. Problém sa vyriešil vypnutím GPU pri trénovaní, -- +- Vznikol problém pri vypracovaní https://github.com/pytorch/fairseq/blob/master/examples/roberta/commonsense_qa/README.md - Architecture mismatch. Možné riešenie - iný prepínač `-arch` pri dotrénovaní. tak aby sedel s predtrénovaním. + +Úlohy: + +- skúsiť vyhodnotenie Wiki 103 na Commonsense +- Pokračujte v práci na textovej časti - vytvorte plynulý text. + ## Bakalársky projekt 2020 From d22325b4650c1f65899f72ad185179b15f96ae07 Mon Sep 17 00:00:00 2001 From: Daniel Hladek Date: Tue, 23 Feb 2021 08:38:14 +0100 Subject: [PATCH 44/78] zz --- pages/topics/question/navod/README.md | 12 +++++------- 1 file changed, 5 insertions(+), 7 deletions(-) diff --git a/pages/topics/question/navod/README.md b/pages/topics/question/navod/README.md index 8e8fe777f2..4cb5244148 100644 --- a/pages/topics/question/navod/README.md +++ b/pages/topics/question/navod/README.md @@ -78,15 +78,13 @@ Pozrite sa koľko ste anotovali. Súčet sa synchronizuje raz za hodinu: Ak je zobrazený text nevhodný, tak ho zamietnite. Nevhodný text: -- Príliš krátky na 5 otázok. +- Obsahuje príliš málo faktov na to aby ste napísali 5 otázok. - Obsahuje chyby formátovania. - Obsahuje príliš veľa zoznamov. -- Obsahuje málo súvislého textu -- Obsahuje veľa skratkovitých informácií. -- Obsahuje príliš málo faktov. -- Chýbajú v ňom dôležité fakty. - -Ak je zobrazený text príliš zložitý alebo neviete rozhodnúť či je alebo nie je vhodný, tak ho môžete preskočiť a ponúkne sa neskôr inému anotátorovi. +- Obsahuje málo súvislého textu. +- Text je príliš dlhý. +- Ak sa neviete rozhodnúť, radšej text zamietnite aby ste nestrácali čas. +- Text zamietnite aj v prípade, že sa vám k nemu nezobrazí 1. otázka. ## Vyznačovanie odpovede From fb97286ee80e92f116745a262b108e7857d2a3ee Mon Sep 17 00:00:00 2001 From: dano Date: Fri, 26 Feb 2021 08:17:44 +0000 Subject: [PATCH 45/78] Update 'pages/students/2018/martin_wencel/README.md' --- pages/students/2018/martin_wencel/README.md | 40 ++++++++++++++------- 1 file changed, 28 insertions(+), 12 deletions(-) diff --git a/pages/students/2018/martin_wencel/README.md b/pages/students/2018/martin_wencel/README.md index 46848ac3d5..96449a2c27 100644 --- a/pages/students/2018/martin_wencel/README.md +++ b/pages/students/2018/martin_wencel/README.md @@ -14,11 +14,36 @@ Podmienkou pre získanie zápočtu je účasť na konzultácii min. raz za 2 tý Komunikácia je možná aj cez [MS Teams](https://teams.microsoft.com/l/team/19%3aa8596a401a3842e5b91ac918a2a0afb1%40thread.tacv2/conversations?groupId=4fc0c627-d424-4587-b73a-2e47509862e9&tenantId=1c9f27ef-fee6-45f4-9a64-255a8c8e25a5). Konzultačné hodiny sú v piatok 9:20-14:00. - -## Bakalársky projekt 2020 +## Bakalárska práca 2020 Názov: Demonštrácia spracovania slovenského prirodzeného jazyka pomocou knižnice Spacy +Návrh na zadanie: + +1. Vypracujte teoretický úvod do spracovania prirodzeného slovenského jazyka. Vysvetlite, čo to je parsing, morfologická analýza a rozpoznávanie pomenovaných entít a akými metódami sa vykonávajú. +1. Podrobne vysvetlite, ako pracuje parsing, morfologická analýza a rozpoznávanie pomenovaných entít v knižnici Spacy. +1. Natrénujte a vyhodnoťte model pre spracovanie slovenského a anglického jazyka v knižnici Spacy. +1. Vytvorte demonštračnú webovú aplikáciu pomocou ktorej je možné vyskúšať natrénované modely. +1. Navrhnite možné zlepšenia Vami vytvorenej aplikácie. + + +Zásobník úloh: +- Vymyslite a doplňte REST API pre služby knižnice Spacy. Cieľ je vedieť využiť Spacy pomocou curl, alebo pythonu cez HTTP na spracovane textových súborov. +- Vymyslieť ako spracovať väčšie textové súbory pomocou REST API alebo podobného? + + +Stretnutie 26.2. + +Stav: + +- Dokončená a fungujúca aplikácia +- Písomná časť je rozpracovaná + + + + +## Bakalársky projekt 2020 + Cieľ: - Vytvoriť demonštráciu spracovania slovenského jazyka pomocou knižnice spacy @@ -32,16 +57,7 @@ Zásobník úloh: - Vymyslieť ako spracovať väčšie textové súbory pomocou REST API alebo podobného? -Návrh na zadanie: - -1. Vypracujte teoretický úvod do spracovania prirodzeného slovenského jazyka. Vysvetlite, čo to je parsing, morfologická analýza a rozpoznávanie pomenovaných entít a akými metódami sa vykonávajú. -1. Podrobne vysvetlite, ako pracuje parsing, morfologická analýza a rozpoznávanie pomenovaných entít v knižnici Spacy. -1. Natrénujte a vyhodnoťte model pre spracovanie slovenského a anglického jazyka v knižnici Spacy. -1. Vytvorte demonštračnú webovú aplikáciu pomocou ktorej je možné vyskúšať natrénované modely. -1. Navrhnite možné zlepšenia Vami vytvorenej aplikácie. - - -Stretnutie: +Stretnutie 2.2.: - Práca na frontende - Dorobená slovenčina - prerobené spacy explain. Vysvetľuje tagy. From f44c5de2586695f06ab011cbb0670470da4979f7 Mon Sep 17 00:00:00 2001 From: dano Date: Fri, 26 Feb 2021 08:32:59 +0000 Subject: [PATCH 46/78] Update 'pages/students/2018/martin_wencel/README.md' --- pages/students/2018/martin_wencel/README.md | 7 ++++++- 1 file changed, 6 insertions(+), 1 deletion(-) diff --git a/pages/students/2018/martin_wencel/README.md b/pages/students/2018/martin_wencel/README.md index 96449a2c27..3792c6a1e9 100644 --- a/pages/students/2018/martin_wencel/README.md +++ b/pages/students/2018/martin_wencel/README.md @@ -37,7 +37,12 @@ Stretnutie 26.2. Stav: - Dokončená a fungujúca aplikácia -- Písomná časť je rozpracovaná +- Písomná časť je rozpracovaná vo forme útržkovitých poznámok a nadpisov sekcií. + +Úlohy: + +- vytvoriť súvislý text. +- V texte uviesť odkazy na odbornú literatúru. From 1371072424021b91f4c4a04312179d1b3fafc59a Mon Sep 17 00:00:00 2001 From: dano Date: Fri, 26 Feb 2021 08:35:59 +0000 Subject: [PATCH 47/78] Update 'pages/students/2018/martin_wencel/README.md' --- pages/students/2018/martin_wencel/README.md | 3 +-- 1 file changed, 1 insertion(+), 2 deletions(-) diff --git a/pages/students/2018/martin_wencel/README.md b/pages/students/2018/martin_wencel/README.md index 3792c6a1e9..681cac978b 100644 --- a/pages/students/2018/martin_wencel/README.md +++ b/pages/students/2018/martin_wencel/README.md @@ -22,8 +22,7 @@ Návrh na zadanie: 1. Vypracujte teoretický úvod do spracovania prirodzeného slovenského jazyka. Vysvetlite, čo to je parsing, morfologická analýza a rozpoznávanie pomenovaných entít a akými metódami sa vykonávajú. 1. Podrobne vysvetlite, ako pracuje parsing, morfologická analýza a rozpoznávanie pomenovaných entít v knižnici Spacy. -1. Natrénujte a vyhodnoťte model pre spracovanie slovenského a anglického jazyka v knižnici Spacy. -1. Vytvorte demonštračnú webovú aplikáciu pomocou ktorej je možné vyskúšať natrénované modely. +1. Vytvorte demonštračnú webovú aplikáciu pomocou ktorej je možné vyskúšať spracovanie slovenského aj anglického jazyka. 1. Navrhnite možné zlepšenia Vami vytvorenej aplikácie. From 01af2420bd16f198d3eddf0dd9cd807d9983d141 Mon Sep 17 00:00:00 2001 From: dano Date: Fri, 26 Feb 2021 12:36:08 +0000 Subject: [PATCH 48/78] Update 'pages/students/2018/ondrej_megela/README.md' --- pages/students/2018/ondrej_megela/README.md | 8 +++++++- 1 file changed, 7 insertions(+), 1 deletion(-) diff --git a/pages/students/2018/ondrej_megela/README.md b/pages/students/2018/ondrej_megela/README.md index 646d22972c..6e07c55134 100644 --- a/pages/students/2018/ondrej_megela/README.md +++ b/pages/students/2018/ondrej_megela/README.md @@ -20,7 +20,6 @@ Súvisiace stránky: ## Bakalárska práca 2020 - Názov: Neurónové jazykové modelovanie typu BERT. Návrh na zadanie: @@ -35,6 +34,13 @@ Zásobník úloh: - Cieľom je vedieť natrénovať BERT model a vyhodnotiť ho na zvolenej testovacej množine. - vyhodnotiť slovenský Roberta Model na pokusnej množine SK-quad. +Stretnutie 26.2. + +Stav: + +- Vyriešený technický problém s architektúrou modelu podľa predpokladu. +- Urobené vyhodnotenie modelu wiki103 na CommonsenseQA. + Stretnutie 22.2. Stav: From f31fd8870708a88e6b754cdc8a8929ba5f644d2c Mon Sep 17 00:00:00 2001 From: dano Date: Fri, 26 Feb 2021 12:56:38 +0000 Subject: [PATCH 49/78] Update 'pages/students/2018/ondrej_megela/README.md' --- pages/students/2018/ondrej_megela/README.md | 4 ++++ 1 file changed, 4 insertions(+) diff --git a/pages/students/2018/ondrej_megela/README.md b/pages/students/2018/ondrej_megela/README.md index 6e07c55134..72e9fc3bb4 100644 --- a/pages/students/2018/ondrej_megela/README.md +++ b/pages/students/2018/ondrej_megela/README.md @@ -41,6 +41,10 @@ Stav: - Vyriešený technický problém s architektúrou modelu podľa predpokladu. - Urobené vyhodnotenie modelu wiki103 na CommonsenseQA. +Úlohy: + +- Pokračujte v práci na textovej časti. + Stretnutie 22.2. Stav: From 38c098ed2693be5624703052ff4a3f8b99e0bcd7 Mon Sep 17 00:00:00 2001 From: dano Date: Fri, 26 Feb 2021 13:01:50 +0000 Subject: [PATCH 50/78] Update 'pages/students/2018/ondrej_megela/README.md' --- pages/students/2018/ondrej_megela/README.md | 2 ++ 1 file changed, 2 insertions(+) diff --git a/pages/students/2018/ondrej_megela/README.md b/pages/students/2018/ondrej_megela/README.md index 72e9fc3bb4..91c3c37bf3 100644 --- a/pages/students/2018/ondrej_megela/README.md +++ b/pages/students/2018/ondrej_megela/README.md @@ -44,6 +44,8 @@ Stav: Úlohy: - Pokračujte v práci na textovej časti. +- Odovzdané pracovné dáta pre slovenský Roberta Model aj SK-Quad. Pokúste sa to vyhodnotiť ako neprioritnú ulohu. + Stretnutie 22.2. From 49a4e1fd0d6eb1277e261879504c6215ed222c42 Mon Sep 17 00:00:00 2001 From: dano Date: Fri, 26 Feb 2021 13:11:09 +0000 Subject: [PATCH 51/78] Update 'pages/students/2017/martin_jancura/README.md' --- pages/students/2017/martin_jancura/README.md | 29 ++++++++++++++------ 1 file changed, 21 insertions(+), 8 deletions(-) diff --git a/pages/students/2017/martin_jancura/README.md b/pages/students/2017/martin_jancura/README.md index 8be2da43d5..88ed9eac95 100644 --- a/pages/students/2017/martin_jancura/README.md +++ b/pages/students/2017/martin_jancura/README.md @@ -10,7 +10,7 @@ taxonomy: *Rok začiatku štúdia*: 2017 -## Bakalársky projekt 2020 +## Bakalárska práca 2020 Názov: Webová aplikácia pre demonštráciu strojového prekladu @@ -19,6 +19,26 @@ Názov: Webová aplikácia pre demonštráciu strojového prekladu 3. Vytvorte demonštračnú webovú aplikáciu v Javascripte pomocou ktorej je možné vyskúšať viaceré služby pre strojový preklad. 4. Navrhnite možné zlepšenia Vami vytvorenej aplikácie. +Zásobník úloh: + +- Zapisať človekom urobený preklad do databázy. +- Vyrobiť deployment a zverejniť stránku s demom. +- pripraviť modul s vlastným prekladom. +- Vyhodnotiť preklad metódou BLEU + + +Stretnutie 26.2. + +Stav: + +- Prerobený úvod práce podľa nového zadania + + + + +## Bakalársky projekt 2020 + + Konzultácie sa budú konať osobne alebo cez [Teams](https://teams.microsoft.com/l/team/19%3aa8596a401a3842e5b91ac918a2a0afb1%40thread.tacv2/conversations?groupId=4fc0c627-d424-4587-b73a-2e47509862e9&tenantId=1c9f27ef-fee6-45f4-9a64-255a8c8e25a5) minimálne raz za dva týždne, menej ako 6 konzultácií za semester je dôvodom pre zníženie hodnotenia semester je dôvodom pre zníženie hodnotenia alebo neudelenie zápočtu. Odporúčaný čas konzultácie je piatok. Možné backendy: @@ -29,13 +49,6 @@ Možné backendy: - [Zdrojové kódy k REST Servru](https://github.com/OpenNMT/OpenNMT-py/blob/master/onmt/bin/server.py| -Zásobník úloh: - -- Zapisať človekom urobený preklad do databázy. -- Vyrobiť deployment a zverejniť stránku s demom. -- pripraviť modul s vlastným prekladom. -- Vyhodnotiť preklad metódou BLEU - ### Poznámka vedúceho 2.2 Inštalácia OpenNMT-py na servri idoc: From 3a06afca134ab8d3e8babe37ea2db638947bd471 Mon Sep 17 00:00:00 2001 From: dano Date: Fri, 26 Feb 2021 13:24:40 +0000 Subject: [PATCH 52/78] Update 'pages/students/2017/martin_jancura/README.md' --- pages/students/2017/martin_jancura/README.md | 8 +++++++- 1 file changed, 7 insertions(+), 1 deletion(-) diff --git a/pages/students/2017/martin_jancura/README.md b/pages/students/2017/martin_jancura/README.md index 88ed9eac95..faa14a58bf 100644 --- a/pages/students/2017/martin_jancura/README.md +++ b/pages/students/2017/martin_jancura/README.md @@ -31,7 +31,13 @@ Stretnutie 26.2. Stav: -- Prerobený úvod práce podľa nového zadania +- Prerobený úvod práce podľa nového zadania. +- Práca na vlastnom backende (vedúci). Backend je prístupný na https://translation.tukekemt.xyz/ende/. + +Úlohy: + +- Pokračujte v písomnej práci. +- Backend momentálne nefunguje. Keď bude fungovať, pracujte na napojení na frontend. From 37299533057a708828cb6ac3c34edd9957cc31ef Mon Sep 17 00:00:00 2001 From: dano Date: Fri, 5 Mar 2021 08:38:12 +0000 Subject: [PATCH 53/78] Update 'pages/students/2017/martin_jancura/README.md' --- pages/students/2017/martin_jancura/README.md | 6 ++++++ 1 file changed, 6 insertions(+) diff --git a/pages/students/2017/martin_jancura/README.md b/pages/students/2017/martin_jancura/README.md index faa14a58bf..330f4fccbf 100644 --- a/pages/students/2017/martin_jancura/README.md +++ b/pages/students/2017/martin_jancura/README.md @@ -27,6 +27,12 @@ Zásobník úloh: - Vyhodnotiť preklad metódou BLEU +Stretnutie 5.3. + +Stav: + +- Nastal progres v písomnej časti, pokračujte ďalej + Stretnutie 26.2. Stav: From 6c27f94b1c34ed87666e88f44b48a99ec22e9c17 Mon Sep 17 00:00:00 2001 From: dano Date: Fri, 5 Mar 2021 12:36:41 +0000 Subject: [PATCH 54/78] Update 'pages/students/2016/lukas_pokryvka/README.md' --- pages/students/2016/lukas_pokryvka/README.md | 12 +++++++++++- 1 file changed, 11 insertions(+), 1 deletion(-) diff --git a/pages/students/2016/lukas_pokryvka/README.md b/pages/students/2016/lukas_pokryvka/README.md index adb20cc6a3..eb6f2c2cec 100644 --- a/pages/students/2016/lukas_pokryvka/README.md +++ b/pages/students/2016/lukas_pokryvka/README.md @@ -15,7 +15,7 @@ Názov: Paralelné trénovanie neurónových sietí *Meno vedúceho:* Ing. Daniel Hládek, PhD. -*Návrh na zadanie DP:* +## Diplomová práca 2021 1. Vypracujte prehľad literatúry na tému "Paralelné trénovanie neurónových sietí". 2. Vyberte vhodnú metódu paralelného trénovania. @@ -23,6 +23,16 @@ Názov: Paralelné trénovanie neurónových sietí 4. Navrhnite možné zlepšenia paralelného trénovania neurónových sietí. + +Stretnutie: 5.3.2021 + +Stav: + +- Urobené trénovanie na dvoch servroch pomocou distributed_data_parallel MNIST. +- Funguje LUNA dataset (na 1 stroji a na viacerých kartách). + + + ## Diplomový projekt 2 2020 Ciele na semester: From 15d6f61c7a6cfe3b7e0877b0fa525c727787753c Mon Sep 17 00:00:00 2001 From: dano Date: Fri, 5 Mar 2021 13:36:21 +0000 Subject: [PATCH 55/78] Update 'pages/students/2018/samuel_sirotnik/README.md' --- pages/students/2018/samuel_sirotnik/README.md | 15 +++++++++++++++ 1 file changed, 15 insertions(+) diff --git a/pages/students/2018/samuel_sirotnik/README.md b/pages/students/2018/samuel_sirotnik/README.md index 6e62dab09a..4eab049f50 100644 --- a/pages/students/2018/samuel_sirotnik/README.md +++ b/pages/students/2018/samuel_sirotnik/README.md @@ -27,6 +27,21 @@ Cieľ projektu je vytvoriť domáci lacný klaster pre výuku cloudových techno Zásobník úloh: - Aktivujte si technológiu WSL2 a Docker Desktop ak používate Windows. +- Cieľ je vedieť dať klaster rýchlo do východiskového stavu - klvalitný návod a skritpty ktoré sa dajú opakovať. + +Stretnutie 5.3.2021: + +Stav: +- Hardware je zmontovaný - ide chladenie, switch, napájanie, kabeláž aj uzly. +- Zo software: podarilo sa nabootovať a nainštalovať K8s. - MicroK8s a Ubuntu 20.04 ARM 64 + +Úlohy: + +- Zabezpečiť aby klaster mal stabilné IP adresy. Statické IP adresy (zakódovať do obrazu?) Alebo použiť dynamické IP adresy - dhcp? bootovanie zo siete? +- Doplniť register obrazov kontajnera. +- Možno primontovať switch na klaster? +- Začať pracovať na písomnej časti. + Stretnutie 19.2. From 5862b5d56ea5da750f008eee8bebc80660e765a6 Mon Sep 17 00:00:00 2001 From: dano Date: Fri, 12 Mar 2021 07:56:33 +0000 Subject: [PATCH 56/78] Update 'pages/students/2016/jan_holp/README.md' --- pages/students/2016/jan_holp/README.md | 12 ++++++++++++ 1 file changed, 12 insertions(+) diff --git a/pages/students/2016/jan_holp/README.md b/pages/students/2016/jan_holp/README.md index dc640eaba3..b13e054ca7 100644 --- a/pages/students/2016/jan_holp/README.md +++ b/pages/students/2016/jan_holp/README.md @@ -23,6 +23,18 @@ taxonomy: 3. Navrhnite a vypracujte experimenty, v ktorých vyhodnotíte vybrané metódy odhodnotenia dokumentov. 4. Navrhnite možné zlepšenia presnosti vyhľadávania. +Stretnutie 12.3. + +Stav: + +- Implementovaný PageRank, indexovanie webových stránok + +Úlohy: + +- Pripravte experiment s PageRank, databáza SCNC2, vyhodnotenie pomocou P-R-F1 +- Pozrite do knihy na metódy vyhodnotenta s PageRank +- Pozrite do knihy a skúste pripraviť inú metriku. +- Popri tom priprave demonštráciu s webovým rozhraním. ## Diplomový projekt 2 2020 From fcc7f3e1ecacbea9e1e0f7b3e9d0bdba4193cdeb Mon Sep 17 00:00:00 2001 From: dano Date: Fri, 12 Mar 2021 09:28:46 +0000 Subject: [PATCH 57/78] Update 'pages/students/2018/martin_wencel/README.md' --- pages/students/2018/martin_wencel/README.md | 12 ++++++++++++ 1 file changed, 12 insertions(+) diff --git a/pages/students/2018/martin_wencel/README.md b/pages/students/2018/martin_wencel/README.md index 681cac978b..47f8a73212 100644 --- a/pages/students/2018/martin_wencel/README.md +++ b/pages/students/2018/martin_wencel/README.md @@ -29,6 +29,18 @@ Návrh na zadanie: Zásobník úloh: - Vymyslite a doplňte REST API pre služby knižnice Spacy. Cieľ je vedieť využiť Spacy pomocou curl, alebo pythonu cez HTTP na spracovane textových súborov. - Vymyslieť ako spracovať väčšie textové súbory pomocou REST API alebo podobného? +- Urobiť deployment s demom + +Stretnutie 12.3. + +Stav: + +- Riešenie deploymentu. V základdnom modeli chýbajú priečinky tagger a parser, je potrebné modifikovať skript pre zostavenie slovenského modelu v repozitári spacy-skmodel. +- Práca na písomnej časti + +Úlohy: + +- Písať. Stretnutie 26.2. From 8207462b0e88f5322396b674a96b72d4708ccff0 Mon Sep 17 00:00:00 2001 From: dano Date: Fri, 12 Mar 2021 09:31:42 +0000 Subject: [PATCH 58/78] Update 'pages/students/2017/martin_jancura/README.md' --- pages/students/2017/martin_jancura/README.md | 10 ++++++++++ 1 file changed, 10 insertions(+) diff --git a/pages/students/2017/martin_jancura/README.md b/pages/students/2017/martin_jancura/README.md index 330f4fccbf..e9258fb1cc 100644 --- a/pages/students/2017/martin_jancura/README.md +++ b/pages/students/2017/martin_jancura/README.md @@ -26,6 +26,16 @@ Zásobník úloh: - pripraviť modul s vlastným prekladom. - Vyhodnotiť preklad metódou BLEU +Stretnutie 13.3. + +Stav: +- práca na písomnej časti (neurónový strojový preklad). +- odladená chyba axios cors na translation.tukekemt.xyz. + + +Úlohy: +- Písať. + Stretnutie 5.3. From 60599f35b42305d4db72abfdb4a81422f65064c8 Mon Sep 17 00:00:00 2001 From: dano Date: Fri, 12 Mar 2021 09:52:15 +0000 Subject: [PATCH 59/78] Update 'pages/students/2016/patrik_pavlisin/README.md' --- pages/students/2016/patrik_pavlisin/README.md | 16 ++++++++++++++++ 1 file changed, 16 insertions(+) diff --git a/pages/students/2016/patrik_pavlisin/README.md b/pages/students/2016/patrik_pavlisin/README.md index 676b8aae41..ef27a8cb77 100644 --- a/pages/students/2016/patrik_pavlisin/README.md +++ b/pages/students/2016/patrik_pavlisin/README.md @@ -27,6 +27,22 @@ Návrh na nástroje pre strojový preklad: ## Diplomový projekt 1 +Stretnutie 12.3. + +Stav: + +- poznámky k článku "Google’s neural machine translation system . +- Śtúdium ostatných článkov pokračuje. +- Problém - aktuálna verzia OpenNMT-py nefunguje s pythonom 3.5. Je potrebné využit Anacondu. + +Úlohy: + +- Vypracujte poznámky k článkom +- Pokračujte v tutoriáli OpenNMT-py cez prostredie Anaconda. +- Poznámky pridajte na zpWiki vo formáte Markdown + + + Stretnutie 18.2. Stav: From 7da0a39ff8b2b76233b2dc6e4e3853effd7c97b0 Mon Sep 17 00:00:00 2001 From: dano Date: Fri, 12 Mar 2021 12:32:18 +0000 Subject: [PATCH 60/78] Update 'pages/students/2018/ondrej_megela/README.md' --- pages/students/2018/ondrej_megela/README.md | 10 ++++++++++ 1 file changed, 10 insertions(+) diff --git a/pages/students/2018/ondrej_megela/README.md b/pages/students/2018/ondrej_megela/README.md index 91c3c37bf3..8fd30c2e0d 100644 --- a/pages/students/2018/ondrej_megela/README.md +++ b/pages/students/2018/ondrej_megela/README.md @@ -34,6 +34,16 @@ Zásobník úloh: - Cieľom je vedieť natrénovať BERT model a vyhodnotiť ho na zvolenej testovacej množine. - vyhodnotiť slovenský Roberta Model na pokusnej množine SK-quad. +Stretnutie 12.3. + +Stav: + +- Konzultácia štruktúry práce + +Úlohy: + +- Písať. + Stretnutie 26.2. Stav: From 04af5893566c69963feebd1d489fac958b9f294d Mon Sep 17 00:00:00 2001 From: dano Date: Fri, 12 Mar 2021 12:57:43 +0000 Subject: [PATCH 61/78] Update 'pages/students/2016/jakub_maruniak/README.md' --- pages/students/2016/jakub_maruniak/README.md | 16 +++++++++++++++- 1 file changed, 15 insertions(+), 1 deletion(-) diff --git a/pages/students/2016/jakub_maruniak/README.md b/pages/students/2016/jakub_maruniak/README.md index 32378199ff..5624dbc5e6 100644 --- a/pages/students/2016/jakub_maruniak/README.md +++ b/pages/students/2016/jakub_maruniak/README.md @@ -14,7 +14,7 @@ taxonomy: Anotácia a rozpoznávanie pomenovaných entít v slovenskom jazyku. -*Návrh na zadanie DP*: + 1. Vypracujte teoretický úvod, kde vysvetlíte čo je to rozpoznávanie pomenovaných entít a akými najnovšími metódami sa robí. Vysvetlite, ako pracuje klasifikátor pre rozpoznávanie pomenovaných entít v knižnici Spacy. 2. Pripravte postup na anotáciu textového korpusu pre systém Prodigy pre trénovanie modelu vo vybranej úlohe spracovania prirodzeného jazyka. @@ -30,6 +30,20 @@ Anotácia a rozpoznávanie pomenovaných entít v slovenskom jazyku. - [Programovanie v jazyku Python](/topics/python) +## Diplomová práca 2021 + + +Stretnutie 12.3. + +Stav: + +- Anotovanie dát, vykonané experimenty s trénovaním. +- Dosiahli sme presnosť cca 72 percent. +- Výsledky sú zhrnuté v tabuľke. + +Úlohy: + +- Píšte prácu. From bdbfbd88cc352bb9399bed3cf2b38fd2fc4ba3dd Mon Sep 17 00:00:00 2001 From: dano Date: Fri, 12 Mar 2021 13:01:17 +0000 Subject: [PATCH 62/78] Update 'pages/students/2016/jakub_maruniak/README.md' --- pages/students/2016/jakub_maruniak/README.md | 1 + 1 file changed, 1 insertion(+) diff --git a/pages/students/2016/jakub_maruniak/README.md b/pages/students/2016/jakub_maruniak/README.md index 5624dbc5e6..120bd23993 100644 --- a/pages/students/2016/jakub_maruniak/README.md +++ b/pages/students/2016/jakub_maruniak/README.md @@ -44,6 +44,7 @@ Stav: Úlohy: - Píšte prácu. +- Uložte trénovacie skripty na GIT. From ec27c99cfb7f0b006eca3d7ddc2f1af7561c64d4 Mon Sep 17 00:00:00 2001 From: Daniel Hladek Date: Wed, 17 Mar 2021 14:04:18 +0100 Subject: [PATCH 63/78] zz --- pages/students/2019/michal_stromko/README.md | 11 +++++++++++ pages/students/2019/samuel_horanyi/README.md | 9 +++++++++ 2 files changed, 20 insertions(+) create mode 100644 pages/students/2019/michal_stromko/README.md create mode 100644 pages/students/2019/samuel_horanyi/README.md diff --git a/pages/students/2019/michal_stromko/README.md b/pages/students/2019/michal_stromko/README.md new file mode 100644 index 0000000000..028da280ad --- /dev/null +++ b/pages/students/2019/michal_stromko/README.md @@ -0,0 +1,11 @@ +--- +title: Michal Stromko +--- + +rok začiatku štúdia: 2019 + +## Vedecký projekt 2021 + +Získavanie informácií pomocou klaudových služieb + + diff --git a/pages/students/2019/samuel_horanyi/README.md b/pages/students/2019/samuel_horanyi/README.md new file mode 100644 index 0000000000..a764ab33f9 --- /dev/null +++ b/pages/students/2019/samuel_horanyi/README.md @@ -0,0 +1,9 @@ +--- +title: Samuel Horányi +--- + +rok začiatku štúdia: 2019 + +## Vedecký projekt 2021 + +Dialógový systém na báze frameworku RASA From a5cac847f4a3cd27efb236db001e113340bb5b23 Mon Sep 17 00:00:00 2001 From: dano Date: Fri, 19 Mar 2021 09:29:54 +0000 Subject: [PATCH 64/78] Update 'pages/students/2018/oleh_bilykh/README.md' --- pages/students/2018/oleh_bilykh/README.md | 23 ++++++++++++++++++++--- 1 file changed, 20 insertions(+), 3 deletions(-) diff --git a/pages/students/2018/oleh_bilykh/README.md b/pages/students/2018/oleh_bilykh/README.md index 6301a51450..c8f6979f12 100644 --- a/pages/students/2018/oleh_bilykh/README.md +++ b/pages/students/2018/oleh_bilykh/README.md @@ -17,9 +17,7 @@ Súvisiace stránky: - [Question Answering](/topics/question) - interný projekt - Matej Čarňanský (BERT) -## Bakalársky projekt 2020 - -Konzultácie sa budú konakť minimálne raz za dva týždne, menej ako 6 konzultácií za semester je dôvodom pre zníženie hodnotenia alebo neudelenie zápočtu. +## Bakalárska práca 2021 Téma: @@ -32,6 +30,20 @@ Návrh na zadanie BP: - Navrhnite, vykonajte a vyhodnoťte experimenty s generovaním odpovede na otázky v prirodzenom jazyku. - Navrhnite možné zlepšenia systému pre generovanie odpovede. + +Stretnutie 19.3. + +Stav: + +- Podarilo sa natrénovať SQUAD model pre DrQA. +- Podarilo sa spustiť skript pre vyhodnotenie. +- Webová aplikácia je funkčná. +- Písomná časť je rozporacovaná. + + + +## Bakalársky projekt 2020 + Zásobník úloh: - Nainštalovať a natrénovať systém DrQA s databázou SquAD. @@ -39,6 +51,11 @@ Zásobník úloh: - Vyhodnnotte natrénovaný model. - Pripravte jednoduché demo ako webovú aplikáciu (doplňujúca úloha). + +Konzultácie sa budú konakť minimálne raz za dva týždne, menej ako 6 konzultácií za semester je dôvodom pre zníženie hodnotenia alebo neudelenie zápočtu. + + + Stretnutie 2.2.2021 Stav: From 01852ee24bcbdddcc7d21a1d27bf15e849783b9d Mon Sep 17 00:00:00 2001 From: dano Date: Fri, 19 Mar 2021 10:26:26 +0000 Subject: [PATCH 65/78] Update 'pages/students/2019/michal_stromko/README.md' --- pages/students/2019/michal_stromko/README.md | 23 +++++++++++++++++++- 1 file changed, 22 insertions(+), 1 deletion(-) diff --git a/pages/students/2019/michal_stromko/README.md b/pages/students/2019/michal_stromko/README.md index 028da280ad..cb241abf36 100644 --- a/pages/students/2019/michal_stromko/README.md +++ b/pages/students/2019/michal_stromko/README.md @@ -6,6 +6,27 @@ rok začiatku štúdia: 2019 ## Vedecký projekt 2021 -Získavanie informácií pomocou klaudových služieb +Klaudové služby pre získavanie informácií + +Cieľom projektu je zistiť ako fungujú klaudové služby pre umelú inteligenciu a ako fungujú webové vyhľadávače. + +Úlohy: + +- Zistite čo je to získavanie informácií. +- Oboznámte sa s Azure Cognitive Search a získajte prístup k službe. Pre prihlásenie môžete použiť Váše študentské prihlasovacie údaje. +- Vypracujte minimálne jeden tutoriál pre prácu s Azure Cognitive Search. +- Vypracujte krátky report na 2 strany kde napíšete čo ste robili a čo ste sa dozvedeli. + +Zásobník úloh: + +- Vytvorte index a vyhľadávanie na ZP Wiki. +- Napíšte tutoriál o tom ako ste to dokázali. + +Stretnutie 19.3 + +Stav: + +- Vytvorený prístup na Azure Portal + From cc2134653483888e30e6078a316d68410771b94d Mon Sep 17 00:00:00 2001 From: dano Date: Fri, 19 Mar 2021 10:29:08 +0000 Subject: [PATCH 66/78] Update 'pages/students/2019/michal_stromko/README.md' --- pages/students/2019/michal_stromko/README.md | 5 +++++ 1 file changed, 5 insertions(+) diff --git a/pages/students/2019/michal_stromko/README.md b/pages/students/2019/michal_stromko/README.md index cb241abf36..8f1332abfa 100644 --- a/pages/students/2019/michal_stromko/README.md +++ b/pages/students/2019/michal_stromko/README.md @@ -28,5 +28,10 @@ Stav: - Vytvorený prístup na Azure Portal +Úlohy: + +- Vypracujte minimálne jeden tutoriál pre prácu s Azure Cognitive Search. + + From 3bdfdf0d46030cdb8336e179d8169f1d71f01533 Mon Sep 17 00:00:00 2001 From: dano Date: Fri, 19 Mar 2021 11:18:44 +0000 Subject: [PATCH 67/78] Update 'pages/students/2019/samuel_horanyi/README.md' --- pages/students/2019/samuel_horanyi/README.md | 18 ++++++++++++++++-- 1 file changed, 16 insertions(+), 2 deletions(-) diff --git a/pages/students/2019/samuel_horanyi/README.md b/pages/students/2019/samuel_horanyi/README.md index a764ab33f9..deffae41f0 100644 --- a/pages/students/2019/samuel_horanyi/README.md +++ b/pages/students/2019/samuel_horanyi/README.md @@ -1,9 +1,23 @@ --- -title: Samuel Horányi +title: Samuel Horáni --- rok začiatku štúdia: 2019 ## Vedecký projekt 2021 -Dialógový systém na báze frameworku RASA +Dialógový systém pomocou RASA framework + +Cieľom projektu je naučiť sa niečo o dialógových systémoch a oboznámiť sa so základnými nástrojmi. + +- Nainštalujte a oboznámte sa s RASA frameworkom. Pri inštalácii využite systém Anaconda. +- Vyberte a prejdite najmenej jeden tutoriál pre prácu s RASA frameworkom. +- Napíšte krátky report na 2 strany kde napíšete čo ste urobili a čo ste sa dozvedeli. + +Stretnutie 19.3.2020 + +Stav: + +- Je nainštalovaný fr. RASA pomcou Anaconda +- Je vytvorený základný jazykový model - v anglickom jazyku. +- Prezretý video kanál s RASA tutoriálom From 22b7b6958a289d6119dd059537cd173d33f3f31a Mon Sep 17 00:00:00 2001 From: dano Date: Fri, 19 Mar 2021 11:20:18 +0000 Subject: [PATCH 68/78] Update 'pages/students/2019/samuel_horanyi/README.md' --- pages/students/2019/samuel_horanyi/README.md | 2 +- 1 file changed, 1 insertion(+), 1 deletion(-) diff --git a/pages/students/2019/samuel_horanyi/README.md b/pages/students/2019/samuel_horanyi/README.md index deffae41f0..e03ad884b3 100644 --- a/pages/students/2019/samuel_horanyi/README.md +++ b/pages/students/2019/samuel_horanyi/README.md @@ -20,4 +20,4 @@ Stav: - Je nainštalovaný fr. RASA pomcou Anaconda - Je vytvorený základný jazykový model - v anglickom jazyku. -- Prezretý video kanál s RASA tutoriálom +- Prezretý video kanál s [RASA tutoriálom](https://www.youtube.com/watch?v=rlAQWbhwqLA&list=PL75e0qA87dlHQny7z43NduZHPo6qd-cRc) From 61cd1cecce0f9dd0c9b8c10b0d7f5b0562098c2e Mon Sep 17 00:00:00 2001 From: dano Date: Fri, 19 Mar 2021 11:46:03 +0000 Subject: [PATCH 69/78] Update 'pages/students/2019/samuel_horanyi/README.md' --- pages/students/2019/samuel_horanyi/README.md | 10 ++++++++++ 1 file changed, 10 insertions(+) diff --git a/pages/students/2019/samuel_horanyi/README.md b/pages/students/2019/samuel_horanyi/README.md index e03ad884b3..f8a899bd04 100644 --- a/pages/students/2019/samuel_horanyi/README.md +++ b/pages/students/2019/samuel_horanyi/README.md @@ -16,8 +16,18 @@ Cieľom projektu je naučiť sa niečo o dialógových systémoch a oboznámiť Stretnutie 19.3.2020 +Zásobník úloh: + +- Doplniť podporu slovenčiny do fr. RASA + + Stav: - Je nainštalovaný fr. RASA pomcou Anaconda - Je vytvorený základný jazykový model - v anglickom jazyku. - Prezretý video kanál s [RASA tutoriálom](https://www.youtube.com/watch?v=rlAQWbhwqLA&list=PL75e0qA87dlHQny7z43NduZHPo6qd-cRc) + +Úlohy: + +- Skúsiť vytvoriť agenta ktorý komunikuje po slovensky. Najprv by sa preložili trénovacie príklady. +- Zistiť ako doplniť podporu slovenčiny do RASA. Komponenty ktoré máme k dispozícii sú: spacy model, fastext a glove word embedding model, BERT model (fresh and secret). From 4653dee6a037d148731f8abad884d6f1db54eea2 Mon Sep 17 00:00:00 2001 From: Daniel Hladek Date: Fri, 19 Mar 2021 13:35:05 +0100 Subject: [PATCH 70/78] zz --- pages/students/2019/{samuel_horanyi => samuel_horani}/README.md | 0 1 file changed, 0 insertions(+), 0 deletions(-) rename pages/students/2019/{samuel_horanyi => samuel_horani}/README.md (100%) diff --git a/pages/students/2019/samuel_horanyi/README.md b/pages/students/2019/samuel_horani/README.md similarity index 100% rename from pages/students/2019/samuel_horanyi/README.md rename to pages/students/2019/samuel_horani/README.md From e8956b2a957ca4cbc60be7c3f4c4076d98841641 Mon Sep 17 00:00:00 2001 From: dano Date: Fri, 19 Mar 2021 12:47:10 +0000 Subject: [PATCH 71/78] Update 'pages/students/2018/samuel_sirotnik/README.md' --- pages/students/2018/samuel_sirotnik/README.md | 18 +++++++++++++++++- 1 file changed, 17 insertions(+), 1 deletion(-) diff --git a/pages/students/2018/samuel_sirotnik/README.md b/pages/students/2018/samuel_sirotnik/README.md index 4eab049f50..4112ab8608 100644 --- a/pages/students/2018/samuel_sirotnik/README.md +++ b/pages/students/2018/samuel_sirotnik/README.md @@ -15,7 +15,7 @@ Rok začiatku štúdia: 2018 ## Bakalárska práca 2020 -Pokusný Kubernetes klasters použitím Raspberry Pi pre výuku klaudových technológií +Pokusný Kubernetes klaster použitím Raspberry Pi pre výuku klaudových technológií 1. Vypracujte teoretický úvod do technológie Kubernetes. 2. Vytvorte pokusný klaster pomocou viacerých modulov Raspberry Pi a nainštalujte na neho Kubernetes. @@ -29,9 +29,25 @@ Zásobník úloh: - Aktivujte si technológiu WSL2 a Docker Desktop ak používate Windows. - Cieľ je vedieť dať klaster rýchlo do východiskového stavu - klvalitný návod a skritpty ktoré sa dajú opakovať. +Stretnutie 19.3.: + +Stav: + +- doplnený a primontovaný switch, skrátené káble. +- ručne priradené IP adresy (do súboru /etc/network-interfaces). +- práca na písomnej časti. + +Úlohy: + +- vyskúšajte prácu s K8s podľa návodov z cvičení Základov klaudových technológií. +- Doplniť register obrazov kontajnera - pripraviť deployment. +- Pripraviť deployment pre ingress. (nginx ingress controller). +- píšte prácu. + Stretnutie 5.3.2021: Stav: + - Hardware je zmontovaný - ide chladenie, switch, napájanie, kabeláž aj uzly. - Zo software: podarilo sa nabootovať a nainštalovať K8s. - MicroK8s a Ubuntu 20.04 ARM 64 From aa743bed8891514c8840729a19aba11ddeee386b Mon Sep 17 00:00:00 2001 From: =?UTF-8?q?Patrik=20Pavli=C5=A1in?= Date: Sun, 21 Mar 2021 15:18:23 +0000 Subject: [PATCH 72/78] dp --- pages/students/2016/patrik_pavlisin/dp21 | 0 1 file changed, 0 insertions(+), 0 deletions(-) create mode 100644 pages/students/2016/patrik_pavlisin/dp21 diff --git a/pages/students/2016/patrik_pavlisin/dp21 b/pages/students/2016/patrik_pavlisin/dp21 new file mode 100644 index 0000000000..e69de29bb2 From e3e9c49e6473bf332fdc7bb618f1d74c6a857780 Mon Sep 17 00:00:00 2001 From: =?UTF-8?q?Patrik=20Pavli=C5=A1in?= Date: Sun, 21 Mar 2021 15:18:36 +0000 Subject: [PATCH 73/78] =?UTF-8?q?Smazat=20=E2=80=9Epages/students/2016/pat?= =?UTF-8?q?rik=5Fpavlisin/dp21=E2=80=9C?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit --- pages/students/2016/patrik_pavlisin/dp21 | 0 1 file changed, 0 insertions(+), 0 deletions(-) delete mode 100644 pages/students/2016/patrik_pavlisin/dp21 diff --git a/pages/students/2016/patrik_pavlisin/dp21 b/pages/students/2016/patrik_pavlisin/dp21 deleted file mode 100644 index e69de29bb2..0000000000 From 549b8b70dd32e01c53418270f24d6e7265eda3da Mon Sep 17 00:00:00 2001 From: =?UTF-8?q?Patrik=20Pavli=C5=A1in?= Date: Sun, 21 Mar 2021 15:39:28 +0000 Subject: [PATCH 74/78] =?UTF-8?q?Nahr=C3=A1t=20soubory=20do=20=E2=80=9Epag?= =?UTF-8?q?es/students/2016/patrik=5Fpavlisin=E2=80=9C?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit --- .../students/2016/patrik_pavlisin/Bez názvu.png | Bin 0 -> 18466 bytes 1 file changed, 0 insertions(+), 0 deletions(-) create mode 100644 pages/students/2016/patrik_pavlisin/Bez názvu.png diff --git a/pages/students/2016/patrik_pavlisin/Bez názvu.png b/pages/students/2016/patrik_pavlisin/Bez názvu.png new file mode 100644 index 0000000000000000000000000000000000000000..a487b9091d7ce4131675b2af2b3f4ebf38da8dbd GIT binary patch literal 18466 zcmbSxV{;}n5b8{quABCNO)`)HR#d zwbI#I1S3TYRcS;_^CxgES1SXX3RPv{H_i6;Ho|{{U~&7N*TWncT+{I|YS-^;kl*5F z%jbqW|IsTzVGHzkV9@^x4)lsR_Wwu*tdV}`|C%yE{!ga8_(gGn{6X`_*CG>!h{5B& z>_I5*Inem&len;_Wi%$~Gk&Bj`F(UI%3C+P{ zyBv)vF+wYsg-SaugzIA-K1@u_T@M4-DeKMOXNlr3jaR&|-0}QM@7kP=fCoc7v5?>>jy>NI znC~g^$jS)2bmio4_uIX852p$lEn*ecqU1Y4SSrg~QtmlPy6>6_4w-}l!cN*?P&4LF z{%O=I!gIta2CSTNTwc>+qm~JR)pf0XrraPkCH$(1gs0o2Y>oUJ&AP_(v{kEmJek(5 zUF;m<4nQT|Fk1)%JTC3IWYW#a9W0sNb&{p`~4o2KzId=$*>rcBZZIi%f^$B5pA@3G=z~Y=5LvWK z8_IR?%@M2Cvk%cr4H5YCU!W8oxD_ycq-2a7bWQ`5N5H7ON-q>(pC4f$*Gt>d8* zMS3h6ECwBL8M3(@9b&HRAK9F6|L2_sE@N_b5T3Oo`+ho`&>3fN#ywy8!S0XYimki3 znr&hp8=qzUHYXiB7W2U6IQ2OLmPZ~cfg~VZ!%`a7o4M#t&Zt_#Kt#gw&w)-DnBJn^ zucPYO<>7cuq|$$$EzLG4(m9`WH2O33JNDnYH)a>VKiS^8y`C~oHD|j5USI+xf6KEp z;*J9}lzFx2tHuhq4t1xjhfO3wHb0V1W_0%tmQMebs#v-@5o_(cy_C7#WtX28fMIY} zP&`K^6Omre|ArJTmp;mzBvuv}Y%eqT7))R0$oo}+RbDpYikH5F>hg8QyyPG-y181i z44K>Q+wz7sE8ompU~QSnpfJ!c7fXFk0>7AVAWrm4nBHS@iouE;Szj*>hKkDa=7wf+_V)K3gr2i(R?O!@X2jLuC7zPW5pbmO^S7F@t(uyFpRA&bs;Hlp zf-phm;Dv)kp|$LzjCIt(;v4B#kN&pbGzMhp^k5O4(4JY#b-C{Vbx-Wr&`@Zo?GXq@ zyQrR%m3qo~f*?tg^R=GHHdix2CH42Z(t=3kf~BMZ#yD5Q}u} zSU>$_n%=#X-8l{zVF>GrftKF-vO&I~79xWpk(EMBT=Zmh$sOcV;YxEwMoG?}&sR1* zO~l6bDnN19_p`j{TP|ku1xfy#s-DU`@0_Nx+SV@#&Z+rsIUxxR0aU$+Io;%>l!QEO zsH|9lB_*Yexn-41%>@YDm^DK@0)kuvt=(mV#FUhsIY!&{HsV5ETD;DNjG!dByAtq( zE;M#YO-*eBe@+9fYy>?`NnHm+No51&KF5>f(W0l6unGo)5}&~~+-0snpZekTTnugM zaq7yB;g;!&g`AS5r{?Yvg9S$)1z!;n36!dqN@7-l$_Ct7jhpV5BD6n*Nq9m}eu8Fh40T zOGQOO4D^^18}e$D^+M>8Qi0ym3qPMTeiuG*uox1*)DrMIBKSB*lT>$F*#}bc)f`X>Dv7??aGb3%C z18xeMYSvNP*w{~%wu*XO%4+a<4~hy6!F_WAzFLO|PX^AqQ`otHgO`V=s-d^ImPC-6 z-y;F)skR1Nb)9L-6|06ALX#PVKDSsZ8I_8*twAf0EYjo8Y zL4#ke+cUu#z~5BETKSR5tY-A>@52 z-~1R2e1@iv8`POsCFHS|qwIu{ld_eCri-wDR0Eii(a!#2r<64#Uz0hk$e5tNhGVn? zYQPW_)bPu5CW@Km5a zt@%{ad>#6`u7v7bFpeP6b44g>-@s<)nE1zzpzGaB%ne}v$fEpdmiKuP){UB>I_;%I%n2%%x30?eE-?uZ& zBI@T}Kkz5V?IjU7C<-StTKl*dY`+F+%nc@^_+A;?$z0)~sd~N^t@i6#9A0q~BE68u zDx_31_Gwylax@&5h-lquy6x|Vs9qO-eXm8cTHzi4RXu>paP|_eh>q1Z0ftH%4-0N{EWrN zC$n{X^*dP=+v{RwoVb10$SC?60j(S7q2Vb>PNW3wR}}d+yqL3U&r;J88ZGeT3D-WN zZoNrPN*X3EZU?fbxl#jFGn8S%3l!RisaCuV?EE_vkmXT+(Ig@&d2# zW7P#5n5)M0JV!j%U8dbKwZvtgDwBUkrvBO%G$dJf*<9)*CQ&cil9nNwm6w#=N9@cv zg*YoAkv5y`G-GXdEjY&KQ_Z}%h2w^$-^-i4Z2D~nVrO>Xx`l_;F3#lLMAgz4P4%o+ zw@h4&6}FFuc+$eP7qGq3;sQBHi{RS#VyX7wx4WU)6%PG){Yh=W^<@oB--D}Ta^RY! z)68qDkFTGqiE{9Bv{^MncuSzeuQaIJRaQ8LTS9wz{%)7k>VHA4TYEileKSb{$a~Lf z#w{tT&WYK_A^kE+!%v}<<#D-AezVP7#pLC!Gy+jpxS(-nn2BAt5>cX&$Ms3pwikH6$<~Qio#zU_MKW` z!kOJ-^>J`$yW|2AvouKO(0+nLsE9zNs^VmkeZ$6PW6 zAm%TLYh+}GOQDPV_U+q}o`*Qz*ik)8sO%E=ro~weq=fNyNw&ghO+%CaM7?^ei}Cgd zJVc4B(Q?JG>Qyuy#gM-f7BRv?3|e6MG0Pr0bCP8eY-;}89cE3E>IutU(8gD&P&D0U zoy-R4dfN-R)&*X6yB#aWu+xP4#f=UvX{dWBKtvG<*TjtPIZ|y3Kj?R6)sc9H)ZfK3|-}g8!WA9-E?|)pvS5I-H4t+?rw=<}8?v%{f#&@;f zr|IFCLx)6yvmPl@cGJ8Pk3!V7)&_&3vAm97us1v4KD*Q1w76-06~cNuU*R=%*TdPx zVRx6c_y&dEGi*=$NNwGghtN*BiN?y?H_A8&uzEh|(J1Y4@B+YZ-hH2XX7^hg(}tx~9J?{MKu~4O>NPbJ{`OeHdszO@AU9 z4#rpM7-fV%=BpMnyW*!T^<1dc@#KRoWf(CVE6Fg<>@4jZ-;~iUa$=UF zPx{kF^+B%C5ga0Srpx{{80h|doHm}^r&t(#ccb~azpf*)o2bW0XSNC7%$?A$R#u0$Tr5)9DqAAcJ||1{ftcQLLY5bb;Uh@yUM2HLJ$8_+!{gS zgCa=`Z$uQEt*RPxGpg>1*VCz8`tFrFjo;T;{~8Viw5@I0dkx0wATcHQ`2lF`;S0|7 zv2=Ym>bsPZM~%B+r|sJdoH1aoLt_%NUiv!!g$HTshvUDPd}s<0j3HMZ`e#Qia{bQr z=?ZUIKOJY|K3kiIStN|ac@x9{cJC3g8P|%*@Qi(SS={mRhyoKfnQ({}?6H&;rB#rN zI1-+tQ(M|Z?v}F)Lr_gB{A@Gy_d4#dI*o1BuG*X)7T@aeX_-&c2pB?oDbVQL@FRgNh&*? zPX-x2)UGnF$?4JZEHXlw7EJ{aYHZadm?GnDdrvHV#l65ofZ#P9HU=c;RwQrN>2|ykd@wy#DIV@zB>GbJO!Fp>ab8MM4Vl<$ApU?guFM|WjGQ8u3lF!XR%BBpBOqiK4Bjie-g z)rU?^mm+{gPESy(BdvF2u2Su<+hBd9J+z3jgi8&?p_hJYg`3)gYp-XtQ}4ZV{&ad} zFLcj7KAF*{YCBEQ_W$r{gb}u;^*uk=)!03A){ybumA5RRMNaX&PM_P@JLBib&NgWDBix* z%!V<6sbB}%>H(fmqveK7V8EXUTGLT~P>RwU0UD#R;fK5x< zw82{%gEN#%^C@xfqBFL~uI(+sf=imEn!>{Qjzs~@`mUgT;0TtZE<%Z>^>*M0&+^Wx z|GRWO%=Dr2S`m=t)i=(lS;(z+C^nRVp^lp7@~eZzQReTuLCYdZWuU9mv^1|W>=$E= z2EQe^FEY);xWq7lKxV8d$L9H55rO7sq$ytvB}`whf9>~T^ub&$i_NujAvTs(m&Luz zwR2M7BqmniAX);AA7|a7Jf>oAW7lTY2Gdbo_=D*W<;24ShxS3?KZrm25QWf_3O+4K zapa)hyGUEe{rh*2+xLn`>_{=K$ps>_Qnp(w|4^Et3|>#VYS-tY$pVS|W{p_%$+WCy z4Q*^W>tYZ_2m5B&8v-w~w|%vw-&6FZ3aW{YQay`TTYB{zaQlM{u+S9Oo!)|J^5JPZ zJ;V>sfqQ>=CwRi6iuFq&soQ||bL|ItXZ9=}FLi&W#9Z#M^;;>~*%kOJF9#Yn|CDOj zy3*hhCk%XL#n&eYo@>mIzhI5@31Xs%G;B5bUn;An!RO~L!?^kI&hUtr?ZJ8f&a#A+JoIMav%2iV;fNp|is}0f zZSP7BWAaKOk{UbH?CmpK)PKF$v9>rnBF5pMtnO`gM)o=|S!8RNqb4A;2gKk&nyGT^}iC*|k zU`0+!8Y~+N2C6*`FyzFHI07SeNu5wPVv!%98Yl1UNS-fg^j zPMn~7fABXn+F$?#oUcB-=&wE!TNYH62L4M`MgC;nuY}~~=yTL(6^+2c=7%!IkmRbnmltMjxv~BZ8;N%fToZ|Kzy{j}^RR1L2u6jQk z>I7{1n*W-4*WbDDu#i(zk0_%s1C?1yz=lXZ98PJoA|$#b)j*%QY02G&DnmK69xs%~ zUOxwT*~IidK<~GwLk&QyZ<{~=X!9>_I28|KbjZ{#&4QcI>TKT2)BeSO5P!2e>73NK zV243O!f=%K{+_|DD_Gj*tHsdb-Tj*Cv|BAW0XG9IBy2ddSh93L6KPy0f4a}4LGRhC zGsgKoHx+3rEWT#4jfWkwYVeHQ!mRqe)OAz#paefb26bG}Q{(vHI5nX=8w*e8nF zj*{i^Jn!rn25?ht0HkeVlr=T{b3m81;(CIPb~csNnUp;k1*NI1&n$1Tf6G1Pwc(64 zsT&ldtWq@VId8tn)6R5>mgT+u*P-YtZ9x2;5Jzc-{)-c4I(RXgxW#qNarYFF_njwPAle8Tx%>bij*1^H+)BWYb!FAgK{H% z=uMc%*zqCbo1?4IS3tct=BplJkIG1Yp^bb&pf9Ewnz!NIB(Ft&R7JeKJ@;}h0~{2r z$QNa$21PN>4C@%hBt;+yZGs_{h7**^dyIy0ohgEsa`#!qS;q{yYM0zRW>aiKg*anL zcWb;9$rh(jlzBm{A>>R?GHiFh-l!DyVO)oPP7+3si1ln$^j<$WX2}}OmyB|!5TP{T^}WHn z%1QlERg1-dw)Mc%Bk zoSlq}lMq3%wuT`_u%=f<=2=KfThXMkwr*!XV<9~H%5ydQ^w|S%!*e7xl?;D1DRG$( zUw>sj_nM*4sO;h95{G^*@88~kO#^W=%yMx^2uWh*vpi&%LkwC|1p$BMZD?5kq)FJ8 z9*>yIE}ls=TYbKbk=+V3QG)1zH>2xl4BnZ|lVt=L&y<|>c*bp)8EWD1ZhwN@d06W# zS<7~xs{~OwaU1r9$Bms~+7!9mq&YBu3+4V)S>QtT<^`N@{I%9&%-=E}5!mCNdC2sf z{ja-)FRU?^lCHN@Xn}JFD2u1G41#PAia3WLbf)?F*;|8vhoS-qoQn&cz>86jlWcWSH&NHlQw=YMzM2pbP|!H zQcf7<0{KHQXj5*zN{!#Z$pFbUO^SWY=v9K@JG~rd_aknq@z{(6`D(G)abYk@bng!-?wA}j+~>CSCskN z?=LV086CZy4_`wHLW3#L7v4_9CkvdFn!wrD+uUhuwVEE)HJSohUk)B#T6nq?bNQV5 zjb>-IB}EgA^qvT(9vUo8hmA4O`3H zae;BLc8GlJ?e%_BVL!}1V}FpR2jA9Y zO7d|8YN)0!1@*po8g6P@Imk=FnW5T?R4epeDyj=o@TctgF14Iw4NRB}*0BMCCt zRZK_2v-1bortfR#mppXx_2o{eTt3M=XF*l}BV@?`nk+L>q=k}hk*-U3&?-a67=`LX zimd$E0#+D*TVxh7C=ekf&-jl1e&E9A`2xqH-a8lxfB%4%a5^+dpC#WPkwT{l3ndsx z-1*>#Cowlgh$T;`WP?kUBZ)PJu|0zzj2XxO8SaqYOB&U|!?RW*xb5*BpfHJukd&C8 zQ#<9t-x}+Od5MLP>n~G{6eG!$Dw)HP<4F}ONr)n22^%O#hTY2$Bb)y{Y=$x~x)%*W zg-gEAWXcmiU4R@}&;Y@bJN$=*3Y`Wiq>!ahw^1siaDSee4e6aCUY=xc-1I+O*a#*d z@vk%`iWC_iX3Ve=)gSf%ctYr{6sfYkd$hiJagq4Hf8&aF)hGhRaqtL+_hAsA+#q}- zQC2~dLm@dSkYOSC{7V8r;NfVd0)C;Iqx)JR0B`tc^W_VbcWY${?Ge!o8cos1;`EnTz5u8QHh|J@-C6baj`fAgo8%Za>(@a%$AlRJ;;QF{CuJQ zXe@pp`IAOb-Cco$MM@)#qlZk=VqjrlSu&s0@xmZ4p@S&WVq152{ZwfrjhqZIY)gV- zMj{pf%emS5L@6<|9y7Y`AVDc8;kYq zZ0$soXemB`hqoel(!ZW2tIjbfe^ha9=oF(7o}TWW?q1|+Z*xA0`hTGNOaGcmwr_Mo z7LBYO)byb{E32qw{K#6A@7bRbb^kC}4#s{H#xWS+tO0*;1g1_03X`O#fWep)WyB+^ zGb`2hkrXpt@U|A25xLvdb4h|9Kje#*rW>aF=y<#7*sohF^qmny7#4m|dOCI*1+_gk z608zAtf2YAzZWz54iEa`0hlFSwRT1#Z{_;OKiGOIX3l}NJubqlw_k0=KlGha46{y~ zcjSMTS4KUZRwU17eWQhlzssB~&IC2ALye$t;hTcnX2qtG*r%-VGd2Pvw^!6u7Zowf zzfs#=<*Xvl>jft})IXnpj?xT?UMyqwucx@M2&_Vus5KTwjg30H>n&%pyV_oMN$!6z zJyX&al73(0qr%MTkaAL2X1py&Es|)3UYwQF`e)f?bCbzEzE@l8@&NvsfEt558>N?o z7M(XxeNhVAb<~uaei8@L$i%v*X}HIvM2iwid-Ls zZg|j(hAaCJZ1Y-|C}t=646r(OuvTq$ki!2s(u6!pvQhDT0IGtG*;R8scO%x1-Cs1; z^G#TM^_r?n-JG{8xW1swYXO}}`XdEQ196=;K$<#vPXy)1gUGCxS`?>?*`WAXCxCC} z0&$k{8O>dvX(k0<=w55MgT@-><{Pg*$A+5h^V21+(*>fhZ%THHhsB1$miorR<6*u-y zXkko@Bus|%&)k0rL5^&$156-WqW_Rti!PR)4THh2y|2E$J^-73#a|#INYo@sj3s8W z5SdA9L06T|m%`lC(h^&qxJ_TT*XWu-b}#!4p9eFB97S4#(5 zKj`27PY_gm+loPv_uP$%Fmkp8g({V4)!lhJovZ%e&JCW)B@Vuzp#z0_Y+nYn_+jNU zqk^I0q)09>?WHVq5)?(UK0o@o6*b&2vCIS{g@DEr8v0vnR4VY08KZ?UvS=#gQ`Ipt znoKb?q`nMvFics9ufV|q<)PSVi@6E}iV!)9MVv)~;(Hv^=C8_@s`RaSvFM6sJt#;u zm?)NUGW>Y?(S1jBDEJ&$I*9neV7xwcXnE53VXMEh_vm`Y{0o(2EUDud zx*X{cDy9pYtKb$&<6_D#AY5`fqEja9USG}b_(4+HH?f)MBvDhQ^VDK2kgl8*$qFQi zT67d)V1y|WP#PkbZIgJGWPCwVMTi*K)-^5AhvI~IyP2(q64%O}^c7$f&^!d^&Pp!X z>&V#(Lx*Dt!U}juOzfy((?!XVrYuoXCQM^ws3F5e%2cjAAu?qu)TZI>roKEKvoGy0 zC$!&M_<1C3BF?q>X$v!aK7&ubg{lVu2gp9!RN@Pz3Q} zhYuY?fI<|y`ySkER9l`X5ue2sB|{1DM<|Ig$X}D*F1$#H@z4?q@~!M@tc~8qF}Ao& z=#E8mu?^>12ysZ!VtyU<=T2i6kr@W1924O*zX;Y{Av@5G2}b zSBs&uWlHBoEPxI^3Pdbtn_2UaQGG4GGq3~IK)=O`{w*ZcL-+MQgJL8sRf&40VRwXSW z%E#Jb(W8TpaD6g62vs2IB`>Lb{7oNwsggH0H+2dgt3OYV?|!pX1q;xL@o{!KOdi8^ zi=4Ft`8$1X;*#>m(Xvo#puTc<$?!I5)2e;v^yql@78@~xU9H>BPp&P!Uj1WiU9k{m zi%j>kjP~nZV;jq-Wr;;aJM8F4zM1;DX8=XXpL-WY3t6-fRbcceHW(7~@Z?LSsG~6k z%iZ|-v(J=np+-S>FTiE@dNl#&lfhpW%Lg9JVXOJCqO=nWtCO^qX@ZWS{_4-ErVCJy z#lw$aBRtcfd2)cwYm2LfuIW3^&*+a>VD36b@~AvCgx_G1LU>dK_E!ZdXn=?uhAs%rU&m z_#VGQCtv62OB1y0f(2kn?1t{=>!-VPDJi!o-;CpUlS?+H1Do7M=*%DEO+NxU+uZHX z!9R9&*i>T#cCQEyQzI5{>ssxj=ol260{-~AJW>}EfKCTzA)ix%4@*8nC8D?fy}$vq zHe0?*V9PMQP2bQHlTR|VeXf{F^ccW+$X{qOwHBc>1UR(Zk&U5` z_mLXAIvMZzO-Ifg&$LjG>`bg{TL4OSI=-p%y@WL)8;Z~wotL-g*KUB0_rncq{@&U+ zW>x?^hZonzG%ZOJf_k3cM_`(Zil3^%+Dq#0llUFw zt7oPRYKLec!%oyCSh3f~VV7HcX77t4nKKNIK>Y3IM>$1=ewQm_`D3z6T>gr&Z&1aHd+&Y-|EJm%i%TgT>{)@z0uFH?erza1HiYjQ&{h99&pNWm5jkRpx5$DewyCQ1dFi^0( z(Hf}Fr>J!0bw)eXeLBXRkbT|oMI=~VhTsIVT%YC_#^g$ak~ihbq@rhY7Iv#>NLl(& zBw}f@Ww4tL$ep|SB~!G0EXy$ey339B=%iobPJTuuyKXANs#b!EC2p2WXXKEpjEZ`> zO(U>fm&}?|3P31yqr^7}_SUTy} z6kafL@-7sOsG|n5OZ67ztrv7xRs(7v2@x>^#2&Jcd za=~Q`Aq*9D+cxx#NhfoU56&C;J#2bM&PH*c`{r}du-w+wr8O=EYZR1o_W%=2Q=BVr za4WCmF?YvEUpH<0$4n^v5~ekle0Elgt|L+TSvSlw*x6w|HQlZ+ z>zX_4;AlA2-1~Y~fz&-uuIuwFb=^e)i}TK(@V`UhCieekCTBhPXi7aQVXG{%riC%= zSkG1}_FN{_pKJzNK1`O)Fa_kV3lhc`b&(3(c2_rD=lKn(wra#K2dzi(BZR@yDSP&y zW4mB$mzncG6HP?fM_X%pZZye1k%s+&4{kp6LcjvI5r_1Y00WryQ>_6Pj5j;40#IIX ztl962l3%E)c!b!QXy$&7UZ@Rr6TkQ9lX^uL5P@5z19ED}R60X}VABzaDbqgMmmpI!<)f7}_ ziuKNle(S4wCGZgUyKU^UKaSUct1s^b$SRDt%d9C#$0MX5)->c_eE$clR&5uq|B*%q zSnA5mj)p4Fp}XG`MXt9(noPyvqg|I8&Mqq8>@8dr-{^LROb|-$X-+A55O zc||gE=tIViSl#8kO|O2`zzK2S2uhg4K(Sl}ND!;l{C0^jDnRi6l9t}pSsEC}VE7T5 zVt&Rkyd$EW&yIQhvkhKBx{$5NC`reC0+Yx8vyTLEuo=@koO^9oTYG)Z5P@Zlqk)L{ zAI2m&R4;iMwi6{k;Pxxd38E$;TNgQ!k?!EK&}EaSi112Tg?m2wy0^#dINk8uW?!ab zkdxq1w~YJb4T5NSSmiVX9;;sVlH#BNThHg@J2%^}>O6sg!SGb&y#pTF1hQ*IcEeN@ zl%Sed!y-J?I@{4KJ51NR<$xYu!dA@1N4qLg_dD z!9_eWSYw~e3hQk+5J`eU%2NhIoE;$$;NUYx{#wg44`R}3TOm7?4Xw2#%pnWdg2_(w zG#~^_qi6Pl$h?UvqM< zP8MdjLk4bSmklWPl@#{fEG%WF<~nox4;K%73E;&hL$*dtWG)>jo`T@Gi$4RhiAG>u zgh4V(XxUG_;^sQvliOzX%+k5{i4z$xKS6UT(O?IlxQvPNLyM{la@*4@cbZGP^#wEt6)$O`asPe4XzI)iygYB?&+C>l5*W7COp-wnt zIXx7d-AG-H7&Qj0t)vuZb3hihcfahh!=d&*9|+7P+tm{TJacbgDSs-eRtlq@%c=ia zAi8OknjaT$_%!Ju{S>%27@W;WEYMrf*eSf#tb%3ug^jM(>vgziXMSDQJV+!lrQGq- zmYUl>j;JrdfQxri2B$v}7s(0F6iD-elK(Bie3huAar<@SQ z!9QPg+bZw<<9N3=j(*W$BE2D?T%y`yU|+W(V;Q!7B|PyCld} z3U3E&Jq7_gp$thA`n^I^y%*%s@quodI5NcF6i$c_DNkjp2@C?zi6V{T<`4&$gRREg znK)KfR_8d{W1a3Kt>=yCV1UmODXh^#pBznb;@HaPtFXdK+EZ)77f&44dlAeiNO);vz_S8`3Y64v@x)Wv`N@Q|k@O~OmJ zmnHSxwVDeAtgw8x5ZuDozq~0ecKcOdoHuwjV|h>L+`%)8kC-<2j@CqH=avq)XID5Q zA{rUi#r2L$B6PxfgxOpPM-D!h?;VJ;SXZ6LkK;_&;93r@fDzSzoksGYQa}FO>%DM( z@M1D0(pwQbm@P8Fx|m^uzPhoQ%%f2FW(L*tRj5Dt!hU2L9fo&20~G9v`0pdY&$Ci3T!(7Quh-Ban-f_hHk@ zzc{Jwct{_lDhir}u!Nc9#es4DGug1{A0{-q^&J!=02R-yxb+2|wfAmd(VlV>tT@4WcGWT2ZddDvKSos4GL8AEjzj zWrB$yi62)9pRJdfQBH-7c{dAl&*K%*&(1Yyl7_acq7JT3Pv0Z#n{^`(kTv@TmgzjD zD~hVhoONg{V6J(KIT*S{8@t)5`EWg&=;**qi)husOdDkQnf6tXLPzepQXq1Yv5xM7 z0K0rd=ob2}&xqtLr^1hX`9LUdWY}eJ_E5EE28)CA5Xq=YW1v>EwE7A-KFm0a=8w7x zCbz%>Jcsg{V?S!7bolUh{mG5AsGGZ+d!WIFAd|=;{8&r<@``nNB=8h&4Z+&P7^0yr zME6*;mOJ<=|AddmhHmC^rn343pq-joM`><}F9FL40(BsSwfN!1_BjUgqAK#lz=z~g zQo43NpDP>ThE=O|m;pZ?al5W=)GdX1H$MoDkXO*fcl8h!)A|jFRR_>4$h4t`4$5k5 zTCr=_qO~!eQD1I*LSlrj26#^{fk?Qx8 zhBKX}pXQqn2lVbik4p@lDzCw|HroN;bjH3jt(t2P%_nmhhF}Ef(=edQR7%3c8oB5* zEv+9j@B3ZF2529VQiz2MyTlrqe`o!fY+9#2-LF9{=Ft)-^!tRSxK1?~eES( zWjsj2fae|UV1TO{JT6@1I3>mIoOWA3uYD$*TMsLCFaS@Tq#plZ%duO?>qY|a-qB^$ zTuunGKS5(n*YDFrhd3&ELb^3tQYTI*2nyd%M~_=34XzGmyNQsgG`gf`TIdJiPI6X< zX@ien^Z?4^{RcCZ{{6@T*VX1YC+^sR7|eR0UGd)KL$KedNpNL|OR*WHhr72Xd4Vwrko;yOPfWQv43YRJJsfvUPl_K<{tM_Z#*ixgV2yy6ua^Z zcz$8U@tP4w7(lJ~E;M^db$ZWey-~jjN;|RK3{H*HP8`#;$$*@_lujc?z#mIheQuT|HTs!M`K#fosa(JRj7EWoia z$rDOoh?Omf$DvQ|%1WCQvW3DgiL6)`i58_*?hua`>@8>6R>9Ukhh~EN}P~-dUGfB>$CHbRWh8C?A@l?fbl4 z%beHzn0x@xman0#SPvDU?WC#a0Of9w>3;B6zbM`G>1V2N5l#h%?wNSnE!vEyk)yE^ z(*)IPHz|`#zxfi$4Sv#0#FKnZ*g;$PRfCtWtm3#_(X}~U-c{QjAX~||eEJhl>&RW4 zrLUm3MeV=1&B}fflUgt#wJ{sG6^#|yn~+XH&~pJzXCJ=E>2mp7^33I~n&nTR zFdM%D^MkJZmH7ZT9H9Wa2ej&jn|Z*_PVX#s0vI*{;Nj74zQPYJ_MT9M3OZ5sQQ>MX5Hfi8X-v#7&gH_fuC zAu#>&n+zariLKW>?EZXNC;soVasl_z@kLX{I9F-5;*pz8^wCm5-AMyFD&zSHdYHac z%U@qPC*b5mmA6mcL%Bhlij5gQI{n(&=*vs36<$cr(0uST)nvpE5`r*Lpq>BsJU!xdDq|S?D+(PNTKi}tVITo9vl_! zalw}Hl0lU}Z71?D*}Hf;D2qhn+(5n#*FhJQet1C4J*?A3#mPq0>+k5X;dl6}@j1op zmc$)S>A%a(K0oSm501iaO!X{(VND&CFA-@@OMPdj(4H;LNJcaF@ZY?Ue6D+`xz(v0 z>(G=(rzJhDJ_mak!B8lwvMa{NVGkenLnX&#l06(<#~K^bD0dO~Gq)*8yVp2*N%^^F z#tvq{BJ@pM`WDw`bztbpPS8eozbvH#1`vdRl5hU)-C{eNG@tx$EQ&d5Qk9jTt+UVC zhL;L3L=5wep~iUDM#4v)f0OxX{^TE4oIwB!^sYz5hKiGwcN<-bc@ie#0$gSa7);bg@t zLkLZ`R4&GM_w(sF9g2MWV#>GWVEXwn1wEU0z_vHXJcbxg2c5v(aWw**@!a$4#cgUV z{6=^|tX1d+X|{RZ69Xg)Pp81c4E^NGuhHTEP)xQZ)6VNv@lFri4<5_OizLn&+ z_v+`MXFq(vkbLU=28?JA{|@)G8ZO1o$l0T-jmqbtbA zoHX?>HH=$~6g@3GYc4H-xi@u4$fG@HDMh>Kqp-upiU>pZyp*nGrM`rJ{Mc&76Sf>0 zAZBy^Imn=dkY(O++7%`dd(a=jx`bZG@{!K3hzdg|EXX1i@F=jmU?32aa_#DldGMpq zb-a)5D*)@J<8}O&-XRVE{T*e-_Z|tvNqw92FbD2s4*8FU*aUoY=-A-d{UU^CU3=RvGraT#6X$gO-F}do`cd-&*K^OiZFk}= zwjM{uMAD}Sop}TL@9J)ebK`BO`RKl$^^OOJx4Ec(MhFji4fMG-gjDmI?2HbndKf-$ zf;0OBVy*h&kAELTZ{QAo@C$MNzW_G}$oPou&NoaW3#YdYsx$HF!k-mhR%4lzexJMB z7b$Lj^vpW4h05uSUMr*Qky@J^>JU~vy?Okec=OpZ`!b;oGSpP}2MpDbvEWxLCTbLae8p@Wypd)(TokBTwPqygMY{3Ix8|GV-ix6 z;-liz+R@NQTylSQbZ|suWJpjzcKzEE()^avjKt)uvWjwKVMbJFSV)k63=)djb$JOP5wVH!@k!am=wojjm5;;3w>Bbk(i1{ox`$*`ezc8P7-U9bR$+NrVL{`d=)Szc+RT`!g#4;1 z^mHeF__WrlqS)}z6eJ3d!?xEKM@NLEmo$uwVLEDZBO)TRi|dF?UQc~tL~LqB9jdvh zqoF7zDkZ-igYT}*jR=p!&^eMVh=N@huQLqlywl%KPUTXIF$#P0Sf zgKn!#OV2K=D9uP6w>Kg5fx7sVLc&|dFx*rG45+N6q@)@J@(H~S>4^~$@tLUZkyN8?!wH3sL1%L z_TkT{7C?7xc0NkDsz&TcNy!uYJ3a@~hf0fyj7`ny#6YuA3~WnsY(z?4Q4^LfU=ixe zvcp3o@@v|#I9zjiMnqV2UO5WSm~QP*yQ(Tt%`H_G)itF#skyZj=mI=UH`LaV357#M zTyBKTg`1BB^e*UC)X9k#-`@gp=z7jJCG^yNjas$cO#gs1*uW7DdjZ{ z;#Vc645Pm~Ffy^EytW=yQG{$F3TI(?Uz*;-fhKCI-j?h`pN&5 zy2u)>buv-=_L~_>+fKv?Ur727g3lwOhx+>Z2PUH*Ffc+HH_<;39-TM{U0!^n_vr8I z8^H;~+5a3k^s(WAk5*J)@4yK5PpGGl017iS(D#w*>+kOy82ya-&ndzsV@H9P5Z~-Q zpo$nKGbVRAzY{tM^U($n-WW&u3|;&K;LwR5Zw;tqqqxt}#i;|FJZ8B6<5kl)ID+}~ z3*tO-w)f*}cU>#`h;%x=qdflRxhvr%@9Z&Rl5ya2AA3?D5*V@U{JY?jaU&nM5m4|! z;`ArY{^Otezf%{vG+bL_ZCiUAs-eCYJMGyy7#J9szXZ-`S8IKJLtR}Rsmm#c3=9m+ z1h6i`z`(%3z)S$^A`A=+3=GT!ur9*Dz`(%3j3W^IKN_jTi<|m7xc~qF07*qoM6N<$ Eg5EBVh5!Hn literal 0 HcmV?d00001 From 48522742f3c30adbeca7cfaf7bceab74b5fb406b Mon Sep 17 00:00:00 2001 From: =?UTF-8?q?Patrik=20Pavli=C5=A1in?= Date: Sun, 21 Mar 2021 15:39:43 +0000 Subject: [PATCH 75/78] =?UTF-8?q?Smazat=20=E2=80=9Epages/students/2016/pat?= =?UTF-8?q?rik=5Fpavlisin/Bez=20n=C3=A1zvu.png=E2=80=9C?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit --- .../students/2016/patrik_pavlisin/Bez názvu.png | Bin 18466 -> 0 bytes 1 file changed, 0 insertions(+), 0 deletions(-) delete mode 100644 pages/students/2016/patrik_pavlisin/Bez názvu.png diff --git a/pages/students/2016/patrik_pavlisin/Bez názvu.png b/pages/students/2016/patrik_pavlisin/Bez názvu.png deleted file mode 100644 index a487b9091d7ce4131675b2af2b3f4ebf38da8dbd..0000000000000000000000000000000000000000 GIT binary patch literal 0 HcmV?d00001 literal 18466 zcmbSxV{;}n5b8{quABCNO)`)HR#d zwbI#I1S3TYRcS;_^CxgES1SXX3RPv{H_i6;Ho|{{U~&7N*TWncT+{I|YS-^;kl*5F z%jbqW|IsTzVGHzkV9@^x4)lsR_Wwu*tdV}`|C%yE{!ga8_(gGn{6X`_*CG>!h{5B& z>_I5*Inem&len;_Wi%$~Gk&Bj`F(UI%3C+P{ zyBv)vF+wYsg-SaugzIA-K1@u_T@M4-DeKMOXNlr3jaR&|-0}QM@7kP=fCoc7v5?>>jy>NI znC~g^$jS)2bmio4_uIX852p$lEn*ecqU1Y4SSrg~QtmlPy6>6_4w-}l!cN*?P&4LF z{%O=I!gIta2CSTNTwc>+qm~JR)pf0XrraPkCH$(1gs0o2Y>oUJ&AP_(v{kEmJek(5 zUF;m<4nQT|Fk1)%JTC3IWYW#a9W0sNb&{p`~4o2KzId=$*>rcBZZIi%f^$B5pA@3G=z~Y=5LvWK z8_IR?%@M2Cvk%cr4H5YCU!W8oxD_ycq-2a7bWQ`5N5H7ON-q>(pC4f$*Gt>d8* zMS3h6ECwBL8M3(@9b&HRAK9F6|L2_sE@N_b5T3Oo`+ho`&>3fN#ywy8!S0XYimki3 znr&hp8=qzUHYXiB7W2U6IQ2OLmPZ~cfg~VZ!%`a7o4M#t&Zt_#Kt#gw&w)-DnBJn^ zucPYO<>7cuq|$$$EzLG4(m9`WH2O33JNDnYH)a>VKiS^8y`C~oHD|j5USI+xf6KEp z;*J9}lzFx2tHuhq4t1xjhfO3wHb0V1W_0%tmQMebs#v-@5o_(cy_C7#WtX28fMIY} zP&`K^6Omre|ArJTmp;mzBvuv}Y%eqT7))R0$oo}+RbDpYikH5F>hg8QyyPG-y181i z44K>Q+wz7sE8ompU~QSnpfJ!c7fXFk0>7AVAWrm4nBHS@iouE;Szj*>hKkDa=7wf+_V)K3gr2i(R?O!@X2jLuC7zPW5pbmO^S7F@t(uyFpRA&bs;Hlp zf-phm;Dv)kp|$LzjCIt(;v4B#kN&pbGzMhp^k5O4(4JY#b-C{Vbx-Wr&`@Zo?GXq@ zyQrR%m3qo~f*?tg^R=GHHdix2CH42Z(t=3kf~BMZ#yD5Q}u} zSU>$_n%=#X-8l{zVF>GrftKF-vO&I~79xWpk(EMBT=Zmh$sOcV;YxEwMoG?}&sR1* zO~l6bDnN19_p`j{TP|ku1xfy#s-DU`@0_Nx+SV@#&Z+rsIUxxR0aU$+Io;%>l!QEO zsH|9lB_*Yexn-41%>@YDm^DK@0)kuvt=(mV#FUhsIY!&{HsV5ETD;DNjG!dByAtq( zE;M#YO-*eBe@+9fYy>?`NnHm+No51&KF5>f(W0l6unGo)5}&~~+-0snpZekTTnugM zaq7yB;g;!&g`AS5r{?Yvg9S$)1z!;n36!dqN@7-l$_Ct7jhpV5BD6n*Nq9m}eu8Fh40T zOGQOO4D^^18}e$D^+M>8Qi0ym3qPMTeiuG*uox1*)DrMIBKSB*lT>$F*#}bc)f`X>Dv7??aGb3%C z18xeMYSvNP*w{~%wu*XO%4+a<4~hy6!F_WAzFLO|PX^AqQ`otHgO`V=s-d^ImPC-6 z-y;F)skR1Nb)9L-6|06ALX#PVKDSsZ8I_8*twAf0EYjo8Y zL4#ke+cUu#z~5BETKSR5tY-A>@52 z-~1R2e1@iv8`POsCFHS|qwIu{ld_eCri-wDR0Eii(a!#2r<64#Uz0hk$e5tNhGVn? zYQPW_)bPu5CW@Km5a zt@%{ad>#6`u7v7bFpeP6b44g>-@s<)nE1zzpzGaB%ne}v$fEpdmiKuP){UB>I_;%I%n2%%x30?eE-?uZ& zBI@T}Kkz5V?IjU7C<-StTKl*dY`+F+%nc@^_+A;?$z0)~sd~N^t@i6#9A0q~BE68u zDx_31_Gwylax@&5h-lquy6x|Vs9qO-eXm8cTHzi4RXu>paP|_eh>q1Z0ftH%4-0N{EWrN zC$n{X^*dP=+v{RwoVb10$SC?60j(S7q2Vb>PNW3wR}}d+yqL3U&r;J88ZGeT3D-WN zZoNrPN*X3EZU?fbxl#jFGn8S%3l!RisaCuV?EE_vkmXT+(Ig@&d2# zW7P#5n5)M0JV!j%U8dbKwZvtgDwBUkrvBO%G$dJf*<9)*CQ&cil9nNwm6w#=N9@cv zg*YoAkv5y`G-GXdEjY&KQ_Z}%h2w^$-^-i4Z2D~nVrO>Xx`l_;F3#lLMAgz4P4%o+ zw@h4&6}FFuc+$eP7qGq3;sQBHi{RS#VyX7wx4WU)6%PG){Yh=W^<@oB--D}Ta^RY! z)68qDkFTGqiE{9Bv{^MncuSzeuQaIJRaQ8LTS9wz{%)7k>VHA4TYEileKSb{$a~Lf z#w{tT&WYK_A^kE+!%v}<<#D-AezVP7#pLC!Gy+jpxS(-nn2BAt5>cX&$Ms3pwikH6$<~Qio#zU_MKW` z!kOJ-^>J`$yW|2AvouKO(0+nLsE9zNs^VmkeZ$6PW6 zAm%TLYh+}GOQDPV_U+q}o`*Qz*ik)8sO%E=ro~weq=fNyNw&ghO+%CaM7?^ei}Cgd zJVc4B(Q?JG>Qyuy#gM-f7BRv?3|e6MG0Pr0bCP8eY-;}89cE3E>IutU(8gD&P&D0U zoy-R4dfN-R)&*X6yB#aWu+xP4#f=UvX{dWBKtvG<*TjtPIZ|y3Kj?R6)sc9H)ZfK3|-}g8!WA9-E?|)pvS5I-H4t+?rw=<}8?v%{f#&@;f zr|IFCLx)6yvmPl@cGJ8Pk3!V7)&_&3vAm97us1v4KD*Q1w76-06~cNuU*R=%*TdPx zVRx6c_y&dEGi*=$NNwGghtN*BiN?y?H_A8&uzEh|(J1Y4@B+YZ-hH2XX7^hg(}tx~9J?{MKu~4O>NPbJ{`OeHdszO@AU9 z4#rpM7-fV%=BpMnyW*!T^<1dc@#KRoWf(CVE6Fg<>@4jZ-;~iUa$=UF zPx{kF^+B%C5ga0Srpx{{80h|doHm}^r&t(#ccb~azpf*)o2bW0XSNC7%$?A$R#u0$Tr5)9DqAAcJ||1{ftcQLLY5bb;Uh@yUM2HLJ$8_+!{gS zgCa=`Z$uQEt*RPxGpg>1*VCz8`tFrFjo;T;{~8Viw5@I0dkx0wATcHQ`2lF`;S0|7 zv2=Ym>bsPZM~%B+r|sJdoH1aoLt_%NUiv!!g$HTshvUDPd}s<0j3HMZ`e#Qia{bQr z=?ZUIKOJY|K3kiIStN|ac@x9{cJC3g8P|%*@Qi(SS={mRhyoKfnQ({}?6H&;rB#rN zI1-+tQ(M|Z?v}F)Lr_gB{A@Gy_d4#dI*o1BuG*X)7T@aeX_-&c2pB?oDbVQL@FRgNh&*? zPX-x2)UGnF$?4JZEHXlw7EJ{aYHZadm?GnDdrvHV#l65ofZ#P9HU=c;RwQrN>2|ykd@wy#DIV@zB>GbJO!Fp>ab8MM4Vl<$ApU?guFM|WjGQ8u3lF!XR%BBpBOqiK4Bjie-g z)rU?^mm+{gPESy(BdvF2u2Su<+hBd9J+z3jgi8&?p_hJYg`3)gYp-XtQ}4ZV{&ad} zFLcj7KAF*{YCBEQ_W$r{gb}u;^*uk=)!03A){ybumA5RRMNaX&PM_P@JLBib&NgWDBix* z%!V<6sbB}%>H(fmqveK7V8EXUTGLT~P>RwU0UD#R;fK5x< zw82{%gEN#%^C@xfqBFL~uI(+sf=imEn!>{Qjzs~@`mUgT;0TtZE<%Z>^>*M0&+^Wx z|GRWO%=Dr2S`m=t)i=(lS;(z+C^nRVp^lp7@~eZzQReTuLCYdZWuU9mv^1|W>=$E= z2EQe^FEY);xWq7lKxV8d$L9H55rO7sq$ytvB}`whf9>~T^ub&$i_NujAvTs(m&Luz zwR2M7BqmniAX);AA7|a7Jf>oAW7lTY2Gdbo_=D*W<;24ShxS3?KZrm25QWf_3O+4K zapa)hyGUEe{rh*2+xLn`>_{=K$ps>_Qnp(w|4^Et3|>#VYS-tY$pVS|W{p_%$+WCy z4Q*^W>tYZ_2m5B&8v-w~w|%vw-&6FZ3aW{YQay`TTYB{zaQlM{u+S9Oo!)|J^5JPZ zJ;V>sfqQ>=CwRi6iuFq&soQ||bL|ItXZ9=}FLi&W#9Z#M^;;>~*%kOJF9#Yn|CDOj zy3*hhCk%XL#n&eYo@>mIzhI5@31Xs%G;B5bUn;An!RO~L!?^kI&hUtr?ZJ8f&a#A+JoIMav%2iV;fNp|is}0f zZSP7BWAaKOk{UbH?CmpK)PKF$v9>rnBF5pMtnO`gM)o=|S!8RNqb4A;2gKk&nyGT^}iC*|k zU`0+!8Y~+N2C6*`FyzFHI07SeNu5wPVv!%98Yl1UNS-fg^j zPMn~7fABXn+F$?#oUcB-=&wE!TNYH62L4M`MgC;nuY}~~=yTL(6^+2c=7%!IkmRbnmltMjxv~BZ8;N%fToZ|Kzy{j}^RR1L2u6jQk z>I7{1n*W-4*WbDDu#i(zk0_%s1C?1yz=lXZ98PJoA|$#b)j*%QY02G&DnmK69xs%~ zUOxwT*~IidK<~GwLk&QyZ<{~=X!9>_I28|KbjZ{#&4QcI>TKT2)BeSO5P!2e>73NK zV243O!f=%K{+_|DD_Gj*tHsdb-Tj*Cv|BAW0XG9IBy2ddSh93L6KPy0f4a}4LGRhC zGsgKoHx+3rEWT#4jfWkwYVeHQ!mRqe)OAz#paefb26bG}Q{(vHI5nX=8w*e8nF zj*{i^Jn!rn25?ht0HkeVlr=T{b3m81;(CIPb~csNnUp;k1*NI1&n$1Tf6G1Pwc(64 zsT&ldtWq@VId8tn)6R5>mgT+u*P-YtZ9x2;5Jzc-{)-c4I(RXgxW#qNarYFF_njwPAle8Tx%>bij*1^H+)BWYb!FAgK{H% z=uMc%*zqCbo1?4IS3tct=BplJkIG1Yp^bb&pf9Ewnz!NIB(Ft&R7JeKJ@;}h0~{2r z$QNa$21PN>4C@%hBt;+yZGs_{h7**^dyIy0ohgEsa`#!qS;q{yYM0zRW>aiKg*anL zcWb;9$rh(jlzBm{A>>R?GHiFh-l!DyVO)oPP7+3si1ln$^j<$WX2}}OmyB|!5TP{T^}WHn z%1QlERg1-dw)Mc%Bk zoSlq}lMq3%wuT`_u%=f<=2=KfThXMkwr*!XV<9~H%5ydQ^w|S%!*e7xl?;D1DRG$( zUw>sj_nM*4sO;h95{G^*@88~kO#^W=%yMx^2uWh*vpi&%LkwC|1p$BMZD?5kq)FJ8 z9*>yIE}ls=TYbKbk=+V3QG)1zH>2xl4BnZ|lVt=L&y<|>c*bp)8EWD1ZhwN@d06W# zS<7~xs{~OwaU1r9$Bms~+7!9mq&YBu3+4V)S>QtT<^`N@{I%9&%-=E}5!mCNdC2sf z{ja-)FRU?^lCHN@Xn}JFD2u1G41#PAia3WLbf)?F*;|8vhoS-qoQn&cz>86jlWcWSH&NHlQw=YMzM2pbP|!H zQcf7<0{KHQXj5*zN{!#Z$pFbUO^SWY=v9K@JG~rd_aknq@z{(6`D(G)abYk@bng!-?wA}j+~>CSCskN z?=LV086CZy4_`wHLW3#L7v4_9CkvdFn!wrD+uUhuwVEE)HJSohUk)B#T6nq?bNQV5 zjb>-IB}EgA^qvT(9vUo8hmA4O`3H zae;BLc8GlJ?e%_BVL!}1V}FpR2jA9Y zO7d|8YN)0!1@*po8g6P@Imk=FnW5T?R4epeDyj=o@TctgF14Iw4NRB}*0BMCCt zRZK_2v-1bortfR#mppXx_2o{eTt3M=XF*l}BV@?`nk+L>q=k}hk*-U3&?-a67=`LX zimd$E0#+D*TVxh7C=ekf&-jl1e&E9A`2xqH-a8lxfB%4%a5^+dpC#WPkwT{l3ndsx z-1*>#Cowlgh$T;`WP?kUBZ)PJu|0zzj2XxO8SaqYOB&U|!?RW*xb5*BpfHJukd&C8 zQ#<9t-x}+Od5MLP>n~G{6eG!$Dw)HP<4F}ONr)n22^%O#hTY2$Bb)y{Y=$x~x)%*W zg-gEAWXcmiU4R@}&;Y@bJN$=*3Y`Wiq>!ahw^1siaDSee4e6aCUY=xc-1I+O*a#*d z@vk%`iWC_iX3Ve=)gSf%ctYr{6sfYkd$hiJagq4Hf8&aF)hGhRaqtL+_hAsA+#q}- zQC2~dLm@dSkYOSC{7V8r;NfVd0)C;Iqx)JR0B`tc^W_VbcWY${?Ge!o8cos1;`EnTz5u8QHh|J@-C6baj`fAgo8%Za>(@a%$AlRJ;;QF{CuJQ zXe@pp`IAOb-Cco$MM@)#qlZk=VqjrlSu&s0@xmZ4p@S&WVq152{ZwfrjhqZIY)gV- zMj{pf%emS5L@6<|9y7Y`AVDc8;kYq zZ0$soXemB`hqoel(!ZW2tIjbfe^ha9=oF(7o}TWW?q1|+Z*xA0`hTGNOaGcmwr_Mo z7LBYO)byb{E32qw{K#6A@7bRbb^kC}4#s{H#xWS+tO0*;1g1_03X`O#fWep)WyB+^ zGb`2hkrXpt@U|A25xLvdb4h|9Kje#*rW>aF=y<#7*sohF^qmny7#4m|dOCI*1+_gk z608zAtf2YAzZWz54iEa`0hlFSwRT1#Z{_;OKiGOIX3l}NJubqlw_k0=KlGha46{y~ zcjSMTS4KUZRwU17eWQhlzssB~&IC2ALye$t;hTcnX2qtG*r%-VGd2Pvw^!6u7Zowf zzfs#=<*Xvl>jft})IXnpj?xT?UMyqwucx@M2&_Vus5KTwjg30H>n&%pyV_oMN$!6z zJyX&al73(0qr%MTkaAL2X1py&Es|)3UYwQF`e)f?bCbzEzE@l8@&NvsfEt558>N?o z7M(XxeNhVAb<~uaei8@L$i%v*X}HIvM2iwid-Ls zZg|j(hAaCJZ1Y-|C}t=646r(OuvTq$ki!2s(u6!pvQhDT0IGtG*;R8scO%x1-Cs1; z^G#TM^_r?n-JG{8xW1swYXO}}`XdEQ196=;K$<#vPXy)1gUGCxS`?>?*`WAXCxCC} z0&$k{8O>dvX(k0<=w55MgT@-><{Pg*$A+5h^V21+(*>fhZ%THHhsB1$miorR<6*u-y zXkko@Bus|%&)k0rL5^&$156-WqW_Rti!PR)4THh2y|2E$J^-73#a|#INYo@sj3s8W z5SdA9L06T|m%`lC(h^&qxJ_TT*XWu-b}#!4p9eFB97S4#(5 zKj`27PY_gm+loPv_uP$%Fmkp8g({V4)!lhJovZ%e&JCW)B@Vuzp#z0_Y+nYn_+jNU zqk^I0q)09>?WHVq5)?(UK0o@o6*b&2vCIS{g@DEr8v0vnR4VY08KZ?UvS=#gQ`Ipt znoKb?q`nMvFics9ufV|q<)PSVi@6E}iV!)9MVv)~;(Hv^=C8_@s`RaSvFM6sJt#;u zm?)NUGW>Y?(S1jBDEJ&$I*9neV7xwcXnE53VXMEh_vm`Y{0o(2EUDud zx*X{cDy9pYtKb$&<6_D#AY5`fqEja9USG}b_(4+HH?f)MBvDhQ^VDK2kgl8*$qFQi zT67d)V1y|WP#PkbZIgJGWPCwVMTi*K)-^5AhvI~IyP2(q64%O}^c7$f&^!d^&Pp!X z>&V#(Lx*Dt!U}juOzfy((?!XVrYuoXCQM^ws3F5e%2cjAAu?qu)TZI>roKEKvoGy0 zC$!&M_<1C3BF?q>X$v!aK7&ubg{lVu2gp9!RN@Pz3Q} zhYuY?fI<|y`ySkER9l`X5ue2sB|{1DM<|Ig$X}D*F1$#H@z4?q@~!M@tc~8qF}Ao& z=#E8mu?^>12ysZ!VtyU<=T2i6kr@W1924O*zX;Y{Av@5G2}b zSBs&uWlHBoEPxI^3Pdbtn_2UaQGG4GGq3~IK)=O`{w*ZcL-+MQgJL8sRf&40VRwXSW z%E#Jb(W8TpaD6g62vs2IB`>Lb{7oNwsggH0H+2dgt3OYV?|!pX1q;xL@o{!KOdi8^ zi=4Ft`8$1X;*#>m(Xvo#puTc<$?!I5)2e;v^yql@78@~xU9H>BPp&P!Uj1WiU9k{m zi%j>kjP~nZV;jq-Wr;;aJM8F4zM1;DX8=XXpL-WY3t6-fRbcceHW(7~@Z?LSsG~6k z%iZ|-v(J=np+-S>FTiE@dNl#&lfhpW%Lg9JVXOJCqO=nWtCO^qX@ZWS{_4-ErVCJy z#lw$aBRtcfd2)cwYm2LfuIW3^&*+a>VD36b@~AvCgx_G1LU>dK_E!ZdXn=?uhAs%rU&m z_#VGQCtv62OB1y0f(2kn?1t{=>!-VPDJi!o-;CpUlS?+H1Do7M=*%DEO+NxU+uZHX z!9R9&*i>T#cCQEyQzI5{>ssxj=ol260{-~AJW>}EfKCTzA)ix%4@*8nC8D?fy}$vq zHe0?*V9PMQP2bQHlTR|VeXf{F^ccW+$X{qOwHBc>1UR(Zk&U5` z_mLXAIvMZzO-Ifg&$LjG>`bg{TL4OSI=-p%y@WL)8;Z~wotL-g*KUB0_rncq{@&U+ zW>x?^hZonzG%ZOJf_k3cM_`(Zil3^%+Dq#0llUFw zt7oPRYKLec!%oyCSh3f~VV7HcX77t4nKKNIK>Y3IM>$1=ewQm_`D3z6T>gr&Z&1aHd+&Y-|EJm%i%TgT>{)@z0uFH?erza1HiYjQ&{h99&pNWm5jkRpx5$DewyCQ1dFi^0( z(Hf}Fr>J!0bw)eXeLBXRkbT|oMI=~VhTsIVT%YC_#^g$ak~ihbq@rhY7Iv#>NLl(& zBw}f@Ww4tL$ep|SB~!G0EXy$ey339B=%iobPJTuuyKXANs#b!EC2p2WXXKEpjEZ`> zO(U>fm&}?|3P31yqr^7}_SUTy} z6kafL@-7sOsG|n5OZ67ztrv7xRs(7v2@x>^#2&Jcd za=~Q`Aq*9D+cxx#NhfoU56&C;J#2bM&PH*c`{r}du-w+wr8O=EYZR1o_W%=2Q=BVr za4WCmF?YvEUpH<0$4n^v5~ekle0Elgt|L+TSvSlw*x6w|HQlZ+ z>zX_4;AlA2-1~Y~fz&-uuIuwFb=^e)i}TK(@V`UhCieekCTBhPXi7aQVXG{%riC%= zSkG1}_FN{_pKJzNK1`O)Fa_kV3lhc`b&(3(c2_rD=lKn(wra#K2dzi(BZR@yDSP&y zW4mB$mzncG6HP?fM_X%pZZye1k%s+&4{kp6LcjvI5r_1Y00WryQ>_6Pj5j;40#IIX ztl962l3%E)c!b!QXy$&7UZ@Rr6TkQ9lX^uL5P@5z19ED}R60X}VABzaDbqgMmmpI!<)f7}_ ziuKNle(S4wCGZgUyKU^UKaSUct1s^b$SRDt%d9C#$0MX5)->c_eE$clR&5uq|B*%q zSnA5mj)p4Fp}XG`MXt9(noPyvqg|I8&Mqq8>@8dr-{^LROb|-$X-+A55O zc||gE=tIViSl#8kO|O2`zzK2S2uhg4K(Sl}ND!;l{C0^jDnRi6l9t}pSsEC}VE7T5 zVt&Rkyd$EW&yIQhvkhKBx{$5NC`reC0+Yx8vyTLEuo=@koO^9oTYG)Z5P@Zlqk)L{ zAI2m&R4;iMwi6{k;Pxxd38E$;TNgQ!k?!EK&}EaSi112Tg?m2wy0^#dINk8uW?!ab zkdxq1w~YJb4T5NSSmiVX9;;sVlH#BNThHg@J2%^}>O6sg!SGb&y#pTF1hQ*IcEeN@ zl%Sed!y-J?I@{4KJ51NR<$xYu!dA@1N4qLg_dD z!9_eWSYw~e3hQk+5J`eU%2NhIoE;$$;NUYx{#wg44`R}3TOm7?4Xw2#%pnWdg2_(w zG#~^_qi6Pl$h?UvqM< zP8MdjLk4bSmklWPl@#{fEG%WF<~nox4;K%73E;&hL$*dtWG)>jo`T@Gi$4RhiAG>u zgh4V(XxUG_;^sQvliOzX%+k5{i4z$xKS6UT(O?IlxQvPNLyM{la@*4@cbZGP^#wEt6)$O`asPe4XzI)iygYB?&+C>l5*W7COp-wnt zIXx7d-AG-H7&Qj0t)vuZb3hihcfahh!=d&*9|+7P+tm{TJacbgDSs-eRtlq@%c=ia zAi8OknjaT$_%!Ju{S>%27@W;WEYMrf*eSf#tb%3ug^jM(>vgziXMSDQJV+!lrQGq- zmYUl>j;JrdfQxri2B$v}7s(0F6iD-elK(Bie3huAar<@SQ z!9QPg+bZw<<9N3=j(*W$BE2D?T%y`yU|+W(V;Q!7B|PyCld} z3U3E&Jq7_gp$thA`n^I^y%*%s@quodI5NcF6i$c_DNkjp2@C?zi6V{T<`4&$gRREg znK)KfR_8d{W1a3Kt>=yCV1UmODXh^#pBznb;@HaPtFXdK+EZ)77f&44dlAeiNO);vz_S8`3Y64v@x)Wv`N@Q|k@O~OmJ zmnHSxwVDeAtgw8x5ZuDozq~0ecKcOdoHuwjV|h>L+`%)8kC-<2j@CqH=avq)XID5Q zA{rUi#r2L$B6PxfgxOpPM-D!h?;VJ;SXZ6LkK;_&;93r@fDzSzoksGYQa}FO>%DM( z@M1D0(pwQbm@P8Fx|m^uzPhoQ%%f2FW(L*tRj5Dt!hU2L9fo&20~G9v`0pdY&$Ci3T!(7Quh-Ban-f_hHk@ zzc{Jwct{_lDhir}u!Nc9#es4DGug1{A0{-q^&J!=02R-yxb+2|wfAmd(VlV>tT@4WcGWT2ZddDvKSos4GL8AEjzj zWrB$yi62)9pRJdfQBH-7c{dAl&*K%*&(1Yyl7_acq7JT3Pv0Z#n{^`(kTv@TmgzjD zD~hVhoONg{V6J(KIT*S{8@t)5`EWg&=;**qi)husOdDkQnf6tXLPzepQXq1Yv5xM7 z0K0rd=ob2}&xqtLr^1hX`9LUdWY}eJ_E5EE28)CA5Xq=YW1v>EwE7A-KFm0a=8w7x zCbz%>Jcsg{V?S!7bolUh{mG5AsGGZ+d!WIFAd|=;{8&r<@``nNB=8h&4Z+&P7^0yr zME6*;mOJ<=|AddmhHmC^rn343pq-joM`><}F9FL40(BsSwfN!1_BjUgqAK#lz=z~g zQo43NpDP>ThE=O|m;pZ?al5W=)GdX1H$MoDkXO*fcl8h!)A|jFRR_>4$h4t`4$5k5 zTCr=_qO~!eQD1I*LSlrj26#^{fk?Qx8 zhBKX}pXQqn2lVbik4p@lDzCw|HroN;bjH3jt(t2P%_nmhhF}Ef(=edQR7%3c8oB5* zEv+9j@B3ZF2529VQiz2MyTlrqe`o!fY+9#2-LF9{=Ft)-^!tRSxK1?~eES( zWjsj2fae|UV1TO{JT6@1I3>mIoOWA3uYD$*TMsLCFaS@Tq#plZ%duO?>qY|a-qB^$ zTuunGKS5(n*YDFrhd3&ELb^3tQYTI*2nyd%M~_=34XzGmyNQsgG`gf`TIdJiPI6X< zX@ien^Z?4^{RcCZ{{6@T*VX1YC+^sR7|eR0UGd)KL$KedNpNL|OR*WHhr72Xd4Vwrko;yOPfWQv43YRJJsfvUPl_K<{tM_Z#*ixgV2yy6ua^Z zcz$8U@tP4w7(lJ~E;M^db$ZWey-~jjN;|RK3{H*HP8`#;$$*@_lujc?z#mIheQuT|HTs!M`K#fosa(JRj7EWoia z$rDOoh?Omf$DvQ|%1WCQvW3DgiL6)`i58_*?hua`>@8>6R>9Ukhh~EN}P~-dUGfB>$CHbRWh8C?A@l?fbl4 z%beHzn0x@xman0#SPvDU?WC#a0Of9w>3;B6zbM`G>1V2N5l#h%?wNSnE!vEyk)yE^ z(*)IPHz|`#zxfi$4Sv#0#FKnZ*g;$PRfCtWtm3#_(X}~U-c{QjAX~||eEJhl>&RW4 zrLUm3MeV=1&B}fflUgt#wJ{sG6^#|yn~+XH&~pJzXCJ=E>2mp7^33I~n&nTR zFdM%D^MkJZmH7ZT9H9Wa2ej&jn|Z*_PVX#s0vI*{;Nj74zQPYJ_MT9M3OZ5sQQ>MX5Hfi8X-v#7&gH_fuC zAu#>&n+zariLKW>?EZXNC;soVasl_z@kLX{I9F-5;*pz8^wCm5-AMyFD&zSHdYHac z%U@qPC*b5mmA6mcL%Bhlij5gQI{n(&=*vs36<$cr(0uST)nvpE5`r*Lpq>BsJU!xdDq|S?D+(PNTKi}tVITo9vl_! zalw}Hl0lU}Z71?D*}Hf;D2qhn+(5n#*FhJQet1C4J*?A3#mPq0>+k5X;dl6}@j1op zmc$)S>A%a(K0oSm501iaO!X{(VND&CFA-@@OMPdj(4H;LNJcaF@ZY?Ue6D+`xz(v0 z>(G=(rzJhDJ_mak!B8lwvMa{NVGkenLnX&#l06(<#~K^bD0dO~Gq)*8yVp2*N%^^F z#tvq{BJ@pM`WDw`bztbpPS8eozbvH#1`vdRl5hU)-C{eNG@tx$EQ&d5Qk9jTt+UVC zhL;L3L=5wep~iUDM#4v)f0OxX{^TE4oIwB!^sYz5hKiGwcN<-bc@ie#0$gSa7);bg@t zLkLZ`R4&GM_w(sF9g2MWV#>GWVEXwn1wEU0z_vHXJcbxg2c5v(aWw**@!a$4#cgUV z{6=^|tX1d+X|{RZ69Xg)Pp81c4E^NGuhHTEP)xQZ)6VNv@lFri4<5_OizLn&+ z_v+`MXFq(vkbLU=28?JA{|@)G8ZO1o$l0T-jmqbtbA zoHX?>HH=$~6g@3GYc4H-xi@u4$fG@HDMh>Kqp-upiU>pZyp*nGrM`rJ{Mc&76Sf>0 zAZBy^Imn=dkY(O++7%`dd(a=jx`bZG@{!K3hzdg|EXX1i@F=jmU?32aa_#DldGMpq zb-a)5D*)@J<8}O&-XRVE{T*e-_Z|tvNqw92FbD2s4*8FU*aUoY=-A-d{UU^CU3=RvGraT#6X$gO-F}do`cd-&*K^OiZFk}= zwjM{uMAD}Sop}TL@9J)ebK`BO`RKl$^^OOJx4Ec(MhFji4fMG-gjDmI?2HbndKf-$ zf;0OBVy*h&kAELTZ{QAo@C$MNzW_G}$oPou&NoaW3#YdYsx$HF!k-mhR%4lzexJMB z7b$Lj^vpW4h05uSUMr*Qky@J^>JU~vy?Okec=OpZ`!b;oGSpP}2MpDbvEWxLCTbLae8p@Wypd)(TokBTwPqygMY{3Ix8|GV-ix6 z;-liz+R@NQTylSQbZ|suWJpjzcKzEE()^avjKt)uvWjwKVMbJFSV)k63=)djb$JOP5wVH!@k!am=wojjm5;;3w>Bbk(i1{ox`$*`ezc8P7-U9bR$+NrVL{`d=)Szc+RT`!g#4;1 z^mHeF__WrlqS)}z6eJ3d!?xEKM@NLEmo$uwVLEDZBO)TRi|dF?UQc~tL~LqB9jdvh zqoF7zDkZ-igYT}*jR=p!&^eMVh=N@huQLqlywl%KPUTXIF$#P0Sf zgKn!#OV2K=D9uP6w>Kg5fx7sVLc&|dFx*rG45+N6q@)@J@(H~S>4^~$@tLUZkyN8?!wH3sL1%L z_TkT{7C?7xc0NkDsz&TcNy!uYJ3a@~hf0fyj7`ny#6YuA3~WnsY(z?4Q4^LfU=ixe zvcp3o@@v|#I9zjiMnqV2UO5WSm~QP*yQ(Tt%`H_G)itF#skyZj=mI=UH`LaV357#M zTyBKTg`1BB^e*UC)X9k#-`@gp=z7jJCG^yNjas$cO#gs1*uW7DdjZ{ z;#Vc645Pm~Ffy^EytW=yQG{$F3TI(?Uz*;-fhKCI-j?h`pN&5 zy2u)>buv-=_L~_>+fKv?Ur727g3lwOhx+>Z2PUH*Ffc+HH_<;39-TM{U0!^n_vr8I z8^H;~+5a3k^s(WAk5*J)@4yK5PpGGl017iS(D#w*>+kOy82ya-&ndzsV@H9P5Z~-Q zpo$nKGbVRAzY{tM^U($n-WW&u3|;&K;LwR5Zw;tqqqxt}#i;|FJZ8B6<5kl)ID+}~ z3*tO-w)f*}cU>#`h;%x=qdflRxhvr%@9Z&Rl5ya2AA3?D5*V@U{JY?jaU&nM5m4|! z;`ArY{^Otezf%{vG+bL_ZCiUAs-eCYJMGyy7#J9szXZ-`S8IKJLtR}Rsmm#c3=9m+ z1h6i`z`(%3z)S$^A`A=+3=GT!ur9*Dz`(%3j3W^IKN_jTi<|m7xc~qF07*qoM6N<$ Eg5EBVh5!Hn From c2c10edf518cd3298cf3434010a426423561896c Mon Sep 17 00:00:00 2001 From: =?UTF-8?q?Patrik=20Pavli=C5=A1in?= Date: Sun, 21 Mar 2021 15:39:54 +0000 Subject: [PATCH 76/78] =?UTF-8?q?Nahr=C3=A1t=20soubory=20do=20=E2=80=9Epag?= =?UTF-8?q?es/students/2016/patrik=5Fpavlisin/tp20=E2=80=9C?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit --- .../2016/patrik_pavlisin/tp20/Bez názvu.png | Bin 0 -> 18466 bytes 1 file changed, 0 insertions(+), 0 deletions(-) create mode 100644 pages/students/2016/patrik_pavlisin/tp20/Bez názvu.png diff --git a/pages/students/2016/patrik_pavlisin/tp20/Bez názvu.png b/pages/students/2016/patrik_pavlisin/tp20/Bez názvu.png new file mode 100644 index 0000000000000000000000000000000000000000..a487b9091d7ce4131675b2af2b3f4ebf38da8dbd GIT binary patch literal 18466 zcmbSxV{;}n5b8{quABCNO)`)HR#d zwbI#I1S3TYRcS;_^CxgES1SXX3RPv{H_i6;Ho|{{U~&7N*TWncT+{I|YS-^;kl*5F z%jbqW|IsTzVGHzkV9@^x4)lsR_Wwu*tdV}`|C%yE{!ga8_(gGn{6X`_*CG>!h{5B& z>_I5*Inem&len;_Wi%$~Gk&Bj`F(UI%3C+P{ zyBv)vF+wYsg-SaugzIA-K1@u_T@M4-DeKMOXNlr3jaR&|-0}QM@7kP=fCoc7v5?>>jy>NI znC~g^$jS)2bmio4_uIX852p$lEn*ecqU1Y4SSrg~QtmlPy6>6_4w-}l!cN*?P&4LF z{%O=I!gIta2CSTNTwc>+qm~JR)pf0XrraPkCH$(1gs0o2Y>oUJ&AP_(v{kEmJek(5 zUF;m<4nQT|Fk1)%JTC3IWYW#a9W0sNb&{p`~4o2KzId=$*>rcBZZIi%f^$B5pA@3G=z~Y=5LvWK z8_IR?%@M2Cvk%cr4H5YCU!W8oxD_ycq-2a7bWQ`5N5H7ON-q>(pC4f$*Gt>d8* zMS3h6ECwBL8M3(@9b&HRAK9F6|L2_sE@N_b5T3Oo`+ho`&>3fN#ywy8!S0XYimki3 znr&hp8=qzUHYXiB7W2U6IQ2OLmPZ~cfg~VZ!%`a7o4M#t&Zt_#Kt#gw&w)-DnBJn^ zucPYO<>7cuq|$$$EzLG4(m9`WH2O33JNDnYH)a>VKiS^8y`C~oHD|j5USI+xf6KEp z;*J9}lzFx2tHuhq4t1xjhfO3wHb0V1W_0%tmQMebs#v-@5o_(cy_C7#WtX28fMIY} zP&`K^6Omre|ArJTmp;mzBvuv}Y%eqT7))R0$oo}+RbDpYikH5F>hg8QyyPG-y181i z44K>Q+wz7sE8ompU~QSnpfJ!c7fXFk0>7AVAWrm4nBHS@iouE;Szj*>hKkDa=7wf+_V)K3gr2i(R?O!@X2jLuC7zPW5pbmO^S7F@t(uyFpRA&bs;Hlp zf-phm;Dv)kp|$LzjCIt(;v4B#kN&pbGzMhp^k5O4(4JY#b-C{Vbx-Wr&`@Zo?GXq@ zyQrR%m3qo~f*?tg^R=GHHdix2CH42Z(t=3kf~BMZ#yD5Q}u} zSU>$_n%=#X-8l{zVF>GrftKF-vO&I~79xWpk(EMBT=Zmh$sOcV;YxEwMoG?}&sR1* zO~l6bDnN19_p`j{TP|ku1xfy#s-DU`@0_Nx+SV@#&Z+rsIUxxR0aU$+Io;%>l!QEO zsH|9lB_*Yexn-41%>@YDm^DK@0)kuvt=(mV#FUhsIY!&{HsV5ETD;DNjG!dByAtq( zE;M#YO-*eBe@+9fYy>?`NnHm+No51&KF5>f(W0l6unGo)5}&~~+-0snpZekTTnugM zaq7yB;g;!&g`AS5r{?Yvg9S$)1z!;n36!dqN@7-l$_Ct7jhpV5BD6n*Nq9m}eu8Fh40T zOGQOO4D^^18}e$D^+M>8Qi0ym3qPMTeiuG*uox1*)DrMIBKSB*lT>$F*#}bc)f`X>Dv7??aGb3%C z18xeMYSvNP*w{~%wu*XO%4+a<4~hy6!F_WAzFLO|PX^AqQ`otHgO`V=s-d^ImPC-6 z-y;F)skR1Nb)9L-6|06ALX#PVKDSsZ8I_8*twAf0EYjo8Y zL4#ke+cUu#z~5BETKSR5tY-A>@52 z-~1R2e1@iv8`POsCFHS|qwIu{ld_eCri-wDR0Eii(a!#2r<64#Uz0hk$e5tNhGVn? zYQPW_)bPu5CW@Km5a zt@%{ad>#6`u7v7bFpeP6b44g>-@s<)nE1zzpzGaB%ne}v$fEpdmiKuP){UB>I_;%I%n2%%x30?eE-?uZ& zBI@T}Kkz5V?IjU7C<-StTKl*dY`+F+%nc@^_+A;?$z0)~sd~N^t@i6#9A0q~BE68u zDx_31_Gwylax@&5h-lquy6x|Vs9qO-eXm8cTHzi4RXu>paP|_eh>q1Z0ftH%4-0N{EWrN zC$n{X^*dP=+v{RwoVb10$SC?60j(S7q2Vb>PNW3wR}}d+yqL3U&r;J88ZGeT3D-WN zZoNrPN*X3EZU?fbxl#jFGn8S%3l!RisaCuV?EE_vkmXT+(Ig@&d2# zW7P#5n5)M0JV!j%U8dbKwZvtgDwBUkrvBO%G$dJf*<9)*CQ&cil9nNwm6w#=N9@cv zg*YoAkv5y`G-GXdEjY&KQ_Z}%h2w^$-^-i4Z2D~nVrO>Xx`l_;F3#lLMAgz4P4%o+ zw@h4&6}FFuc+$eP7qGq3;sQBHi{RS#VyX7wx4WU)6%PG){Yh=W^<@oB--D}Ta^RY! z)68qDkFTGqiE{9Bv{^MncuSzeuQaIJRaQ8LTS9wz{%)7k>VHA4TYEileKSb{$a~Lf z#w{tT&WYK_A^kE+!%v}<<#D-AezVP7#pLC!Gy+jpxS(-nn2BAt5>cX&$Ms3pwikH6$<~Qio#zU_MKW` z!kOJ-^>J`$yW|2AvouKO(0+nLsE9zNs^VmkeZ$6PW6 zAm%TLYh+}GOQDPV_U+q}o`*Qz*ik)8sO%E=ro~weq=fNyNw&ghO+%CaM7?^ei}Cgd zJVc4B(Q?JG>Qyuy#gM-f7BRv?3|e6MG0Pr0bCP8eY-;}89cE3E>IutU(8gD&P&D0U zoy-R4dfN-R)&*X6yB#aWu+xP4#f=UvX{dWBKtvG<*TjtPIZ|y3Kj?R6)sc9H)ZfK3|-}g8!WA9-E?|)pvS5I-H4t+?rw=<}8?v%{f#&@;f zr|IFCLx)6yvmPl@cGJ8Pk3!V7)&_&3vAm97us1v4KD*Q1w76-06~cNuU*R=%*TdPx zVRx6c_y&dEGi*=$NNwGghtN*BiN?y?H_A8&uzEh|(J1Y4@B+YZ-hH2XX7^hg(}tx~9J?{MKu~4O>NPbJ{`OeHdszO@AU9 z4#rpM7-fV%=BpMnyW*!T^<1dc@#KRoWf(CVE6Fg<>@4jZ-;~iUa$=UF zPx{kF^+B%C5ga0Srpx{{80h|doHm}^r&t(#ccb~azpf*)o2bW0XSNC7%$?A$R#u0$Tr5)9DqAAcJ||1{ftcQLLY5bb;Uh@yUM2HLJ$8_+!{gS zgCa=`Z$uQEt*RPxGpg>1*VCz8`tFrFjo;T;{~8Viw5@I0dkx0wATcHQ`2lF`;S0|7 zv2=Ym>bsPZM~%B+r|sJdoH1aoLt_%NUiv!!g$HTshvUDPd}s<0j3HMZ`e#Qia{bQr z=?ZUIKOJY|K3kiIStN|ac@x9{cJC3g8P|%*@Qi(SS={mRhyoKfnQ({}?6H&;rB#rN zI1-+tQ(M|Z?v}F)Lr_gB{A@Gy_d4#dI*o1BuG*X)7T@aeX_-&c2pB?oDbVQL@FRgNh&*? zPX-x2)UGnF$?4JZEHXlw7EJ{aYHZadm?GnDdrvHV#l65ofZ#P9HU=c;RwQrN>2|ykd@wy#DIV@zB>GbJO!Fp>ab8MM4Vl<$ApU?guFM|WjGQ8u3lF!XR%BBpBOqiK4Bjie-g z)rU?^mm+{gPESy(BdvF2u2Su<+hBd9J+z3jgi8&?p_hJYg`3)gYp-XtQ}4ZV{&ad} zFLcj7KAF*{YCBEQ_W$r{gb}u;^*uk=)!03A){ybumA5RRMNaX&PM_P@JLBib&NgWDBix* z%!V<6sbB}%>H(fmqveK7V8EXUTGLT~P>RwU0UD#R;fK5x< zw82{%gEN#%^C@xfqBFL~uI(+sf=imEn!>{Qjzs~@`mUgT;0TtZE<%Z>^>*M0&+^Wx z|GRWO%=Dr2S`m=t)i=(lS;(z+C^nRVp^lp7@~eZzQReTuLCYdZWuU9mv^1|W>=$E= z2EQe^FEY);xWq7lKxV8d$L9H55rO7sq$ytvB}`whf9>~T^ub&$i_NujAvTs(m&Luz zwR2M7BqmniAX);AA7|a7Jf>oAW7lTY2Gdbo_=D*W<;24ShxS3?KZrm25QWf_3O+4K zapa)hyGUEe{rh*2+xLn`>_{=K$ps>_Qnp(w|4^Et3|>#VYS-tY$pVS|W{p_%$+WCy z4Q*^W>tYZ_2m5B&8v-w~w|%vw-&6FZ3aW{YQay`TTYB{zaQlM{u+S9Oo!)|J^5JPZ zJ;V>sfqQ>=CwRi6iuFq&soQ||bL|ItXZ9=}FLi&W#9Z#M^;;>~*%kOJF9#Yn|CDOj zy3*hhCk%XL#n&eYo@>mIzhI5@31Xs%G;B5bUn;An!RO~L!?^kI&hUtr?ZJ8f&a#A+JoIMav%2iV;fNp|is}0f zZSP7BWAaKOk{UbH?CmpK)PKF$v9>rnBF5pMtnO`gM)o=|S!8RNqb4A;2gKk&nyGT^}iC*|k zU`0+!8Y~+N2C6*`FyzFHI07SeNu5wPVv!%98Yl1UNS-fg^j zPMn~7fABXn+F$?#oUcB-=&wE!TNYH62L4M`MgC;nuY}~~=yTL(6^+2c=7%!IkmRbnmltMjxv~BZ8;N%fToZ|Kzy{j}^RR1L2u6jQk z>I7{1n*W-4*WbDDu#i(zk0_%s1C?1yz=lXZ98PJoA|$#b)j*%QY02G&DnmK69xs%~ zUOxwT*~IidK<~GwLk&QyZ<{~=X!9>_I28|KbjZ{#&4QcI>TKT2)BeSO5P!2e>73NK zV243O!f=%K{+_|DD_Gj*tHsdb-Tj*Cv|BAW0XG9IBy2ddSh93L6KPy0f4a}4LGRhC zGsgKoHx+3rEWT#4jfWkwYVeHQ!mRqe)OAz#paefb26bG}Q{(vHI5nX=8w*e8nF zj*{i^Jn!rn25?ht0HkeVlr=T{b3m81;(CIPb~csNnUp;k1*NI1&n$1Tf6G1Pwc(64 zsT&ldtWq@VId8tn)6R5>mgT+u*P-YtZ9x2;5Jzc-{)-c4I(RXgxW#qNarYFF_njwPAle8Tx%>bij*1^H+)BWYb!FAgK{H% z=uMc%*zqCbo1?4IS3tct=BplJkIG1Yp^bb&pf9Ewnz!NIB(Ft&R7JeKJ@;}h0~{2r z$QNa$21PN>4C@%hBt;+yZGs_{h7**^dyIy0ohgEsa`#!qS;q{yYM0zRW>aiKg*anL zcWb;9$rh(jlzBm{A>>R?GHiFh-l!DyVO)oPP7+3si1ln$^j<$WX2}}OmyB|!5TP{T^}WHn z%1QlERg1-dw)Mc%Bk zoSlq}lMq3%wuT`_u%=f<=2=KfThXMkwr*!XV<9~H%5ydQ^w|S%!*e7xl?;D1DRG$( zUw>sj_nM*4sO;h95{G^*@88~kO#^W=%yMx^2uWh*vpi&%LkwC|1p$BMZD?5kq)FJ8 z9*>yIE}ls=TYbKbk=+V3QG)1zH>2xl4BnZ|lVt=L&y<|>c*bp)8EWD1ZhwN@d06W# zS<7~xs{~OwaU1r9$Bms~+7!9mq&YBu3+4V)S>QtT<^`N@{I%9&%-=E}5!mCNdC2sf z{ja-)FRU?^lCHN@Xn}JFD2u1G41#PAia3WLbf)?F*;|8vhoS-qoQn&cz>86jlWcWSH&NHlQw=YMzM2pbP|!H zQcf7<0{KHQXj5*zN{!#Z$pFbUO^SWY=v9K@JG~rd_aknq@z{(6`D(G)abYk@bng!-?wA}j+~>CSCskN z?=LV086CZy4_`wHLW3#L7v4_9CkvdFn!wrD+uUhuwVEE)HJSohUk)B#T6nq?bNQV5 zjb>-IB}EgA^qvT(9vUo8hmA4O`3H zae;BLc8GlJ?e%_BVL!}1V}FpR2jA9Y zO7d|8YN)0!1@*po8g6P@Imk=FnW5T?R4epeDyj=o@TctgF14Iw4NRB}*0BMCCt zRZK_2v-1bortfR#mppXx_2o{eTt3M=XF*l}BV@?`nk+L>q=k}hk*-U3&?-a67=`LX zimd$E0#+D*TVxh7C=ekf&-jl1e&E9A`2xqH-a8lxfB%4%a5^+dpC#WPkwT{l3ndsx z-1*>#Cowlgh$T;`WP?kUBZ)PJu|0zzj2XxO8SaqYOB&U|!?RW*xb5*BpfHJukd&C8 zQ#<9t-x}+Od5MLP>n~G{6eG!$Dw)HP<4F}ONr)n22^%O#hTY2$Bb)y{Y=$x~x)%*W zg-gEAWXcmiU4R@}&;Y@bJN$=*3Y`Wiq>!ahw^1siaDSee4e6aCUY=xc-1I+O*a#*d z@vk%`iWC_iX3Ve=)gSf%ctYr{6sfYkd$hiJagq4Hf8&aF)hGhRaqtL+_hAsA+#q}- zQC2~dLm@dSkYOSC{7V8r;NfVd0)C;Iqx)JR0B`tc^W_VbcWY${?Ge!o8cos1;`EnTz5u8QHh|J@-C6baj`fAgo8%Za>(@a%$AlRJ;;QF{CuJQ zXe@pp`IAOb-Cco$MM@)#qlZk=VqjrlSu&s0@xmZ4p@S&WVq152{ZwfrjhqZIY)gV- zMj{pf%emS5L@6<|9y7Y`AVDc8;kYq zZ0$soXemB`hqoel(!ZW2tIjbfe^ha9=oF(7o}TWW?q1|+Z*xA0`hTGNOaGcmwr_Mo z7LBYO)byb{E32qw{K#6A@7bRbb^kC}4#s{H#xWS+tO0*;1g1_03X`O#fWep)WyB+^ zGb`2hkrXpt@U|A25xLvdb4h|9Kje#*rW>aF=y<#7*sohF^qmny7#4m|dOCI*1+_gk z608zAtf2YAzZWz54iEa`0hlFSwRT1#Z{_;OKiGOIX3l}NJubqlw_k0=KlGha46{y~ zcjSMTS4KUZRwU17eWQhlzssB~&IC2ALye$t;hTcnX2qtG*r%-VGd2Pvw^!6u7Zowf zzfs#=<*Xvl>jft})IXnpj?xT?UMyqwucx@M2&_Vus5KTwjg30H>n&%pyV_oMN$!6z zJyX&al73(0qr%MTkaAL2X1py&Es|)3UYwQF`e)f?bCbzEzE@l8@&NvsfEt558>N?o z7M(XxeNhVAb<~uaei8@L$i%v*X}HIvM2iwid-Ls zZg|j(hAaCJZ1Y-|C}t=646r(OuvTq$ki!2s(u6!pvQhDT0IGtG*;R8scO%x1-Cs1; z^G#TM^_r?n-JG{8xW1swYXO}}`XdEQ196=;K$<#vPXy)1gUGCxS`?>?*`WAXCxCC} z0&$k{8O>dvX(k0<=w55MgT@-><{Pg*$A+5h^V21+(*>fhZ%THHhsB1$miorR<6*u-y zXkko@Bus|%&)k0rL5^&$156-WqW_Rti!PR)4THh2y|2E$J^-73#a|#INYo@sj3s8W z5SdA9L06T|m%`lC(h^&qxJ_TT*XWu-b}#!4p9eFB97S4#(5 zKj`27PY_gm+loPv_uP$%Fmkp8g({V4)!lhJovZ%e&JCW)B@Vuzp#z0_Y+nYn_+jNU zqk^I0q)09>?WHVq5)?(UK0o@o6*b&2vCIS{g@DEr8v0vnR4VY08KZ?UvS=#gQ`Ipt znoKb?q`nMvFics9ufV|q<)PSVi@6E}iV!)9MVv)~;(Hv^=C8_@s`RaSvFM6sJt#;u zm?)NUGW>Y?(S1jBDEJ&$I*9neV7xwcXnE53VXMEh_vm`Y{0o(2EUDud zx*X{cDy9pYtKb$&<6_D#AY5`fqEja9USG}b_(4+HH?f)MBvDhQ^VDK2kgl8*$qFQi zT67d)V1y|WP#PkbZIgJGWPCwVMTi*K)-^5AhvI~IyP2(q64%O}^c7$f&^!d^&Pp!X z>&V#(Lx*Dt!U}juOzfy((?!XVrYuoXCQM^ws3F5e%2cjAAu?qu)TZI>roKEKvoGy0 zC$!&M_<1C3BF?q>X$v!aK7&ubg{lVu2gp9!RN@Pz3Q} zhYuY?fI<|y`ySkER9l`X5ue2sB|{1DM<|Ig$X}D*F1$#H@z4?q@~!M@tc~8qF}Ao& z=#E8mu?^>12ysZ!VtyU<=T2i6kr@W1924O*zX;Y{Av@5G2}b zSBs&uWlHBoEPxI^3Pdbtn_2UaQGG4GGq3~IK)=O`{w*ZcL-+MQgJL8sRf&40VRwXSW z%E#Jb(W8TpaD6g62vs2IB`>Lb{7oNwsggH0H+2dgt3OYV?|!pX1q;xL@o{!KOdi8^ zi=4Ft`8$1X;*#>m(Xvo#puTc<$?!I5)2e;v^yql@78@~xU9H>BPp&P!Uj1WiU9k{m zi%j>kjP~nZV;jq-Wr;;aJM8F4zM1;DX8=XXpL-WY3t6-fRbcceHW(7~@Z?LSsG~6k z%iZ|-v(J=np+-S>FTiE@dNl#&lfhpW%Lg9JVXOJCqO=nWtCO^qX@ZWS{_4-ErVCJy z#lw$aBRtcfd2)cwYm2LfuIW3^&*+a>VD36b@~AvCgx_G1LU>dK_E!ZdXn=?uhAs%rU&m z_#VGQCtv62OB1y0f(2kn?1t{=>!-VPDJi!o-;CpUlS?+H1Do7M=*%DEO+NxU+uZHX z!9R9&*i>T#cCQEyQzI5{>ssxj=ol260{-~AJW>}EfKCTzA)ix%4@*8nC8D?fy}$vq zHe0?*V9PMQP2bQHlTR|VeXf{F^ccW+$X{qOwHBc>1UR(Zk&U5` z_mLXAIvMZzO-Ifg&$LjG>`bg{TL4OSI=-p%y@WL)8;Z~wotL-g*KUB0_rncq{@&U+ zW>x?^hZonzG%ZOJf_k3cM_`(Zil3^%+Dq#0llUFw zt7oPRYKLec!%oyCSh3f~VV7HcX77t4nKKNIK>Y3IM>$1=ewQm_`D3z6T>gr&Z&1aHd+&Y-|EJm%i%TgT>{)@z0uFH?erza1HiYjQ&{h99&pNWm5jkRpx5$DewyCQ1dFi^0( z(Hf}Fr>J!0bw)eXeLBXRkbT|oMI=~VhTsIVT%YC_#^g$ak~ihbq@rhY7Iv#>NLl(& zBw}f@Ww4tL$ep|SB~!G0EXy$ey339B=%iobPJTuuyKXANs#b!EC2p2WXXKEpjEZ`> zO(U>fm&}?|3P31yqr^7}_SUTy} z6kafL@-7sOsG|n5OZ67ztrv7xRs(7v2@x>^#2&Jcd za=~Q`Aq*9D+cxx#NhfoU56&C;J#2bM&PH*c`{r}du-w+wr8O=EYZR1o_W%=2Q=BVr za4WCmF?YvEUpH<0$4n^v5~ekle0Elgt|L+TSvSlw*x6w|HQlZ+ z>zX_4;AlA2-1~Y~fz&-uuIuwFb=^e)i}TK(@V`UhCieekCTBhPXi7aQVXG{%riC%= zSkG1}_FN{_pKJzNK1`O)Fa_kV3lhc`b&(3(c2_rD=lKn(wra#K2dzi(BZR@yDSP&y zW4mB$mzncG6HP?fM_X%pZZye1k%s+&4{kp6LcjvI5r_1Y00WryQ>_6Pj5j;40#IIX ztl962l3%E)c!b!QXy$&7UZ@Rr6TkQ9lX^uL5P@5z19ED}R60X}VABzaDbqgMmmpI!<)f7}_ ziuKNle(S4wCGZgUyKU^UKaSUct1s^b$SRDt%d9C#$0MX5)->c_eE$clR&5uq|B*%q zSnA5mj)p4Fp}XG`MXt9(noPyvqg|I8&Mqq8>@8dr-{^LROb|-$X-+A55O zc||gE=tIViSl#8kO|O2`zzK2S2uhg4K(Sl}ND!;l{C0^jDnRi6l9t}pSsEC}VE7T5 zVt&Rkyd$EW&yIQhvkhKBx{$5NC`reC0+Yx8vyTLEuo=@koO^9oTYG)Z5P@Zlqk)L{ zAI2m&R4;iMwi6{k;Pxxd38E$;TNgQ!k?!EK&}EaSi112Tg?m2wy0^#dINk8uW?!ab zkdxq1w~YJb4T5NSSmiVX9;;sVlH#BNThHg@J2%^}>O6sg!SGb&y#pTF1hQ*IcEeN@ zl%Sed!y-J?I@{4KJ51NR<$xYu!dA@1N4qLg_dD z!9_eWSYw~e3hQk+5J`eU%2NhIoE;$$;NUYx{#wg44`R}3TOm7?4Xw2#%pnWdg2_(w zG#~^_qi6Pl$h?UvqM< zP8MdjLk4bSmklWPl@#{fEG%WF<~nox4;K%73E;&hL$*dtWG)>jo`T@Gi$4RhiAG>u zgh4V(XxUG_;^sQvliOzX%+k5{i4z$xKS6UT(O?IlxQvPNLyM{la@*4@cbZGP^#wEt6)$O`asPe4XzI)iygYB?&+C>l5*W7COp-wnt zIXx7d-AG-H7&Qj0t)vuZb3hihcfahh!=d&*9|+7P+tm{TJacbgDSs-eRtlq@%c=ia zAi8OknjaT$_%!Ju{S>%27@W;WEYMrf*eSf#tb%3ug^jM(>vgziXMSDQJV+!lrQGq- zmYUl>j;JrdfQxri2B$v}7s(0F6iD-elK(Bie3huAar<@SQ z!9QPg+bZw<<9N3=j(*W$BE2D?T%y`yU|+W(V;Q!7B|PyCld} z3U3E&Jq7_gp$thA`n^I^y%*%s@quodI5NcF6i$c_DNkjp2@C?zi6V{T<`4&$gRREg znK)KfR_8d{W1a3Kt>=yCV1UmODXh^#pBznb;@HaPtFXdK+EZ)77f&44dlAeiNO);vz_S8`3Y64v@x)Wv`N@Q|k@O~OmJ zmnHSxwVDeAtgw8x5ZuDozq~0ecKcOdoHuwjV|h>L+`%)8kC-<2j@CqH=avq)XID5Q zA{rUi#r2L$B6PxfgxOpPM-D!h?;VJ;SXZ6LkK;_&;93r@fDzSzoksGYQa}FO>%DM( z@M1D0(pwQbm@P8Fx|m^uzPhoQ%%f2FW(L*tRj5Dt!hU2L9fo&20~G9v`0pdY&$Ci3T!(7Quh-Ban-f_hHk@ zzc{Jwct{_lDhir}u!Nc9#es4DGug1{A0{-q^&J!=02R-yxb+2|wfAmd(VlV>tT@4WcGWT2ZddDvKSos4GL8AEjzj zWrB$yi62)9pRJdfQBH-7c{dAl&*K%*&(1Yyl7_acq7JT3Pv0Z#n{^`(kTv@TmgzjD zD~hVhoONg{V6J(KIT*S{8@t)5`EWg&=;**qi)husOdDkQnf6tXLPzepQXq1Yv5xM7 z0K0rd=ob2}&xqtLr^1hX`9LUdWY}eJ_E5EE28)CA5Xq=YW1v>EwE7A-KFm0a=8w7x zCbz%>Jcsg{V?S!7bolUh{mG5AsGGZ+d!WIFAd|=;{8&r<@``nNB=8h&4Z+&P7^0yr zME6*;mOJ<=|AddmhHmC^rn343pq-joM`><}F9FL40(BsSwfN!1_BjUgqAK#lz=z~g zQo43NpDP>ThE=O|m;pZ?al5W=)GdX1H$MoDkXO*fcl8h!)A|jFRR_>4$h4t`4$5k5 zTCr=_qO~!eQD1I*LSlrj26#^{fk?Qx8 zhBKX}pXQqn2lVbik4p@lDzCw|HroN;bjH3jt(t2P%_nmhhF}Ef(=edQR7%3c8oB5* zEv+9j@B3ZF2529VQiz2MyTlrqe`o!fY+9#2-LF9{=Ft)-^!tRSxK1?~eES( zWjsj2fae|UV1TO{JT6@1I3>mIoOWA3uYD$*TMsLCFaS@Tq#plZ%duO?>qY|a-qB^$ zTuunGKS5(n*YDFrhd3&ELb^3tQYTI*2nyd%M~_=34XzGmyNQsgG`gf`TIdJiPI6X< zX@ien^Z?4^{RcCZ{{6@T*VX1YC+^sR7|eR0UGd)KL$KedNpNL|OR*WHhr72Xd4Vwrko;yOPfWQv43YRJJsfvUPl_K<{tM_Z#*ixgV2yy6ua^Z zcz$8U@tP4w7(lJ~E;M^db$ZWey-~jjN;|RK3{H*HP8`#;$$*@_lujc?z#mIheQuT|HTs!M`K#fosa(JRj7EWoia z$rDOoh?Omf$DvQ|%1WCQvW3DgiL6)`i58_*?hua`>@8>6R>9Ukhh~EN}P~-dUGfB>$CHbRWh8C?A@l?fbl4 z%beHzn0x@xman0#SPvDU?WC#a0Of9w>3;B6zbM`G>1V2N5l#h%?wNSnE!vEyk)yE^ z(*)IPHz|`#zxfi$4Sv#0#FKnZ*g;$PRfCtWtm3#_(X}~U-c{QjAX~||eEJhl>&RW4 zrLUm3MeV=1&B}fflUgt#wJ{sG6^#|yn~+XH&~pJzXCJ=E>2mp7^33I~n&nTR zFdM%D^MkJZmH7ZT9H9Wa2ej&jn|Z*_PVX#s0vI*{;Nj74zQPYJ_MT9M3OZ5sQQ>MX5Hfi8X-v#7&gH_fuC zAu#>&n+zariLKW>?EZXNC;soVasl_z@kLX{I9F-5;*pz8^wCm5-AMyFD&zSHdYHac z%U@qPC*b5mmA6mcL%Bhlij5gQI{n(&=*vs36<$cr(0uST)nvpE5`r*Lpq>BsJU!xdDq|S?D+(PNTKi}tVITo9vl_! zalw}Hl0lU}Z71?D*}Hf;D2qhn+(5n#*FhJQet1C4J*?A3#mPq0>+k5X;dl6}@j1op zmc$)S>A%a(K0oSm501iaO!X{(VND&CFA-@@OMPdj(4H;LNJcaF@ZY?Ue6D+`xz(v0 z>(G=(rzJhDJ_mak!B8lwvMa{NVGkenLnX&#l06(<#~K^bD0dO~Gq)*8yVp2*N%^^F z#tvq{BJ@pM`WDw`bztbpPS8eozbvH#1`vdRl5hU)-C{eNG@tx$EQ&d5Qk9jTt+UVC zhL;L3L=5wep~iUDM#4v)f0OxX{^TE4oIwB!^sYz5hKiGwcN<-bc@ie#0$gSa7);bg@t zLkLZ`R4&GM_w(sF9g2MWV#>GWVEXwn1wEU0z_vHXJcbxg2c5v(aWw**@!a$4#cgUV z{6=^|tX1d+X|{RZ69Xg)Pp81c4E^NGuhHTEP)xQZ)6VNv@lFri4<5_OizLn&+ z_v+`MXFq(vkbLU=28?JA{|@)G8ZO1o$l0T-jmqbtbA zoHX?>HH=$~6g@3GYc4H-xi@u4$fG@HDMh>Kqp-upiU>pZyp*nGrM`rJ{Mc&76Sf>0 zAZBy^Imn=dkY(O++7%`dd(a=jx`bZG@{!K3hzdg|EXX1i@F=jmU?32aa_#DldGMpq zb-a)5D*)@J<8}O&-XRVE{T*e-_Z|tvNqw92FbD2s4*8FU*aUoY=-A-d{UU^CU3=RvGraT#6X$gO-F}do`cd-&*K^OiZFk}= zwjM{uMAD}Sop}TL@9J)ebK`BO`RKl$^^OOJx4Ec(MhFji4fMG-gjDmI?2HbndKf-$ zf;0OBVy*h&kAELTZ{QAo@C$MNzW_G}$oPou&NoaW3#YdYsx$HF!k-mhR%4lzexJMB z7b$Lj^vpW4h05uSUMr*Qky@J^>JU~vy?Okec=OpZ`!b;oGSpP}2MpDbvEWxLCTbLae8p@Wypd)(TokBTwPqygMY{3Ix8|GV-ix6 z;-liz+R@NQTylSQbZ|suWJpjzcKzEE()^avjKt)uvWjwKVMbJFSV)k63=)djb$JOP5wVH!@k!am=wojjm5;;3w>Bbk(i1{ox`$*`ezc8P7-U9bR$+NrVL{`d=)Szc+RT`!g#4;1 z^mHeF__WrlqS)}z6eJ3d!?xEKM@NLEmo$uwVLEDZBO)TRi|dF?UQc~tL~LqB9jdvh zqoF7zDkZ-igYT}*jR=p!&^eMVh=N@huQLqlywl%KPUTXIF$#P0Sf zgKn!#OV2K=D9uP6w>Kg5fx7sVLc&|dFx*rG45+N6q@)@J@(H~S>4^~$@tLUZkyN8?!wH3sL1%L z_TkT{7C?7xc0NkDsz&TcNy!uYJ3a@~hf0fyj7`ny#6YuA3~WnsY(z?4Q4^LfU=ixe zvcp3o@@v|#I9zjiMnqV2UO5WSm~QP*yQ(Tt%`H_G)itF#skyZj=mI=UH`LaV357#M zTyBKTg`1BB^e*UC)X9k#-`@gp=z7jJCG^yNjas$cO#gs1*uW7DdjZ{ z;#Vc645Pm~Ffy^EytW=yQG{$F3TI(?Uz*;-fhKCI-j?h`pN&5 zy2u)>buv-=_L~_>+fKv?Ur727g3lwOhx+>Z2PUH*Ffc+HH_<;39-TM{U0!^n_vr8I z8^H;~+5a3k^s(WAk5*J)@4yK5PpGGl017iS(D#w*>+kOy82ya-&ndzsV@H9P5Z~-Q zpo$nKGbVRAzY{tM^U($n-WW&u3|;&K;LwR5Zw;tqqqxt}#i;|FJZ8B6<5kl)ID+}~ z3*tO-w)f*}cU>#`h;%x=qdflRxhvr%@9Z&Rl5ya2AA3?D5*V@U{JY?jaU&nM5m4|! z;`ArY{^Otezf%{vG+bL_ZCiUAs-eCYJMGyy7#J9szXZ-`S8IKJLtR}Rsmm#c3=9m+ z1h6i`z`(%3z)S$^A`A=+3=GT!ur9*Dz`(%3j3W^IKN_jTi<|m7xc~qF07*qoM6N<$ Eg5EBVh5!Hn literal 0 HcmV?d00001 From 7f7bb16b459b6679b4137e982a6d920fba5778fb Mon Sep 17 00:00:00 2001 From: =?UTF-8?q?Patrik=20Pavli=C5=A1in?= Date: Sun, 21 Mar 2021 15:51:42 +0000 Subject: [PATCH 77/78] =?UTF-8?q?P=C5=99idat=20=E2=80=9Epages/students/201?= =?UTF-8?q?6/patrik=5Fpavlisin/tp20/dp=E2=80=9C?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit --- pages/students/2016/patrik_pavlisin/tp20/dp | 35 +++++++++++++++++++++ 1 file changed, 35 insertions(+) create mode 100644 pages/students/2016/patrik_pavlisin/tp20/dp diff --git a/pages/students/2016/patrik_pavlisin/tp20/dp b/pages/students/2016/patrik_pavlisin/tp20/dp new file mode 100644 index 0000000000..e1d32601c0 --- /dev/null +++ b/pages/students/2016/patrik_pavlisin/tp20/dp @@ -0,0 +1,35 @@ +Google’s neural machine translation system + +NMT používa end-to-end vzdelávací prístup pre automatický preklad, ktorého cieľom je prekonať slabé stránky konvenčných frázových systémov. Bohužiaľ systémy NMT sú výpočtovo nákladné počas trénovania ako aj pri samotnom preklade (niekedy kvôli ochrane napr. pri vysokom množstve veľkých súborov a veľkých modelov). Niekoľko autorov tiež uviedlo, že systémom NMT chýba robustnosť, najmä keď vstupné vety obsahujú zriedkavé, alebo zastaralé slová. Tieto problémy bránili používaniu NMT v praktických nasadeniach a službách, kde je nevyhnutná presnosť aj rýchlosť. Spoločnosť Google preto predstavila GNMT (Google´s Neural Machine Translation) systém , ktorý sa pokúša vyriešiť mnohé z týchto problémov. Tento model sa skladá z hlbokej siete Long Short-Term Memory (LSTM) s 8 kódovacími a 8 dekódovacími vrstvami, ktoré využívajú zvyškové spojenia, ako aj pozorovacie spojenia zo siete dekodéra ku kódovaciemu zariadeniu. Aby sa zlepšila paralelnosť a tým pádom skrátil čas potrebný na tréning, tento mechanizmus pozornosti spája spodnú vrstvu dekodéra s hornou vrstvou kódovacieho zariadenia. Na urýchlenie konečnej rýchlosti prekladu používame pri odvodzovacích výpočtoch aritmetiku s nízkou presnosťou. Aby sa vylepšila práca so zriedkavými slovami, slová sa delia na vstup aj výstup na obmedzenú množinu bežných podslovných jednotiek („wordpieces“). Táto metóda poskytuje dobrú rovnováhu medzi flexibilitou modelov oddelených znakom a účinnosťou modelov oddelených slovom, prirodzene zvláda preklady vzácnych slov a v konečnom dôsledku zvyšuje celkovú presnosť systému. + +Štatistický strojový preklad (SMT) je po celé desaťročia dominantnou paradigmou strojového prekladu. Implementáciami SMT sú vo všeobecnosti systémy založené na frázach (PBMT), ktoré prekladajú sekvencie slov alebo frázy, kde sa môžu dĺžky líšiť. Ešte pred príchodom priameho neurónového strojového prekladu sa neurónové siete s určitým úspechom používali ako súčasť systémov SMT. Možno jeden z najpozoruhodnejších pokusov spočíval v použití spoločného jazykového modelu na osvojenie frázových reprezentácií, čo prinieslo pozoruhodné zlepšenie v kombinácii s prekladom založeným na frázach. Tento prístup však vo svojej podstate stále využíva frázové prekladové systémy, a preto dedí ich nedostatky. + +O koncepciu end-to-end učenia pre strojový preklad sa v minulosti pokúšali s obmedzeným úspechom. Po seminárnych prácach v tejto oblasti sa kvalita prekladu NMT priblížila k úrovni frázových prekladových systémov pre bežné výskumné kritériá. V anglickom až francúzskom jazyku WMT’14 dosiahol tento systém zlepšenie o 0,5 BLEU v porovnaní s najmodernejším frázovým systémom. Odvtedy bolo navrhnutých veľa nových techník na ďalšie vylepšenie NMT ako napríklad použitie mechanizmu pozornosti na riešenie zriedkavých slov, mechanizmu na modelovanie pokrytia prekladu, rôznymi druhmi mechanizmov pozornosti, minimalizáciou strát na úrovni vety. Aj keď presnosť prekladu týchto systémov bola povzbudivá, systematické porovnanie s veľkým rozsahom chýba, frázové prekladové systémy založené na kvalite výroby chýbajú. + +LSTM sú špeciálny typ Rekurentných neurónových sietí (RNN), ktorý slúži na dosiahnutie dlhodobého kontextu (napr. Pri doplnení chýbajúcej interpunkcie alebo veľkých písmen). Najväčšie využitie LSTM je v oblasti strojového učenia a hĺbkového učenia. + +Vlastnosti LSTM: + + pripravený spracovať nielen jednoduché dáta, ale aj celé sekvenčné dáta (napr. reč alebo video), + + sú vhodné na klasifikáciu, spracovanie a vytváranie predikcií na základe časových údajov + + LSTM boli definované tak, aby si na rozdiel od RNN vedeli pomôcť s problémom, ktorý sa nazýva „Exploding and vanishing gradient problems“. + +Exploding and vanishing gradient problems + +V strojovom učení sa s problémom miznúceho gradientu stretávame pri trénovaní umelých neurónových sietí metódami učenia založenými na gradiente a spätnou propagáciou. V takýchto metódach dostáva každá z váh neurónovej siete aktualizáciu úmernú čiastočnej derivácii chybovej funkcie vzhľadom na aktuálnu váhu v každej iterácii tréningu. Problém je v tom, že v niektorých prípadoch bude gradient zbytočne malý, čo účinne zabráni tomu, aby váha zmenila svoju hodnotu. V najhoršom prípade to môže úplne zabrániť neurónovej sieti v ďalšom tréningu. Ako jeden príklad príčiny problému majú tradičné aktivačné funkcie, ako je hyperbolická tangenciálna funkcia, gradienty v rozsahu (0, 1) a spätné šírenie počíta gradienty podľa pravidla reťazca. To má za následok znásobenie n týchto malých čísel na výpočet gradientov prvých vrstiev v sieti n-vrstiev, čo znamená, že gradient (chybový signál) exponenciálne klesá s n, zatiaľ čo prvé vrstvy trénujú veľmi pomaly. + +Ak sa použijú aktivačné funkcie, ktorých deriváty môžu nadobúdať väčšie hodnoty, riskujeme, že narazíme na súvisiaci problém s explodujúcim gradientom. Problém s explodujúcim gradientom je problém, ktorý sa môže vyskytnúť pri trénovaní umelých neurónových sietí pomocou gradientného klesania spätným šírením. Problém s explodujúcim gradientom je možné vyriešiť prepracovaním sieťového modelu, použitím usmernenej lineárnej aktivácie, využitím sietí s dlhodobou krátkodobou pamäťou (LSTM), orezaním gradientu a regularizáciou hmotnosti. Ďalším riešením problému s explodujúcim gradientom je zabrániť tomu, aby sa gradienty zmenili na 0, a to pomocou procesu známeho ako orezávanie gradientov, ktorý kladie na každý gradient vopred definovanú hranicu. Orezávanie prechodov zaisťuje, že prechody budú smerovať rovnakým smerom, ale s kratšími dĺžkami. +Wordpiece Model + +Tento prístup je založený výlučne na dátach a je zaručené, že pre každú možnú postupnosť znakov vygeneruje deterministickú segmentáciu. Je to podobné ako metóda použitá pri riešení zriedkavých slov v strojovom preklade neurónov. Na spracovanie ľubovoľných slov najskôr rozdelíme slová na slovné druhy, ktoré sú dané trénovaným modelom slovných spojení. Pred cvičením modelu sú pridané špeciálne symboly hraníc slov, aby bolo možné pôvodnú sekvenciu slov získať zo sekvencie slovného slova bez nejasností. V čase dekódovania model najskôr vytvorí sekvenciu slovných spojení, ktorá sa potom prevedie na zodpovedajúcu sekvenciu slov. + +| +Obr 1. príklad postupnosti slov a príslušná postupnosť slovných spojení + +Vo vyššie uvedenom príklade je slovo „Jet“ rozdelené na dve slovné spojenia „_J“ a „et“ a slovo „feud“ je rozdelené na dve slovné spojenia „fe“ a „ud“. Ostatné slová zostávajú ako jednotlivé slová. „“ Je špeciálny znak pridaný na označenie začiatku slova. + +Wordpiece model sa generuje pomocou prístupu založeného na údajoch, aby sa maximalizovala pravdepodobnosť jazykových modelov cvičných údajov, vzhľadom na vyvíjajúcu sa definíciu slova. Vzhľadom na cvičný korpus a množstvo požadovaných tokenov D je problémom optimalizácie výber wordpieces D tak, aby výsledný korpus bol minimálny v počte wordpieces, ak sú segmentované podľa zvoleného wordpiece modelu. V tejto implementácii používame špeciálny symbol iba na začiatku slov, a nie na oboch koncoch. Počet základných znakov tiež znížime na zvládnuteľný počet v závislosti na údajoch (zhruba 500 pre západné jazyky, viac pre ázijské jazyky). Zistili sme, že použitím celkovej slovnej zásoby medzi 8 000 a 32 000 slovnými jednotkami sa dosahuje dobrá presnosť (skóre BLEU) aj rýchla rýchlosť dekódovania pre dané jazykové páry. + +V preklade má často zmysel kopírovať zriedkavé názvy entít alebo čísla priamo zo zdroja do cieľa. Na uľahčenie tohto typu priameho kopírovania vždy používame wordpiece model pre zdrojový aj cieľový jazyk. Použitím tohto prístupu je zaručené, že rovnaký reťazec vo zdrojovej a cieľovej vete bude segmentovaný presne rovnakým spôsobom, čo uľahčí systému naučiť sa kopírovať tieto tokeny. Wordpieces dosahujú rovnováhu medzi flexibilitou znakov a efektívnosťou slov. Zistili sme tiež, že naše modely dosahujú lepšie celkové skóre BLEU pri používaní wordpieces - pravdepodobne kvôli tomu, že naše modely teraz efektívne pracujú v podstate s nekonečnou slovnou zásobou bez toho, aby sa uchýlili iba k znakom. From 92d4fa63a0d791a06f8a56ae2e435bf806c83947 Mon Sep 17 00:00:00 2001 From: =?UTF-8?q?Patrik=20Pavli=C5=A1in?= Date: Sun, 21 Mar 2021 15:51:59 +0000 Subject: [PATCH 78/78] =?UTF-8?q?Smazat=20=E2=80=9Epages/students/2016/pat?= =?UTF-8?q?rik=5Fpavlisin/tp20/dp=E2=80=9C?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit --- pages/students/2016/patrik_pavlisin/tp20/dp | 35 --------------------- 1 file changed, 35 deletions(-) delete mode 100644 pages/students/2016/patrik_pavlisin/tp20/dp diff --git a/pages/students/2016/patrik_pavlisin/tp20/dp b/pages/students/2016/patrik_pavlisin/tp20/dp deleted file mode 100644 index e1d32601c0..0000000000 --- a/pages/students/2016/patrik_pavlisin/tp20/dp +++ /dev/null @@ -1,35 +0,0 @@ -Google’s neural machine translation system - -NMT používa end-to-end vzdelávací prístup pre automatický preklad, ktorého cieľom je prekonať slabé stránky konvenčných frázových systémov. Bohužiaľ systémy NMT sú výpočtovo nákladné počas trénovania ako aj pri samotnom preklade (niekedy kvôli ochrane napr. pri vysokom množstve veľkých súborov a veľkých modelov). Niekoľko autorov tiež uviedlo, že systémom NMT chýba robustnosť, najmä keď vstupné vety obsahujú zriedkavé, alebo zastaralé slová. Tieto problémy bránili používaniu NMT v praktických nasadeniach a službách, kde je nevyhnutná presnosť aj rýchlosť. Spoločnosť Google preto predstavila GNMT (Google´s Neural Machine Translation) systém , ktorý sa pokúša vyriešiť mnohé z týchto problémov. Tento model sa skladá z hlbokej siete Long Short-Term Memory (LSTM) s 8 kódovacími a 8 dekódovacími vrstvami, ktoré využívajú zvyškové spojenia, ako aj pozorovacie spojenia zo siete dekodéra ku kódovaciemu zariadeniu. Aby sa zlepšila paralelnosť a tým pádom skrátil čas potrebný na tréning, tento mechanizmus pozornosti spája spodnú vrstvu dekodéra s hornou vrstvou kódovacieho zariadenia. Na urýchlenie konečnej rýchlosti prekladu používame pri odvodzovacích výpočtoch aritmetiku s nízkou presnosťou. Aby sa vylepšila práca so zriedkavými slovami, slová sa delia na vstup aj výstup na obmedzenú množinu bežných podslovných jednotiek („wordpieces“). Táto metóda poskytuje dobrú rovnováhu medzi flexibilitou modelov oddelených znakom a účinnosťou modelov oddelených slovom, prirodzene zvláda preklady vzácnych slov a v konečnom dôsledku zvyšuje celkovú presnosť systému. - -Štatistický strojový preklad (SMT) je po celé desaťročia dominantnou paradigmou strojového prekladu. Implementáciami SMT sú vo všeobecnosti systémy založené na frázach (PBMT), ktoré prekladajú sekvencie slov alebo frázy, kde sa môžu dĺžky líšiť. Ešte pred príchodom priameho neurónového strojového prekladu sa neurónové siete s určitým úspechom používali ako súčasť systémov SMT. Možno jeden z najpozoruhodnejších pokusov spočíval v použití spoločného jazykového modelu na osvojenie frázových reprezentácií, čo prinieslo pozoruhodné zlepšenie v kombinácii s prekladom založeným na frázach. Tento prístup však vo svojej podstate stále využíva frázové prekladové systémy, a preto dedí ich nedostatky. - -O koncepciu end-to-end učenia pre strojový preklad sa v minulosti pokúšali s obmedzeným úspechom. Po seminárnych prácach v tejto oblasti sa kvalita prekladu NMT priblížila k úrovni frázových prekladových systémov pre bežné výskumné kritériá. V anglickom až francúzskom jazyku WMT’14 dosiahol tento systém zlepšenie o 0,5 BLEU v porovnaní s najmodernejším frázovým systémom. Odvtedy bolo navrhnutých veľa nových techník na ďalšie vylepšenie NMT ako napríklad použitie mechanizmu pozornosti na riešenie zriedkavých slov, mechanizmu na modelovanie pokrytia prekladu, rôznymi druhmi mechanizmov pozornosti, minimalizáciou strát na úrovni vety. Aj keď presnosť prekladu týchto systémov bola povzbudivá, systematické porovnanie s veľkým rozsahom chýba, frázové prekladové systémy založené na kvalite výroby chýbajú. - -LSTM sú špeciálny typ Rekurentných neurónových sietí (RNN), ktorý slúži na dosiahnutie dlhodobého kontextu (napr. Pri doplnení chýbajúcej interpunkcie alebo veľkých písmen). Najväčšie využitie LSTM je v oblasti strojového učenia a hĺbkového učenia. - -Vlastnosti LSTM: - - pripravený spracovať nielen jednoduché dáta, ale aj celé sekvenčné dáta (napr. reč alebo video), - - sú vhodné na klasifikáciu, spracovanie a vytváranie predikcií na základe časových údajov - - LSTM boli definované tak, aby si na rozdiel od RNN vedeli pomôcť s problémom, ktorý sa nazýva „Exploding and vanishing gradient problems“. - -Exploding and vanishing gradient problems - -V strojovom učení sa s problémom miznúceho gradientu stretávame pri trénovaní umelých neurónových sietí metódami učenia založenými na gradiente a spätnou propagáciou. V takýchto metódach dostáva každá z váh neurónovej siete aktualizáciu úmernú čiastočnej derivácii chybovej funkcie vzhľadom na aktuálnu váhu v každej iterácii tréningu. Problém je v tom, že v niektorých prípadoch bude gradient zbytočne malý, čo účinne zabráni tomu, aby váha zmenila svoju hodnotu. V najhoršom prípade to môže úplne zabrániť neurónovej sieti v ďalšom tréningu. Ako jeden príklad príčiny problému majú tradičné aktivačné funkcie, ako je hyperbolická tangenciálna funkcia, gradienty v rozsahu (0, 1) a spätné šírenie počíta gradienty podľa pravidla reťazca. To má za následok znásobenie n týchto malých čísel na výpočet gradientov prvých vrstiev v sieti n-vrstiev, čo znamená, že gradient (chybový signál) exponenciálne klesá s n, zatiaľ čo prvé vrstvy trénujú veľmi pomaly. - -Ak sa použijú aktivačné funkcie, ktorých deriváty môžu nadobúdať väčšie hodnoty, riskujeme, že narazíme na súvisiaci problém s explodujúcim gradientom. Problém s explodujúcim gradientom je problém, ktorý sa môže vyskytnúť pri trénovaní umelých neurónových sietí pomocou gradientného klesania spätným šírením. Problém s explodujúcim gradientom je možné vyriešiť prepracovaním sieťového modelu, použitím usmernenej lineárnej aktivácie, využitím sietí s dlhodobou krátkodobou pamäťou (LSTM), orezaním gradientu a regularizáciou hmotnosti. Ďalším riešením problému s explodujúcim gradientom je zabrániť tomu, aby sa gradienty zmenili na 0, a to pomocou procesu známeho ako orezávanie gradientov, ktorý kladie na každý gradient vopred definovanú hranicu. Orezávanie prechodov zaisťuje, že prechody budú smerovať rovnakým smerom, ale s kratšími dĺžkami. -Wordpiece Model - -Tento prístup je založený výlučne na dátach a je zaručené, že pre každú možnú postupnosť znakov vygeneruje deterministickú segmentáciu. Je to podobné ako metóda použitá pri riešení zriedkavých slov v strojovom preklade neurónov. Na spracovanie ľubovoľných slov najskôr rozdelíme slová na slovné druhy, ktoré sú dané trénovaným modelom slovných spojení. Pred cvičením modelu sú pridané špeciálne symboly hraníc slov, aby bolo možné pôvodnú sekvenciu slov získať zo sekvencie slovného slova bez nejasností. V čase dekódovania model najskôr vytvorí sekvenciu slovných spojení, ktorá sa potom prevedie na zodpovedajúcu sekvenciu slov. - -| -Obr 1. príklad postupnosti slov a príslušná postupnosť slovných spojení - -Vo vyššie uvedenom príklade je slovo „Jet“ rozdelené na dve slovné spojenia „_J“ a „et“ a slovo „feud“ je rozdelené na dve slovné spojenia „fe“ a „ud“. Ostatné slová zostávajú ako jednotlivé slová. „“ Je špeciálny znak pridaný na označenie začiatku slova. - -Wordpiece model sa generuje pomocou prístupu založeného na údajoch, aby sa maximalizovala pravdepodobnosť jazykových modelov cvičných údajov, vzhľadom na vyvíjajúcu sa definíciu slova. Vzhľadom na cvičný korpus a množstvo požadovaných tokenov D je problémom optimalizácie výber wordpieces D tak, aby výsledný korpus bol minimálny v počte wordpieces, ak sú segmentované podľa zvoleného wordpiece modelu. V tejto implementácii používame špeciálny symbol iba na začiatku slov, a nie na oboch koncoch. Počet základných znakov tiež znížime na zvládnuteľný počet v závislosti na údajoch (zhruba 500 pre západné jazyky, viac pre ázijské jazyky). Zistili sme, že použitím celkovej slovnej zásoby medzi 8 000 a 32 000 slovnými jednotkami sa dosahuje dobrá presnosť (skóre BLEU) aj rýchla rýchlosť dekódovania pre dané jazykové páry. - -V preklade má často zmysel kopírovať zriedkavé názvy entít alebo čísla priamo zo zdroja do cieľa. Na uľahčenie tohto typu priameho kopírovania vždy používame wordpiece model pre zdrojový aj cieľový jazyk. Použitím tohto prístupu je zaručené, že rovnaký reťazec vo zdrojovej a cieľovej vete bude segmentovaný presne rovnakým spôsobom, čo uľahčí systému naučiť sa kopírovať tieto tokeny. Wordpieces dosahujú rovnováhu medzi flexibilitou znakov a efektívnosťou slov. Zistili sme tiež, že naše modely dosahujú lepšie celkové skóre BLEU pri používaní wordpieces - pravdepodobne kvôli tomu, že naše modely teraz efektívne pracujú v podstate s nekonečnou slovnou zásobou bez toho, aby sa uchýlili iba k znakom.