ds888vg/zpwiki
1
0
Fork 0
forked from KEMT/zpwiki
Code Issues Pull Requests Projects Releases Wiki Activity
94ca8b15c8
zpwiki/pages/students/2021/martin_sarissky/README.md

11 KiB
Raw Blame History

title published taxonomy
Martin Šarišský true
category tag author
vp2023
bp2024
dp2026
chatbot
rasa
dialog
nlp
Daniel Hladek

rok začiatku štúdia: 2021

Diplomová praca 2026

Ciele:

  • Vytvoriť systém pre spracovanie právnych informácií. Systém by mal vedieť vyhľadávať v rozsudkoch, zákonoch a vyhláškac , odpovedať na otázky a sumarizovať dokumenty. Je možné , že riešenie úlohy si vyžiada viac krokov.
  • Vytvoriť sadu vzorových úloh pre vyhodnotenie takéhoto systému.
  • Zlepšiť generovanie odpovedí pre úlohy vyžadujúce viac krokov.

Príprava:

  • Zopakujte si Python.
  • Vyskúšajte si prácu s veľkými jazykovými modelmi. Nainštalujte si oollama.
  • Oboznámte sa s framewworkom LangChain.
  • pozrite si LangChain Transformers Agents.
  • Ako funguje FunctionCalling - AgentTools?.
  • Zistite ako funguje REACT (Reasoning and Acting) Agent - nájdite článok na Scholar.
  • Zistite ako funguje dotrénovnaie veľkých jazykových modelov. Zistite čo je to PEFT (LORA, QLORA) a čo je to kvantizácia. Zisite čo je to "few shot" prompting.
  • Čo je to inferenčný server. Zistite čo je to VLLM, na čo je to dobré. Pozri si LocalAI.

Diplomový projekt 2025

Stretnutie 14.5.2025

Stav:

  • Zaindexované zákony a vyhlášky vyhlásené v roku 2022 pomocou FAISS a SlovakBert-mnlr
  • Urobené gradio demo pomocou langchain, ktoré ku dotazu nájde a zobrazí 3 najlepšie dokumenty.

Úlohy:

  • Zlepšite skript pre predspracovanie dát. Pridajte ďalšie dáta, identifikujte a opravte nedostatky. Chceme mať k dispozícii právne kompletné právne predpisy v súčasnom znení.
  • Preštudujte si knižnicu LangGraph a "function calling".
  • Zistite, ako "znalostný graf - knowledge graph" dokáže vylepšiť výsledky vyhľadávania v zákonoch. Graph RAG.

Zásobník úloh:

  • Vyjadrite vnútorné a vzájomné vzťahy medzi právnymi predpismi.
  • Vytvorte "pekné" webové rozhranie a príslušné Docker skripty pre nasadenie dema.
  • Vytvorte agenta, ktorý bude vedioeť riešiť právne problémy.
  • Zostaviť testovacie dáta. Vzorovú množinu otázok, odpovedí a relevantných dokumentov. Pomocou tejto množiny vyhodnotiť systém. Vyhodnotneie sa skladá z dvoch častí - vyhdonotenie vyhľadávania a vyhodnotenie automatických odpovedí.
  • Inšpirovať sa stránkou https://aipravnik.sk/
  • Natrénujte model pre úlohu sumarizácie súdnych rozhodnutí (nízka priorita).

Stretnutie 10.3.2025

Úlohy:

  • Preštudovať - ako zostaviť RAG systém pomocou LangChain
  • [-] Vytvoriť databázu právnych informácií - texty zákonov, vyhlášok a rozsudkov spolu s metainformáciami. Vedúci pridelí prístup na QUADRO. (úloha Šarišský)
  • [-] Zistiť ako fungujú agentové systémy na báze LLM - React. A volanie "nástrojov" function calling pomocou LLM.
  • Získajte prístup na QUADRO. V adresári /mnt/sharedhome/hladek/corpora/slovak_law/ sú dáta. Dáta premente do JSON. Extrahujte text, vytiahnite metainformácie. Na extrakciu textu využite vhodnú knižnicu. Napr. Apache TIKA.
  • [-] Vytvoriť RAG systém pre spracovanie tejto databázy. Pozrite si: Inšpirácia prácou Valerii Kutsenko, Yevhenii Leonov, Oleh Poiasnik. Môžete sa inšpirovať GIT BP Poiasnik (úloha Ščišľak)

Myšlienkový postup pre ZP:

  1. Zadefinujete úlohu a pojmy.
  2. Vysvetlíte, ako sa táto úloha rieši vo svete.
  3. Napíšete, ako ste túto plohu riešlili Vy a prečo.
  4. Vyhodnottíte Vaše riešenie. Porováte výsledky so svetom a identifikujete miesta na zlepšenie.

Zásobník úloh:

  • Dáta sa vložia do databázy a zaindexujú vhodným SBERT modelom.
  • Vyhľadať na internete množinu vzorových právnych otázok a vyhodnotiť systém (Šarišský)

Bakalárska práca 2024

Git repo

Súvisiace materiály:

Návrh na zadanie BP:

Dialógový systém pre zodpovedanie najčastejšie kladených otázok

  1. Vypracujte prehľad metód dialógových systémov s použitím pravidiel a jazykových modelov.
  2. Navrhnite a overte bázu pravidiel pre dialógový systém pre pomoc pri komunikácii občana s mestským magistrátom.
  3. Vytvorte webové demo pre chatbota.
  4. Identifikujte slabé miesta a navrhnite zlepšenia dialógového systému.

Nápady na balakársku prácu:

  • chatbot pre komunikáciu s mestom
  • vytvorenie NLU databázy.
  • Urobenie web rozhrania.
  • dá sa to prepojiť aj na QA systém.

Stretnutie 23.02.2024

Stav:

  • Práca na text aj na pravidlách.

Stretnutie 9.2.2024

Stav:

  • Urobené nové testovacie scenáre a vyhodnotenie modelu.
  • Pridané pravidlá pre FAQ a chitchat.
  • Vyskúšané PrivateGPT.

Úlohy:

  • Vytvorte Dockerfile na nasadenie aplikácie.
  • Podľa výsledkov vyhodnotenia zlepšite bázu pravidiel.
  • Pracujte na texte

Zásobník úloh:

  • Ďalej skúšajte PrivateGPT. Zmente "prompt" pre vyhľadávanie. Prompt zmente na slovenský. Napr. "Si asistent pre vyhľadávanie a hovoríš po slovensky." Model nastavte na LLAMA 7B 4bit. Na embedingy skúste SlovakBERT-MNLR.

Stretnutie 4.1.2024

Stav:

  • Splnené úlohy z minulého stretnutia.

Úlohy:

  • Vypracujte prezentáciu s výsledkami zo semestra.
  • Pokračujte v písaní.
  • Vytvorte nové testovacie scenáre, vyhodnotte model a doplnte výslekdy do práce.
  • Do chatbota doplňte pravidlá pre FAQ
  • Zdrojové kódy dajte na GIT.

Zásobník úloh:

  • Rozbehať PrivateGPT a integrovať ho do RASA.

Stretnutie 8.12.

Stav:

  • Práca na databáze pravidiel pre dialóg. Pravidlá obsahujú najčastejšie otázky týkajúce sa digitálnych služieb.

Úlohy:

  • Vedúci finalizuje zadanie.
  • Pokračujte v písomnej práci.
  • Pokračujte v tvorbe webovej aplikácie - integrujte pravidlá od kolegu Ščišľaka-
  • Zistite ako pracujú veľké jazykové modely a napíšte si poznánmky.
  • Zistite, čo je to "Retrieval Augumented Generation", ako to funguje a na čo je to dobré.
  • Oboznámte sa so softvérom PrivateGPT. Zistite ako funguje, napíšte is poznámky-
  • Pridajte kapitolu o Získavaníí dokumentov pre použitie v dialógových systémoch.

Zásobník úloh:

  • [-] Na školský server alebo na vlastnú M1 nainštalujte PrivateGPT.

Stretnutie 10.11.2023

Stav:

Úlohy:

  • Pokračujte
  • Vedúci sa pozrie na build - Dockerfile.

Stretnutie 27.10.2023

  • Pokračuje písomná príprava.
  • Pokračuje práca na stránke.

Úlohy:

  • Pokračujte v otvorených úlohách.
  • Preskúmajte možnosti vytvorenia vlastného frontentu pre RASA chatbota. Zistite viaceré alternatívy.

Stretnutie 6.10.2023

Stav:

  • Dockerfile in progress
  • Teoretická a písomná príprava in progress

Úlohy:

  • Pokračujte

Stretnutie 29.9.2023

Stav:

  • Ten istý ako pri minulom stretnutí, kódy sú na KEMT GITe.
  • Momentálne vie chatbot poskytnúť kontakt na človeka, ktorý sa zaoberá danou agendou.

Úlohy:

  • [-] Dokončiť demo do podoby vhodnej na nasadenie. Dokončiť Dockerfile, dokončiť pravidlá. Vedúci pomôže so zverejnením.
  • [-] Zistite, akým spôsobom sa vyhodnocuje-testuje chatbot. Napíšte, ktoré scenáre chatbota sú implementované a ku nim napíšte "testovacie dialógy".
  • [-] Začnite písať baklársku prácu a pripravte "draft". V práci vysvetlite, čo je to NLU, ako sa robí. Ako príklad uveďte Vášho četbota. Do práce uvedte aj priebeh a výsledky testovania.

Zásobník úloh:

  • Je potrebné aby chatbot sa vedel "učiť", resp. upraviť svoje pravidlá podľa meniacich sa skutočností. Je potrebné vymyslieť webovú aplikáciu pre úpravu bázy pravidiel aj zamestnancami magistrátu.
  • Identifikuje, aké ďalšie úlohy by mohol riešiť chatbot.
  • Zlepšite chatbota aby spolupracoval s kognitívnym vyhľadávaním, práca Kristián Sopkovič.

Vedecký projekt 2023

Ciele:

  • Napísať krátku písomnú správu
  • Oboznámiť sa s technológiou RASA a so súvisiacimi technológiami NLP
  • Vytvoriť jednoduchého chatbota ktorý bude komunikovať po slovensky.

Stretnutie 5.5

Stav:

  • Draft písomnej správy
  • Začiatok práce s Dockerfile

Úlohy:

  • Prepracujte "blog" na uverejnenie na stránke.
  • [-] Zlepšiť bázu pravidiel chatbota a dať na git
  • [-] Identifikovať slabé miesta, porozmýšľať ako by sa to dalo zlepšiť.

Stretnutie 21.4.

Stav:

  • Chatbot funguje pre vybrané časti agendy mesta
  • Funguje aj lokálne demo pomocou RasaWebWidget. Používa sa Websocket
  • Rozpracovaný písomný report

Úlohy:

  • Dať zdrojové kódy na GIT
  • [-] Dokončiť písomnú správu. Cieľ je mať blog, ktorý oboznámi študenta o možnostiach a práci s RASA.

Zásobník úloh:

  • [-] Dorobiť Dockerfile.
  • Zverejniť demo na K8s (pre vedúceho).
  • Zverejniť blog vo formáte Markdown.
  • [-] Zlepšiť bázu pravidiel chatbota.
  • [-] Identifikovať slabé miesta, porozmýšľať ako by sa to dalo zlepšiť.

Stretnutie 12.4.2023

Stav:

Úlohy:

Zásobník úloh:

  • Zlepšite bázu pravidiel chatbota pre esluzby.
    • Zistenie kontaktnej osoby pre agendu.
    • Najčastejšie otázky.
    • Riešenie problémov.
  • Vymyslieť postup ktorý by umožnil pretrénovať chatbota aj pracovníkom magistrátu. Editovanie pravidiel vo webovej aplikácii.

Stretnutie 27.3.2023

Stav:

  • Chatbot funguje po anglicky cez Anaconda.
  • Napísané niektoré reporty.
  • Pripravené niektoré testovacie konverzácie.

Úlohy:

  • Pozrite si stránku https://www.esluzbykosice.sk/, navrhnite chatbbota ktorý bude informovať o dostupných e-službách pre košický magistrát.
  • Zdrojáky dajte na KEMT GIT, repozitár nazvite vp2023
  • [-] Pokračujte v otvorených úlohách.

Zásobník úloh:

  • Preštudujte si ako sa vyhodnocuje RASA chatbot

Úlohy:

  • Nainštalujte a oboznámte sa s RASA frameworkom. Pri inštalácii využite systém Anaconda.
  • Vyberte a prejdite najmenej jeden tutoriál pre prácu s RASA frameworkom.
  • Napíšte krátky report na 2 strany kde napíšete čo ste urobili a čo ste sa dozvedeli.
  • Vytvorte chatbota, ktorý sa bude vedieť predstaviť a odpovedať koľko je hodín.
  • Zistite čo je to NLU a napíšte o tom krátku správu.
  • [-] Prečítajte si Horániho BP.
  • [-] Zistite ako pracuje RASA a napíšte o tom krátku správu. Zistite, aké neurónové siete sa tam používajú.

Zásobník úloh:

  • Rozbehajte Horániho chatbota.
  • Pridajte podporu slovenčiny do Vášho chatbota.