zpwiki/pages/students/2019/filip_tomas/README.md

232 lines
8.2 KiB
Markdown
Raw Normal View History

2021-09-23 11:15:09 +00:00
---
title: Filip Tomáš
published: true
taxonomy:
category: [bp2022,dp2024]
2021-09-23 11:15:09 +00:00
tag: [testovanie,javascript,typescript]
author: Daniel Hladek
---
rok začiatku štúdia: 2019
DP sa prekladá na rok 2025
# Diplomová práca 2024
Zadanie:
1. Napíšte prehľad metód vektorovej reprezentácie dokumentov pomocou neurónových sietí.
2. Napíšte prehľad vektorových databáz a ich metód vyhľadávania.
3. Nasaďte vybranú vektorovú databázu do testovacieho distribuovaného prostredia.
4. Vytvorte index väčšieho množstva textových dokumentov vo vybranej vektorovej databáze.
5. Vytvorte webové rozhranie na vyhľadávanie a slovne vyhodnoťte výsledky.
Ciel:
2023-06-29 09:18:05 +00:00
- Vytvorte distribuovaný vyhľadávací index pre dáta zo slovenského internetu. Cieľom je vytvoriť vyhľadávanie na (skoro) celom slovenskom internete.
2023-06-29 09:18:05 +00:00
Spolupráca Michal Stromko, Kristián Sopkovič.
2023-06-29 09:18:05 +00:00
Stretnutie 3.5.2023
Stav:
- Rozbehaný Milvus lokálne pomocou Docker.
- Implementácia vyhľadávania pomocou Python.
- Rozpracovaná príprava na Milvus RPI Klaster.
Úlohy:
- Skúste zaindexovať slovenské dáta. Na vektorovú reprezentáciu použite https://huggingface.co/TUKE-DeutscheTelekom/slovakbert-skquad-mnlr
- Na začiatok zaindexujte slovenskú wikipédiu. Sparsovaný text bol dodaný.
- Napíšte o tom čo je to SentenceTransformer - ako sa trénuje a ako sa používa.
- Pozrite si DP M. Stromko a K. Sopkovič.
Zásobník úloh:
- Benchmarking vyhľadávania. Vyskúšame viacero embeddingov s rôznym rozmerom. Modely typu Matroshka.
- Zhlukovanie dokumentov - zostavenie doménového korpusu s dát.
- Dolovanie otázok a odpovedí.
- Je priestor pre nákupy RPI pre nový RPI klaster.
Stretnutie 8.12.2023
Stav:
- Funguje microk8s RPI klaster. Aktivované HA.
Úlohy:
- Vypracujte prehľad vektorových databáz. QDRANT, *MILVUS*, Weaviate, a iné. Opíšte ako funguje ich vyhľadávací index. Ako funguje tvorba a vyhľadávanie v distribuovanom indexe?. Citujte odborné články,
- Pokračujte v úlohách: nasadte databázu, zaindexujte dokumenty a vypracujte webové rozhranie.
Stretnutie 10.11.2023
Stav:
- Teoretická príprava a tri strany poznámok.
Úlohy:
- Nasadte databázu Milvus na RPi. Vytvorte skripty na nasadenie pomocou Kubernetes. Zvážte možnosž použitia HELM alebo K8S Operátor.
- Preštudujte si ako funguje distribuované nasadenie Milvus.
- Zistitie si čo je K8S operator.
- Zistite čo to je HELM.
- Zisite ako nasadit Milvus pomocu Operator alebo pomocou HELM.
- Skúste zaindexovať pár dokumentov.
- Pokračujte v písaní práce.
Zásobník úloh:
- Vytvorte HTML rozhranie pre hybridné vyhľadávanie. Môžete využiť pomoc od Stromko-Sopkovič.
Stretnutie 26.10.2023
2023-06-29 09:18:05 +00:00
Stav:
2023-06-29 09:18:05 +00:00
- Vypracovaný text na tému: Hardware RPI, kontajnerizácia, Čo je ingress. Paralelné spracovanie dát, o Kubernetes.
- Na klastri sú nainštalované všetky potrebné nástroje: Multipass, k8s,
2023-06-29 09:18:05 +00:00
Úlohy:
- [x] Je potrebný Multipass na beh MicroK8s RPI klastra? Ak áno tak prečo. Ak nie tak to opravte.
- [ ] Pozrite si profily Stromko, Sopkovič.
- [x] Zistite, ako funguje "vektorové" vyhľadávanie pomocou neurónových sietí. Ako funguje SBERT-SentenceTransformer? Ako funguje vyhľadávanie BM25? Nájdite články a napíšte poznámky na 3 strany.
- [x] Prečítajte si https://qdrant.tech/articles/hybrid-search/
- [ ] Použite vektorovú databázu s podporou ukladania textu.
- [x] Preskúmajte možnosti nasadenia QDRANT, *MILVUS*, Weaviate. Oboznámte sa s týmito databázami. Umožňujú hybridné vyhľadávanie? Vyberte jednu vhodnú na nasadenie v našich podmienkach. Mala by fungovať aj na RPI klastri, mala by podporovať aj hybridné vyhľadávanie.
Zásobník úloh:
- Zaindexujte slovenský internet.
- Pripravte jednoduché webové rozhranie pre vyhľadávanie na slovenskom internete.
- Vykonajte záťažové testy pre indexovanie a vyhľadávanie.
2023-06-29 09:18:05 +00:00
# Diplomový projekt 2023
Nápady:
- Zostaviť Raspberry Pi K8S Cluster pre podporu výuky predmetu ZKT. Chceme mať k dispozícii viacero fyzických uzlov, kde je možné spúštať rôzne aplikácie.
- Klaster by malo byť jednoduché dať do východiskového stavu.
- Klaster by mal mať aj podpornú infraštruktúru: Storage, Ingress, Registry, LoadBalancer.
- Možno vytvoriť iný klaster pre skúštanie výukových alebo demonštračných aplikácií. Napr. JupyterLab, NLP demo pre GPU.
- Preskúmať možnosti paralelného spracovania dát - Dask, SLURM, Spark,
2023-06-29 09:18:05 +00:00
Stav:
- Podarilo sa nainštalovať a nasadiť Kubernetes klaster na raspberry PI
- Bola vytvorená písomná správa
- Skripty sú na https://git.kemt.fei.tuke.sk/ft835qr/dp2024
- Výsledky boli odovzdané na poslednú chvíľu.
Úlohy:
- Oboznámte sa so systémom microk8s. Nainštalujte si ho a vyskúšajte.
- Zistite čo je Ingress a ako si ho vytvoríme.
- Zistite, aké storage podporuje microk8s a ako ho implementovať.
- Navrhnite architektúru k8s klastra. Máme k dispozícii 5 jednotiek RPi4 s SD kartami. 1 jednotku Nvidia Jetson Xavier.
Zásobník úloh:
- Namontovať klaster do serverovne a prideliť IP.
- Rozbehať JupyterLab.
2021-09-23 11:15:09 +00:00
# Bakalárska práca 2022
Názov bakalárskej práce:
2021-09-24 14:38:34 +00:00
Aplikačné testy v systémoch kontinuálnej integrácie a nasadenia
2021-09-23 11:15:09 +00:00
Návrh na zadanie:
1. Vypracujte prehľad metód a nástrojov automatického testovania
2. Vypracujte prehľad metód a nástrojov systémov kontinuálnej integrácie a nasadenia
3. Vyberte vhodné metódy a pomocou systému Docker Compose nasaďte systém automatického testovania do vybraného systému kontinuálnej itengrácie a nasadenia.
4. Vypracujte sadu aplikačných testov na vybranú webovú aplikáciu.
5. Navrhnite zlepšenia systému spúšťania automatických testov.
Stretnutie 15.3.
- Podarilo sa implementovať GitLab CI CD pipeline s Cypress
- Výsledky sú na https://git.kpi.fei.tuke.sk/filip.tomas/bp2022
- Treba vedúcemu prideliť práva na čítanie.
Úlohy:
- Pracujte na texte
- Pokračujte v práci na otvorenyých úlohách.
Stretnutie 25.2.
- Fungujú automatické testy Cypress
Úlohy:
- [ ] Vypracovať písomný prehľad CI CD systémov nasaditeľných pomocou Docker Compose.
- [ ] Vybrať vhodný systém, optimálne taký, ktorý sa dá integrovať so systémov Gitea. https://gitea.com/gitea/awesome-gitea#user-content-devops
- [ ] Pripravte deployment docker compose, kotrý bude obsahovať GITEA aj CI CD podľa výberu. Najčastejšie sa používa asi Jenkins.
Interakcia medzi Gitea a CI CD sa deje pomocou webhook. Riešenie pomocou GITlab je akceptovateľné, ale nie preferované.
2021-09-23 11:15:09 +00:00
# Bakalársky projekt 2021
Ciele:
1. [ ] Naučiť sa nasadiť a pracovať so systémom CI-CD. Vytvoriť pokusné nasadenie CI CD systému pomocou Docker compose. Môžete použiť [TUKE Cloud](https://cloud.tuke.sk/).
2. [x] Vytvoriť automatické aplikačné testy ku aplikácii Traktor.
3. [-] Vytvoriť kompletný reťazec CI-CD ku aplikácii Traktor. Automatický build a test, zobrazenie reportu.
4. [-] Vypracovanie písomného prehľadu.
2021-09-23 11:15:09 +00:00
Stretnutie 10.12.2021
- Pripravený prvý reálny test, skladá sa z viacerých scenárov.
- Práca na texte
Úlohy:
- Pokračovať s vytváraním testov
- Pokračovať v práci na texte.
- Rozbehať vlastný CI CD.
Práca na texte.
Úlohy: Pokračujte v otvorených úlohách
- Napíšte čo je to testovanie a aké spôsoby testovania poznáme (aplikačné, použiteľnosti, jednotkové... ).
Stretnutie 22.10.
2021-09-23 11:15:09 +00:00
- Napísaný prvý draf s poznámkami o CI CD
- pripravené prvé test-case
2021-09-23 11:15:09 +00:00
Úlohy:
- Pokračujte v otvorených úlohách
- Vytvorte GIT repozitár s názvom bp2022 a nahrajte do neho testovacie scenáre.
2021-09-23 11:15:09 +00:00
Zásobník úloh:
- [ ] Skúste vytvoriť nasadenie vhodného CI CD na tuke cloude.
- [ ] Upravte scenáre tak, aby boli ľahko automaticky spustiteľné. vytvorte skript pre inštaláciu potrebných komponentov a pre spustenie testov.
Stretnutie 23.9.
- Dohodli sme sa na zadaní, cieľoch a názve.
Úlohy:
- [ ] Urobte písomný prehľad systémov CI-CD. Uveďte zdroje z ktorých ste čerpali.
- [ ] Nájdite vhodnú odbornú literatúru, uveďte ju do prehľadu. V školskej knižnici môže byť dobrá kniha.
- [x] Navrhnite základné testovacie scenáre pre aplikáciu https://traktor.kemt.fei.tuke.sk.
2021-09-23 11:15:09 +00:00