2021-09-24 08:58:43 +00:00
---
title: Dávid Stromp
published: true
taxonomy:
category: [bp2022]
tag: [ir,cassandra,nlp,cluster]
2021-10-01 10:07:30 +00:00
author: Maroš Harahus
2021-09-24 08:58:43 +00:00
---
2021-09-10 08:52:47 +00:00
Rok začiatku štúdia: 2019
2021-09-24 08:58:43 +00:00
# Bakalárska práca 2022
Návrh na zadanie:
1. Vypracujte prehľad distribuovaných databáz alebo súborových systémov vhodných pre uloženie veľkého množstva textu.
2. Vyberte vhodný spôsob uloženia veľkého množstva webových stránok.
3. Nasaďte vybrané distribuované úložisko na testovací klaster pomocou systému Kubernetes.
4. Vykonajte sadu testov pre overenia priepustnosti operácií zápisov a čítania.
5. Identifikujte slabé miesta distribuovaného úložiska a navrhnite zlepšenia.
2021-09-10 08:52:47 +00:00
Cieľ práce:
- Zlepšiť proces získavania informácií
- Implementovať algoritmus paralelného spracovania dokumentov v databáze Cassandra.
- Implementovať algoritmus Page Rank alebo algoritmus jazykového modelu dokumentu.
2021-09-24 08:58:43 +00:00
## Bakalársky projekt 2021
Ciele:
- Vytvoriť nasadenie distribuovanej databázy na testovaci K8S klaster.
- Implementovať algoritmus pre zoradenie (ranking) dokumentov v takejto databáze.
2022-02-15 08:45:53 +00:00
15.2.2022
- Kubernetes beží na virtualkach. Potreba nainštalovať ešte k8ssandru, dnes
14.2.2022
- Vytvorené ďalšie 4 virtualky na UVT
10.2.2022
- Vytvorená Virtualka na UVT
2022-01-28 21:27:06 +00:00
Stretnutie 18.10.2021
- Nahodený dashboard
- Vygenerovaný token
- Poslane prihlasovacie údaje
Stretnutie 22.10.2021
- cassandra operátor zatiaľ nie je spojazdnený,
- servicy nenabiehajú.
- Pracuje sa na odstránení problému
Stretnutie 27.10.2021
- Error standard_init_linux.go:228: exec user process caused: exec format error
Stretnutie 29.10.2021
- Poslaný návod na k8ssandru
- Snaha odstránení problému
Stretnutie 8.11.2021
- Na novo inštalácia k8s cluster
- Vyskúšanie staršej verzie k8s
prvý je ten že ten reaper operator s cass operatorom nesúvisí až tak úplne,
a druhý je ten že aj keď staršia verzia k8ssandry opravila cass-operaotr, tak reaper-operator stále je v crashloope, takže to celé nefunguje,
Stretnutie 12.11.2021
Poslaná teória
Stretnutie 28.11.2021
- Prechod na virtulky virtual box
Stretnutie 3.12.2021
- nechce fungovať DNS resolving,
- pracuje s ana odstranieni problem
Stretnutie 4.12.2021
- k8ssandra rozbehaná,
16.12.2021
- Zhodnotenie výsledkom
- Dohodnutie sa na teórii a odovzdaní
Stretnutie 19.01.2022
- Uvažovanie o možnosti virtualizie na UVT
- Ďalšie kroky
Stretnutie 23.1.2022
- Písanie teórie
- Poslanie prezentácie na pred obhajoby
2021-10-15 07:45:33 +00:00
Stretnutie 15.10
- Rozbehaný dashboard
- Vytvorenie účtu
- Pridanie ďalších raspberry pi
- Predstavenie dashboardu
Úlohy na ďalší týždeň:
- Nainštalovanie Casasndry
- Prepojenie s databázou
2021-10-08 06:51:24 +00:00
Stretnutie 08.10
- Preinštalovanie kubernetes
- Nainštalovanie Casasndry
- Spravená časť osnovy
- Prepojenie s databázou
Úlohy na ďalší týždeň:
- Sfunkčnite k8s dashboard
- Nainštalovať všetky potrebne veci
2021-10-01 09:27:51 +00:00
Stretnutie 01.10.
- Minikube funguje na vlastnom počítací
- Pripravené relevantné poznámky k bakalárskej práci
- Získaný prístup k RaspberryPi klastru
Úlohy na ďalší týždeň:
- Sfunkčnite Casasndra operator (K8ssandra)
- Sfunkčnite k8s dashboard
- Naučte sa vkladať dáta do Cassandry a písať dotazy.
- pošlite osnovu k bakalárskej práci a relevantný text (stačí aj v poznámkovom bloku)
2021-09-24 08:58:43 +00:00
Stretnutie 24.9.
Úlohy:
- Napíšte osnovu bakalárskej práce a pridajte do nej relevantné text čo máte.
- Pripravte Casasndra operator - na začiatok na Vašom počítači. (napr. microk8s, minikube).
- Dohodntite sa s Ing. Harahusom a získajte prístup ku RaspberryPi klastru.
- Naučte sa vkladať dáta do Cassandry a písať dotazy.
Zásobník úloh:
- Rozbehať crawler Websucker s Cassandrou.
- Implementovať PageRank.
- Napísať skript na indexovanie pomocou ElasticSearch.
2021-09-10 09:05:34 +00:00
Stretnutie 10.9.
Úlohy:
- Nainštalovať databázu Cassandra - Využite Docker.
- Vyberte si CQL tutoriál a napíšte krátky záznam čo ste sa naučili.
- Nájdite blogy o spracovaní veľkých dát pomocou Cassandry a napíšte krátky záznam o tom čo ste sa dozveldeli.
- Naštudujte si článok http://ilpubs.stanford.edu:8090/422/ (Brin and Page). Zistite ako súvisí implementácia algorimtu PageRank s Cassandrou. Napíšte to do záznamu.
2021-09-10 08:52:47 +00:00
