KEMT/zpwiki
32
1
Fork 9
Code Issues Pull Requests Releases Wiki Activity

zz

Browse Source
This commit is contained in:
Daniel Hládek 2025-12-18 09:59:00 +01:00
parent fd3665b2c4
commit a3194eb1a3
1 changed files with 26 additions and 0 deletions
Show Stats Download Patch File Download Diff File Expand all files Collapse all files

26
pages/students/2023/yevhenii_medushivskyi/README.md
View File

@ -23,6 +23,32 @@ Predbežné zadanie:
2. Získajte dáta z internetu a vytvorte korpus dát pre viaceré domény.
3. Vytvorte a nasadte webový crawler pre sledovanie a sťahovanie slovenského internetu.
Stretnutie 18.12.2025
Stav:
- Práca na texte.
- Frontend React a Muix,
- zatiaľ na https://github.com/yvhdpdngr276/sk_web_crawl1, je tam aj branch frontend
- frontend vyzerá ok, ale chýba mu funkcionalita.
Úlohy:
- Kódy dajte na KEMT GIT
- frontend dajte do osobitného adresára, nie do branch.
- Zobrazte dostupné konfigurácie workerov.
- Pridajte možnosť naštartovať a zastaviť workera so zadanou konfiguráciou. Jeden worker by mal fungovať na jednu doménu.
- Pridajte zoznam možných domén a algoritmus (naplnenie work qeue) pre výber ďalších domén.
- Zobrazte stav pre každú navštívenú doménu. Koľko odkazov bolo navštívených, koľko textu sa získalo, koľko nenavštívených odkazov je načerpaných.
- Zobrazte históriu a plán činnosti pre každého workera - koľko užitočného textu načerpal, koľko odkazov navštívil.
Zásobík úloh:
- Analyzujte získané odkazy pre danú doménu. Odkazy by som rozdelil na tokeny a urobil štatistickú analýzu tokenov.
- Pridajte možnost blacklistu pre domény a tokeny v URL
- Natrénujte prediktor získaného textu na základe URL (tokenov).
Stretnutie 7.11.2025
Stav: