diff --git a/report/report.md b/report/report.md index d930493..bee64b8 100644 --- a/report/report.md +++ b/report/report.md @@ -1,13 +1,13 @@ -Stiahol som 350 html súborov z modrého koníka pomocou tohto wget príkazu: - - wget -r -l 2 -k -np --wait=3 --user-agent="Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0 Safari/537.36" -P ./data "https://www.modrykonik.sk/forum/" - -príkaz som stopol po necelej hodine. - -Vytvoril som súbor extract_jsonld.py ktorý, spracuje html súbory na formát user/assistant kde dá otázku a prvých 5 komentárov na otázku do jedného riadku vhodný pre framework trl. Skriptu sa podarilo extrahovať 245 platných vlákien - - -Pomáhal som si s umelou inteligenciou, ktorá navrhla pridať filter citlivých slov, anonymizáciu používateľov a odstránenie krátkych príspevkov - -neskôr som stiahol Qwen2.5-0.5B z huggingface a spravil SFT tréning na vyskúšanie vo výsledku mi model písal nezmysly. Porovnal som to s modelom ktorý vedel písať po slovensky (Mistral-sk-7b-alpaca-slovak-it) tento model som ale nijak neupravoval. +Stiahol som 350 html súborov z modrého koníka pomocou tohto wget príkazu: + + wget -r -l 2 -k -np --wait=3 --user-agent="Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0 Safari/537.36" -P ./data "https://www.modrykonik.sk/forum/" + +príkaz som stopol po necelej hodine. + +Vytvoril som súbor extract_jsonld.py ktorý, spracuje html súbory na formát user/assistant kde dá otázku a prvých 5 komentárov na otázku do jedného riadku vhodný pre framework trl. Skriptu sa podarilo extrahovať 245 platných vlákien. výsledok skriptu som nahral do priečinku output. + + +Pomáhal som si s umelou inteligenciou, ktorá navrhla pridať filter citlivých slov, anonymizáciu používateľov a odstránenie krátkych príspevkov + +neskôr som stiahol Qwen2.5-0.5B z huggingface a spravil SFT tréning na vyskúšanie vo výsledku mi model písal nezmysly. Porovnal som to s modelom ktorý vedel písať po slovensky (Mistral-sk-7b-alpaca-slovak-it) tento model som ale nijak neupravoval. Odpovede modelov som poslal ako screenshoty. \ No newline at end of file