Stiahol som 350 html súborov z modrého koníka pomocou tohto wget príkazu:
wget -r -l 2 -k -np --wait=3 --user-agent="Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0 Safari/537.36" -P ./data "https://www.modrykonik.sk/forum/"
príkaz som stopol po necelej hodine.
Vytvoril som súbor extract_jsonld.py ktorý, spracuje html súbory na formát user/assistant kde dá otázku a prvých 5 komentárov na otázku do jedného riadku vhodný pre framework trl. Skriptu sa podarilo extrahovať 245 platných vlákien. Výsledok skriptu som nahral do priečinku output.
Pomáhal som si s umelou inteligenciou, ktorá navrhla pridať filter citlivých slov, anonymizáciu používateľov a odstránenie krátkych príspevkov
neskôr som stiahol Qwen2.5-0.5B z huggingface a spravil SFT tréning na vyskúšanie vo výsledku mi model písal nezmysly. Porovnal som to s modelom ktorý vedel písať po slovensky (Mistral-sk-7b-alpaca-slovak-it) tento model som ale nijak neupravoval.
Odpovede modelov som poslal ako screenshoty.