#首发创作赛#有粉丝经常私信于我,咨询网络爬虫的技巧。网络爬虫,有许多现成的框架,每个框架都有优缺点。如果要精通网络爬虫,就需要有html和javascript知识的积累。如果没有,就得学习,否则......
就我个人经验来看,数据爬虫是很费时间的技术,特别对于中小公司和个人,我曾经想研究下某音用户短视频的评论情感倾向,需要大概100万条级以上的数据,光是写代码有上千行,虽然是公开数据,但会面临各种反爬手段,最后脚本磨了两三天才能正常稳定的运行。
看到We're sorry but safe-cactus-v2 doesn't work properly without JavaScript enabled. Please enable it to continue.提示时,以为是javascript没有开启,于是乎就折腾了好长时间。