| 广告位 |
热点资讯您现在的位置是：主页 > 热点资讯
蓝天采集器采集的永远是第一页
2018-05-15热点资讯 134人已围观
简介http://不能发.com/v.php?next=watch&page={param:num,1081 2161 1 0}然后爬到的永远是某一页, http://不能发.com/v.ph···
http://不能发.com/v.php?next=watch&page={param:num,1081 2161 1 0}然后爬到的永远是某一页,
http://不能发.com/v.php?next=watch&page=10000
(这个是他们没有的网页,他们只有1-4335页) 大写的10000 是分页
还是能爬到内容, 我到测试页面测试 把分页改成任何数字 爬到全是相同的, (没挂IP,没挂 自定义头)(挂了也一样)
不知道问题出在哪
爬到相同的页面是有数据的还是对方的提示页面？有可能是对方有ip访问频率限制
是有数据的,但数据都一样,好比如:我让他爬 6 7 8 页.他爬的三个页面都是是 第7 页的数据 , 我让他 爬 1 2 3 页, 得到的 还是第7页的数据, 给我感觉就是 我的IP被绑在他的第7页了 浏览器打开网址正不正常？抓取其他网站内容正不正常，如果都正常，估计就是ip被屏蔽了
http://不能发.com/v.php?next=watch&page=10000
(这个是他们没有的网页,他们只有1-4335页) 大写的10000 是分页
还是能爬到内容, 我到测试页面测试 把分页改成任何数字 爬到全是相同的, (没挂IP,没挂 自定义头)(挂了也一样)
不知道问题出在哪
爬到相同的页面是有数据的还是对方的提示页面？有可能是对方有ip访问频率限制
admin 发表于 2018-5-15 21:59
爬到相同的页面是有数据的还是对方的提示页面？有可能是对方有ip访问频率限制 ...
是有数据的,但数据都一样,好比如:我让他爬 6 7 8 页.他爬的三个页面都是是 第7 页的数据 , 我让他 爬 1 2 3 页, 得到的 还是第7页的数据, 给我感觉就是 我的IP被绑在他的第7页了 浏览器打开网址正不正常？抓取其他网站内容正不正常，如果都正常，估计就是ip被屏蔽了
| 广告位 |
发表评论
评论列表
