蓝天采集器采集的页面 每天页数都会变怎么办 ?
每天都会有新的视频上传, 但新的页面上的 数据会顶掉前一天的数据,就是 前一天在第一页的数据 跑到第二页了, 也有可以 只过去了一部分 还有一半留在第一页,这个该怎么办呢
这个没办法的,所有网站的列表页数据都是显示最新的(除非网站自己有排序选项),这样不挺好的吗,可以实时同步更新 那按照这样来讲的话,第一天抓取第一页
如:
wwvv. bai du .c o m/1
得到 :20 个条数据
, 第二天想得到新的数据的话
从 已采集数据列表删除 wwvv. bai du .c o m/1 的记录
然后再重新抓取wwvv. bai du .c o m/1 么?

如果是这样的话 : 如果 他的第一页 没有更新, 那我抓到的不就是重复的了么,还是说,他会自动去更新
wangchenyuF2 发表于 2018-5-9 01:27
那按照这样来讲的话,第一天抓取第一页
如:
wwvv. bai du .c o m/1

你这是27盘吧,他不是直接有api,还用你自己采集啥
wangchenyuF2 发表于 2018-5-9 01:27
那按照这样来讲的话,第一天抓取第一页
如:
wwvv. bai du .c o m/1

系统会根据网址自动排重
相关文章