有的网址,一直都是一样的,只是里面的数据会变,比如pubg的新浪微博,这是微博的json数据 https://m.weibo.cn/profile/info?uid=6037906900 这网址一直不会变,但里面的数据就会变,如果可以单独指定此任务网址允许重复采集(采集了此网址只要不入库已采集网址就可以了),或者允许在网址后面加个随机数的参数,比如https://m.weibo.cn/profile/info?uid=6037906900&rand=rand() 就象显示验证码一样,加一个随机数就每次不一样,采集的时候就是网址不重复的

另外数据处理希望添加采集的数据进行base64等加密处理,因为有些系统的内容不是明白保存的,使用了base64等加密保存,采集直接入库是明文!
还有你们的论坛注册不方便,即然云注册了,登录进来还要注册论坛用户,为什么注册的时候不直接注册论坛帐号?最不可理解的,是注册的时候用邮箱注册了,发验证码到邮箱了,说明邮箱真实可用,登录进来再注册论坛帐号,居然还要验证邮箱,论坛可以设置去掉邮箱验证激活,这样操作重复了! 好的,感谢反馈,后续会改善
相关文章