本帖最后由 zizdog 于 2019-6-24 14:38 编辑
今天遇到了一个问题:
采集器开启图片本地化,下载图片是在采集入库之前完成的。
我在写入数据库之前需要做判断,有些不满足条件内容是不需要采集的。但这时所有图片都被下载下来了,占用了大量空间。
希望实现:让图片本地化在判断之后呢,如果需要采集就下载,如果不需要就不本地化。
实测,昨天采集内容500篇,服务器下载了2000张图片,而且无法对照删除。十分浪费资源啊。
判断用数据处理》条件判断 就不会下载图片 您好大佬,这个条件判断我真的不会用啊,您能具体说一下吗。 我的理解是,在 字段列表-》缩略图字段-》数据处理-〉条件判断-》满足条件采集(还是,不满足不采集)
然后具体的逻辑怎么写呢,因为这里看不到调用其他字段,我是无药判断:存在“下载链接”字段 则 下载采集缩略图。 只能过滤整条数据,满足条件就采,不满足就跳过,你这种只是判断下载图片只能用自定义插件实现(自定义插件可以手动操作下载图片) 好明白了,原来这个条件判断是如此的好用,实用。太棒了!!!
今天遇到了一个问题:
采集器开启图片本地化,下载图片是在采集入库之前完成的。
我在写入数据库之前需要做判断,有些不满足条件内容是不需要采集的。但这时所有图片都被下载下来了,占用了大量空间。
希望实现:让图片本地化在判断之后呢,如果需要采集就下载,如果不需要就不本地化。
实测,昨天采集内容500篇,服务器下载了2000张图片,而且无法对照删除。十分浪费资源啊。
判断用数据处理》条件判断 就不会下载图片 您好大佬,这个条件判断我真的不会用啊,您能具体说一下吗。 我的理解是,在 字段列表-》缩略图字段-》数据处理-〉条件判断-》满足条件采集(还是,不满足不采集)
然后具体的逻辑怎么写呢,因为这里看不到调用其他字段,我是无药判断:存在“下载链接”字段 则 下载采集缩略图。 只能过滤整条数据,满足条件就采,不满足就跳过,你这种只是判断下载图片只能用自定义插件实现(自定义插件可以手动操作下载图片) 好明白了,原来这个条件判断是如此的好用,实用。太棒了!!!