采集一会就停了,自动采集从没运行过,错误日志里也没提示,请问怎么解决?
参考 http://bbs.skycaiji.com/forum.ph ... &extra=page%3D1
或者用访问触发模式
fastcgi_connect_timeout 已经改成1200没用,访问触发,我可以再尝试下,现在关键是,我每次采集都是五条就不动了。nginx日志有大量499错误 可能和规则有关系,字段是不是自动获取内容的?所有规则都是只能采5条?
能正常获取内容,是总的任务只能采5条,比如我三个任务,总采集数量设了12条,每个任务设3条,运行完第一个任务,在第二个任务第二条就不动了,每次都这样. 卡住的任务有没有自动获取的字段,改用规则匹配
把所有自动获取都改成规则获取了还是一样,我给你后台能帮我看一下吗
日志里有这些错误是什么意思
[ 2019-06-29T12:49:17+08:00 ] 120.33.1.139 GET 域名/index.php?s=/admin/Task/collectBatch&ids=4%2C3%2C2
[ error ] [2]session_start(): Cannot start session when headers already sent
---------------------------------------------------------------
[ 2019-06-29T12:51:21+08:00 ] 120.33.1.139 GET 域名/index.php?s=/admin/Task/collectBatch&ids=4%2C3%2C2
[ error ] [2]session_start(): Cannot start session when headers already sent
---------------------------------------------------------------
[ 2019-06-29T13:36:52+08:00 ] 120.33.1.139 POST 域名/index.php?s=/admin/Task/edit
[ error ] [2]preg_match(): Unknown modifier 'w'
可以了,把页面抓取间隔时间和最大执行时间调到很低就行了 日志错误问题不大不影响使用,估计和并发有关系http://www.west.cn/docs/49309.html
参考 http://bbs.skycaiji.com/forum.ph ... &extra=page%3D1
或者用访问触发模式
admin 发表于 2019-6-29 12:24
参考 http://bbs.skycaiji.com/forum.php?mod=viewthread&tid=649&extra=page%3D1
或者用访问触发模式 ...
fastcgi_connect_timeout 已经改成1200没用,访问触发,我可以再尝试下,现在关键是,我每次采集都是五条就不动了。nginx日志有大量499错误 可能和规则有关系,字段是不是自动获取内容的?所有规则都是只能采5条?
admin 发表于 2019-6-29 12:34
可能和规则有关系,字段是不是自动获取内容的?所有规则都是只能采5条?
能正常获取内容,是总的任务只能采5条,比如我三个任务,总采集数量设了12条,每个任务设3条,运行完第一个任务,在第二个任务第二条就不动了,每次都这样. 卡住的任务有没有自动获取的字段,改用规则匹配
admin 发表于 2019-6-29 12:40
卡住的任务有没有自动获取的字段,改用规则匹配
把所有自动获取都改成规则获取了还是一样,我给你后台能帮我看一下吗
husir 发表于 2019-6-29 13:27
把所有自动获取都改成规则获取了还是一样,我给你后台能帮我看一下吗
日志里有这些错误是什么意思
[ 2019-06-29T12:49:17+08:00 ] 120.33.1.139 GET 域名/index.php?s=/admin/Task/collectBatch&ids=4%2C3%2C2
[ error ] [2]session_start(): Cannot start session when headers already sent
---------------------------------------------------------------
[ 2019-06-29T12:51:21+08:00 ] 120.33.1.139 GET 域名/index.php?s=/admin/Task/collectBatch&ids=4%2C3%2C2
[ error ] [2]session_start(): Cannot start session when headers already sent
---------------------------------------------------------------
[ 2019-06-29T13:36:52+08:00 ] 120.33.1.139 POST 域名/index.php?s=/admin/Task/edit
[ error ] [2]preg_match(): Unknown modifier 'w'
admin 发表于 2019-6-29 12:40
卡住的任务有没有自动获取的字段,改用规则匹配
可以了,把页面抓取间隔时间和最大执行时间调到很低就行了 日志错误问题不大不影响使用,估计和并发有关系http://www.west.cn/docs/49309.html