PHP WES 可扩展任务系统 (分布采集系统 + 采集器集群(单机百万级任务)+分布式文件系统）

分布式和集群概念
分布式：不同的业务模块部署在不同的服务器上或者同一个业务模块分拆多个子业务，部署在不同的服务器上，解决高并发的问题
集群：同一个业务部署在多台机器上，提高系统可用性

第一代系统和第二代系统的性能比交

涉及的工具以及脚本
linux shell php redis mysq win shell 。。。

第一代系统

单机多线程 43秒下载 3949 张图片大约 90张/s 图片
单机单线程下载文件带POST校验大约 1个文件/2s 12万个文件下了3天平均文件大小 600K-2M
单机单线程普通页面采集大约 3个页面/1s 带过滤 2万个页面还没一个半小时就搞定了
单机单线程过亚马逊不换ip 大约 1个产品/5s 8个小时也才 5000 多个个产品还遇到一堆反采集规则特别是人机验证

第二代系统
基本单机节点采集亚马逊[两个任务各使用 8进程] 产品：76万页/天图片：50万张/天

快速采集器 Win-WS快速采集模块实测数据
亚马逊标准产品页 [8个进程 X2线程] 8页/s 530页/分钟 3.18万页/小时 76万页/天（取决于代理）
亚马逊产品高清图 [8 进程] 4-6张/s 40万 -60万/每天（取决于宽带）[为什么图片进程这么少纳因为产品变体多]
普通国内采集 [32进程x2线程] 90页/s 21万/每小时
普通国内图片采集 [1进程xN线程] 90张/s
分布式同步工具速度非常快没测过网卡貌似能跑满

Win 下实测采集进程可以稳定在132进程左右
并行任务[进程+线程] 可以稳定在 300 左右

通用产品采集器实测数据
第三方亚马逊采集器无代理手动验证码多进程 10-12万/天

每天的数据量 200-100 万

Win-WS快速采集模块 0.5的版本

使用 php scrip.php 的方法缺点就是会跑出大量不必要小黑窗

流程设计图 0.5 版本结构细化

程序执行效果图

Win-WS快速采集模块 1.7的版本

新增
支持计划任务
支持自动批量导入百万级数据
支持自动运行
支持自动维持进程
自动切分超大任务
自动均衡负载
支持任务转发
支持自动同步文件到主文件服务器
支持快速同步
支持离线任务
单机稳定并行任务进程增加到 130 个
支持多线程采集
支持自动切分进程下的任务切分
支持投递任务块到线程
单机稳定进程+线程并发任务300个
新增3种文件同步模式
20多G 21万张图片由原来的 5个小时缩减到几分钟
……
最大的变化是小黑窗没有了支持更多的进程和消耗更少的系统资源以及最大化发挥单机性能以及网络性能