PHP WES 可扩展 任务系统 (分布采集系统 + 采集器集群(单机百万级任务)+分布式文件系统)
ajiang-tuzi 7年前 (2017-08-22) 5932浏览
分布式 和集群概念 分布式:不同的业务模块部署在不同的服务器上或者同一个业务模块分拆多个子业务,部署在不同的服务器上,解决高并发的问题 集群:同一个业务部署在多台机器上,提高系统可用性 第一代系统 和第二代系统的性能比交 涉及的工具 以及脚本 lin...
ajiang-tuzi 7年前 (2017-08-22) 5932浏览
分布式 和集群概念 分布式:不同的业务模块部署在不同的服务器上或者同一个业务模块分拆多个子业务,部署在不同的服务器上,解决高并发的问题 集群:同一个业务部署在多台机器上,提高系统可用性 第一代系统 和第二代系统的性能比交 涉及的工具 以及脚本 lin...
ajiang-tuzi 8年前 (2017-05-12) 5436浏览
统计数据 单机 不换ip php采集内容没啥问题 采集速度取决于宽带 单机 多线程 43秒下载 3949 张图片 大约 90张/s 图片 单机 单线程 下载文件 带POST校验 大约 ...