《存储框架改进之流水线技术》由会员分享，可在线阅读，更多相关《存储框架改进之流水线技术（18页珍藏版）》请在金锄头文库上搜索。
1、存储流水线技术 目录 现有问题 效果展示 根因分析 关键技术 价值展示 现有问题 性能天花板问题：单虚拟机无法跑满SATA SSD，单机单盘随机写 入最高IOPS 1.7W，单机多盘随机写最高IOPS 2.1W。 无法维持最高性能：多深度IO情况下8/16深度为最高性能，再加 压力性能开始下降，超过32深度时性能下降严重。 CPU资源消耗大：跑集群测试时一个glusterfsd进程可以消耗 1000%+以上CPU，性能随深度先上升后下降，达到阀值时下降明 显 效果展示 测试环境：2主机，每主机2块SATA 480G SSD，全闪存存储 小块随机IO提升性能明显 提升比率在50%-166% 大块
2、顺序IO都跑满了SATA SSD硬件极限，无明显差异 单虚拟机单盘 12481632 3762781414179210022345724288 3564757815021268514182349023 12481632 2958602011074173112073221230 3086633912162211103091835831 12481632 226747888101136431722817716 250051809384149982242227930 单虚拟机6盘 12481632 175152379527862302662760526899 20994373805722564173
3、7221379509 12481632 151092309725973274172512823465 167312905443273535255989162779 12481632 129772182626610256182082721408 127212158431716414454684552088 集群9VM*3disk 12481632 73028 84130 71247 42717 33542 25302 67594 102639 146485 174945 206959 210059 12481632 46118 43112 38760 35669 33149 32374 5061
4、6 74097 88882 104838 122996 118182 12481632 25389 22110 17125 17067 16192 13195 37527 50651 56259 67383 67398 64706 存储客户端运行环境 特点： 1. 工作线程池按请求分发 2. 工作线程池与 epoll main thread有竞争 3. epoll为关键路径 存储客户端运行环境 epoll 反应 堆 work er work er work er work er work er work er IO 1. 取一个worker线程执行IO 2. 网络发包 网络收包 3. 唤醒fd
5、, 主线程执行cbk 4. 返回结果给用户 存储服务端运行环境 特点： 1. 只有一个epoll 2. 工作线程池按 请求分发 3. 同步IO 4. epoll与worker 有竞争 存储服务端运行环境 epoll 反应 堆 work er work er work er work er work er work er IO 2. 取一个worker线程执行IO4. 网络发包 1. 唤醒fd, 主线程执行 3. 执行底层IO 存储服务端运行环境 epoll epoll epollepollepoll epollepollepoll epoll 网络业务AIO IO 封包, 转给下一层work执
6、行封包, 转给下一层work执行 IO IO doing doing doing 文件1 文件2 客户端1 简单说下协程 1. 协程是用户态的线程结构. 能够使用单线程实现任务并发. 调度代码 调度任务结 构 调度任务结 构 调度任务结 构 等待事件, 切到调度 根因分析 按请求分发：相同文件不同IO之间容易形成竞争 IO路径长：工作线程池和epoll 都经过了所有xlator 单epoll线程：容易成为关键路径 epoll与workers：容易形成竞争，导致epoll sleep进一步加大关键 路径 同步IO：工作线程池在同步IO时，线程数决定了最大并发度 综上主要三大根因：竞争大、路径长、
7、并发度低 流水线关键技术 流水线技术（去掉竞争、缩短关键IO路径） 协程+异步IO技术（自由调度减少阻塞、增加IO并行度） 深度优化（进一步缩短关键IO路径） 存储客户端流水线 特点： 1. 按文件分发 2. IO路径短 3.各级流水无竞争 4.支持批量处理 存储服务端流水线 特点： 1. 按文件分发 2. IO路径短 3. 协程遇竞争 自动调度 4. 异步IO并发度高 5. 流水之间无竞争 6. 支持批量处理 价值展示 1. 全面提升存储框架性能，提升的是平台能力，全闪存情况可以 提升2-5倍小块IO性能。 2.竞争小，CPU利用率高，所需求CPU低，留给客户的CPU多。 3.关键路径短，在关键路径上进行深度优化效果比以前更明显。 4. 扩展性好，关键路径较长时，可以再次切流水，进一步缩短IO 路径 5. 调试方便，pidstat -t -p $pid 可以很容易识别出关键路径 6. 资源控制简单，所有流水并行度都可以随意控制，配合cgroup 可以进一步控制CPU资源
