《TIGGE数据接收问题分析与解决》由会员分享，可在线阅读，更多相关《TIGGE数据接收问题分析与解决（5页珍藏版）》请在金锄头文库上搜索。
1、第 4 1 卷第 6 期 2 0 1 3年 1 2月 气象科技 M ETEORoI OGI CAL S CI ENCE AND TECH NoLOGY V0 1 4 1 。 No 6 De c 2O 13 T I G G E数据接收问题分析与解决 吴鹏 卞 晓丰 ( 国家气象信息 中心 ， 北京 1 0 0 0 8 1 ) 摘 要 2 0 1 0年 1月欧洲 中期天 气预 报 中心 ( E C MWF ) 开始 提供 高分 辨率 产 品， 中国气 象局 T I G GE( TH0 R P E x I n t e r a c t i v e Gr a n d Gl o b a l E n s e
2、 mb l e ) 数据接收完整性受 到较大影响 ， 数 据丢失量大 ， 针对此问题 ， 对数据 接收环 节进 行 了逐一 分析 ， 发现数据共享 软件( 全球气 象数据共享系统) 使用的 T C P传输 协议 在高带宽 、 高时延 网络环境下 存 在性 能瓶 颈 ， 制约 了当前 网络 吞吐量的提高 ， 不能满 足每 天大数 据量 的传输 要求 。通 过对 T I G GE系统 的 T C P接 收窗 口大小进行调整 ， 提 高了 T C P协议性能和 当前 网络吞吐量 。调整后 ， 中 国气 象局数据 接收情况 与全球其他 业 务 中心基本一致 ， 实现 了对全球各 中心数据 的完整接 收
3、 。 关键词TI G GE集群T C P传输 协议高带宽高 时延 引言 中 国 气 象 局 ( C MA)从2 0 0 6年 开 始 进 行 TI GGE( THoRPEX I nt e r a c t i v e Gr a n d Gl o ba l gn s e mb l e ) 归 档 中 心 的 建 设 ， 与 E C MWF( E u r o p e a n Ce n t r e f o r Me d i u m Ra n g e W e a t h e r F o r e c a s t s )和 NC AR并 列 为 世 界 三 大 TI G GE 归 档 中 心 。2 0 0
4、7 年 1月 中国气象 局 TI GGE数 据交换 系统初 步建 成 ， 归档 中心 正式 运 行 ， 开始 接 收 全 球 1 0个 业 务 中 心EC M W F， J M A( J a p a n)， UK M e t Of f i c e ( UK) ，CM A ( Ch i n a ) ，NCEP ( US A ) ，M S CM C ( Ca n a d a )，M 6 t 6 o - Fr a n c e ( Fr a n c e )，B OM( AU S - t r a l i a ) ， KMA ( Ko r e a ) ，C P TE C ( B r a z i l ) 的
5、集 合 预 报数据。系统运行初期 ， 中国气象局 日接 收数据约 3 0 0 G B， 基 本可 以完 整接 收 。2 0 1 0年 1月 E C MWF 开始提供高分辨率产品， TI GGE产品 E t 数据总量 比 之前增加 了 5 0 ， 达 到 4 6 0 GB 。随着接收数 据量 的增加 ， 中国气 象局 TI G GE系统 数据接收完整率 明显 下 降 ， 下 图是 2 0 1 0年 7月 2 1日至 2 0 1 0年 8月 1 0日中国气象局接收全球各业务 中心数据文件丢 失情 况统 计 。 如 图 1 ( 彩 页 ) 所 示 ， 中 国气 象 局 对 全 球几大业务 中心 的数
6、据 接收均存在 不 同程度 的丢 失 ， 特别是 E C MWF单批次缺收文件数达到 8万以 上( E C MWF每天分两个批次共发送文件数 4 2万左 右) 。作为 T I GGE数据全球 3个归档 中心之一 的 中国气象局如果每天的数据不能及时和完整接收 ， 将影响到全球用户 的正常访问 ， 影响到中国气 象局 归 档 中心 的职 责履 行 。 1 T I GG E数 据 接收 问题 初步 定位 1 1 T I G G E集 群介绍 目前中国气象局 TI G GE集群共 8台服 务器 ， 其中 3台安装 了 L D M 软件 ( 全球气象数据共享系 统 ) 的服 务 器 ( 下 面 简称
7、L DM 服 务 器 ) 负责 中 国气 象局 的气象数据分发和全球其他业务中心数据的接 收 。前期对 L DM 服 务器的磁盘性能 ， 文件系统进 行 了测试 ， 结果显示他们不是 T I GG E数据 接收的 问题 所 在 。于 是 笔 者 将 分 析 研 究 的 重 点 转 向 网 络 性 能 。 1 2 T l G G E接入 网络 情 况 T I GGE集 群 从 国家 气 象 信 息 中 心 使 用 2 5 0 Mb s 的 光纤 接 人 中 国科技 网 ( C S TN E T) ， C S T - NE T通 过 中美 俄 环 球 科 教 网络l_ 1 ( Gl o b a l
8、 R i n g Ne t wo r k f or Ad v a nc e d Appl i c a t i on s De v e l o pme n t ， GL OR I AD) 连接至欧洲 中心 ， GL OR I AD骨干网络 带宽 已达到了 1 0 G b s ， 经测试 ， 国家气象信息 中心 h t t p ： www q x k j n e t c n气象科技 作者简介 ： 吴鹏 ， 男 ， 1 9 8 2年生 ， 硕士 ， 助理工程师 ， 主要从事 网络与 系统管理 工作 ， Ema i l ： wu p e n g c ma g o v c r l 收稿 日期 ： 2 0
9、 1 2年 9月 6日； 定稿 日期 ： 2 0 1 3年 8月 2日 气 象 科 技 第 4 1 卷 至 C S TNE T 的 R T T( 往 返 时 延 ) 在 2 ms以 内 ， C S TNE T 至 E C MWF服 务器 的 R TT为 2 0 8 ms ， 由 于传输距离 比较长( 跨洲 的全球范围) ， 这样 的时延 在高速长距离 国际链路上属于正常范围。可见与传 统 网络不 同 ， T I G GE所 用 网络 环境 具 有 高 带 宽 ， 高 时延 的特 点 。 从 中 国 科 技 网 提 供 的 2 0 1 0年 8月 1 6 日至 2 0 1 0年 8月 2 4日
10、TI G GE接 入 网络 流 量 监 视 情 况 看 ， 如 图 2所示 ， 最 大 出流量 为 7 9 7 8 Mb s ， 平均 出 流量 3 6 7 7 Mb s ， 而 总 的接人 带宽 为 2 5 0 Mb s ， 网 带 宽 利用率 仅 为 1 4 7 ， 即使 当前 所 有 的吞 吐量 均 用于 TI GGE数据传输 ， 也无法完成每天 4 6 0 GB的 数据接收 。为完成每天 4 6 0 G B的数据传输 ， 平均 吞吐 量需 达 到 ( 4 6 0 GB8 1 0 2 4 ) ( 6 0 6 0 2 4 ) 一4 3 6 Mb s 。一 方面 当前 的网络 吞 吐 量 不
11、 能满 足 T I GG E每天的大数据量传输需要； 另一方面网络带 宽利用率较低 。很明显在 TI G GE数据传输过程 中 存在瓶颈 ， 阻碍 了网络吞吐量的提高。 为找到 TI GGE数据接 收的瓶颈 ， 笔者接下来 对 L D M 软件分析发现 ： L D M 软件使用 TC P协议 进行数据传输 。T C P协议具有流量控制、 拥塞控制 等功能 ， 这些机制保证了网络的正常运转 ， 但同时也 限制 了 T C P的性 能 ， 是否 T C P协议 在 T I GG E 的网 络 中存 在性 能 问题 ， 导 致 现有带 宽不 能充 分 利用 ， 网 络 吞 吐量达 不 到 要 求 呢
12、? 下 面 就详 细 对 T C P协 议 在 TI G GE网络 中 的性能进 行 分析 。 2 T O P协议 在 高带 宽高 时延 网络性 能分 析 TC P I P协议是为传统 的 I n t e r n e t网络而开发 的， 在低带宽、 低时延的网络中运行 良好 ， 但在高带 宽、 高时延的网络中存在一定的问题。 2 1 传统 T O P协 议存在 的 问题 早期 的 I n t e r n e t 由于带 宽较 窄 ， 容易 发生 拥 塞 ， 为 了防止 I n t e r n e t 上流 量泛 滥导 致严 重拥 塞 甚 至崩 溃 ， TC P设计采 用 了流量 控制 机制 限
13、制发送 端 的 发送 。 假设单个 TC P连接 ， 发送端向接收端持续发送 字节 。从第一个字节到达接收端到确认返 回需要一 个 T -r ( 往返 时延 ) 。在 这 段 时 间 里 ， 发 送 端 如果 不 受限制的持续发送 ， 可以传输 BT ， 这个值 反映了 连接两端链路的容量 。以 C表示 容量 ， B表示链 路带宽 ， 那么 ： C一 1 3 T 。这个乘积通 常称之 为带 宽 时 延 积 ( B DP： B a n d wi d t h De l a y P r o d u c t i o n ) 。表 1是 几种 常见 网络 环境下 的 B DP。 表 1 常见 网络环境的
14、带宽 时延积 实际上 ， 发 送端 是 受 限 的 ， 由于 TC P采 用 滑 动 窗口进行流量控制 ， 使得发送端在收到 AC K之前， 不能传输超过允许窗口值 ( a wn d mi n W ， c wn d ， 其 中 w 是接 收端通告 的窗 口值 ， 即其 T C P报文段 中的 Wi n d o w字段值， c wn d 是拥塞窗 口值) 的数据。 RF C 7 9 3 4 定 义 的 T C P报 文 头 中 TC P W i n d o w 字 段为 1 6 b i t ， 最大的窗 口值为 2 一1 6 4 KB。从表 1可 以看 出 ， 对 于 I AN 和 大 多数 w
15、AN 链 路 ， 这 个 窗口值大于带宽时延积 B D P值 ， 在此窗 口大小 下， 发送端可能持续不断地发送数据 ， 具有 良好的性能。 但是 ， 对 于带宽时延积容量为 6 2 5 2 5 0 MB的高 带宽 高 时延 的 网络 环境 来说 ， 这 个窗 口值 远远 不够 。 计算最大窗 口与容量的比值 ， 有 ： w c一6 4 E 6 2 5 1 0 。 ， 2 5 0 1 0 。 一E i 0 2 ， 0 0 2 5 6 这 意味 着在 单个 TC P连接 的情况 下 ， 即使 使 用 了最大的窗 口值 ， 也只是利用了链路容量 的很小一 部分， 链路 的带 宽利用率 只有 0 0 2 5 6 Y 0 1 0 2 。 从 另一 方 面来 看 ， 在 6 4 KB窗 口大小 ， 2 0 0 h i S的 时 延 下 ， 单 个 TC P连接吞 吐率 最 大为 ： Th r o u g h p u t =W RTT=6 4 KB 2 0 0 ms 2 。 5 6 Mh s 所 以， 由于 TC P窗口大小的限制 ， 在高带宽 、 高 时延网络中， TC P协议存在性能瓶颈E s 。 2 2 T C P协议 的改进 针对 上 述 问题 ， 新 的 RF C 1 3 2 3 c 对 TC P协 议 进行 了改 进 ， 增 加 了 W i n d o w S c a
