IP城域网建设中的相关技术问题中国电信股份有限公司北京研究院胡捷随着运营商之间竞争的日益加剧和新兴运营商的介入,数据业务已经成为竞 争的焦点之一,数据业务提供能力、服务质量以及性能价格比等因素是竞争成败 的关键IP城域网在用户驻地网和骨干互连网之间起着桥梁作用,其采用的网 络组织结构和技术实现方式直接影响到所支持的业务,此外还对网络的可靠性、 可用性和可扩展性起着关键作用通常在IP城域网的建设实施、运行维护和业务开展上需要关注以下几个方 面的问题:1. 故障保护倒换网络故障保护倒换可以从物理层、链路层、网络层三个层次进行,或者组合 使用三个层次提供故障保护倒换如果低层能提供50ms的电信级别故障保护倒 换,那么可以不启用高层的故障保护倒换机制例如可以利用SDH提供50ms 的故障倒换,不必启用Spanning Tree或MPLS的快速重路由进行故障倒换保护目前节点之间的物理层和链路层可以采用以下几种保护到换方式:(1) 裸光纤Dark Fiber (两条不同的物理路由,或一条相同物理路由光缆中的 不同纤芯提供i+i ir);(2) 密集波分DWDM或粗波分CWDM (两条不同的物理路由、一条相同物理 路由光缆中的不同纤芯、或一套WDM系统中的不同波长提供1 + 1保拍;(3) SDH (用于核心、汇聚节点之间的PoS连接,能提供2/4纤的通道/复用段 保护倒换,故障恢复时间<=50ms,节点设备不用感知网络拓扑的变化,不需通 过 L2 Spanning Tree 或 L3 IGP 的收敛);(4) MSTP (用于汇聚、接入节点之间的FE连接,保护机理同SDH);(5) RPR (用于汇聚、接入节点之间的FE/GE环状连接,保护机制采用弹性分 组环技术,恢复时间<=50ms,采用空间再利用技术提高了环状网络带宽利用率, 链路保护算法不需路由器参与)。
根据节点所采用设备和控制层面的不同,目前节点之间能使用以下几种保护 协议:(1) DPT(用于核心、汇聚节点之间的PoS环状连接,链路故障恢复时间<=50ms, 采用空间复用技术提高了环状网络带宽利用率,链路保护需要路由器参与);(2) L2交换机作为业务节点,节点之间采用Spanning Tree协议提供链路冗余 机制,802.1d标准的保护到换时间为50s左右,802.1W可以提高到l-2s;(3) L3路由器作为业务节点,节点之间的IGP可以提供路由收敛,保护到换时 间为l-2so L3路由器作为业务节点,节点之间启用MPLS TE的Fast reroute或 备份路径,提供类似浮动静态路由功能,在IGP收敛之前进行50ms以内的路径 保护到换2. IP城域网的安全问题随着IP城域网中以太网应用的日益普及,网络安全成为日益迫切的需求 目前IP城域网主要从运营商的角度对网络侧提供安全问题的解决方案1) 对于运营商网络,需要关闭一些针对企业网特点的网络设备出厂缺省设 置,如 CDP、Finger、Bootp Server、IP Redirect、Proxy Arp、 Directed-Broadcast 等等;(2) 设备的远程登录采用Radius集中认证,并启用审计功能,设置起警示作 用的登录标语,设置Console和VTY的会话超时;(3) 设置复杂的SNMP Community参数,采用ACL保护SNMP访问权限,配置SNMP 认证失败陷阱,由Syslog服务器记录;(4) 采用防火墙或网络设备独有的TCP拦截特性防止TCP Syn Flood攻击;(5) 在网络边界配置单播RPF,杜绝源地址欺骗;(6) 在网络边界配置CAR限制ICMP包通过频率,降低Smurf攻击程度;(7) 采用路由黑洞NullO丢弃不存在的路由(RFC1918地址、Full Routing Table中没有的欺诈地址);(8) 及时对安全事件进行记录并做出反映,改进和增强安全防范策略。
3.与骨干网之间的连接方式,负载分担和冗余的实施城域网与骨干网不应在同一个Routing Domain,与骨干网之间为eBGP或 Default/Static路由协议,城域网逻辑上相当于骨干网的用户,拥有独立、连续的 地址范围,理想状态下这段地址范围经过聚合在骨干网路由器上为一个路由条 目如果城域网采用两个节点与骨干网连接,需要合理配置路由策略,实现网络 正常状态下的流量负载分担及网络故障状态下的冗余3. 1静态/缺省路由方式(1) 在城域网两个出口路由器上配置指向骨干网的缺省路由,并将其注入到 IGP,城域网其他节点L3设备会根据到出口路由器的IGP Metric值自动 实现Outbound流量负载分担;当一个出口出现故障,缺省路由消失, Outbound流量全部集中到另一个出口,实现冗余;(2) 骨干网的两台路由器分别配置到城域网前、后1/2地址和全部地址段的静 态路由,并将静态路由通过Network命令通告到iBGP在网络正常状态下, 骨干网根据最长匹配原则,通向城域网的流量根据目的地地址范围位于城 域网全部地址范围的前半部或后半部,采用不同的入口,实现Inbound流 量的负载分担;当一个入口故障,静态路由消失,另一个入口仍然具备通 向城域网的全部地址段,可以实现冗余。
3.2 eBGP方式(1) 城域网两个出口分别接收骨干网送来的Aggregation路由,同时自行配置 到骨干网的缺省路由,将二者注入到iBGP,由于两个出口的Local Prefer、 AS-Path和MED等属性均相同,因此iBGP选择哪个出口取决于到出口路由 器的IGP Metric,可以自动实现Outbound流量的负载分担;当一个出口 故障,路由消失,全部Outbound流量自动通过另一个出口,实现冗余;(2) 骨干网两台路由器同时接收城域网送来的Aggregation路由,分别传播到 骨干网iBGP,二者具备相同的Local Perfer> AS-Path和MED等属性,因 此根据到出口路由器的IGP Metric实现Inbound流量负载分担;同样, 故障时,自动选择另一个出口实现冗余如果骨干网上两台路由器属于同 —个RR Cluster,由于目前软件尚不支持iBGP Multi path,因此骨干网 会优选具备较高Loopback地址的路由器为下一跳,无法实现负载分担此时仍旧需要城域网通过eBGP向骨干网通告前、后各1/2和全部路由来 实现Inbound负载分担4. IP地址分配和路由策略4. 1中小型城域网目前中小型城域网基本上没有运行iBGP,所有路由都是通过IGP通告,必 须合理规划和配置,确保IGP路由表数目不要超过4000条。
1) IGP首先用来实现网络基础设施的地址通告,实现路由器环回地址和路由 器之间点到点/30网段的IP可达;(2) 必要情况下可对IGP Routing Domain进行Area或Level划分,在ABR对 所属区域的路由进行汇聚处理,一方面减少路由表条目,另外可以将路由 抖动限制在一个相对较小的区域;(3) 从一个连续的地址段中为所有设备的环回接口分配IP地址,在没有连接 到IGP邻接体的接口上设置Passive-Interface;(4) 如果网络近似于全网状连接或者具有不稳定的链路,最好减少在一个Area 中的路由器个数,也尽量减少一个路由器所在区域的个数;(5) 对于到用户驻地网电点到点连接:1. 建议采用IP Unnummbered方式:2. 如果采用/30网段,节点内的边缘接入路由器采用连续的一 段地址专门作为到CPE路由器的点到点/30网段地址,以Network 命令将完整的网段统一通告到IGP,不要Redistribute Connected:(6) 对于用户驻地网地址:1. 每个POP所覆盖的区域内的多个客户端地址在一个连续的区域 内,以Network命令将完整的网段统一通告到IGP;2, 不要通过Redistribute Static通告路由到IGP:4. 2大型城域网城域网内部运行iBGP, BGP是唯一可扩展成可容纳大量路由的协议,由于客 户路由和外部路由在BGP中承载,因此网络内部路由结构不会受外部因素(BGP Route Flapping)影响。
1) IGP只用来实现网络基础设施的地址通告,实现路由器环回地址和 路由器之间点到点/30网段的IP可达;(2) 在此基础之上实现iBGP Full Mesh连接,如果网络规模够大,可 以采用RR方式减少iBGP Session数;(3) 对于到用户驻地网的点到点连接:1. 建议采用IP Unnummbered方式;2. 如果采用/30网段,节点内的边缘接入路由器采用连续的一段 地址专门作为到CPE路由器的点到点/30网段地址,以Network 命令将完整的网段统一通告到iBGP,不要RedistributeConnected o(4) 对于用户驻地网地址:每个POP所覆盖的区域内的客户端地址在一个连续的区域内, 以Network命令将完整的网段统一通告到iBGP,不要Redistribute Static ;(5) 城域网与骨干网之间运行eBGP,双方尽量只通告聚合(Aggregation)路由,内部的iBGP路由摆动就不会影响对方,必 要时采用eBGP过滤策略,拒绝接收小于/20的网络;(6) 通过 Route Map 对对方路由的 Prefix、AS-Path 或 BGP Community 属性进行匹配,设置BGP Dampening参数进行抑制;(7) 绝对禁止将IGP和iBGP路由相互注入,否则会严重影响网络的稳 定和可扩展性。
5.避免广播风暴措施(1) 节点之间进行L3路由方式连接,不做L2透传,可以将L2广播域终结在 城域网一个节点以下;(2) 如果在组网中确实存在在L3交换机之间通过Trunk互连的情况,需要启 用VLAN Trunk Pruning,减小广播、组播以及其他Flooding数据包对干 道带宽的占用;(3) 在网络拓扑结构比较简单的情况下,尽量采用公共生成树方式,所有 VLAN一个Spanning Tree,运行于VLAN 1,城域网核心交换机设置为根网 桥此方式会降低BPDU数据流量对带宽的占用;(4) 采用可设置广播风波门限的设备,对超过阈值(如20%)的广播包自动 进行过滤和丢弃。