《网络数据包收发流程(一)：从驱动到协议栈.docx》由会员分享，可在线阅读，更多相关《网络数据包收发流程(一)：从驱动到协议栈.docx（28页珍藏版）》请在金锄头文库上搜索。
1、网络数据包收发流程(一)：从驱动到协议栈2011-06-27 11:28:20分类：LINUX早就想整理网络数据包收发流程了，一直太懒没动笔。今天下决心写了一、硬件环境intel82546：PHY与MAC集成在一起的PCI网卡芯片，很强大bcm5461： PHY芯片，与之对应的MAC是TSECTSEC： Three Speed Ethernet Controller，三速以太网控制器，PowerPc 架构CPU里面的MAC模块 注意,TSEC内部有DMA子模块话说现在的CPU越来越牛叉了，什么功能都往里面加，最常见的如MAC功能。TSEC只是MAC功能模块的一种，其他架构的cpu也有和TSEC
2、类似的MAC功能模块。这些集成到CPU芯片上的功能模块有个学名，叫平台设备，即 platform device。二、网络收包原理网络驱动收包大致有3种情况：no NAPI：mac每收到一个以太网包，都会产生一个接收中断给cpu，即完全靠中断方式来收包 缺点是当网络流量很大时，cpu大部分时间都耗在了处理mac的中断。netpoll：在网络和I/O子系统尚不能完整可用时，模拟了来自指定设备的中断，即轮询收包。 缺点是实时性差NAPI： 采用 中断 + 轮询 的方式：mac收到一个包来后会产生接收中断，但是马上关闭。 直到收够了netdev_max_backlog个包（默认300），或者收完mac
3、上所有包后，才再打开接收中断通过sysctl来修改dev_max_backlog 或者通过proc修改 /proc/sys/net/core/netdev_max_backlog下面只写内核配置成使用NAPI的情况，只写TSEC驱动。（非NAPI的情况和PCI网卡驱动 以后再说）内核版本 linux 2.6.24三、NAPI 相关数据结构每个网络设备（MAC层）都有自己的net_device数据结构，这个结构上有napi_struct。每当收到数据包时，网络设备驱动会把自己的napi_struct挂到CPU私有变量上。这样在软中断时，net_rx_action会遍历cpu私有变量的poll_l
4、ist，执行上面所挂的napi_struct结构的poll钩子函数,将数据包从驱动传到网络协议栈。四、内核启动时的准备工作4.1 初始化网络相关的全局数据结构，并挂载处理网络相关软中断的钩子函数start_kernel() - rest_init() - do_basic_setup() - do_initcall -net_dev_init_initnet_dev_init() /每个CPU都有一个CPU私有变量 _get_cpu_var(softnet_data) /_get_cpu_var(softnet_data).poll_list很重要，软中断中需要遍历它的 for_each_po
5、ssible_cpu(i) struct softnet_data *queue; queue = &per_cpu(softnet_data, i); skb_queue_head_init(&queue-input_pkt_queue); queue-completion_queue = NULL;INIT_LIST_HEAD(&queue-poll_list); queue-backlog.poll = process_backlog; queue-backlog.weight = weight_p; open_softirq(NET_TX_SOFTIRQ,net_tx_action,
6、NULL);/在软中断上挂网络发送handler open_softirq(NET_RX_SOFTIRQ,net_rx_action, NULL);/在软中断上挂网络接收handler4.2 加载网络设备的驱动NOTE：这里的网络设备是指MAC层的网络设备，即TSEC和PCI网卡（bcm5461是phy）在网络设备驱动中创建net_device数据结构，并初始化其钩子函数 open(),close() 等挂载TSEC的驱动的入口函数是gfar_probe/ 平台设备 TSEC 的数据结构static struct platform_driver gfar_driver = .probe =gf
7、ar_probe, .remove = gfar_remove, .driver = .name = fsl-gianfar, ,;intgfar_probe(struct platform_device *pdev) dev = alloc_etherdev(sizeof (*priv);/ 创建net_device数据结构 dev-open =gfar_enet_open; dev-hard_start_xmit =gfar_start_xmit; dev-tx_timeout = gfar_timeout; dev-watchdog_timeo = TX_TIMEOUT;#ifdef C
8、ONFIG_GFAR_NAPI netif_napi_add(dev, &priv-napi,gfar_poll,GFAR_DEV_WEIGHT);/软中断里会调用poll钩子函数#endif#ifdef CONFIG_NET_POLL_CONTROLLER dev-poll_controller = gfar_netpoll;#endif dev-stop = gfar_close; dev-change_mtu = gfar_change_mtu; dev-mtu = 1500; dev-set_multicast_list = gfar_set_multi; dev-set_mac_ad
9、dress = gfar_set_mac_address; dev-ethtool_ops = &gfar_ethtool_ops;五、启用网络设备5.1 用户调用ifconfig等程序，然后通过ioctl系统调用进入内核socket的ioctl()系统调用 - sock_ioctl() - dev_ioctl() /判断SIOCSIFFLAGS - _dev_get_by_name(net, ifr-ifr_name) /根据名字选net_device - dev_change_flags() /判断IFF_UP - dev_open(net_device) /调用open钩子函数对于TSE
10、C来说，挂的钩子函数是gfar_enet_open(net_device)5.2 在网络设备的open钩子函数里，分配接收bd，挂中断ISR(包括rx、tx、err)，对于TSEC来说gfar_enet_open - 给Rx Tx Bd 分配一致性DMA内存 - 把Rx Bd的“EA地址”赋给数据结构，物理地址赋给TSEC寄存器 - 把Tx Bd的“EA地址”赋给数据结构，物理地址赋给TSEC寄存器 - 给 tx_skbuff 指针数组 分配内存，并初始化为NULL - 给 rx_skbuff 指针数组 分配内存，并初始化为NULL - 初始化Tx Bd - 初始化Rx Bd，提前分配存储以太
11、网包的skb，这里使用的是一次性dma映射 （注意：#define DEFAULT_RX_BUFFER_SIZE 1536保证了skb能存一个以太网包） rxbdp = priv-rx_bd_base; for (i = 0; i rx_ring_size; i+) struct sk_buff *skb = NULL; rxbdp-status = 0; /这里真正分配skb，并且初始化rxbpd-bufPtr, rxbdpd-length skb = gfar_new_skb(dev, rxbdp); priv-rx_skbuffi = skb; rxbdp+; rxbdp-; rxbdp
12、-status |= RXBD_WRAP;/ 给最后一个bd设置标记WRAP标记 - 注册TSEC相关的中断handler： 错误，接收，发送 request_irq(priv-interruptError,gfar_error, 0, enet_error, dev) request_irq(priv-interruptTransmit,gfar_transmit, 0, enet_tx, dev)/包发送完 request_irq(priv-interruptReceive,gfar_receive, 0, enet_rx, dev)/包接收完 -gfar_start(net_device
13、) / 使能Rx、Tx / 开启TSEC的 DMA 寄存器 / Mask 掉我们不关心的中断event最终，TSEC相关的Bd等数据结构应该是下面这个样子的六、中断里接收以太网包TSEC的RX已经使能了，网络数据包进入内存的流程为： 网线 - Rj45网口 - MDI 差分线 - bcm5461(PHY芯片进行数模转换) - MII总线 - TSEC的DMA Engine 会自动检查下一个可用的Rx bd - 把网络数据包 DMA 到 Rx bd 所指向的内存，即skb-data接收到一个完整的以太网数据包后，TSEC会根据event mask触发一个 Rx 外部中断。cpu保存现场，根据中断向量，开始执行外部中断处理函数do_IRQ()do_IRQ 伪代码 上半部处理硬中断 查看中断源
