绑定完请刷新页面
取消
刷新
登录 | 注册

分享好友

×
取消 复制
Linux内核发送构造数据包的方式
2020-05-25 11:28:04

一、构造数据包简析

这里并不详细介绍如何在内核中构造数据包，下文如有需要会在适当的位置进行分析。这里简单的分析讲一下内核态基于Netfilter框架构造数据包的方式。
内核中可以用到的构造数据包的方式，个人认为可以分为两种。

其一，我们直接用alloc_skb申请一个skb结构体，然后根据实际的应用填充不同的成员，或者基于当前数据包的skb，调用skb_copy_expand()函数等新申请一个nskb，并且拷贝skb的内容。

其二，也是个人比较常用的，就是直接在先前接收到的数据包skb上作修改，主要有源IP、目IP，如果是TCP/UDP协议的话，还有源端口目的端口号。总之，就是根据自己的需求去调整数据包的相关成员即可。

通常，这两种方式终可能都要涉及到重新计算各个部分的校验和，这也是必须的。


二、如何发送构造的数据包

承接上文，数据包已经构造完毕，下一步关键就是如何发送数据包了。个人这里总结的有两种方法。

方法一，就是让数据包接着按照Netfilter的流程进行传输。因为数据包的一些内容已经被更改，尤其是当源IP和目的IP被更改，主要是交换的情况下，是需要确保有路由可查的。

NF框架中查路由的位置一是在PREROUTING之后，而是在LOCALOUT之后。又由于这里是需要将数据包从本地发送出去。因此，可以考虑让修改后的数据包从LOCALOUT点发出。

内核代码中有这种方式的典型体现。本文涉及的相关内核代码的版本都是2.6.18.3。源文件为ipt_REJECT.c，函数send_reset用于往当前接收到数据包的源IP上发送RST包，整个函数涉及了数据包的构造和发送，这里一起做个简单分析。

  1. /* Send RST reply */
  2. static void send_reset(struct sk_buff *oldskb, int hook)
  3. {
  4.         struct sk_buff *nskb;
  5.         struct iphdr *iph = oldskb->nh.iph;
  6.         struct tcphdr _otcph, *oth, *tcph;
  7.         struct rtable *rt;
  8.         u_int16_t tmp_port;
  9.         u_int32_t tmp_addr;
  10.         int needs_ack;
  11.         int hh_len;

  13.         /* 判断是否是分片包*/
  14.         if (oldskb->nh.iph->frag_off & htons(IP_OFFSET))
  15.                 return;
  16.         
  17. /*得到TCP头部指针*/
  18.         oth = skb_header_pointer(oldskb, oldskb->nh.iph->ihl * 4,
  19.                                  sizeof(_otcph), &_otcph);
  20.         if (oth == NULL)
  21.                 return;

  23.         /* 当期收到的包就是RST包，就不用再发送RST包了*/
  24.         if (oth->rst)
  25.                 return;

  27.         /*检查数据包的校验和是否正确*/
  28.         if (nf_ip_checksum(oldskb, hook, iph->ihl * 4, IPPROTO_TCP))
  29.                 return;
  30.         /*这一步比较关键，做的就是更新路由的工作。该函数的主要工作就是将当前数据包的源IP当做路由的目的IP，同时考虑数据包的目的IP，得到去往该源IP的路由*/
  31.         if ((rt = route_reverse(oldskb, oth, hook)) == NULL)
  32.                 return;

  34.         hh_len = LL_RESERVED_SPACE(rt->u.dst.dev);

  36.         /* 拷贝当前的oldskb,包括skb结构体和数据部分。这就是我们上面提到的构造数据包的种方式*/
  37.         nskb = skb_copy_expand(oldskb, hh_len, skb_tailroom(oldskb),
  38.                                GFP_ATOMIC);
  39.         if (!nskb) {
  40.                 dst_release(&rt->u.dst);
  41.                 return;
  42.         }

  44.         /*因为是拷贝的oldskb,这里不需要再引用了，因此释放对该路由项的引用*/
  45.         dst_release(nskb->dst);
  46.         /*将新构造数据包引用的路由指向上面由route_reverse函数返回的新的路由项 */
  47.         nskb->dst = &rt->u.dst;

  49.         /* 清除nskb中拷贝过来的oldskb中链接跟踪相关的内容*/
  50.         nf_reset(nskb);
  51.         nskb->nfmark = 0;
  52.         skb_init_secmark(nskb);

  54.         /*以下就是构造数据包的实际数据部分。如果我们将这里不为nskb新申请缓冲区，而直接指向oldskb的缓冲区，就使我们上面提到的第二种构造数据包的方法。*/
  55.         /*获取nskb的tcp header*/
  56.         tcph = (struct tcphdr *)((u_int32_t*)nskb->nh.iph + nskb->nh.iph->ihl);

  58.         /*交换源和目的IP */
  59.         tmp_addr = nskb->nh.iph->saddr;
  60.         nskb->nh.iph->saddr = nskb->nh.iph->daddr;
  61.         nskb->nh.iph->daddr = tmp_addr;

  63.         /*交换源和目的端口 */
  64.         tmp_port = tcph->source;
  65.         tcph->source = tcph->dest;
  66.         tcph->dest = tmp_port;

  68.         /*重置TCP头部的长度，并修改IP头部中记录的数据包的总长度。因为这里是发送RST报文，只需要有TCP的头部，不需要TCP的数据部分*/
  69.         tcph->doff = sizeof(struct tcphdr)/4;
  70.         skb_trim(nskb, nskb->nh.iph->ihl*4 + sizeof(struct tcphdr));
  71.         nskb->nh.iph->tot_len = htons(nskb->len);

  73.         /*重新设置 seq, ack_seq，分两种情况（TCP/IP详解有描述）*/
  74.         if (tcph->ack) { /*原始数据包中ACK标记位置位的情况*/
  75.                 needs_ack = 0;
  76.                 tcph->seq = oth->ack_seq; /*原始数据包的ack_seq作为nskb的seq*/
  77.                 tcph->ack_seq = 0;
  78.         } else { /*原始数据包中ACK标记位没有置位的情况，初始连接SYN或者结束连接FIN等*/
  79.                 needs_ack = 1;
  80.                 /*这种情况应该是SYN或者FIN包，由于SYN和FIN包都占用1个字节的长度。因此ack_seq应该等于旧包的seq+1即可。这里之所以这样表示，可能是还存在其他情况的数据包。*/
  81.                 tcph->ack_seq = htonl(ntohl(oth->seq) + oth->syn + oth->fin
  82.                                       + oldskb->len - oldskb->nh.iph->ihl*4
  83.                                       - (oth->doff<<2));
  84.                 tcph->seq = 0;
  85.         }

  87.         /* RST标记位置1*/
  88.         ((u_int8_t *)tcph)[13] = 0;
  89.         tcph->rst = 1;
  90.         tcph->ack = needs_ack;

  92.         tcph->window = 0;
  93.         tcph->urg_ptr = 0;

  95.         /*重新计算TCP校验和*/
  96.         tcph->check = 0;
  97.         tcph->check = tcp_v4_check(tcph, sizeof(struct tcphdr),
  98.                                    nskb->nh.iph->saddr,
  99.                                    nskb->nh.iph->daddr,
  100.                                    csum_partial((char *)tcph,
  101.                                                 sizeof(struct tcphdr), 0));

  103.         /* 修改IP包的TTL，并且设置禁止分片*/
  104.         nskb->nh.iph->ttl = dst_metric(nskb->dst, RTAX_HOPLIMIT);
  105.         /* Set DF, id = 0 */
  106.         nskb->nh.iph->frag_off = htons(IP_DF);
  107.         nskb->nh.iph->id = 0;

  109.         /*重新计算IP数据包头部校验和*/
  110.         nskb->nh.iph->check = 0;
  111.         nskb->nh.iph->check = ip_fast_csum((unsigned char *)nskb->nh.iph, 
  112.                                            nskb->nh.iph->ihl);

  114.         /* "Never happens" */
  115.         if (nskb->len > dst_mtu(nskb->dst))
  116.                 goto free_nskb;
  117. /*使nskb和oldskb的链接记录关联*/
  118.         nf_ct_attach(nskb, oldskb);
  119.         
  120. /*这里就是终发送数据包的方式，具体方法就是让新数据包经过LOACLOUT的hook点，然后查路由，后经由POSTROUTING点，将数据包发送出去。
  121. 其实这里我还是有1个疑问：（1）为什么不可以直接查找路由，而必须先经过LOCALOUT点*/
  122.         NF_HOOK(PF_INET, NF_IP_LOCAL_OUT, nskb, NULL, nskb->dst->dev,
  123.                 dst_output);
  124.         return;

  126. free_nskb:
  127.         kfree_skb(nskb);
  128. }
复制代码

通过以上对send_reset函数的分析，应该明白了利用NF框架将构造数据包发送出去的方法。
源码分析中提到的1个疑问

其实，这不是丢到了高层，而是和ip_queue_xmit()发送过程意义一样。
对这包进行重新路由后，封装了头部，之后，放到了NF_IP_LOCAL_IN之前而已。

其实，这里面只要修改了中途修改了ip地址，肯定是需要手动重新路由的。
这就涉及到一些比较复杂的route cache的查找，如果没有就去查找route tables；之后，进行路由结构和neighbour结构的关联，就涉及到邻居子系统的相关操作；接着就涉及到arp cache的查找，如果没有，进行一些操作，arp的过程等等，才找到了相关的ip对应的mac信息。
息。

方法二，就是直接调用dev_queue_xmit函数，将构造完毕的数据包直接发送到网卡驱动。从NF框架来看，该函数的调用是在POSTROUTING点之后了，也可以理解为直接通过调用二层的发送函数，将三层构造的数据包发送出去。该函数实际上会调用skb->dev->hard_start_xmit，即对应网卡的驱动函数，将数据包直接发送的出去。
很显然，这个工作在二层的函数，发送数据包（数据包在二层的时候准确叫法应该是帧，我们这里是在三层直接调用的，权且还称作数据包）的方式是不需要再查路由了。
但是，二层发送的时候是需要根据目的MAC来进行的。在种方法构造的数据包中，仅仅交换了IP地址，而没有对MAC做任何修改。这样直接调用dev_queue_xmit是会产生问题的，并且该函数发送的内容应该是从二层头部开始，到数据包的结束。因此，如果三层构造的数据包，想调用该函数直接发送数据包的话，则需要修改数据包的源和目的MAC，并将skb->data指针指向MAC头部，以及skb->len的值也要加上头部的长度方法。以下是可参考的示例代码：

  1.   unsigned char mac_temp[ETH_ALEN] = {0}; 
  2.   struct ethhdr *mach = NULL;
  3. ……
  4. /*code…… 构造数据包的IP即上层协议及数据*/ 
  5. ……
  6. /*交换源和目的MAC*/
  7. mach = (struct ethhdr *)skb->mac.raw;
  8.    memcpy(mac_temp, (unsigned char *)mach->h_dest, ETH_ALEN);
  9.    memcpy(mach->h_dest, (unsigned char *)mach->h_source, ETH_ALEN);
  10.    memcpy(mach->h_source, mac_temp, ETH_ALEN);

  12. /*修改skb->data指针，使其指向MAC头部，并且增加skb->len*/
  13. skb_push(skb , ETH_HLEN);
  14. /*直接调用该函数，将数据包从网卡上发送出去*/
  15. ret = dev_queue_xmit(skb);
复制代码


    这里还要顺便说一下构造的数据包发送完毕之后，对于hook函数的返回值问题。
（1）种发送数据包的实现，对于send_reset函数的实现中，由于单独申请了nskb的内存，并构造的新的数据包。新数据包接着走NF的流程了。而对于原始的skb，就通过模块的返回值return NF_DROP做出了处理。
（2）第二种发送数据包的实现，若是基于已有数据包的基础上重新构造的数据包，那么实际上原始数据包的内容已经不复存在，而且调用完毕dev_queue_xmit已将同一块缓冲区，只是填充了新数据的数据包发送出去，因此，这里已经没有原始数据包的存在了，需要返回NF_STOLEN，告诉协议栈不用关心原始的包即可。否则，若是新数据包是单独申请的内存，那么对于原数据包还应该是返回NF_DROP.


三、总结
以上就是个人分享和总结和内核中构造的数据包发送出去的两种方式。实际中常用的就是构造完数据包之后，调用dev_queue_xmit函数发送报文，也测试过调用send_reset发送RST方式。但并未采用send_reset中通过调用NF_HOOK发送过其他数据包。如果诸位朋友有相关的实践经验，欢迎分享。

本文在分析send_reset代码的过程中，参考了百度中搜到的muddoghole的文章，因为只能从百度快照看到这篇文章，并且链接过长，这里就不列出连接，对于原文的作者表示感谢。

由于对内核中的一些地方理解不够深入，因此文章中肯定存在很多问题。欢迎各位朋友指正，多多交流。


文章来源CU社区：Linux内核发送构造数据包的方式  

上一篇：架构成长之路：大型网站演变中的负载均衡场景分析!
下一篇：udp数据报从网卡驱动到用户空间流程总结
分享好友

分享这个小栈给你的朋友们，一起进步吧。

内核源码
创建时间：2020-05-18 13:36:55
内核源码精华帖内容汇总
展开
订阅须知

• 所有用户可根据关注领域订阅专区或所有专区

• 付费订阅：虚拟交易，一经交易不退款；若特殊情况，可3日内客服咨询

• 专区发布评论属默认订阅所评论专区（除付费小栈外）

技术专家

查看更多
  • 飘絮絮絮丶
    专家
戳我，来吐槽～

北京盛拓优讯信息技术有限公司. 版权所有  京ICP备16024965号-8  北京市公安局海淀分局网监中心备案编号：11010802021510  未成年人举报专区

广播电视节目制作经营许可证(京) 字第1234号 中国互联网协会会员