net: ip, ipv6: handle gso skbs in forwarding path
[pandora-kernel.git] / net / ipv4 / ip_forward.c
1 /*
2  * INET         An implementation of the TCP/IP protocol suite for the LINUX
3  *              operating system.  INET is implemented using the  BSD Socket
4  *              interface as the means of communication with the user level.
5  *
6  *              The IP forwarding functionality.
7  *
8  * Authors:     see ip.c
9  *
10  * Fixes:
11  *              Many            :       Split from ip.c , see ip_input.c for
12  *                                      history.
13  *              Dave Gregorich  :       NULL ip_rt_put fix for multicast
14  *                                      routing.
15  *              Jos Vos         :       Add call_out_firewall before sending,
16  *                                      use output device for accounting.
17  *              Jos Vos         :       Call forward firewall after routing
18  *                                      (always use output device).
19  *              Mike McLagan    :       Routing by source
20  */
21
22 #include <linux/types.h>
23 #include <linux/mm.h>
24 #include <linux/skbuff.h>
25 #include <linux/ip.h>
26 #include <linux/icmp.h>
27 #include <linux/netdevice.h>
28 #include <linux/slab.h>
29 #include <net/sock.h>
30 #include <net/ip.h>
31 #include <net/tcp.h>
32 #include <net/udp.h>
33 #include <net/icmp.h>
34 #include <linux/tcp.h>
35 #include <linux/udp.h>
36 #include <linux/netfilter_ipv4.h>
37 #include <net/checksum.h>
38 #include <linux/route.h>
39 #include <net/route.h>
40 #include <net/xfrm.h>
41
42 static bool ip_may_fragment(const struct sk_buff *skb)
43 {
44         return unlikely((ip_hdr(skb)->frag_off & htons(IP_DF)) == 0) ||
45                !skb->local_df;
46 }
47
48 static bool ip_exceeds_mtu(const struct sk_buff *skb, unsigned int mtu)
49 {
50         if (skb->len <= mtu || skb->local_df)
51                 return false;
52
53         if (skb_is_gso(skb) && skb_gso_network_seglen(skb) <= mtu)
54                 return false;
55
56         return true;
57 }
58
59 static bool ip_gso_exceeds_dst_mtu(const struct sk_buff *skb)
60 {
61         unsigned int mtu;
62
63         if (skb->local_df || !skb_is_gso(skb))
64                 return false;
65
66         mtu = dst_mtu(skb_dst(skb));
67
68         /* if seglen > mtu, do software segmentation for IP fragmentation on
69          * output.  DF bit cannot be set since ip_forward would have sent
70          * icmp error.
71          */
72         return skb_gso_network_seglen(skb) > mtu;
73 }
74
75 /* called if GSO skb needs to be fragmented on forward */
76 static int ip_forward_finish_gso(struct sk_buff *skb)
77 {
78         struct sk_buff *segs;
79         int ret = 0;
80
81         segs = skb_gso_segment(skb, 0);
82         if (IS_ERR(segs)) {
83                 kfree_skb(skb);
84                 return -ENOMEM;
85         }
86
87         consume_skb(skb);
88
89         do {
90                 struct sk_buff *nskb = segs->next;
91                 int err;
92
93                 segs->next = NULL;
94                 err = dst_output(segs);
95
96                 if (err && ret == 0)
97                         ret = err;
98                 segs = nskb;
99         } while (segs);
100
101         return ret;
102 }
103
104 static int ip_forward_finish(struct sk_buff *skb)
105 {
106         struct ip_options * opt = &(IPCB(skb)->opt);
107
108         IP_INC_STATS_BH(dev_net(skb_dst(skb)->dev), IPSTATS_MIB_OUTFORWDATAGRAMS);
109
110         if (unlikely(opt->optlen))
111                 ip_forward_options(skb);
112
113         if (ip_gso_exceeds_dst_mtu(skb))
114                 return ip_forward_finish_gso(skb);
115
116         return dst_output(skb);
117 }
118
119 int ip_forward(struct sk_buff *skb)
120 {
121         struct iphdr *iph;      /* Our header */
122         struct rtable *rt;      /* Route we use */
123         struct ip_options * opt = &(IPCB(skb)->opt);
124
125         if (skb_warn_if_lro(skb))
126                 goto drop;
127
128         if (!xfrm4_policy_check(NULL, XFRM_POLICY_FWD, skb))
129                 goto drop;
130
131         if (IPCB(skb)->opt.router_alert && ip_call_ra_chain(skb))
132                 return NET_RX_SUCCESS;
133
134         if (skb->pkt_type != PACKET_HOST)
135                 goto drop;
136
137         skb_forward_csum(skb);
138
139         /*
140          *      According to the RFC, we must first decrease the TTL field. If
141          *      that reaches zero, we must reply an ICMP control message telling
142          *      that the packet's lifetime expired.
143          */
144         if (ip_hdr(skb)->ttl <= 1)
145                 goto too_many_hops;
146
147         if (!xfrm4_route_forward(skb))
148                 goto drop;
149
150         rt = skb_rtable(skb);
151
152         if (opt->is_strictroute && opt->nexthop != rt->rt_gateway)
153                 goto sr_failed;
154
155         if (!ip_may_fragment(skb) && ip_exceeds_mtu(skb, dst_mtu(&rt->dst))) {
156                 IP_INC_STATS(dev_net(rt->dst.dev), IPSTATS_MIB_FRAGFAILS);
157                 icmp_send(skb, ICMP_DEST_UNREACH, ICMP_FRAG_NEEDED,
158                           htonl(dst_mtu(&rt->dst)));
159                 goto drop;
160         }
161
162         /* We are about to mangle packet. Copy it! */
163         if (skb_cow(skb, LL_RESERVED_SPACE(rt->dst.dev)+rt->dst.header_len))
164                 goto drop;
165         iph = ip_hdr(skb);
166
167         /* Decrease ttl after skb cow done */
168         ip_decrease_ttl(iph);
169
170         /*
171          *      We now generate an ICMP HOST REDIRECT giving the route
172          *      we calculated.
173          */
174         if (rt->rt_flags&RTCF_DOREDIRECT && !opt->srr && !skb_sec_path(skb))
175                 ip_rt_send_redirect(skb);
176
177         skb->priority = rt_tos2priority(iph->tos);
178
179         return NF_HOOK(NFPROTO_IPV4, NF_INET_FORWARD, skb, skb->dev,
180                        rt->dst.dev, ip_forward_finish);
181
182 sr_failed:
183         /*
184          *      Strict routing permits no gatewaying
185          */
186          icmp_send(skb, ICMP_DEST_UNREACH, ICMP_SR_FAILED, 0);
187          goto drop;
188
189 too_many_hops:
190         /* Tell the sender its packet died... */
191         IP_INC_STATS_BH(dev_net(skb_dst(skb)->dev), IPSTATS_MIB_INHDRERRORS);
192         icmp_send(skb, ICMP_TIME_EXCEEDED, ICMP_EXC_TTL, 0);
193 drop:
194         kfree_skb(skb);
195         return NET_RX_DROP;
196 }