tcp: fix tcp_ack() performance problem
authorEric Dumazet <>
Sat, 11 Oct 2014 22:17:29 +0000 (15:17 -0700)
committerDavid S. Miller <>
Tue, 14 Oct 2014 19:59:37 +0000 (15:59 -0400)
We worked hard to improve tcp_ack() performance, by not accessing
skb_shinfo() in fast path (cd7d8498c9a5 tcp: change tcp_skb_pcount()

We still have one spurious access because of ACK timestamping,
added in commit e1c8a607b281 ("net-timestamp: ACK timestamp for

By checking if sk_tsflags has SOF_TIMESTAMPING_TX_ACK set,
we can avoid two cache line misses for the common case.

While we are at it, add two prefetchw() :

One in tcp_ack() to bring skb at the head of write queue.

One in tcp_clean_rtx_queue() loop to bring following skb,
as we will delete skb from the write queue and dirty skb->next->prev.

Add a couple of [un]likely() clauses.

After this patch, tcp_ack() is no longer the most consuming
function in tcp stack.

Signed-off-by: Eric Dumazet <>
Cc: Willem de Bruijn <>
Cc: Neal Cardwell <>
Cc: Yuchung Cheng <>
Cc: Van Jacobson <>
Signed-off-by: David S. Miller <>

No differences found