LCOV - code coverage report
Current view: top level - include/net - tcp.h (source / functions) Hit Total Coverage
Test: Real Lines: 177 295 60.0 %
Date: 2020-10-17 15:46:16 Functions: 0 34 0.0 %
Legend: Neither, QEMU, Real, Both Branches: 0 0 -

           Branch data     Line data    Source code
       1                 :            : /* SPDX-License-Identifier: GPL-2.0-or-later */
       2                 :            : /*
       3                 :            :  * INET         An implementation of the TCP/IP protocol suite for the LINUX
       4                 :            :  *              operating system.  INET is implemented using the  BSD Socket
       5                 :            :  *              interface as the means of communication with the user level.
       6                 :            :  *
       7                 :            :  *              Definitions for the TCP module.
       8                 :            :  *
       9                 :            :  * Version:     @(#)tcp.h       1.0.5   05/23/93
      10                 :            :  *
      11                 :            :  * Authors:     Ross Biro
      12                 :            :  *              Fred N. van Kempen, <waltje@uWalt.NL.Mugnet.ORG>
      13                 :            :  */
      14                 :            : #ifndef _TCP_H
      15                 :            : #define _TCP_H
      16                 :            : 
      17                 :            : #define FASTRETRANS_DEBUG 1
      18                 :            : 
      19                 :            : #include <linux/list.h>
      20                 :            : #include <linux/tcp.h>
      21                 :            : #include <linux/bug.h>
      22                 :            : #include <linux/slab.h>
      23                 :            : #include <linux/cache.h>
      24                 :            : #include <linux/percpu.h>
      25                 :            : #include <linux/skbuff.h>
      26                 :            : #include <linux/cryptohash.h>
      27                 :            : #include <linux/kref.h>
      28                 :            : #include <linux/ktime.h>
      29                 :            : 
      30                 :            : #include <net/inet_connection_sock.h>
      31                 :            : #include <net/inet_timewait_sock.h>
      32                 :            : #include <net/inet_hashtables.h>
      33                 :            : #include <net/checksum.h>
      34                 :            : #include <net/request_sock.h>
      35                 :            : #include <net/sock_reuseport.h>
      36                 :            : #include <net/sock.h>
      37                 :            : #include <net/snmp.h>
      38                 :            : #include <net/ip.h>
      39                 :            : #include <net/tcp_states.h>
      40                 :            : #include <net/inet_ecn.h>
      41                 :            : #include <net/dst.h>
      42                 :            : 
      43                 :            : #include <linux/seq_file.h>
      44                 :            : #include <linux/memcontrol.h>
      45                 :            : #include <linux/bpf-cgroup.h>
      46                 :            : #include <linux/siphash.h>
      47                 :            : 
      48                 :            : extern struct inet_hashinfo tcp_hashinfo;
      49                 :            : 
      50                 :            : extern struct percpu_counter tcp_orphan_count;
      51                 :            : void tcp_time_wait(struct sock *sk, int state, int timeo);
      52                 :            : 
      53                 :            : #define MAX_TCP_HEADER  L1_CACHE_ALIGN(128 + MAX_HEADER)
      54                 :            : #define MAX_TCP_OPTION_SPACE 40
      55                 :            : #define TCP_MIN_SND_MSS         48
      56                 :            : #define TCP_MIN_GSO_SIZE        (TCP_MIN_SND_MSS - MAX_TCP_OPTION_SPACE)
      57                 :            : 
      58                 :            : /*
      59                 :            :  * Never offer a window over 32767 without using window scaling. Some
      60                 :            :  * poor stacks do signed 16bit maths!
      61                 :            :  */
      62                 :            : #define MAX_TCP_WINDOW          32767U
      63                 :            : 
      64                 :            : /* Minimal accepted MSS. It is (60+60+8) - (20+20). */
      65                 :            : #define TCP_MIN_MSS             88U
      66                 :            : 
      67                 :            : /* The initial MTU to use for probing */
      68                 :            : #define TCP_BASE_MSS            1024
      69                 :            : 
      70                 :            : /* probing interval, default to 10 minutes as per RFC4821 */
      71                 :            : #define TCP_PROBE_INTERVAL      600
      72                 :            : 
      73                 :            : /* Specify interval when tcp mtu probing will stop */
      74                 :            : #define TCP_PROBE_THRESHOLD     8
      75                 :            : 
      76                 :            : /* After receiving this amount of duplicate ACKs fast retransmit starts. */
      77                 :            : #define TCP_FASTRETRANS_THRESH 3
      78                 :            : 
      79                 :            : /* Maximal number of ACKs sent quickly to accelerate slow-start. */
      80                 :            : #define TCP_MAX_QUICKACKS       16U
      81                 :            : 
      82                 :            : /* Maximal number of window scale according to RFC1323 */
      83                 :            : #define TCP_MAX_WSCALE          14U
      84                 :            : 
      85                 :            : /* urg_data states */
      86                 :            : #define TCP_URG_VALID   0x0100
      87                 :            : #define TCP_URG_NOTYET  0x0200
      88                 :            : #define TCP_URG_READ    0x0400
      89                 :            : 
      90                 :            : #define TCP_RETR1       3       /*
      91                 :            :                                  * This is how many retries it does before it
      92                 :            :                                  * tries to figure out if the gateway is
      93                 :            :                                  * down. Minimal RFC value is 3; it corresponds
      94                 :            :                                  * to ~3sec-8min depending on RTO.
      95                 :            :                                  */
      96                 :            : 
      97                 :            : #define TCP_RETR2       15      /*
      98                 :            :                                  * This should take at least
      99                 :            :                                  * 90 minutes to time out.
     100                 :            :                                  * RFC1122 says that the limit is 100 sec.
     101                 :            :                                  * 15 is ~13-30min depending on RTO.
     102                 :            :                                  */
     103                 :            : 
     104                 :            : #define TCP_SYN_RETRIES  6      /* This is how many retries are done
     105                 :            :                                  * when active opening a connection.
     106                 :            :                                  * RFC1122 says the minimum retry MUST
     107                 :            :                                  * be at least 180secs.  Nevertheless
     108                 :            :                                  * this value is corresponding to
     109                 :            :                                  * 63secs of retransmission with the
     110                 :            :                                  * current initial RTO.
     111                 :            :                                  */
     112                 :            : 
     113                 :            : #define TCP_SYNACK_RETRIES 5    /* This is how may retries are done
     114                 :            :                                  * when passive opening a connection.
     115                 :            :                                  * This is corresponding to 31secs of
     116                 :            :                                  * retransmission with the current
     117                 :            :                                  * initial RTO.
     118                 :            :                                  */
     119                 :            : 
     120                 :            : #define TCP_TIMEWAIT_LEN (60*HZ) /* how long to wait to destroy TIME-WAIT
     121                 :            :                                   * state, about 60 seconds     */
     122                 :            : #define TCP_FIN_TIMEOUT TCP_TIMEWAIT_LEN
     123                 :            :                                  /* BSD style FIN_WAIT2 deadlock breaker.
     124                 :            :                                   * It used to be 3min, new value is 60sec,
     125                 :            :                                   * to combine FIN-WAIT-2 timeout with
     126                 :            :                                   * TIME-WAIT timer.
     127                 :            :                                   */
     128                 :            : 
     129                 :            : #define TCP_DELACK_MAX  ((unsigned)(HZ/5))      /* maximal time to delay before sending an ACK */
     130                 :            : #if HZ >= 100
     131                 :            : #define TCP_DELACK_MIN  ((unsigned)(HZ/25))     /* minimal time to delay before sending an ACK */
     132                 :            : #define TCP_ATO_MIN     ((unsigned)(HZ/25))
     133                 :            : #else
     134                 :            : #define TCP_DELACK_MIN  4U
     135                 :            : #define TCP_ATO_MIN     4U
     136                 :            : #endif
     137                 :            : #define TCP_RTO_MAX     ((unsigned)(120*HZ))
     138                 :            : #define TCP_RTO_MIN     ((unsigned)(HZ/5))
     139                 :            : #define TCP_TIMEOUT_MIN (2U) /* Min timeout for TCP timers in jiffies */
     140                 :            : #define TCP_TIMEOUT_INIT ((unsigned)(1*HZ))     /* RFC6298 2.1 initial RTO value        */
     141                 :            : #define TCP_TIMEOUT_FALLBACK ((unsigned)(3*HZ)) /* RFC 1122 initial RTO value, now
     142                 :            :                                                  * used as a fallback RTO for the
     143                 :            :                                                  * initial data transmission if no
     144                 :            :                                                  * valid RTT sample has been acquired,
     145                 :            :                                                  * most likely due to retrans in 3WHS.
     146                 :            :                                                  */
     147                 :            : 
     148                 :            : #define TCP_RESOURCE_PROBE_INTERVAL ((unsigned)(HZ/2U)) /* Maximal interval between probes
     149                 :            :                                                          * for local resources.
     150                 :            :                                                          */
     151                 :            : #define TCP_KEEPALIVE_TIME      (120*60*HZ)     /* two hours */
     152                 :            : #define TCP_KEEPALIVE_PROBES    9               /* Max of 9 keepalive probes    */
     153                 :            : #define TCP_KEEPALIVE_INTVL     (75*HZ)
     154                 :            : 
     155                 :            : #define MAX_TCP_KEEPIDLE        32767
     156                 :            : #define MAX_TCP_KEEPINTVL       32767
     157                 :            : #define MAX_TCP_KEEPCNT         127
     158                 :            : #define MAX_TCP_SYNCNT          127
     159                 :            : 
     160                 :            : #define TCP_SYNQ_INTERVAL       (HZ/5)  /* Period of SYNACK timer */
     161                 :            : 
     162                 :            : #define TCP_PAWS_24DAYS (60 * 60 * 24 * 24)
     163                 :            : #define TCP_PAWS_MSL    60              /* Per-host timestamps are invalidated
     164                 :            :                                          * after this time. It should be equal
     165                 :            :                                          * (or greater than) TCP_TIMEWAIT_LEN
     166                 :            :                                          * to provide reliability equal to one
     167                 :            :                                          * provided by timewait state.
     168                 :            :                                          */
     169                 :            : #define TCP_PAWS_WINDOW 1               /* Replay window for per-host
     170                 :            :                                          * timestamps. It must be less than
     171                 :            :                                          * minimal timewait lifetime.
     172                 :            :                                          */
     173                 :            : /*
     174                 :            :  *      TCP option
     175                 :            :  */
     176                 :            : 
     177                 :            : #define TCPOPT_NOP              1       /* Padding */
     178                 :            : #define TCPOPT_EOL              0       /* End of options */
     179                 :            : #define TCPOPT_MSS              2       /* Segment size negotiating */
     180                 :            : #define TCPOPT_WINDOW           3       /* Window scaling */
     181                 :            : #define TCPOPT_SACK_PERM        4       /* SACK Permitted */
     182                 :            : #define TCPOPT_SACK             5       /* SACK Block */
     183                 :            : #define TCPOPT_TIMESTAMP        8       /* Better RTT estimations/PAWS */
     184                 :            : #define TCPOPT_MD5SIG           19      /* MD5 Signature (RFC2385) */
     185                 :            : #define TCPOPT_FASTOPEN         34      /* Fast open (RFC7413) */
     186                 :            : #define TCPOPT_EXP              254     /* Experimental */
     187                 :            : /* Magic number to be after the option value for sharing TCP
     188                 :            :  * experimental options. See draft-ietf-tcpm-experimental-options-00.txt
     189                 :            :  */
     190                 :            : #define TCPOPT_FASTOPEN_MAGIC   0xF989
     191                 :            : #define TCPOPT_SMC_MAGIC        0xE2D4C3D9
     192                 :            : 
     193                 :            : /*
     194                 :            :  *     TCP option lengths
     195                 :            :  */
     196                 :            : 
     197                 :            : #define TCPOLEN_MSS            4
     198                 :            : #define TCPOLEN_WINDOW         3
     199                 :            : #define TCPOLEN_SACK_PERM      2
     200                 :            : #define TCPOLEN_TIMESTAMP      10
     201                 :            : #define TCPOLEN_MD5SIG         18
     202                 :            : #define TCPOLEN_FASTOPEN_BASE  2
     203                 :            : #define TCPOLEN_EXP_FASTOPEN_BASE  4
     204                 :            : #define TCPOLEN_EXP_SMC_BASE   6
     205                 :            : 
     206                 :            : /* But this is what stacks really send out. */
     207                 :            : #define TCPOLEN_TSTAMP_ALIGNED          12
     208                 :            : #define TCPOLEN_WSCALE_ALIGNED          4
     209                 :            : #define TCPOLEN_SACKPERM_ALIGNED        4
     210                 :            : #define TCPOLEN_SACK_BASE               2
     211                 :            : #define TCPOLEN_SACK_BASE_ALIGNED       4
     212                 :            : #define TCPOLEN_SACK_PERBLOCK           8
     213                 :            : #define TCPOLEN_MD5SIG_ALIGNED          20
     214                 :            : #define TCPOLEN_MSS_ALIGNED             4
     215                 :            : #define TCPOLEN_EXP_SMC_BASE_ALIGNED    8
     216                 :            : 
     217                 :            : /* Flags in tp->nonagle */
     218                 :            : #define TCP_NAGLE_OFF           1       /* Nagle's algo is disabled */
     219                 :            : #define TCP_NAGLE_CORK          2       /* Socket is corked         */
     220                 :            : #define TCP_NAGLE_PUSH          4       /* Cork is overridden for already queued data */
     221                 :            : 
     222                 :            : /* TCP thin-stream limits */
     223                 :            : #define TCP_THIN_LINEAR_RETRIES 6       /* After 6 linear retries, do exp. backoff */
     224                 :            : 
     225                 :            : /* TCP initial congestion window as per rfc6928 */
     226                 :            : #define TCP_INIT_CWND           10
     227                 :            : 
     228                 :            : /* Bit Flags for sysctl_tcp_fastopen */
     229                 :            : #define TFO_CLIENT_ENABLE       1
     230                 :            : #define TFO_SERVER_ENABLE       2
     231                 :            : #define TFO_CLIENT_NO_COOKIE    4       /* Data in SYN w/o cookie option */
     232                 :            : 
     233                 :            : /* Accept SYN data w/o any cookie option */
     234                 :            : #define TFO_SERVER_COOKIE_NOT_REQD      0x200
     235                 :            : 
     236                 :            : /* Force enable TFO on all listeners, i.e., not requiring the
     237                 :            :  * TCP_FASTOPEN socket option.
     238                 :            :  */
     239                 :            : #define TFO_SERVER_WO_SOCKOPT1  0x400
     240                 :            : 
     241                 :            : 
     242                 :            : /* sysctl variables for tcp */
     243                 :            : extern int sysctl_tcp_max_orphans;
     244                 :            : extern long sysctl_tcp_mem[3];
     245                 :            : 
     246                 :            : #define TCP_RACK_LOSS_DETECTION  0x1 /* Use RACK to detect losses */
     247                 :            : #define TCP_RACK_STATIC_REO_WND  0x2 /* Use static RACK reo wnd */
     248                 :            : #define TCP_RACK_NO_DUPTHRESH    0x4 /* Do not use DUPACK threshold in RACK */
     249                 :            : 
     250                 :            : extern atomic_long_t tcp_memory_allocated;
     251                 :            : extern struct percpu_counter tcp_sockets_allocated;
     252                 :            : extern unsigned long tcp_memory_pressure;
     253                 :            : 
     254                 :            : /* optimized version of sk_under_memory_pressure() for TCP sockets */
     255                 :          1 : static inline bool tcp_under_memory_pressure(const struct sock *sk)
     256                 :            : {
     257                 :          1 :         if (mem_cgroup_sockets_enabled && sk->sk_memcg &&
     258                 :          0 :             mem_cgroup_under_socket_pressure(sk->sk_memcg))
     259                 :            :                 return true;
     260                 :            : 
     261                 :          1 :         return READ_ONCE(tcp_memory_pressure);
     262                 :            : }
     263                 :            : /*
     264                 :            :  * The next routines deal with comparing 32 bit unsigned ints
     265                 :            :  * and worry about wraparound (automatic with unsigned arithmetic).
     266                 :            :  */
     267                 :            : 
     268                 :            : static inline bool before(__u32 seq1, __u32 seq2)
     269                 :            : {
     270                 :          1 :         return (__s32)(seq1-seq2) < 0;
     271                 :            : }
     272                 :            : #define after(seq2, seq1)       before(seq1, seq2)
     273                 :            : 
     274                 :            : /* is s2<=s1<=s3 ? */
     275                 :            : static inline bool between(__u32 seq1, __u32 seq2, __u32 seq3)
     276                 :            : {
     277                 :          1 :         return seq3 - seq2 >= seq1 - seq2;
     278                 :            : }
     279                 :            : 
     280                 :            : static inline bool tcp_out_of_memory(struct sock *sk)
     281                 :            : {
     282                 :          1 :         if (sk->sk_wmem_queued > SOCK_MIN_SNDBUF &&
     283                 :            :             sk_memory_allocated(sk) > sk_prot_mem_limits(sk, 2))
     284                 :            :                 return true;
     285                 :            :         return false;
     286                 :            : }
     287                 :            : 
     288                 :            : void sk_forced_mem_schedule(struct sock *sk, int size);
     289                 :            : 
     290                 :          1 : static inline bool tcp_too_many_orphans(struct sock *sk, int shift)
     291                 :            : {
     292                 :          1 :         struct percpu_counter *ocp = sk->sk_prot->orphan_count;
     293                 :          1 :         int orphans = percpu_counter_read_positive(ocp);
     294                 :            : 
     295                 :          1 :         if (orphans << shift > sysctl_tcp_max_orphans) {
     296                 :          0 :                 orphans = percpu_counter_sum_positive(ocp);
     297                 :          0 :                 if (orphans << shift > sysctl_tcp_max_orphans)
     298                 :            :                         return true;
     299                 :            :         }
     300                 :            :         return false;
     301                 :            : }
     302                 :            : 
     303                 :            : bool tcp_check_oom(struct sock *sk, int shift);
     304                 :            : 
     305                 :            : 
     306                 :            : extern struct proto tcp_prot;
     307                 :            : 
     308                 :            : #define TCP_INC_STATS(net, field)       SNMP_INC_STATS((net)->mib.tcp_statistics, field)
     309                 :            : #define __TCP_INC_STATS(net, field)     __SNMP_INC_STATS((net)->mib.tcp_statistics, field)
     310                 :            : #define TCP_DEC_STATS(net, field)       SNMP_DEC_STATS((net)->mib.tcp_statistics, field)
     311                 :            : #define TCP_ADD_STATS(net, field, val)  SNMP_ADD_STATS((net)->mib.tcp_statistics, field, val)
     312                 :            : 
     313                 :            : void tcp_tasklet_init(void);
     314                 :            : 
     315                 :            : int tcp_v4_err(struct sk_buff *skb, u32);
     316                 :            : 
     317                 :            : void tcp_shutdown(struct sock *sk, int how);
     318                 :            : 
     319                 :            : int tcp_v4_early_demux(struct sk_buff *skb);
     320                 :            : int tcp_v4_rcv(struct sk_buff *skb);
     321                 :            : 
     322                 :            : int tcp_v4_tw_remember_stamp(struct inet_timewait_sock *tw);
     323                 :            : int tcp_sendmsg(struct sock *sk, struct msghdr *msg, size_t size);
     324                 :            : int tcp_sendmsg_locked(struct sock *sk, struct msghdr *msg, size_t size);
     325                 :            : int tcp_sendpage(struct sock *sk, struct page *page, int offset, size_t size,
     326                 :            :                  int flags);
     327                 :            : int tcp_sendpage_locked(struct sock *sk, struct page *page, int offset,
     328                 :            :                         size_t size, int flags);
     329                 :            : ssize_t do_tcp_sendpages(struct sock *sk, struct page *page, int offset,
     330                 :            :                  size_t size, int flags);
     331                 :            : void tcp_release_cb(struct sock *sk);
     332                 :            : void tcp_wfree(struct sk_buff *skb);
     333                 :            : void tcp_write_timer_handler(struct sock *sk);
     334                 :            : void tcp_delack_timer_handler(struct sock *sk);
     335                 :            : int tcp_ioctl(struct sock *sk, int cmd, unsigned long arg);
     336                 :            : int tcp_rcv_state_process(struct sock *sk, struct sk_buff *skb);
     337                 :            : void tcp_rcv_established(struct sock *sk, struct sk_buff *skb);
     338                 :            : void tcp_rcv_space_adjust(struct sock *sk);
     339                 :            : int tcp_twsk_unique(struct sock *sk, struct sock *sktw, void *twp);
     340                 :            : void tcp_twsk_destructor(struct sock *sk);
     341                 :            : ssize_t tcp_splice_read(struct socket *sk, loff_t *ppos,
     342                 :            :                         struct pipe_inode_info *pipe, size_t len,
     343                 :            :                         unsigned int flags);
     344                 :            : 
     345                 :            : void tcp_enter_quickack_mode(struct sock *sk, unsigned int max_quickacks);
     346                 :            : static inline void tcp_dec_quickack_mode(struct sock *sk,
     347                 :            :                                          const unsigned int pkts)
     348                 :            : {
     349                 :            :         struct inet_connection_sock *icsk = inet_csk(sk);
     350                 :            : 
     351                 :          1 :         if (icsk->icsk_ack.quick) {
     352                 :          1 :                 if (pkts >= icsk->icsk_ack.quick) {
     353                 :          1 :                         icsk->icsk_ack.quick = 0;
     354                 :            :                         /* Leaving quickack mode we deflate ATO. */
     355                 :          1 :                         icsk->icsk_ack.ato   = TCP_ATO_MIN;
     356                 :            :                 } else
     357                 :          1 :                         icsk->icsk_ack.quick -= pkts;
     358                 :            :         }
     359                 :            : }
     360                 :            : 
     361                 :            : #define TCP_ECN_OK              1
     362                 :            : #define TCP_ECN_QUEUE_CWR       2
     363                 :            : #define TCP_ECN_DEMAND_CWR      4
     364                 :            : #define TCP_ECN_SEEN            8
     365                 :            : 
     366                 :            : enum tcp_tw_status {
     367                 :            :         TCP_TW_SUCCESS = 0,
     368                 :            :         TCP_TW_RST = 1,
     369                 :            :         TCP_TW_ACK = 2,
     370                 :            :         TCP_TW_SYN = 3
     371                 :            : };
     372                 :            : 
     373                 :            : 
     374                 :            : enum tcp_tw_status tcp_timewait_state_process(struct inet_timewait_sock *tw,
     375                 :            :                                               struct sk_buff *skb,
     376                 :            :                                               const struct tcphdr *th);
     377                 :            : struct sock *tcp_check_req(struct sock *sk, struct sk_buff *skb,
     378                 :            :                            struct request_sock *req, bool fastopen,
     379                 :            :                            bool *lost_race);
     380                 :            : int tcp_child_process(struct sock *parent, struct sock *child,
     381                 :            :                       struct sk_buff *skb);
     382                 :            : void tcp_enter_loss(struct sock *sk);
     383                 :            : void tcp_cwnd_reduction(struct sock *sk, int newly_acked_sacked, int flag);
     384                 :            : void tcp_clear_retrans(struct tcp_sock *tp);
     385                 :            : void tcp_update_metrics(struct sock *sk);
     386                 :            : void tcp_init_metrics(struct sock *sk);
     387                 :            : void tcp_metrics_init(void);
     388                 :            : bool tcp_peer_is_proven(struct request_sock *req, struct dst_entry *dst);
     389                 :            : void tcp_close(struct sock *sk, long timeout);
     390                 :            : void tcp_init_sock(struct sock *sk);
     391                 :            : void tcp_init_transfer(struct sock *sk, int bpf_op);
     392                 :            : __poll_t tcp_poll(struct file *file, struct socket *sock,
     393                 :            :                       struct poll_table_struct *wait);
     394                 :            : int tcp_getsockopt(struct sock *sk, int level, int optname,
     395                 :            :                    char __user *optval, int __user *optlen);
     396                 :            : int tcp_setsockopt(struct sock *sk, int level, int optname,
     397                 :            :                    char __user *optval, unsigned int optlen);
     398                 :            : int compat_tcp_getsockopt(struct sock *sk, int level, int optname,
     399                 :            :                           char __user *optval, int __user *optlen);
     400                 :            : int compat_tcp_setsockopt(struct sock *sk, int level, int optname,
     401                 :            :                           char __user *optval, unsigned int optlen);
     402                 :            : void tcp_set_keepalive(struct sock *sk, int val);
     403                 :            : void tcp_syn_ack_timeout(const struct request_sock *req);
     404                 :            : int tcp_recvmsg(struct sock *sk, struct msghdr *msg, size_t len, int nonblock,
     405                 :            :                 int flags, int *addr_len);
     406                 :            : int tcp_set_rcvlowat(struct sock *sk, int val);
     407                 :            : void tcp_data_ready(struct sock *sk);
     408                 :            : #ifdef CONFIG_MMU
     409                 :            : int tcp_mmap(struct file *file, struct socket *sock,
     410                 :            :              struct vm_area_struct *vma);
     411                 :            : #endif
     412                 :            : void tcp_parse_options(const struct net *net, const struct sk_buff *skb,
     413                 :            :                        struct tcp_options_received *opt_rx,
     414                 :            :                        int estab, struct tcp_fastopen_cookie *foc);
     415                 :            : const u8 *tcp_parse_md5sig_option(const struct tcphdr *th);
     416                 :            : 
     417                 :            : /*
     418                 :            :  *      BPF SKB-less helpers
     419                 :            :  */
     420                 :            : u16 tcp_v4_get_syncookie(struct sock *sk, struct iphdr *iph,
     421                 :            :                          struct tcphdr *th, u32 *cookie);
     422                 :            : u16 tcp_v6_get_syncookie(struct sock *sk, struct ipv6hdr *iph,
     423                 :            :                          struct tcphdr *th, u32 *cookie);
     424                 :            : u16 tcp_get_syncookie_mss(struct request_sock_ops *rsk_ops,
     425                 :            :                           const struct tcp_request_sock_ops *af_ops,
     426                 :            :                           struct sock *sk, struct tcphdr *th);
     427                 :            : /*
     428                 :            :  *      TCP v4 functions exported for the inet6 API
     429                 :            :  */
     430                 :            : 
     431                 :            : void tcp_v4_send_check(struct sock *sk, struct sk_buff *skb);
     432                 :            : void tcp_v4_mtu_reduced(struct sock *sk);
     433                 :            : void tcp_req_err(struct sock *sk, u32 seq, bool abort);
     434                 :            : int tcp_v4_conn_request(struct sock *sk, struct sk_buff *skb);
     435                 :            : struct sock *tcp_create_openreq_child(const struct sock *sk,
     436                 :            :                                       struct request_sock *req,
     437                 :            :                                       struct sk_buff *skb);
     438                 :            : void tcp_ca_openreq_child(struct sock *sk, const struct dst_entry *dst);
     439                 :            : struct sock *tcp_v4_syn_recv_sock(const struct sock *sk, struct sk_buff *skb,
     440                 :            :                                   struct request_sock *req,
     441                 :            :                                   struct dst_entry *dst,
     442                 :            :                                   struct request_sock *req_unhash,
     443                 :            :                                   bool *own_req);
     444                 :            : int tcp_v4_do_rcv(struct sock *sk, struct sk_buff *skb);
     445                 :            : int tcp_v4_connect(struct sock *sk, struct sockaddr *uaddr, int addr_len);
     446                 :            : int tcp_connect(struct sock *sk);
     447                 :            : enum tcp_synack_type {
     448                 :            :         TCP_SYNACK_NORMAL,
     449                 :            :         TCP_SYNACK_FASTOPEN,
     450                 :            :         TCP_SYNACK_COOKIE,
     451                 :            : };
     452                 :            : struct sk_buff *tcp_make_synack(const struct sock *sk, struct dst_entry *dst,
     453                 :            :                                 struct request_sock *req,
     454                 :            :                                 struct tcp_fastopen_cookie *foc,
     455                 :            :                                 enum tcp_synack_type synack_type);
     456                 :            : int tcp_disconnect(struct sock *sk, int flags);
     457                 :            : 
     458                 :            : void tcp_finish_connect(struct sock *sk, struct sk_buff *skb);
     459                 :            : int tcp_send_rcvq(struct sock *sk, struct msghdr *msg, size_t size);
     460                 :            : void inet_sk_rx_dst_set(struct sock *sk, const struct sk_buff *skb);
     461                 :            : 
     462                 :            : /* From syncookies.c */
     463                 :            : struct sock *tcp_get_cookie_sock(struct sock *sk, struct sk_buff *skb,
     464                 :            :                                  struct request_sock *req,
     465                 :            :                                  struct dst_entry *dst, u32 tsoff);
     466                 :            : int __cookie_v4_check(const struct iphdr *iph, const struct tcphdr *th,
     467                 :            :                       u32 cookie);
     468                 :            : struct sock *cookie_v4_check(struct sock *sk, struct sk_buff *skb);
     469                 :            : #ifdef CONFIG_SYN_COOKIES
     470                 :            : 
     471                 :            : /* Syncookies use a monotonic timer which increments every 60 seconds.
     472                 :            :  * This counter is used both as a hash input and partially encoded into
     473                 :            :  * the cookie value.  A cookie is only validated further if the delta
     474                 :            :  * between the current counter value and the encoded one is less than this,
     475                 :            :  * i.e. a sent cookie is valid only at most for 2*60 seconds (or less if
     476                 :            :  * the counter advances immediately after a cookie is generated).
     477                 :            :  */
     478                 :            : #define MAX_SYNCOOKIE_AGE       2
     479                 :            : #define TCP_SYNCOOKIE_PERIOD    (60 * HZ)
     480                 :            : #define TCP_SYNCOOKIE_VALID     (MAX_SYNCOOKIE_AGE * TCP_SYNCOOKIE_PERIOD)
     481                 :            : 
     482                 :            : /* syncookies: remember time of last synqueue overflow
     483                 :            :  * But do not dirty this field too often (once per second is enough)
     484                 :            :  * It is racy as we do not hold a lock, but race is very minor.
     485                 :            :  */
     486                 :          0 : static inline void tcp_synq_overflow(const struct sock *sk)
     487                 :            : {
     488                 :            :         unsigned int last_overflow;
     489                 :          0 :         unsigned int now = jiffies;
     490                 :            : 
     491                 :          0 :         if (sk->sk_reuseport) {
     492                 :            :                 struct sock_reuseport *reuse;
     493                 :            : 
     494                 :          0 :                 reuse = rcu_dereference(sk->sk_reuseport_cb);
     495                 :          0 :                 if (likely(reuse)) {
     496                 :            :                         last_overflow = READ_ONCE(reuse->synq_overflow_ts);
     497                 :          0 :                         if (!time_between32(now, last_overflow,
     498                 :            :                                             last_overflow + HZ))
     499                 :            :                                 WRITE_ONCE(reuse->synq_overflow_ts, now);
     500                 :          0 :                         return;
     501                 :            :                 }
     502                 :            :         }
     503                 :            : 
     504                 :            :         last_overflow = READ_ONCE(tcp_sk(sk)->rx_opt.ts_recent_stamp);
     505                 :          0 :         if (!time_between32(now, last_overflow, last_overflow + HZ))
     506                 :          0 :                 WRITE_ONCE(tcp_sk(sk)->rx_opt.ts_recent_stamp, now);
     507                 :            : }
     508                 :            : 
     509                 :            : /* syncookies: no recent synqueue overflow on this listening socket? */
     510                 :          0 : static inline bool tcp_synq_no_recent_overflow(const struct sock *sk)
     511                 :            : {
     512                 :            :         unsigned int last_overflow;
     513                 :          0 :         unsigned int now = jiffies;
     514                 :            : 
     515                 :          0 :         if (sk->sk_reuseport) {
     516                 :            :                 struct sock_reuseport *reuse;
     517                 :            : 
     518                 :          0 :                 reuse = rcu_dereference(sk->sk_reuseport_cb);
     519                 :          0 :                 if (likely(reuse)) {
     520                 :            :                         last_overflow = READ_ONCE(reuse->synq_overflow_ts);
     521                 :          0 :                         return !time_between32(now, last_overflow - HZ,
     522                 :            :                                                last_overflow +
     523                 :            :                                                TCP_SYNCOOKIE_VALID);
     524                 :            :                 }
     525                 :            :         }
     526                 :            : 
     527                 :            :         last_overflow = READ_ONCE(tcp_sk(sk)->rx_opt.ts_recent_stamp);
     528                 :            : 
     529                 :            :         /* If last_overflow <= jiffies <= last_overflow + TCP_SYNCOOKIE_VALID,
     530                 :            :          * then we're under synflood. However, we have to use
     531                 :            :          * 'last_overflow - HZ' as lower bound. That's because a concurrent
     532                 :            :          * tcp_synq_overflow() could update .ts_recent_stamp after we read
     533                 :            :          * jiffies but before we store .ts_recent_stamp into last_overflow,
     534                 :            :          * which could lead to rejecting a valid syncookie.
     535                 :            :          */
     536                 :          0 :         return !time_between32(now, last_overflow - HZ,
     537                 :            :                                last_overflow + TCP_SYNCOOKIE_VALID);
     538                 :            : }
     539                 :            : 
     540                 :          0 : static inline u32 tcp_cookie_time(void)
     541                 :            : {
     542                 :          0 :         u64 val = get_jiffies_64();
     543                 :            : 
     544                 :          0 :         do_div(val, TCP_SYNCOOKIE_PERIOD);
     545                 :          0 :         return val;
     546                 :            : }
     547                 :            : 
     548                 :            : u32 __cookie_v4_init_sequence(const struct iphdr *iph, const struct tcphdr *th,
     549                 :            :                               u16 *mssp);
     550                 :            : __u32 cookie_v4_init_sequence(const struct sk_buff *skb, __u16 *mss);
     551                 :            : u64 cookie_init_timestamp(struct request_sock *req);
     552                 :            : bool cookie_timestamp_decode(const struct net *net,
     553                 :            :                              struct tcp_options_received *opt);
     554                 :            : bool cookie_ecn_ok(const struct tcp_options_received *opt,
     555                 :            :                    const struct net *net, const struct dst_entry *dst);
     556                 :            : 
     557                 :            : /* From net/ipv6/syncookies.c */
     558                 :            : int __cookie_v6_check(const struct ipv6hdr *iph, const struct tcphdr *th,
     559                 :            :                       u32 cookie);
     560                 :            : struct sock *cookie_v6_check(struct sock *sk, struct sk_buff *skb);
     561                 :            : 
     562                 :            : u32 __cookie_v6_init_sequence(const struct ipv6hdr *iph,
     563                 :            :                               const struct tcphdr *th, u16 *mssp);
     564                 :            : __u32 cookie_v6_init_sequence(const struct sk_buff *skb, __u16 *mss);
     565                 :            : #endif
     566                 :            : /* tcp_output.c */
     567                 :            : 
     568                 :            : void __tcp_push_pending_frames(struct sock *sk, unsigned int cur_mss,
     569                 :            :                                int nonagle);
     570                 :            : int __tcp_retransmit_skb(struct sock *sk, struct sk_buff *skb, int segs);
     571                 :            : int tcp_retransmit_skb(struct sock *sk, struct sk_buff *skb, int segs);
     572                 :            : void tcp_retransmit_timer(struct sock *sk);
     573                 :            : void tcp_xmit_retransmit_queue(struct sock *);
     574                 :            : void tcp_simple_retransmit(struct sock *);
     575                 :            : void tcp_enter_recovery(struct sock *sk, bool ece_ack);
     576                 :            : int tcp_trim_head(struct sock *, struct sk_buff *, u32);
     577                 :            : enum tcp_queue {
     578                 :            :         TCP_FRAG_IN_WRITE_QUEUE,
     579                 :            :         TCP_FRAG_IN_RTX_QUEUE,
     580                 :            : };
     581                 :            : int tcp_fragment(struct sock *sk, enum tcp_queue tcp_queue,
     582                 :            :                  struct sk_buff *skb, u32 len,
     583                 :            :                  unsigned int mss_now, gfp_t gfp);
     584                 :            : 
     585                 :            : void tcp_send_probe0(struct sock *);
     586                 :            : void tcp_send_partial(struct sock *);
     587                 :            : int tcp_write_wakeup(struct sock *, int mib);
     588                 :            : void tcp_send_fin(struct sock *sk);
     589                 :            : void tcp_send_active_reset(struct sock *sk, gfp_t priority);
     590                 :            : int tcp_send_synack(struct sock *);
     591                 :            : void tcp_push_one(struct sock *, unsigned int mss_now);
     592                 :            : void __tcp_send_ack(struct sock *sk, u32 rcv_nxt);
     593                 :            : void tcp_send_ack(struct sock *sk);
     594                 :            : void tcp_send_delayed_ack(struct sock *sk);
     595                 :            : void tcp_send_loss_probe(struct sock *sk);
     596                 :            : bool tcp_schedule_loss_probe(struct sock *sk, bool advancing_rto);
     597                 :            : void tcp_skb_collapse_tstamp(struct sk_buff *skb,
     598                 :            :                              const struct sk_buff *next_skb);
     599                 :            : 
     600                 :            : /* tcp_input.c */
     601                 :            : void tcp_rearm_rto(struct sock *sk);
     602                 :            : void tcp_synack_rtt_meas(struct sock *sk, struct request_sock *req);
     603                 :            : void tcp_reset(struct sock *sk);
     604                 :            : void tcp_skb_mark_lost_uncond_verify(struct tcp_sock *tp, struct sk_buff *skb);
     605                 :            : void tcp_fin(struct sock *sk);
     606                 :            : 
     607                 :            : /* tcp_timer.c */
     608                 :            : void tcp_init_xmit_timers(struct sock *);
     609                 :          1 : static inline void tcp_clear_xmit_timers(struct sock *sk)
     610                 :            : {
     611                 :          1 :         if (hrtimer_try_to_cancel(&tcp_sk(sk)->pacing_timer) == 1)
     612                 :            :                 __sock_put(sk);
     613                 :            : 
     614                 :          1 :         if (hrtimer_try_to_cancel(&tcp_sk(sk)->compressed_ack_timer) == 1)
     615                 :            :                 __sock_put(sk);
     616                 :            : 
     617                 :          1 :         inet_csk_clear_xmit_timers(sk);
     618                 :          1 : }
     619                 :            : 
     620                 :            : unsigned int tcp_sync_mss(struct sock *sk, u32 pmtu);
     621                 :            : unsigned int tcp_current_mss(struct sock *sk);
     622                 :            : 
     623                 :            : /* Bound MSS / TSO packet size with the half of the window */
     624                 :            : static inline int tcp_bound_to_half_wnd(struct tcp_sock *tp, int pktsize)
     625                 :            : {
     626                 :            :         int cutoff;
     627                 :            : 
     628                 :            :         /* When peer uses tiny windows, there is no use in packetizing
     629                 :            :          * to sub-MSS pieces for the sake of SWS or making sure there
     630                 :            :          * are enough packets in the pipe for fast recovery.
     631                 :            :          *
     632                 :            :          * On the other hand, for extremely large MSS devices, handling
     633                 :            :          * smaller than MSS windows in this way does make sense.
     634                 :            :          */
     635                 :          1 :         if (tp->max_window > TCP_MSS_DEFAULT)
     636                 :          1 :                 cutoff = (tp->max_window >> 1);
     637                 :            :         else
     638                 :          1 :                 cutoff = tp->max_window;
     639                 :            : 
     640                 :          1 :         if (cutoff && pktsize > cutoff)
     641                 :          1 :                 return max_t(int, cutoff, 68U - tp->tcp_header_len);
     642                 :            :         else
     643                 :            :                 return pktsize;
     644                 :            : }
     645                 :            : 
     646                 :            : /* tcp.c */
     647                 :            : void tcp_get_info(struct sock *, struct tcp_info *);
     648                 :            : 
     649                 :            : /* Read 'sendfile()'-style from a TCP socket */
     650                 :            : int tcp_read_sock(struct sock *sk, read_descriptor_t *desc,
     651                 :            :                   sk_read_actor_t recv_actor);
     652                 :            : 
     653                 :            : void tcp_initialize_rcv_mss(struct sock *sk);
     654                 :            : 
     655                 :            : int tcp_mtu_to_mss(struct sock *sk, int pmtu);
     656                 :            : int tcp_mss_to_mtu(struct sock *sk, int mss);
     657                 :            : void tcp_mtup_init(struct sock *sk);
     658                 :            : void tcp_init_buffer_space(struct sock *sk);
     659                 :            : 
     660                 :            : static inline void tcp_bound_rto(const struct sock *sk)
     661                 :            : {
     662                 :          1 :         if (inet_csk(sk)->icsk_rto > TCP_RTO_MAX)
     663                 :          0 :                 inet_csk(sk)->icsk_rto = TCP_RTO_MAX;
     664                 :            : }
     665                 :            : 
     666                 :          1 : static inline u32 __tcp_set_rto(const struct tcp_sock *tp)
     667                 :            : {
     668                 :          1 :         return usecs_to_jiffies((tp->srtt_us >> 3) + tp->rttvar_us);
     669                 :            : }
     670                 :            : 
     671                 :            : static inline void __tcp_fast_path_on(struct tcp_sock *tp, u32 snd_wnd)
     672                 :            : {
     673                 :          1 :         tp->pred_flags = htonl((tp->tcp_header_len << 26) |
     674                 :            :                                ntohl(TCP_FLAG_ACK) |
     675                 :            :                                snd_wnd);
     676                 :            : }
     677                 :            : 
     678                 :            : static inline void tcp_fast_path_on(struct tcp_sock *tp)
     679                 :            : {
     680                 :          1 :         __tcp_fast_path_on(tp, tp->snd_wnd >> tp->rx_opt.snd_wscale);
     681                 :            : }
     682                 :            : 
     683                 :          1 : static inline void tcp_fast_path_check(struct sock *sk)
     684                 :            : {
     685                 :            :         struct tcp_sock *tp = tcp_sk(sk);
     686                 :            : 
     687                 :          1 :         if (RB_EMPTY_ROOT(&tp->out_of_order_queue) &&
     688                 :          1 :             tp->rcv_wnd &&
     689                 :          1 :             atomic_read(&sk->sk_rmem_alloc) < sk->sk_rcvbuf &&
     690                 :          1 :             !tp->urg_data)
     691                 :            :                 tcp_fast_path_on(tp);
     692                 :          1 : }
     693                 :            : 
     694                 :            : /* Compute the actual rto_min value */
     695                 :          1 : static inline u32 tcp_rto_min(struct sock *sk)
     696                 :            : {
     697                 :            :         const struct dst_entry *dst = __sk_dst_get(sk);
     698                 :            :         u32 rto_min = TCP_RTO_MIN;
     699                 :            : 
     700                 :          1 :         if (dst && dst_metric_locked(dst, RTAX_RTO_MIN))
     701                 :          0 :                 rto_min = dst_metric_rtt(dst, RTAX_RTO_MIN);
     702                 :          1 :         return rto_min;
     703                 :            : }
     704                 :            : 
     705                 :            : static inline u32 tcp_rto_min_us(struct sock *sk)
     706                 :            : {
     707                 :          1 :         return jiffies_to_usecs(tcp_rto_min(sk));
     708                 :            : }
     709                 :            : 
     710                 :            : static inline bool tcp_ca_dst_locked(const struct dst_entry *dst)
     711                 :            : {
     712                 :          0 :         return dst_metric_locked(dst, RTAX_CC_ALGO);
     713                 :            : }
     714                 :            : 
     715                 :            : /* Minimum RTT in usec. ~0 means not available. */
     716                 :            : static inline u32 tcp_min_rtt(const struct tcp_sock *tp)
     717                 :            : {
     718                 :            :         return minmax_get(&tp->rtt_min);
     719                 :            : }
     720                 :            : 
     721                 :            : /* Compute the actual receive window we are currently advertising.
     722                 :            :  * Rcv_nxt can be after the window if our peer push more data
     723                 :            :  * than the offered window.
     724                 :            :  */
     725                 :            : static inline u32 tcp_receive_window(const struct tcp_sock *tp)
     726                 :            : {
     727                 :          1 :         s32 win = tp->rcv_wup + tp->rcv_wnd - tp->rcv_nxt;
     728                 :            : 
     729                 :          1 :         if (win < 0)
     730                 :            :                 win = 0;
     731                 :          1 :         return (u32) win;
     732                 :            : }
     733                 :            : 
     734                 :            : /* Choose a new window, without checks for shrinking, and without
     735                 :            :  * scaling applied to the result.  The caller does these things
     736                 :            :  * if necessary.  This is a "raw" window selection.
     737                 :            :  */
     738                 :            : u32 __tcp_select_window(struct sock *sk);
     739                 :            : 
     740                 :            : void tcp_send_window_probe(struct sock *sk);
     741                 :            : 
     742                 :            : /* TCP uses 32bit jiffies to save some space.
     743                 :            :  * Note that this is different from tcp_time_stamp, which
     744                 :            :  * historically has been the same until linux-4.13.
     745                 :            :  */
     746                 :            : #define tcp_jiffies32 ((u32)jiffies)
     747                 :            : 
     748                 :            : /*
     749                 :            :  * Deliver a 32bit value for TCP timestamp option (RFC 7323)
     750                 :            :  * It is no longer tied to jiffies, but to 1 ms clock.
     751                 :            :  * Note: double check if you want to use tcp_jiffies32 instead of this.
     752                 :            :  */
     753                 :            : #define TCP_TS_HZ       1000
     754                 :            : 
     755                 :            : static inline u64 tcp_clock_ns(void)
     756                 :            : {
     757                 :            :         return ktime_get_ns();
     758                 :            : }
     759                 :            : 
     760                 :          0 : static inline u64 tcp_clock_us(void)
     761                 :            : {
     762                 :          0 :         return div_u64(tcp_clock_ns(), NSEC_PER_USEC);
     763                 :            : }
     764                 :            : 
     765                 :            : /* This should only be used in contexts where tp->tcp_mstamp is up to date */
     766                 :            : static inline u32 tcp_time_stamp(const struct tcp_sock *tp)
     767                 :            : {
     768                 :          1 :         return div_u64(tp->tcp_mstamp, USEC_PER_SEC / TCP_TS_HZ);
     769                 :            : }
     770                 :            : 
     771                 :            : /* Could use tcp_clock_us() / 1000, but this version uses a single divide */
     772                 :          1 : static inline u32 tcp_time_stamp_raw(void)
     773                 :            : {
     774                 :          1 :         return div_u64(tcp_clock_ns(), NSEC_PER_SEC / TCP_TS_HZ);
     775                 :            : }
     776                 :            : 
     777                 :            : void tcp_mstamp_refresh(struct tcp_sock *tp);
     778                 :            : 
     779                 :            : static inline u32 tcp_stamp_us_delta(u64 t1, u64 t0)
     780                 :            : {
     781                 :          1 :         return max_t(s64, t1 - t0, 0);
     782                 :            : }
     783                 :            : 
     784                 :            : static inline u32 tcp_skb_timestamp(const struct sk_buff *skb)
     785                 :            : {
     786                 :          1 :         return div_u64(skb->skb_mstamp_ns, NSEC_PER_SEC / TCP_TS_HZ);
     787                 :            : }
     788                 :            : 
     789                 :            : /* provide the departure time in us unit */
     790                 :            : static inline u64 tcp_skb_timestamp_us(const struct sk_buff *skb)
     791                 :            : {
     792                 :          1 :         return div_u64(skb->skb_mstamp_ns, NSEC_PER_USEC);
     793                 :            : }
     794                 :            : 
     795                 :            : 
     796                 :            : #define tcp_flag_byte(th) (((u_int8_t *)th)[13])
     797                 :            : 
     798                 :            : #define TCPHDR_FIN 0x01
     799                 :            : #define TCPHDR_SYN 0x02
     800                 :            : #define TCPHDR_RST 0x04
     801                 :            : #define TCPHDR_PSH 0x08
     802                 :            : #define TCPHDR_ACK 0x10
     803                 :            : #define TCPHDR_URG 0x20
     804                 :            : #define TCPHDR_ECE 0x40
     805                 :            : #define TCPHDR_CWR 0x80
     806                 :            : 
     807                 :            : #define TCPHDR_SYN_ECN  (TCPHDR_SYN | TCPHDR_ECE | TCPHDR_CWR)
     808                 :            : 
     809                 :            : /* This is what the send packet queuing engine uses to pass
     810                 :            :  * TCP per-packet control information to the transmission code.
     811                 :            :  * We also store the host-order sequence numbers in here too.
     812                 :            :  * This is 44 bytes if IPV6 is enabled.
     813                 :            :  * If this grows please adjust skbuff.h:skbuff->cb[xxx] size appropriately.
     814                 :            :  */
     815                 :            : struct tcp_skb_cb {
     816                 :            :         __u32           seq;            /* Starting sequence number     */
     817                 :            :         __u32           end_seq;        /* SEQ + FIN + SYN + datalen    */
     818                 :            :         union {
     819                 :            :                 /* Note : tcp_tw_isn is used in input path only
     820                 :            :                  *        (isn chosen by tcp_timewait_state_process())
     821                 :            :                  *
     822                 :            :                  *        tcp_gso_segs/size are used in write queue only,
     823                 :            :                  *        cf tcp_skb_pcount()/tcp_skb_mss()
     824                 :            :                  */
     825                 :            :                 __u32           tcp_tw_isn;
     826                 :            :                 struct {
     827                 :            :                         u16     tcp_gso_segs;
     828                 :            :                         u16     tcp_gso_size;
     829                 :            :                 };
     830                 :            :         };
     831                 :            :         __u8            tcp_flags;      /* TCP header flags. (tcp[13])  */
     832                 :            : 
     833                 :            :         __u8            sacked;         /* State flags for SACK.        */
     834                 :            : #define TCPCB_SACKED_ACKED      0x01    /* SKB ACK'd by a SACK block    */
     835                 :            : #define TCPCB_SACKED_RETRANS    0x02    /* SKB retransmitted            */
     836                 :            : #define TCPCB_LOST              0x04    /* SKB is lost                  */
     837                 :            : #define TCPCB_TAGBITS           0x07    /* All tag bits                 */
     838                 :            : #define TCPCB_REPAIRED          0x10    /* SKB repaired (no skb_mstamp_ns)      */
     839                 :            : #define TCPCB_EVER_RETRANS      0x80    /* Ever retransmitted frame     */
     840                 :            : #define TCPCB_RETRANS           (TCPCB_SACKED_RETRANS|TCPCB_EVER_RETRANS| \
     841                 :            :                                 TCPCB_REPAIRED)
     842                 :            : 
     843                 :            :         __u8            ip_dsfield;     /* IPv4 tos or IPv6 dsfield     */
     844                 :            :         __u8            txstamp_ack:1,  /* Record TX timestamp for ack? */
     845                 :            :                         eor:1,          /* Is skb MSG_EOR marked? */
     846                 :            :                         has_rxtstamp:1, /* SKB has a RX timestamp       */
     847                 :            :                         unused:5;
     848                 :            :         __u32           ack_seq;        /* Sequence number ACK'd        */
     849                 :            :         union {
     850                 :            :                 struct {
     851                 :            :                         /* There is space for up to 24 bytes */
     852                 :            :                         __u32 in_flight:30,/* Bytes in flight at transmit */
     853                 :            :                               is_app_limited:1, /* cwnd not fully used? */
     854                 :            :                               unused:1;
     855                 :            :                         /* pkts S/ACKed so far upon tx of skb, incl retrans: */
     856                 :            :                         __u32 delivered;
     857                 :            :                         /* start of send pipeline phase */
     858                 :            :                         u64 first_tx_mstamp;
     859                 :            :                         /* when we reached the "delivered" count */
     860                 :            :                         u64 delivered_mstamp;
     861                 :            :                 } tx;   /* only used for outgoing skbs */
     862                 :            :                 union {
     863                 :            :                         struct inet_skb_parm    h4;
     864                 :            : #if IS_ENABLED(CONFIG_IPV6)
     865                 :            :                         struct inet6_skb_parm   h6;
     866                 :            : #endif
     867                 :            :                 } header;       /* For incoming skbs */
     868                 :            :                 struct {
     869                 :            :                         __u32 flags;
     870                 :            :                         struct sock *sk_redir;
     871                 :            :                         void *data_end;
     872                 :            :                 } bpf;
     873                 :            :         };
     874                 :            : };
     875                 :            : 
     876                 :            : #define TCP_SKB_CB(__skb)       ((struct tcp_skb_cb *)&((__skb)->cb[0]))
     877                 :            : 
     878                 :          0 : static inline void bpf_compute_data_end_sk_skb(struct sk_buff *skb)
     879                 :            : {
     880                 :          0 :         TCP_SKB_CB(skb)->bpf.data_end = skb->data + skb_headlen(skb);
     881                 :          0 : }
     882                 :            : 
     883                 :            : static inline bool tcp_skb_bpf_ingress(const struct sk_buff *skb)
     884                 :            : {
     885                 :            :         return TCP_SKB_CB(skb)->bpf.flags & BPF_F_INGRESS;
     886                 :            : }
     887                 :            : 
     888                 :            : static inline struct sock *tcp_skb_bpf_redirect_fetch(struct sk_buff *skb)
     889                 :            : {
     890                 :            :         return TCP_SKB_CB(skb)->bpf.sk_redir;
     891                 :            : }
     892                 :            : 
     893                 :            : static inline void tcp_skb_bpf_redirect_clear(struct sk_buff *skb)
     894                 :            : {
     895                 :            :         TCP_SKB_CB(skb)->bpf.sk_redir = NULL;
     896                 :            : }
     897                 :            : 
     898                 :            : #if IS_ENABLED(CONFIG_IPV6)
     899                 :            : /* This is the variant of inet6_iif() that must be used by TCP,
     900                 :            :  * as TCP moves IP6CB into a different location in skb->cb[]
     901                 :            :  */
     902                 :            : static inline int tcp_v6_iif(const struct sk_buff *skb)
     903                 :            : {
     904                 :          0 :         return TCP_SKB_CB(skb)->header.h6.iif;
     905                 :            : }
     906                 :            : 
     907                 :            : static inline int tcp_v6_iif_l3_slave(const struct sk_buff *skb)
     908                 :            : {
     909                 :          0 :         bool l3_slave = ipv6_l3mdev_skb(TCP_SKB_CB(skb)->header.h6.flags);
     910                 :            : 
     911                 :          0 :         return l3_slave ? skb->skb_iif : TCP_SKB_CB(skb)->header.h6.iif;
     912                 :            : }
     913                 :            : 
     914                 :            : /* TCP_SKB_CB reference means this can not be used from early demux */
     915                 :            : static inline int tcp_v6_sdif(const struct sk_buff *skb)
     916                 :            : {
     917                 :            : #if IS_ENABLED(CONFIG_NET_L3_MASTER_DEV)
     918                 :            :         if (skb && ipv6_l3mdev_skb(TCP_SKB_CB(skb)->header.h6.flags))
     919                 :            :                 return TCP_SKB_CB(skb)->header.h6.iif;
     920                 :            : #endif
     921                 :            :         return 0;
     922                 :            : }
     923                 :            : #endif
     924                 :            : 
     925                 :            : static inline bool inet_exact_dif_match(struct net *net, struct sk_buff *skb)
     926                 :            : {
     927                 :            : #if IS_ENABLED(CONFIG_NET_L3_MASTER_DEV)
     928                 :          3 :         if (!net->ipv4.sysctl_tcp_l3mdev_accept &&
     929                 :          3 :             skb && ipv4_l3mdev_skb(IPCB(skb)->flags))
     930                 :            :                 return true;
     931                 :            : #endif
     932                 :            :         return false;
     933                 :            : }
     934                 :            : 
     935                 :            : /* TCP_SKB_CB reference means this can not be used from early demux */
     936                 :            : static inline int tcp_v4_sdif(struct sk_buff *skb)
     937                 :            : {
     938                 :            : #if IS_ENABLED(CONFIG_NET_L3_MASTER_DEV)
     939                 :            :         if (skb && ipv4_l3mdev_skb(TCP_SKB_CB(skb)->header.h4.flags))
     940                 :            :                 return TCP_SKB_CB(skb)->header.h4.iif;
     941                 :            : #endif
     942                 :            :         return 0;
     943                 :            : }
     944                 :            : 
     945                 :            : /* Due to TSO, an SKB can be composed of multiple actual
     946                 :            :  * packets.  To keep these tracked properly, we use this.
     947                 :            :  */
     948                 :            : static inline int tcp_skb_pcount(const struct sk_buff *skb)
     949                 :            : {
     950                 :          1 :         return TCP_SKB_CB(skb)->tcp_gso_segs;
     951                 :            : }
     952                 :            : 
     953                 :            : static inline void tcp_skb_pcount_set(struct sk_buff *skb, int segs)
     954                 :            : {
     955                 :          1 :         TCP_SKB_CB(skb)->tcp_gso_segs = segs;
     956                 :            : }
     957                 :            : 
     958                 :            : static inline void tcp_skb_pcount_add(struct sk_buff *skb, int segs)
     959                 :            : {
     960                 :          0 :         TCP_SKB_CB(skb)->tcp_gso_segs += segs;
     961                 :            : }
     962                 :            : 
     963                 :            : /* This is valid iff skb is in write queue and tcp_skb_pcount() > 1. */
     964                 :            : static inline int tcp_skb_mss(const struct sk_buff *skb)
     965                 :            : {
     966                 :          1 :         return TCP_SKB_CB(skb)->tcp_gso_size;
     967                 :            : }
     968                 :            : 
     969                 :            : static inline bool tcp_skb_can_collapse_to(const struct sk_buff *skb)
     970                 :            : {
     971                 :          1 :         return likely(!TCP_SKB_CB(skb)->eor);
     972                 :            : }
     973                 :            : 
     974                 :            : /* Events passed to congestion control interface */
     975                 :            : enum tcp_ca_event {
     976                 :            :         CA_EVENT_TX_START,      /* first transmit when no packets in flight */
     977                 :            :         CA_EVENT_CWND_RESTART,  /* congestion window restart */
     978                 :            :         CA_EVENT_COMPLETE_CWR,  /* end of congestion recovery */
     979                 :            :         CA_EVENT_LOSS,          /* loss timeout */
     980                 :            :         CA_EVENT_ECN_NO_CE,     /* ECT set, but not CE marked */
     981                 :            :         CA_EVENT_ECN_IS_CE,     /* received CE marked IP packet */
     982                 :            : };
     983                 :            : 
     984                 :            : /* Information about inbound ACK, passed to cong_ops->in_ack_event() */
     985                 :            : enum tcp_ca_ack_event_flags {
     986                 :            :         CA_ACK_SLOWPATH         = (1 << 0),       /* In slow path processing */
     987                 :            :         CA_ACK_WIN_UPDATE       = (1 << 1),       /* ACK updated window */
     988                 :            :         CA_ACK_ECE              = (1 << 2),       /* ECE bit is set on ack */
     989                 :            : };
     990                 :            : 
     991                 :            : /*
     992                 :            :  * Interface for adding new TCP congestion control handlers
     993                 :            :  */
     994                 :            : #define TCP_CA_NAME_MAX 16
     995                 :            : #define TCP_CA_MAX      128
     996                 :            : #define TCP_CA_BUF_MAX  (TCP_CA_NAME_MAX*TCP_CA_MAX)
     997                 :            : 
     998                 :            : #define TCP_CA_UNSPEC   0
     999                 :            : 
    1000                 :            : /* Algorithm can be set on socket without CAP_NET_ADMIN privileges */
    1001                 :            : #define TCP_CONG_NON_RESTRICTED 0x1
    1002                 :            : /* Requires ECN/ECT set on all packets */
    1003                 :            : #define TCP_CONG_NEEDS_ECN      0x2
    1004                 :            : 
    1005                 :            : union tcp_cc_info;
    1006                 :            : 
    1007                 :            : struct ack_sample {
    1008                 :            :         u32 pkts_acked;
    1009                 :            :         s32 rtt_us;
    1010                 :            :         u32 in_flight;
    1011                 :            : };
    1012                 :            : 
    1013                 :            : /* A rate sample measures the number of (original/retransmitted) data
    1014                 :            :  * packets delivered "delivered" over an interval of time "interval_us".
    1015                 :            :  * The tcp_rate.c code fills in the rate sample, and congestion
    1016                 :            :  * control modules that define a cong_control function to run at the end
    1017                 :            :  * of ACK processing can optionally chose to consult this sample when
    1018                 :            :  * setting cwnd and pacing rate.
    1019                 :            :  * A sample is invalid if "delivered" or "interval_us" is negative.
    1020                 :            :  */
    1021                 :            : struct rate_sample {
    1022                 :            :         u64  prior_mstamp; /* starting timestamp for interval */
    1023                 :            :         u32  prior_delivered;   /* tp->delivered at "prior_mstamp" */
    1024                 :            :         s32  delivered;         /* number of packets delivered over interval */
    1025                 :            :         long interval_us;       /* time for tp->delivered to incr "delivered" */
    1026                 :            :         u32 snd_interval_us;    /* snd interval for delivered packets */
    1027                 :            :         u32 rcv_interval_us;    /* rcv interval for delivered packets */
    1028                 :            :         long rtt_us;            /* RTT of last (S)ACKed packet (or -1) */
    1029                 :            :         int  losses;            /* number of packets marked lost upon ACK */
    1030                 :            :         u32  acked_sacked;      /* number of packets newly (S)ACKed upon ACK */
    1031                 :            :         u32  prior_in_flight;   /* in flight before this ACK */
    1032                 :            :         bool is_app_limited;    /* is sample from packet with bubble in pipe? */
    1033                 :            :         bool is_retrans;        /* is sample from retransmission? */
    1034                 :            :         bool is_ack_delayed;    /* is this (likely) a delayed ACK? */
    1035                 :            : };
    1036                 :            : 
    1037                 :            : struct tcp_congestion_ops {
    1038                 :            :         struct list_head        list;
    1039                 :            :         u32 key;
    1040                 :            :         u32 flags;
    1041                 :            : 
    1042                 :            :         /* initialize private data (optional) */
    1043                 :            :         void (*init)(struct sock *sk);
    1044                 :            :         /* cleanup private data  (optional) */
    1045                 :            :         void (*release)(struct sock *sk);
    1046                 :            : 
    1047                 :            :         /* return slow start threshold (required) */
    1048                 :            :         u32 (*ssthresh)(struct sock *sk);
    1049                 :            :         /* do new cwnd calculation (required) */
    1050                 :            :         void (*cong_avoid)(struct sock *sk, u32 ack, u32 acked);
    1051                 :            :         /* call before changing ca_state (optional) */
    1052                 :            :         void (*set_state)(struct sock *sk, u8 new_state);
    1053                 :            :         /* call when cwnd event occurs (optional) */
    1054                 :            :         void (*cwnd_event)(struct sock *sk, enum tcp_ca_event ev);
    1055                 :            :         /* call when ack arrives (optional) */
    1056                 :            :         void (*in_ack_event)(struct sock *sk, u32 flags);
    1057                 :            :         /* new value of cwnd after loss (required) */
    1058                 :            :         u32  (*undo_cwnd)(struct sock *sk);
    1059                 :            :         /* hook for packet ack accounting (optional) */
    1060                 :            :         void (*pkts_acked)(struct sock *sk, const struct ack_sample *sample);
    1061                 :            :         /* override sysctl_tcp_min_tso_segs */
    1062                 :            :         u32 (*min_tso_segs)(struct sock *sk);
    1063                 :            :         /* returns the multiplier used in tcp_sndbuf_expand (optional) */
    1064                 :            :         u32 (*sndbuf_expand)(struct sock *sk);
    1065                 :            :         /* call when packets are delivered to update cwnd and pacing rate,
    1066                 :            :          * after all the ca_state processing. (optional)
    1067                 :            :          */
    1068                 :            :         void (*cong_control)(struct sock *sk, const struct rate_sample *rs);
    1069                 :            :         /* get info for inet_diag (optional) */
    1070                 :            :         size_t (*get_info)(struct sock *sk, u32 ext, int *attr,
    1071                 :            :                            union tcp_cc_info *info);
    1072                 :            : 
    1073                 :            :         char            name[TCP_CA_NAME_MAX];
    1074                 :            :         struct module   *owner;
    1075                 :            : };
    1076                 :            : 
    1077                 :            : int tcp_register_congestion_control(struct tcp_congestion_ops *type);
    1078                 :            : void tcp_unregister_congestion_control(struct tcp_congestion_ops *type);
    1079                 :            : 
    1080                 :            : void tcp_assign_congestion_control(struct sock *sk);
    1081                 :            : void tcp_init_congestion_control(struct sock *sk);
    1082                 :            : void tcp_cleanup_congestion_control(struct sock *sk);
    1083                 :            : int tcp_set_default_congestion_control(struct net *net, const char *name);
    1084                 :            : void tcp_get_default_congestion_control(struct net *net, char *name);
    1085                 :            : void tcp_get_available_congestion_control(char *buf, size_t len);
    1086                 :            : void tcp_get_allowed_congestion_control(char *buf, size_t len);
    1087                 :            : int tcp_set_allowed_congestion_control(char *allowed);
    1088                 :            : int tcp_set_congestion_control(struct sock *sk, const char *name, bool load,
    1089                 :            :                                bool reinit, bool cap_net_admin);
    1090                 :            : u32 tcp_slow_start(struct tcp_sock *tp, u32 acked);
    1091                 :            : void tcp_cong_avoid_ai(struct tcp_sock *tp, u32 w, u32 acked);
    1092                 :            : 
    1093                 :            : u32 tcp_reno_ssthresh(struct sock *sk);
    1094                 :            : u32 tcp_reno_undo_cwnd(struct sock *sk);
    1095                 :            : void tcp_reno_cong_avoid(struct sock *sk, u32 ack, u32 acked);
    1096                 :            : extern struct tcp_congestion_ops tcp_reno;
    1097                 :            : 
    1098                 :            : struct tcp_congestion_ops *tcp_ca_find_key(u32 key);
    1099                 :            : u32 tcp_ca_get_key_by_name(struct net *net, const char *name, bool *ecn_ca);
    1100                 :            : #ifdef CONFIG_INET
    1101                 :            : char *tcp_ca_get_name_by_key(u32 key, char *buffer);
    1102                 :            : #else
    1103                 :            : static inline char *tcp_ca_get_name_by_key(u32 key, char *buffer)
    1104                 :            : {
    1105                 :            :         return NULL;
    1106                 :            : }
    1107                 :            : #endif
    1108                 :            : 
    1109                 :            : static inline bool tcp_ca_needs_ecn(const struct sock *sk)
    1110                 :            : {
    1111                 :            :         const struct inet_connection_sock *icsk = inet_csk(sk);
    1112                 :            : 
    1113                 :          1 :         return icsk->icsk_ca_ops->flags & TCP_CONG_NEEDS_ECN;
    1114                 :            : }
    1115                 :            : 
    1116                 :            : static inline void tcp_set_ca_state(struct sock *sk, const u8 ca_state)
    1117                 :            : {
    1118                 :            :         struct inet_connection_sock *icsk = inet_csk(sk);
    1119                 :            : 
    1120                 :          1 :         if (icsk->icsk_ca_ops->set_state)
    1121                 :          1 :                 icsk->icsk_ca_ops->set_state(sk, ca_state);
    1122                 :          1 :         icsk->icsk_ca_state = ca_state;
    1123                 :            : }
    1124                 :            : 
    1125                 :            : static inline void tcp_ca_event(struct sock *sk, const enum tcp_ca_event event)
    1126                 :            : {
    1127                 :            :         const struct inet_connection_sock *icsk = inet_csk(sk);
    1128                 :            : 
    1129                 :          1 :         if (icsk->icsk_ca_ops->cwnd_event)
    1130                 :          1 :                 icsk->icsk_ca_ops->cwnd_event(sk, event);
    1131                 :            : }
    1132                 :            : 
    1133                 :            : /* From tcp_rate.c */
    1134                 :            : void tcp_rate_skb_sent(struct sock *sk, struct sk_buff *skb);
    1135                 :            : void tcp_rate_skb_delivered(struct sock *sk, struct sk_buff *skb,
    1136                 :            :                             struct rate_sample *rs);
    1137                 :            : void tcp_rate_gen(struct sock *sk, u32 delivered, u32 lost,
    1138                 :            :                   bool is_sack_reneg, struct rate_sample *rs);
    1139                 :            : void tcp_rate_check_app_limited(struct sock *sk);
    1140                 :            : 
    1141                 :            : /* These functions determine how the current flow behaves in respect of SACK
    1142                 :            :  * handling. SACK is negotiated with the peer, and therefore it can vary
    1143                 :            :  * between different flows.
    1144                 :            :  *
    1145                 :            :  * tcp_is_sack - SACK enabled
    1146                 :            :  * tcp_is_reno - No SACK
    1147                 :            :  */
    1148                 :            : static inline int tcp_is_sack(const struct tcp_sock *tp)
    1149                 :            : {
    1150                 :          1 :         return likely(tp->rx_opt.sack_ok);
    1151                 :            : }
    1152                 :            : 
    1153                 :            : static inline bool tcp_is_reno(const struct tcp_sock *tp)
    1154                 :            : {
    1155                 :          1 :         return !tcp_is_sack(tp);
    1156                 :            : }
    1157                 :            : 
    1158                 :            : static inline unsigned int tcp_left_out(const struct tcp_sock *tp)
    1159                 :            : {
    1160                 :          1 :         return tp->sacked_out + tp->lost_out;
    1161                 :            : }
    1162                 :            : 
    1163                 :            : /* This determines how many packets are "in the network" to the best
    1164                 :            :  * of our knowledge.  In many cases it is conservative, but where
    1165                 :            :  * detailed information is available from the receiver (via SACK
    1166                 :            :  * blocks etc.) we can make more aggressive calculations.
    1167                 :            :  *
    1168                 :            :  * Use this for decisions involving congestion control, use just
    1169                 :            :  * tp->packets_out to determine if the send queue is empty or not.
    1170                 :            :  *
    1171                 :            :  * Read this equation as:
    1172                 :            :  *
    1173                 :            :  *      "Packets sent once on transmission queue" MINUS
    1174                 :            :  *      "Packets left network, but not honestly ACKed yet" PLUS
    1175                 :            :  *      "Packets fast retransmitted"
    1176                 :            :  */
    1177                 :            : static inline unsigned int tcp_packets_in_flight(const struct tcp_sock *tp)
    1178                 :            : {
    1179                 :          1 :         return tp->packets_out - tcp_left_out(tp) + tp->retrans_out;
    1180                 :            : }
    1181                 :            : 
    1182                 :            : #define TCP_INFINITE_SSTHRESH   0x7fffffff
    1183                 :            : 
    1184                 :            : static inline bool tcp_in_slow_start(const struct tcp_sock *tp)
    1185                 :            : {
    1186                 :          1 :         return tp->snd_cwnd < tp->snd_ssthresh;
    1187                 :            : }
    1188                 :            : 
    1189                 :            : static inline bool tcp_in_initial_slowstart(const struct tcp_sock *tp)
    1190                 :            : {
    1191                 :          1 :         return tp->snd_ssthresh >= TCP_INFINITE_SSTHRESH;
    1192                 :            : }
    1193                 :            : 
    1194                 :            : static inline bool tcp_in_cwnd_reduction(const struct sock *sk)
    1195                 :            : {
    1196                 :          1 :         return (TCPF_CA_CWR | TCPF_CA_Recovery) &
    1197                 :          1 :                (1 << inet_csk(sk)->icsk_ca_state);
    1198                 :            : }
    1199                 :            : 
    1200                 :            : /* If cwnd > ssthresh, we may raise ssthresh to be half-way to cwnd.
    1201                 :            :  * The exception is cwnd reduction phase, when cwnd is decreasing towards
    1202                 :            :  * ssthresh.
    1203                 :            :  */
    1204                 :            : static inline __u32 tcp_current_ssthresh(const struct sock *sk)
    1205                 :            : {
    1206                 :            :         const struct tcp_sock *tp = tcp_sk(sk);
    1207                 :            : 
    1208                 :          1 :         if (tcp_in_cwnd_reduction(sk))
    1209                 :          0 :                 return tp->snd_ssthresh;
    1210                 :            :         else
    1211                 :          1 :                 return max(tp->snd_ssthresh,
    1212                 :            :                            ((tp->snd_cwnd >> 1) +
    1213                 :            :                             (tp->snd_cwnd >> 2)));
    1214                 :            : }
    1215                 :            : 
    1216                 :            : /* Use define here intentionally to get WARN_ON location shown at the caller */
    1217                 :            : #define tcp_verify_left_out(tp) WARN_ON(tcp_left_out(tp) > tp->packets_out)
    1218                 :            : 
    1219                 :            : void tcp_enter_cwr(struct sock *sk);
    1220                 :            : __u32 tcp_init_cwnd(const struct tcp_sock *tp, const struct dst_entry *dst);
    1221                 :            : 
    1222                 :            : /* The maximum number of MSS of available cwnd for which TSO defers
    1223                 :            :  * sending if not using sysctl_tcp_tso_win_divisor.
    1224                 :            :  */
    1225                 :            : static inline __u32 tcp_max_tso_deferred_mss(const struct tcp_sock *tp)
    1226                 :            : {
    1227                 :            :         return 3;
    1228                 :            : }
    1229                 :            : 
    1230                 :            : /* Returns end sequence number of the receiver's advertised window */
    1231                 :            : static inline u32 tcp_wnd_end(const struct tcp_sock *tp)
    1232                 :            : {
    1233                 :          1 :         return tp->snd_una + tp->snd_wnd;
    1234                 :            : }
    1235                 :            : 
    1236                 :            : /* We follow the spirit of RFC2861 to validate cwnd but implement a more
    1237                 :            :  * flexible approach. The RFC suggests cwnd should not be raised unless
    1238                 :            :  * it was fully used previously. And that's exactly what we do in
    1239                 :            :  * congestion avoidance mode. But in slow start we allow cwnd to grow
    1240                 :            :  * as long as the application has used half the cwnd.
    1241                 :            :  * Example :
    1242                 :            :  *    cwnd is 10 (IW10), but application sends 9 frames.
    1243                 :            :  *    We allow cwnd to reach 18 when all frames are ACKed.
    1244                 :            :  * This check is safe because it's as aggressive as slow start which already
    1245                 :            :  * risks 100% overshoot. The advantage is that we discourage application to
    1246                 :            :  * either send more filler packets or data to artificially blow up the cwnd
    1247                 :            :  * usage, and allow application-limited process to probe bw more aggressively.
    1248                 :            :  */
    1249                 :            : static inline bool tcp_is_cwnd_limited(const struct sock *sk)
    1250                 :            : {
    1251                 :            :         const struct tcp_sock *tp = tcp_sk(sk);
    1252                 :            : 
    1253                 :            :         /* If in slow start, ensure cwnd grows to twice what was ACKed. */
    1254                 :          1 :         if (tcp_in_slow_start(tp))
    1255                 :          1 :                 return tp->snd_cwnd < 2 * tp->max_packets_out;
    1256                 :            : 
    1257                 :          0 :         return tp->is_cwnd_limited;
    1258                 :            : }
    1259                 :            : 
    1260                 :            : /* BBR congestion control needs pacing.
    1261                 :            :  * Same remark for SO_MAX_PACING_RATE.
    1262                 :            :  * sch_fq packet scheduler is efficiently handling pacing,
    1263                 :            :  * but is not always installed/used.
    1264                 :            :  * Return true if TCP stack should pace packets itself.
    1265                 :            :  */
    1266                 :            : static inline bool tcp_needs_internal_pacing(const struct sock *sk)
    1267                 :            : {
    1268                 :          1 :         return smp_load_acquire(&sk->sk_pacing_status) == SK_PACING_NEEDED;
    1269                 :            : }
    1270                 :            : 
    1271                 :            : /* Return in jiffies the delay before one skb is sent.
    1272                 :            :  * If @skb is NULL, we look at EDT for next packet being sent on the socket.
    1273                 :            :  */
    1274                 :          1 : static inline unsigned long tcp_pacing_delay(const struct sock *sk,
    1275                 :            :                                              const struct sk_buff *skb)
    1276                 :            : {
    1277                 :          1 :         s64 pacing_delay = skb ? skb->tstamp : tcp_sk(sk)->tcp_wstamp_ns;
    1278                 :            : 
    1279                 :          1 :         pacing_delay -= tcp_sk(sk)->tcp_clock_cache;
    1280                 :            : 
    1281                 :          1 :         return pacing_delay > 0 ? nsecs_to_jiffies(pacing_delay) : 0;
    1282                 :            : }
    1283                 :            : 
    1284                 :          1 : static inline void tcp_reset_xmit_timer(struct sock *sk,
    1285                 :            :                                         const int what,
    1286                 :            :                                         unsigned long when,
    1287                 :            :                                         const unsigned long max_when,
    1288                 :            :                                         const struct sk_buff *skb)
    1289                 :            : {
    1290                 :          1 :         inet_csk_reset_xmit_timer(sk, what, when + tcp_pacing_delay(sk, skb),
    1291                 :            :                                   max_when);
    1292                 :          1 : }
    1293                 :            : 
    1294                 :            : /* Something is really bad, we could not queue an additional packet,
    1295                 :            :  * because qdisc is full or receiver sent a 0 window, or we are paced.
    1296                 :            :  * We do not want to add fuel to the fire, or abort too early,
    1297                 :            :  * so make sure the timer we arm now is at least 200ms in the future,
    1298                 :            :  * regardless of current icsk_rto value (as it could be ~2ms)
    1299                 :            :  */
    1300                 :            : static inline unsigned long tcp_probe0_base(const struct sock *sk)
    1301                 :            : {
    1302                 :          0 :         return max_t(unsigned long, inet_csk(sk)->icsk_rto, TCP_RTO_MIN);
    1303                 :            : }
    1304                 :            : 
    1305                 :            : /* Variant of inet_csk_rto_backoff() used for zero window probes */
    1306                 :            : static inline unsigned long tcp_probe0_when(const struct sock *sk,
    1307                 :            :                                             unsigned long max_when)
    1308                 :            : {
    1309                 :          0 :         u64 when = (u64)tcp_probe0_base(sk) << inet_csk(sk)->icsk_backoff;
    1310                 :            : 
    1311                 :          0 :         return (unsigned long)min_t(u64, when, max_when);
    1312                 :            : }
    1313                 :            : 
    1314                 :          0 : static inline void tcp_check_probe_timer(struct sock *sk)
    1315                 :            : {
    1316                 :          0 :         if (!tcp_sk(sk)->packets_out && !inet_csk(sk)->icsk_pending)
    1317                 :          0 :                 tcp_reset_xmit_timer(sk, ICSK_TIME_PROBE0,
    1318                 :            :                                      tcp_probe0_base(sk), TCP_RTO_MAX,
    1319                 :            :                                      NULL);
    1320                 :          0 : }
    1321                 :            : 
    1322                 :            : static inline void tcp_init_wl(struct tcp_sock *tp, u32 seq)
    1323                 :            : {
    1324                 :          1 :         tp->snd_wl1 = seq;
    1325                 :            : }
    1326                 :            : 
    1327                 :            : static inline void tcp_update_wl(struct tcp_sock *tp, u32 seq)
    1328                 :            : {
    1329                 :          1 :         tp->snd_wl1 = seq;
    1330                 :            : }
    1331                 :            : 
    1332                 :            : /*
    1333                 :            :  * Calculate(/check) TCP checksum
    1334                 :            :  */
    1335                 :            : static inline __sum16 tcp_v4_check(int len, __be32 saddr,
    1336                 :            :                                    __be32 daddr, __wsum base)
    1337                 :            : {
    1338                 :            :         return csum_tcpudp_magic(saddr, daddr, len, IPPROTO_TCP, base);
    1339                 :            : }
    1340                 :            : 
    1341                 :          3 : static inline bool tcp_checksum_complete(struct sk_buff *skb)
    1342                 :            : {
    1343                 :          3 :         return !skb_csum_unnecessary(skb) &&
    1344                 :          1 :                 __skb_checksum_complete(skb);
    1345                 :            : }
    1346                 :            : 
    1347                 :            : bool tcp_add_backlog(struct sock *sk, struct sk_buff *skb);
    1348                 :            : int tcp_filter(struct sock *sk, struct sk_buff *skb);
    1349                 :            : void tcp_set_state(struct sock *sk, int state);
    1350                 :            : void tcp_done(struct sock *sk);
    1351                 :            : int tcp_abort(struct sock *sk, int err);
    1352                 :            : 
    1353                 :            : static inline void tcp_sack_reset(struct tcp_options_received *rx_opt)
    1354                 :            : {
    1355                 :          0 :         rx_opt->dsack = 0;
    1356                 :          0 :         rx_opt->num_sacks = 0;
    1357                 :            : }
    1358                 :            : 
    1359                 :            : u32 tcp_default_init_rwnd(u32 mss);
    1360                 :            : void tcp_cwnd_restart(struct sock *sk, s32 delta);
    1361                 :            : 
    1362                 :          1 : static inline void tcp_slow_start_after_idle_check(struct sock *sk)
    1363                 :            : {
    1364                 :          1 :         const struct tcp_congestion_ops *ca_ops = inet_csk(sk)->icsk_ca_ops;
    1365                 :            :         struct tcp_sock *tp = tcp_sk(sk);
    1366                 :            :         s32 delta;
    1367                 :            : 
    1368                 :          1 :         if (!sock_net(sk)->ipv4.sysctl_tcp_slow_start_after_idle || tp->packets_out ||
    1369                 :          1 :             ca_ops->cong_control)
    1370                 :          1 :                 return;
    1371                 :          1 :         delta = tcp_jiffies32 - tp->lsndtime;
    1372                 :          1 :         if (delta > inet_csk(sk)->icsk_rto)
    1373                 :          1 :                 tcp_cwnd_restart(sk, delta);
    1374                 :            : }
    1375                 :            : 
    1376                 :            : /* Determine a window scaling and initial window to offer. */
    1377                 :            : void tcp_select_initial_window(const struct sock *sk, int __space,
    1378                 :            :                                __u32 mss, __u32 *rcv_wnd,
    1379                 :            :                                __u32 *window_clamp, int wscale_ok,
    1380                 :            :                                __u8 *rcv_wscale, __u32 init_rcv_wnd);
    1381                 :            : 
    1382                 :            : static inline int tcp_win_from_space(const struct sock *sk, int space)
    1383                 :            : {
    1384                 :          1 :         int tcp_adv_win_scale = sock_net(sk)->ipv4.sysctl_tcp_adv_win_scale;
    1385                 :            : 
    1386                 :            :         return tcp_adv_win_scale <= 0 ?
    1387                 :          1 :                 (space>>(-tcp_adv_win_scale)) :
    1388                 :          1 :                 space - (space>>tcp_adv_win_scale);
    1389                 :            : }
    1390                 :            : 
    1391                 :            : /* Note: caller must be prepared to deal with negative returns */
    1392                 :            : static inline int tcp_space(const struct sock *sk)
    1393                 :            : {
    1394                 :          1 :         return tcp_win_from_space(sk, READ_ONCE(sk->sk_rcvbuf) -
    1395                 :          1 :                                   READ_ONCE(sk->sk_backlog.len) -
    1396                 :          1 :                                   atomic_read(&sk->sk_rmem_alloc));
    1397                 :            : }
    1398                 :            : 
    1399                 :            : static inline int tcp_full_space(const struct sock *sk)
    1400                 :            : {
    1401                 :          1 :         return tcp_win_from_space(sk, READ_ONCE(sk->sk_rcvbuf));
    1402                 :            : }
    1403                 :            : 
    1404                 :            : /* We provision sk_rcvbuf around 200% of sk_rcvlowat.
    1405                 :            :  * If 87.5 % (7/8) of the space has been consumed, we want to override
    1406                 :            :  * SO_RCVLOWAT constraint, since we are receiving skbs with too small
    1407                 :            :  * len/truesize ratio.
    1408                 :            :  */
    1409                 :            : static inline bool tcp_rmem_pressure(const struct sock *sk)
    1410                 :            : {
    1411                 :          0 :         int rcvbuf = READ_ONCE(sk->sk_rcvbuf);
    1412                 :          0 :         int threshold = rcvbuf - (rcvbuf >> 3);
    1413                 :            : 
    1414                 :          0 :         return atomic_read(&sk->sk_rmem_alloc) > threshold;
    1415                 :            : }
    1416                 :            : 
    1417                 :            : extern void tcp_openreq_init_rwin(struct request_sock *req,
    1418                 :            :                                   const struct sock *sk_listener,
    1419                 :            :                                   const struct dst_entry *dst);
    1420                 :            : 
    1421                 :            : void tcp_enter_memory_pressure(struct sock *sk);
    1422                 :            : void tcp_leave_memory_pressure(struct sock *sk);
    1423                 :            : 
    1424                 :            : static inline int keepalive_intvl_when(const struct tcp_sock *tp)
    1425                 :            : {
    1426                 :            :         struct net *net = sock_net((struct sock *)tp);
    1427                 :            : 
    1428                 :          0 :         return tp->keepalive_intvl ? : net->ipv4.sysctl_tcp_keepalive_intvl;
    1429                 :            : }
    1430                 :            : 
    1431                 :            : static inline int keepalive_time_when(const struct tcp_sock *tp)
    1432                 :            : {
    1433                 :            :         struct net *net = sock_net((struct sock *)tp);
    1434                 :            : 
    1435                 :          1 :         return tp->keepalive_time ? : net->ipv4.sysctl_tcp_keepalive_time;
    1436                 :            : }
    1437                 :            : 
    1438                 :            : static inline int keepalive_probes(const struct tcp_sock *tp)
    1439                 :            : {
    1440                 :            :         struct net *net = sock_net((struct sock *)tp);
    1441                 :            : 
    1442                 :          0 :         return tp->keepalive_probes ? : net->ipv4.sysctl_tcp_keepalive_probes;
    1443                 :            : }
    1444                 :            : 
    1445                 :            : static inline u32 keepalive_time_elapsed(const struct tcp_sock *tp)
    1446                 :            : {
    1447                 :            :         const struct inet_connection_sock *icsk = &tp->inet_conn;
    1448                 :            : 
    1449                 :          1 :         return min_t(u32, tcp_jiffies32 - icsk->icsk_ack.lrcvtime,
    1450                 :            :                           tcp_jiffies32 - tp->rcv_tstamp);
    1451                 :            : }
    1452                 :            : 
    1453                 :            : static inline int tcp_fin_time(const struct sock *sk)
    1454                 :            : {
    1455                 :          1 :         int fin_timeout = tcp_sk(sk)->linger2 ? : sock_net(sk)->ipv4.sysctl_tcp_fin_timeout;
    1456                 :          1 :         const int rto = inet_csk(sk)->icsk_rto;
    1457                 :            : 
    1458                 :          1 :         if (fin_timeout < (rto << 2) - (rto >> 1))
    1459                 :            :                 fin_timeout = (rto << 2) - (rto >> 1);
    1460                 :            : 
    1461                 :            :         return fin_timeout;
    1462                 :            : }
    1463                 :            : 
    1464                 :          0 : static inline bool tcp_paws_check(const struct tcp_options_received *rx_opt,
    1465                 :            :                                   int paws_win)
    1466                 :            : {
    1467                 :          0 :         if ((s32)(rx_opt->ts_recent - rx_opt->rcv_tsval) <= paws_win)
    1468                 :            :                 return true;
    1469                 :          0 :         if (unlikely(!time_before32(ktime_get_seconds(),
    1470                 :            :                                     rx_opt->ts_recent_stamp + TCP_PAWS_24DAYS)))
    1471                 :            :                 return true;
    1472                 :            :         /*
    1473                 :            :          * Some OSes send SYN and SYNACK messages with tsval=0 tsecr=0,
    1474                 :            :          * then following tcp messages have valid values. Ignore 0 value,
    1475                 :            :          * or else 'negative' tsval might forbid us to accept their packets.
    1476                 :            :          */
    1477                 :          0 :         if (!rx_opt->ts_recent)
    1478                 :            :                 return true;
    1479                 :          0 :         return false;
    1480                 :            : }
    1481                 :            : 
    1482                 :          0 : static inline bool tcp_paws_reject(const struct tcp_options_received *rx_opt,
    1483                 :            :                                    int rst)
    1484                 :            : {
    1485                 :          0 :         if (tcp_paws_check(rx_opt, 0))
    1486                 :            :                 return false;
    1487                 :            : 
    1488                 :            :         /* RST segments are not recommended to carry timestamp,
    1489                 :            :            and, if they do, it is recommended to ignore PAWS because
    1490                 :            :            "their cleanup function should take precedence over timestamps."
    1491                 :            :            Certainly, it is mistake. It is necessary to understand the reasons
    1492                 :            :            of this constraint to relax it: if peer reboots, clock may go
    1493                 :            :            out-of-sync and half-open connections will not be reset.
    1494                 :            :            Actually, the problem would be not existing if all
    1495                 :            :            the implementations followed draft about maintaining clock
    1496                 :            :            via reboots. Linux-2.2 DOES NOT!
    1497                 :            : 
    1498                 :            :            However, we can relax time bounds for RST segments to MSL.
    1499                 :            :          */
    1500                 :          0 :         if (rst && !time_before32(ktime_get_seconds(),
    1501                 :            :                                   rx_opt->ts_recent_stamp + TCP_PAWS_MSL))
    1502                 :            :                 return false;
    1503                 :            :         return true;
    1504                 :            : }
    1505                 :            : 
    1506                 :            : bool tcp_oow_rate_limited(struct net *net, const struct sk_buff *skb,
    1507                 :            :                           int mib_idx, u32 *last_oow_ack_time);
    1508                 :            : 
    1509                 :          3 : static inline void tcp_mib_init(struct net *net)
    1510                 :            : {
    1511                 :            :         /* See RFC 2012 */
    1512                 :          3 :         TCP_ADD_STATS(net, TCP_MIB_RTOALGORITHM, 1);
    1513                 :          3 :         TCP_ADD_STATS(net, TCP_MIB_RTOMIN, TCP_RTO_MIN*1000/HZ);
    1514                 :          3 :         TCP_ADD_STATS(net, TCP_MIB_RTOMAX, TCP_RTO_MAX*1000/HZ);
    1515                 :          3 :         TCP_ADD_STATS(net, TCP_MIB_MAXCONN, -1);
    1516                 :          3 : }
    1517                 :            : 
    1518                 :            : /* from STCP */
    1519                 :            : static inline void tcp_clear_retrans_hints_partial(struct tcp_sock *tp)
    1520                 :            : {
    1521                 :          1 :         tp->lost_skb_hint = NULL;
    1522                 :            : }
    1523                 :            : 
    1524                 :            : static inline void tcp_clear_all_retrans_hints(struct tcp_sock *tp)
    1525                 :            : {
    1526                 :            :         tcp_clear_retrans_hints_partial(tp);
    1527                 :          1 :         tp->retransmit_skb_hint = NULL;
    1528                 :            : }
    1529                 :            : 
    1530                 :            : union tcp_md5_addr {
    1531                 :            :         struct in_addr  a4;
    1532                 :            : #if IS_ENABLED(CONFIG_IPV6)
    1533                 :            :         struct in6_addr a6;
    1534                 :            : #endif
    1535                 :            : };
    1536                 :            : 
    1537                 :            : /* - key database */
    1538                 :            : struct tcp_md5sig_key {
    1539                 :            :         struct hlist_node       node;
    1540                 :            :         u8                      keylen;
    1541                 :            :         u8                      family; /* AF_INET or AF_INET6 */
    1542                 :            :         union tcp_md5_addr      addr;
    1543                 :            :         u8                      prefixlen;
    1544                 :            :         u8                      key[TCP_MD5SIG_MAXKEYLEN];
    1545                 :            :         struct rcu_head         rcu;
    1546                 :            : };
    1547                 :            : 
    1548                 :            : /* - sock block */
    1549                 :            : struct tcp_md5sig_info {
    1550                 :            :         struct hlist_head       head;
    1551                 :            :         struct rcu_head         rcu;
    1552                 :            : };
    1553                 :            : 
    1554                 :            : /* - pseudo header */
    1555                 :            : struct tcp4_pseudohdr {
    1556                 :            :         __be32          saddr;
    1557                 :            :         __be32          daddr;
    1558                 :            :         __u8            pad;
    1559                 :            :         __u8            protocol;
    1560                 :            :         __be16          len;
    1561                 :            : };
    1562                 :            : 
    1563                 :            : struct tcp6_pseudohdr {
    1564                 :            :         struct in6_addr saddr;
    1565                 :            :         struct in6_addr daddr;
    1566                 :            :         __be32          len;
    1567                 :            :         __be32          protocol;       /* including padding */
    1568                 :            : };
    1569                 :            : 
    1570                 :            : union tcp_md5sum_block {
    1571                 :            :         struct tcp4_pseudohdr ip4;
    1572                 :            : #if IS_ENABLED(CONFIG_IPV6)
    1573                 :            :         struct tcp6_pseudohdr ip6;
    1574                 :            : #endif
    1575                 :            : };
    1576                 :            : 
    1577                 :            : /* - pool: digest algorithm, hash description and scratch buffer */
    1578                 :            : struct tcp_md5sig_pool {
    1579                 :            :         struct ahash_request    *md5_req;
    1580                 :            :         void                    *scratch;
    1581                 :            : };
    1582                 :            : 
    1583                 :            : /* - functions */
    1584                 :            : int tcp_v4_md5_hash_skb(char *md5_hash, const struct tcp_md5sig_key *key,
    1585                 :            :                         const struct sock *sk, const struct sk_buff *skb);
    1586                 :            : int tcp_md5_do_add(struct sock *sk, const union tcp_md5_addr *addr,
    1587                 :            :                    int family, u8 prefixlen, const u8 *newkey, u8 newkeylen,
    1588                 :            :                    gfp_t gfp);
    1589                 :            : int tcp_md5_do_del(struct sock *sk, const union tcp_md5_addr *addr,
    1590                 :            :                    int family, u8 prefixlen);
    1591                 :            : struct tcp_md5sig_key *tcp_v4_md5_lookup(const struct sock *sk,
    1592                 :            :                                          const struct sock *addr_sk);
    1593                 :            : 
    1594                 :            : #ifdef CONFIG_TCP_MD5SIG
    1595                 :            : #include <linux/jump_label.h>
    1596                 :            : extern struct static_key_false tcp_md5_needed;
    1597                 :            : struct tcp_md5sig_key *__tcp_md5_do_lookup(const struct sock *sk,
    1598                 :            :                                            const union tcp_md5_addr *addr,
    1599                 :            :                                            int family);
    1600                 :            : static inline struct tcp_md5sig_key *
    1601                 :            : tcp_md5_do_lookup(const struct sock *sk,
    1602                 :            :                   const union tcp_md5_addr *addr,
    1603                 :            :                   int family)
    1604                 :            : {
    1605                 :            :         if (!static_branch_unlikely(&tcp_md5_needed))
    1606                 :            :                 return NULL;
    1607                 :            :         return __tcp_md5_do_lookup(sk, addr, family);
    1608                 :            : }
    1609                 :            : 
    1610                 :            : #define tcp_twsk_md5_key(twsk)  ((twsk)->tw_md5_key)
    1611                 :            : #else
    1612                 :            : static inline struct tcp_md5sig_key *tcp_md5_do_lookup(const struct sock *sk,
    1613                 :            :                                          const union tcp_md5_addr *addr,
    1614                 :            :                                          int family)
    1615                 :            : {
    1616                 :            :         return NULL;
    1617                 :            : }
    1618                 :            : #define tcp_twsk_md5_key(twsk)  NULL
    1619                 :            : #endif
    1620                 :            : 
    1621                 :            : bool tcp_alloc_md5sig_pool(void);
    1622                 :            : 
    1623                 :            : struct tcp_md5sig_pool *tcp_get_md5sig_pool(void);
    1624                 :            : static inline void tcp_put_md5sig_pool(void)
    1625                 :            : {
    1626                 :            :         local_bh_enable();
    1627                 :            : }
    1628                 :            : 
    1629                 :            : int tcp_md5_hash_skb_data(struct tcp_md5sig_pool *, const struct sk_buff *,
    1630                 :            :                           unsigned int header_len);
    1631                 :            : int tcp_md5_hash_key(struct tcp_md5sig_pool *hp,
    1632                 :            :                      const struct tcp_md5sig_key *key);
    1633                 :            : 
    1634                 :            : /* From tcp_fastopen.c */
    1635                 :            : void tcp_fastopen_cache_get(struct sock *sk, u16 *mss,
    1636                 :            :                             struct tcp_fastopen_cookie *cookie);
    1637                 :            : void tcp_fastopen_cache_set(struct sock *sk, u16 mss,
    1638                 :            :                             struct tcp_fastopen_cookie *cookie, bool syn_lost,
    1639                 :            :                             u16 try_exp);
    1640                 :            : struct tcp_fastopen_request {
    1641                 :            :         /* Fast Open cookie. Size 0 means a cookie request */
    1642                 :            :         struct tcp_fastopen_cookie      cookie;
    1643                 :            :         struct msghdr                   *data;  /* data in MSG_FASTOPEN */
    1644                 :            :         size_t                          size;
    1645                 :            :         int                             copied; /* queued in tcp_connect() */
    1646                 :            :         struct ubuf_info                *uarg;
    1647                 :            : };
    1648                 :            : void tcp_free_fastopen_req(struct tcp_sock *tp);
    1649                 :            : void tcp_fastopen_destroy_cipher(struct sock *sk);
    1650                 :            : void tcp_fastopen_ctx_destroy(struct net *net);
    1651                 :            : int tcp_fastopen_reset_cipher(struct net *net, struct sock *sk,
    1652                 :            :                               void *primary_key, void *backup_key);
    1653                 :            : int tcp_fastopen_get_cipher(struct net *net, struct inet_connection_sock *icsk,
    1654                 :            :                             u64 *key);
    1655                 :            : void tcp_fastopen_add_skb(struct sock *sk, struct sk_buff *skb);
    1656                 :            : struct sock *tcp_try_fastopen(struct sock *sk, struct sk_buff *skb,
    1657                 :            :                               struct request_sock *req,
    1658                 :            :                               struct tcp_fastopen_cookie *foc,
    1659                 :            :                               const struct dst_entry *dst);
    1660                 :            : void tcp_fastopen_init_key_once(struct net *net);
    1661                 :            : bool tcp_fastopen_cookie_check(struct sock *sk, u16 *mss,
    1662                 :            :                              struct tcp_fastopen_cookie *cookie);
    1663                 :            : bool tcp_fastopen_defer_connect(struct sock *sk, int *err);
    1664                 :            : #define TCP_FASTOPEN_KEY_LENGTH sizeof(siphash_key_t)
    1665                 :            : #define TCP_FASTOPEN_KEY_MAX 2
    1666                 :            : #define TCP_FASTOPEN_KEY_BUF_LENGTH \
    1667                 :            :         (TCP_FASTOPEN_KEY_LENGTH * TCP_FASTOPEN_KEY_MAX)
    1668                 :            : 
    1669                 :            : /* Fastopen key context */
    1670                 :            : struct tcp_fastopen_context {
    1671                 :            :         siphash_key_t   key[TCP_FASTOPEN_KEY_MAX];
    1672                 :            :         int             num;
    1673                 :            :         struct rcu_head rcu;
    1674                 :            : };
    1675                 :            : 
    1676                 :            : extern unsigned int sysctl_tcp_fastopen_blackhole_timeout;
    1677                 :            : void tcp_fastopen_active_disable(struct sock *sk);
    1678                 :            : bool tcp_fastopen_active_should_disable(struct sock *sk);
    1679                 :            : void tcp_fastopen_active_disable_ofo_check(struct sock *sk);
    1680                 :            : void tcp_fastopen_active_detect_blackhole(struct sock *sk, bool expired);
    1681                 :            : 
    1682                 :            : /* Caller needs to wrap with rcu_read_(un)lock() */
    1683                 :            : static inline
    1684                 :            : struct tcp_fastopen_context *tcp_fastopen_get_ctx(const struct sock *sk)
    1685                 :            : {
    1686                 :            :         struct tcp_fastopen_context *ctx;
    1687                 :            : 
    1688                 :          0 :         ctx = rcu_dereference(inet_csk(sk)->icsk_accept_queue.fastopenq.ctx);
    1689                 :          0 :         if (!ctx)
    1690                 :          0 :                 ctx = rcu_dereference(sock_net(sk)->ipv4.tcp_fastopen_ctx);
    1691                 :            :         return ctx;
    1692                 :            : }
    1693                 :            : 
    1694                 :            : static inline
    1695                 :          0 : bool tcp_fastopen_cookie_match(const struct tcp_fastopen_cookie *foc,
    1696                 :            :                                const struct tcp_fastopen_cookie *orig)
    1697                 :            : {
    1698                 :          0 :         if (orig->len == TCP_FASTOPEN_COOKIE_SIZE &&
    1699                 :          0 :             orig->len == foc->len &&
    1700                 :          0 :             !memcmp(orig->val, foc->val, foc->len))
    1701                 :            :                 return true;
    1702                 :          0 :         return false;
    1703                 :            : }
    1704                 :            : 
    1705                 :            : static inline
    1706                 :            : int tcp_fastopen_context_len(const struct tcp_fastopen_context *ctx)
    1707                 :            : {
    1708                 :          0 :         return ctx->num;
    1709                 :            : }
    1710                 :            : 
    1711                 :            : /* Latencies incurred by various limits for a sender. They are
    1712                 :            :  * chronograph-like stats that are mutually exclusive.
    1713                 :            :  */
    1714                 :            : enum tcp_chrono {
    1715                 :            :         TCP_CHRONO_UNSPEC,
    1716                 :            :         TCP_CHRONO_BUSY, /* Actively sending data (non-empty write queue) */
    1717                 :            :         TCP_CHRONO_RWND_LIMITED, /* Stalled by insufficient receive window */
    1718                 :            :         TCP_CHRONO_SNDBUF_LIMITED, /* Stalled by insufficient send buffer */
    1719                 :            :         __TCP_CHRONO_MAX,
    1720                 :            : };
    1721                 :            : 
    1722                 :            : void tcp_chrono_start(struct sock *sk, const enum tcp_chrono type);
    1723                 :            : void tcp_chrono_stop(struct sock *sk, const enum tcp_chrono type);
    1724                 :            : 
    1725                 :            : /* This helper is needed, because skb->tcp_tsorted_anchor uses
    1726                 :            :  * the same memory storage than skb->destructor/_skb_refdst
    1727                 :            :  */
    1728                 :            : static inline void tcp_skb_tsorted_anchor_cleanup(struct sk_buff *skb)
    1729                 :            : {
    1730                 :          1 :         skb->destructor = NULL;
    1731                 :          1 :         skb->_skb_refdst = 0UL;
    1732                 :            : }
    1733                 :            : 
    1734                 :            : #define tcp_skb_tsorted_save(skb) {             \
    1735                 :            :         unsigned long _save = skb->_skb_refdst;      \
    1736                 :            :         skb->_skb_refdst = 0UL;
    1737                 :            : 
    1738                 :            : #define tcp_skb_tsorted_restore(skb)            \
    1739                 :            :         skb->_skb_refdst = _save;            \
    1740                 :            : }
    1741                 :            : 
    1742                 :            : void tcp_write_queue_purge(struct sock *sk);
    1743                 :            : 
    1744                 :            : static inline struct sk_buff *tcp_rtx_queue_head(const struct sock *sk)
    1745                 :            : {
    1746                 :          1 :         return skb_rb_first(&sk->tcp_rtx_queue);
    1747                 :            : }
    1748                 :            : 
    1749                 :            : static inline struct sk_buff *tcp_rtx_queue_tail(const struct sock *sk)
    1750                 :            : {
    1751                 :          0 :         return skb_rb_last(&sk->tcp_rtx_queue);
    1752                 :            : }
    1753                 :            : 
    1754                 :            : static inline struct sk_buff *tcp_write_queue_head(const struct sock *sk)
    1755                 :            : {
    1756                 :            :         return skb_peek(&sk->sk_write_queue);
    1757                 :            : }
    1758                 :            : 
    1759                 :            : static inline struct sk_buff *tcp_write_queue_tail(const struct sock *sk)
    1760                 :            : {
    1761                 :          1 :         return skb_peek_tail(&sk->sk_write_queue);
    1762                 :            : }
    1763                 :            : 
    1764                 :            : #define tcp_for_write_queue_from_safe(skb, tmp, sk)                     \
    1765                 :            :         skb_queue_walk_from_safe(&(sk)->sk_write_queue, skb, tmp)
    1766                 :            : 
    1767                 :            : static inline struct sk_buff *tcp_send_head(const struct sock *sk)
    1768                 :            : {
    1769                 :          1 :         return skb_peek(&sk->sk_write_queue);
    1770                 :            : }
    1771                 :            : 
    1772                 :            : static inline bool tcp_skb_is_last(const struct sock *sk,
    1773                 :            :                                    const struct sk_buff *skb)
    1774                 :            : {
    1775                 :            :         return skb_queue_is_last(&sk->sk_write_queue, skb);
    1776                 :            : }
    1777                 :            : 
    1778                 :            : static inline bool tcp_write_queue_empty(const struct sock *sk)
    1779                 :            : {
    1780                 :          1 :         return skb_queue_empty(&sk->sk_write_queue);
    1781                 :            : }
    1782                 :            : 
    1783                 :            : static inline bool tcp_rtx_queue_empty(const struct sock *sk)
    1784                 :            : {
    1785                 :          1 :         return RB_EMPTY_ROOT(&sk->tcp_rtx_queue);
    1786                 :            : }
    1787                 :            : 
    1788                 :            : static inline bool tcp_rtx_and_write_queues_empty(const struct sock *sk)
    1789                 :            : {
    1790                 :          1 :         return tcp_rtx_queue_empty(sk) && tcp_write_queue_empty(sk);
    1791                 :            : }
    1792                 :            : 
    1793                 :          1 : static inline void tcp_add_write_queue_tail(struct sock *sk, struct sk_buff *skb)
    1794                 :            : {
    1795                 :          1 :         __skb_queue_tail(&sk->sk_write_queue, skb);
    1796                 :            : 
    1797                 :            :         /* Queue it, remembering where we must start sending. */
    1798                 :          1 :         if (sk->sk_write_queue.next == skb)
    1799                 :          1 :                 tcp_chrono_start(sk, TCP_CHRONO_BUSY);
    1800                 :          1 : }
    1801                 :            : 
    1802                 :            : /* Insert new before skb on the write queue of sk.  */
    1803                 :            : static inline void tcp_insert_write_queue_before(struct sk_buff *new,
    1804                 :            :                                                   struct sk_buff *skb,
    1805                 :            :                                                   struct sock *sk)
    1806                 :            : {
    1807                 :            :         __skb_queue_before(&sk->sk_write_queue, skb, new);
    1808                 :            : }
    1809                 :            : 
    1810                 :            : static inline void tcp_unlink_write_queue(struct sk_buff *skb, struct sock *sk)
    1811                 :            : {
    1812                 :            :         tcp_skb_tsorted_anchor_cleanup(skb);
    1813                 :            :         __skb_unlink(skb, &sk->sk_write_queue);
    1814                 :            : }
    1815                 :            : 
    1816                 :            : void tcp_rbtree_insert(struct rb_root *root, struct sk_buff *skb);
    1817                 :            : 
    1818                 :            : static inline void tcp_rtx_queue_unlink(struct sk_buff *skb, struct sock *sk)
    1819                 :            : {
    1820                 :            :         tcp_skb_tsorted_anchor_cleanup(skb);
    1821                 :          1 :         rb_erase(&skb->rbnode, &sk->tcp_rtx_queue);
    1822                 :            : }
    1823                 :            : 
    1824                 :          1 : static inline void tcp_rtx_queue_unlink_and_free(struct sk_buff *skb, struct sock *sk)
    1825                 :            : {
    1826                 :            :         list_del(&skb->tcp_tsorted_anchor);
    1827                 :            :         tcp_rtx_queue_unlink(skb, sk);
    1828                 :          1 :         sk_wmem_free_skb(sk, skb);
    1829                 :          1 : }
    1830                 :            : 
    1831                 :          1 : static inline void tcp_push_pending_frames(struct sock *sk)
    1832                 :            : {
    1833                 :          1 :         if (tcp_send_head(sk)) {
    1834                 :            :                 struct tcp_sock *tp = tcp_sk(sk);
    1835                 :            : 
    1836                 :          1 :                 __tcp_push_pending_frames(sk, tcp_current_mss(sk), tp->nonagle);
    1837                 :            :         }
    1838                 :          1 : }
    1839                 :            : 
    1840                 :            : /* Start sequence of the skb just after the highest skb with SACKed
    1841                 :            :  * bit, valid only if sacked_out > 0 or when the caller has ensured
    1842                 :            :  * validity by itself.
    1843                 :            :  */
    1844                 :            : static inline u32 tcp_highest_sack_seq(struct tcp_sock *tp)
    1845                 :            : {
    1846                 :          0 :         if (!tp->sacked_out)
    1847                 :          0 :                 return tp->snd_una;
    1848                 :            : 
    1849                 :          0 :         if (tp->highest_sack == NULL)
    1850                 :          0 :                 return tp->snd_nxt;
    1851                 :            : 
    1852                 :          0 :         return TCP_SKB_CB(tp->highest_sack)->seq;
    1853                 :            : }
    1854                 :            : 
    1855                 :            : static inline void tcp_advance_highest_sack(struct sock *sk, struct sk_buff *skb)
    1856                 :            : {
    1857                 :          0 :         tcp_sk(sk)->highest_sack = skb_rb_next(skb);
    1858                 :            : }
    1859                 :            : 
    1860                 :            : static inline struct sk_buff *tcp_highest_sack(struct sock *sk)
    1861                 :            : {
    1862                 :          1 :         return tcp_sk(sk)->highest_sack;
    1863                 :            : }
    1864                 :            : 
    1865                 :            : static inline void tcp_highest_sack_reset(struct sock *sk)
    1866                 :            : {
    1867                 :          0 :         tcp_sk(sk)->highest_sack = tcp_rtx_queue_head(sk);
    1868                 :            : }
    1869                 :            : 
    1870                 :            : /* Called when old skb is about to be deleted and replaced by new skb */
    1871                 :            : static inline void tcp_highest_sack_replace(struct sock *sk,
    1872                 :            :                                             struct sk_buff *old,
    1873                 :            :                                             struct sk_buff *new)
    1874                 :            : {
    1875                 :          1 :         if (old == tcp_highest_sack(sk))
    1876                 :          1 :                 tcp_sk(sk)->highest_sack = new;
    1877                 :            : }
    1878                 :            : 
    1879                 :            : /* This helper checks if socket has IP_TRANSPARENT set */
    1880                 :            : static inline bool inet_sk_transparent(const struct sock *sk)
    1881                 :            : {
    1882                 :          1 :         switch (sk->sk_state) {
    1883                 :            :         case TCP_TIME_WAIT:
    1884                 :          1 :                 return inet_twsk(sk)->tw_transparent;
    1885                 :            :         case TCP_NEW_SYN_RECV:
    1886                 :          0 :                 return inet_rsk(inet_reqsk(sk))->no_srccheck;
    1887                 :            :         }
    1888                 :          0 :         return inet_sk(sk)->transparent;
    1889                 :            : }
    1890                 :            : 
    1891                 :            : /* Determines whether this is a thin stream (which may suffer from
    1892                 :            :  * increased latency). Used to trigger latency-reducing mechanisms.
    1893                 :            :  */
    1894                 :            : static inline bool tcp_stream_is_thin(struct tcp_sock *tp)
    1895                 :            : {
    1896                 :          0 :         return tp->packets_out < 4 && !tcp_in_initial_slowstart(tp);
    1897                 :            : }
    1898                 :            : 
    1899                 :            : /* /proc */
    1900                 :            : enum tcp_seq_states {
    1901                 :            :         TCP_SEQ_STATE_LISTENING,
    1902                 :            :         TCP_SEQ_STATE_ESTABLISHED,
    1903                 :            : };
    1904                 :            : 
    1905                 :            : void *tcp_seq_start(struct seq_file *seq, loff_t *pos);
    1906                 :            : void *tcp_seq_next(struct seq_file *seq, void *v, loff_t *pos);
    1907                 :            : void tcp_seq_stop(struct seq_file *seq, void *v);
    1908                 :            : 
    1909                 :            : struct tcp_seq_afinfo {
    1910                 :            :         sa_family_t                     family;
    1911                 :            : };
    1912                 :            : 
    1913                 :            : struct tcp_iter_state {
    1914                 :            :         struct seq_net_private  p;
    1915                 :            :         enum tcp_seq_states     state;
    1916                 :            :         struct sock             *syn_wait_sk;
    1917                 :            :         int                     bucket, offset, sbucket, num;
    1918                 :            :         loff_t                  last_pos;
    1919                 :            : };
    1920                 :            : 
    1921                 :            : extern struct request_sock_ops tcp_request_sock_ops;
    1922                 :            : extern struct request_sock_ops tcp6_request_sock_ops;
    1923                 :            : 
    1924                 :            : void tcp_v4_destroy_sock(struct sock *sk);
    1925                 :            : 
    1926                 :            : struct sk_buff *tcp_gso_segment(struct sk_buff *skb,
    1927                 :            :                                 netdev_features_t features);
    1928                 :            : struct sk_buff *tcp_gro_receive(struct list_head *head, struct sk_buff *skb);
    1929                 :            : int tcp_gro_complete(struct sk_buff *skb);
    1930                 :            : 
    1931                 :            : void __tcp_v4_send_check(struct sk_buff *skb, __be32 saddr, __be32 daddr);
    1932                 :            : 
    1933                 :            : static inline u32 tcp_notsent_lowat(const struct tcp_sock *tp)
    1934                 :            : {
    1935                 :            :         struct net *net = sock_net((struct sock *)tp);
    1936                 :          1 :         return tp->notsent_lowat ?: net->ipv4.sysctl_tcp_notsent_lowat;
    1937                 :            : }
    1938                 :            : 
    1939                 :            : /* @wake is one when sk_stream_write_space() calls us.
    1940                 :            :  * This sends EPOLLOUT only if notsent_bytes is half the limit.
    1941                 :            :  * This mimics the strategy used in sock_def_write_space().
    1942                 :            :  */
    1943                 :          1 : static inline bool tcp_stream_memory_free(const struct sock *sk, int wake)
    1944                 :            : {
    1945                 :            :         const struct tcp_sock *tp = tcp_sk(sk);
    1946                 :          1 :         u32 notsent_bytes = READ_ONCE(tp->write_seq) -
    1947                 :            :                             READ_ONCE(tp->snd_nxt);
    1948                 :            : 
    1949                 :          1 :         return (notsent_bytes << wake) < tcp_notsent_lowat(tp);
    1950                 :            : }
    1951                 :            : 
    1952                 :            : #ifdef CONFIG_PROC_FS
    1953                 :            : int tcp4_proc_init(void);
    1954                 :            : void tcp4_proc_exit(void);
    1955                 :            : #endif
    1956                 :            : 
    1957                 :            : int tcp_rtx_synack(const struct sock *sk, struct request_sock *req);
    1958                 :            : int tcp_conn_request(struct request_sock_ops *rsk_ops,
    1959                 :            :                      const struct tcp_request_sock_ops *af_ops,
    1960                 :            :                      struct sock *sk, struct sk_buff *skb);
    1961                 :            : 
    1962                 :            : /* TCP af-specific functions */
    1963                 :            : struct tcp_sock_af_ops {
    1964                 :            : #ifdef CONFIG_TCP_MD5SIG
    1965                 :            :         struct tcp_md5sig_key   *(*md5_lookup) (const struct sock *sk,
    1966                 :            :                                                 const struct sock *addr_sk);
    1967                 :            :         int             (*calc_md5_hash)(char *location,
    1968                 :            :                                          const struct tcp_md5sig_key *md5,
    1969                 :            :                                          const struct sock *sk,
    1970                 :            :                                          const struct sk_buff *skb);
    1971                 :            :         int             (*md5_parse)(struct sock *sk,
    1972                 :            :                                      int optname,
    1973                 :            :                                      char __user *optval,
    1974                 :            :                                      int optlen);
    1975                 :            : #endif
    1976                 :            : };
    1977                 :            : 
    1978                 :            : struct tcp_request_sock_ops {
    1979                 :            :         u16 mss_clamp;
    1980                 :            : #ifdef CONFIG_TCP_MD5SIG
    1981                 :            :         struct tcp_md5sig_key *(*req_md5_lookup)(const struct sock *sk,
    1982                 :            :                                                  const struct sock *addr_sk);
    1983                 :            :         int             (*calc_md5_hash) (char *location,
    1984                 :            :                                           const struct tcp_md5sig_key *md5,
    1985                 :            :                                           const struct sock *sk,
    1986                 :            :                                           const struct sk_buff *skb);
    1987                 :            : #endif
    1988                 :            :         void (*init_req)(struct request_sock *req,
    1989                 :            :                          const struct sock *sk_listener,
    1990                 :            :                          struct sk_buff *skb);
    1991                 :            : #ifdef CONFIG_SYN_COOKIES
    1992                 :            :         __u32 (*cookie_init_seq)(const struct sk_buff *skb,
    1993                 :            :                                  __u16 *mss);
    1994                 :            : #endif
    1995                 :            :         struct dst_entry *(*route_req)(const struct sock *sk, struct flowi *fl,
    1996                 :            :                                        const struct request_sock *req);
    1997                 :            :         u32 (*init_seq)(const struct sk_buff *skb);
    1998                 :            :         u32 (*init_ts_off)(const struct net *net, const struct sk_buff *skb);
    1999                 :            :         int (*send_synack)(const struct sock *sk, struct dst_entry *dst,
    2000                 :            :                            struct flowi *fl, struct request_sock *req,
    2001                 :            :                            struct tcp_fastopen_cookie *foc,
    2002                 :            :                            enum tcp_synack_type synack_type);
    2003                 :            : };
    2004                 :            : 
    2005                 :            : #ifdef CONFIG_SYN_COOKIES
    2006                 :          0 : static inline __u32 cookie_init_sequence(const struct tcp_request_sock_ops *ops,
    2007                 :            :                                          const struct sock *sk, struct sk_buff *skb,
    2008                 :            :                                          __u16 *mss)
    2009                 :            : {
    2010                 :          0 :         tcp_synq_overflow(sk);
    2011                 :          0 :         __NET_INC_STATS(sock_net(sk), LINUX_MIB_SYNCOOKIESSENT);
    2012                 :          0 :         return ops->cookie_init_seq(skb, mss);
    2013                 :            : }
    2014                 :            : #else
    2015                 :            : static inline __u32 cookie_init_sequence(const struct tcp_request_sock_ops *ops,
    2016                 :            :                                          const struct sock *sk, struct sk_buff *skb,
    2017                 :            :                                          __u16 *mss)
    2018                 :            : {
    2019                 :            :         return 0;
    2020                 :            : }
    2021                 :            : #endif
    2022                 :            : 
    2023                 :            : int tcpv4_offload_init(void);
    2024                 :            : 
    2025                 :            : void tcp_v4_init(void);
    2026                 :            : void tcp_init(void);
    2027                 :            : 
    2028                 :            : /* tcp_recovery.c */
    2029                 :            : void tcp_mark_skb_lost(struct sock *sk, struct sk_buff *skb);
    2030                 :            : void tcp_newreno_mark_lost(struct sock *sk, bool snd_una_advanced);
    2031                 :            : extern s32 tcp_rack_skb_timeout(struct tcp_sock *tp, struct sk_buff *skb,
    2032                 :            :                                 u32 reo_wnd);
    2033                 :            : extern void tcp_rack_mark_lost(struct sock *sk);
    2034                 :            : extern void tcp_rack_advance(struct tcp_sock *tp, u8 sacked, u32 end_seq,
    2035                 :            :                              u64 xmit_time);
    2036                 :            : extern void tcp_rack_reo_timeout(struct sock *sk);
    2037                 :            : extern void tcp_rack_update_reo_wnd(struct sock *sk, struct rate_sample *rs);
    2038                 :            : 
    2039                 :            : /* At how many usecs into the future should the RTO fire? */
    2040                 :          0 : static inline s64 tcp_rto_delta_us(const struct sock *sk)
    2041                 :            : {
    2042                 :            :         const struct sk_buff *skb = tcp_rtx_queue_head(sk);
    2043                 :          0 :         u32 rto = inet_csk(sk)->icsk_rto;
    2044                 :          0 :         u64 rto_time_stamp_us = tcp_skb_timestamp_us(skb) + jiffies_to_usecs(rto);
    2045                 :            : 
    2046                 :          0 :         return rto_time_stamp_us - tcp_sk(sk)->tcp_mstamp;
    2047                 :            : }
    2048                 :            : 
    2049                 :            : /*
    2050                 :            :  * Save and compile IPv4 options, return a pointer to it
    2051                 :            :  */
    2052                 :          0 : static inline struct ip_options_rcu *tcp_v4_save_options(struct net *net,
    2053                 :            :                                                          struct sk_buff *skb)
    2054                 :            : {
    2055                 :          0 :         const struct ip_options *opt = &TCP_SKB_CB(skb)->header.h4.opt;
    2056                 :            :         struct ip_options_rcu *dopt = NULL;
    2057                 :            : 
    2058                 :          0 :         if (opt->optlen) {
    2059                 :          0 :                 int opt_size = sizeof(*dopt) + opt->optlen;
    2060                 :            : 
    2061                 :            :                 dopt = kmalloc(opt_size, GFP_ATOMIC);
    2062                 :          0 :                 if (dopt && __ip_options_echo(net, &dopt->opt, skb, opt)) {
    2063                 :          0 :                         kfree(dopt);
    2064                 :            :                         dopt = NULL;
    2065                 :            :                 }
    2066                 :            :         }
    2067                 :          0 :         return dopt;
    2068                 :            : }
    2069                 :            : 
    2070                 :            : /* locally generated TCP pure ACKs have skb->truesize == 2
    2071                 :            :  * (check tcp_send_ack() in net/ipv4/tcp_output.c )
    2072                 :            :  * This is much faster than dissecting the packet to find out.
    2073                 :            :  * (Think of GRE encapsulations, IPv4, IPv6, ...)
    2074                 :            :  */
    2075                 :            : static inline bool skb_is_tcp_pure_ack(const struct sk_buff *skb)
    2076                 :            : {
    2077                 :          1 :         return skb->truesize == 2;
    2078                 :            : }
    2079                 :            : 
    2080                 :            : static inline void skb_set_tcp_pure_ack(struct sk_buff *skb)
    2081                 :            : {
    2082                 :          1 :         skb->truesize = 2;
    2083                 :            : }
    2084                 :            : 
    2085                 :          0 : static inline int tcp_inq(struct sock *sk)
    2086                 :            : {
    2087                 :            :         struct tcp_sock *tp = tcp_sk(sk);
    2088                 :            :         int answ;
    2089                 :            : 
    2090                 :          0 :         if ((1 << sk->sk_state) & (TCPF_SYN_SENT | TCPF_SYN_RECV)) {
    2091                 :            :                 answ = 0;
    2092                 :          0 :         } else if (sock_flag(sk, SOCK_URGINLINE) ||
    2093                 :          0 :                    !tp->urg_data ||
    2094                 :          0 :                    before(tp->urg_seq, tp->copied_seq) ||
    2095                 :          0 :                    !before(tp->urg_seq, tp->rcv_nxt)) {
    2096                 :            : 
    2097                 :          0 :                 answ = tp->rcv_nxt - tp->copied_seq;
    2098                 :            : 
    2099                 :            :                 /* Subtract 1, if FIN was received */
    2100                 :          0 :                 if (answ && sock_flag(sk, SOCK_DONE))
    2101                 :          0 :                         answ--;
    2102                 :            :         } else {
    2103                 :            :                 answ = tp->urg_seq - tp->copied_seq;
    2104                 :            :         }
    2105                 :            : 
    2106                 :          0 :         return answ;
    2107                 :            : }
    2108                 :            : 
    2109                 :            : int tcp_peek_len(struct socket *sock);
    2110                 :            : 
    2111                 :          1 : static inline void tcp_segs_in(struct tcp_sock *tp, const struct sk_buff *skb)
    2112                 :            : {
    2113                 :            :         u16 segs_in;
    2114                 :            : 
    2115                 :          1 :         segs_in = max_t(u16, 1, skb_shinfo(skb)->gso_segs);
    2116                 :          1 :         tp->segs_in += segs_in;
    2117                 :          1 :         if (skb->len > tcp_hdrlen(skb))
    2118                 :          1 :                 tp->data_segs_in += segs_in;
    2119                 :          1 : }
    2120                 :            : 
    2121                 :            : /*
    2122                 :            :  * TCP listen path runs lockless.
    2123                 :            :  * We forced "struct sock" to be const qualified to make sure
    2124                 :            :  * we don't modify one of its field by mistake.
    2125                 :            :  * Here, we increment sk_drops which is an atomic_t, so we can safely
    2126                 :            :  * make sock writable again.
    2127                 :            :  */
    2128                 :          0 : static inline void tcp_listendrop(const struct sock *sk)
    2129                 :            : {
    2130                 :          0 :         atomic_inc(&((struct sock *)sk)->sk_drops);
    2131                 :          0 :         __NET_INC_STATS(sock_net(sk), LINUX_MIB_LISTENDROPS);
    2132                 :          0 : }
    2133                 :            : 
    2134                 :            : enum hrtimer_restart tcp_pace_kick(struct hrtimer *timer);
    2135                 :            : 
    2136                 :            : /*
    2137                 :            :  * Interface for adding Upper Level Protocols over TCP
    2138                 :            :  */
    2139                 :            : 
    2140                 :            : #define TCP_ULP_NAME_MAX        16
    2141                 :            : #define TCP_ULP_MAX             128
    2142                 :            : #define TCP_ULP_BUF_MAX         (TCP_ULP_NAME_MAX*TCP_ULP_MAX)
    2143                 :            : 
    2144                 :            : struct tcp_ulp_ops {
    2145                 :            :         struct list_head        list;
    2146                 :            : 
    2147                 :            :         /* initialize ulp */
    2148                 :            :         int (*init)(struct sock *sk);
    2149                 :            :         /* update ulp */
    2150                 :            :         void (*update)(struct sock *sk, struct proto *p,
    2151                 :            :                        void (*write_space)(struct sock *sk));
    2152                 :            :         /* cleanup ulp */
    2153                 :            :         void (*release)(struct sock *sk);
    2154                 :            :         /* diagnostic */
    2155                 :            :         int (*get_info)(const struct sock *sk, struct sk_buff *skb);
    2156                 :            :         size_t (*get_info_size)(const struct sock *sk);
    2157                 :            : 
    2158                 :            :         char            name[TCP_ULP_NAME_MAX];
    2159                 :            :         struct module   *owner;
    2160                 :            : };
    2161                 :            : int tcp_register_ulp(struct tcp_ulp_ops *type);
    2162                 :            : void tcp_unregister_ulp(struct tcp_ulp_ops *type);
    2163                 :            : int tcp_set_ulp(struct sock *sk, const char *name);
    2164                 :            : void tcp_get_available_ulp(char *buf, size_t len);
    2165                 :            : void tcp_cleanup_ulp(struct sock *sk);
    2166                 :            : void tcp_update_ulp(struct sock *sk, struct proto *p,
    2167                 :            :                     void (*write_space)(struct sock *sk));
    2168                 :            : 
    2169                 :            : #define MODULE_ALIAS_TCP_ULP(name)                              \
    2170                 :            :         __MODULE_INFO(alias, alias_userspace, name);            \
    2171                 :            :         __MODULE_INFO(alias, alias_tcp_ulp, "tcp-ulp-" name)
    2172                 :            : 
    2173                 :            : struct sk_msg;
    2174                 :            : struct sk_psock;
    2175                 :            : 
    2176                 :            : int tcp_bpf_init(struct sock *sk);
    2177                 :            : void tcp_bpf_reinit(struct sock *sk);
    2178                 :            : int tcp_bpf_sendmsg_redir(struct sock *sk, struct sk_msg *msg, u32 bytes,
    2179                 :            :                           int flags);
    2180                 :            : int tcp_bpf_recvmsg(struct sock *sk, struct msghdr *msg, size_t len,
    2181                 :            :                     int nonblock, int flags, int *addr_len);
    2182                 :            : int __tcp_bpf_recvmsg(struct sock *sk, struct sk_psock *psock,
    2183                 :            :                       struct msghdr *msg, int len, int flags);
    2184                 :            : 
    2185                 :            : /* Call BPF_SOCK_OPS program that returns an int. If the return value
    2186                 :            :  * is < 0, then the BPF op failed (for example if the loaded BPF
    2187                 :            :  * program does not support the chosen operation or there is no BPF
    2188                 :            :  * program loaded).
    2189                 :            :  */
    2190                 :            : #ifdef CONFIG_BPF
    2191                 :          1 : static inline int tcp_call_bpf(struct sock *sk, int op, u32 nargs, u32 *args)
    2192                 :            : {
    2193                 :            :         struct bpf_sock_ops_kern sock_ops;
    2194                 :            :         int ret;
    2195                 :            : 
    2196                 :          1 :         memset(&sock_ops, 0, offsetof(struct bpf_sock_ops_kern, temp));
    2197                 :          1 :         if (sk_fullsock(sk)) {
    2198                 :          1 :                 sock_ops.is_fullsock = 1;
    2199                 :            :                 sock_owned_by_me(sk);
    2200                 :            :         }
    2201                 :            : 
    2202                 :          1 :         sock_ops.sk = sk;
    2203                 :          1 :         sock_ops.op = op;
    2204                 :          1 :         if (nargs > 0)
    2205                 :          0 :                 memcpy(sock_ops.args, args, nargs * sizeof(*args));
    2206                 :            : 
    2207                 :          1 :         ret = BPF_CGROUP_RUN_PROG_SOCK_OPS(&sock_ops);
    2208                 :          1 :         if (ret == 0)
    2209                 :          1 :                 ret = sock_ops.reply;
    2210                 :            :         else
    2211                 :            :                 ret = -1;
    2212                 :          1 :         return ret;
    2213                 :            : }
    2214                 :            : 
    2215                 :            : static inline int tcp_call_bpf_2arg(struct sock *sk, int op, u32 arg1, u32 arg2)
    2216                 :            : {
    2217                 :          0 :         u32 args[2] = {arg1, arg2};
    2218                 :            : 
    2219                 :          0 :         return tcp_call_bpf(sk, op, 2, args);
    2220                 :            : }
    2221                 :            : 
    2222                 :            : static inline int tcp_call_bpf_3arg(struct sock *sk, int op, u32 arg1, u32 arg2,
    2223                 :            :                                     u32 arg3)
    2224                 :            : {
    2225                 :          0 :         u32 args[3] = {arg1, arg2, arg3};
    2226                 :            : 
    2227                 :          0 :         return tcp_call_bpf(sk, op, 3, args);
    2228                 :            : }
    2229                 :            : 
    2230                 :            : #else
    2231                 :            : static inline int tcp_call_bpf(struct sock *sk, int op, u32 nargs, u32 *args)
    2232                 :            : {
    2233                 :            :         return -EPERM;
    2234                 :            : }
    2235                 :            : 
    2236                 :            : static inline int tcp_call_bpf_2arg(struct sock *sk, int op, u32 arg1, u32 arg2)
    2237                 :            : {
    2238                 :            :         return -EPERM;
    2239                 :            : }
    2240                 :            : 
    2241                 :            : static inline int tcp_call_bpf_3arg(struct sock *sk, int op, u32 arg1, u32 arg2,
    2242                 :            :                                     u32 arg3)
    2243                 :            : {
    2244                 :            :         return -EPERM;
    2245                 :            : }
    2246                 :            : 
    2247                 :            : #endif
    2248                 :            : 
    2249                 :            : static inline u32 tcp_timeout_init(struct sock *sk)
    2250                 :            : {
    2251                 :            :         int timeout;
    2252                 :            : 
    2253                 :          1 :         timeout = tcp_call_bpf(sk, BPF_SOCK_OPS_TIMEOUT_INIT, 0, NULL);
    2254                 :            : 
    2255                 :          1 :         if (timeout <= 0)
    2256                 :            :                 timeout = TCP_TIMEOUT_INIT;
    2257                 :          1 :         return timeout;
    2258                 :            : }
    2259                 :            : 
    2260                 :            : static inline u32 tcp_rwnd_init_bpf(struct sock *sk)
    2261                 :            : {
    2262                 :            :         int rwnd;
    2263                 :            : 
    2264                 :          1 :         rwnd = tcp_call_bpf(sk, BPF_SOCK_OPS_RWND_INIT, 0, NULL);
    2265                 :            : 
    2266                 :          1 :         if (rwnd < 0)
    2267                 :            :                 rwnd = 0;
    2268                 :          1 :         return rwnd;
    2269                 :            : }
    2270                 :            : 
    2271                 :            : static inline bool tcp_bpf_ca_needs_ecn(struct sock *sk)
    2272                 :            : {
    2273                 :          1 :         return (tcp_call_bpf(sk, BPF_SOCK_OPS_NEEDS_ECN, 0, NULL) == 1);
    2274                 :            : }
    2275                 :            : 
    2276                 :          1 : static inline void tcp_bpf_rtt(struct sock *sk)
    2277                 :            : {
    2278                 :          1 :         if (BPF_SOCK_OPS_TEST_FLAG(tcp_sk(sk), BPF_SOCK_OPS_RTT_CB_FLAG))
    2279                 :          0 :                 tcp_call_bpf(sk, BPF_SOCK_OPS_RTT_CB, 0, NULL);
    2280                 :          1 : }
    2281                 :            : 
    2282                 :            : #if IS_ENABLED(CONFIG_SMC)
    2283                 :            : extern struct static_key_false tcp_have_smc;
    2284                 :            : #endif
    2285                 :            : 
    2286                 :            : #if IS_ENABLED(CONFIG_TLS_DEVICE)
    2287                 :            : void clean_acked_data_enable(struct inet_connection_sock *icsk,
    2288                 :            :                              void (*cad)(struct sock *sk, u32 ack_seq));
    2289                 :            : void clean_acked_data_disable(struct inet_connection_sock *icsk);
    2290                 :            : void clean_acked_data_flush(void);
    2291                 :            : #endif
    2292                 :            : 
    2293                 :            : DECLARE_STATIC_KEY_FALSE(tcp_tx_delay_enabled);
    2294                 :            : static inline void tcp_add_tx_delay(struct sk_buff *skb,
    2295                 :            :                                     const struct tcp_sock *tp)
    2296                 :            : {
    2297                 :          1 :         if (static_branch_unlikely(&tcp_tx_delay_enabled))
    2298                 :          0 :                 skb->skb_mstamp_ns += (u64)tp->tcp_tx_delay * NSEC_PER_USEC;
    2299                 :            : }
    2300                 :            : 
    2301                 :            : /* Compute Earliest Departure Time for some control packets
    2302                 :            :  * like ACK or RST for TIME_WAIT or non ESTABLISHED sockets.
    2303                 :            :  */
    2304                 :          1 : static inline u64 tcp_transmit_time(const struct sock *sk)
    2305                 :            : {
    2306                 :          1 :         if (static_branch_unlikely(&tcp_tx_delay_enabled)) {
    2307                 :          0 :                 u32 delay = (sk->sk_state == TCP_TIME_WAIT) ?
    2308                 :          0 :                         tcp_twsk(sk)->tw_tx_delay : tcp_sk(sk)->tcp_tx_delay;
    2309                 :            : 
    2310                 :          0 :                 return tcp_clock_ns() + (u64)delay * NSEC_PER_USEC;
    2311                 :            :         }
    2312                 :            :         return 0;
    2313                 :            : }
    2314                 :            : 
    2315                 :            : #endif  /* _TCP_H */
    

Generated by: LCOV version 1.14