Branch data Line data Source code
1 : : /* SPDX-License-Identifier: GPL-2.0-or-later */
2 : : /*
3 : : * INET An implementation of the TCP/IP protocol suite for the LINUX
4 : : * operating system. INET is implemented using the BSD Socket
5 : : * interface as the means of communication with the user level.
6 : : *
7 : : * Definitions for the AF_INET socket handler.
8 : : *
9 : : * Version: @(#)sock.h 1.0.4 05/13/93
10 : : *
11 : : * Authors: Ross Biro
12 : : * Fred N. van Kempen, <waltje@uWalt.NL.Mugnet.ORG>
13 : : * Corey Minyard <wf-rch!minyard@relay.EU.net>
14 : : * Florian La Roche <flla@stud.uni-sb.de>
15 : : *
16 : : * Fixes:
17 : : * Alan Cox : Volatiles in skbuff pointers. See
18 : : * skbuff comments. May be overdone,
19 : : * better to prove they can be removed
20 : : * than the reverse.
21 : : * Alan Cox : Added a zapped field for tcp to note
22 : : * a socket is reset and must stay shut up
23 : : * Alan Cox : New fields for options
24 : : * Pauline Middelink : identd support
25 : : * Alan Cox : Eliminate low level recv/recvfrom
26 : : * David S. Miller : New socket lookup architecture.
27 : : * Steve Whitehouse: Default routines for sock_ops
28 : : * Arnaldo C. Melo : removed net_pinfo, tp_pinfo and made
29 : : * protinfo be just a void pointer, as the
30 : : * protocol specific parts were moved to
31 : : * respective headers and ipv4/v6, etc now
32 : : * use private slabcaches for its socks
33 : : * Pedro Hortas : New flags field for socket options
34 : : */
35 : : #ifndef _SOCK_H
36 : : #define _SOCK_H
37 : :
38 : : #include <linux/hardirq.h>
39 : : #include <linux/kernel.h>
40 : : #include <linux/list.h>
41 : : #include <linux/list_nulls.h>
42 : : #include <linux/timer.h>
43 : : #include <linux/cache.h>
44 : : #include <linux/bitops.h>
45 : : #include <linux/lockdep.h>
46 : : #include <linux/netdevice.h>
47 : : #include <linux/skbuff.h> /* struct sk_buff */
48 : : #include <linux/mm.h>
49 : : #include <linux/security.h>
50 : : #include <linux/slab.h>
51 : : #include <linux/uaccess.h>
52 : : #include <linux/page_counter.h>
53 : : #include <linux/memcontrol.h>
54 : : #include <linux/static_key.h>
55 : : #include <linux/sched.h>
56 : : #include <linux/wait.h>
57 : : #include <linux/cgroup-defs.h>
58 : : #include <linux/rbtree.h>
59 : : #include <linux/filter.h>
60 : : #include <linux/rculist_nulls.h>
61 : : #include <linux/poll.h>
62 : :
63 : : #include <linux/atomic.h>
64 : : #include <linux/refcount.h>
65 : : #include <net/dst.h>
66 : : #include <net/checksum.h>
67 : : #include <net/tcp_states.h>
68 : : #include <linux/net_tstamp.h>
69 : : #include <net/l3mdev.h>
70 : :
71 : : /*
72 : : * This structure really needs to be cleaned up.
73 : : * Most of it is for TCP, and not used by any of
74 : : * the other protocols.
75 : : */
76 : :
77 : : /* Define this to get the SOCK_DBG debugging facility. */
78 : : #define SOCK_DEBUGGING
79 : : #ifdef SOCK_DEBUGGING
80 : : #define SOCK_DEBUG(sk, msg...) do { if ((sk) && sock_flag((sk), SOCK_DBG)) \
81 : : printk(KERN_DEBUG msg); } while (0)
82 : : #else
83 : : /* Validate arguments and do nothing */
84 : : static inline __printf(2, 3)
85 : : void SOCK_DEBUG(const struct sock *sk, const char *msg, ...)
86 : : {
87 : : }
88 : : #endif
89 : :
90 : : /* This is the per-socket lock. The spinlock provides a synchronization
91 : : * between user contexts and software interrupt processing, whereas the
92 : : * mini-semaphore synchronizes multiple users amongst themselves.
93 : : */
94 : : typedef struct {
95 : : spinlock_t slock;
96 : : int owned;
97 : : wait_queue_head_t wq;
98 : : /*
99 : : * We express the mutex-alike socket_lock semantics
100 : : * to the lock validator by explicitly managing
101 : : * the slock as a lock variant (in addition to
102 : : * the slock itself):
103 : : */
104 : : #ifdef CONFIG_DEBUG_LOCK_ALLOC
105 : : struct lockdep_map dep_map;
106 : : #endif
107 : : } socket_lock_t;
108 : :
109 : : struct sock;
110 : : struct proto;
111 : : struct net;
112 : :
113 : : typedef __u32 __bitwise __portpair;
114 : : typedef __u64 __bitwise __addrpair;
115 : :
116 : : /**
117 : : * struct sock_common - minimal network layer representation of sockets
118 : : * @skc_daddr: Foreign IPv4 addr
119 : : * @skc_rcv_saddr: Bound local IPv4 addr
120 : : * @skc_addrpair: 8-byte-aligned __u64 union of @skc_daddr & @skc_rcv_saddr
121 : : * @skc_hash: hash value used with various protocol lookup tables
122 : : * @skc_u16hashes: two u16 hash values used by UDP lookup tables
123 : : * @skc_dport: placeholder for inet_dport/tw_dport
124 : : * @skc_num: placeholder for inet_num/tw_num
125 : : * @skc_portpair: __u32 union of @skc_dport & @skc_num
126 : : * @skc_family: network address family
127 : : * @skc_state: Connection state
128 : : * @skc_reuse: %SO_REUSEADDR setting
129 : : * @skc_reuseport: %SO_REUSEPORT setting
130 : : * @skc_ipv6only: socket is IPV6 only
131 : : * @skc_net_refcnt: socket is using net ref counting
132 : : * @skc_bound_dev_if: bound device index if != 0
133 : : * @skc_bind_node: bind hash linkage for various protocol lookup tables
134 : : * @skc_portaddr_node: second hash linkage for UDP/UDP-Lite protocol
135 : : * @skc_prot: protocol handlers inside a network family
136 : : * @skc_net: reference to the network namespace of this socket
137 : : * @skc_v6_daddr: IPV6 destination address
138 : : * @skc_v6_rcv_saddr: IPV6 source address
139 : : * @skc_cookie: socket's cookie value
140 : : * @skc_node: main hash linkage for various protocol lookup tables
141 : : * @skc_nulls_node: main hash linkage for TCP/UDP/UDP-Lite protocol
142 : : * @skc_tx_queue_mapping: tx queue number for this connection
143 : : * @skc_rx_queue_mapping: rx queue number for this connection
144 : : * @skc_flags: place holder for sk_flags
145 : : * %SO_LINGER (l_onoff), %SO_BROADCAST, %SO_KEEPALIVE,
146 : : * %SO_OOBINLINE settings, %SO_TIMESTAMPING settings
147 : : * @skc_listener: connection request listener socket (aka rsk_listener)
148 : : * [union with @skc_flags]
149 : : * @skc_tw_dr: (aka tw_dr) ptr to &struct inet_timewait_death_row
150 : : * [union with @skc_flags]
151 : : * @skc_incoming_cpu: record/match cpu processing incoming packets
152 : : * @skc_rcv_wnd: (aka rsk_rcv_wnd) TCP receive window size (possibly scaled)
153 : : * [union with @skc_incoming_cpu]
154 : : * @skc_tw_rcv_nxt: (aka tw_rcv_nxt) TCP window next expected seq number
155 : : * [union with @skc_incoming_cpu]
156 : : * @skc_refcnt: reference count
157 : : *
158 : : * This is the minimal network layer representation of sockets, the header
159 : : * for struct sock and struct inet_timewait_sock.
160 : : */
161 : : struct sock_common {
162 : : /* skc_daddr and skc_rcv_saddr must be grouped on a 8 bytes aligned
163 : : * address on 64bit arches : cf INET_MATCH()
164 : : */
165 : : union {
166 : : __addrpair skc_addrpair;
167 : : struct {
168 : : __be32 skc_daddr;
169 : : __be32 skc_rcv_saddr;
170 : : };
171 : : };
172 : : union {
173 : : unsigned int skc_hash;
174 : : __u16 skc_u16hashes[2];
175 : : };
176 : : /* skc_dport && skc_num must be grouped as well */
177 : : union {
178 : : __portpair skc_portpair;
179 : : struct {
180 : : __be16 skc_dport;
181 : : __u16 skc_num;
182 : : };
183 : : };
184 : :
185 : : unsigned short skc_family;
186 : : volatile unsigned char skc_state;
187 : : unsigned char skc_reuse:4;
188 : : unsigned char skc_reuseport:1;
189 : : unsigned char skc_ipv6only:1;
190 : : unsigned char skc_net_refcnt:1;
191 : : int skc_bound_dev_if;
192 : : union {
193 : : struct hlist_node skc_bind_node;
194 : : struct hlist_node skc_portaddr_node;
195 : : };
196 : : struct proto *skc_prot;
197 : : possible_net_t skc_net;
198 : :
199 : : #if IS_ENABLED(CONFIG_IPV6)
200 : : struct in6_addr skc_v6_daddr;
201 : : struct in6_addr skc_v6_rcv_saddr;
202 : : #endif
203 : :
204 : : atomic64_t skc_cookie;
205 : :
206 : : /* following fields are padding to force
207 : : * offset(struct sock, sk_refcnt) == 128 on 64bit arches
208 : : * assuming IPV6 is enabled. We use this padding differently
209 : : * for different kind of 'sockets'
210 : : */
211 : : union {
212 : : unsigned long skc_flags;
213 : : struct sock *skc_listener; /* request_sock */
214 : : struct inet_timewait_death_row *skc_tw_dr; /* inet_timewait_sock */
215 : : };
216 : : /*
217 : : * fields between dontcopy_begin/dontcopy_end
218 : : * are not copied in sock_copy()
219 : : */
220 : : /* private: */
221 : : int skc_dontcopy_begin[0];
222 : : /* public: */
223 : : union {
224 : : struct hlist_node skc_node;
225 : : struct hlist_nulls_node skc_nulls_node;
226 : : };
227 : : unsigned short skc_tx_queue_mapping;
228 : : #ifdef CONFIG_XPS
229 : : unsigned short skc_rx_queue_mapping;
230 : : #endif
231 : : union {
232 : : int skc_incoming_cpu;
233 : : u32 skc_rcv_wnd;
234 : : u32 skc_tw_rcv_nxt; /* struct tcp_timewait_sock */
235 : : };
236 : :
237 : : refcount_t skc_refcnt;
238 : : /* private: */
239 : : int skc_dontcopy_end[0];
240 : : union {
241 : : u32 skc_rxhash;
242 : : u32 skc_window_clamp;
243 : : u32 skc_tw_snd_nxt; /* struct tcp_timewait_sock */
244 : : };
245 : : /* public: */
246 : : };
247 : :
248 : : struct bpf_sk_storage;
249 : :
250 : : /**
251 : : * struct sock - network layer representation of sockets
252 : : * @__sk_common: shared layout with inet_timewait_sock
253 : : * @sk_shutdown: mask of %SEND_SHUTDOWN and/or %RCV_SHUTDOWN
254 : : * @sk_userlocks: %SO_SNDBUF and %SO_RCVBUF settings
255 : : * @sk_lock: synchronizer
256 : : * @sk_kern_sock: True if sock is using kernel lock classes
257 : : * @sk_rcvbuf: size of receive buffer in bytes
258 : : * @sk_wq: sock wait queue and async head
259 : : * @sk_rx_dst: receive input route used by early demux
260 : : * @sk_dst_cache: destination cache
261 : : * @sk_dst_pending_confirm: need to confirm neighbour
262 : : * @sk_policy: flow policy
263 : : * @sk_rx_skb_cache: cache copy of recently accessed RX skb
264 : : * @sk_receive_queue: incoming packets
265 : : * @sk_wmem_alloc: transmit queue bytes committed
266 : : * @sk_tsq_flags: TCP Small Queues flags
267 : : * @sk_write_queue: Packet sending queue
268 : : * @sk_omem_alloc: "o" is "option" or "other"
269 : : * @sk_wmem_queued: persistent queue size
270 : : * @sk_forward_alloc: space allocated forward
271 : : * @sk_napi_id: id of the last napi context to receive data for sk
272 : : * @sk_ll_usec: usecs to busypoll when there is no data
273 : : * @sk_allocation: allocation mode
274 : : * @sk_pacing_rate: Pacing rate (if supported by transport/packet scheduler)
275 : : * @sk_pacing_status: Pacing status (requested, handled by sch_fq)
276 : : * @sk_max_pacing_rate: Maximum pacing rate (%SO_MAX_PACING_RATE)
277 : : * @sk_sndbuf: size of send buffer in bytes
278 : : * @__sk_flags_offset: empty field used to determine location of bitfield
279 : : * @sk_padding: unused element for alignment
280 : : * @sk_no_check_tx: %SO_NO_CHECK setting, set checksum in TX packets
281 : : * @sk_no_check_rx: allow zero checksum in RX packets
282 : : * @sk_route_caps: route capabilities (e.g. %NETIF_F_TSO)
283 : : * @sk_route_nocaps: forbidden route capabilities (e.g NETIF_F_GSO_MASK)
284 : : * @sk_route_forced_caps: static, forced route capabilities
285 : : * (set in tcp_init_sock())
286 : : * @sk_gso_type: GSO type (e.g. %SKB_GSO_TCPV4)
287 : : * @sk_gso_max_size: Maximum GSO segment size to build
288 : : * @sk_gso_max_segs: Maximum number of GSO segments
289 : : * @sk_pacing_shift: scaling factor for TCP Small Queues
290 : : * @sk_lingertime: %SO_LINGER l_linger setting
291 : : * @sk_backlog: always used with the per-socket spinlock held
292 : : * @sk_callback_lock: used with the callbacks in the end of this struct
293 : : * @sk_error_queue: rarely used
294 : : * @sk_prot_creator: sk_prot of original sock creator (see ipv6_setsockopt,
295 : : * IPV6_ADDRFORM for instance)
296 : : * @sk_err: last error
297 : : * @sk_err_soft: errors that don't cause failure but are the cause of a
298 : : * persistent failure not just 'timed out'
299 : : * @sk_drops: raw/udp drops counter
300 : : * @sk_ack_backlog: current listen backlog
301 : : * @sk_max_ack_backlog: listen backlog set in listen()
302 : : * @sk_uid: user id of owner
303 : : * @sk_priority: %SO_PRIORITY setting
304 : : * @sk_type: socket type (%SOCK_STREAM, etc)
305 : : * @sk_protocol: which protocol this socket belongs in this network family
306 : : * @sk_peer_pid: &struct pid for this socket's peer
307 : : * @sk_peer_cred: %SO_PEERCRED setting
308 : : * @sk_rcvlowat: %SO_RCVLOWAT setting
309 : : * @sk_rcvtimeo: %SO_RCVTIMEO setting
310 : : * @sk_sndtimeo: %SO_SNDTIMEO setting
311 : : * @sk_txhash: computed flow hash for use on transmit
312 : : * @sk_filter: socket filtering instructions
313 : : * @sk_timer: sock cleanup timer
314 : : * @sk_stamp: time stamp of last packet received
315 : : * @sk_stamp_seq: lock for accessing sk_stamp on 32 bit architectures only
316 : : * @sk_tsflags: SO_TIMESTAMPING socket options
317 : : * @sk_tskey: counter to disambiguate concurrent tstamp requests
318 : : * @sk_zckey: counter to order MSG_ZEROCOPY notifications
319 : : * @sk_socket: Identd and reporting IO signals
320 : : * @sk_user_data: RPC layer private data
321 : : * @sk_frag: cached page frag
322 : : * @sk_peek_off: current peek_offset value
323 : : * @sk_send_head: front of stuff to transmit
324 : : * @tcp_rtx_queue: TCP re-transmit queue [union with @sk_send_head]
325 : : * @sk_tx_skb_cache: cache copy of recently accessed TX skb
326 : : * @sk_security: used by security modules
327 : : * @sk_mark: generic packet mark
328 : : * @sk_cgrp_data: cgroup data for this cgroup
329 : : * @sk_memcg: this socket's memory cgroup association
330 : : * @sk_write_pending: a write to stream socket waits to start
331 : : * @sk_state_change: callback to indicate change in the state of the sock
332 : : * @sk_data_ready: callback to indicate there is data to be processed
333 : : * @sk_write_space: callback to indicate there is bf sending space available
334 : : * @sk_error_report: callback to indicate errors (e.g. %MSG_ERRQUEUE)
335 : : * @sk_backlog_rcv: callback to process the backlog
336 : : * @sk_validate_xmit_skb: ptr to an optional validate function
337 : : * @sk_destruct: called at sock freeing time, i.e. when all refcnt == 0
338 : : * @sk_reuseport_cb: reuseport group container
339 : : * @sk_bpf_storage: ptr to cache and control for bpf_sk_storage
340 : : * @sk_rcu: used during RCU grace period
341 : : * @sk_clockid: clockid used by time-based scheduling (SO_TXTIME)
342 : : * @sk_txtime_deadline_mode: set deadline mode for SO_TXTIME
343 : : * @sk_txtime_report_errors: set report errors mode for SO_TXTIME
344 : : * @sk_txtime_unused: unused txtime flags
345 : : */
346 : : struct sock {
347 : : /*
348 : : * Now struct inet_timewait_sock also uses sock_common, so please just
349 : : * don't add nothing before this first member (__sk_common) --acme
350 : : */
351 : : struct sock_common __sk_common;
352 : : #define sk_node __sk_common.skc_node
353 : : #define sk_nulls_node __sk_common.skc_nulls_node
354 : : #define sk_refcnt __sk_common.skc_refcnt
355 : : #define sk_tx_queue_mapping __sk_common.skc_tx_queue_mapping
356 : : #ifdef CONFIG_XPS
357 : : #define sk_rx_queue_mapping __sk_common.skc_rx_queue_mapping
358 : : #endif
359 : :
360 : : #define sk_dontcopy_begin __sk_common.skc_dontcopy_begin
361 : : #define sk_dontcopy_end __sk_common.skc_dontcopy_end
362 : : #define sk_hash __sk_common.skc_hash
363 : : #define sk_portpair __sk_common.skc_portpair
364 : : #define sk_num __sk_common.skc_num
365 : : #define sk_dport __sk_common.skc_dport
366 : : #define sk_addrpair __sk_common.skc_addrpair
367 : : #define sk_daddr __sk_common.skc_daddr
368 : : #define sk_rcv_saddr __sk_common.skc_rcv_saddr
369 : : #define sk_family __sk_common.skc_family
370 : : #define sk_state __sk_common.skc_state
371 : : #define sk_reuse __sk_common.skc_reuse
372 : : #define sk_reuseport __sk_common.skc_reuseport
373 : : #define sk_ipv6only __sk_common.skc_ipv6only
374 : : #define sk_net_refcnt __sk_common.skc_net_refcnt
375 : : #define sk_bound_dev_if __sk_common.skc_bound_dev_if
376 : : #define sk_bind_node __sk_common.skc_bind_node
377 : : #define sk_prot __sk_common.skc_prot
378 : : #define sk_net __sk_common.skc_net
379 : : #define sk_v6_daddr __sk_common.skc_v6_daddr
380 : : #define sk_v6_rcv_saddr __sk_common.skc_v6_rcv_saddr
381 : : #define sk_cookie __sk_common.skc_cookie
382 : : #define sk_incoming_cpu __sk_common.skc_incoming_cpu
383 : : #define sk_flags __sk_common.skc_flags
384 : : #define sk_rxhash __sk_common.skc_rxhash
385 : :
386 : : socket_lock_t sk_lock;
387 : : atomic_t sk_drops;
388 : : int sk_rcvlowat;
389 : : struct sk_buff_head sk_error_queue;
390 : : struct sk_buff *sk_rx_skb_cache;
391 : : struct sk_buff_head sk_receive_queue;
392 : : /*
393 : : * The backlog queue is special, it is always used with
394 : : * the per-socket spinlock held and requires low latency
395 : : * access. Therefore we special case it's implementation.
396 : : * Note : rmem_alloc is in this structure to fill a hole
397 : : * on 64bit arches, not because its logically part of
398 : : * backlog.
399 : : */
400 : : struct {
401 : : atomic_t rmem_alloc;
402 : : int len;
403 : : struct sk_buff *head;
404 : : struct sk_buff *tail;
405 : : } sk_backlog;
406 : : #define sk_rmem_alloc sk_backlog.rmem_alloc
407 : :
408 : : int sk_forward_alloc;
409 : : #ifdef CONFIG_NET_RX_BUSY_POLL
410 : : unsigned int sk_ll_usec;
411 : : /* ===== mostly read cache line ===== */
412 : : unsigned int sk_napi_id;
413 : : #endif
414 : : int sk_rcvbuf;
415 : :
416 : : struct sk_filter __rcu *sk_filter;
417 : : union {
418 : : struct socket_wq __rcu *sk_wq;
419 : : /* private: */
420 : : struct socket_wq *sk_wq_raw;
421 : : /* public: */
422 : : };
423 : : #ifdef CONFIG_XFRM
424 : : struct xfrm_policy __rcu *sk_policy[2];
425 : : #endif
426 : : struct dst_entry *sk_rx_dst;
427 : : struct dst_entry __rcu *sk_dst_cache;
428 : : atomic_t sk_omem_alloc;
429 : : int sk_sndbuf;
430 : :
431 : : /* ===== cache line for TX ===== */
432 : : int sk_wmem_queued;
433 : : refcount_t sk_wmem_alloc;
434 : : unsigned long sk_tsq_flags;
435 : : union {
436 : : struct sk_buff *sk_send_head;
437 : : struct rb_root tcp_rtx_queue;
438 : : };
439 : : struct sk_buff *sk_tx_skb_cache;
440 : : struct sk_buff_head sk_write_queue;
441 : : __s32 sk_peek_off;
442 : : int sk_write_pending;
443 : : __u32 sk_dst_pending_confirm;
444 : : u32 sk_pacing_status; /* see enum sk_pacing */
445 : : long sk_sndtimeo;
446 : : struct timer_list sk_timer;
447 : : __u32 sk_priority;
448 : : __u32 sk_mark;
449 : : unsigned long sk_pacing_rate; /* bytes per second */
450 : : unsigned long sk_max_pacing_rate;
451 : : struct page_frag sk_frag;
452 : : netdev_features_t sk_route_caps;
453 : : netdev_features_t sk_route_nocaps;
454 : : netdev_features_t sk_route_forced_caps;
455 : : int sk_gso_type;
456 : : unsigned int sk_gso_max_size;
457 : : gfp_t sk_allocation;
458 : : __u32 sk_txhash;
459 : :
460 : : /*
461 : : * Because of non atomicity rules, all
462 : : * changes are protected by socket lock.
463 : : */
464 : : u8 sk_padding : 1,
465 : : sk_kern_sock : 1,
466 : : sk_no_check_tx : 1,
467 : : sk_no_check_rx : 1,
468 : : sk_userlocks : 4;
469 : : u8 sk_pacing_shift;
470 : : u16 sk_type;
471 : : u16 sk_protocol;
472 : : u16 sk_gso_max_segs;
473 : : unsigned long sk_lingertime;
474 : : struct proto *sk_prot_creator;
475 : : rwlock_t sk_callback_lock;
476 : : int sk_err,
477 : : sk_err_soft;
478 : : u32 sk_ack_backlog;
479 : : u32 sk_max_ack_backlog;
480 : : kuid_t sk_uid;
481 : : struct pid *sk_peer_pid;
482 : : const struct cred *sk_peer_cred;
483 : : long sk_rcvtimeo;
484 : : ktime_t sk_stamp;
485 : : #if BITS_PER_LONG==32
486 : : seqlock_t sk_stamp_seq;
487 : : #endif
488 : : u16 sk_tsflags;
489 : : u8 sk_shutdown;
490 : : u32 sk_tskey;
491 : : atomic_t sk_zckey;
492 : :
493 : : u8 sk_clockid;
494 : : u8 sk_txtime_deadline_mode : 1,
495 : : sk_txtime_report_errors : 1,
496 : : sk_txtime_unused : 6;
497 : :
498 : : struct socket *sk_socket;
499 : : void *sk_user_data;
500 : : #ifdef CONFIG_SECURITY
501 : : void *sk_security;
502 : : #endif
503 : : struct sock_cgroup_data sk_cgrp_data;
504 : : struct mem_cgroup *sk_memcg;
505 : : void (*sk_state_change)(struct sock *sk);
506 : : void (*sk_data_ready)(struct sock *sk);
507 : : void (*sk_write_space)(struct sock *sk);
508 : : void (*sk_error_report)(struct sock *sk);
509 : : int (*sk_backlog_rcv)(struct sock *sk,
510 : : struct sk_buff *skb);
511 : : #ifdef CONFIG_SOCK_VALIDATE_XMIT
512 : : struct sk_buff* (*sk_validate_xmit_skb)(struct sock *sk,
513 : : struct net_device *dev,
514 : : struct sk_buff *skb);
515 : : #endif
516 : : void (*sk_destruct)(struct sock *sk);
517 : : struct sock_reuseport __rcu *sk_reuseport_cb;
518 : : #ifdef CONFIG_BPF_SYSCALL
519 : : struct bpf_sk_storage __rcu *sk_bpf_storage;
520 : : #endif
521 : : struct rcu_head sk_rcu;
522 : : };
523 : :
524 : : enum sk_pacing {
525 : : SK_PACING_NONE = 0,
526 : : SK_PACING_NEEDED = 1,
527 : : SK_PACING_FQ = 2,
528 : : };
529 : :
530 : : #define __sk_user_data(sk) ((*((void __rcu **)&(sk)->sk_user_data)))
531 : :
532 : : #define rcu_dereference_sk_user_data(sk) rcu_dereference(__sk_user_data((sk)))
533 : : #define rcu_assign_sk_user_data(sk, ptr) rcu_assign_pointer(__sk_user_data((sk)), ptr)
534 : :
535 : : /*
536 : : * SK_CAN_REUSE and SK_NO_REUSE on a socket mean that the socket is OK
537 : : * or not whether his port will be reused by someone else. SK_FORCE_REUSE
538 : : * on a socket means that the socket will reuse everybody else's port
539 : : * without looking at the other's sk_reuse value.
540 : : */
541 : :
542 : : #define SK_NO_REUSE 0
543 : : #define SK_CAN_REUSE 1
544 : : #define SK_FORCE_REUSE 2
545 : :
546 : : int sk_set_peek_off(struct sock *sk, int val);
547 : :
548 : 94375 : static inline int sk_peek_offset(struct sock *sk, int flags)
549 : : {
550 [ - + - + ]: 94375 : if (unlikely(flags & MSG_PEEK)) {
551 : 0 : return READ_ONCE(sk->sk_peek_off);
552 : : }
553 : :
554 : : return 0;
555 : : }
556 : :
557 : 74107 : static inline void sk_peek_offset_bwd(struct sock *sk, int val)
558 : : {
559 [ - + - + ]: 74107 : s32 off = READ_ONCE(sk->sk_peek_off);
560 : :
561 [ - + - - : 74107 : if (unlikely(off >= 0)) {
- + - - ]
562 : 0 : off = max_t(s32, off - val, 0);
563 : 0 : WRITE_ONCE(sk->sk_peek_off, off);
564 : : }
565 : : }
566 : :
567 : 0 : static inline void sk_peek_offset_fwd(struct sock *sk, int val)
568 : : {
569 [ # # # # ]: 0 : sk_peek_offset_bwd(sk, -val);
570 : : }
571 : :
572 : : /*
573 : : * Hashed lists helper routines
574 : : */
575 : 0 : static inline struct sock *sk_entry(const struct hlist_node *node)
576 : : {
577 : 0 : return hlist_entry(node, struct sock, sk_node);
578 : : }
579 : :
580 : 0 : static inline struct sock *__sk_head(const struct hlist_head *head)
581 : : {
582 : 0 : return hlist_entry(head->first, struct sock, sk_node);
583 : : }
584 : :
585 : 0 : static inline struct sock *sk_head(const struct hlist_head *head)
586 : : {
587 [ # # # # : 0 : return hlist_empty(head) ? NULL : __sk_head(head);
# # # # #
# # # ]
588 : : }
589 : :
590 : : static inline struct sock *__sk_nulls_head(const struct hlist_nulls_head *head)
591 : : {
592 : : return hlist_nulls_entry(head->first, struct sock, sk_nulls_node);
593 : : }
594 : :
595 : : static inline struct sock *sk_nulls_head(const struct hlist_nulls_head *head)
596 : : {
597 : : return hlist_nulls_empty(head) ? NULL : __sk_nulls_head(head);
598 : : }
599 : :
600 : 0 : static inline struct sock *sk_next(const struct sock *sk)
601 : : {
602 [ # # # # : 0 : return hlist_entry_safe(sk->sk_node.next, struct sock, sk_node);
# # ]
603 : : }
604 : :
605 : 0 : static inline struct sock *sk_nulls_next(const struct sock *sk)
606 : : {
607 [ # # ]: 0 : return (!is_a_nulls(sk->sk_nulls_node.next)) ?
608 [ # # ]: 0 : hlist_nulls_entry(sk->sk_nulls_node.next,
609 [ # # ]: 0 : struct sock, sk_nulls_node) :
610 : : NULL;
611 : : }
612 : :
613 : 86091 : static inline bool sk_unhashed(const struct sock *sk)
614 : : {
615 [ + + - + : 50910 : return hlist_unhashed(&sk->sk_node);
- - - + -
- - - ]
616 : : }
617 : :
618 : 35727 : static inline bool sk_hashed(const struct sock *sk)
619 : : {
620 [ + - + + ]: 28863 : return !sk_unhashed(sk);
621 : : }
622 : :
623 : 28146 : static inline void sk_node_init(struct hlist_node *node)
624 : : {
625 : 28146 : node->pprev = NULL;
626 : : }
627 : :
628 : 0 : static inline void sk_nulls_node_init(struct hlist_nulls_node *node)
629 : : {
630 : 0 : node->pprev = NULL;
631 : : }
632 : :
633 : 28146 : static inline void __sk_del_node(struct sock *sk)
634 : : {
635 : 28146 : __hlist_del(&sk->sk_node);
636 : : }
637 : :
638 : : /* NB: equivalent to hlist_del_init_rcu */
639 : 28146 : static inline bool __sk_del_node_init(struct sock *sk)
640 : : {
641 : 28146 : if (sk_hashed(sk)) {
642 [ + + ]: 28146 : __sk_del_node(sk);
643 : 28146 : sk_node_init(&sk->sk_node);
644 : 28146 : return true;
645 : : }
646 : : return false;
647 : : }
648 : :
649 : : /* Grab socket reference count. This operation is valid only
650 : : when sk is ALREADY grabbed f.e. it is found in hash table
651 : : or a list and the lookup is made under lock preventing hash table
652 : : modifications.
653 : : */
654 : :
655 : 289074 : static __always_inline void sock_hold(struct sock *sk)
656 : : {
657 : 265608 : refcount_inc(&sk->sk_refcnt);
658 : 54036 : }
659 : :
660 : : /* Ungrab socket in the context, which assumes that socket refcnt
661 : : cannot hit zero, f.e. it is true in context of any socketcall.
662 : : */
663 : 29009 : static __always_inline void __sock_put(struct sock *sk)
664 : : {
665 : 29009 : refcount_dec(&sk->sk_refcnt);
666 : 29009 : }
667 : :
668 : 28146 : static inline bool sk_del_node_init(struct sock *sk)
669 : : {
670 [ + - ]: 28146 : bool rc = __sk_del_node_init(sk);
671 : :
672 : 28146 : if (rc) {
673 : : /* paranoid for a while -acme */
674 [ - + ]: 28146 : WARN_ON(refcount_read(&sk->sk_refcnt) == 1);
675 : 28146 : __sock_put(sk);
676 : : }
677 : 28146 : return rc;
678 : : }
679 : : #define sk_del_node_init_rcu(sk) sk_del_node_init(sk)
680 : :
681 : 0 : static inline bool __sk_nulls_del_node_init_rcu(struct sock *sk)
682 : : {
683 [ # # ]: 0 : if (sk_hashed(sk)) {
684 [ # # # # ]: 0 : hlist_nulls_del_init_rcu(&sk->sk_nulls_node);
685 : 0 : return true;
686 : : }
687 : : return false;
688 : : }
689 : :
690 : 0 : static inline bool sk_nulls_del_node_init_rcu(struct sock *sk)
691 : : {
692 [ # # ]: 0 : bool rc = __sk_nulls_del_node_init_rcu(sk);
693 : :
694 : 0 : if (rc) {
695 : : /* paranoid for a while -acme */
696 [ # # ]: 0 : WARN_ON(refcount_read(&sk->sk_refcnt) == 1);
697 : 0 : __sock_put(sk);
698 : : }
699 : 0 : return rc;
700 : : }
701 : :
702 : 23700 : static inline void __sk_add_node(struct sock *sk, struct hlist_head *list)
703 : : {
704 : 23700 : hlist_add_head(&sk->sk_node, list);
705 : : }
706 : :
707 : 23700 : static inline void sk_add_node(struct sock *sk, struct hlist_head *list)
708 : : {
709 : 23700 : sock_hold(sk);
710 [ + + ]: 23700 : __sk_add_node(sk, list);
711 : : }
712 : :
713 : 6864 : static inline void sk_add_node_rcu(struct sock *sk, struct hlist_head *list)
714 : : {
715 : 6864 : sock_hold(sk);
716 [ - + ]: 6864 : if (IS_ENABLED(CONFIG_IPV6) && sk->sk_reuseport &&
717 : : sk->sk_family == AF_INET6)
718 : 0 : hlist_add_tail_rcu(&sk->sk_node, list);
719 : : else
720 : 6864 : hlist_add_head_rcu(&sk->sk_node, list);
721 : 6864 : }
722 : :
723 : 0 : static inline void sk_add_node_tail_rcu(struct sock *sk, struct hlist_head *list)
724 : : {
725 : 0 : sock_hold(sk);
726 : 0 : hlist_add_tail_rcu(&sk->sk_node, list);
727 : 0 : }
728 : :
729 : 156 : static inline void __sk_nulls_add_node_rcu(struct sock *sk, struct hlist_nulls_head *list)
730 : : {
731 : 156 : hlist_nulls_add_head_rcu(&sk->sk_nulls_node, list);
732 : : }
733 : :
734 : 0 : static inline void __sk_nulls_add_node_tail_rcu(struct sock *sk, struct hlist_nulls_head *list)
735 : : {
736 : 0 : hlist_nulls_add_tail_rcu(&sk->sk_nulls_node, list);
737 : : }
738 : :
739 : : static inline void sk_nulls_add_node_rcu(struct sock *sk, struct hlist_nulls_head *list)
740 : : {
741 : : sock_hold(sk);
742 : : __sk_nulls_add_node_rcu(sk, list);
743 : : }
744 : :
745 : 0 : static inline void __sk_del_bind_node(struct sock *sk)
746 : : {
747 [ # # # # ]: 0 : __hlist_del(&sk->sk_bind_node);
748 : : }
749 : :
750 : 390 : static inline void sk_add_bind_node(struct sock *sk,
751 : : struct hlist_head *list)
752 : : {
753 [ + + - - : 390 : hlist_add_head(&sk->sk_bind_node, list);
+ + ]
754 : 234 : }
755 : :
756 : : #define sk_for_each(__sk, list) \
757 : : hlist_for_each_entry(__sk, list, sk_node)
758 : : #define sk_for_each_rcu(__sk, list) \
759 : : hlist_for_each_entry_rcu(__sk, list, sk_node)
760 : : #define sk_nulls_for_each(__sk, node, list) \
761 : : hlist_nulls_for_each_entry(__sk, node, list, sk_nulls_node)
762 : : #define sk_nulls_for_each_rcu(__sk, node, list) \
763 : : hlist_nulls_for_each_entry_rcu(__sk, node, list, sk_nulls_node)
764 : : #define sk_for_each_from(__sk) \
765 : : hlist_for_each_entry_from(__sk, sk_node)
766 : : #define sk_nulls_for_each_from(__sk, node) \
767 : : if (__sk && ({ node = &(__sk)->sk_nulls_node; 1; })) \
768 : : hlist_nulls_for_each_entry_from(__sk, node, sk_nulls_node)
769 : : #define sk_for_each_safe(__sk, tmp, list) \
770 : : hlist_for_each_entry_safe(__sk, tmp, list, sk_node)
771 : : #define sk_for_each_bound(__sk, list) \
772 : : hlist_for_each_entry(__sk, list, sk_bind_node)
773 : :
774 : : /**
775 : : * sk_for_each_entry_offset_rcu - iterate over a list at a given struct offset
776 : : * @tpos: the type * to use as a loop cursor.
777 : : * @pos: the &struct hlist_node to use as a loop cursor.
778 : : * @head: the head for your list.
779 : : * @offset: offset of hlist_node within the struct.
780 : : *
781 : : */
782 : : #define sk_for_each_entry_offset_rcu(tpos, pos, head, offset) \
783 : : for (pos = rcu_dereference(hlist_first_rcu(head)); \
784 : : pos != NULL && \
785 : : ({ tpos = (typeof(*tpos) *)((void *)pos - offset); 1;}); \
786 : : pos = rcu_dereference(hlist_next_rcu(pos)))
787 : :
788 : 0 : static inline struct user_namespace *sk_user_ns(struct sock *sk)
789 : : {
790 : : /* Careful only use this in a context where these parameters
791 : : * can not change and must all be valid, such as recvmsg from
792 : : * userspace.
793 : : */
794 : 0 : return sk->sk_socket->file->f_cred->user_ns;
795 : : }
796 : :
797 : : /* Sock flags */
798 : : enum sock_flags {
799 : : SOCK_DEAD,
800 : : SOCK_DONE,
801 : : SOCK_URGINLINE,
802 : : SOCK_KEEPOPEN,
803 : : SOCK_LINGER,
804 : : SOCK_DESTROY,
805 : : SOCK_BROADCAST,
806 : : SOCK_TIMESTAMP,
807 : : SOCK_ZAPPED,
808 : : SOCK_USE_WRITE_QUEUE, /* whether to call sk->sk_write_space in sock_wfree */
809 : : SOCK_DBG, /* %SO_DEBUG setting */
810 : : SOCK_RCVTSTAMP, /* %SO_TIMESTAMP setting */
811 : : SOCK_RCVTSTAMPNS, /* %SO_TIMESTAMPNS setting */
812 : : SOCK_LOCALROUTE, /* route locally only, %SO_DONTROUTE setting */
813 : : SOCK_QUEUE_SHRUNK, /* write queue has been shrunk recently */
814 : : SOCK_MEMALLOC, /* VM depends on this socket for swapping */
815 : : SOCK_TIMESTAMPING_RX_SOFTWARE, /* %SOF_TIMESTAMPING_RX_SOFTWARE */
816 : : SOCK_FASYNC, /* fasync() active */
817 : : SOCK_RXQ_OVFL,
818 : : SOCK_ZEROCOPY, /* buffers from userspace */
819 : : SOCK_WIFI_STATUS, /* push wifi status to userspace */
820 : : SOCK_NOFCS, /* Tell NIC not to do the Ethernet FCS.
821 : : * Will use last 4 bytes of packet sent from
822 : : * user-space instead.
823 : : */
824 : : SOCK_FILTER_LOCKED, /* Filter cannot be changed anymore */
825 : : SOCK_SELECT_ERR_QUEUE, /* Wake select on error queue */
826 : : SOCK_RCU_FREE, /* wait rcu grace period in sk_destruct() */
827 : : SOCK_TXTIME,
828 : : SOCK_XDP, /* XDP is attached */
829 : : SOCK_TSTAMP_NEW, /* Indicates 64 bit timestamps always */
830 : : };
831 : :
832 : : #define SK_FLAGS_TIMESTAMP ((1UL << SOCK_TIMESTAMP) | (1UL << SOCK_TIMESTAMPING_RX_SOFTWARE))
833 : :
834 : : static inline void sock_copy_flags(struct sock *nsk, struct sock *osk)
835 : : {
836 : : nsk->sk_flags = osk->sk_flags;
837 : : }
838 : :
839 : 69058 : static inline void sock_set_flag(struct sock *sk, enum sock_flags flag)
840 : : {
841 : 62179 : __set_bit(flag, &sk->sk_flags);
842 : 0 : }
843 : :
844 : 468 : static inline void sock_reset_flag(struct sock *sk, enum sock_flags flag)
845 : : {
846 : 468 : __clear_bit(flag, &sk->sk_flags);
847 : 468 : }
848 : :
849 : 667444 : static inline bool sock_flag(const struct sock *sk, enum sock_flags flag)
850 : : {
851 : 396546 : return test_bit(flag, &sk->sk_flags);
852 : : }
853 : :
854 : : #ifdef CONFIG_NET
855 : : DECLARE_STATIC_KEY_FALSE(memalloc_socks_key);
856 : 219452 : static inline int sk_memalloc_socks(void)
857 : : {
858 [ - - - - : 438904 : return static_branch_unlikely(&memalloc_socks_key);
- - - - +
- - + ]
859 : : }
860 : : #else
861 : :
862 : : static inline int sk_memalloc_socks(void)
863 : : {
864 : : return 0;
865 : : }
866 : :
867 : : #endif
868 : :
869 : 0 : static inline gfp_t sk_gfp_mask(const struct sock *sk, gfp_t gfp_mask)
870 : : {
871 : 0 : return gfp_mask | (sk->sk_allocation & __GFP_MEMALLOC);
872 : : }
873 : :
874 : 0 : static inline void sk_acceptq_removed(struct sock *sk)
875 : : {
876 [ # # ]: 0 : WRITE_ONCE(sk->sk_ack_backlog, sk->sk_ack_backlog - 1);
877 : : }
878 : :
879 : 0 : static inline void sk_acceptq_added(struct sock *sk)
880 : : {
881 : 0 : WRITE_ONCE(sk->sk_ack_backlog, sk->sk_ack_backlog + 1);
882 : 0 : }
883 : :
884 : 0 : static inline bool sk_acceptq_is_full(const struct sock *sk)
885 : : {
886 [ # # # # ]: 0 : return READ_ONCE(sk->sk_ack_backlog) > READ_ONCE(sk->sk_max_ack_backlog);
887 : : }
888 : :
889 : : /*
890 : : * Compute minimal free write space needed to queue new packets.
891 : : */
892 : 0 : static inline int sk_stream_min_wspace(const struct sock *sk)
893 : : {
894 [ # # ]: 0 : return READ_ONCE(sk->sk_wmem_queued) >> 1;
895 : : }
896 : :
897 : 0 : static inline int sk_stream_wspace(const struct sock *sk)
898 : : {
899 : 0 : return READ_ONCE(sk->sk_sndbuf) - READ_ONCE(sk->sk_wmem_queued);
900 : : }
901 : :
902 : 0 : static inline void sk_wmem_queued_add(struct sock *sk, int val)
903 : : {
904 [ # # # # : 0 : WRITE_ONCE(sk->sk_wmem_queued, sk->sk_wmem_queued + val);
# # # # #
# # # ]
905 : : }
906 : :
907 : : void sk_stream_write_space(struct sock *sk);
908 : :
909 : : /* OOB backlog add */
910 : 0 : static inline void __sk_add_backlog(struct sock *sk, struct sk_buff *skb)
911 : : {
912 : : /* dont let skb dst not refcounted, we are going to leave rcu lock */
913 : 0 : skb_dst_force(skb);
914 : :
915 [ # # ]: 0 : if (!sk->sk_backlog.tail)
916 : 0 : WRITE_ONCE(sk->sk_backlog.head, skb);
917 : : else
918 : 0 : sk->sk_backlog.tail->next = skb;
919 : :
920 : 0 : WRITE_ONCE(sk->sk_backlog.tail, skb);
921 : 0 : skb->next = NULL;
922 : 0 : }
923 : :
924 : : /*
925 : : * Take into account size of receive queue and backlog queue
926 : : * Do not take into account this skb truesize,
927 : : * to allow even a single big packet to come.
928 : : */
929 : 0 : static inline bool sk_rcvqueues_full(const struct sock *sk, unsigned int limit)
930 : : {
931 : 0 : unsigned int qsize = sk->sk_backlog.len + atomic_read(&sk->sk_rmem_alloc);
932 : :
933 [ # # ]: 0 : return qsize > limit;
934 : : }
935 : :
936 : : /* The per-socket spinlock must be held here. */
937 : 0 : static inline __must_check int sk_add_backlog(struct sock *sk, struct sk_buff *skb,
938 : : unsigned int limit)
939 : : {
940 [ # # ]: 0 : if (sk_rcvqueues_full(sk, limit))
941 : : return -ENOBUFS;
942 : :
943 : : /*
944 : : * If the skb was allocated from pfmemalloc reserves, only
945 : : * allow SOCK_MEMALLOC sockets to use it as this socket is
946 : : * helping free memory
947 : : */
948 [ # # # # ]: 0 : if (skb_pfmemalloc(skb) && !sock_flag(sk, SOCK_MEMALLOC))
949 : : return -ENOMEM;
950 : :
951 : 0 : __sk_add_backlog(sk, skb);
952 : 0 : sk->sk_backlog.len += skb->truesize;
953 : 0 : return 0;
954 : : }
955 : :
956 : : int __sk_backlog_rcv(struct sock *sk, struct sk_buff *skb);
957 : :
958 : 0 : static inline int sk_backlog_rcv(struct sock *sk, struct sk_buff *skb)
959 : : {
960 [ # # # # : 0 : if (sk_memalloc_socks() && skb_pfmemalloc(skb))
# # ]
961 : 0 : return __sk_backlog_rcv(sk, skb);
962 : :
963 : 0 : return sk->sk_backlog_rcv(sk, skb);
964 : : }
965 : :
966 : 0 : static inline void sk_incoming_cpu_update(struct sock *sk)
967 : : {
968 : 0 : int cpu = raw_smp_processor_id();
969 : :
970 [ # # ]: 0 : if (unlikely(READ_ONCE(sk->sk_incoming_cpu) != cpu))
971 : 0 : WRITE_ONCE(sk->sk_incoming_cpu, cpu);
972 : : }
973 : :
974 : 0 : static inline void sock_rps_record_flow_hash(__u32 hash)
975 : : {
976 : : #ifdef CONFIG_RPS
977 : 0 : struct rps_sock_flow_table *sock_flow_table;
978 : :
979 : 0 : rcu_read_lock();
980 [ # # ]: 0 : sock_flow_table = rcu_dereference(rps_sock_flow_table);
981 [ # # ]: 0 : rps_record_sock_flow(sock_flow_table, hash);
982 : 0 : rcu_read_unlock();
983 : : #endif
984 : 0 : }
985 : :
986 : 0 : static inline void sock_rps_record_flow(const struct sock *sk)
987 : : {
988 : : #ifdef CONFIG_RPS
989 [ # # # # ]: 0 : if (static_branch_unlikely(&rfs_needed)) {
990 : : /* Reading sk->sk_rxhash might incur an expensive cache line
991 : : * miss.
992 : : *
993 : : * TCP_ESTABLISHED does cover almost all states where RFS
994 : : * might be useful, and is cheaper [1] than testing :
995 : : * IPv4: inet_sk(sk)->inet_daddr
996 : : * IPv6: ipv6_addr_any(&sk->sk_v6_daddr)
997 : : * OR an additional socket flag
998 : : * [1] : sk_state and sk_prot are in the same cache line.
999 : : */
1000 [ # # ]: 0 : if (sk->sk_state == TCP_ESTABLISHED)
1001 : 0 : sock_rps_record_flow_hash(sk->sk_rxhash);
1002 : : }
1003 : : #endif
1004 : 0 : }
1005 : :
1006 : 0 : static inline void sock_rps_save_rxhash(struct sock *sk,
1007 : : const struct sk_buff *skb)
1008 : : {
1009 : : #ifdef CONFIG_RPS
1010 [ # # # # ]: 0 : if (unlikely(sk->sk_rxhash != skb->hash))
1011 : 0 : sk->sk_rxhash = skb->hash;
1012 : : #endif
1013 : : }
1014 : :
1015 : 156 : static inline void sock_rps_reset_rxhash(struct sock *sk)
1016 : : {
1017 : : #ifdef CONFIG_RPS
1018 [ + - ]: 156 : sk->sk_rxhash = 0;
1019 : : #endif
1020 : : }
1021 : :
1022 : : #define sk_wait_event(__sk, __timeo, __condition, __wait) \
1023 : : ({ int __rc; \
1024 : : release_sock(__sk); \
1025 : : __rc = __condition; \
1026 : : if (!__rc) { \
1027 : : *(__timeo) = wait_woken(__wait, \
1028 : : TASK_INTERRUPTIBLE, \
1029 : : *(__timeo)); \
1030 : : } \
1031 : : sched_annotate_sleep(); \
1032 : : lock_sock(__sk); \
1033 : : __rc = __condition; \
1034 : : __rc; \
1035 : : })
1036 : :
1037 : : int sk_stream_wait_connect(struct sock *sk, long *timeo_p);
1038 : : int sk_stream_wait_memory(struct sock *sk, long *timeo_p);
1039 : : void sk_stream_wait_close(struct sock *sk, long timeo_p);
1040 : : int sk_stream_error(struct sock *sk, int flags, int err);
1041 : : void sk_stream_kill_queues(struct sock *sk);
1042 : : void sk_set_memalloc(struct sock *sk);
1043 : : void sk_clear_memalloc(struct sock *sk);
1044 : :
1045 : : void __sk_flush_backlog(struct sock *sk);
1046 : :
1047 : 0 : static inline bool sk_flush_backlog(struct sock *sk)
1048 : : {
1049 [ # # ]: 0 : if (unlikely(READ_ONCE(sk->sk_backlog.tail))) {
1050 : 0 : __sk_flush_backlog(sk);
1051 : 0 : return true;
1052 : : }
1053 : : return false;
1054 : : }
1055 : :
1056 : : int sk_wait_data(struct sock *sk, long *timeo, const struct sk_buff *skb);
1057 : :
1058 : : struct request_sock_ops;
1059 : : struct timewait_sock_ops;
1060 : : struct inet_hashinfo;
1061 : : struct raw_hashinfo;
1062 : : struct smc_hashinfo;
1063 : : struct module;
1064 : :
1065 : : /*
1066 : : * caches using SLAB_TYPESAFE_BY_RCU should let .next pointer from nulls nodes
1067 : : * un-modified. Special care is taken when initializing object to zero.
1068 : : */
1069 : 30440 : static inline void sk_prot_clear_nulls(struct sock *sk, int size)
1070 : : {
1071 : 30440 : if (offsetof(struct sock, sk_node.next) != 0)
1072 : 30440 : memset(sk, 0, offsetof(struct sock, sk_node.next));
1073 : 30440 : memset(&sk->sk_node.pprev, 0,
1074 : : size - offsetof(struct sock, sk_node.pprev));
1075 : 30440 : }
1076 : :
1077 : : /* Networking protocol blocks we attach to sockets.
1078 : : * socket layer -> transport layer interface
1079 : : */
1080 : : struct proto {
1081 : : void (*close)(struct sock *sk,
1082 : : long timeout);
1083 : : int (*pre_connect)(struct sock *sk,
1084 : : struct sockaddr *uaddr,
1085 : : int addr_len);
1086 : : int (*connect)(struct sock *sk,
1087 : : struct sockaddr *uaddr,
1088 : : int addr_len);
1089 : : int (*disconnect)(struct sock *sk, int flags);
1090 : :
1091 : : struct sock * (*accept)(struct sock *sk, int flags, int *err,
1092 : : bool kern);
1093 : :
1094 : : int (*ioctl)(struct sock *sk, int cmd,
1095 : : unsigned long arg);
1096 : : int (*init)(struct sock *sk);
1097 : : void (*destroy)(struct sock *sk);
1098 : : void (*shutdown)(struct sock *sk, int how);
1099 : : int (*setsockopt)(struct sock *sk, int level,
1100 : : int optname, char __user *optval,
1101 : : unsigned int optlen);
1102 : : int (*getsockopt)(struct sock *sk, int level,
1103 : : int optname, char __user *optval,
1104 : : int __user *option);
1105 : : void (*keepalive)(struct sock *sk, int valbool);
1106 : : #ifdef CONFIG_COMPAT
1107 : : int (*compat_setsockopt)(struct sock *sk,
1108 : : int level,
1109 : : int optname, char __user *optval,
1110 : : unsigned int optlen);
1111 : : int (*compat_getsockopt)(struct sock *sk,
1112 : : int level,
1113 : : int optname, char __user *optval,
1114 : : int __user *option);
1115 : : int (*compat_ioctl)(struct sock *sk,
1116 : : unsigned int cmd, unsigned long arg);
1117 : : #endif
1118 : : int (*sendmsg)(struct sock *sk, struct msghdr *msg,
1119 : : size_t len);
1120 : : int (*recvmsg)(struct sock *sk, struct msghdr *msg,
1121 : : size_t len, int noblock, int flags,
1122 : : int *addr_len);
1123 : : int (*sendpage)(struct sock *sk, struct page *page,
1124 : : int offset, size_t size, int flags);
1125 : : int (*bind)(struct sock *sk,
1126 : : struct sockaddr *uaddr, int addr_len);
1127 : :
1128 : : int (*backlog_rcv) (struct sock *sk,
1129 : : struct sk_buff *skb);
1130 : :
1131 : : void (*release_cb)(struct sock *sk);
1132 : :
1133 : : /* Keeping track of sk's, looking them up, and port selection methods. */
1134 : : int (*hash)(struct sock *sk);
1135 : : void (*unhash)(struct sock *sk);
1136 : : void (*rehash)(struct sock *sk);
1137 : : int (*get_port)(struct sock *sk, unsigned short snum);
1138 : :
1139 : : /* Keeping track of sockets in use */
1140 : : #ifdef CONFIG_PROC_FS
1141 : : unsigned int inuse_idx;
1142 : : #endif
1143 : :
1144 : : bool (*stream_memory_free)(const struct sock *sk, int wake);
1145 : : bool (*stream_memory_read)(const struct sock *sk);
1146 : : /* Memory pressure */
1147 : : void (*enter_memory_pressure)(struct sock *sk);
1148 : : void (*leave_memory_pressure)(struct sock *sk);
1149 : : atomic_long_t *memory_allocated; /* Current allocated memory. */
1150 : : struct percpu_counter *sockets_allocated; /* Current number of sockets. */
1151 : : /*
1152 : : * Pressure flag: try to collapse.
1153 : : * Technical note: it is used by multiple contexts non atomically.
1154 : : * All the __sk_mem_schedule() is of this nature: accounting
1155 : : * is strict, actions are advisory and have some latency.
1156 : : */
1157 : : unsigned long *memory_pressure;
1158 : : long *sysctl_mem;
1159 : :
1160 : : int *sysctl_wmem;
1161 : : int *sysctl_rmem;
1162 : : u32 sysctl_wmem_offset;
1163 : : u32 sysctl_rmem_offset;
1164 : :
1165 : : int max_header;
1166 : : bool no_autobind;
1167 : :
1168 : : struct kmem_cache *slab;
1169 : : unsigned int obj_size;
1170 : : slab_flags_t slab_flags;
1171 : : unsigned int useroffset; /* Usercopy region offset */
1172 : : unsigned int usersize; /* Usercopy region size */
1173 : :
1174 : : struct percpu_counter *orphan_count;
1175 : :
1176 : : struct request_sock_ops *rsk_prot;
1177 : : struct timewait_sock_ops *twsk_prot;
1178 : :
1179 : : union {
1180 : : struct inet_hashinfo *hashinfo;
1181 : : struct udp_table *udp_table;
1182 : : struct raw_hashinfo *raw_hash;
1183 : : struct smc_hashinfo *smc_hash;
1184 : : } h;
1185 : :
1186 : : struct module *owner;
1187 : :
1188 : : char name[32];
1189 : :
1190 : : struct list_head node;
1191 : : #ifdef SOCK_REFCNT_DEBUG
1192 : : atomic_t socks;
1193 : : #endif
1194 : : int (*diag_destroy)(struct sock *sk, int err);
1195 : : } __randomize_layout;
1196 : :
1197 : : int proto_register(struct proto *prot, int alloc_slab);
1198 : : void proto_unregister(struct proto *prot);
1199 : : int sock_load_diag_module(int family, int protocol);
1200 : :
1201 : : #ifdef SOCK_REFCNT_DEBUG
1202 : : static inline void sk_refcnt_debug_inc(struct sock *sk)
1203 : : {
1204 : : atomic_inc(&sk->sk_prot->socks);
1205 : : }
1206 : :
1207 : : static inline void sk_refcnt_debug_dec(struct sock *sk)
1208 : : {
1209 : : atomic_dec(&sk->sk_prot->socks);
1210 : : printk(KERN_DEBUG "%s socket %p released, %d are still alive\n",
1211 : : sk->sk_prot->name, sk, atomic_read(&sk->sk_prot->socks));
1212 : : }
1213 : :
1214 : : static inline void sk_refcnt_debug_release(const struct sock *sk)
1215 : : {
1216 : : if (refcount_read(&sk->sk_refcnt) != 1)
1217 : : printk(KERN_DEBUG "Destruction of the %s socket %p delayed, refcnt=%d\n",
1218 : : sk->sk_prot->name, sk, refcount_read(&sk->sk_refcnt));
1219 : : }
1220 : : #else /* SOCK_REFCNT_DEBUG */
1221 : : #define sk_refcnt_debug_inc(sk) do { } while (0)
1222 : : #define sk_refcnt_debug_dec(sk) do { } while (0)
1223 : : #define sk_refcnt_debug_release(sk) do { } while (0)
1224 : : #endif /* SOCK_REFCNT_DEBUG */
1225 : :
1226 : 0 : static inline bool __sk_stream_memory_free(const struct sock *sk, int wake)
1227 : : {
1228 [ # # ]: 0 : if (READ_ONCE(sk->sk_wmem_queued) >= READ_ONCE(sk->sk_sndbuf))
1229 : : return false;
1230 : :
1231 : 0 : return sk->sk_prot->stream_memory_free ?
1232 [ # # # # : 0 : sk->sk_prot->stream_memory_free(sk, wake) : true;
# # # # #
# # # # #
# # # # ]
1233 : : }
1234 : :
1235 : 0 : static inline bool sk_stream_memory_free(const struct sock *sk)
1236 : : {
1237 [ # # # # : 0 : return __sk_stream_memory_free(sk, 0);
# # # # ]
1238 : : }
1239 : :
1240 : 0 : static inline bool __sk_stream_is_writeable(const struct sock *sk, int wake)
1241 : : {
1242 [ # # ]: 0 : return sk_stream_wspace(sk) >= sk_stream_min_wspace(sk) &&
1243 : : __sk_stream_memory_free(sk, wake);
1244 : : }
1245 : :
1246 : 0 : static inline bool sk_stream_is_writeable(const struct sock *sk)
1247 : : {
1248 : 0 : return __sk_stream_is_writeable(sk, 0);
1249 : : }
1250 : :
1251 : 0 : static inline int sk_under_cgroup_hierarchy(struct sock *sk,
1252 : : struct cgroup *ancestor)
1253 : : {
1254 : : #ifdef CONFIG_SOCK_CGROUP_DATA
1255 : : return cgroup_is_descendant(sock_cgroup_ptr(&sk->sk_cgrp_data),
1256 : : ancestor);
1257 : : #else
1258 : 0 : return -ENOTSUPP;
1259 : : #endif
1260 : : }
1261 : :
1262 : 0 : static inline bool sk_has_memory_pressure(const struct sock *sk)
1263 : : {
1264 [ # # ]: 0 : return sk->sk_prot->memory_pressure != NULL;
1265 : : }
1266 : :
1267 : 0 : static inline bool sk_under_memory_pressure(const struct sock *sk)
1268 : : {
1269 [ # # ]: 0 : if (!sk->sk_prot->memory_pressure)
1270 : : return false;
1271 : :
1272 : 0 : if (mem_cgroup_sockets_enabled && sk->sk_memcg &&
1273 : : mem_cgroup_under_socket_pressure(sk->sk_memcg))
1274 : : return true;
1275 : :
1276 [ # # # # ]: 0 : return !!*sk->sk_prot->memory_pressure;
1277 : : }
1278 : :
1279 : : static inline long
1280 : 0 : sk_memory_allocated(const struct sock *sk)
1281 : : {
1282 : 0 : return atomic_long_read(sk->sk_prot->memory_allocated);
1283 : : }
1284 : :
1285 : : static inline long
1286 : 0 : sk_memory_allocated_add(struct sock *sk, int amt)
1287 : : {
1288 : 0 : return atomic_long_add_return(amt, sk->sk_prot->memory_allocated);
1289 : : }
1290 : :
1291 : : static inline void
1292 : 0 : sk_memory_allocated_sub(struct sock *sk, int amt)
1293 : : {
1294 : 0 : atomic_long_sub(amt, sk->sk_prot->memory_allocated);
1295 : 0 : }
1296 : :
1297 : 0 : static inline void sk_sockets_allocated_dec(struct sock *sk)
1298 : : {
1299 : 0 : percpu_counter_dec(sk->sk_prot->sockets_allocated);
1300 : : }
1301 : :
1302 : 156 : static inline void sk_sockets_allocated_inc(struct sock *sk)
1303 : : {
1304 : 156 : percpu_counter_inc(sk->sk_prot->sockets_allocated);
1305 : 0 : }
1306 : :
1307 : : static inline u64
1308 : 0 : sk_sockets_allocated_read_positive(struct sock *sk)
1309 : : {
1310 : 0 : return percpu_counter_read_positive(sk->sk_prot->sockets_allocated);
1311 : : }
1312 : :
1313 : : static inline int
1314 : 0 : proto_sockets_allocated_sum_positive(struct proto *prot)
1315 : : {
1316 : 0 : return percpu_counter_sum_positive(prot->sockets_allocated);
1317 : : }
1318 : :
1319 : : static inline long
1320 : 0 : proto_memory_allocated(struct proto *prot)
1321 : : {
1322 : 0 : return atomic_long_read(prot->memory_allocated);
1323 : : }
1324 : :
1325 : : static inline bool
1326 : 0 : proto_memory_pressure(struct proto *prot)
1327 : : {
1328 : 0 : if (!prot->memory_pressure)
1329 : : return false;
1330 [ # # ]: 0 : return !!*prot->memory_pressure;
1331 : : }
1332 : :
1333 : :
1334 : : #ifdef CONFIG_PROC_FS
1335 : : /* Called with local bh disabled */
1336 : : void sock_prot_inuse_add(struct net *net, struct proto *prot, int inc);
1337 : : int sock_prot_inuse_get(struct net *net, struct proto *proto);
1338 : : int sock_inuse_get(struct net *net);
1339 : : #else
1340 : : static inline void sock_prot_inuse_add(struct net *net, struct proto *prot,
1341 : : int inc)
1342 : : {
1343 : : }
1344 : : #endif
1345 : :
1346 : :
1347 : : /* With per-bucket locks this operation is not-atomic, so that
1348 : : * this version is not worse.
1349 : : */
1350 : 0 : static inline int __sk_prot_rehash(struct sock *sk)
1351 : : {
1352 : 0 : sk->sk_prot->unhash(sk);
1353 : 0 : return sk->sk_prot->hash(sk);
1354 : : }
1355 : :
1356 : : /* About 10 seconds */
1357 : : #define SOCK_DESTROY_TIME (10*HZ)
1358 : :
1359 : : /* Sockets 0-1023 can't be bound to unless you are superuser */
1360 : : #define PROT_SOCK 1024
1361 : :
1362 : : #define SHUTDOWN_MASK 3
1363 : : #define RCV_SHUTDOWN 1
1364 : : #define SEND_SHUTDOWN 2
1365 : :
1366 : : #define SOCK_SNDBUF_LOCK 1
1367 : : #define SOCK_RCVBUF_LOCK 2
1368 : : #define SOCK_BINDADDR_LOCK 4
1369 : : #define SOCK_BINDPORT_LOCK 8
1370 : :
1371 : : struct socket_alloc {
1372 : : struct socket socket;
1373 : : struct inode vfs_inode;
1374 : : };
1375 : :
1376 : 52366 : static inline struct socket *SOCKET_I(struct inode *inode)
1377 : : {
1378 [ + - ]: 52366 : return &container_of(inode, struct socket_alloc, vfs_inode)->socket;
1379 : : }
1380 : :
1381 : 187955 : static inline struct inode *SOCK_INODE(struct socket *socket)
1382 : : {
1383 [ + - + - : 185693 : return &container_of(socket, struct socket_alloc, socket)->vfs_inode;
+ - + - +
- ]
1384 : : }
1385 : :
1386 : : /*
1387 : : * Functions for memory accounting
1388 : : */
1389 : : int __sk_mem_raise_allocated(struct sock *sk, int size, int amt, int kind);
1390 : : int __sk_mem_schedule(struct sock *sk, int size, int kind);
1391 : : void __sk_mem_reduce_allocated(struct sock *sk, int amount);
1392 : : void __sk_mem_reclaim(struct sock *sk, int amount);
1393 : :
1394 : : /* We used to have PAGE_SIZE here, but systems with 64KB pages
1395 : : * do not necessarily have 16x time more memory than 4KB ones.
1396 : : */
1397 : : #define SK_MEM_QUANTUM 4096
1398 : : #define SK_MEM_QUANTUM_SHIFT ilog2(SK_MEM_QUANTUM)
1399 : : #define SK_MEM_SEND 0
1400 : : #define SK_MEM_RECV 1
1401 : :
1402 : : /* sysctl_mem values are in pages, we convert them in SK_MEM_QUANTUM units */
1403 : 0 : static inline long sk_prot_mem_limits(const struct sock *sk, int index)
1404 : : {
1405 : 0 : long val = sk->sk_prot->sysctl_mem[index];
1406 : :
1407 : : #if PAGE_SIZE > SK_MEM_QUANTUM
1408 : : val <<= PAGE_SHIFT - SK_MEM_QUANTUM_SHIFT;
1409 : : #elif PAGE_SIZE < SK_MEM_QUANTUM
1410 : : val >>= SK_MEM_QUANTUM_SHIFT - PAGE_SHIFT;
1411 : : #endif
1412 [ # # # # : 0 : return val;
# # # # ]
1413 : : }
1414 : :
1415 : 0 : static inline int sk_mem_pages(int amt)
1416 : : {
1417 [ # # ]: 0 : return (amt + SK_MEM_QUANTUM - 1) >> SK_MEM_QUANTUM_SHIFT;
1418 : : }
1419 : :
1420 : 441624 : static inline bool sk_has_account(struct sock *sk)
1421 : : {
1422 : : /* return true if protocol supports memory accounting */
1423 : 441624 : return !!sk->sk_prot->memory_allocated;
1424 : : }
1425 : :
1426 : 0 : static inline bool sk_wmem_schedule(struct sock *sk, int size)
1427 : : {
1428 [ # # ]: 0 : if (!sk_has_account(sk))
1429 : : return true;
1430 [ # # # # ]: 0 : return size <= sk->sk_forward_alloc ||
1431 : 0 : __sk_mem_schedule(sk, size, SK_MEM_SEND);
1432 : : }
1433 : :
1434 : : static inline bool
1435 : 0 : sk_rmem_schedule(struct sock *sk, struct sk_buff *skb, int size)
1436 : : {
1437 [ # # ]: 0 : if (!sk_has_account(sk))
1438 : : return true;
1439 [ # # ]: 0 : return size<= sk->sk_forward_alloc ||
1440 [ # # # # ]: 0 : __sk_mem_schedule(sk, size, SK_MEM_RECV) ||
1441 : : skb_pfmemalloc(skb);
1442 : : }
1443 : :
1444 : 6879 : static inline void sk_mem_reclaim(struct sock *sk)
1445 : : {
1446 [ + - # # : 6879 : if (!sk_has_account(sk))
# # # # ]
1447 : : return;
1448 [ - + # # : 6879 : if (sk->sk_forward_alloc >= SK_MEM_QUANTUM)
# # # # ]
1449 : 0 : __sk_mem_reclaim(sk, sk->sk_forward_alloc);
1450 : : }
1451 : :
1452 : 159411 : static inline void sk_mem_reclaim_partial(struct sock *sk)
1453 : : {
1454 [ - + ]: 159411 : if (!sk_has_account(sk))
1455 : : return;
1456 [ # # ]: 0 : if (sk->sk_forward_alloc > SK_MEM_QUANTUM)
1457 : 0 : __sk_mem_reclaim(sk, sk->sk_forward_alloc - 1);
1458 : : }
1459 : :
1460 : 137667 : static inline void sk_mem_charge(struct sock *sk, int size)
1461 : : {
1462 [ - + # # : 137667 : if (!sk_has_account(sk))
# # # # #
# # # ]
1463 : : return;
1464 : 0 : sk->sk_forward_alloc -= size;
1465 : : }
1466 : :
1467 : 137667 : static inline void sk_mem_uncharge(struct sock *sk, int size)
1468 : : {
1469 [ - + ]: 137667 : if (!sk_has_account(sk))
1470 : : return;
1471 : 0 : sk->sk_forward_alloc += size;
1472 : :
1473 : : /* Avoid a possible overflow.
1474 : : * TCP send queues can make this happen, if sk_mem_reclaim()
1475 : : * is not called and more than 2 GBytes are released at once.
1476 : : *
1477 : : * If we reach 2 MBytes, reclaim 1 MBytes right now, there is
1478 : : * no need to hold that much forward allocation anyway.
1479 : : */
1480 [ # # ]: 0 : if (unlikely(sk->sk_forward_alloc >= 1 << 21))
1481 : 0 : __sk_mem_reclaim(sk, 1 << 20);
1482 : : }
1483 : :
1484 : : DECLARE_STATIC_KEY_FALSE(tcp_tx_skb_cache_key);
1485 : 0 : static inline void sk_wmem_free_skb(struct sock *sk, struct sk_buff *skb)
1486 : : {
1487 : 0 : sock_set_flag(sk, SOCK_QUEUE_SHRUNK);
1488 : 0 : sk_wmem_queued_add(sk, -skb->truesize);
1489 : 0 : sk_mem_uncharge(sk, skb->truesize);
1490 [ # # # # ]: 0 : if (static_branch_unlikely(&tcp_tx_skb_cache_key) &&
1491 [ # # # # ]: 0 : !sk->sk_tx_skb_cache && !skb_cloned(skb)) {
1492 [ # # ]: 0 : skb_ext_reset(skb);
1493 : 0 : skb_zcopy_clear(skb, true);
1494 : 0 : sk->sk_tx_skb_cache = skb;
1495 : 0 : return;
1496 : : }
1497 : 0 : __kfree_skb(skb);
1498 : : }
1499 : :
1500 : 49986 : static inline void sock_release_ownership(struct sock *sk)
1501 : : {
1502 [ + - ]: 49986 : if (sk->sk_lock.owned) {
1503 : 49986 : sk->sk_lock.owned = 0;
1504 : :
1505 : : /* The sk_lock has mutex_unlock() semantics: */
1506 [ - + ]: 49986 : mutex_release(&sk->sk_lock.dep_map, _RET_IP_);
1507 : : }
1508 : : }
1509 : :
1510 : : /*
1511 : : * Macro so as to not evaluate some arguments when
1512 : : * lockdep is not enabled.
1513 : : *
1514 : : * Mark both the sk_lock and the sk_lock.slock as a
1515 : : * per-address-family lock class.
1516 : : */
1517 : : #define sock_lock_init_class_and_name(sk, sname, skey, name, key) \
1518 : : do { \
1519 : : sk->sk_lock.owned = 0; \
1520 : : init_waitqueue_head(&sk->sk_lock.wq); \
1521 : : spin_lock_init(&(sk)->sk_lock.slock); \
1522 : : debug_check_no_locks_freed((void *)&(sk)->sk_lock, \
1523 : : sizeof((sk)->sk_lock)); \
1524 : : lockdep_set_class_and_name(&(sk)->sk_lock.slock, \
1525 : : (skey), (sname)); \
1526 : : lockdep_init_map(&(sk)->sk_lock.dep_map, (name), (key), 0); \
1527 : : } while (0)
1528 : :
1529 : : #ifdef CONFIG_LOCKDEP
1530 : : static inline bool lockdep_sock_is_held(const struct sock *sk)
1531 : : {
1532 : : return lockdep_is_held(&sk->sk_lock) ||
1533 : : lockdep_is_held(&sk->sk_lock.slock);
1534 : : }
1535 : : #endif
1536 : :
1537 : : void lock_sock_nested(struct sock *sk, int subclass);
1538 : :
1539 : 49908 : static inline void lock_sock(struct sock *sk)
1540 : : {
1541 : 49908 : lock_sock_nested(sk, 0);
1542 : 156 : }
1543 : :
1544 : : void __release_sock(struct sock *sk);
1545 : : void release_sock(struct sock *sk);
1546 : :
1547 : : /* BH context may only use the following locking interface. */
1548 : : #define bh_lock_sock(__sk) spin_lock(&((__sk)->sk_lock.slock))
1549 : : #define bh_lock_sock_nested(__sk) \
1550 : : spin_lock_nested(&((__sk)->sk_lock.slock), \
1551 : : SINGLE_DEPTH_NESTING)
1552 : : #define bh_unlock_sock(__sk) spin_unlock(&((__sk)->sk_lock.slock))
1553 : :
1554 : : bool lock_sock_fast(struct sock *sk);
1555 : : /**
1556 : : * unlock_sock_fast - complement of lock_sock_fast
1557 : : * @sk: socket
1558 : : * @slow: slow mode
1559 : : *
1560 : : * fast unlock socket for user context.
1561 : : * If slow mode is on, we call regular release_sock()
1562 : : */
1563 : 6723 : static inline void unlock_sock_fast(struct sock *sk, bool slow)
1564 : : {
1565 [ - + - - ]: 6723 : if (slow)
1566 : 0 : release_sock(sk);
1567 : : else
1568 : 6723 : spin_unlock_bh(&sk->sk_lock.slock);
1569 : : }
1570 : :
1571 : : /* Used by processes to "lock" a socket state, so that
1572 : : * interrupts and bottom half handlers won't change it
1573 : : * from under us. It essentially blocks any incoming
1574 : : * packets, so that we won't get any new data or any
1575 : : * packets that change the state of the socket.
1576 : : *
1577 : : * While locked, BH processing will add new packets to
1578 : : * the backlog queue. This queue is processed by the
1579 : : * owner of the socket lock right before it is released.
1580 : : *
1581 : : * Since ~2.3.5 it is also exclusive sleep lock serializing
1582 : : * accesses from user process context.
1583 : : */
1584 : :
1585 : 0 : static inline void sock_owned_by_me(const struct sock *sk)
1586 : : {
1587 : : #ifdef CONFIG_LOCKDEP
1588 : : WARN_ON_ONCE(!lockdep_sock_is_held(sk) && debug_locks);
1589 : : #endif
1590 [ # # # # : 0 : }
# # ]
1591 : :
1592 : 0 : static inline bool sock_owned_by_user(const struct sock *sk)
1593 : : {
1594 : 0 : sock_owned_by_me(sk);
1595 [ # # # # : 0 : return sk->sk_lock.owned;
# # # # #
# # # #
# ]
1596 : : }
1597 : :
1598 : : static inline bool sock_owned_by_user_nocheck(const struct sock *sk)
1599 : : {
1600 : : return sk->sk_lock.owned;
1601 : : }
1602 : :
1603 : : /* no reclassification while locks are held */
1604 : : static inline bool sock_allow_reclassification(const struct sock *csk)
1605 : : {
1606 : : struct sock *sk = (struct sock *)csk;
1607 : :
1608 : : return !sk->sk_lock.owned && !spin_is_locked(&sk->sk_lock.slock);
1609 : : }
1610 : :
1611 : : struct sock *sk_alloc(struct net *net, int family, gfp_t priority,
1612 : : struct proto *prot, int kern);
1613 : : void sk_free(struct sock *sk);
1614 : : void sk_destruct(struct sock *sk);
1615 : : struct sock *sk_clone_lock(const struct sock *sk, const gfp_t priority);
1616 : : void sk_free_unlock_clone(struct sock *sk);
1617 : :
1618 : : struct sk_buff *sock_wmalloc(struct sock *sk, unsigned long size, int force,
1619 : : gfp_t priority);
1620 : : void __sock_wfree(struct sk_buff *skb);
1621 : : void sock_wfree(struct sk_buff *skb);
1622 : : struct sk_buff *sock_omalloc(struct sock *sk, unsigned long size,
1623 : : gfp_t priority);
1624 : : void skb_orphan_partial(struct sk_buff *skb);
1625 : : void sock_rfree(struct sk_buff *skb);
1626 : : void sock_efree(struct sk_buff *skb);
1627 : : #ifdef CONFIG_INET
1628 : : void sock_edemux(struct sk_buff *skb);
1629 : : #else
1630 : : #define sock_edemux sock_efree
1631 : : #endif
1632 : :
1633 : : int sock_setsockopt(struct socket *sock, int level, int op,
1634 : : char __user *optval, unsigned int optlen);
1635 : :
1636 : : int sock_getsockopt(struct socket *sock, int level, int op,
1637 : : char __user *optval, int __user *optlen);
1638 : : int sock_gettstamp(struct socket *sock, void __user *userstamp,
1639 : : bool timeval, bool time32);
1640 : : struct sk_buff *sock_alloc_send_skb(struct sock *sk, unsigned long size,
1641 : : int noblock, int *errcode);
1642 : : struct sk_buff *sock_alloc_send_pskb(struct sock *sk, unsigned long header_len,
1643 : : unsigned long data_len, int noblock,
1644 : : int *errcode, int max_page_order);
1645 : : void *sock_kmalloc(struct sock *sk, int size, gfp_t priority);
1646 : : void sock_kfree_s(struct sock *sk, void *mem, int size);
1647 : : void sock_kzfree_s(struct sock *sk, void *mem, int size);
1648 : : void sk_send_sigurg(struct sock *sk);
1649 : :
1650 : : struct sockcm_cookie {
1651 : : u64 transmit_time;
1652 : : u32 mark;
1653 : : u16 tsflags;
1654 : : };
1655 : :
1656 : 0 : static inline void sockcm_init(struct sockcm_cookie *sockc,
1657 : : const struct sock *sk)
1658 : : {
1659 [ # # # # : 0 : *sockc = (struct sockcm_cookie) { .tsflags = sk->sk_tsflags };
# # ]
1660 : : }
1661 : :
1662 : : int __sock_cmsg_send(struct sock *sk, struct msghdr *msg, struct cmsghdr *cmsg,
1663 : : struct sockcm_cookie *sockc);
1664 : : int sock_cmsg_send(struct sock *sk, struct msghdr *msg,
1665 : : struct sockcm_cookie *sockc);
1666 : :
1667 : : /*
1668 : : * Functions to fill in entries in struct proto_ops when a protocol
1669 : : * does not implement a particular function.
1670 : : */
1671 : : int sock_no_bind(struct socket *, struct sockaddr *, int);
1672 : : int sock_no_connect(struct socket *, struct sockaddr *, int, int);
1673 : : int sock_no_socketpair(struct socket *, struct socket *);
1674 : : int sock_no_accept(struct socket *, struct socket *, int, bool);
1675 : : int sock_no_getname(struct socket *, struct sockaddr *, int);
1676 : : int sock_no_ioctl(struct socket *, unsigned int, unsigned long);
1677 : : int sock_no_listen(struct socket *, int);
1678 : : int sock_no_shutdown(struct socket *, int);
1679 : : int sock_no_getsockopt(struct socket *, int , int, char __user *, int __user *);
1680 : : int sock_no_setsockopt(struct socket *, int, int, char __user *, unsigned int);
1681 : : int sock_no_sendmsg(struct socket *, struct msghdr *, size_t);
1682 : : int sock_no_sendmsg_locked(struct sock *sk, struct msghdr *msg, size_t len);
1683 : : int sock_no_recvmsg(struct socket *, struct msghdr *, size_t, int);
1684 : : int sock_no_mmap(struct file *file, struct socket *sock,
1685 : : struct vm_area_struct *vma);
1686 : : ssize_t sock_no_sendpage(struct socket *sock, struct page *page, int offset,
1687 : : size_t size, int flags);
1688 : : ssize_t sock_no_sendpage_locked(struct sock *sk, struct page *page,
1689 : : int offset, size_t size, int flags);
1690 : :
1691 : : /*
1692 : : * Functions to fill in entries in struct proto_ops when a protocol
1693 : : * uses the inet style.
1694 : : */
1695 : : int sock_common_getsockopt(struct socket *sock, int level, int optname,
1696 : : char __user *optval, int __user *optlen);
1697 : : int sock_common_recvmsg(struct socket *sock, struct msghdr *msg, size_t size,
1698 : : int flags);
1699 : : int sock_common_setsockopt(struct socket *sock, int level, int optname,
1700 : : char __user *optval, unsigned int optlen);
1701 : : int compat_sock_common_getsockopt(struct socket *sock, int level,
1702 : : int optname, char __user *optval, int __user *optlen);
1703 : : int compat_sock_common_setsockopt(struct socket *sock, int level,
1704 : : int optname, char __user *optval, unsigned int optlen);
1705 : :
1706 : : void sk_common_release(struct sock *sk);
1707 : :
1708 : : /*
1709 : : * Default socket callbacks and setup code
1710 : : */
1711 : :
1712 : : /* Initialise core socket variables */
1713 : : void sock_init_data(struct socket *sock, struct sock *sk);
1714 : :
1715 : : /*
1716 : : * Socket reference counting postulates.
1717 : : *
1718 : : * * Each user of socket SHOULD hold a reference count.
1719 : : * * Each access point to socket (an hash table bucket, reference from a list,
1720 : : * running timer, skb in flight MUST hold a reference count.
1721 : : * * When reference count hits 0, it means it will never increase back.
1722 : : * * When reference count hits 0, it means that no references from
1723 : : * outside exist to this socket and current process on current CPU
1724 : : * is last user and may/should destroy this socket.
1725 : : * * sk_free is called from any context: process, BH, IRQ. When
1726 : : * it is called, socket has no references from outside -> sk_free
1727 : : * may release descendant resources allocated by the socket, but
1728 : : * to the time when it is called, socket is NOT referenced by any
1729 : : * hash tables, lists etc.
1730 : : * * Packets, delivered from outside (from network or from another process)
1731 : : * and enqueued on receive/error queues SHOULD NOT grab reference count,
1732 : : * when they sit in queue. Otherwise, packets will leak to hole, when
1733 : : * socket is looked up by one cpu and unhasing is made by another CPU.
1734 : : * It is true for udp/raw, netlink (leak to receive and error queues), tcp
1735 : : * (leak to backlog). Packet socket does all the processing inside
1736 : : * BR_NETPROTO_LOCK, so that it has not this race condition. UNIX sockets
1737 : : * use separate SMP lock, so that they are prone too.
1738 : : */
1739 : :
1740 : : /* Ungrab socket and destroy it, if it was the last reference. */
1741 : 280977 : static inline void sock_put(struct sock *sk)
1742 : : {
1743 [ + + ]: 280977 : if (refcount_dec_and_test(&sk->sk_refcnt))
1744 : 27069 : sk_free(sk);
1745 : 280977 : }
1746 : : /* Generic version of sock_put(), dealing with all sockets
1747 : : * (TCP_TIMEWAIT, TCP_NEW_SYN_RECV, ESTABLISHED...)
1748 : : */
1749 : : void sock_gen_put(struct sock *sk);
1750 : :
1751 : : int __sk_receive_skb(struct sock *sk, struct sk_buff *skb, const int nested,
1752 : : unsigned int trim_cap, bool refcounted);
1753 : : static inline int sk_receive_skb(struct sock *sk, struct sk_buff *skb,
1754 : : const int nested)
1755 : : {
1756 : : return __sk_receive_skb(sk, skb, nested, 1, true);
1757 : : }
1758 : :
1759 : 0 : static inline void sk_tx_queue_set(struct sock *sk, int tx_queue)
1760 : : {
1761 : : /* sk_tx_queue_mapping accept only upto a 16-bit value */
1762 [ # # # # ]: 0 : if (WARN_ON_ONCE((unsigned short)tx_queue >= USHRT_MAX))
1763 : : return;
1764 : 0 : sk->sk_tx_queue_mapping = tx_queue;
1765 : : }
1766 : :
1767 : : #define NO_QUEUE_MAPPING USHRT_MAX
1768 : :
1769 : 104178 : static inline void sk_tx_queue_clear(struct sock *sk)
1770 : : {
1771 : 30647 : sk->sk_tx_queue_mapping = NO_QUEUE_MAPPING;
1772 : 33248 : }
1773 : :
1774 : 0 : static inline int sk_tx_queue_get(const struct sock *sk)
1775 : : {
1776 [ # # # # ]: 0 : if (sk && sk->sk_tx_queue_mapping != NO_QUEUE_MAPPING)
1777 : 0 : return sk->sk_tx_queue_mapping;
1778 : :
1779 : : return -1;
1780 : : }
1781 : :
1782 : 0 : static inline void sk_rx_queue_set(struct sock *sk, const struct sk_buff *skb)
1783 : : {
1784 : : #ifdef CONFIG_XPS
1785 [ # # # # ]: 0 : if (skb_rx_queue_recorded(skb)) {
1786 : 0 : u16 rx_queue = skb_get_rx_queue(skb);
1787 : :
1788 : 0 : if (WARN_ON_ONCE(rx_queue == NO_QUEUE_MAPPING))
1789 : : return;
1790 : :
1791 : 0 : sk->sk_rx_queue_mapping = rx_queue;
1792 : : }
1793 : : #endif
1794 : : }
1795 : :
1796 : 33248 : static inline void sk_rx_queue_clear(struct sock *sk)
1797 : : {
1798 : : #ifdef CONFIG_XPS
1799 : 33248 : sk->sk_rx_queue_mapping = NO_QUEUE_MAPPING;
1800 : : #endif
1801 : : }
1802 : :
1803 : : #ifdef CONFIG_XPS
1804 : 0 : static inline int sk_rx_queue_get(const struct sock *sk)
1805 : : {
1806 [ - - - - ]: 0 : if (sk && sk->sk_rx_queue_mapping != NO_QUEUE_MAPPING)
1807 [ - - ]: 0 : return sk->sk_rx_queue_mapping;
1808 : :
1809 : : return -1;
1810 : : }
1811 : : #endif
1812 : :
1813 : 63520 : static inline void sk_set_socket(struct sock *sk, struct socket *sock)
1814 : : {
1815 : 63520 : sk_tx_queue_clear(sk);
1816 [ - - ]: 56641 : sk->sk_socket = sock;
1817 : : }
1818 : :
1819 : 78 : static inline wait_queue_head_t *sk_sleep(struct sock *sk)
1820 : : {
1821 : 78 : BUILD_BUG_ON(offsetof(struct socket_wq, wait) != 0);
1822 [ # # ]: 78 : return &rcu_dereference_raw(sk->sk_wq)->wait;
1823 : : }
1824 : : /* Detach socket from process context.
1825 : : * Announce socket dead, detach it from wait queue and inode.
1826 : : * Note that parent inode held reference count on this struct sock,
1827 : : * we do not release it in this function, because protocol
1828 : : * probably wants some additional cleanups or even continuing
1829 : : * to work with this socket (TCP).
1830 : : */
1831 : 28010 : static inline void sock_orphan(struct sock *sk)
1832 : : {
1833 : 28010 : write_lock_bh(&sk->sk_callback_lock);
1834 : 28010 : sock_set_flag(sk, SOCK_DEAD);
1835 : 28010 : sk_set_socket(sk, NULL);
1836 : 28010 : sk->sk_wq = NULL;
1837 : 28010 : write_unlock_bh(&sk->sk_callback_lock);
1838 : 28010 : }
1839 : :
1840 : 2262 : static inline void sock_graft(struct sock *sk, struct socket *parent)
1841 : : {
1842 [ - + ]: 2262 : WARN_ON(parent->sk);
1843 : 2262 : write_lock_bh(&sk->sk_callback_lock);
1844 : 2262 : rcu_assign_pointer(sk->sk_wq, &parent->wq);
1845 : 2262 : parent->sk = sk;
1846 : 2262 : sk_set_socket(sk, parent);
1847 : 2262 : sk->sk_uid = SOCK_INODE(parent)->i_uid;
1848 : 2262 : security_sock_graft(sk, parent);
1849 : 2262 : write_unlock_bh(&sk->sk_callback_lock);
1850 : 2262 : }
1851 : :
1852 : : kuid_t sock_i_uid(struct sock *sk);
1853 : : unsigned long sock_i_ino(struct sock *sk);
1854 : :
1855 : 0 : static inline kuid_t sock_net_uid(const struct net *net, const struct sock *sk)
1856 : : {
1857 [ # # # # ]: 0 : return sk ? sk->sk_uid : make_kuid(net->user_ns, 0);
1858 : : }
1859 : :
1860 : 312 : static inline u32 net_tx_rndhash(void)
1861 : : {
1862 : 312 : u32 v = prandom_u32();
1863 : :
1864 [ # # ]: 312 : return v ?: 1;
1865 : : }
1866 : :
1867 : 312 : static inline void sk_set_txhash(struct sock *sk)
1868 : : {
1869 [ # # ]: 312 : sk->sk_txhash = net_tx_rndhash();
1870 : 156 : }
1871 : :
1872 : 0 : static inline void sk_rethink_txhash(struct sock *sk)
1873 : : {
1874 [ # # # # ]: 0 : if (sk->sk_txhash)
1875 : 0 : sk_set_txhash(sk);
1876 : : }
1877 : :
1878 : : static inline struct dst_entry *
1879 : 20748 : __sk_dst_get(struct sock *sk)
1880 : : {
1881 [ + + # # : 20748 : return rcu_dereference_check(sk->sk_dst_cache,
# # # # #
# # # # #
# # # # ]
1882 : : lockdep_sock_is_held(sk));
1883 : : }
1884 : :
1885 : : static inline struct dst_entry *
1886 : 0 : sk_dst_get(struct sock *sk)
1887 : : {
1888 : 0 : struct dst_entry *dst;
1889 : :
1890 : 0 : rcu_read_lock();
1891 [ # # ]: 0 : dst = rcu_dereference(sk->sk_dst_cache);
1892 [ # # # # ]: 0 : if (dst && !atomic_inc_not_zero(&dst->__refcnt))
1893 : 0 : dst = NULL;
1894 : 0 : rcu_read_unlock();
1895 : 0 : return dst;
1896 : : }
1897 : :
1898 : 0 : static inline void dst_negative_advice(struct sock *sk)
1899 : : {
1900 [ # # ]: 0 : struct dst_entry *ndst, *dst = __sk_dst_get(sk);
1901 : :
1902 [ # # ]: 0 : sk_rethink_txhash(sk);
1903 : :
1904 [ # # # # ]: 0 : if (dst && dst->ops->negative_advice) {
1905 : 0 : ndst = dst->ops->negative_advice(dst);
1906 : :
1907 [ # # ]: 0 : if (ndst != dst) {
1908 : 0 : rcu_assign_pointer(sk->sk_dst_cache, ndst);
1909 : 0 : sk_tx_queue_clear(sk);
1910 : 0 : sk->sk_dst_pending_confirm = 0;
1911 : : }
1912 : : }
1913 : 0 : }
1914 : :
1915 : : static inline void
1916 : 0 : __sk_dst_set(struct sock *sk, struct dst_entry *dst)
1917 : : {
1918 : 0 : struct dst_entry *old_dst;
1919 : :
1920 : 0 : sk_tx_queue_clear(sk);
1921 : 0 : sk->sk_dst_pending_confirm = 0;
1922 : 0 : old_dst = rcu_dereference_protected(sk->sk_dst_cache,
1923 : : lockdep_sock_is_held(sk));
1924 : 0 : rcu_assign_pointer(sk->sk_dst_cache, dst);
1925 : 0 : dst_release(old_dst);
1926 : : }
1927 : :
1928 : : static inline void
1929 : 7410 : sk_dst_set(struct sock *sk, struct dst_entry *dst)
1930 : : {
1931 : 7410 : struct dst_entry *old_dst;
1932 : :
1933 : 7410 : sk_tx_queue_clear(sk);
1934 : 7410 : sk->sk_dst_pending_confirm = 0;
1935 : 7410 : old_dst = xchg((__force struct dst_entry **)&sk->sk_dst_cache, dst);
1936 : 7410 : dst_release(old_dst);
1937 : 7410 : }
1938 : :
1939 : : static inline void
1940 : 0 : __sk_dst_reset(struct sock *sk)
1941 : : {
1942 : 0 : __sk_dst_set(sk, NULL);
1943 : 0 : }
1944 : :
1945 : : static inline void
1946 : 7098 : sk_dst_reset(struct sock *sk)
1947 : : {
1948 : 7098 : sk_dst_set(sk, NULL);
1949 : 0 : }
1950 : :
1951 : : struct dst_entry *__sk_dst_check(struct sock *sk, u32 cookie);
1952 : :
1953 : : struct dst_entry *sk_dst_check(struct sock *sk, u32 cookie);
1954 : :
1955 : 0 : static inline void sk_dst_confirm(struct sock *sk)
1956 : : {
1957 [ # # # # ]: 0 : if (!READ_ONCE(sk->sk_dst_pending_confirm))
1958 : 0 : WRITE_ONCE(sk->sk_dst_pending_confirm, 1);
1959 : : }
1960 : :
1961 : 166 : static inline void sock_confirm_neigh(struct sk_buff *skb, struct neighbour *n)
1962 : : {
1963 [ - + ]: 166 : if (skb_get_dst_pending_confirm(skb)) {
1964 : 0 : struct sock *sk = skb->sk;
1965 : 0 : unsigned long now = jiffies;
1966 : :
1967 : : /* avoid dirtying neighbour */
1968 [ # # ]: 0 : if (READ_ONCE(n->confirmed) != now)
1969 : 0 : WRITE_ONCE(n->confirmed, now);
1970 [ # # # # ]: 0 : if (sk && READ_ONCE(sk->sk_dst_pending_confirm))
1971 : 0 : WRITE_ONCE(sk->sk_dst_pending_confirm, 0);
1972 : : }
1973 : : }
1974 : :
1975 : : bool sk_mc_loop(struct sock *sk);
1976 : :
1977 : 156 : static inline bool sk_can_gso(const struct sock *sk)
1978 : : {
1979 [ + - ]: 156 : return net_gso_ok(sk->sk_route_caps, sk->sk_gso_type);
1980 : : }
1981 : :
1982 : : void sk_setup_caps(struct sock *sk, struct dst_entry *dst);
1983 : :
1984 : 0 : static inline void sk_nocaps_add(struct sock *sk, netdev_features_t flags)
1985 : : {
1986 : 0 : sk->sk_route_nocaps |= flags;
1987 : 0 : sk->sk_route_caps &= ~flags;
1988 : 0 : }
1989 : :
1990 : 0 : static inline int skb_do_copy_data_nocache(struct sock *sk, struct sk_buff *skb,
1991 : : struct iov_iter *from, char *to,
1992 : : int copy, int offset)
1993 : : {
1994 [ # # ]: 0 : if (skb->ip_summed == CHECKSUM_NONE) {
1995 : 0 : __wsum csum = 0;
1996 [ # # ]: 0 : if (!csum_and_copy_from_iter_full(to, copy, &csum, from))
1997 : 0 : return -EFAULT;
1998 [ # # ]: 0 : skb->csum = csum_block_add(skb->csum, csum, offset);
1999 [ # # ]: 0 : } else if (sk->sk_route_caps & NETIF_F_NOCACHE_COPY) {
2000 [ # # # # ]: 0 : if (!copy_from_iter_full_nocache(to, copy, from))
2001 : 0 : return -EFAULT;
2002 [ # # # # ]: 0 : } else if (!copy_from_iter_full(to, copy, from))
2003 : 0 : return -EFAULT;
2004 : :
2005 : : return 0;
2006 : : }
2007 : :
2008 : 0 : static inline int skb_add_data_nocache(struct sock *sk, struct sk_buff *skb,
2009 : : struct iov_iter *from, int copy)
2010 : : {
2011 : 0 : int err, offset = skb->len;
2012 : :
2013 : 0 : err = skb_do_copy_data_nocache(sk, skb, from, skb_put(skb, copy),
2014 : : copy, offset);
2015 [ # # ]: 0 : if (err)
2016 [ # # ]: 0 : __skb_trim(skb, offset);
2017 : :
2018 : 0 : return err;
2019 : : }
2020 : :
2021 : 0 : static inline int skb_copy_to_page_nocache(struct sock *sk, struct iov_iter *from,
2022 : : struct sk_buff *skb,
2023 : : struct page *page,
2024 : : int off, int copy)
2025 : : {
2026 : 0 : int err;
2027 : :
2028 : 0 : err = skb_do_copy_data_nocache(sk, skb, from, page_address(page) + off,
2029 : 0 : copy, skb->len);
2030 [ # # ]: 0 : if (err)
2031 : : return err;
2032 : :
2033 : 0 : skb->len += copy;
2034 : 0 : skb->data_len += copy;
2035 : 0 : skb->truesize += copy;
2036 [ # # ]: 0 : sk_wmem_queued_add(sk, copy);
2037 [ # # ]: 0 : sk_mem_charge(sk, copy);
2038 : : return 0;
2039 : : }
2040 : :
2041 : : /**
2042 : : * sk_wmem_alloc_get - returns write allocations
2043 : : * @sk: socket
2044 : : *
2045 : : * Return: sk_wmem_alloc minus initial offset of one
2046 : : */
2047 : 70386 : static inline int sk_wmem_alloc_get(const struct sock *sk)
2048 : : {
2049 [ - + ]: 70386 : return refcount_read(&sk->sk_wmem_alloc) - 1;
2050 : : }
2051 : :
2052 : : /**
2053 : : * sk_rmem_alloc_get - returns read allocations
2054 : : * @sk: socket
2055 : : *
2056 : : * Return: sk_rmem_alloc
2057 : : */
2058 : 0 : static inline int sk_rmem_alloc_get(const struct sock *sk)
2059 : : {
2060 : 0 : return atomic_read(&sk->sk_rmem_alloc);
2061 : : }
2062 : :
2063 : : /**
2064 : : * sk_has_allocations - check if allocations are outstanding
2065 : : * @sk: socket
2066 : : *
2067 : : * Return: true if socket has write or read allocations
2068 : : */
2069 : : static inline bool sk_has_allocations(const struct sock *sk)
2070 : : {
2071 : : return sk_wmem_alloc_get(sk) || sk_rmem_alloc_get(sk);
2072 : : }
2073 : :
2074 : : /**
2075 : : * skwq_has_sleeper - check if there are any waiting processes
2076 : : * @wq: struct socket_wq
2077 : : *
2078 : : * Return: true if socket_wq has waiting processes
2079 : : *
2080 : : * The purpose of the skwq_has_sleeper and sock_poll_wait is to wrap the memory
2081 : : * barrier call. They were added due to the race found within the tcp code.
2082 : : *
2083 : : * Consider following tcp code paths::
2084 : : *
2085 : : * CPU1 CPU2
2086 : : * sys_select receive packet
2087 : : * ... ...
2088 : : * __add_wait_queue update tp->rcv_nxt
2089 : : * ... ...
2090 : : * tp->rcv_nxt check sock_def_readable
2091 : : * ... {
2092 : : * schedule rcu_read_lock();
2093 : : * wq = rcu_dereference(sk->sk_wq);
2094 : : * if (wq && waitqueue_active(&wq->wait))
2095 : : * wake_up_interruptible(&wq->wait)
2096 : : * ...
2097 : : * }
2098 : : *
2099 : : * The race for tcp fires when the __add_wait_queue changes done by CPU1 stay
2100 : : * in its cache, and so does the tp->rcv_nxt update on CPU2 side. The CPU1
2101 : : * could then endup calling schedule and sleep forever if there are no more
2102 : : * data on the socket.
2103 : : *
2104 : : */
2105 : 262783 : static inline bool skwq_has_sleeper(struct socket_wq *wq)
2106 : : {
2107 [ + + + + : 610582 : return wq && wq_has_sleeper(&wq->wait);
+ + + - +
+ + + - -
- - - - +
+ + + +
+ ]
2108 : : }
2109 : :
2110 : : /**
2111 : : * sock_poll_wait - place memory barrier behind the poll_wait call.
2112 : : * @filp: file
2113 : : * @sock: socket to wait on
2114 : : * @p: poll_table
2115 : : *
2116 : : * See the comments in the wq_has_sleeper function.
2117 : : */
2118 : 316804 : static inline void sock_poll_wait(struct file *filp, struct socket *sock,
2119 : : poll_table *p)
2120 : : {
2121 [ + - + + ]: 633608 : if (!poll_does_not_wait(p)) {
2122 [ + - ]: 20627 : poll_wait(filp, &sock->wq.wait, p);
2123 : : /* We need to be sure we are in sync with the
2124 : : * socket flags modification.
2125 : : *
2126 : : * This memory barrier is paired in the wq_has_sleeper.
2127 : : */
2128 : 20627 : smp_mb();
2129 : : }
2130 : 316804 : }
2131 : :
2132 : 79178 : static inline void skb_set_hash_from_sk(struct sk_buff *skb, struct sock *sk)
2133 : : {
2134 [ - + ]: 79178 : if (sk->sk_txhash) {
2135 : 0 : skb->l4_hash = 1;
2136 : 0 : skb->hash = sk->sk_txhash;
2137 : : }
2138 : : }
2139 : :
2140 : : void skb_set_owner_w(struct sk_buff *skb, struct sock *sk);
2141 : :
2142 : : /*
2143 : : * Queue a received datagram if it will fit. Stream and sequenced
2144 : : * protocols can't normally use this as they need to fit buffers in
2145 : : * and play with them.
2146 : : *
2147 : : * Inlined as it's very short and called for pretty much every
2148 : : * packet ever received.
2149 : : */
2150 : 0 : static inline void skb_set_owner_r(struct sk_buff *skb, struct sock *sk)
2151 : : {
2152 : 0 : skb_orphan(skb);
2153 : 0 : skb->sk = sk;
2154 : 0 : skb->destructor = sock_rfree;
2155 : 0 : atomic_add(skb->truesize, &sk->sk_rmem_alloc);
2156 [ # # ]: 0 : sk_mem_charge(sk, skb->truesize);
2157 : 0 : }
2158 : :
2159 : : void sk_reset_timer(struct sock *sk, struct timer_list *timer,
2160 : : unsigned long expires);
2161 : :
2162 : : void sk_stop_timer(struct sock *sk, struct timer_list *timer);
2163 : :
2164 : : int __sk_queue_drop_skb(struct sock *sk, struct sk_buff_head *sk_queue,
2165 : : struct sk_buff *skb, unsigned int flags,
2166 : : void (*destructor)(struct sock *sk,
2167 : : struct sk_buff *skb));
2168 : : int __sock_queue_rcv_skb(struct sock *sk, struct sk_buff *skb);
2169 : : int sock_queue_rcv_skb(struct sock *sk, struct sk_buff *skb);
2170 : :
2171 : : int sock_queue_err_skb(struct sock *sk, struct sk_buff *skb);
2172 : : struct sk_buff *sock_dequeue_err_skb(struct sock *sk);
2173 : :
2174 : : /*
2175 : : * Recover an error report and clear atomically
2176 : : */
2177 : :
2178 : 250143 : static inline int sock_error(struct sock *sk)
2179 : : {
2180 : 250143 : int err;
2181 [ + + - + ]: 250143 : if (likely(!sk->sk_err))
2182 : : return 0;
2183 : 5 : err = xchg(&sk->sk_err, 0);
2184 [ + - - - ]: 5 : return -err;
2185 : : }
2186 : :
2187 : 0 : static inline unsigned long sock_wspace(struct sock *sk)
2188 : : {
2189 : 0 : int amt = 0;
2190 : :
2191 [ # # ]: 0 : if (!(sk->sk_shutdown & SEND_SHUTDOWN)) {
2192 : 0 : amt = sk->sk_sndbuf - refcount_read(&sk->sk_wmem_alloc);
2193 : 0 : if (amt < 0)
2194 : : amt = 0;
2195 : : }
2196 [ # # ]: 0 : return amt;
2197 : : }
2198 : :
2199 : : /* Note:
2200 : : * We use sk->sk_wq_raw, from contexts knowing this
2201 : : * pointer is not NULL and cannot disappear/change.
2202 : : */
2203 : 0 : static inline void sk_set_bit(int nr, struct sock *sk)
2204 : : {
2205 [ # # # # ]: 0 : if ((nr == SOCKWQ_ASYNC_NOSPACE || nr == SOCKWQ_ASYNC_WAITDATA) &&
2206 : : !sock_flag(sk, SOCK_FASYNC))
2207 : : return;
2208 : :
2209 : 0 : set_bit(nr, &sk->sk_wq_raw->flags);
2210 : : }
2211 : :
2212 : 0 : static inline void sk_clear_bit(int nr, struct sock *sk)
2213 : : {
2214 [ # # # # ]: 0 : if ((nr == SOCKWQ_ASYNC_NOSPACE || nr == SOCKWQ_ASYNC_WAITDATA) &&
2215 : : !sock_flag(sk, SOCK_FASYNC))
2216 : : return;
2217 : :
2218 : 0 : clear_bit(nr, &sk->sk_wq_raw->flags);
2219 : : }
2220 : :
2221 : 256699 : static inline void sk_wake_async(const struct sock *sk, int how, int band)
2222 : : {
2223 [ - + ]: 256699 : if (sock_flag(sk, SOCK_FASYNC)) {
2224 : 0 : rcu_read_lock();
2225 : 0 : sock_wake_async(rcu_dereference(sk->sk_wq), how, band);
2226 : 0 : rcu_read_unlock();
2227 : : }
2228 : 256699 : }
2229 : :
2230 : : /* Since sk_{r,w}mem_alloc sums skb->truesize, even a small frame might
2231 : : * need sizeof(sk_buff) + MTU + padding, unless net driver perform copybreak.
2232 : : * Note: for send buffers, TCP works better if we can build two skbs at
2233 : : * minimum.
2234 : : */
2235 : : #define TCP_SKB_MIN_TRUESIZE (2048 + SKB_DATA_ALIGN(sizeof(struct sk_buff)))
2236 : :
2237 : : #define SOCK_MIN_SNDBUF (TCP_SKB_MIN_TRUESIZE * 2)
2238 : : #define SOCK_MIN_RCVBUF TCP_SKB_MIN_TRUESIZE
2239 : :
2240 : 0 : static inline void sk_stream_moderate_sndbuf(struct sock *sk)
2241 : : {
2242 : 0 : u32 val;
2243 : :
2244 [ # # # # ]: 0 : if (sk->sk_userlocks & SOCK_SNDBUF_LOCK)
2245 : : return;
2246 : :
2247 : 0 : val = min(sk->sk_sndbuf, sk->sk_wmem_queued >> 1);
2248 : :
2249 : 0 : WRITE_ONCE(sk->sk_sndbuf, max_t(u32, val, SOCK_MIN_SNDBUF));
2250 : : }
2251 : :
2252 : : struct sk_buff *sk_stream_alloc_skb(struct sock *sk, int size, gfp_t gfp,
2253 : : bool force_schedule);
2254 : :
2255 : : /**
2256 : : * sk_page_frag - return an appropriate page_frag
2257 : : * @sk: socket
2258 : : *
2259 : : * Use the per task page_frag instead of the per socket one for
2260 : : * optimization when we know that we're in the normal context and owns
2261 : : * everything that's associated with %current.
2262 : : *
2263 : : * gfpflags_allow_blocking() isn't enough here as direct reclaim may nest
2264 : : * inside other socket operations and end up recursing into sk_page_frag()
2265 : : * while it's already in use.
2266 : : *
2267 : : * Return: a per task page_frag if context allows that,
2268 : : * otherwise a per socket one.
2269 : : */
2270 : 0 : static inline struct page_frag *sk_page_frag(struct sock *sk)
2271 : : {
2272 [ # # ]: 0 : if (gfpflags_normal_context(sk->sk_allocation))
2273 : 0 : return ¤t->task_frag;
2274 : :
2275 : 0 : return &sk->sk_frag;
2276 : : }
2277 : :
2278 : : bool sk_page_frag_refill(struct sock *sk, struct page_frag *pfrag);
2279 : :
2280 : : /*
2281 : : * Default write policy as shown to user space via poll/select/SIGIO
2282 : : */
2283 : 193847 : static inline bool sock_writeable(const struct sock *sk)
2284 : : {
2285 [ + - # # : 193847 : return refcount_read(&sk->sk_wmem_alloc) < (READ_ONCE(sk->sk_sndbuf) >> 1);
# # ]
2286 : : }
2287 : :
2288 : 91230 : static inline gfp_t gfp_any(void)
2289 : : {
2290 [ + - - - : 91230 : return in_softirq() ? GFP_ATOMIC : GFP_KERNEL;
- + - + -
- - - ]
2291 : : }
2292 : :
2293 : 190372 : static inline long sock_rcvtimeo(const struct sock *sk, bool noblock)
2294 : : {
2295 [ + + + + ]: 190372 : return noblock ? 0 : sk->sk_rcvtimeo;
2296 : : }
2297 : :
2298 : 233286 : static inline long sock_sndtimeo(const struct sock *sk, bool noblock)
2299 : : {
2300 [ + + + + ]: 233286 : return noblock ? 0 : sk->sk_sndtimeo;
2301 : : }
2302 : :
2303 : 15112 : static inline int sock_rcvlowat(const struct sock *sk, int waitall, int len)
2304 : : {
2305 [ + - # # ]: 15112 : int v = waitall ? len : min_t(int, READ_ONCE(sk->sk_rcvlowat), len);
2306 : :
2307 [ - + # # ]: 15112 : return v ?: 1;
2308 : : }
2309 : :
2310 : : /* Alas, with timeout socket operations are not restartable.
2311 : : * Compare this to poll().
2312 : : */
2313 : 0 : static inline int sock_intr_errno(long timeo)
2314 : : {
2315 [ # # # # : 0 : return timeo == MAX_SCHEDULE_TIMEOUT ? -ERESTARTSYS : -EINTR;
# # ]
2316 : : }
2317 : :
2318 : : struct sock_skb_cb {
2319 : : u32 dropcount;
2320 : : };
2321 : :
2322 : : /* Store sock_skb_cb at the end of skb->cb[] so protocol families
2323 : : * using skb->cb[] would keep using it directly and utilize its
2324 : : * alignement guarantee.
2325 : : */
2326 : : #define SOCK_SKB_CB_OFFSET ((sizeof_field(struct sk_buff, cb) - \
2327 : : sizeof(struct sock_skb_cb)))
2328 : :
2329 : : #define SOCK_SKB_CB(__skb) ((struct sock_skb_cb *)((__skb)->cb + \
2330 : : SOCK_SKB_CB_OFFSET))
2331 : :
2332 : : #define sock_skb_cb_check_size(size) \
2333 : : BUILD_BUG_ON((size) > SOCK_SKB_CB_OFFSET)
2334 : :
2335 : : static inline void
2336 : 0 : sock_skb_set_dropcount(const struct sock *sk, struct sk_buff *skb)
2337 : : {
2338 : 0 : SOCK_SKB_CB(skb)->dropcount = sock_flag(sk, SOCK_RXQ_OVFL) ?
2339 [ # # ]: 0 : atomic_read(&sk->sk_drops) : 0;
2340 : 0 : }
2341 : :
2342 : 0 : static inline void sk_drops_add(struct sock *sk, const struct sk_buff *skb)
2343 : : {
2344 : 0 : int segs = max_t(u16, 1, skb_shinfo(skb)->gso_segs);
2345 : :
2346 : 0 : atomic_add(segs, &sk->sk_drops);
2347 : 0 : }
2348 : :
2349 : 0 : static inline ktime_t sock_read_timestamp(struct sock *sk)
2350 : : {
2351 : : #if BITS_PER_LONG==32
2352 : : unsigned int seq;
2353 : : ktime_t kt;
2354 : :
2355 : : do {
2356 : : seq = read_seqbegin(&sk->sk_stamp_seq);
2357 : : kt = sk->sk_stamp;
2358 : : } while (read_seqretry(&sk->sk_stamp_seq, seq));
2359 : :
2360 : : return kt;
2361 : : #else
2362 : 0 : return READ_ONCE(sk->sk_stamp);
2363 : : #endif
2364 : : }
2365 : :
2366 : 0 : static inline void sock_write_timestamp(struct sock *sk, ktime_t kt)
2367 : : {
2368 : : #if BITS_PER_LONG==32
2369 : : write_seqlock(&sk->sk_stamp_seq);
2370 : : sk->sk_stamp = kt;
2371 : : write_sequnlock(&sk->sk_stamp_seq);
2372 : : #else
2373 : 0 : WRITE_ONCE(sk->sk_stamp, kt);
2374 : : #endif
2375 : 0 : }
2376 : :
2377 : : void __sock_recv_timestamp(struct msghdr *msg, struct sock *sk,
2378 : : struct sk_buff *skb);
2379 : : void __sock_recv_wifi_status(struct msghdr *msg, struct sock *sk,
2380 : : struct sk_buff *skb);
2381 : :
2382 : : static inline void
2383 : 0 : sock_recv_timestamp(struct msghdr *msg, struct sock *sk, struct sk_buff *skb)
2384 : : {
2385 : 0 : ktime_t kt = skb->tstamp;
2386 : 0 : struct skb_shared_hwtstamps *hwtstamps = skb_hwtstamps(skb);
2387 : :
2388 : : /*
2389 : : * generate control messages if
2390 : : * - receive time stamping in software requested
2391 : : * - software time stamp available and wanted
2392 : : * - hardware time stamps available and wanted
2393 : : */
2394 [ # # ]: 0 : if (sock_flag(sk, SOCK_RCVTSTAMP) ||
2395 [ # # # # ]: 0 : (sk->sk_tsflags & SOF_TIMESTAMPING_RX_SOFTWARE) ||
2396 [ # # ]: 0 : (kt && sk->sk_tsflags & SOF_TIMESTAMPING_SOFTWARE) ||
2397 [ # # # # ]: 0 : (hwtstamps->hwtstamp &&
2398 : : (sk->sk_tsflags & SOF_TIMESTAMPING_RAW_HARDWARE)))
2399 : 0 : __sock_recv_timestamp(msg, sk, skb);
2400 : : else
2401 : 0 : sock_write_timestamp(sk, kt);
2402 : :
2403 [ # # # # ]: 0 : if (sock_flag(sk, SOCK_WIFI_STATUS) && skb->wifi_acked_valid)
2404 : 0 : __sock_recv_wifi_status(msg, sk, skb);
2405 : 0 : }
2406 : :
2407 : : void __sock_recv_ts_and_drops(struct msghdr *msg, struct sock *sk,
2408 : : struct sk_buff *skb);
2409 : :
2410 : : #define SK_DEFAULT_STAMP (-1L * NSEC_PER_SEC)
2411 : 0 : static inline void sock_recv_ts_and_drops(struct msghdr *msg, struct sock *sk,
2412 : : struct sk_buff *skb)
2413 : : {
2414 : : #define FLAGS_TS_OR_DROPS ((1UL << SOCK_RXQ_OVFL) | \
2415 : : (1UL << SOCK_RCVTSTAMP))
2416 : : #define TSFLAGS_ANY (SOF_TIMESTAMPING_SOFTWARE | \
2417 : : SOF_TIMESTAMPING_RAW_HARDWARE)
2418 : :
2419 [ # # # # ]: 0 : if (sk->sk_flags & FLAGS_TS_OR_DROPS || sk->sk_tsflags & TSFLAGS_ANY)
2420 : 0 : __sock_recv_ts_and_drops(msg, sk, skb);
2421 [ # # ]: 0 : else if (unlikely(sock_flag(sk, SOCK_TIMESTAMP)))
2422 : 0 : sock_write_timestamp(sk, skb->tstamp);
2423 [ # # ]: 0 : else if (unlikely(sk->sk_stamp == SK_DEFAULT_STAMP))
2424 : 0 : sock_write_timestamp(sk, 0);
2425 : 0 : }
2426 : :
2427 : : void __sock_tx_timestamp(__u16 tsflags, __u8 *tx_flags);
2428 : :
2429 : : /**
2430 : : * _sock_tx_timestamp - checks whether the outgoing packet is to be time stamped
2431 : : * @sk: socket sending this packet
2432 : : * @tsflags: timestamping flags to use
2433 : : * @tx_flags: completed with instructions for time stamping
2434 : : * @tskey: filled in with next sk_tskey (not for TCP, which uses seqno)
2435 : : *
2436 : : * Note: callers should take care of initial ``*tx_flags`` value (usually 0)
2437 : : */
2438 : 0 : static inline void _sock_tx_timestamp(struct sock *sk, __u16 tsflags,
2439 : : __u8 *tx_flags, __u32 *tskey)
2440 : : {
2441 [ # # ]: 0 : if (unlikely(tsflags)) {
2442 : 0 : __sock_tx_timestamp(tsflags, tx_flags);
2443 [ # # # # : 0 : if (tsflags & SOF_TIMESTAMPING_OPT_ID && tskey &&
# # ]
2444 : : tsflags & SOF_TIMESTAMPING_TX_RECORD_MASK)
2445 : 0 : *tskey = sk->sk_tskey++;
2446 : : }
2447 [ # # ]: 0 : if (unlikely(sock_flag(sk, SOCK_WIFI_STATUS)))
2448 : 0 : *tx_flags |= SKBTX_WIFI_STATUS;
2449 : 0 : }
2450 : :
2451 : 0 : static inline void sock_tx_timestamp(struct sock *sk, __u16 tsflags,
2452 : : __u8 *tx_flags)
2453 : : {
2454 : 0 : _sock_tx_timestamp(sk, tsflags, tx_flags, NULL);
2455 : : }
2456 : :
2457 : 0 : static inline void skb_setup_tx_timestamp(struct sk_buff *skb, __u16 tsflags)
2458 : : {
2459 : 0 : _sock_tx_timestamp(skb->sk, tsflags, &skb_shinfo(skb)->tx_flags,
2460 : 0 : &skb_shinfo(skb)->tskey);
2461 : : }
2462 : :
2463 : : DECLARE_STATIC_KEY_FALSE(tcp_rx_skb_cache_key);
2464 : : /**
2465 : : * sk_eat_skb - Release a skb if it is no longer needed
2466 : : * @sk: socket to eat this skb from
2467 : : * @skb: socket buffer to eat
2468 : : *
2469 : : * This routine must be called with interrupts disabled or with the socket
2470 : : * locked so that the sk_buff queue operation is ok.
2471 : : */
2472 : 0 : static inline void sk_eat_skb(struct sock *sk, struct sk_buff *skb)
2473 : : {
2474 [ # # ]: 0 : __skb_unlink(skb, &sk->sk_receive_queue);
2475 [ # # # # ]: 0 : if (static_branch_unlikely(&tcp_rx_skb_cache_key) &&
2476 [ # # ]: 0 : !sk->sk_rx_skb_cache) {
2477 : 0 : sk->sk_rx_skb_cache = skb;
2478 : 0 : skb_orphan(skb);
2479 : 0 : return;
2480 : : }
2481 : 0 : __kfree_skb(skb);
2482 : : }
2483 : :
2484 : : static inline
2485 : 850805 : struct net *sock_net(const struct sock *sk)
2486 : : {
2487 [ + + + + : 850337 : return read_pnet(&sk->sk_net);
+ + + + +
+ + + - +
- - # # #
# # # # #
# # # # #
# # # # #
# # # # #
# # # # #
# # # # #
# # # # #
# # # # #
# # # #
# ]
2488 : : }
2489 : :
2490 : : static inline
2491 : 33248 : void sock_net_set(struct sock *sk, struct net *net)
2492 : : {
2493 : 33248 : write_pnet(&sk->sk_net, net);
2494 : : }
2495 : :
2496 : 0 : static inline struct sock *skb_steal_sock(struct sk_buff *skb)
2497 : : {
2498 [ # # ]: 0 : if (skb->sk) {
2499 : 0 : struct sock *sk = skb->sk;
2500 : :
2501 : 0 : skb->destructor = NULL;
2502 : 0 : skb->sk = NULL;
2503 [ # # ]: 0 : return sk;
2504 : : }
2505 : : return NULL;
2506 : : }
2507 : :
2508 : : /* This helper checks if a socket is a full socket,
2509 : : * ie _not_ a timewait or request socket.
2510 : : */
2511 : 82530 : static inline bool sk_fullsock(const struct sock *sk)
2512 : : {
2513 [ + + + - : 82530 : return (1 << sk->sk_state) & ~(TCPF_TIME_WAIT | TCPF_NEW_SYN_RECV);
+ - + - +
- + - - -
+ - + - +
- + - - -
- - + - -
- ]
2514 : : }
2515 : :
2516 : : /* Checks if this SKB belongs to an HW offloaded socket
2517 : : * and whether any SW fallbacks are required based on dev.
2518 : : * Check decrypted mark in case skb_orphan() cleared socket.
2519 : : */
2520 : : static inline struct sk_buff *sk_validate_xmit_skb(struct sk_buff *skb,
2521 : : struct net_device *dev)
2522 : : {
2523 : : #ifdef CONFIG_SOCK_VALIDATE_XMIT
2524 : : struct sock *sk = skb->sk;
2525 : :
2526 : : if (sk && sk_fullsock(sk) && sk->sk_validate_xmit_skb) {
2527 : : skb = sk->sk_validate_xmit_skb(sk, dev, skb);
2528 : : #ifdef CONFIG_TLS_DEVICE
2529 : : } else if (unlikely(skb->decrypted)) {
2530 : : pr_warn_ratelimited("unencrypted skb with no associated socket - dropping\n");
2531 : : kfree_skb(skb);
2532 : : skb = NULL;
2533 : : #endif
2534 : : }
2535 : : #endif
2536 : :
2537 : : return skb;
2538 : : }
2539 : :
2540 : : /* This helper checks if a socket is a LISTEN or NEW_SYN_RECV
2541 : : * SYNACK messages can be attached to either ones (depending on SYNCOOKIE)
2542 : : */
2543 : 0 : static inline bool sk_listener(const struct sock *sk)
2544 : : {
2545 [ # # # # : 0 : return (1 << sk->sk_state) & (TCPF_LISTEN | TCPF_NEW_SYN_RECV);
# # ]
2546 : : }
2547 : :
2548 : : void sock_enable_timestamp(struct sock *sk, enum sock_flags flag);
2549 : : int sock_recv_errqueue(struct sock *sk, struct msghdr *msg, int len, int level,
2550 : : int type);
2551 : :
2552 : : bool sk_ns_capable(const struct sock *sk,
2553 : : struct user_namespace *user_ns, int cap);
2554 : : bool sk_capable(const struct sock *sk, int cap);
2555 : : bool sk_net_capable(const struct sock *sk, int cap);
2556 : :
2557 : : void sk_get_meminfo(const struct sock *sk, u32 *meminfo);
2558 : :
2559 : : /* Take into consideration the size of the struct sk_buff overhead in the
2560 : : * determination of these values, since that is non-constant across
2561 : : * platforms. This makes socket queueing behavior and performance
2562 : : * not depend upon such differences.
2563 : : */
2564 : : #define _SK_MEM_PACKETS 256
2565 : : #define _SK_MEM_OVERHEAD SKB_TRUESIZE(256)
2566 : : #define SK_WMEM_MAX (_SK_MEM_OVERHEAD * _SK_MEM_PACKETS)
2567 : : #define SK_RMEM_MAX (_SK_MEM_OVERHEAD * _SK_MEM_PACKETS)
2568 : :
2569 : : extern __u32 sysctl_wmem_max;
2570 : : extern __u32 sysctl_rmem_max;
2571 : :
2572 : : extern int sysctl_tstamp_allow_data;
2573 : : extern int sysctl_optmem_max;
2574 : :
2575 : : extern __u32 sysctl_wmem_default;
2576 : : extern __u32 sysctl_rmem_default;
2577 : :
2578 : : DECLARE_STATIC_KEY_FALSE(net_high_order_alloc_disable_key);
2579 : :
2580 : 0 : static inline int sk_get_wmem0(const struct sock *sk, const struct proto *proto)
2581 : : {
2582 : : /* Does this proto have per netns sysctl_wmem ? */
2583 [ # # # # ]: 0 : if (proto->sysctl_wmem_offset)
2584 : 0 : return *(int *)((void *)sock_net(sk) + proto->sysctl_wmem_offset);
2585 : :
2586 : 0 : return *proto->sysctl_wmem;
2587 : : }
2588 : :
2589 : 0 : static inline int sk_get_rmem0(const struct sock *sk, const struct proto *proto)
2590 : : {
2591 : : /* Does this proto have per netns sysctl_rmem ? */
2592 [ # # # # ]: 0 : if (proto->sysctl_rmem_offset)
2593 : 0 : return *(int *)((void *)sock_net(sk) + proto->sysctl_rmem_offset);
2594 : :
2595 : 0 : return *proto->sysctl_rmem;
2596 : : }
2597 : :
2598 : : /* Default TCP Small queue budget is ~1 ms of data (1sec >> 10)
2599 : : * Some wifi drivers need to tweak it to get more chunks.
2600 : : * They can use this helper from their ndo_start_xmit()
2601 : : */
2602 : 0 : static inline void sk_pacing_shift_update(struct sock *sk, int val)
2603 : : {
2604 [ # # # # : 0 : if (!sk || !sk_fullsock(sk) || READ_ONCE(sk->sk_pacing_shift) == val)
# # ]
2605 : : return;
2606 : 0 : WRITE_ONCE(sk->sk_pacing_shift, val);
2607 : : }
2608 : :
2609 : : /* if a socket is bound to a device, check that the given device
2610 : : * index is either the same or that the socket is bound to an L3
2611 : : * master device and the given device index is also enslaved to
2612 : : * that L3 master
2613 : : */
2614 : 0 : static inline bool sk_dev_equal_l3scope(struct sock *sk, int dif)
2615 : : {
2616 : 0 : int mdif;
2617 : :
2618 [ # # # # : 0 : if (!sk->sk_bound_dev_if || sk->sk_bound_dev_if == dif)
# # ]
2619 : 0 : return true;
2620 : :
2621 : : mdif = l3mdev_master_ifindex_by_index(sock_net(sk), dif);
2622 : : if (mdif && mdif == sk->sk_bound_dev_if)
2623 : : return true;
2624 : :
2625 : : return false;
2626 : : }
2627 : :
2628 : : void sock_def_readable(struct sock *sk);
2629 : :
2630 : : #endif /* _SOCK_H */
|
