Branch data Line data Source code
1 : : /* SPDX-License-Identifier: GPL-2.0-or-later */
2 : : /*
3 : : * INET An implementation of the TCP/IP protocol suite for the LINUX
4 : : * operating system. INET is implemented using the BSD Socket
5 : : * interface as the means of communication with the user level.
6 : : *
7 : : * Definitions for the AF_INET socket handler.
8 : : *
9 : : * Version: @(#)sock.h 1.0.4 05/13/93
10 : : *
11 : : * Authors: Ross Biro
12 : : * Fred N. van Kempen, <waltje@uWalt.NL.Mugnet.ORG>
13 : : * Corey Minyard <wf-rch!minyard@relay.EU.net>
14 : : * Florian La Roche <flla@stud.uni-sb.de>
15 : : *
16 : : * Fixes:
17 : : * Alan Cox : Volatiles in skbuff pointers. See
18 : : * skbuff comments. May be overdone,
19 : : * better to prove they can be removed
20 : : * than the reverse.
21 : : * Alan Cox : Added a zapped field for tcp to note
22 : : * a socket is reset and must stay shut up
23 : : * Alan Cox : New fields for options
24 : : * Pauline Middelink : identd support
25 : : * Alan Cox : Eliminate low level recv/recvfrom
26 : : * David S. Miller : New socket lookup architecture.
27 : : * Steve Whitehouse: Default routines for sock_ops
28 : : * Arnaldo C. Melo : removed net_pinfo, tp_pinfo and made
29 : : * protinfo be just a void pointer, as the
30 : : * protocol specific parts were moved to
31 : : * respective headers and ipv4/v6, etc now
32 : : * use private slabcaches for its socks
33 : : * Pedro Hortas : New flags field for socket options
34 : : */
35 : : #ifndef _SOCK_H
36 : : #define _SOCK_H
37 : :
38 : : #include <linux/hardirq.h>
39 : : #include <linux/kernel.h>
40 : : #include <linux/list.h>
41 : : #include <linux/list_nulls.h>
42 : : #include <linux/timer.h>
43 : : #include <linux/cache.h>
44 : : #include <linux/bitops.h>
45 : : #include <linux/lockdep.h>
46 : : #include <linux/netdevice.h>
47 : : #include <linux/skbuff.h> /* struct sk_buff */
48 : : #include <linux/mm.h>
49 : : #include <linux/security.h>
50 : : #include <linux/slab.h>
51 : : #include <linux/uaccess.h>
52 : : #include <linux/page_counter.h>
53 : : #include <linux/memcontrol.h>
54 : : #include <linux/static_key.h>
55 : : #include <linux/sched.h>
56 : : #include <linux/wait.h>
57 : : #include <linux/cgroup-defs.h>
58 : : #include <linux/rbtree.h>
59 : : #include <linux/filter.h>
60 : : #include <linux/rculist_nulls.h>
61 : : #include <linux/poll.h>
62 : :
63 : : #include <linux/atomic.h>
64 : : #include <linux/refcount.h>
65 : : #include <net/dst.h>
66 : : #include <net/checksum.h>
67 : : #include <net/tcp_states.h>
68 : : #include <linux/net_tstamp.h>
69 : : #include <net/smc.h>
70 : : #include <net/l3mdev.h>
71 : :
72 : : /*
73 : : * This structure really needs to be cleaned up.
74 : : * Most of it is for TCP, and not used by any of
75 : : * the other protocols.
76 : : */
77 : :
78 : : /* Define this to get the SOCK_DBG debugging facility. */
79 : : #define SOCK_DEBUGGING
80 : : #ifdef SOCK_DEBUGGING
81 : : #define SOCK_DEBUG(sk, msg...) do { if ((sk) && sock_flag((sk), SOCK_DBG)) \
82 : : printk(KERN_DEBUG msg); } while (0)
83 : : #else
84 : : /* Validate arguments and do nothing */
85 : : static inline __printf(2, 3)
86 : : void SOCK_DEBUG(const struct sock *sk, const char *msg, ...)
87 : : {
88 : : }
89 : : #endif
90 : :
91 : : /* This is the per-socket lock. The spinlock provides a synchronization
92 : : * between user contexts and software interrupt processing, whereas the
93 : : * mini-semaphore synchronizes multiple users amongst themselves.
94 : : */
95 : : typedef struct {
96 : : spinlock_t slock;
97 : : int owned;
98 : : wait_queue_head_t wq;
99 : : /*
100 : : * We express the mutex-alike socket_lock semantics
101 : : * to the lock validator by explicitly managing
102 : : * the slock as a lock variant (in addition to
103 : : * the slock itself):
104 : : */
105 : : #ifdef CONFIG_DEBUG_LOCK_ALLOC
106 : : struct lockdep_map dep_map;
107 : : #endif
108 : : } socket_lock_t;
109 : :
110 : : struct sock;
111 : : struct proto;
112 : : struct net;
113 : :
114 : : typedef __u32 __bitwise __portpair;
115 : : typedef __u64 __bitwise __addrpair;
116 : :
117 : : /**
118 : : * struct sock_common - minimal network layer representation of sockets
119 : : * @skc_daddr: Foreign IPv4 addr
120 : : * @skc_rcv_saddr: Bound local IPv4 addr
121 : : * @skc_hash: hash value used with various protocol lookup tables
122 : : * @skc_u16hashes: two u16 hash values used by UDP lookup tables
123 : : * @skc_dport: placeholder for inet_dport/tw_dport
124 : : * @skc_num: placeholder for inet_num/tw_num
125 : : * @skc_family: network address family
126 : : * @skc_state: Connection state
127 : : * @skc_reuse: %SO_REUSEADDR setting
128 : : * @skc_reuseport: %SO_REUSEPORT setting
129 : : * @skc_bound_dev_if: bound device index if != 0
130 : : * @skc_bind_node: bind hash linkage for various protocol lookup tables
131 : : * @skc_portaddr_node: second hash linkage for UDP/UDP-Lite protocol
132 : : * @skc_prot: protocol handlers inside a network family
133 : : * @skc_net: reference to the network namespace of this socket
134 : : * @skc_node: main hash linkage for various protocol lookup tables
135 : : * @skc_nulls_node: main hash linkage for TCP/UDP/UDP-Lite protocol
136 : : * @skc_tx_queue_mapping: tx queue number for this connection
137 : : * @skc_rx_queue_mapping: rx queue number for this connection
138 : : * @skc_flags: place holder for sk_flags
139 : : * %SO_LINGER (l_onoff), %SO_BROADCAST, %SO_KEEPALIVE,
140 : : * %SO_OOBINLINE settings, %SO_TIMESTAMPING settings
141 : : * @skc_incoming_cpu: record/match cpu processing incoming packets
142 : : * @skc_refcnt: reference count
143 : : *
144 : : * This is the minimal network layer representation of sockets, the header
145 : : * for struct sock and struct inet_timewait_sock.
146 : : */
147 : : struct sock_common {
148 : : /* skc_daddr and skc_rcv_saddr must be grouped on a 8 bytes aligned
149 : : * address on 64bit arches : cf INET_MATCH()
150 : : */
151 : : union {
152 : : __addrpair skc_addrpair;
153 : : struct {
154 : : __be32 skc_daddr;
155 : : __be32 skc_rcv_saddr;
156 : : };
157 : : };
158 : : union {
159 : : unsigned int skc_hash;
160 : : __u16 skc_u16hashes[2];
161 : : };
162 : : /* skc_dport && skc_num must be grouped as well */
163 : : union {
164 : : __portpair skc_portpair;
165 : : struct {
166 : : __be16 skc_dport;
167 : : __u16 skc_num;
168 : : };
169 : : };
170 : :
171 : : unsigned short skc_family;
172 : : volatile unsigned char skc_state;
173 : : unsigned char skc_reuse:4;
174 : : unsigned char skc_reuseport:1;
175 : : unsigned char skc_ipv6only:1;
176 : : unsigned char skc_net_refcnt:1;
177 : : int skc_bound_dev_if;
178 : : union {
179 : : struct hlist_node skc_bind_node;
180 : : struct hlist_node skc_portaddr_node;
181 : : };
182 : : struct proto *skc_prot;
183 : : possible_net_t skc_net;
184 : :
185 : : #if IS_ENABLED(CONFIG_IPV6)
186 : : struct in6_addr skc_v6_daddr;
187 : : struct in6_addr skc_v6_rcv_saddr;
188 : : #endif
189 : :
190 : : atomic64_t skc_cookie;
191 : :
192 : : /* following fields are padding to force
193 : : * offset(struct sock, sk_refcnt) == 128 on 64bit arches
194 : : * assuming IPV6 is enabled. We use this padding differently
195 : : * for different kind of 'sockets'
196 : : */
197 : : union {
198 : : unsigned long skc_flags;
199 : : struct sock *skc_listener; /* request_sock */
200 : : struct inet_timewait_death_row *skc_tw_dr; /* inet_timewait_sock */
201 : : };
202 : : /*
203 : : * fields between dontcopy_begin/dontcopy_end
204 : : * are not copied in sock_copy()
205 : : */
206 : : /* private: */
207 : : int skc_dontcopy_begin[0];
208 : : /* public: */
209 : : union {
210 : : struct hlist_node skc_node;
211 : : struct hlist_nulls_node skc_nulls_node;
212 : : };
213 : : unsigned short skc_tx_queue_mapping;
214 : : #ifdef CONFIG_XPS
215 : : unsigned short skc_rx_queue_mapping;
216 : : #endif
217 : : union {
218 : : int skc_incoming_cpu;
219 : : u32 skc_rcv_wnd;
220 : : u32 skc_tw_rcv_nxt; /* struct tcp_timewait_sock */
221 : : };
222 : :
223 : : refcount_t skc_refcnt;
224 : : /* private: */
225 : : int skc_dontcopy_end[0];
226 : : union {
227 : : u32 skc_rxhash;
228 : : u32 skc_window_clamp;
229 : : u32 skc_tw_snd_nxt; /* struct tcp_timewait_sock */
230 : : };
231 : : /* public: */
232 : : };
233 : :
234 : : struct bpf_sk_storage;
235 : :
236 : : /**
237 : : * struct sock - network layer representation of sockets
238 : : * @__sk_common: shared layout with inet_timewait_sock
239 : : * @sk_shutdown: mask of %SEND_SHUTDOWN and/or %RCV_SHUTDOWN
240 : : * @sk_userlocks: %SO_SNDBUF and %SO_RCVBUF settings
241 : : * @sk_lock: synchronizer
242 : : * @sk_kern_sock: True if sock is using kernel lock classes
243 : : * @sk_rcvbuf: size of receive buffer in bytes
244 : : * @sk_wq: sock wait queue and async head
245 : : * @sk_rx_dst: receive input route used by early demux
246 : : * @sk_dst_cache: destination cache
247 : : * @sk_dst_pending_confirm: need to confirm neighbour
248 : : * @sk_policy: flow policy
249 : : * @sk_receive_queue: incoming packets
250 : : * @sk_wmem_alloc: transmit queue bytes committed
251 : : * @sk_tsq_flags: TCP Small Queues flags
252 : : * @sk_write_queue: Packet sending queue
253 : : * @sk_omem_alloc: "o" is "option" or "other"
254 : : * @sk_wmem_queued: persistent queue size
255 : : * @sk_forward_alloc: space allocated forward
256 : : * @sk_napi_id: id of the last napi context to receive data for sk
257 : : * @sk_ll_usec: usecs to busypoll when there is no data
258 : : * @sk_allocation: allocation mode
259 : : * @sk_pacing_rate: Pacing rate (if supported by transport/packet scheduler)
260 : : * @sk_pacing_status: Pacing status (requested, handled by sch_fq)
261 : : * @sk_max_pacing_rate: Maximum pacing rate (%SO_MAX_PACING_RATE)
262 : : * @sk_sndbuf: size of send buffer in bytes
263 : : * @__sk_flags_offset: empty field used to determine location of bitfield
264 : : * @sk_padding: unused element for alignment
265 : : * @sk_no_check_tx: %SO_NO_CHECK setting, set checksum in TX packets
266 : : * @sk_no_check_rx: allow zero checksum in RX packets
267 : : * @sk_route_caps: route capabilities (e.g. %NETIF_F_TSO)
268 : : * @sk_route_nocaps: forbidden route capabilities (e.g NETIF_F_GSO_MASK)
269 : : * @sk_gso_type: GSO type (e.g. %SKB_GSO_TCPV4)
270 : : * @sk_gso_max_size: Maximum GSO segment size to build
271 : : * @sk_gso_max_segs: Maximum number of GSO segments
272 : : * @sk_pacing_shift: scaling factor for TCP Small Queues
273 : : * @sk_lingertime: %SO_LINGER l_linger setting
274 : : * @sk_backlog: always used with the per-socket spinlock held
275 : : * @sk_callback_lock: used with the callbacks in the end of this struct
276 : : * @sk_error_queue: rarely used
277 : : * @sk_prot_creator: sk_prot of original sock creator (see ipv6_setsockopt,
278 : : * IPV6_ADDRFORM for instance)
279 : : * @sk_err: last error
280 : : * @sk_err_soft: errors that don't cause failure but are the cause of a
281 : : * persistent failure not just 'timed out'
282 : : * @sk_drops: raw/udp drops counter
283 : : * @sk_ack_backlog: current listen backlog
284 : : * @sk_max_ack_backlog: listen backlog set in listen()
285 : : * @sk_uid: user id of owner
286 : : * @sk_priority: %SO_PRIORITY setting
287 : : * @sk_type: socket type (%SOCK_STREAM, etc)
288 : : * @sk_protocol: which protocol this socket belongs in this network family
289 : : * @sk_peer_pid: &struct pid for this socket's peer
290 : : * @sk_peer_cred: %SO_PEERCRED setting
291 : : * @sk_rcvlowat: %SO_RCVLOWAT setting
292 : : * @sk_rcvtimeo: %SO_RCVTIMEO setting
293 : : * @sk_sndtimeo: %SO_SNDTIMEO setting
294 : : * @sk_txhash: computed flow hash for use on transmit
295 : : * @sk_filter: socket filtering instructions
296 : : * @sk_timer: sock cleanup timer
297 : : * @sk_stamp: time stamp of last packet received
298 : : * @sk_stamp_seq: lock for accessing sk_stamp on 32 bit architectures only
299 : : * @sk_tsflags: SO_TIMESTAMPING socket options
300 : : * @sk_tskey: counter to disambiguate concurrent tstamp requests
301 : : * @sk_zckey: counter to order MSG_ZEROCOPY notifications
302 : : * @sk_socket: Identd and reporting IO signals
303 : : * @sk_user_data: RPC layer private data
304 : : * @sk_frag: cached page frag
305 : : * @sk_peek_off: current peek_offset value
306 : : * @sk_send_head: front of stuff to transmit
307 : : * @sk_security: used by security modules
308 : : * @sk_mark: generic packet mark
309 : : * @sk_cgrp_data: cgroup data for this cgroup
310 : : * @sk_memcg: this socket's memory cgroup association
311 : : * @sk_write_pending: a write to stream socket waits to start
312 : : * @sk_state_change: callback to indicate change in the state of the sock
313 : : * @sk_data_ready: callback to indicate there is data to be processed
314 : : * @sk_write_space: callback to indicate there is bf sending space available
315 : : * @sk_error_report: callback to indicate errors (e.g. %MSG_ERRQUEUE)
316 : : * @sk_backlog_rcv: callback to process the backlog
317 : : * @sk_destruct: called at sock freeing time, i.e. when all refcnt == 0
318 : : * @sk_reuseport_cb: reuseport group container
319 : : * @sk_rcu: used during RCU grace period
320 : : * @sk_clockid: clockid used by time-based scheduling (SO_TXTIME)
321 : : * @sk_txtime_deadline_mode: set deadline mode for SO_TXTIME
322 : : * @sk_txtime_unused: unused txtime flags
323 : : */
324 : : struct sock {
325 : : /*
326 : : * Now struct inet_timewait_sock also uses sock_common, so please just
327 : : * don't add nothing before this first member (__sk_common) --acme
328 : : */
329 : : struct sock_common __sk_common;
330 : : #define sk_node __sk_common.skc_node
331 : : #define sk_nulls_node __sk_common.skc_nulls_node
332 : : #define sk_refcnt __sk_common.skc_refcnt
333 : : #define sk_tx_queue_mapping __sk_common.skc_tx_queue_mapping
334 : : #ifdef CONFIG_XPS
335 : : #define sk_rx_queue_mapping __sk_common.skc_rx_queue_mapping
336 : : #endif
337 : :
338 : : #define sk_dontcopy_begin __sk_common.skc_dontcopy_begin
339 : : #define sk_dontcopy_end __sk_common.skc_dontcopy_end
340 : : #define sk_hash __sk_common.skc_hash
341 : : #define sk_portpair __sk_common.skc_portpair
342 : : #define sk_num __sk_common.skc_num
343 : : #define sk_dport __sk_common.skc_dport
344 : : #define sk_addrpair __sk_common.skc_addrpair
345 : : #define sk_daddr __sk_common.skc_daddr
346 : : #define sk_rcv_saddr __sk_common.skc_rcv_saddr
347 : : #define sk_family __sk_common.skc_family
348 : : #define sk_state __sk_common.skc_state
349 : : #define sk_reuse __sk_common.skc_reuse
350 : : #define sk_reuseport __sk_common.skc_reuseport
351 : : #define sk_ipv6only __sk_common.skc_ipv6only
352 : : #define sk_net_refcnt __sk_common.skc_net_refcnt
353 : : #define sk_bound_dev_if __sk_common.skc_bound_dev_if
354 : : #define sk_bind_node __sk_common.skc_bind_node
355 : : #define sk_prot __sk_common.skc_prot
356 : : #define sk_net __sk_common.skc_net
357 : : #define sk_v6_daddr __sk_common.skc_v6_daddr
358 : : #define sk_v6_rcv_saddr __sk_common.skc_v6_rcv_saddr
359 : : #define sk_cookie __sk_common.skc_cookie
360 : : #define sk_incoming_cpu __sk_common.skc_incoming_cpu
361 : : #define sk_flags __sk_common.skc_flags
362 : : #define sk_rxhash __sk_common.skc_rxhash
363 : :
364 : : socket_lock_t sk_lock;
365 : : atomic_t sk_drops;
366 : : int sk_rcvlowat;
367 : : struct sk_buff_head sk_error_queue;
368 : : struct sk_buff *sk_rx_skb_cache;
369 : : struct sk_buff_head sk_receive_queue;
370 : : /*
371 : : * The backlog queue is special, it is always used with
372 : : * the per-socket spinlock held and requires low latency
373 : : * access. Therefore we special case it's implementation.
374 : : * Note : rmem_alloc is in this structure to fill a hole
375 : : * on 64bit arches, not because its logically part of
376 : : * backlog.
377 : : */
378 : : struct {
379 : : atomic_t rmem_alloc;
380 : : int len;
381 : : struct sk_buff *head;
382 : : struct sk_buff *tail;
383 : : } sk_backlog;
384 : : #define sk_rmem_alloc sk_backlog.rmem_alloc
385 : :
386 : : int sk_forward_alloc;
387 : : #ifdef CONFIG_NET_RX_BUSY_POLL
388 : : unsigned int sk_ll_usec;
389 : : /* ===== mostly read cache line ===== */
390 : : unsigned int sk_napi_id;
391 : : #endif
392 : : int sk_rcvbuf;
393 : :
394 : : struct sk_filter __rcu *sk_filter;
395 : : union {
396 : : struct socket_wq __rcu *sk_wq;
397 : : struct socket_wq *sk_wq_raw;
398 : : };
399 : : #ifdef CONFIG_XFRM
400 : : struct xfrm_policy __rcu *sk_policy[2];
401 : : #endif
402 : : struct dst_entry *sk_rx_dst;
403 : : struct dst_entry __rcu *sk_dst_cache;
404 : : atomic_t sk_omem_alloc;
405 : : int sk_sndbuf;
406 : :
407 : : /* ===== cache line for TX ===== */
408 : : int sk_wmem_queued;
409 : : refcount_t sk_wmem_alloc;
410 : : unsigned long sk_tsq_flags;
411 : : union {
412 : : struct sk_buff *sk_send_head;
413 : : struct rb_root tcp_rtx_queue;
414 : : };
415 : : struct sk_buff *sk_tx_skb_cache;
416 : : struct sk_buff_head sk_write_queue;
417 : : __s32 sk_peek_off;
418 : : int sk_write_pending;
419 : : __u32 sk_dst_pending_confirm;
420 : : u32 sk_pacing_status; /* see enum sk_pacing */
421 : : long sk_sndtimeo;
422 : : struct timer_list sk_timer;
423 : : __u32 sk_priority;
424 : : __u32 sk_mark;
425 : : unsigned long sk_pacing_rate; /* bytes per second */
426 : : unsigned long sk_max_pacing_rate;
427 : : struct page_frag sk_frag;
428 : : netdev_features_t sk_route_caps;
429 : : netdev_features_t sk_route_nocaps;
430 : : netdev_features_t sk_route_forced_caps;
431 : : int sk_gso_type;
432 : : unsigned int sk_gso_max_size;
433 : : gfp_t sk_allocation;
434 : : __u32 sk_txhash;
435 : :
436 : : /*
437 : : * Because of non atomicity rules, all
438 : : * changes are protected by socket lock.
439 : : */
440 : : unsigned int __sk_flags_offset[0];
441 : : #ifdef __BIG_ENDIAN_BITFIELD
442 : : #define SK_FL_PROTO_SHIFT 16
443 : : #define SK_FL_PROTO_MASK 0x00ff0000
444 : :
445 : : #define SK_FL_TYPE_SHIFT 0
446 : : #define SK_FL_TYPE_MASK 0x0000ffff
447 : : #else
448 : : #define SK_FL_PROTO_SHIFT 8
449 : : #define SK_FL_PROTO_MASK 0x0000ff00
450 : :
451 : : #define SK_FL_TYPE_SHIFT 16
452 : : #define SK_FL_TYPE_MASK 0xffff0000
453 : : #endif
454 : :
455 : : unsigned int sk_padding : 1,
456 : : sk_kern_sock : 1,
457 : : sk_no_check_tx : 1,
458 : : sk_no_check_rx : 1,
459 : : sk_userlocks : 4,
460 : : sk_protocol : 8,
461 : : sk_type : 16;
462 : : #define SK_PROTOCOL_MAX U8_MAX
463 : : u16 sk_gso_max_segs;
464 : : u8 sk_pacing_shift;
465 : : unsigned long sk_lingertime;
466 : : struct proto *sk_prot_creator;
467 : : rwlock_t sk_callback_lock;
468 : : int sk_err,
469 : : sk_err_soft;
470 : : u32 sk_ack_backlog;
471 : : u32 sk_max_ack_backlog;
472 : : kuid_t sk_uid;
473 : : struct pid *sk_peer_pid;
474 : : const struct cred *sk_peer_cred;
475 : : long sk_rcvtimeo;
476 : : ktime_t sk_stamp;
477 : : #if BITS_PER_LONG==32
478 : : seqlock_t sk_stamp_seq;
479 : : #endif
480 : : u16 sk_tsflags;
481 : : u8 sk_shutdown;
482 : : u32 sk_tskey;
483 : : atomic_t sk_zckey;
484 : :
485 : : u8 sk_clockid;
486 : : u8 sk_txtime_deadline_mode : 1,
487 : : sk_txtime_report_errors : 1,
488 : : sk_txtime_unused : 6;
489 : :
490 : : struct socket *sk_socket;
491 : : void *sk_user_data;
492 : : #ifdef CONFIG_SECURITY
493 : : void *sk_security;
494 : : #endif
495 : : struct sock_cgroup_data sk_cgrp_data;
496 : : struct mem_cgroup *sk_memcg;
497 : : void (*sk_state_change)(struct sock *sk);
498 : : void (*sk_data_ready)(struct sock *sk);
499 : : void (*sk_write_space)(struct sock *sk);
500 : : void (*sk_error_report)(struct sock *sk);
501 : : int (*sk_backlog_rcv)(struct sock *sk,
502 : : struct sk_buff *skb);
503 : : #ifdef CONFIG_SOCK_VALIDATE_XMIT
504 : : struct sk_buff* (*sk_validate_xmit_skb)(struct sock *sk,
505 : : struct net_device *dev,
506 : : struct sk_buff *skb);
507 : : #endif
508 : : void (*sk_destruct)(struct sock *sk);
509 : : struct sock_reuseport __rcu *sk_reuseport_cb;
510 : : #ifdef CONFIG_BPF_SYSCALL
511 : : struct bpf_sk_storage __rcu *sk_bpf_storage;
512 : : #endif
513 : : struct rcu_head sk_rcu;
514 : : };
515 : :
516 : : enum sk_pacing {
517 : : SK_PACING_NONE = 0,
518 : : SK_PACING_NEEDED = 1,
519 : : SK_PACING_FQ = 2,
520 : : };
521 : :
522 : : #define __sk_user_data(sk) ((*((void __rcu **)&(sk)->sk_user_data)))
523 : :
524 : : #define rcu_dereference_sk_user_data(sk) rcu_dereference(__sk_user_data((sk)))
525 : : #define rcu_assign_sk_user_data(sk, ptr) rcu_assign_pointer(__sk_user_data((sk)), ptr)
526 : :
527 : : /*
528 : : * SK_CAN_REUSE and SK_NO_REUSE on a socket mean that the socket is OK
529 : : * or not whether his port will be reused by someone else. SK_FORCE_REUSE
530 : : * on a socket means that the socket will reuse everybody else's port
531 : : * without looking at the other's sk_reuse value.
532 : : */
533 : :
534 : : #define SK_NO_REUSE 0
535 : : #define SK_CAN_REUSE 1
536 : : #define SK_FORCE_REUSE 2
537 : :
538 : : int sk_set_peek_off(struct sock *sk, int val);
539 : :
540 : : static inline int sk_peek_offset(struct sock *sk, int flags)
541 : : {
542 [ - + - + ]: 2024553 : if (unlikely(flags & MSG_PEEK)) {
543 : 0 : return READ_ONCE(sk->sk_peek_off);
544 : : }
545 : :
546 : : return 0;
547 : : }
548 : :
549 : : static inline void sk_peek_offset_bwd(struct sock *sk, int val)
550 : : {
551 : 1506469 : s32 off = READ_ONCE(sk->sk_peek_off);
552 : :
553 [ - + # # : 1506469 : if (unlikely(off >= 0)) {
- + # # ]
554 : 0 : off = max_t(s32, off - val, 0);
555 : : WRITE_ONCE(sk->sk_peek_off, off);
556 : : }
557 : : }
558 : :
559 : : static inline void sk_peek_offset_fwd(struct sock *sk, int val)
560 : : {
561 : : sk_peek_offset_bwd(sk, -val);
562 : : }
563 : :
564 : : /*
565 : : * Hashed lists helper routines
566 : : */
567 : : static inline struct sock *sk_entry(const struct hlist_node *node)
568 : : {
569 : 0 : return hlist_entry(node, struct sock, sk_node);
570 : : }
571 : :
572 : : static inline struct sock *__sk_head(const struct hlist_head *head)
573 : : {
574 : 0 : return hlist_entry(head->first, struct sock, sk_node);
575 : : }
576 : :
577 : : static inline struct sock *sk_head(const struct hlist_head *head)
578 : : {
579 [ # # - + : 6769 : return hlist_empty(head) ? NULL : __sk_head(head);
- + ]
580 : : }
581 : :
582 : : static inline struct sock *__sk_nulls_head(const struct hlist_nulls_head *head)
583 : : {
584 : 0 : return hlist_nulls_entry(head->first, struct sock, sk_nulls_node);
585 : : }
586 : :
587 : : static inline struct sock *sk_nulls_head(const struct hlist_nulls_head *head)
588 : : {
589 [ # # ]: 0 : return hlist_nulls_empty(head) ? NULL : __sk_nulls_head(head);
590 : : }
591 : :
592 : : static inline struct sock *sk_next(const struct sock *sk)
593 : : {
594 [ # # # # : 0 : return hlist_entry_safe(sk->sk_node.next, struct sock, sk_node);
# # ]
595 : : }
596 : :
597 : : static inline struct sock *sk_nulls_next(const struct sock *sk)
598 : : {
599 : 0 : return (!is_a_nulls(sk->sk_nulls_node.next)) ?
600 : 0 : hlist_nulls_entry(sk->sk_nulls_node.next,
601 [ # # # # ]: 0 : struct sock, sk_nulls_node) :
602 : : NULL;
603 : : }
604 : :
605 : : static inline bool sk_unhashed(const struct sock *sk)
606 : : {
607 : : return hlist_unhashed(&sk->sk_node);
608 : : }
609 : :
610 : : static inline bool sk_hashed(const struct sock *sk)
611 : : {
612 : : return !sk_unhashed(sk);
613 : : }
614 : :
615 : : static inline void sk_node_init(struct hlist_node *node)
616 : : {
617 : 161380 : node->pprev = NULL;
618 : : }
619 : :
620 : : static inline void sk_nulls_node_init(struct hlist_nulls_node *node)
621 : : {
622 : 0 : node->pprev = NULL;
623 : : }
624 : :
625 : : static inline void __sk_del_node(struct sock *sk)
626 : : {
627 : : __hlist_del(&sk->sk_node);
628 : : }
629 : :
630 : : /* NB: equivalent to hlist_del_init_rcu */
631 : : static inline bool __sk_del_node_init(struct sock *sk)
632 : : {
633 [ + - ]: 161380 : if (sk_hashed(sk)) {
634 : : __sk_del_node(sk);
635 : : sk_node_init(&sk->sk_node);
636 : : return true;
637 : : }
638 : : return false;
639 : : }
640 : :
641 : : /* Grab socket reference count. This operation is valid only
642 : : when sk is ALREADY grabbed f.e. it is found in hash table
643 : : or a list and the lookup is made under lock preventing hash table
644 : : modifications.
645 : : */
646 : :
647 : : static __always_inline void sock_hold(struct sock *sk)
648 : : {
649 : 1253507 : refcount_inc(&sk->sk_refcnt);
650 : : }
651 : :
652 : : /* Ungrab socket in the context, which assumes that socket refcnt
653 : : cannot hit zero, f.e. it is true in context of any socketcall.
654 : : */
655 : : static __always_inline void __sock_put(struct sock *sk)
656 : : {
657 : 173252 : refcount_dec(&sk->sk_refcnt);
658 : : }
659 : :
660 : 161380 : static inline bool sk_del_node_init(struct sock *sk)
661 : : {
662 : : bool rc = __sk_del_node_init(sk);
663 : :
664 [ + - ]: 161380 : if (rc) {
665 : : /* paranoid for a while -acme */
666 [ - + ]: 161380 : WARN_ON(refcount_read(&sk->sk_refcnt) == 1);
667 : : __sock_put(sk);
668 : : }
669 : 161380 : return rc;
670 : : }
671 : : #define sk_del_node_init_rcu(sk) sk_del_node_init(sk)
672 : :
673 : : static inline bool __sk_nulls_del_node_init_rcu(struct sock *sk)
674 : : {
675 [ # # # # ]: 0 : if (sk_hashed(sk)) {
676 : : hlist_nulls_del_init_rcu(&sk->sk_nulls_node);
677 : : return true;
678 : : }
679 : : return false;
680 : : }
681 : :
682 : 0 : static inline bool sk_nulls_del_node_init_rcu(struct sock *sk)
683 : : {
684 : : bool rc = __sk_nulls_del_node_init_rcu(sk);
685 : :
686 [ # # ]: 0 : if (rc) {
687 : : /* paranoid for a while -acme */
688 [ # # ]: 0 : WARN_ON(refcount_read(&sk->sk_refcnt) == 1);
689 : : __sock_put(sk);
690 : : }
691 : 0 : return rc;
692 : : }
693 : :
694 : : static inline void __sk_add_node(struct sock *sk, struct hlist_head *list)
695 : : {
696 : 192843 : hlist_add_head(&sk->sk_node, list);
697 : : }
698 : :
699 : : static inline void sk_add_node(struct sock *sk, struct hlist_head *list)
700 : : {
701 : : sock_hold(sk);
702 : : __sk_add_node(sk, list);
703 : : }
704 : :
705 : 7454 : static inline void sk_add_node_rcu(struct sock *sk, struct hlist_head *list)
706 : : {
707 : : sock_hold(sk);
708 [ - + ]: 7454 : if (IS_ENABLED(CONFIG_IPV6) && sk->sk_reuseport &&
709 : : sk->sk_family == AF_INET6)
710 : 0 : hlist_add_tail_rcu(&sk->sk_node, list);
711 : : else
712 : 7454 : hlist_add_head_rcu(&sk->sk_node, list);
713 : 7454 : }
714 : :
715 : : static inline void sk_add_node_tail_rcu(struct sock *sk, struct hlist_head *list)
716 : : {
717 : : sock_hold(sk);
718 : 414 : hlist_add_tail_rcu(&sk->sk_node, list);
719 : : }
720 : :
721 : : static inline void __sk_nulls_add_node_rcu(struct sock *sk, struct hlist_nulls_head *list)
722 : : {
723 : 0 : hlist_nulls_add_head_rcu(&sk->sk_nulls_node, list);
724 : : }
725 : :
726 : : static inline void __sk_nulls_add_node_tail_rcu(struct sock *sk, struct hlist_nulls_head *list)
727 : : {
728 : 0 : hlist_nulls_add_tail_rcu(&sk->sk_nulls_node, list);
729 : : }
730 : :
731 : : static inline void sk_nulls_add_node_rcu(struct sock *sk, struct hlist_nulls_head *list)
732 : : {
733 : : sock_hold(sk);
734 : : __sk_nulls_add_node_rcu(sk, list);
735 : : }
736 : :
737 : : static inline void __sk_del_bind_node(struct sock *sk)
738 : : {
739 : : __hlist_del(&sk->sk_bind_node);
740 : : }
741 : :
742 : : static inline void sk_add_bind_node(struct sock *sk,
743 : : struct hlist_head *list)
744 : : {
745 : 3519 : hlist_add_head(&sk->sk_bind_node, list);
746 : : }
747 : :
748 : : #define sk_for_each(__sk, list) \
749 : : hlist_for_each_entry(__sk, list, sk_node)
750 : : #define sk_for_each_rcu(__sk, list) \
751 : : hlist_for_each_entry_rcu(__sk, list, sk_node)
752 : : #define sk_nulls_for_each(__sk, node, list) \
753 : : hlist_nulls_for_each_entry(__sk, node, list, sk_nulls_node)
754 : : #define sk_nulls_for_each_rcu(__sk, node, list) \
755 : : hlist_nulls_for_each_entry_rcu(__sk, node, list, sk_nulls_node)
756 : : #define sk_for_each_from(__sk) \
757 : : hlist_for_each_entry_from(__sk, sk_node)
758 : : #define sk_nulls_for_each_from(__sk, node) \
759 : : if (__sk && ({ node = &(__sk)->sk_nulls_node; 1; })) \
760 : : hlist_nulls_for_each_entry_from(__sk, node, sk_nulls_node)
761 : : #define sk_for_each_safe(__sk, tmp, list) \
762 : : hlist_for_each_entry_safe(__sk, tmp, list, sk_node)
763 : : #define sk_for_each_bound(__sk, list) \
764 : : hlist_for_each_entry(__sk, list, sk_bind_node)
765 : :
766 : : /**
767 : : * sk_for_each_entry_offset_rcu - iterate over a list at a given struct offset
768 : : * @tpos: the type * to use as a loop cursor.
769 : : * @pos: the &struct hlist_node to use as a loop cursor.
770 : : * @head: the head for your list.
771 : : * @offset: offset of hlist_node within the struct.
772 : : *
773 : : */
774 : : #define sk_for_each_entry_offset_rcu(tpos, pos, head, offset) \
775 : : for (pos = rcu_dereference(hlist_first_rcu(head)); \
776 : : pos != NULL && \
777 : : ({ tpos = (typeof(*tpos) *)((void *)pos - offset); 1;}); \
778 : : pos = rcu_dereference(hlist_next_rcu(pos)))
779 : :
780 : : static inline struct user_namespace *sk_user_ns(struct sock *sk)
781 : : {
782 : : /* Careful only use this in a context where these parameters
783 : : * can not change and must all be valid, such as recvmsg from
784 : : * userspace.
785 : : */
786 : : return sk->sk_socket->file->f_cred->user_ns;
787 : : }
788 : :
789 : : /* Sock flags */
790 : : enum sock_flags {
791 : : SOCK_DEAD,
792 : : SOCK_DONE,
793 : : SOCK_URGINLINE,
794 : : SOCK_KEEPOPEN,
795 : : SOCK_LINGER,
796 : : SOCK_DESTROY,
797 : : SOCK_BROADCAST,
798 : : SOCK_TIMESTAMP,
799 : : SOCK_ZAPPED,
800 : : SOCK_USE_WRITE_QUEUE, /* whether to call sk->sk_write_space in sock_wfree */
801 : : SOCK_DBG, /* %SO_DEBUG setting */
802 : : SOCK_RCVTSTAMP, /* %SO_TIMESTAMP setting */
803 : : SOCK_RCVTSTAMPNS, /* %SO_TIMESTAMPNS setting */
804 : : SOCK_LOCALROUTE, /* route locally only, %SO_DONTROUTE setting */
805 : : SOCK_QUEUE_SHRUNK, /* write queue has been shrunk recently */
806 : : SOCK_MEMALLOC, /* VM depends on this socket for swapping */
807 : : SOCK_TIMESTAMPING_RX_SOFTWARE, /* %SOF_TIMESTAMPING_RX_SOFTWARE */
808 : : SOCK_FASYNC, /* fasync() active */
809 : : SOCK_RXQ_OVFL,
810 : : SOCK_ZEROCOPY, /* buffers from userspace */
811 : : SOCK_WIFI_STATUS, /* push wifi status to userspace */
812 : : SOCK_NOFCS, /* Tell NIC not to do the Ethernet FCS.
813 : : * Will use last 4 bytes of packet sent from
814 : : * user-space instead.
815 : : */
816 : : SOCK_FILTER_LOCKED, /* Filter cannot be changed anymore */
817 : : SOCK_SELECT_ERR_QUEUE, /* Wake select on error queue */
818 : : SOCK_RCU_FREE, /* wait rcu grace period in sk_destruct() */
819 : : SOCK_TXTIME,
820 : : SOCK_XDP, /* XDP is attached */
821 : : SOCK_TSTAMP_NEW, /* Indicates 64 bit timestamps always */
822 : : };
823 : :
824 : : #define SK_FLAGS_TIMESTAMP ((1UL << SOCK_TIMESTAMP) | (1UL << SOCK_TIMESTAMPING_RX_SOFTWARE))
825 : :
826 : : static inline void sock_copy_flags(struct sock *nsk, struct sock *osk)
827 : : {
828 : : nsk->sk_flags = osk->sk_flags;
829 : : }
830 : :
831 : : static inline void sock_set_flag(struct sock *sk, enum sock_flags flag)
832 : : {
833 : 0 : __set_bit(flag, &sk->sk_flags);
834 : : }
835 : :
836 : : static inline void sock_reset_flag(struct sock *sk, enum sock_flags flag)
837 : : {
838 : 0 : __clear_bit(flag, &sk->sk_flags);
839 : : }
840 : :
841 : 0 : static inline bool sock_flag(const struct sock *sk, enum sock_flags flag)
842 : : {
843 : 658435 : return test_bit(flag, &sk->sk_flags);
844 : : }
845 : :
846 : : #ifdef CONFIG_NET
847 : : DECLARE_STATIC_KEY_FALSE(memalloc_socks_key);
848 : : static inline int sk_memalloc_socks(void)
849 : : {
850 : 1801894 : return static_branch_unlikely(&memalloc_socks_key);
851 : : }
852 : :
853 : : void __receive_sock(struct file *file);
854 : : #else
855 : :
856 : : static inline int sk_memalloc_socks(void)
857 : : {
858 : : return 0;
859 : : }
860 : :
861 : : static inline void __receive_sock(struct file *file)
862 : : { }
863 : : #endif
864 : :
865 : : static inline gfp_t sk_gfp_mask(const struct sock *sk, gfp_t gfp_mask)
866 : : {
867 : 0 : return gfp_mask | (sk->sk_allocation & __GFP_MEMALLOC);
868 : : }
869 : :
870 : : static inline void sk_acceptq_removed(struct sock *sk)
871 : : {
872 : 0 : sk->sk_ack_backlog--;
873 : : }
874 : :
875 : : static inline void sk_acceptq_added(struct sock *sk)
876 : : {
877 : 0 : sk->sk_ack_backlog++;
878 : : }
879 : :
880 : : static inline bool sk_acceptq_is_full(const struct sock *sk)
881 : : {
882 : 0 : return sk->sk_ack_backlog > sk->sk_max_ack_backlog;
883 : : }
884 : :
885 : : /*
886 : : * Compute minimal free write space needed to queue new packets.
887 : : */
888 : : static inline int sk_stream_min_wspace(const struct sock *sk)
889 : : {
890 : 0 : return READ_ONCE(sk->sk_wmem_queued) >> 1;
891 : : }
892 : :
893 : : static inline int sk_stream_wspace(const struct sock *sk)
894 : : {
895 : 0 : return READ_ONCE(sk->sk_sndbuf) - READ_ONCE(sk->sk_wmem_queued);
896 : : }
897 : :
898 : : static inline void sk_wmem_queued_add(struct sock *sk, int val)
899 : : {
900 : 0 : WRITE_ONCE(sk->sk_wmem_queued, sk->sk_wmem_queued + val);
901 : : }
902 : :
903 : : void sk_stream_write_space(struct sock *sk);
904 : :
905 : : /* OOB backlog add */
906 : : static inline void __sk_add_backlog(struct sock *sk, struct sk_buff *skb)
907 : : {
908 : : /* dont let skb dst not refcounted, we are going to leave rcu lock */
909 : 0 : skb_dst_force(skb);
910 : :
911 [ # # ]: 0 : if (!sk->sk_backlog.tail)
912 : 0 : sk->sk_backlog.head = skb;
913 : : else
914 : 0 : sk->sk_backlog.tail->next = skb;
915 : :
916 : 0 : sk->sk_backlog.tail = skb;
917 : 0 : skb->next = NULL;
918 : : }
919 : :
920 : : /*
921 : : * Take into account size of receive queue and backlog queue
922 : : * Do not take into account this skb truesize,
923 : : * to allow even a single big packet to come.
924 : : */
925 : : static inline bool sk_rcvqueues_full(const struct sock *sk, unsigned int limit)
926 : : {
927 : 0 : unsigned int qsize = sk->sk_backlog.len + atomic_read(&sk->sk_rmem_alloc);
928 : :
929 : : return qsize > limit;
930 : : }
931 : :
932 : : /* The per-socket spinlock must be held here. */
933 : 0 : static inline __must_check int sk_add_backlog(struct sock *sk, struct sk_buff *skb,
934 : : unsigned int limit)
935 : : {
936 [ # # ]: 0 : if (sk_rcvqueues_full(sk, limit))
937 : : return -ENOBUFS;
938 : :
939 : : /*
940 : : * If the skb was allocated from pfmemalloc reserves, only
941 : : * allow SOCK_MEMALLOC sockets to use it as this socket is
942 : : * helping free memory
943 : : */
944 [ # # # # ]: 0 : if (skb_pfmemalloc(skb) && !sock_flag(sk, SOCK_MEMALLOC))
945 : : return -ENOMEM;
946 : :
947 : : __sk_add_backlog(sk, skb);
948 : 0 : sk->sk_backlog.len += skb->truesize;
949 : 0 : return 0;
950 : : }
951 : :
952 : : int __sk_backlog_rcv(struct sock *sk, struct sk_buff *skb);
953 : :
954 : 0 : static inline int sk_backlog_rcv(struct sock *sk, struct sk_buff *skb)
955 : : {
956 [ # # # # ]: 0 : if (sk_memalloc_socks() && skb_pfmemalloc(skb))
957 : 0 : return __sk_backlog_rcv(sk, skb);
958 : :
959 : 0 : return sk->sk_backlog_rcv(sk, skb);
960 : : }
961 : :
962 : : static inline void sk_incoming_cpu_update(struct sock *sk)
963 : : {
964 : 414 : int cpu = raw_smp_processor_id();
965 : :
966 [ + + ]: 414 : if (unlikely(READ_ONCE(sk->sk_incoming_cpu) != cpu))
967 : : WRITE_ONCE(sk->sk_incoming_cpu, cpu);
968 : : }
969 : :
970 : : static inline void sock_rps_record_flow_hash(__u32 hash)
971 : : {
972 : : #ifdef CONFIG_RPS
973 : : struct rps_sock_flow_table *sock_flow_table;
974 : :
975 : : rcu_read_lock();
976 : 0 : sock_flow_table = rcu_dereference(rps_sock_flow_table);
977 : 0 : rps_record_sock_flow(sock_flow_table, hash);
978 : : rcu_read_unlock();
979 : : #endif
980 : : }
981 : :
982 : 8910 : static inline void sock_rps_record_flow(const struct sock *sk)
983 : : {
984 : : #ifdef CONFIG_RPS
985 [ - + ]: 8910 : if (static_branch_unlikely(&rfs_needed)) {
986 : : /* Reading sk->sk_rxhash might incur an expensive cache line
987 : : * miss.
988 : : *
989 : : * TCP_ESTABLISHED does cover almost all states where RFS
990 : : * might be useful, and is cheaper [1] than testing :
991 : : * IPv4: inet_sk(sk)->inet_daddr
992 : : * IPv6: ipv6_addr_any(&sk->sk_v6_daddr)
993 : : * OR an additional socket flag
994 : : * [1] : sk_state and sk_prot are in the same cache line.
995 : : */
996 [ # # ]: 0 : if (sk->sk_state == TCP_ESTABLISHED)
997 : 0 : sock_rps_record_flow_hash(sk->sk_rxhash);
998 : : }
999 : : #endif
1000 : 8910 : }
1001 : :
1002 : : static inline void sock_rps_save_rxhash(struct sock *sk,
1003 : : const struct sk_buff *skb)
1004 : : {
1005 : : #ifdef CONFIG_RPS
1006 [ - + # # ]: 414 : if (unlikely(sk->sk_rxhash != skb->hash))
1007 : 0 : sk->sk_rxhash = skb->hash;
1008 : : #endif
1009 : : }
1010 : :
1011 : : static inline void sock_rps_reset_rxhash(struct sock *sk)
1012 : : {
1013 : : #ifdef CONFIG_RPS
1014 : 1281 : sk->sk_rxhash = 0;
1015 : : #endif
1016 : : }
1017 : :
1018 : : #define sk_wait_event(__sk, __timeo, __condition, __wait) \
1019 : : ({ int __rc; \
1020 : : release_sock(__sk); \
1021 : : __rc = __condition; \
1022 : : if (!__rc) { \
1023 : : *(__timeo) = wait_woken(__wait, \
1024 : : TASK_INTERRUPTIBLE, \
1025 : : *(__timeo)); \
1026 : : } \
1027 : : sched_annotate_sleep(); \
1028 : : lock_sock(__sk); \
1029 : : __rc = __condition; \
1030 : : __rc; \
1031 : : })
1032 : :
1033 : : int sk_stream_wait_connect(struct sock *sk, long *timeo_p);
1034 : : int sk_stream_wait_memory(struct sock *sk, long *timeo_p);
1035 : : void sk_stream_wait_close(struct sock *sk, long timeo_p);
1036 : : int sk_stream_error(struct sock *sk, int flags, int err);
1037 : : void sk_stream_kill_queues(struct sock *sk);
1038 : : void sk_set_memalloc(struct sock *sk);
1039 : : void sk_clear_memalloc(struct sock *sk);
1040 : :
1041 : : void __sk_flush_backlog(struct sock *sk);
1042 : :
1043 : : static inline bool sk_flush_backlog(struct sock *sk)
1044 : : {
1045 [ # # ]: 0 : if (unlikely(READ_ONCE(sk->sk_backlog.tail))) {
1046 : 0 : __sk_flush_backlog(sk);
1047 : : return true;
1048 : : }
1049 : : return false;
1050 : : }
1051 : :
1052 : : int sk_wait_data(struct sock *sk, long *timeo, const struct sk_buff *skb);
1053 : :
1054 : : struct request_sock_ops;
1055 : : struct timewait_sock_ops;
1056 : : struct inet_hashinfo;
1057 : : struct raw_hashinfo;
1058 : : struct smc_hashinfo;
1059 : : struct module;
1060 : :
1061 : : /*
1062 : : * caches using SLAB_TYPESAFE_BY_RCU should let .next pointer from nulls nodes
1063 : : * un-modified. Special care is taken when initializing object to zero.
1064 : : */
1065 : 191959 : static inline void sk_prot_clear_nulls(struct sock *sk, int size)
1066 : : {
1067 : : if (offsetof(struct sock, sk_node.next) != 0)
1068 : 191959 : memset(sk, 0, offsetof(struct sock, sk_node.next));
1069 : 383918 : memset(&sk->sk_node.pprev, 0,
1070 : 191959 : size - offsetof(struct sock, sk_node.pprev));
1071 : 191959 : }
1072 : :
1073 : : /* Networking protocol blocks we attach to sockets.
1074 : : * socket layer -> transport layer interface
1075 : : */
1076 : : struct proto {
1077 : : void (*close)(struct sock *sk,
1078 : : long timeout);
1079 : : int (*pre_connect)(struct sock *sk,
1080 : : struct sockaddr *uaddr,
1081 : : int addr_len);
1082 : : int (*connect)(struct sock *sk,
1083 : : struct sockaddr *uaddr,
1084 : : int addr_len);
1085 : : int (*disconnect)(struct sock *sk, int flags);
1086 : :
1087 : : struct sock * (*accept)(struct sock *sk, int flags, int *err,
1088 : : bool kern);
1089 : :
1090 : : int (*ioctl)(struct sock *sk, int cmd,
1091 : : unsigned long arg);
1092 : : int (*init)(struct sock *sk);
1093 : : void (*destroy)(struct sock *sk);
1094 : : void (*shutdown)(struct sock *sk, int how);
1095 : : int (*setsockopt)(struct sock *sk, int level,
1096 : : int optname, char __user *optval,
1097 : : unsigned int optlen);
1098 : : int (*getsockopt)(struct sock *sk, int level,
1099 : : int optname, char __user *optval,
1100 : : int __user *option);
1101 : : void (*keepalive)(struct sock *sk, int valbool);
1102 : : #ifdef CONFIG_COMPAT
1103 : : int (*compat_setsockopt)(struct sock *sk,
1104 : : int level,
1105 : : int optname, char __user *optval,
1106 : : unsigned int optlen);
1107 : : int (*compat_getsockopt)(struct sock *sk,
1108 : : int level,
1109 : : int optname, char __user *optval,
1110 : : int __user *option);
1111 : : int (*compat_ioctl)(struct sock *sk,
1112 : : unsigned int cmd, unsigned long arg);
1113 : : #endif
1114 : : int (*sendmsg)(struct sock *sk, struct msghdr *msg,
1115 : : size_t len);
1116 : : int (*recvmsg)(struct sock *sk, struct msghdr *msg,
1117 : : size_t len, int noblock, int flags,
1118 : : int *addr_len);
1119 : : int (*sendpage)(struct sock *sk, struct page *page,
1120 : : int offset, size_t size, int flags);
1121 : : int (*bind)(struct sock *sk,
1122 : : struct sockaddr *uaddr, int addr_len);
1123 : :
1124 : : int (*backlog_rcv) (struct sock *sk,
1125 : : struct sk_buff *skb);
1126 : :
1127 : : void (*release_cb)(struct sock *sk);
1128 : :
1129 : : /* Keeping track of sk's, looking them up, and port selection methods. */
1130 : : int (*hash)(struct sock *sk);
1131 : : void (*unhash)(struct sock *sk);
1132 : : void (*rehash)(struct sock *sk);
1133 : : int (*get_port)(struct sock *sk, unsigned short snum);
1134 : :
1135 : : /* Keeping track of sockets in use */
1136 : : #ifdef CONFIG_PROC_FS
1137 : : unsigned int inuse_idx;
1138 : : #endif
1139 : :
1140 : : bool (*stream_memory_free)(const struct sock *sk, int wake);
1141 : : bool (*stream_memory_read)(const struct sock *sk);
1142 : : /* Memory pressure */
1143 : : void (*enter_memory_pressure)(struct sock *sk);
1144 : : void (*leave_memory_pressure)(struct sock *sk);
1145 : : atomic_long_t *memory_allocated; /* Current allocated memory. */
1146 : : struct percpu_counter *sockets_allocated; /* Current number of sockets. */
1147 : : /*
1148 : : * Pressure flag: try to collapse.
1149 : : * Technical note: it is used by multiple contexts non atomically.
1150 : : * All the __sk_mem_schedule() is of this nature: accounting
1151 : : * is strict, actions are advisory and have some latency.
1152 : : */
1153 : : unsigned long *memory_pressure;
1154 : : long *sysctl_mem;
1155 : :
1156 : : int *sysctl_wmem;
1157 : : int *sysctl_rmem;
1158 : : u32 sysctl_wmem_offset;
1159 : : u32 sysctl_rmem_offset;
1160 : :
1161 : : int max_header;
1162 : : bool no_autobind;
1163 : :
1164 : : struct kmem_cache *slab;
1165 : : unsigned int obj_size;
1166 : : slab_flags_t slab_flags;
1167 : : unsigned int useroffset; /* Usercopy region offset */
1168 : : unsigned int usersize; /* Usercopy region size */
1169 : :
1170 : : struct percpu_counter *orphan_count;
1171 : :
1172 : : struct request_sock_ops *rsk_prot;
1173 : : struct timewait_sock_ops *twsk_prot;
1174 : :
1175 : : union {
1176 : : struct inet_hashinfo *hashinfo;
1177 : : struct udp_table *udp_table;
1178 : : struct raw_hashinfo *raw_hash;
1179 : : struct smc_hashinfo *smc_hash;
1180 : : } h;
1181 : :
1182 : : struct module *owner;
1183 : :
1184 : : char name[32];
1185 : :
1186 : : struct list_head node;
1187 : : #ifdef SOCK_REFCNT_DEBUG
1188 : : atomic_t socks;
1189 : : #endif
1190 : : int (*diag_destroy)(struct sock *sk, int err);
1191 : : } __randomize_layout;
1192 : :
1193 : : int proto_register(struct proto *prot, int alloc_slab);
1194 : : void proto_unregister(struct proto *prot);
1195 : : int sock_load_diag_module(int family, int protocol);
1196 : :
1197 : : #ifdef SOCK_REFCNT_DEBUG
1198 : : static inline void sk_refcnt_debug_inc(struct sock *sk)
1199 : : {
1200 : : atomic_inc(&sk->sk_prot->socks);
1201 : : }
1202 : :
1203 : : static inline void sk_refcnt_debug_dec(struct sock *sk)
1204 : : {
1205 : : atomic_dec(&sk->sk_prot->socks);
1206 : : printk(KERN_DEBUG "%s socket %p released, %d are still alive\n",
1207 : : sk->sk_prot->name, sk, atomic_read(&sk->sk_prot->socks));
1208 : : }
1209 : :
1210 : : static inline void sk_refcnt_debug_release(const struct sock *sk)
1211 : : {
1212 : : if (refcount_read(&sk->sk_refcnt) != 1)
1213 : : printk(KERN_DEBUG "Destruction of the %s socket %p delayed, refcnt=%d\n",
1214 : : sk->sk_prot->name, sk, refcount_read(&sk->sk_refcnt));
1215 : : }
1216 : : #else /* SOCK_REFCNT_DEBUG */
1217 : : #define sk_refcnt_debug_inc(sk) do { } while (0)
1218 : : #define sk_refcnt_debug_dec(sk) do { } while (0)
1219 : : #define sk_refcnt_debug_release(sk) do { } while (0)
1220 : : #endif /* SOCK_REFCNT_DEBUG */
1221 : :
1222 : : static inline bool __sk_stream_memory_free(const struct sock *sk, int wake)
1223 : : {
1224 [ # # # # ]: 0 : if (READ_ONCE(sk->sk_wmem_queued) >= READ_ONCE(sk->sk_sndbuf))
1225 : : return false;
1226 : :
1227 : 0 : return sk->sk_prot->stream_memory_free ?
1228 [ # # # # : 0 : sk->sk_prot->stream_memory_free(sk, wake) : true;
# # # # ]
1229 : : }
1230 : :
1231 : 0 : static inline bool sk_stream_memory_free(const struct sock *sk)
1232 : : {
1233 : 0 : return __sk_stream_memory_free(sk, 0);
1234 : : }
1235 : :
1236 : 0 : static inline bool __sk_stream_is_writeable(const struct sock *sk, int wake)
1237 : : {
1238 [ # # # # ]: 0 : return sk_stream_wspace(sk) >= sk_stream_min_wspace(sk) &&
1239 : : __sk_stream_memory_free(sk, wake);
1240 : : }
1241 : :
1242 : : static inline bool sk_stream_is_writeable(const struct sock *sk)
1243 : : {
1244 : 0 : return __sk_stream_is_writeable(sk, 0);
1245 : : }
1246 : :
1247 : 0 : static inline int sk_under_cgroup_hierarchy(struct sock *sk,
1248 : : struct cgroup *ancestor)
1249 : : {
1250 : : #ifdef CONFIG_SOCK_CGROUP_DATA
1251 : 0 : return cgroup_is_descendant(sock_cgroup_ptr(&sk->sk_cgrp_data),
1252 : : ancestor);
1253 : : #else
1254 : : return -ENOTSUPP;
1255 : : #endif
1256 : : }
1257 : :
1258 : : static inline bool sk_has_memory_pressure(const struct sock *sk)
1259 : : {
1260 : 0 : return sk->sk_prot->memory_pressure != NULL;
1261 : : }
1262 : :
1263 : 643 : static inline bool sk_under_memory_pressure(const struct sock *sk)
1264 : : {
1265 [ - + ]: 643 : if (!sk->sk_prot->memory_pressure)
1266 : : return false;
1267 : :
1268 [ # # # # : 0 : if (mem_cgroup_sockets_enabled && sk->sk_memcg &&
# # ]
1269 : 0 : mem_cgroup_under_socket_pressure(sk->sk_memcg))
1270 : : return true;
1271 : :
1272 : 0 : return !!*sk->sk_prot->memory_pressure;
1273 : : }
1274 : :
1275 : : static inline long
1276 : : sk_memory_allocated(const struct sock *sk)
1277 : : {
1278 : 0 : return atomic_long_read(sk->sk_prot->memory_allocated);
1279 : : }
1280 : :
1281 : : static inline long
1282 : 1059 : sk_memory_allocated_add(struct sock *sk, int amt)
1283 : : {
1284 : 2118 : return atomic_long_add_return(amt, sk->sk_prot->memory_allocated);
1285 : : }
1286 : :
1287 : : static inline void
1288 : 644 : sk_memory_allocated_sub(struct sock *sk, int amt)
1289 : : {
1290 : 644 : atomic_long_sub(amt, sk->sk_prot->memory_allocated);
1291 : 644 : }
1292 : :
1293 : 0 : static inline void sk_sockets_allocated_dec(struct sock *sk)
1294 : : {
1295 : 0 : percpu_counter_dec(sk->sk_prot->sockets_allocated);
1296 : 0 : }
1297 : :
1298 : 0 : static inline void sk_sockets_allocated_inc(struct sock *sk)
1299 : : {
1300 : 0 : percpu_counter_inc(sk->sk_prot->sockets_allocated);
1301 : 0 : }
1302 : :
1303 : : static inline u64
1304 : : sk_sockets_allocated_read_positive(struct sock *sk)
1305 : : {
1306 : 0 : return percpu_counter_read_positive(sk->sk_prot->sockets_allocated);
1307 : : }
1308 : :
1309 : : static inline int
1310 : : proto_sockets_allocated_sum_positive(struct proto *prot)
1311 : : {
1312 : 0 : return percpu_counter_sum_positive(prot->sockets_allocated);
1313 : : }
1314 : :
1315 : : static inline long
1316 : : proto_memory_allocated(struct proto *prot)
1317 : : {
1318 : 0 : return atomic_long_read(prot->memory_allocated);
1319 : : }
1320 : :
1321 : : static inline bool
1322 : : proto_memory_pressure(struct proto *prot)
1323 : : {
1324 [ # # ]: 0 : if (!prot->memory_pressure)
1325 : : return false;
1326 : 0 : return !!*prot->memory_pressure;
1327 : : }
1328 : :
1329 : :
1330 : : #ifdef CONFIG_PROC_FS
1331 : : /* Called with local bh disabled */
1332 : : void sock_prot_inuse_add(struct net *net, struct proto *prot, int inc);
1333 : : int sock_prot_inuse_get(struct net *net, struct proto *proto);
1334 : : int sock_inuse_get(struct net *net);
1335 : : #else
1336 : : static inline void sock_prot_inuse_add(struct net *net, struct proto *prot,
1337 : : int inc)
1338 : : {
1339 : : }
1340 : : #endif
1341 : :
1342 : :
1343 : : /* With per-bucket locks this operation is not-atomic, so that
1344 : : * this version is not worse.
1345 : : */
1346 : : static inline int __sk_prot_rehash(struct sock *sk)
1347 : : {
1348 : 0 : sk->sk_prot->unhash(sk);
1349 : 0 : return sk->sk_prot->hash(sk);
1350 : : }
1351 : :
1352 : : /* About 10 seconds */
1353 : : #define SOCK_DESTROY_TIME (10*HZ)
1354 : :
1355 : : /* Sockets 0-1023 can't be bound to unless you are superuser */
1356 : : #define PROT_SOCK 1024
1357 : :
1358 : : #define SHUTDOWN_MASK 3
1359 : : #define RCV_SHUTDOWN 1
1360 : : #define SEND_SHUTDOWN 2
1361 : :
1362 : : #define SOCK_SNDBUF_LOCK 1
1363 : : #define SOCK_RCVBUF_LOCK 2
1364 : : #define SOCK_BINDADDR_LOCK 4
1365 : : #define SOCK_BINDPORT_LOCK 8
1366 : :
1367 : : struct socket_alloc {
1368 : : struct socket socket;
1369 : : struct inode vfs_inode;
1370 : : };
1371 : :
1372 : : static inline struct socket *SOCKET_I(struct inode *inode)
1373 : : {
1374 : 286605 : return &container_of(inode, struct socket_alloc, vfs_inode)->socket;
1375 : : }
1376 : :
1377 : : static inline struct inode *SOCK_INODE(struct socket *socket)
1378 : : {
1379 : 162469 : return &container_of(socket, struct socket_alloc, socket)->vfs_inode;
1380 : : }
1381 : :
1382 : : /*
1383 : : * Functions for memory accounting
1384 : : */
1385 : : int __sk_mem_raise_allocated(struct sock *sk, int size, int amt, int kind);
1386 : : int __sk_mem_schedule(struct sock *sk, int size, int kind);
1387 : : void __sk_mem_reduce_allocated(struct sock *sk, int amount);
1388 : : void __sk_mem_reclaim(struct sock *sk, int amount);
1389 : :
1390 : : /* We used to have PAGE_SIZE here, but systems with 64KB pages
1391 : : * do not necessarily have 16x time more memory than 4KB ones.
1392 : : */
1393 : : #define SK_MEM_QUANTUM 4096
1394 : : #define SK_MEM_QUANTUM_SHIFT ilog2(SK_MEM_QUANTUM)
1395 : : #define SK_MEM_SEND 0
1396 : : #define SK_MEM_RECV 1
1397 : :
1398 : : /* sysctl_mem values are in pages, we convert them in SK_MEM_QUANTUM units */
1399 : : static inline long sk_prot_mem_limits(const struct sock *sk, int index)
1400 : : {
1401 : 1059 : long val = sk->sk_prot->sysctl_mem[index];
1402 : :
1403 : : #if PAGE_SIZE > SK_MEM_QUANTUM
1404 : : val <<= PAGE_SHIFT - SK_MEM_QUANTUM_SHIFT;
1405 : : #elif PAGE_SIZE < SK_MEM_QUANTUM
1406 : : val >>= SK_MEM_QUANTUM_SHIFT - PAGE_SHIFT;
1407 : : #endif
1408 : : return val;
1409 : : }
1410 : :
1411 : : static inline int sk_mem_pages(int amt)
1412 : : {
1413 : 1059 : return (amt + SK_MEM_QUANTUM - 1) >> SK_MEM_QUANTUM_SHIFT;
1414 : : }
1415 : :
1416 : : static inline bool sk_has_account(struct sock *sk)
1417 : : {
1418 : : /* return true if protocol supports memory accounting */
1419 : 1334657 : return !!sk->sk_prot->memory_allocated;
1420 : : }
1421 : :
1422 : 0 : static inline bool sk_wmem_schedule(struct sock *sk, int size)
1423 : : {
1424 [ # # ]: 0 : if (!sk_has_account(sk))
1425 : : return true;
1426 [ # # # # ]: 0 : return size <= sk->sk_forward_alloc ||
1427 : 0 : __sk_mem_schedule(sk, size, SK_MEM_SEND);
1428 : : }
1429 : :
1430 : : static inline bool
1431 : 0 : sk_rmem_schedule(struct sock *sk, struct sk_buff *skb, int size)
1432 : : {
1433 [ # # ]: 0 : if (!sk_has_account(sk))
1434 : : return true;
1435 [ # # ]: 0 : return size<= sk->sk_forward_alloc ||
1436 [ # # # # ]: 0 : __sk_mem_schedule(sk, size, SK_MEM_RECV) ||
1437 : : skb_pfmemalloc(skb);
1438 : : }
1439 : :
1440 : 6162 : static inline void sk_mem_reclaim(struct sock *sk)
1441 : : {
1442 [ + - ]: 6162 : if (!sk_has_account(sk))
1443 : 6162 : return;
1444 [ - + ]: 6169 : if (sk->sk_forward_alloc >= SK_MEM_QUANTUM)
1445 : 0 : __sk_mem_reclaim(sk, sk->sk_forward_alloc);
1446 : : }
1447 : :
1448 : 557237 : static inline void sk_mem_reclaim_partial(struct sock *sk)
1449 : : {
1450 [ - + ]: 557237 : if (!sk_has_account(sk))
1451 : 557237 : return;
1452 [ # # ]: 0 : if (sk->sk_forward_alloc > SK_MEM_QUANTUM)
1453 : 0 : __sk_mem_reclaim(sk, sk->sk_forward_alloc - 1);
1454 : : }
1455 : :
1456 : 0 : static inline void sk_mem_charge(struct sock *sk, int size)
1457 : : {
1458 [ - + # # : 386476 : if (!sk_has_account(sk))
# # # # #
# # # ]
1459 : 0 : return;
1460 : 0 : sk->sk_forward_alloc -= size;
1461 : : }
1462 : :
1463 : 384782 : static inline void sk_mem_uncharge(struct sock *sk, int size)
1464 : : {
1465 [ - + ]: 384782 : if (!sk_has_account(sk))
1466 : 384782 : return;
1467 : 0 : sk->sk_forward_alloc += size;
1468 : :
1469 : : /* Avoid a possible overflow.
1470 : : * TCP send queues can make this happen, if sk_mem_reclaim()
1471 : : * is not called and more than 2 GBytes are released at once.
1472 : : *
1473 : : * If we reach 2 MBytes, reclaim 1 MBytes right now, there is
1474 : : * no need to hold that much forward allocation anyway.
1475 : : */
1476 [ # # ]: 0 : if (unlikely(sk->sk_forward_alloc >= 1 << 21))
1477 : 0 : __sk_mem_reclaim(sk, 1 << 20);
1478 : : }
1479 : :
1480 : : DECLARE_STATIC_KEY_FALSE(tcp_tx_skb_cache_key);
1481 : 0 : static inline void sk_wmem_free_skb(struct sock *sk, struct sk_buff *skb)
1482 : : {
1483 : : sock_set_flag(sk, SOCK_QUEUE_SHRUNK);
1484 : 0 : sk_wmem_queued_add(sk, -skb->truesize);
1485 : 0 : sk_mem_uncharge(sk, skb->truesize);
1486 [ # # # # ]: 0 : if (static_branch_unlikely(&tcp_tx_skb_cache_key) &&
1487 [ # # ]: 0 : !sk->sk_tx_skb_cache && !skb_cloned(skb)) {
1488 : 0 : skb_zcopy_clear(skb, true);
1489 : 0 : sk->sk_tx_skb_cache = skb;
1490 : 0 : return;
1491 : : }
1492 : 0 : __kfree_skb(skb);
1493 : : }
1494 : :
1495 : : static inline void sock_release_ownership(struct sock *sk)
1496 : : {
1497 [ + + ]: 117455 : if (sk->sk_lock.owned) {
1498 : 117437 : sk->sk_lock.owned = 0;
1499 : :
1500 : : /* The sk_lock has mutex_unlock() semantics: */
1501 : : mutex_release(&sk->sk_lock.dep_map, 1, _RET_IP_);
1502 : : }
1503 : : }
1504 : :
1505 : : /*
1506 : : * Macro so as to not evaluate some arguments when
1507 : : * lockdep is not enabled.
1508 : : *
1509 : : * Mark both the sk_lock and the sk_lock.slock as a
1510 : : * per-address-family lock class.
1511 : : */
1512 : : #define sock_lock_init_class_and_name(sk, sname, skey, name, key) \
1513 : : do { \
1514 : : sk->sk_lock.owned = 0; \
1515 : : init_waitqueue_head(&sk->sk_lock.wq); \
1516 : : spin_lock_init(&(sk)->sk_lock.slock); \
1517 : : debug_check_no_locks_freed((void *)&(sk)->sk_lock, \
1518 : : sizeof((sk)->sk_lock)); \
1519 : : lockdep_set_class_and_name(&(sk)->sk_lock.slock, \
1520 : : (skey), (sname)); \
1521 : : lockdep_init_map(&(sk)->sk_lock.dep_map, (name), (key), 0); \
1522 : : } while (0)
1523 : :
1524 : : #ifdef CONFIG_LOCKDEP
1525 : : static inline bool lockdep_sock_is_held(const struct sock *sk)
1526 : : {
1527 : : return lockdep_is_held(&sk->sk_lock) ||
1528 : : lockdep_is_held(&sk->sk_lock.slock);
1529 : : }
1530 : : #endif
1531 : :
1532 : : void lock_sock_nested(struct sock *sk, int subclass);
1533 : :
1534 : : static inline void lock_sock(struct sock *sk)
1535 : : {
1536 : 117465 : lock_sock_nested(sk, 0);
1537 : : }
1538 : :
1539 : : void __release_sock(struct sock *sk);
1540 : : void release_sock(struct sock *sk);
1541 : :
1542 : : /* BH context may only use the following locking interface. */
1543 : : #define bh_lock_sock(__sk) spin_lock(&((__sk)->sk_lock.slock))
1544 : : #define bh_lock_sock_nested(__sk) \
1545 : : spin_lock_nested(&((__sk)->sk_lock.slock), \
1546 : : SINGLE_DEPTH_NESTING)
1547 : : #define bh_unlock_sock(__sk) spin_unlock(&((__sk)->sk_lock.slock))
1548 : :
1549 : : bool lock_sock_fast(struct sock *sk);
1550 : : /**
1551 : : * unlock_sock_fast - complement of lock_sock_fast
1552 : : * @sk: socket
1553 : : * @slow: slow mode
1554 : : *
1555 : : * fast unlock socket for user context.
1556 : : * If slow mode is on, we call regular release_sock()
1557 : : */
1558 : : static inline void unlock_sock_fast(struct sock *sk, bool slow)
1559 : : {
1560 [ - + # # ]: 5961 : if (slow)
1561 : 0 : release_sock(sk);
1562 : : else
1563 : : spin_unlock_bh(&sk->sk_lock.slock);
1564 : : }
1565 : :
1566 : : /* Used by processes to "lock" a socket state, so that
1567 : : * interrupts and bottom half handlers won't change it
1568 : : * from under us. It essentially blocks any incoming
1569 : : * packets, so that we won't get any new data or any
1570 : : * packets that change the state of the socket.
1571 : : *
1572 : : * While locked, BH processing will add new packets to
1573 : : * the backlog queue. This queue is processed by the
1574 : : * owner of the socket lock right before it is released.
1575 : : *
1576 : : * Since ~2.3.5 it is also exclusive sleep lock serializing
1577 : : * accesses from user process context.
1578 : : */
1579 : :
1580 : : static inline void sock_owned_by_me(const struct sock *sk)
1581 : : {
1582 : : #ifdef CONFIG_LOCKDEP
1583 : : WARN_ON_ONCE(!lockdep_sock_is_held(sk) && debug_locks);
1584 : : #endif
1585 : : }
1586 : :
1587 : : static inline bool sock_owned_by_user(const struct sock *sk)
1588 : : {
1589 : : sock_owned_by_me(sk);
1590 : 0 : return sk->sk_lock.owned;
1591 : : }
1592 : :
1593 : : static inline bool sock_owned_by_user_nocheck(const struct sock *sk)
1594 : : {
1595 : : return sk->sk_lock.owned;
1596 : : }
1597 : :
1598 : : /* no reclassification while locks are held */
1599 : : static inline bool sock_allow_reclassification(const struct sock *csk)
1600 : : {
1601 : : struct sock *sk = (struct sock *)csk;
1602 : :
1603 : : return !sk->sk_lock.owned && !spin_is_locked(&sk->sk_lock.slock);
1604 : : }
1605 : :
1606 : : struct sock *sk_alloc(struct net *net, int family, gfp_t priority,
1607 : : struct proto *prot, int kern);
1608 : : void sk_free(struct sock *sk);
1609 : : void sk_destruct(struct sock *sk);
1610 : : struct sock *sk_clone_lock(const struct sock *sk, const gfp_t priority);
1611 : : void sk_free_unlock_clone(struct sock *sk);
1612 : :
1613 : : struct sk_buff *sock_wmalloc(struct sock *sk, unsigned long size, int force,
1614 : : gfp_t priority);
1615 : : void __sock_wfree(struct sk_buff *skb);
1616 : : void sock_wfree(struct sk_buff *skb);
1617 : : struct sk_buff *sock_omalloc(struct sock *sk, unsigned long size,
1618 : : gfp_t priority);
1619 : : void skb_orphan_partial(struct sk_buff *skb);
1620 : : void sock_rfree(struct sk_buff *skb);
1621 : : void sock_efree(struct sk_buff *skb);
1622 : : #ifdef CONFIG_INET
1623 : : void sock_edemux(struct sk_buff *skb);
1624 : : #else
1625 : : #define sock_edemux sock_efree
1626 : : #endif
1627 : :
1628 : : int sock_setsockopt(struct socket *sock, int level, int op,
1629 : : char __user *optval, unsigned int optlen);
1630 : :
1631 : : int sock_getsockopt(struct socket *sock, int level, int op,
1632 : : char __user *optval, int __user *optlen);
1633 : : int sock_gettstamp(struct socket *sock, void __user *userstamp,
1634 : : bool timeval, bool time32);
1635 : : struct sk_buff *sock_alloc_send_skb(struct sock *sk, unsigned long size,
1636 : : int noblock, int *errcode);
1637 : : struct sk_buff *sock_alloc_send_pskb(struct sock *sk, unsigned long header_len,
1638 : : unsigned long data_len, int noblock,
1639 : : int *errcode, int max_page_order);
1640 : : void *sock_kmalloc(struct sock *sk, int size, gfp_t priority);
1641 : : void sock_kfree_s(struct sock *sk, void *mem, int size);
1642 : : void sock_kzfree_s(struct sock *sk, void *mem, int size);
1643 : : void sk_send_sigurg(struct sock *sk);
1644 : :
1645 : : struct sockcm_cookie {
1646 : : u64 transmit_time;
1647 : : u32 mark;
1648 : : u16 tsflags;
1649 : : };
1650 : :
1651 : : static inline void sockcm_init(struct sockcm_cookie *sockc,
1652 : : const struct sock *sk)
1653 : : {
1654 : 1414 : *sockc = (struct sockcm_cookie) { .tsflags = sk->sk_tsflags };
1655 : : }
1656 : :
1657 : : int __sock_cmsg_send(struct sock *sk, struct msghdr *msg, struct cmsghdr *cmsg,
1658 : : struct sockcm_cookie *sockc);
1659 : : int sock_cmsg_send(struct sock *sk, struct msghdr *msg,
1660 : : struct sockcm_cookie *sockc);
1661 : :
1662 : : /*
1663 : : * Functions to fill in entries in struct proto_ops when a protocol
1664 : : * does not implement a particular function.
1665 : : */
1666 : : int sock_no_bind(struct socket *, struct sockaddr *, int);
1667 : : int sock_no_connect(struct socket *, struct sockaddr *, int, int);
1668 : : int sock_no_socketpair(struct socket *, struct socket *);
1669 : : int sock_no_accept(struct socket *, struct socket *, int, bool);
1670 : : int sock_no_getname(struct socket *, struct sockaddr *, int);
1671 : : int sock_no_ioctl(struct socket *, unsigned int, unsigned long);
1672 : : int sock_no_listen(struct socket *, int);
1673 : : int sock_no_shutdown(struct socket *, int);
1674 : : int sock_no_getsockopt(struct socket *, int , int, char __user *, int __user *);
1675 : : int sock_no_setsockopt(struct socket *, int, int, char __user *, unsigned int);
1676 : : int sock_no_sendmsg(struct socket *, struct msghdr *, size_t);
1677 : : int sock_no_sendmsg_locked(struct sock *sk, struct msghdr *msg, size_t len);
1678 : : int sock_no_recvmsg(struct socket *, struct msghdr *, size_t, int);
1679 : : int sock_no_mmap(struct file *file, struct socket *sock,
1680 : : struct vm_area_struct *vma);
1681 : : ssize_t sock_no_sendpage(struct socket *sock, struct page *page, int offset,
1682 : : size_t size, int flags);
1683 : : ssize_t sock_no_sendpage_locked(struct sock *sk, struct page *page,
1684 : : int offset, size_t size, int flags);
1685 : :
1686 : : /*
1687 : : * Functions to fill in entries in struct proto_ops when a protocol
1688 : : * uses the inet style.
1689 : : */
1690 : : int sock_common_getsockopt(struct socket *sock, int level, int optname,
1691 : : char __user *optval, int __user *optlen);
1692 : : int sock_common_recvmsg(struct socket *sock, struct msghdr *msg, size_t size,
1693 : : int flags);
1694 : : int sock_common_setsockopt(struct socket *sock, int level, int optname,
1695 : : char __user *optval, unsigned int optlen);
1696 : : int compat_sock_common_getsockopt(struct socket *sock, int level,
1697 : : int optname, char __user *optval, int __user *optlen);
1698 : : int compat_sock_common_setsockopt(struct socket *sock, int level,
1699 : : int optname, char __user *optval, unsigned int optlen);
1700 : :
1701 : : void sk_common_release(struct sock *sk);
1702 : :
1703 : : /*
1704 : : * Default socket callbacks and setup code
1705 : : */
1706 : :
1707 : : /* Initialise core socket variables */
1708 : : void sock_init_data(struct socket *sock, struct sock *sk);
1709 : :
1710 : : /*
1711 : : * Socket reference counting postulates.
1712 : : *
1713 : : * * Each user of socket SHOULD hold a reference count.
1714 : : * * Each access point to socket (an hash table bucket, reference from a list,
1715 : : * running timer, skb in flight MUST hold a reference count.
1716 : : * * When reference count hits 0, it means it will never increase back.
1717 : : * * When reference count hits 0, it means that no references from
1718 : : * outside exist to this socket and current process on current CPU
1719 : : * is last user and may/should destroy this socket.
1720 : : * * sk_free is called from any context: process, BH, IRQ. When
1721 : : * it is called, socket has no references from outside -> sk_free
1722 : : * may release descendant resources allocated by the socket, but
1723 : : * to the time when it is called, socket is NOT referenced by any
1724 : : * hash tables, lists etc.
1725 : : * * Packets, delivered from outside (from network or from another process)
1726 : : * and enqueued on receive/error queues SHOULD NOT grab reference count,
1727 : : * when they sit in queue. Otherwise, packets will leak to hole, when
1728 : : * socket is looked up by one cpu and unhasing is made by another CPU.
1729 : : * It is true for udp/raw, netlink (leak to receive and error queues), tcp
1730 : : * (leak to backlog). Packet socket does all the processing inside
1731 : : * BR_NETPROTO_LOCK, so that it has not this race condition. UNIX sockets
1732 : : * use separate SMP lock, so that they are prone too.
1733 : : */
1734 : :
1735 : : /* Ungrab socket and destroy it, if it was the last reference. */
1736 : 1158269 : static inline void sock_put(struct sock *sk)
1737 : : {
1738 [ + + ]: 1158269 : if (refcount_dec_and_test(&sk->sk_refcnt))
1739 : 149331 : sk_free(sk);
1740 : 1158181 : }
1741 : : /* Generic version of sock_put(), dealing with all sockets
1742 : : * (TCP_TIMEWAIT, TCP_NEW_SYN_RECV, ESTABLISHED...)
1743 : : */
1744 : : void sock_gen_put(struct sock *sk);
1745 : :
1746 : : int __sk_receive_skb(struct sock *sk, struct sk_buff *skb, const int nested,
1747 : : unsigned int trim_cap, bool refcounted);
1748 : : static inline int sk_receive_skb(struct sock *sk, struct sk_buff *skb,
1749 : : const int nested)
1750 : : {
1751 : : return __sk_receive_skb(sk, skb, nested, 1, true);
1752 : : }
1753 : :
1754 : 0 : static inline void sk_tx_queue_set(struct sock *sk, int tx_queue)
1755 : : {
1756 : : /* sk_tx_queue_mapping accept only upto a 16-bit value */
1757 [ # # # # : 0 : if (WARN_ON_ONCE((unsigned short)tx_queue >= USHRT_MAX))
# # ]
1758 : 0 : return;
1759 : 0 : sk->sk_tx_queue_mapping = tx_queue;
1760 : : }
1761 : :
1762 : : #define NO_QUEUE_MAPPING USHRT_MAX
1763 : :
1764 : : static inline void sk_tx_queue_clear(struct sock *sk)
1765 : : {
1766 : 427728 : sk->sk_tx_queue_mapping = NO_QUEUE_MAPPING;
1767 : : }
1768 : :
1769 : : static inline int sk_tx_queue_get(const struct sock *sk)
1770 : : {
1771 [ # # # # ]: 0 : if (sk && sk->sk_tx_queue_mapping != NO_QUEUE_MAPPING)
1772 : 0 : return sk->sk_tx_queue_mapping;
1773 : :
1774 : : return -1;
1775 : : }
1776 : :
1777 : 414 : static inline void sk_rx_queue_set(struct sock *sk, const struct sk_buff *skb)
1778 : : {
1779 : : #ifdef CONFIG_XPS
1780 [ - + ]: 414 : if (skb_rx_queue_recorded(skb)) {
1781 : : u16 rx_queue = skb_get_rx_queue(skb);
1782 : :
1783 [ # # # # : 0 : if (WARN_ON_ONCE(rx_queue == NO_QUEUE_MAPPING))
# # ]
1784 : 414 : return;
1785 : :
1786 : 0 : sk->sk_rx_queue_mapping = rx_queue;
1787 : : }
1788 : : #endif
1789 : : }
1790 : :
1791 : : static inline void sk_rx_queue_clear(struct sock *sk)
1792 : : {
1793 : : #ifdef CONFIG_XPS
1794 : 209370 : sk->sk_rx_queue_mapping = NO_QUEUE_MAPPING;
1795 : : #endif
1796 : : }
1797 : :
1798 : : #ifdef CONFIG_XPS
1799 : : static inline int sk_rx_queue_get(const struct sock *sk)
1800 : : {
1801 [ # # # # ]: 0 : if (sk && sk->sk_rx_queue_mapping != NO_QUEUE_MAPPING)
1802 : 0 : return sk->sk_rx_queue_mapping;
1803 : :
1804 : : return -1;
1805 : : }
1806 : : #endif
1807 : :
1808 : : static inline void sk_set_socket(struct sock *sk, struct socket *sock)
1809 : : {
1810 : 404140 : sk->sk_socket = sock;
1811 : : }
1812 : :
1813 : : static inline wait_queue_head_t *sk_sleep(struct sock *sk)
1814 : : {
1815 : : BUILD_BUG_ON(offsetof(struct socket_wq, wait) != 0);
1816 : 10551 : return &rcu_dereference_raw(sk->sk_wq)->wait;
1817 : : }
1818 : : /* Detach socket from process context.
1819 : : * Announce socket dead, detach it from wait queue and inode.
1820 : : * Note that parent inode held reference count on this struct sock,
1821 : : * we do not release it in this function, because protocol
1822 : : * probably wants some additional cleanups or even continuing
1823 : : * to work with this socket (TCP).
1824 : : */
1825 : 160780 : static inline void sock_orphan(struct sock *sk)
1826 : : {
1827 : 160780 : write_lock_bh(&sk->sk_callback_lock);
1828 : : sock_set_flag(sk, SOCK_DEAD);
1829 : : sk_set_socket(sk, NULL);
1830 : 160764 : sk->sk_wq = NULL;
1831 : 160764 : write_unlock_bh(&sk->sk_callback_lock);
1832 : 160746 : }
1833 : :
1834 : 34004 : static inline void sock_graft(struct sock *sk, struct socket *parent)
1835 : : {
1836 [ - + ]: 34004 : WARN_ON(parent->sk);
1837 : 34004 : write_lock_bh(&sk->sk_callback_lock);
1838 : 34005 : rcu_assign_pointer(sk->sk_wq, &parent->wq);
1839 : 34005 : parent->sk = sk;
1840 : : sk_set_socket(sk, parent);
1841 : 34005 : sk->sk_uid = SOCK_INODE(parent)->i_uid;
1842 : 34005 : security_sock_graft(sk, parent);
1843 : 34004 : write_unlock_bh(&sk->sk_callback_lock);
1844 : 34005 : }
1845 : :
1846 : : kuid_t sock_i_uid(struct sock *sk);
1847 : : unsigned long sock_i_ino(struct sock *sk);
1848 : :
1849 : 0 : static inline kuid_t sock_net_uid(const struct net *net, const struct sock *sk)
1850 : : {
1851 [ - + - + ]: 6491 : return sk ? sk->sk_uid : make_kuid(net->user_ns, 0);
1852 : : }
1853 : :
1854 : : static inline u32 net_tx_rndhash(void)
1855 : : {
1856 : 1035 : u32 v = prandom_u32();
1857 : :
1858 [ + - # # : 1035 : return v ?: 1;
# # ]
1859 : : }
1860 : :
1861 : : static inline void sk_set_txhash(struct sock *sk)
1862 : : {
1863 : 1035 : sk->sk_txhash = net_tx_rndhash();
1864 : : }
1865 : :
1866 : : static inline void sk_rethink_txhash(struct sock *sk)
1867 : : {
1868 [ # # # # : 0 : if (sk->sk_txhash)
# # ]
1869 : : sk_set_txhash(sk);
1870 : : }
1871 : :
1872 : : static inline struct dst_entry *
1873 : : __sk_dst_get(struct sock *sk)
1874 : : {
1875 : 33304 : return rcu_dereference_check(sk->sk_dst_cache,
1876 : : lockdep_sock_is_held(sk));
1877 : : }
1878 : :
1879 : : static inline struct dst_entry *
1880 : 802 : sk_dst_get(struct sock *sk)
1881 : : {
1882 : : struct dst_entry *dst;
1883 : :
1884 : : rcu_read_lock();
1885 : 802 : dst = rcu_dereference(sk->sk_dst_cache);
1886 [ + + - + ]: 1216 : if (dst && !atomic_inc_not_zero(&dst->__refcnt))
1887 : : dst = NULL;
1888 : : rcu_read_unlock();
1889 : 802 : return dst;
1890 : : }
1891 : :
1892 : 0 : static inline void dst_negative_advice(struct sock *sk)
1893 : : {
1894 : : struct dst_entry *ndst, *dst = __sk_dst_get(sk);
1895 : :
1896 : : sk_rethink_txhash(sk);
1897 : :
1898 [ # # # # ]: 0 : if (dst && dst->ops->negative_advice) {
1899 : 0 : ndst = dst->ops->negative_advice(dst);
1900 : :
1901 [ # # ]: 0 : if (ndst != dst) {
1902 : 0 : rcu_assign_pointer(sk->sk_dst_cache, ndst);
1903 : : sk_tx_queue_clear(sk);
1904 : 0 : sk->sk_dst_pending_confirm = 0;
1905 : : }
1906 : : }
1907 : 0 : }
1908 : :
1909 : : static inline void
1910 : : __sk_dst_set(struct sock *sk, struct dst_entry *dst)
1911 : : {
1912 : : struct dst_entry *old_dst;
1913 : :
1914 : : sk_tx_queue_clear(sk);
1915 : 0 : sk->sk_dst_pending_confirm = 0;
1916 : 0 : old_dst = rcu_dereference_protected(sk->sk_dst_cache,
1917 : : lockdep_sock_is_held(sk));
1918 : 0 : rcu_assign_pointer(sk->sk_dst_cache, dst);
1919 : 0 : dst_release(old_dst);
1920 : : }
1921 : :
1922 : : static inline void
1923 : 8944 : sk_dst_set(struct sock *sk, struct dst_entry *dst)
1924 : : {
1925 : : struct dst_entry *old_dst;
1926 : :
1927 : : sk_tx_queue_clear(sk);
1928 : 8944 : sk->sk_dst_pending_confirm = 0;
1929 : 8944 : old_dst = xchg((__force struct dst_entry **)&sk->sk_dst_cache, dst);
1930 : 8944 : dst_release(old_dst);
1931 : 8944 : }
1932 : :
1933 : : static inline void
1934 : : __sk_dst_reset(struct sock *sk)
1935 : : {
1936 : : __sk_dst_set(sk, NULL);
1937 : : }
1938 : :
1939 : : static inline void
1940 : 0 : sk_dst_reset(struct sock *sk)
1941 : : {
1942 : 7909 : sk_dst_set(sk, NULL);
1943 : 0 : }
1944 : :
1945 : : struct dst_entry *__sk_dst_check(struct sock *sk, u32 cookie);
1946 : :
1947 : : struct dst_entry *sk_dst_check(struct sock *sk, u32 cookie);
1948 : :
1949 : : static inline void sk_dst_confirm(struct sock *sk)
1950 : : {
1951 [ # # # # ]: 0 : if (!READ_ONCE(sk->sk_dst_pending_confirm))
1952 : : WRITE_ONCE(sk->sk_dst_pending_confirm, 1);
1953 : : }
1954 : :
1955 : : static inline void sock_confirm_neigh(struct sk_buff *skb, struct neighbour *n)
1956 : : {
1957 [ - + ]: 6617 : if (skb_get_dst_pending_confirm(skb)) {
1958 : 0 : struct sock *sk = skb->sk;
1959 : 0 : unsigned long now = jiffies;
1960 : :
1961 : : /* avoid dirtying neighbour */
1962 [ # # ]: 0 : if (READ_ONCE(n->confirmed) != now)
1963 : : WRITE_ONCE(n->confirmed, now);
1964 [ # # # # ]: 0 : if (sk && READ_ONCE(sk->sk_dst_pending_confirm))
1965 : : WRITE_ONCE(sk->sk_dst_pending_confirm, 0);
1966 : : }
1967 : : }
1968 : :
1969 : : bool sk_mc_loop(struct sock *sk);
1970 : :
1971 : : static inline bool sk_can_gso(const struct sock *sk)
1972 : : {
1973 : 0 : return net_gso_ok(sk->sk_route_caps, sk->sk_gso_type);
1974 : : }
1975 : :
1976 : : void sk_setup_caps(struct sock *sk, struct dst_entry *dst);
1977 : :
1978 : : static inline void sk_nocaps_add(struct sock *sk, netdev_features_t flags)
1979 : : {
1980 : 0 : sk->sk_route_nocaps |= flags;
1981 : 0 : sk->sk_route_caps &= ~flags;
1982 : : }
1983 : :
1984 : 0 : static inline int skb_do_copy_data_nocache(struct sock *sk, struct sk_buff *skb,
1985 : : struct iov_iter *from, char *to,
1986 : : int copy, int offset)
1987 : : {
1988 [ # # ]: 0 : if (skb->ip_summed == CHECKSUM_NONE) {
1989 : 0 : __wsum csum = 0;
1990 [ # # ]: 0 : if (!csum_and_copy_from_iter_full(to, copy, &csum, from))
1991 : 0 : return -EFAULT;
1992 : 0 : skb->csum = csum_block_add(skb->csum, csum, offset);
1993 [ # # ]: 0 : } else if (sk->sk_route_caps & NETIF_F_NOCACHE_COPY) {
1994 [ # # ]: 0 : if (!copy_from_iter_full_nocache(to, copy, from))
1995 : : return -EFAULT;
1996 [ # # ]: 0 : } else if (!copy_from_iter_full(to, copy, from))
1997 : : return -EFAULT;
1998 : :
1999 : : return 0;
2000 : : }
2001 : :
2002 : 0 : static inline int skb_add_data_nocache(struct sock *sk, struct sk_buff *skb,
2003 : : struct iov_iter *from, int copy)
2004 : : {
2005 : 0 : int err, offset = skb->len;
2006 : :
2007 : 0 : err = skb_do_copy_data_nocache(sk, skb, from, skb_put(skb, copy),
2008 : : copy, offset);
2009 [ # # ]: 0 : if (err)
2010 : : __skb_trim(skb, offset);
2011 : :
2012 : 0 : return err;
2013 : : }
2014 : :
2015 : 0 : static inline int skb_copy_to_page_nocache(struct sock *sk, struct iov_iter *from,
2016 : : struct sk_buff *skb,
2017 : : struct page *page,
2018 : : int off, int copy)
2019 : : {
2020 : : int err;
2021 : :
2022 : 0 : err = skb_do_copy_data_nocache(sk, skb, from, page_address(page) + off,
2023 : 0 : copy, skb->len);
2024 [ # # ]: 0 : if (err)
2025 : : return err;
2026 : :
2027 : 0 : skb->len += copy;
2028 : 0 : skb->data_len += copy;
2029 : 0 : skb->truesize += copy;
2030 : : sk_wmem_queued_add(sk, copy);
2031 : : sk_mem_charge(sk, copy);
2032 : : return 0;
2033 : : }
2034 : :
2035 : : /**
2036 : : * sk_wmem_alloc_get - returns write allocations
2037 : : * @sk: socket
2038 : : *
2039 : : * Returns sk_wmem_alloc minus initial offset of one
2040 : : */
2041 : : static inline int sk_wmem_alloc_get(const struct sock *sk)
2042 : : {
2043 : 1299919 : return refcount_read(&sk->sk_wmem_alloc) - 1;
2044 : : }
2045 : :
2046 : : /**
2047 : : * sk_rmem_alloc_get - returns read allocations
2048 : : * @sk: socket
2049 : : *
2050 : : * Returns sk_rmem_alloc
2051 : : */
2052 : : static inline int sk_rmem_alloc_get(const struct sock *sk)
2053 : : {
2054 : 0 : return atomic_read(&sk->sk_rmem_alloc);
2055 : : }
2056 : :
2057 : : /**
2058 : : * sk_has_allocations - check if allocations are outstanding
2059 : : * @sk: socket
2060 : : *
2061 : : * Returns true if socket has write or read allocations
2062 : : */
2063 : : static inline bool sk_has_allocations(const struct sock *sk)
2064 : : {
2065 : : return sk_wmem_alloc_get(sk) || sk_rmem_alloc_get(sk);
2066 : : }
2067 : :
2068 : : /**
2069 : : * skwq_has_sleeper - check if there are any waiting processes
2070 : : * @wq: struct socket_wq
2071 : : *
2072 : : * Returns true if socket_wq has waiting processes
2073 : : *
2074 : : * The purpose of the skwq_has_sleeper and sock_poll_wait is to wrap the memory
2075 : : * barrier call. They were added due to the race found within the tcp code.
2076 : : *
2077 : : * Consider following tcp code paths::
2078 : : *
2079 : : * CPU1 CPU2
2080 : : * sys_select receive packet
2081 : : * ... ...
2082 : : * __add_wait_queue update tp->rcv_nxt
2083 : : * ... ...
2084 : : * tp->rcv_nxt check sock_def_readable
2085 : : * ... {
2086 : : * schedule rcu_read_lock();
2087 : : * wq = rcu_dereference(sk->sk_wq);
2088 : : * if (wq && waitqueue_active(&wq->wait))
2089 : : * wake_up_interruptible(&wq->wait)
2090 : : * ...
2091 : : * }
2092 : : *
2093 : : * The race for tcp fires when the __add_wait_queue changes done by CPU1 stay
2094 : : * in its cache, and so does the tp->rcv_nxt update on CPU2 side. The CPU1
2095 : : * could then endup calling schedule and sleep forever if there are no more
2096 : : * data on the socket.
2097 : : *
2098 : : */
2099 : : static inline bool skwq_has_sleeper(struct socket_wq *wq)
2100 : : {
2101 [ + + + + : 6117882 : return wq && wq_has_sleeper(&wq->wait);
+ - + + #
# # # + +
+ + ]
2102 : : }
2103 : :
2104 : : /**
2105 : : * sock_poll_wait - place memory barrier behind the poll_wait call.
2106 : : * @filp: file
2107 : : * @sock: socket to wait on
2108 : : * @p: poll_table
2109 : : *
2110 : : * See the comments in the wq_has_sleeper function.
2111 : : */
2112 : 4027823 : static inline void sock_poll_wait(struct file *filp, struct socket *sock,
2113 : : poll_table *p)
2114 : : {
2115 [ + + ]: 4027823 : if (!poll_does_not_wait(p)) {
2116 : 1053787 : poll_wait(filp, &sock->wq.wait, p);
2117 : : /* We need to be sure we are in sync with the
2118 : : * socket flags modification.
2119 : : *
2120 : : * This memory barrier is paired in the wq_has_sleeper.
2121 : : */
2122 : 1053993 : smp_mb();
2123 : : }
2124 : 4027752 : }
2125 : :
2126 : : static inline void skb_set_hash_from_sk(struct sk_buff *skb, struct sock *sk)
2127 : : {
2128 [ + + ]: 1378175 : if (sk->sk_txhash) {
2129 : 414 : skb->l4_hash = 1;
2130 : 414 : skb->hash = sk->sk_txhash;
2131 : : }
2132 : : }
2133 : :
2134 : : void skb_set_owner_w(struct sk_buff *skb, struct sock *sk);
2135 : :
2136 : : /*
2137 : : * Queue a received datagram if it will fit. Stream and sequenced
2138 : : * protocols can't normally use this as they need to fit buffers in
2139 : : * and play with them.
2140 : : *
2141 : : * Inlined as it's very short and called for pretty much every
2142 : : * packet ever received.
2143 : : */
2144 : 211 : static inline void skb_set_owner_r(struct sk_buff *skb, struct sock *sk)
2145 : : {
2146 : 211 : skb_orphan(skb);
2147 : 211 : skb->sk = sk;
2148 : 211 : skb->destructor = sock_rfree;
2149 : 211 : atomic_add(skb->truesize, &sk->sk_rmem_alloc);
2150 : 211 : sk_mem_charge(sk, skb->truesize);
2151 : 211 : }
2152 : :
2153 : : void sk_reset_timer(struct sock *sk, struct timer_list *timer,
2154 : : unsigned long expires);
2155 : :
2156 : : void sk_stop_timer(struct sock *sk, struct timer_list *timer);
2157 : :
2158 : : int __sk_queue_drop_skb(struct sock *sk, struct sk_buff_head *sk_queue,
2159 : : struct sk_buff *skb, unsigned int flags,
2160 : : void (*destructor)(struct sock *sk,
2161 : : struct sk_buff *skb));
2162 : : int __sock_queue_rcv_skb(struct sock *sk, struct sk_buff *skb);
2163 : : int sock_queue_rcv_skb(struct sock *sk, struct sk_buff *skb);
2164 : :
2165 : : int sock_queue_err_skb(struct sock *sk, struct sk_buff *skb);
2166 : : struct sk_buff *sock_dequeue_err_skb(struct sock *sk);
2167 : :
2168 : : /*
2169 : : * Recover an error report and clear atomically
2170 : : */
2171 : :
2172 : 2590510 : static inline int sock_error(struct sock *sk)
2173 : : {
2174 : : int err;
2175 [ + + ]: 2590510 : if (likely(!sk->sk_err))
2176 : : return 0;
2177 : 32 : err = xchg(&sk->sk_err, 0);
2178 : 32 : return -err;
2179 : : }
2180 : :
2181 : : static inline unsigned long sock_wspace(struct sock *sk)
2182 : : {
2183 : : int amt = 0;
2184 : :
2185 [ # # ]: 0 : if (!(sk->sk_shutdown & SEND_SHUTDOWN)) {
2186 : 0 : amt = sk->sk_sndbuf - refcount_read(&sk->sk_wmem_alloc);
2187 [ # # ]: 0 : if (amt < 0)
2188 : : amt = 0;
2189 : : }
2190 : 0 : return amt;
2191 : : }
2192 : :
2193 : : /* Note:
2194 : : * We use sk->sk_wq_raw, from contexts knowing this
2195 : : * pointer is not NULL and cannot disappear/change.
2196 : : */
2197 : 3118 : static inline void sk_set_bit(int nr, struct sock *sk)
2198 : : {
2199 [ + - - + ]: 6236 : if ((nr == SOCKWQ_ASYNC_NOSPACE || nr == SOCKWQ_ASYNC_WAITDATA) &&
2200 : : !sock_flag(sk, SOCK_FASYNC))
2201 : 3118 : return;
2202 : :
2203 : 0 : set_bit(nr, &sk->sk_wq_raw->flags);
2204 : : }
2205 : :
2206 : 2704 : static inline void sk_clear_bit(int nr, struct sock *sk)
2207 : : {
2208 [ + - - + ]: 5408 : if ((nr == SOCKWQ_ASYNC_NOSPACE || nr == SOCKWQ_ASYNC_WAITDATA) &&
2209 : : !sock_flag(sk, SOCK_FASYNC))
2210 : 2704 : return;
2211 : :
2212 : 0 : clear_bit(nr, &sk->sk_wq_raw->flags);
2213 : : }
2214 : :
2215 : 3060740 : static inline void sk_wake_async(const struct sock *sk, int how, int band)
2216 : : {
2217 [ - + ]: 3060740 : if (sock_flag(sk, SOCK_FASYNC)) {
2218 : : rcu_read_lock();
2219 : 0 : sock_wake_async(rcu_dereference(sk->sk_wq), how, band);
2220 : : rcu_read_unlock();
2221 : : }
2222 : 3060740 : }
2223 : :
2224 : : /* Since sk_{r,w}mem_alloc sums skb->truesize, even a small frame might
2225 : : * need sizeof(sk_buff) + MTU + padding, unless net driver perform copybreak.
2226 : : * Note: for send buffers, TCP works better if we can build two skbs at
2227 : : * minimum.
2228 : : */
2229 : : #define TCP_SKB_MIN_TRUESIZE (2048 + SKB_DATA_ALIGN(sizeof(struct sk_buff)))
2230 : :
2231 : : #define SOCK_MIN_SNDBUF (TCP_SKB_MIN_TRUESIZE * 2)
2232 : : #define SOCK_MIN_RCVBUF TCP_SKB_MIN_TRUESIZE
2233 : :
2234 : : static inline void sk_stream_moderate_sndbuf(struct sock *sk)
2235 : : {
2236 : : u32 val;
2237 : :
2238 [ # # # # ]: 0 : if (sk->sk_userlocks & SOCK_SNDBUF_LOCK)
2239 : : return;
2240 : :
2241 : 0 : val = min(sk->sk_sndbuf, sk->sk_wmem_queued >> 1);
2242 : :
2243 : 0 : WRITE_ONCE(sk->sk_sndbuf, max_t(u32, val, SOCK_MIN_SNDBUF));
2244 : : }
2245 : :
2246 : : struct sk_buff *sk_stream_alloc_skb(struct sock *sk, int size, gfp_t gfp,
2247 : : bool force_schedule);
2248 : :
2249 : : /**
2250 : : * sk_page_frag - return an appropriate page_frag
2251 : : * @sk: socket
2252 : : *
2253 : : * Use the per task page_frag instead of the per socket one for
2254 : : * optimization when we know that we're in the normal context and owns
2255 : : * everything that's associated with %current.
2256 : : *
2257 : : * gfpflags_allow_blocking() isn't enough here as direct reclaim may nest
2258 : : * inside other socket operations and end up recursing into sk_page_frag()
2259 : : * while it's already in use.
2260 : : */
2261 : : static inline struct page_frag *sk_page_frag(struct sock *sk)
2262 : : {
2263 [ + + ]: 3322 : if (gfpflags_normal_context(sk->sk_allocation))
2264 : 831 : return ¤t->task_frag;
2265 : :
2266 : 830 : return &sk->sk_frag;
2267 : : }
2268 : :
2269 : : bool sk_page_frag_refill(struct sock *sk, struct page_frag *pfrag);
2270 : :
2271 : : /*
2272 : : * Default write policy as shown to user space via poll/select/SIGIO
2273 : : */
2274 : : static inline bool sock_writeable(const struct sock *sk)
2275 : : {
2276 : 852618 : return refcount_read(&sk->sk_wmem_alloc) < (READ_ONCE(sk->sk_sndbuf) >> 1);
2277 : : }
2278 : :
2279 : : static inline gfp_t gfp_any(void)
2280 : : {
2281 [ + + # # : 257878 : return in_softirq() ? GFP_ATOMIC : GFP_KERNEL;
- + - + #
# # # ]
2282 : : }
2283 : :
2284 : : static inline long sock_rcvtimeo(const struct sock *sk, bool noblock)
2285 : : {
2286 [ + + + + ]: 2330722 : return noblock ? 0 : sk->sk_rcvtimeo;
2287 : : }
2288 : :
2289 : : static inline long sock_sndtimeo(const struct sock *sk, bool noblock)
2290 : : {
2291 [ + + + + ]: 1878127 : return noblock ? 0 : sk->sk_sndtimeo;
2292 : : }
2293 : :
2294 : : static inline int sock_rcvlowat(const struct sock *sk, int waitall, int len)
2295 : : {
2296 [ + + ]: 3438357 : int v = waitall ? len : min_t(int, READ_ONCE(sk->sk_rcvlowat), len);
2297 : :
2298 [ + + # # ]: 1719145 : return v ?: 1;
2299 : : }
2300 : :
2301 : : /* Alas, with timeout socket operations are not restartable.
2302 : : * Compare this to poll().
2303 : : */
2304 : : static inline int sock_intr_errno(long timeo)
2305 : : {
2306 [ # # # # : 0 : return timeo == MAX_SCHEDULE_TIMEOUT ? -ERESTARTSYS : -EINTR;
# # ]
2307 : : }
2308 : :
2309 : : struct sock_skb_cb {
2310 : : u32 dropcount;
2311 : : };
2312 : :
2313 : : /* Store sock_skb_cb at the end of skb->cb[] so protocol families
2314 : : * using skb->cb[] would keep using it directly and utilize its
2315 : : * alignement guarantee.
2316 : : */
2317 : : #define SOCK_SKB_CB_OFFSET ((FIELD_SIZEOF(struct sk_buff, cb) - \
2318 : : sizeof(struct sock_skb_cb)))
2319 : :
2320 : : #define SOCK_SKB_CB(__skb) ((struct sock_skb_cb *)((__skb)->cb + \
2321 : : SOCK_SKB_CB_OFFSET))
2322 : :
2323 : : #define sock_skb_cb_check_size(size) \
2324 : : BUILD_BUG_ON((size) > SOCK_SKB_CB_OFFSET)
2325 : :
2326 : : static inline void
2327 : : sock_skb_set_dropcount(const struct sock *sk, struct sk_buff *skb)
2328 : : {
2329 [ - + ]: 8400 : SOCK_SKB_CB(skb)->dropcount = sock_flag(sk, SOCK_RXQ_OVFL) ?
2330 : : atomic_read(&sk->sk_drops) : 0;
2331 : : }
2332 : :
2333 : 0 : static inline void sk_drops_add(struct sock *sk, const struct sk_buff *skb)
2334 : : {
2335 [ # # ]: 0 : int segs = max_t(u16, 1, skb_shinfo(skb)->gso_segs);
2336 : :
2337 : 0 : atomic_add(segs, &sk->sk_drops);
2338 : 0 : }
2339 : :
2340 : : static inline ktime_t sock_read_timestamp(struct sock *sk)
2341 : : {
2342 : : #if BITS_PER_LONG==32
2343 : : unsigned int seq;
2344 : : ktime_t kt;
2345 : :
2346 : : do {
2347 : : seq = read_seqbegin(&sk->sk_stamp_seq);
2348 : 0 : kt = sk->sk_stamp;
2349 [ # # ]: 0 : } while (read_seqretry(&sk->sk_stamp_seq, seq));
2350 : :
2351 : 0 : return kt;
2352 : : #else
2353 : : return READ_ONCE(sk->sk_stamp);
2354 : : #endif
2355 : : }
2356 : :
2357 : 828 : static inline void sock_write_timestamp(struct sock *sk, ktime_t kt)
2358 : : {
2359 : : #if BITS_PER_LONG==32
2360 : : write_seqlock(&sk->sk_stamp_seq);
2361 : 828 : sk->sk_stamp = kt;
2362 : : write_sequnlock(&sk->sk_stamp_seq);
2363 : : #else
2364 : : WRITE_ONCE(sk->sk_stamp, kt);
2365 : : #endif
2366 : 828 : }
2367 : :
2368 : : void __sock_recv_timestamp(struct msghdr *msg, struct sock *sk,
2369 : : struct sk_buff *skb);
2370 : : void __sock_recv_wifi_status(struct msghdr *msg, struct sock *sk,
2371 : : struct sk_buff *skb);
2372 : :
2373 : : static inline void
2374 : 413 : sock_recv_timestamp(struct msghdr *msg, struct sock *sk, struct sk_buff *skb)
2375 : : {
2376 : 413 : ktime_t kt = skb->tstamp;
2377 : : struct skb_shared_hwtstamps *hwtstamps = skb_hwtstamps(skb);
2378 : :
2379 : : /*
2380 : : * generate control messages if
2381 : : * - receive time stamping in software requested
2382 : : * - software time stamp available and wanted
2383 : : * - hardware time stamps available and wanted
2384 : : */
2385 [ - + # # ]: 413 : if (sock_flag(sk, SOCK_RCVTSTAMP) ||
2386 [ # # ]: 0 : (sk->sk_tsflags & SOF_TIMESTAMPING_RX_SOFTWARE) ||
2387 [ # # # # ]: 0 : (kt && sk->sk_tsflags & SOF_TIMESTAMPING_SOFTWARE) ||
2388 [ # # ]: 0 : (hwtstamps->hwtstamp &&
2389 : 0 : (sk->sk_tsflags & SOF_TIMESTAMPING_RAW_HARDWARE)))
2390 : 413 : __sock_recv_timestamp(msg, sk, skb);
2391 : : else
2392 : 0 : sock_write_timestamp(sk, kt);
2393 : :
2394 [ - + # # ]: 413 : if (sock_flag(sk, SOCK_WIFI_STATUS) && skb->wifi_acked_valid)
2395 : 0 : __sock_recv_wifi_status(msg, sk, skb);
2396 : 413 : }
2397 : :
2398 : : void __sock_recv_ts_and_drops(struct msghdr *msg, struct sock *sk,
2399 : : struct sk_buff *skb);
2400 : :
2401 : : #define SK_DEFAULT_STAMP (-1L * NSEC_PER_SEC)
2402 : 4210 : static inline void sock_recv_ts_and_drops(struct msghdr *msg, struct sock *sk,
2403 : : struct sk_buff *skb)
2404 : : {
2405 : : #define FLAGS_TS_OR_DROPS ((1UL << SOCK_RXQ_OVFL) | \
2406 : : (1UL << SOCK_RCVTSTAMP))
2407 : : #define TSFLAGS_ANY (SOF_TIMESTAMPING_SOFTWARE | \
2408 : : SOF_TIMESTAMPING_RAW_HARDWARE)
2409 : :
2410 [ + + - + ]: 4210 : if (sk->sk_flags & FLAGS_TS_OR_DROPS || sk->sk_tsflags & TSFLAGS_ANY)
2411 : 413 : __sock_recv_ts_and_drops(msg, sk, skb);
2412 [ - + ]: 3797 : else if (unlikely(sock_flag(sk, SOCK_TIMESTAMP)))
2413 : 0 : sock_write_timestamp(sk, skb->tstamp);
2414 [ + + ]: 3797 : else if (unlikely(sk->sk_stamp == SK_DEFAULT_STAMP))
2415 : 828 : sock_write_timestamp(sk, 0);
2416 : 4210 : }
2417 : :
2418 : : void __sock_tx_timestamp(__u16 tsflags, __u8 *tx_flags);
2419 : :
2420 : : /**
2421 : : * _sock_tx_timestamp - checks whether the outgoing packet is to be time stamped
2422 : : * @sk: socket sending this packet
2423 : : * @tsflags: timestamping flags to use
2424 : : * @tx_flags: completed with instructions for time stamping
2425 : : * @tskey: filled in with next sk_tskey (not for TCP, which uses seqno)
2426 : : *
2427 : : * Note: callers should take care of initial ``*tx_flags`` value (usually 0)
2428 : : */
2429 : 5558 : static inline void _sock_tx_timestamp(struct sock *sk, __u16 tsflags,
2430 : : __u8 *tx_flags, __u32 *tskey)
2431 : : {
2432 [ - + ]: 5558 : if (unlikely(tsflags)) {
2433 : 0 : __sock_tx_timestamp(tsflags, tx_flags);
2434 [ # # # # : 0 : if (tsflags & SOF_TIMESTAMPING_OPT_ID && tskey &&
# # ]
2435 : 0 : tsflags & SOF_TIMESTAMPING_TX_RECORD_MASK)
2436 : 0 : *tskey = sk->sk_tskey++;
2437 : : }
2438 [ - + ]: 5558 : if (unlikely(sock_flag(sk, SOCK_WIFI_STATUS)))
2439 : 0 : *tx_flags |= SKBTX_WIFI_STATUS;
2440 : 5558 : }
2441 : :
2442 : : static inline void sock_tx_timestamp(struct sock *sk, __u16 tsflags,
2443 : : __u8 *tx_flags)
2444 : : {
2445 : 4144 : _sock_tx_timestamp(sk, tsflags, tx_flags, NULL);
2446 : : }
2447 : :
2448 : : static inline void skb_setup_tx_timestamp(struct sk_buff *skb, __u16 tsflags)
2449 : : {
2450 : 4242 : _sock_tx_timestamp(skb->sk, tsflags, &skb_shinfo(skb)->tx_flags,
2451 : 1414 : &skb_shinfo(skb)->tskey);
2452 : : }
2453 : :
2454 : : /**
2455 : : * sk_eat_skb - Release a skb if it is no longer needed
2456 : : * @sk: socket to eat this skb from
2457 : : * @skb: socket buffer to eat
2458 : : *
2459 : : * This routine must be called with interrupts disabled or with the socket
2460 : : * locked so that the sk_buff queue operation is ok.
2461 : : */
2462 : : DECLARE_STATIC_KEY_FALSE(tcp_rx_skb_cache_key);
2463 : 0 : static inline void sk_eat_skb(struct sock *sk, struct sk_buff *skb)
2464 : : {
2465 : : __skb_unlink(skb, &sk->sk_receive_queue);
2466 [ # # # # ]: 0 : if (static_branch_unlikely(&tcp_rx_skb_cache_key) &&
2467 : 0 : !sk->sk_rx_skb_cache) {
2468 : 0 : sk->sk_rx_skb_cache = skb;
2469 : 0 : skb_orphan(skb);
2470 : 0 : return;
2471 : : }
2472 : 0 : __kfree_skb(skb);
2473 : : }
2474 : :
2475 : : static inline
2476 : 0 : struct net *sock_net(const struct sock *sk)
2477 : : {
2478 : 0 : return read_pnet(&sk->sk_net);
2479 : : }
2480 : :
2481 : : static inline
2482 : : void sock_net_set(struct sock *sk, struct net *net)
2483 : : {
2484 : : write_pnet(&sk->sk_net, net);
2485 : : }
2486 : :
2487 : : static inline struct sock *skb_steal_sock(struct sk_buff *skb)
2488 : : {
2489 [ + + ]: 6354 : if (skb->sk) {
2490 : : struct sock *sk = skb->sk;
2491 : :
2492 : 1376 : skb->destructor = NULL;
2493 : 1376 : skb->sk = NULL;
2494 : : return sk;
2495 : : }
2496 : : return NULL;
2497 : : }
2498 : :
2499 : : /* This helper checks if a socket is a full socket,
2500 : : * ie _not_ a timewait or request socket.
2501 : : */
2502 : 0 : static inline bool sk_fullsock(const struct sock *sk)
2503 : : {
2504 : 2157447 : return (1 << sk->sk_state) & ~(TCPF_TIME_WAIT | TCPF_NEW_SYN_RECV);
2505 : : }
2506 : :
2507 : : /* Checks if this SKB belongs to an HW offloaded socket
2508 : : * and whether any SW fallbacks are required based on dev.
2509 : : * Check decrypted mark in case skb_orphan() cleared socket.
2510 : : */
2511 : : static inline struct sk_buff *sk_validate_xmit_skb(struct sk_buff *skb,
2512 : : struct net_device *dev)
2513 : : {
2514 : : #ifdef CONFIG_SOCK_VALIDATE_XMIT
2515 : : struct sock *sk = skb->sk;
2516 : :
2517 : : if (sk && sk_fullsock(sk) && sk->sk_validate_xmit_skb) {
2518 : : skb = sk->sk_validate_xmit_skb(sk, dev, skb);
2519 : : #ifdef CONFIG_TLS_DEVICE
2520 : : } else if (unlikely(skb->decrypted)) {
2521 : : pr_warn_ratelimited("unencrypted skb with no associated socket - dropping\n");
2522 : : kfree_skb(skb);
2523 : : skb = NULL;
2524 : : #endif
2525 : : }
2526 : : #endif
2527 : :
2528 : : return skb;
2529 : : }
2530 : :
2531 : : /* This helper checks if a socket is a LISTEN or NEW_SYN_RECV
2532 : : * SYNACK messages can be attached to either ones (depending on SYNCOOKIE)
2533 : : */
2534 : : static inline bool sk_listener(const struct sock *sk)
2535 : : {
2536 : : return (1 << sk->sk_state) & (TCPF_LISTEN | TCPF_NEW_SYN_RECV);
2537 : : }
2538 : :
2539 : : void sock_enable_timestamp(struct sock *sk, int flag);
2540 : : int sock_recv_errqueue(struct sock *sk, struct msghdr *msg, int len, int level,
2541 : : int type);
2542 : :
2543 : : bool sk_ns_capable(const struct sock *sk,
2544 : : struct user_namespace *user_ns, int cap);
2545 : : bool sk_capable(const struct sock *sk, int cap);
2546 : : bool sk_net_capable(const struct sock *sk, int cap);
2547 : :
2548 : : void sk_get_meminfo(const struct sock *sk, u32 *meminfo);
2549 : :
2550 : : /* Take into consideration the size of the struct sk_buff overhead in the
2551 : : * determination of these values, since that is non-constant across
2552 : : * platforms. This makes socket queueing behavior and performance
2553 : : * not depend upon such differences.
2554 : : */
2555 : : #define _SK_MEM_PACKETS 256
2556 : : #define _SK_MEM_OVERHEAD SKB_TRUESIZE(256)
2557 : : #define SK_WMEM_MAX (_SK_MEM_OVERHEAD * _SK_MEM_PACKETS)
2558 : : #define SK_RMEM_MAX (_SK_MEM_OVERHEAD * _SK_MEM_PACKETS)
2559 : :
2560 : : extern __u32 sysctl_wmem_max;
2561 : : extern __u32 sysctl_rmem_max;
2562 : :
2563 : : extern int sysctl_tstamp_allow_data;
2564 : : extern int sysctl_optmem_max;
2565 : :
2566 : : extern __u32 sysctl_wmem_default;
2567 : : extern __u32 sysctl_rmem_default;
2568 : :
2569 : : DECLARE_STATIC_KEY_FALSE(net_high_order_alloc_disable_key);
2570 : :
2571 : : static inline int sk_get_wmem0(const struct sock *sk, const struct proto *proto)
2572 : : {
2573 : : /* Does this proto have per netns sysctl_wmem ? */
2574 [ # # # # ]: 0 : if (proto->sysctl_wmem_offset)
2575 : 0 : return *(int *)((void *)sock_net(sk) + proto->sysctl_wmem_offset);
2576 : :
2577 : 0 : return *proto->sysctl_wmem;
2578 : : }
2579 : :
2580 : : static inline int sk_get_rmem0(const struct sock *sk, const struct proto *proto)
2581 : : {
2582 : : /* Does this proto have per netns sysctl_rmem ? */
2583 [ # # # # ]: 0 : if (proto->sysctl_rmem_offset)
2584 : 0 : return *(int *)((void *)sock_net(sk) + proto->sysctl_rmem_offset);
2585 : :
2586 : 0 : return *proto->sysctl_rmem;
2587 : : }
2588 : :
2589 : : /* Default TCP Small queue budget is ~1 ms of data (1sec >> 10)
2590 : : * Some wifi drivers need to tweak it to get more chunks.
2591 : : * They can use this helper from their ndo_start_xmit()
2592 : : */
2593 : : static inline void sk_pacing_shift_update(struct sock *sk, int val)
2594 : : {
2595 : : if (!sk || !sk_fullsock(sk) || READ_ONCE(sk->sk_pacing_shift) == val)
2596 : : return;
2597 : : WRITE_ONCE(sk->sk_pacing_shift, val);
2598 : : }
2599 : :
2600 : : /* if a socket is bound to a device, check that the given device
2601 : : * index is either the same or that the socket is bound to an L3
2602 : : * master device and the given device index is also enslaved to
2603 : : * that L3 master
2604 : : */
2605 : 0 : static inline bool sk_dev_equal_l3scope(struct sock *sk, int dif)
2606 : : {
2607 : : int mdif;
2608 : :
2609 [ # # # # ]: 0 : if (!sk->sk_bound_dev_if || sk->sk_bound_dev_if == dif)
2610 : : return true;
2611 : :
2612 : 0 : mdif = l3mdev_master_ifindex_by_index(sock_net(sk), dif);
2613 [ # # # # ]: 0 : if (mdif && mdif == sk->sk_bound_dev_if)
2614 : : return true;
2615 : :
2616 : 0 : return false;
2617 : : }
2618 : :
2619 : : #endif /* _SOCK_H */
|
