Branch data Line data Source code
1 : : // SPDX-License-Identifier: GPL-2.0
2 : : /*
3 : : * Multipath support for RPC
4 : : *
5 : : * Copyright (c) 2015, 2016, Primary Data, Inc. All rights reserved.
6 : : *
7 : : * Trond Myklebust <trond.myklebust@primarydata.com>
8 : : *
9 : : */
10 : : #include <linux/types.h>
11 : : #include <linux/kref.h>
12 : : #include <linux/list.h>
13 : : #include <linux/rcupdate.h>
14 : : #include <linux/rculist.h>
15 : : #include <linux/slab.h>
16 : : #include <asm/cmpxchg.h>
17 : : #include <linux/spinlock.h>
18 : : #include <linux/sunrpc/xprt.h>
19 : : #include <linux/sunrpc/addr.h>
20 : : #include <linux/sunrpc/xprtmultipath.h>
21 : :
22 : : typedef struct rpc_xprt *(*xprt_switch_find_xprt_t)(struct rpc_xprt_switch *xps,
23 : : const struct rpc_xprt *cur);
24 : :
25 : : static const struct rpc_xprt_iter_ops rpc_xprt_iter_singular;
26 : : static const struct rpc_xprt_iter_ops rpc_xprt_iter_roundrobin;
27 : : static const struct rpc_xprt_iter_ops rpc_xprt_iter_listall;
28 : :
29 : 0 : static void xprt_switch_add_xprt_locked(struct rpc_xprt_switch *xps,
30 : : struct rpc_xprt *xprt)
31 : : {
32 [ # # ]: 0 : if (unlikely(xprt_get(xprt) == NULL))
33 : 0 : return;
34 : 0 : list_add_tail_rcu(&xprt->xprt_switch, &xps->xps_xprt_list);
35 : 0 : smp_wmb();
36 [ # # ]: 0 : if (xps->xps_nxprts == 0)
37 : 0 : xps->xps_net = xprt->xprt_net;
38 : 0 : xps->xps_nxprts++;
39 : 0 : xps->xps_nactive++;
40 : : }
41 : :
42 : : /**
43 : : * rpc_xprt_switch_add_xprt - Add a new rpc_xprt to an rpc_xprt_switch
44 : : * @xps: pointer to struct rpc_xprt_switch
45 : : * @xprt: pointer to struct rpc_xprt
46 : : *
47 : : * Adds xprt to the end of the list of struct rpc_xprt in xps.
48 : : */
49 : 0 : void rpc_xprt_switch_add_xprt(struct rpc_xprt_switch *xps,
50 : : struct rpc_xprt *xprt)
51 : : {
52 [ # # ]: 0 : if (xprt == NULL)
53 : 0 : return;
54 : : spin_lock(&xps->xps_lock);
55 [ # # # # ]: 0 : if (xps->xps_net == xprt->xprt_net || xps->xps_net == NULL)
56 : 0 : xprt_switch_add_xprt_locked(xps, xprt);
57 : : spin_unlock(&xps->xps_lock);
58 : : }
59 : :
60 : : static void xprt_switch_remove_xprt_locked(struct rpc_xprt_switch *xps,
61 : : struct rpc_xprt *xprt)
62 : : {
63 [ # # # # ]: 0 : if (unlikely(xprt == NULL))
64 : : return;
65 : 0 : xps->xps_nactive--;
66 : 0 : xps->xps_nxprts--;
67 [ # # # # ]: 0 : if (xps->xps_nxprts == 0)
68 : 0 : xps->xps_net = NULL;
69 : 0 : smp_wmb();
70 : : list_del_rcu(&xprt->xprt_switch);
71 : : }
72 : :
73 : : /**
74 : : * rpc_xprt_switch_remove_xprt - Removes an rpc_xprt from a rpc_xprt_switch
75 : : * @xps: pointer to struct rpc_xprt_switch
76 : : * @xprt: pointer to struct rpc_xprt
77 : : *
78 : : * Removes xprt from the list of struct rpc_xprt in xps.
79 : : */
80 : 0 : void rpc_xprt_switch_remove_xprt(struct rpc_xprt_switch *xps,
81 : : struct rpc_xprt *xprt)
82 : : {
83 : : spin_lock(&xps->xps_lock);
84 : : xprt_switch_remove_xprt_locked(xps, xprt);
85 : : spin_unlock(&xps->xps_lock);
86 : 0 : xprt_put(xprt);
87 : 0 : }
88 : :
89 : : /**
90 : : * xprt_switch_alloc - Allocate a new struct rpc_xprt_switch
91 : : * @xprt: pointer to struct rpc_xprt
92 : : * @gfp_flags: allocation flags
93 : : *
94 : : * On success, returns an initialised struct rpc_xprt_switch, containing
95 : : * the entry xprt. Returns NULL on failure.
96 : : */
97 : 0 : struct rpc_xprt_switch *xprt_switch_alloc(struct rpc_xprt *xprt,
98 : : gfp_t gfp_flags)
99 : : {
100 : : struct rpc_xprt_switch *xps;
101 : :
102 : : xps = kmalloc(sizeof(*xps), gfp_flags);
103 [ # # ]: 0 : if (xps != NULL) {
104 : 0 : spin_lock_init(&xps->xps_lock);
105 : : kref_init(&xps->xps_kref);
106 : 0 : xps->xps_nxprts = xps->xps_nactive = 0;
107 : : atomic_long_set(&xps->xps_queuelen, 0);
108 : 0 : xps->xps_net = NULL;
109 : 0 : INIT_LIST_HEAD(&xps->xps_xprt_list);
110 : 0 : xps->xps_iter_ops = &rpc_xprt_iter_singular;
111 : 0 : xprt_switch_add_xprt_locked(xps, xprt);
112 : : }
113 : :
114 : 0 : return xps;
115 : : }
116 : :
117 : 0 : static void xprt_switch_free_entries(struct rpc_xprt_switch *xps)
118 : : {
119 : : spin_lock(&xps->xps_lock);
120 [ # # ]: 0 : while (!list_empty(&xps->xps_xprt_list)) {
121 : : struct rpc_xprt *xprt;
122 : :
123 : 0 : xprt = list_first_entry(&xps->xps_xprt_list,
124 : : struct rpc_xprt, xprt_switch);
125 : : xprt_switch_remove_xprt_locked(xps, xprt);
126 : : spin_unlock(&xps->xps_lock);
127 : 0 : xprt_put(xprt);
128 : : spin_lock(&xps->xps_lock);
129 : : }
130 : : spin_unlock(&xps->xps_lock);
131 : 0 : }
132 : :
133 : 0 : static void xprt_switch_free(struct kref *kref)
134 : : {
135 : 0 : struct rpc_xprt_switch *xps = container_of(kref,
136 : : struct rpc_xprt_switch, xps_kref);
137 : :
138 : 0 : xprt_switch_free_entries(xps);
139 [ # # ]: 0 : kfree_rcu(xps, xps_rcu);
140 : 0 : }
141 : :
142 : : /**
143 : : * xprt_switch_get - Return a reference to a rpc_xprt_switch
144 : : * @xps: pointer to struct rpc_xprt_switch
145 : : *
146 : : * Returns a reference to xps unless the refcount is already zero.
147 : : */
148 : 0 : struct rpc_xprt_switch *xprt_switch_get(struct rpc_xprt_switch *xps)
149 : : {
150 [ # # # # : 0 : if (xps != NULL && kref_get_unless_zero(&xps->xps_kref))
# # # # ]
151 : 0 : return xps;
152 : : return NULL;
153 : : }
154 : :
155 : : /**
156 : : * xprt_switch_put - Release a reference to a rpc_xprt_switch
157 : : * @xps: pointer to struct rpc_xprt_switch
158 : : *
159 : : * Release the reference to xps, and free it once the refcount is zero.
160 : : */
161 : 0 : void xprt_switch_put(struct rpc_xprt_switch *xps)
162 : : {
163 [ # # # # ]: 0 : if (xps != NULL)
164 : 0 : kref_put(&xps->xps_kref, xprt_switch_free);
165 : 0 : }
166 : :
167 : : /**
168 : : * rpc_xprt_switch_set_roundrobin - Set a round-robin policy on rpc_xprt_switch
169 : : * @xps: pointer to struct rpc_xprt_switch
170 : : *
171 : : * Sets a round-robin default policy for iterators acting on xps.
172 : : */
173 : 0 : void rpc_xprt_switch_set_roundrobin(struct rpc_xprt_switch *xps)
174 : : {
175 [ # # ]: 0 : if (READ_ONCE(xps->xps_iter_ops) != &rpc_xprt_iter_roundrobin)
176 : 0 : WRITE_ONCE(xps->xps_iter_ops, &rpc_xprt_iter_roundrobin);
177 : 0 : }
178 : :
179 : : static
180 : : const struct rpc_xprt_iter_ops *xprt_iter_ops(const struct rpc_xprt_iter *xpi)
181 : : {
182 [ # # # # : 0 : if (xpi->xpi_ops != NULL)
# # # # ]
183 : : return xpi->xpi_ops;
184 : 0 : return rcu_dereference(xpi->xpi_xpswitch)->xps_iter_ops;
185 : : }
186 : :
187 : : static
188 : 0 : void xprt_iter_no_rewind(struct rpc_xprt_iter *xpi)
189 : : {
190 : 0 : }
191 : :
192 : : static
193 : 0 : void xprt_iter_default_rewind(struct rpc_xprt_iter *xpi)
194 : : {
195 : : WRITE_ONCE(xpi->xpi_cursor, NULL);
196 : 0 : }
197 : :
198 : : static
199 : : bool xprt_is_active(const struct rpc_xprt *xprt)
200 : : {
201 : : return kref_read(&xprt->kref) != 0;
202 : : }
203 : :
204 : : static
205 : : struct rpc_xprt *xprt_switch_find_first_entry(struct list_head *head)
206 : : {
207 : : struct rpc_xprt *pos;
208 : :
209 [ # # # # : 0 : list_for_each_entry_rcu(pos, head, xprt_switch) {
# # ]
210 [ # # # # : 0 : if (xprt_is_active(pos))
# # ]
211 : 0 : return pos;
212 : : }
213 : : return NULL;
214 : : }
215 : :
216 : : static
217 : 0 : struct rpc_xprt *xprt_iter_first_entry(struct rpc_xprt_iter *xpi)
218 : : {
219 : 0 : struct rpc_xprt_switch *xps = rcu_dereference(xpi->xpi_xpswitch);
220 : :
221 [ # # ]: 0 : if (xps == NULL)
222 : : return NULL;
223 : 0 : return xprt_switch_find_first_entry(&xps->xps_xprt_list);
224 : : }
225 : :
226 : : static
227 : : struct rpc_xprt *xprt_switch_find_current_entry(struct list_head *head,
228 : : const struct rpc_xprt *cur)
229 : : {
230 : : struct rpc_xprt *pos;
231 : : bool found = false;
232 : :
233 [ # # ]: 0 : list_for_each_entry_rcu(pos, head, xprt_switch) {
234 [ # # ]: 0 : if (cur == pos)
235 : : found = true;
236 [ # # # # ]: 0 : if (found && xprt_is_active(pos))
237 : 0 : return pos;
238 : : }
239 : : return NULL;
240 : : }
241 : :
242 : : static
243 : 0 : struct rpc_xprt *xprt_iter_current_entry(struct rpc_xprt_iter *xpi)
244 : : {
245 : 0 : struct rpc_xprt_switch *xps = rcu_dereference(xpi->xpi_xpswitch);
246 : : struct list_head *head;
247 : :
248 [ # # ]: 0 : if (xps == NULL)
249 : : return NULL;
250 : 0 : head = &xps->xps_xprt_list;
251 [ # # # # ]: 0 : if (xpi->xpi_cursor == NULL || xps->xps_nxprts < 2)
252 : 0 : return xprt_switch_find_first_entry(head);
253 : 0 : return xprt_switch_find_current_entry(head, xpi->xpi_cursor);
254 : : }
255 : :
256 : 0 : bool rpc_xprt_switch_has_addr(struct rpc_xprt_switch *xps,
257 : : const struct sockaddr *sap)
258 : : {
259 : : struct list_head *head;
260 : : struct rpc_xprt *pos;
261 : :
262 [ # # ]: 0 : if (xps == NULL || sap == NULL)
263 : : return false;
264 : :
265 : 0 : head = &xps->xps_xprt_list;
266 [ # # ]: 0 : list_for_each_entry_rcu(pos, head, xprt_switch) {
267 [ # # ]: 0 : if (rpc_cmp_addr_port(sap, (struct sockaddr *)&pos->addr)) {
268 : 0 : pr_info("RPC: addr %s already in xprt switch\n",
269 : : pos->address_strings[RPC_DISPLAY_ADDR]);
270 : 0 : return true;
271 : : }
272 : : }
273 : : return false;
274 : : }
275 : :
276 : : static
277 : : struct rpc_xprt *xprt_switch_find_next_entry(struct list_head *head,
278 : : const struct rpc_xprt *cur)
279 : : {
280 : : struct rpc_xprt *pos, *prev = NULL;
281 : : bool found = false;
282 : :
283 [ # # # # ]: 0 : list_for_each_entry_rcu(pos, head, xprt_switch) {
284 [ # # # # ]: 0 : if (cur == prev)
285 : : found = true;
286 [ # # # # : 0 : if (found && xprt_is_active(pos))
# # # # ]
287 : 0 : return pos;
288 : : prev = pos;
289 : : }
290 : : return NULL;
291 : : }
292 : :
293 : : static
294 : : struct rpc_xprt *xprt_switch_set_next_cursor(struct rpc_xprt_switch *xps,
295 : : struct rpc_xprt **cursor,
296 : : xprt_switch_find_xprt_t find_next)
297 : : {
298 : : struct rpc_xprt *pos, *old;
299 : :
300 : 0 : old = smp_load_acquire(cursor);
301 : 0 : pos = find_next(xps, old);
302 : 0 : smp_store_release(cursor, pos);
303 : : return pos;
304 : : }
305 : :
306 : : static
307 : : struct rpc_xprt *xprt_iter_next_entry_multiple(struct rpc_xprt_iter *xpi,
308 : : xprt_switch_find_xprt_t find_next)
309 : : {
310 : 0 : struct rpc_xprt_switch *xps = rcu_dereference(xpi->xpi_xpswitch);
311 : :
312 [ # # # # ]: 0 : if (xps == NULL)
313 : : return NULL;
314 : : return xprt_switch_set_next_cursor(xps, &xpi->xpi_cursor, find_next);
315 : : }
316 : :
317 : : static
318 : 0 : struct rpc_xprt *__xprt_switch_find_next_entry_roundrobin(struct list_head *head,
319 : : const struct rpc_xprt *cur)
320 : : {
321 : : struct rpc_xprt *ret;
322 : :
323 : : ret = xprt_switch_find_next_entry(head, cur);
324 [ # # ]: 0 : if (ret != NULL)
325 : : return ret;
326 : 0 : return xprt_switch_find_first_entry(head);
327 : : }
328 : :
329 : : static
330 : 0 : struct rpc_xprt *xprt_switch_find_next_entry_roundrobin(struct rpc_xprt_switch *xps,
331 : : const struct rpc_xprt *cur)
332 : : {
333 : 0 : struct list_head *head = &xps->xps_xprt_list;
334 : : struct rpc_xprt *xprt;
335 : : unsigned int nactive;
336 : :
337 : : for (;;) {
338 : : unsigned long xprt_queuelen, xps_queuelen;
339 : :
340 : 0 : xprt = __xprt_switch_find_next_entry_roundrobin(head, cur);
341 [ # # ]: 0 : if (!xprt)
342 : : break;
343 : 0 : xprt_queuelen = atomic_long_read(&xprt->queuelen);
344 : 0 : xps_queuelen = atomic_long_read(&xps->xps_queuelen);
345 : : nactive = READ_ONCE(xps->xps_nactive);
346 : : /* Exit loop if xprt_queuelen <= average queue length */
347 [ # # ]: 0 : if (xprt_queuelen * nactive <= xps_queuelen)
348 : : break;
349 : : cur = xprt;
350 : : }
351 : 0 : return xprt;
352 : : }
353 : :
354 : : static
355 : 0 : struct rpc_xprt *xprt_iter_next_entry_roundrobin(struct rpc_xprt_iter *xpi)
356 : : {
357 : 0 : return xprt_iter_next_entry_multiple(xpi,
358 : : xprt_switch_find_next_entry_roundrobin);
359 : : }
360 : :
361 : : static
362 : 0 : struct rpc_xprt *xprt_switch_find_next_entry_all(struct rpc_xprt_switch *xps,
363 : : const struct rpc_xprt *cur)
364 : : {
365 : 0 : return xprt_switch_find_next_entry(&xps->xps_xprt_list, cur);
366 : : }
367 : :
368 : : static
369 : 0 : struct rpc_xprt *xprt_iter_next_entry_all(struct rpc_xprt_iter *xpi)
370 : : {
371 : 0 : return xprt_iter_next_entry_multiple(xpi,
372 : : xprt_switch_find_next_entry_all);
373 : : }
374 : :
375 : : /*
376 : : * xprt_iter_rewind - Resets the xprt iterator
377 : : * @xpi: pointer to rpc_xprt_iter
378 : : *
379 : : * Resets xpi to ensure that it points to the first entry in the list
380 : : * of transports.
381 : : */
382 : : static
383 : 0 : void xprt_iter_rewind(struct rpc_xprt_iter *xpi)
384 : : {
385 : : rcu_read_lock();
386 : 0 : xprt_iter_ops(xpi)->xpi_rewind(xpi);
387 : : rcu_read_unlock();
388 : 0 : }
389 : :
390 : 0 : static void __xprt_iter_init(struct rpc_xprt_iter *xpi,
391 : : struct rpc_xprt_switch *xps,
392 : : const struct rpc_xprt_iter_ops *ops)
393 : : {
394 : 0 : rcu_assign_pointer(xpi->xpi_xpswitch, xprt_switch_get(xps));
395 : 0 : xpi->xpi_cursor = NULL;
396 : 0 : xpi->xpi_ops = ops;
397 : 0 : }
398 : :
399 : : /**
400 : : * xprt_iter_init - Initialise an xprt iterator
401 : : * @xpi: pointer to rpc_xprt_iter
402 : : * @xps: pointer to rpc_xprt_switch
403 : : *
404 : : * Initialises the iterator to use the default iterator ops
405 : : * as set in xps. This function is mainly intended for internal
406 : : * use in the rpc_client.
407 : : */
408 : 0 : void xprt_iter_init(struct rpc_xprt_iter *xpi,
409 : : struct rpc_xprt_switch *xps)
410 : : {
411 : 0 : __xprt_iter_init(xpi, xps, NULL);
412 : 0 : }
413 : :
414 : : /**
415 : : * xprt_iter_init_listall - Initialise an xprt iterator
416 : : * @xpi: pointer to rpc_xprt_iter
417 : : * @xps: pointer to rpc_xprt_switch
418 : : *
419 : : * Initialises the iterator to iterate once through the entire list
420 : : * of entries in xps.
421 : : */
422 : 0 : void xprt_iter_init_listall(struct rpc_xprt_iter *xpi,
423 : : struct rpc_xprt_switch *xps)
424 : : {
425 : 0 : __xprt_iter_init(xpi, xps, &rpc_xprt_iter_listall);
426 : 0 : }
427 : :
428 : : /**
429 : : * xprt_iter_xchg_switch - Atomically swap out the rpc_xprt_switch
430 : : * @xpi: pointer to rpc_xprt_iter
431 : : * @newswitch: pointer to a new rpc_xprt_switch or NULL
432 : : *
433 : : * Swaps out the existing xpi->xpi_xpswitch with a new value.
434 : : */
435 : 0 : struct rpc_xprt_switch *xprt_iter_xchg_switch(struct rpc_xprt_iter *xpi,
436 : : struct rpc_xprt_switch *newswitch)
437 : : {
438 : : struct rpc_xprt_switch __rcu *oldswitch;
439 : :
440 : : /* Atomically swap out the old xpswitch */
441 : 0 : oldswitch = xchg(&xpi->xpi_xpswitch, RCU_INITIALIZER(newswitch));
442 [ # # ]: 0 : if (newswitch != NULL)
443 : 0 : xprt_iter_rewind(xpi);
444 : 0 : return rcu_dereference_protected(oldswitch, true);
445 : : }
446 : :
447 : : /**
448 : : * xprt_iter_destroy - Destroys the xprt iterator
449 : : * @xpi: pointer to rpc_xprt_iter
450 : : */
451 : 0 : void xprt_iter_destroy(struct rpc_xprt_iter *xpi)
452 : : {
453 : 0 : xprt_switch_put(xprt_iter_xchg_switch(xpi, NULL));
454 : 0 : }
455 : :
456 : : /**
457 : : * xprt_iter_xprt - Returns the rpc_xprt pointed to by the cursor
458 : : * @xpi: pointer to rpc_xprt_iter
459 : : *
460 : : * Returns a pointer to the struct rpc_xprt that is currently
461 : : * pointed to by the cursor.
462 : : * Caller must be holding rcu_read_lock().
463 : : */
464 : 0 : struct rpc_xprt *xprt_iter_xprt(struct rpc_xprt_iter *xpi)
465 : : {
466 : : WARN_ON_ONCE(!rcu_read_lock_held());
467 : 0 : return xprt_iter_ops(xpi)->xpi_xprt(xpi);
468 : : }
469 : :
470 : : static
471 : 0 : struct rpc_xprt *xprt_iter_get_helper(struct rpc_xprt_iter *xpi,
472 : : struct rpc_xprt *(*fn)(struct rpc_xprt_iter *))
473 : : {
474 : : struct rpc_xprt *ret;
475 : :
476 : : do {
477 : 0 : ret = fn(xpi);
478 [ # # ]: 0 : if (ret == NULL)
479 : : break;
480 : 0 : ret = xprt_get(ret);
481 [ # # ]: 0 : } while (ret == NULL);
482 : 0 : return ret;
483 : : }
484 : :
485 : : /**
486 : : * xprt_iter_get_xprt - Returns the rpc_xprt pointed to by the cursor
487 : : * @xpi: pointer to rpc_xprt_iter
488 : : *
489 : : * Returns a reference to the struct rpc_xprt that is currently
490 : : * pointed to by the cursor.
491 : : */
492 : 0 : struct rpc_xprt *xprt_iter_get_xprt(struct rpc_xprt_iter *xpi)
493 : : {
494 : : struct rpc_xprt *xprt;
495 : :
496 : : rcu_read_lock();
497 : 0 : xprt = xprt_iter_get_helper(xpi, xprt_iter_ops(xpi)->xpi_xprt);
498 : : rcu_read_unlock();
499 : 0 : return xprt;
500 : : }
501 : :
502 : : /**
503 : : * xprt_iter_get_next - Returns the next rpc_xprt following the cursor
504 : : * @xpi: pointer to rpc_xprt_iter
505 : : *
506 : : * Returns a reference to the struct rpc_xprt that immediately follows the
507 : : * entry pointed to by the cursor.
508 : : */
509 : 0 : struct rpc_xprt *xprt_iter_get_next(struct rpc_xprt_iter *xpi)
510 : : {
511 : : struct rpc_xprt *xprt;
512 : :
513 : : rcu_read_lock();
514 : 0 : xprt = xprt_iter_get_helper(xpi, xprt_iter_ops(xpi)->xpi_next);
515 : : rcu_read_unlock();
516 : 0 : return xprt;
517 : : }
518 : :
519 : : /* Policy for always returning the first entry in the rpc_xprt_switch */
520 : : static
521 : : const struct rpc_xprt_iter_ops rpc_xprt_iter_singular = {
522 : : .xpi_rewind = xprt_iter_no_rewind,
523 : : .xpi_xprt = xprt_iter_first_entry,
524 : : .xpi_next = xprt_iter_first_entry,
525 : : };
526 : :
527 : : /* Policy for round-robin iteration of entries in the rpc_xprt_switch */
528 : : static
529 : : const struct rpc_xprt_iter_ops rpc_xprt_iter_roundrobin = {
530 : : .xpi_rewind = xprt_iter_default_rewind,
531 : : .xpi_xprt = xprt_iter_current_entry,
532 : : .xpi_next = xprt_iter_next_entry_roundrobin,
533 : : };
534 : :
535 : : /* Policy for once-through iteration of entries in the rpc_xprt_switch */
536 : : static
537 : : const struct rpc_xprt_iter_ops rpc_xprt_iter_listall = {
538 : : .xpi_rewind = xprt_iter_default_rewind,
539 : : .xpi_xprt = xprt_iter_current_entry,
540 : : .xpi_next = xprt_iter_next_entry_all,
541 : : };
|
