LCOV - code coverage report
Current view: top level - net/ipv4 - fib_semantics.c (source / functions) Hit Total Coverage
Test: combined.info Lines: 394 1055 37.3 %
Date: 2022-04-01 14:35:51 Functions: 25 44 56.8 %
Branches: 181 876 20.7 %

           Branch data     Line data    Source code
       1                 :            : // SPDX-License-Identifier: GPL-2.0-or-later
       2                 :            : /*
       3                 :            :  * INET         An implementation of the TCP/IP protocol suite for the LINUX
       4                 :            :  *              operating system.  INET is implemented using the  BSD Socket
       5                 :            :  *              interface as the means of communication with the user level.
       6                 :            :  *
       7                 :            :  *              IPv4 Forwarding Information Base: semantics.
       8                 :            :  *
       9                 :            :  * Authors:     Alexey Kuznetsov, <kuznet@ms2.inr.ac.ru>
      10                 :            :  */
      11                 :            : 
      12                 :            : #include <linux/uaccess.h>
      13                 :            : #include <linux/bitops.h>
      14                 :            : #include <linux/types.h>
      15                 :            : #include <linux/kernel.h>
      16                 :            : #include <linux/jiffies.h>
      17                 :            : #include <linux/mm.h>
      18                 :            : #include <linux/string.h>
      19                 :            : #include <linux/socket.h>
      20                 :            : #include <linux/sockios.h>
      21                 :            : #include <linux/errno.h>
      22                 :            : #include <linux/in.h>
      23                 :            : #include <linux/inet.h>
      24                 :            : #include <linux/inetdevice.h>
      25                 :            : #include <linux/netdevice.h>
      26                 :            : #include <linux/if_arp.h>
      27                 :            : #include <linux/proc_fs.h>
      28                 :            : #include <linux/skbuff.h>
      29                 :            : #include <linux/init.h>
      30                 :            : #include <linux/slab.h>
      31                 :            : #include <linux/netlink.h>
      32                 :            : 
      33                 :            : #include <net/arp.h>
      34                 :            : #include <net/ip.h>
      35                 :            : #include <net/protocol.h>
      36                 :            : #include <net/route.h>
      37                 :            : #include <net/tcp.h>
      38                 :            : #include <net/sock.h>
      39                 :            : #include <net/ip_fib.h>
      40                 :            : #include <net/ip6_fib.h>
      41                 :            : #include <net/nexthop.h>
      42                 :            : #include <net/netlink.h>
      43                 :            : #include <net/rtnh.h>
      44                 :            : #include <net/lwtunnel.h>
      45                 :            : #include <net/fib_notifier.h>
      46                 :            : #include <net/addrconf.h>
      47                 :            : 
      48                 :            : #include "fib_lookup.h"
      49                 :            : 
      50                 :            : static DEFINE_SPINLOCK(fib_info_lock);
      51                 :            : static struct hlist_head *fib_info_hash;
      52                 :            : static struct hlist_head *fib_info_laddrhash;
      53                 :            : static unsigned int fib_info_hash_size;
      54                 :            : static unsigned int fib_info_cnt;
      55                 :            : 
      56                 :            : #define DEVINDEX_HASHBITS 8
      57                 :            : #define DEVINDEX_HASHSIZE (1U << DEVINDEX_HASHBITS)
      58                 :            : static struct hlist_head fib_info_devhash[DEVINDEX_HASHSIZE];
      59                 :            : 
      60                 :            : /* for_nexthops and change_nexthops only used when nexthop object
      61                 :            :  * is not set in a fib_info. The logic within can reference fib_nh.
      62                 :            :  */
      63                 :            : #ifdef CONFIG_IP_ROUTE_MULTIPATH
      64                 :            : 
      65                 :            : #define for_nexthops(fi) {                                              \
      66                 :            :         int nhsel; const struct fib_nh *nh;                             \
      67                 :            :         for (nhsel = 0, nh = (fi)->fib_nh;                           \
      68                 :            :              nhsel < fib_info_num_path((fi));                                \
      69                 :            :              nh++, nhsel++)
      70                 :            : 
      71                 :            : #define change_nexthops(fi) {                                           \
      72                 :            :         int nhsel; struct fib_nh *nexthop_nh;                           \
      73                 :            :         for (nhsel = 0, nexthop_nh = (struct fib_nh *)((fi)->fib_nh);        \
      74                 :            :              nhsel < fib_info_num_path((fi));                                \
      75                 :            :              nexthop_nh++, nhsel++)
      76                 :            : 
      77                 :            : #else /* CONFIG_IP_ROUTE_MULTIPATH */
      78                 :            : 
      79                 :            : /* Hope, that gcc will optimize it to get rid of dummy loop */
      80                 :            : 
      81                 :            : #define for_nexthops(fi) {                                              \
      82                 :            :         int nhsel; const struct fib_nh *nh = (fi)->fib_nh;           \
      83                 :            :         for (nhsel = 0; nhsel < 1; nhsel++)
      84                 :            : 
      85                 :            : #define change_nexthops(fi) {                                           \
      86                 :            :         int nhsel;                                                      \
      87                 :            :         struct fib_nh *nexthop_nh = (struct fib_nh *)((fi)->fib_nh); \
      88                 :            :         for (nhsel = 0; nhsel < 1; nhsel++)
      89                 :            : 
      90                 :            : #endif /* CONFIG_IP_ROUTE_MULTIPATH */
      91                 :            : 
      92                 :            : #define endfor_nexthops(fi) }
      93                 :            : 
      94                 :            : 
      95                 :            : const struct fib_prop fib_props[RTN_MAX + 1] = {
      96                 :            :         [RTN_UNSPEC] = {
      97                 :            :                 .error  = 0,
      98                 :            :                 .scope  = RT_SCOPE_NOWHERE,
      99                 :            :         },
     100                 :            :         [RTN_UNICAST] = {
     101                 :            :                 .error  = 0,
     102                 :            :                 .scope  = RT_SCOPE_UNIVERSE,
     103                 :            :         },
     104                 :            :         [RTN_LOCAL] = {
     105                 :            :                 .error  = 0,
     106                 :            :                 .scope  = RT_SCOPE_HOST,
     107                 :            :         },
     108                 :            :         [RTN_BROADCAST] = {
     109                 :            :                 .error  = 0,
     110                 :            :                 .scope  = RT_SCOPE_LINK,
     111                 :            :         },
     112                 :            :         [RTN_ANYCAST] = {
     113                 :            :                 .error  = 0,
     114                 :            :                 .scope  = RT_SCOPE_LINK,
     115                 :            :         },
     116                 :            :         [RTN_MULTICAST] = {
     117                 :            :                 .error  = 0,
     118                 :            :                 .scope  = RT_SCOPE_UNIVERSE,
     119                 :            :         },
     120                 :            :         [RTN_BLACKHOLE] = {
     121                 :            :                 .error  = -EINVAL,
     122                 :            :                 .scope  = RT_SCOPE_UNIVERSE,
     123                 :            :         },
     124                 :            :         [RTN_UNREACHABLE] = {
     125                 :            :                 .error  = -EHOSTUNREACH,
     126                 :            :                 .scope  = RT_SCOPE_UNIVERSE,
     127                 :            :         },
     128                 :            :         [RTN_PROHIBIT] = {
     129                 :            :                 .error  = -EACCES,
     130                 :            :                 .scope  = RT_SCOPE_UNIVERSE,
     131                 :            :         },
     132                 :            :         [RTN_THROW] = {
     133                 :            :                 .error  = -EAGAIN,
     134                 :            :                 .scope  = RT_SCOPE_UNIVERSE,
     135                 :            :         },
     136                 :            :         [RTN_NAT] = {
     137                 :            :                 .error  = -EINVAL,
     138                 :            :                 .scope  = RT_SCOPE_NOWHERE,
     139                 :            :         },
     140                 :            :         [RTN_XRESOLVE] = {
     141                 :            :                 .error  = -EINVAL,
     142                 :            :                 .scope  = RT_SCOPE_NOWHERE,
     143                 :            :         },
     144                 :            : };
     145                 :            : 
     146                 :        105 : static void rt_fibinfo_free(struct rtable __rcu **rtp)
     147                 :            : {
     148                 :        105 :         struct rtable *rt = rcu_dereference_protected(*rtp, 1);
     149                 :            : 
     150                 :        105 :         if (!rt)
     151                 :            :                 return;
     152                 :            : 
     153                 :            :         /* Not even needed : RCU_INIT_POINTER(*rtp, NULL);
     154                 :            :          * because we waited an RCU grace period before calling
     155                 :            :          * free_fib_info_rcu()
     156                 :            :          */
     157                 :            : 
     158                 :          0 :         dst_dev_put(&rt->dst);
     159                 :          0 :         dst_release_immediate(&rt->dst);
     160                 :            : }
     161                 :            : 
     162                 :            : static void free_nh_exceptions(struct fib_nh_common *nhc)
     163                 :            : {
     164                 :            :         struct fnhe_hash_bucket *hash;
     165                 :            :         int i;
     166                 :            : 
     167                 :            :         hash = rcu_dereference_protected(nhc->nhc_exceptions, 1);
     168                 :            :         if (!hash)
     169                 :            :                 return;
     170                 :            :         for (i = 0; i < FNHE_HASH_SIZE; i++) {
     171                 :            :                 struct fib_nh_exception *fnhe;
     172                 :            : 
     173                 :            :                 fnhe = rcu_dereference_protected(hash[i].chain, 1);
     174                 :            :                 while (fnhe) {
     175                 :            :                         struct fib_nh_exception *next;
     176                 :            : 
     177                 :            :                         next = rcu_dereference_protected(fnhe->fnhe_next, 1);
     178                 :            : 
     179                 :            :                         rt_fibinfo_free(&fnhe->fnhe_rth_input);
     180                 :            :                         rt_fibinfo_free(&fnhe->fnhe_rth_output);
     181                 :            : 
     182                 :            :                         kfree(fnhe);
     183                 :            : 
     184                 :            :                         fnhe = next;
     185                 :            :                 }
     186                 :            :         }
     187                 :            :         kfree(hash);
     188                 :            : }
     189                 :            : 
     190                 :        105 : static void rt_fibinfo_free_cpus(struct rtable __rcu * __percpu *rtp)
     191                 :            : {
     192                 :        105 :         int cpu;
     193                 :            : 
     194         [ +  + ]:        105 :         if (!rtp)
     195                 :            :                 return;
     196                 :            : 
     197         [ +  + ]:        168 :         for_each_possible_cpu(cpu) {
     198                 :         84 :                 struct rtable *rt;
     199                 :            : 
     200                 :         84 :                 rt = rcu_dereference_protected(*per_cpu_ptr(rtp, cpu), 1);
     201         [ -  + ]:         84 :                 if (rt) {
     202                 :          0 :                         dst_dev_put(&rt->dst);
     203                 :          0 :                         dst_release_immediate(&rt->dst);
     204                 :            :                 }
     205                 :            :         }
     206                 :         84 :         free_percpu(rtp);
     207                 :            : }
     208                 :            : 
     209                 :        105 : void fib_nh_common_release(struct fib_nh_common *nhc)
     210                 :            : {
     211         [ +  + ]:        105 :         if (nhc->nhc_dev)
     212                 :         84 :                 dev_put(nhc->nhc_dev);
     213                 :            : 
     214                 :        105 :         lwtstate_put(nhc->nhc_lwtstate);
     215                 :        105 :         rt_fibinfo_free_cpus(nhc->nhc_pcpu_rth_output);
     216         [ -  + ]:        105 :         rt_fibinfo_free(&nhc->nhc_rth_input);
     217                 :        105 :         free_nh_exceptions(nhc);
     218                 :        105 : }
     219                 :            : EXPORT_SYMBOL_GPL(fib_nh_common_release);
     220                 :            : 
     221                 :         63 : void fib_nh_release(struct net *net, struct fib_nh *fib_nh)
     222                 :            : {
     223                 :            : #ifdef CONFIG_IP_ROUTE_CLASSID
     224                 :            :         if (fib_nh->nh_tclassid)
     225                 :            :                 net->ipv4.fib_num_tclassid_users--;
     226                 :            : #endif
     227                 :          0 :         fib_nh_common_release(&fib_nh->nh_common);
     228                 :          0 : }
     229                 :            : 
     230                 :            : /* Release a nexthop info record */
     231                 :         63 : static void free_fib_info_rcu(struct rcu_head *head)
     232                 :            : {
     233                 :         63 :         struct fib_info *fi = container_of(head, struct fib_info, rcu);
     234                 :            : 
     235         [ -  + ]:         63 :         if (fi->nh) {
     236                 :          0 :                 nexthop_put(fi->nh);
     237                 :            :         } else {
     238   [ -  +  +  + ]:        252 :                 change_nexthops(fi) {
     239                 :         63 :                         fib_nh_release(fi->fib_net, nexthop_nh);
     240                 :         63 :                 } endfor_nexthops(fi);
     241                 :            :         }
     242                 :            : 
     243                 :         63 :         ip_fib_metrics_put(fi->fib_metrics);
     244                 :            : 
     245                 :         63 :         kfree(fi);
     246                 :         63 : }
     247                 :            : 
     248                 :         63 : void free_fib_info(struct fib_info *fi)
     249                 :            : {
     250         [ -  + ]:         63 :         if (fi->fib_dead == 0) {
     251                 :          0 :                 pr_warn("Freeing alive fib_info %p\n", fi);
     252                 :          0 :                 return;
     253                 :            :         }
     254                 :         63 :         fib_info_cnt--;
     255                 :            : 
     256                 :         63 :         call_rcu(&fi->rcu, free_fib_info_rcu);
     257                 :            : }
     258                 :            : EXPORT_SYMBOL_GPL(free_fib_info);
     259                 :            : 
     260                 :         21 : void fib_release_info(struct fib_info *fi)
     261                 :            : {
     262                 :         21 :         spin_lock_bh(&fib_info_lock);
     263   [ +  -  -  + ]:         21 :         if (fi && --fi->fib_treeref == 0) {
     264         [ #  # ]:          0 :                 hlist_del(&fi->fib_hash);
     265         [ #  # ]:          0 :                 if (fi->fib_prefsrc)
     266         [ #  # ]:          0 :                         hlist_del(&fi->fib_lhash);
     267         [ #  # ]:          0 :                 if (fi->nh) {
     268                 :          0 :                         list_del(&fi->nh_list);
     269                 :            :                 } else {
     270   [ #  #  #  # ]:          0 :                         change_nexthops(fi) {
     271         [ #  # ]:          0 :                                 if (!nexthop_nh->fib_nh_dev)
     272                 :          0 :                                         continue;
     273         [ #  # ]:          0 :                                 hlist_del(&nexthop_nh->nh_hash);
     274                 :            :                         } endfor_nexthops(fi)
     275                 :            :                 }
     276                 :          0 :                 fi->fib_dead = 1;
     277                 :          0 :                 fib_info_put(fi);
     278                 :            :         }
     279                 :         21 :         spin_unlock_bh(&fib_info_lock);
     280                 :         21 : }
     281                 :            : 
     282                 :         63 : static inline int nh_comp(struct fib_info *fi, struct fib_info *ofi)
     283                 :            : {
     284                 :         63 :         const struct fib_nh *onh;
     285                 :            : 
     286   [ +  -  -  + ]:         63 :         if (fi->nh || ofi->nh)
     287         [ #  # ]:          0 :                 return nexthop_cmp(fi->nh, ofi->nh) ? 0 : -1;
     288                 :            : 
     289         [ +  - ]:         63 :         if (ofi->fib_nhs == 0)
     290                 :            :                 return 0;
     291                 :            : 
     292         [ +  + ]:        126 :         for_nexthops(fi) {
     293         [ +  - ]:         63 :                 onh = fib_info_nh(ofi, nhsel);
     294                 :            : 
     295                 :         63 :                 if (nh->fib_nh_oif != onh->fib_nh_oif ||
     296         [ +  - ]:         63 :                     nh->fib_nh_gw_family != onh->fib_nh_gw_family ||
     297                 :         63 :                     nh->fib_nh_scope != onh->fib_nh_scope ||
     298                 :            : #ifdef CONFIG_IP_ROUTE_MULTIPATH
     299         [ +  - ]:         63 :                     nh->fib_nh_weight != onh->fib_nh_weight ||
     300                 :            : #endif
     301                 :            : #ifdef CONFIG_IP_ROUTE_CLASSID
     302                 :            :                     nh->nh_tclassid != onh->nh_tclassid ||
     303                 :            : #endif
     304                 :         63 :                     lwtunnel_cmp_encap(nh->fib_nh_lws, onh->fib_nh_lws) ||
     305         [ +  - ]:         63 :                     ((nh->fib_nh_flags ^ onh->fib_nh_flags) & ~RTNH_COMPARE_MASK))
     306                 :            :                         return -1;
     307                 :            : 
     308         [ -  + ]:         63 :                 if (nh->fib_nh_gw_family == AF_INET &&
     309         [ #  # ]:          0 :                     nh->fib_nh_gw4 != onh->fib_nh_gw4)
     310                 :            :                         return -1;
     311                 :            : 
     312   [ -  +  -  - ]:         63 :                 if (nh->fib_nh_gw_family == AF_INET6 &&
     313         [ #  # ]:          0 :                     ipv6_addr_cmp(&nh->fib_nh_gw6, &onh->fib_nh_gw6))
     314                 :            :                         return -1;
     315                 :            :         } endfor_nexthops(fi);
     316                 :            :         return 0;
     317                 :            : }
     318                 :            : 
     319                 :        252 : static inline unsigned int fib_devindex_hashfn(unsigned int val)
     320                 :            : {
     321                 :        252 :         unsigned int mask = DEVINDEX_HASHSIZE - 1;
     322                 :            : 
     323                 :        252 :         return (val ^
     324                 :        252 :                 (val >> DEVINDEX_HASHBITS) ^
     325                 :        252 :                 (val >> (DEVINDEX_HASHBITS * 2))) & mask;
     326                 :            : }
     327                 :            : 
     328                 :        147 : static unsigned int fib_info_hashfn_1(int init_val, u8 protocol, u8 scope,
     329                 :            :                                       u32 prefsrc, u32 priority)
     330                 :            : {
     331                 :        147 :         unsigned int val = init_val;
     332                 :            : 
     333                 :        147 :         val ^= (protocol << 8) | scope;
     334                 :        147 :         val ^= prefsrc;
     335                 :        147 :         val ^= priority;
     336                 :            : 
     337                 :        147 :         return val;
     338                 :            : }
     339                 :            : 
     340                 :        147 : static unsigned int fib_info_hashfn_result(unsigned int val)
     341                 :            : {
     342                 :        147 :         unsigned int mask = (fib_info_hash_size - 1);
     343                 :            : 
     344                 :        147 :         return (val ^ (val >> 7) ^ (val >> 12)) & mask;
     345                 :            : }
     346                 :            : 
     347                 :        147 : static inline unsigned int fib_info_hashfn(struct fib_info *fi)
     348                 :            : {
     349                 :        147 :         unsigned int val;
     350                 :            : 
     351                 :        147 :         val = fib_info_hashfn_1(fi->fib_nhs, fi->fib_protocol,
     352                 :        147 :                                 fi->fib_scope, (__force u32)fi->fib_prefsrc,
     353                 :            :                                 fi->fib_priority);
     354                 :            : 
     355         [ -  + ]:        147 :         if (fi->nh) {
     356                 :          0 :                 val ^= fib_devindex_hashfn(fi->nh->id);
     357                 :            :         } else {
     358         [ +  + ]:        294 :                 for_nexthops(fi) {
     359                 :        147 :                         val ^= fib_devindex_hashfn(nh->fib_nh_oif);
     360                 :            :                 } endfor_nexthops(fi)
     361                 :            :         }
     362                 :            : 
     363                 :        147 :         return fib_info_hashfn_result(val);
     364                 :            : }
     365                 :            : 
     366                 :            : /* no metrics, only nexthop id */
     367                 :          0 : static struct fib_info *fib_find_info_nh(struct net *net,
     368                 :            :                                          const struct fib_config *cfg)
     369                 :            : {
     370                 :          0 :         struct hlist_head *head;
     371                 :          0 :         struct fib_info *fi;
     372                 :          0 :         unsigned int hash;
     373                 :            : 
     374                 :          0 :         hash = fib_info_hashfn_1(fib_devindex_hashfn(cfg->fc_nh_id),
     375                 :          0 :                                  cfg->fc_protocol, cfg->fc_scope,
     376                 :          0 :                                  (__force u32)cfg->fc_prefsrc,
     377                 :            :                                  cfg->fc_priority);
     378                 :          0 :         hash = fib_info_hashfn_result(hash);
     379                 :          0 :         head = &fib_info_hash[hash];
     380                 :            : 
     381   [ #  #  #  #  :          0 :         hlist_for_each_entry(fi, head, fib_hash) {
                   #  # ]
     382         [ #  # ]:          0 :                 if (!net_eq(fi->fib_net, net))
     383                 :          0 :                         continue;
     384   [ #  #  #  # ]:          0 :                 if (!fi->nh || fi->nh->id != cfg->fc_nh_id)
     385                 :          0 :                         continue;
     386         [ #  # ]:          0 :                 if (cfg->fc_protocol == fi->fib_protocol &&
     387                 :          0 :                     cfg->fc_scope == fi->fib_scope &&
     388         [ #  # ]:          0 :                     cfg->fc_prefsrc == fi->fib_prefsrc &&
     389         [ #  # ]:          0 :                     cfg->fc_priority == fi->fib_priority &&
     390         [ #  # ]:          0 :                     cfg->fc_type == fi->fib_type &&
     391         [ #  # ]:          0 :                     cfg->fc_table == fi->fib_tb_id &&
     392         [ #  # ]:          0 :                     !((cfg->fc_flags ^ fi->fib_flags) & ~RTNH_COMPARE_MASK))
     393                 :          0 :                         return fi;
     394                 :            :         }
     395                 :            : 
     396                 :            :         return NULL;
     397                 :            : }
     398                 :            : 
     399                 :        105 : static struct fib_info *fib_find_info(struct fib_info *nfi)
     400                 :            : {
     401                 :        105 :         struct hlist_head *head;
     402                 :        105 :         struct fib_info *fi;
     403                 :        105 :         unsigned int hash;
     404                 :            : 
     405                 :        105 :         hash = fib_info_hashfn(nfi);
     406                 :        105 :         head = &fib_info_hash[hash];
     407                 :            : 
     408   [ +  +  -  -  :        210 :         hlist_for_each_entry(fi, head, fib_hash) {
                   +  + ]
     409         [ -  + ]:         63 :                 if (!net_eq(fi->fib_net, nfi->fib_net))
     410                 :          0 :                         continue;
     411         [ -  + ]:         63 :                 if (fi->fib_nhs != nfi->fib_nhs)
     412                 :          0 :                         continue;
     413         [ +  - ]:         63 :                 if (nfi->fib_protocol == fi->fib_protocol &&
     414                 :         63 :                     nfi->fib_scope == fi->fib_scope &&
     415         [ +  - ]:         63 :                     nfi->fib_prefsrc == fi->fib_prefsrc &&
     416         [ +  - ]:         63 :                     nfi->fib_priority == fi->fib_priority &&
     417         [ +  - ]:         63 :                     nfi->fib_type == fi->fib_type &&
     418         [ +  - ]:         63 :                     memcmp(nfi->fib_metrics, fi->fib_metrics,
     419                 :         63 :                            sizeof(u32) * RTAX_MAX) == 0 &&
     420   [ +  -  +  - ]:        126 :                     !((nfi->fib_flags ^ fi->fib_flags) & ~RTNH_COMPARE_MASK) &&
     421                 :         63 :                     nh_comp(fi, nfi) == 0)
     422                 :         63 :                         return fi;
     423                 :            :         }
     424                 :            : 
     425                 :            :         return NULL;
     426                 :            : }
     427                 :            : 
     428                 :            : /* Check, that the gateway is already configured.
     429                 :            :  * Used only by redirect accept routine.
     430                 :            :  */
     431                 :          0 : int ip_fib_check_default(__be32 gw, struct net_device *dev)
     432                 :            : {
     433                 :          0 :         struct hlist_head *head;
     434                 :          0 :         struct fib_nh *nh;
     435                 :          0 :         unsigned int hash;
     436                 :            : 
     437                 :          0 :         spin_lock(&fib_info_lock);
     438                 :            : 
     439                 :          0 :         hash = fib_devindex_hashfn(dev->ifindex);
     440                 :          0 :         head = &fib_info_devhash[hash];
     441   [ #  #  #  #  :          0 :         hlist_for_each_entry(nh, head, nh_hash) {
                   #  # ]
     442         [ #  # ]:          0 :                 if (nh->fib_nh_dev == dev &&
     443         [ #  # ]:          0 :                     nh->fib_nh_gw4 == gw &&
     444         [ #  # ]:          0 :                     !(nh->fib_nh_flags & RTNH_F_DEAD)) {
     445                 :          0 :                         spin_unlock(&fib_info_lock);
     446                 :          0 :                         return 0;
     447                 :            :                 }
     448                 :            :         }
     449                 :            : 
     450                 :          0 :         spin_unlock(&fib_info_lock);
     451                 :            : 
     452                 :          0 :         return -1;
     453                 :            : }
     454                 :            : 
     455                 :         84 : static inline size_t fib_nlmsg_size(struct fib_info *fi)
     456                 :            : {
     457         [ -  + ]:         84 :         size_t payload = NLMSG_ALIGN(sizeof(struct rtmsg))
     458                 :            :                          + nla_total_size(4) /* RTA_TABLE */
     459                 :            :                          + nla_total_size(4) /* RTA_DST */
     460                 :            :                          + nla_total_size(4) /* RTA_PRIORITY */
     461                 :            :                          + nla_total_size(4) /* RTA_PREFSRC */
     462                 :            :                          + nla_total_size(TCP_CA_NAME_MAX); /* RTAX_CC_ALGO */
     463         [ -  + ]:         84 :         unsigned int nhs = fib_info_num_path(fi);
     464                 :            : 
     465                 :            :         /* space for nested metrics */
     466         [ -  + ]:         84 :         payload += nla_total_size((RTAX_MAX * nla_total_size(4)));
     467                 :            : 
     468         [ -  + ]:         84 :         if (fi->nh)
     469                 :          0 :                 payload += nla_total_size(4); /* RTA_NH_ID */
     470                 :            : 
     471         [ +  - ]:         84 :         if (nhs) {
     472                 :            :                 size_t nh_encapsize = 0;
     473                 :            :                 /* Also handles the special case nhs == 1 */
     474                 :            : 
     475                 :            :                 /* each nexthop is packed in an attribute */
     476                 :            :                 size_t nhsize = nla_total_size(sizeof(struct rtnexthop));
     477                 :            :                 unsigned int i;
     478                 :            : 
     479                 :            :                 /* may contain flow and gateway attribute */
     480                 :            :                 nhsize += 2 * nla_total_size(4);
     481                 :            : 
     482                 :            :                 /* grab encap info */
     483   [ -  +  +  + ]:        336 :                 for (i = 0; i < fib_info_num_path(fi); i++) {
     484         [ -  + ]:         84 :                         struct fib_nh_common *nhc = fib_info_nhc(fi, i);
     485                 :            : 
     486         [ -  + ]:         84 :                         if (nhc->nhc_lwtstate) {
     487                 :            :                                 /* RTA_ENCAP_TYPE */
     488                 :          0 :                                 nh_encapsize += lwtunnel_get_encap_size(
     489                 :            :                                                 nhc->nhc_lwtstate);
     490                 :            :                                 /* RTA_ENCAP */
     491                 :          0 :                                 nh_encapsize +=  nla_total_size(2);
     492                 :            :                         }
     493                 :            :                 }
     494                 :            : 
     495                 :            :                 /* all nexthops are packed in a nested attribute */
     496                 :         84 :                 payload += nla_total_size((nhs * nhsize) + nh_encapsize);
     497                 :            : 
     498                 :            :         }
     499                 :            : 
     500                 :         84 :         return payload;
     501                 :            : }
     502                 :            : 
     503                 :         84 : void rtmsg_fib(int event, __be32 key, struct fib_alias *fa,
     504                 :            :                int dst_len, u32 tb_id, const struct nl_info *info,
     505                 :            :                unsigned int nlm_flags)
     506                 :            : {
     507                 :         84 :         struct fib_rt_info fri;
     508                 :         84 :         struct sk_buff *skb;
     509         [ -  + ]:         84 :         u32 seq = info->nlh ? info->nlh->nlmsg_seq : 0;
     510                 :         84 :         int err = -ENOBUFS;
     511                 :            : 
     512                 :         84 :         skb = nlmsg_new(fib_nlmsg_size(fa->fa_info), GFP_KERNEL);
     513         [ -  + ]:         84 :         if (!skb)
     514                 :          0 :                 goto errout;
     515                 :            : 
     516                 :         84 :         fri.fi = fa->fa_info;
     517                 :         84 :         fri.tb_id = tb_id;
     518                 :         84 :         fri.dst = key;
     519                 :         84 :         fri.dst_len = dst_len;
     520                 :         84 :         fri.tos = fa->fa_tos;
     521                 :         84 :         fri.type = fa->fa_type;
     522                 :         84 :         fri.offload = fa->offload;
     523                 :         84 :         fri.trap = fa->trap;
     524                 :         84 :         err = fib_dump_info(skb, info->portid, seq, event, &fri, nlm_flags);
     525         [ -  + ]:         84 :         if (err < 0) {
     526                 :            :                 /* -EMSGSIZE implies BUG in fib_nlmsg_size() */
     527         [ #  # ]:          0 :                 WARN_ON(err == -EMSGSIZE);
     528                 :          0 :                 kfree_skb(skb);
     529                 :          0 :                 goto errout;
     530                 :            :         }
     531                 :         84 :         rtnl_notify(skb, info->nl_net, info->portid, RTNLGRP_IPV4_ROUTE,
     532                 :            :                     info->nlh, GFP_KERNEL);
     533                 :         84 :         return;
     534                 :            : errout:
     535                 :          0 :         if (err < 0)
     536                 :          0 :                 rtnl_set_sk_err(info->nl_net, RTNLGRP_IPV4_ROUTE, err);
     537                 :            : }
     538                 :            : 
     539                 :          0 : static int fib_detect_death(struct fib_info *fi, int order,
     540                 :            :                             struct fib_info **last_resort, int *last_idx,
     541                 :            :                             int dflt)
     542                 :            : {
     543         [ #  # ]:          0 :         const struct fib_nh_common *nhc = fib_info_nhc(fi, 0);
     544                 :          0 :         struct neighbour *n;
     545                 :          0 :         int state = NUD_NONE;
     546                 :            : 
     547         [ #  # ]:          0 :         if (likely(nhc->nhc_gw_family == AF_INET))
     548                 :          0 :                 n = neigh_lookup(&arp_tbl, &nhc->nhc_gw.ipv4, nhc->nhc_dev);
     549         [ #  # ]:          0 :         else if (nhc->nhc_gw_family == AF_INET6)
     550                 :          0 :                 n = neigh_lookup(ipv6_stub->nd_tbl, &nhc->nhc_gw.ipv6,
     551                 :            :                                  nhc->nhc_dev);
     552                 :            :         else
     553                 :            :                 n = NULL;
     554                 :            : 
     555         [ #  # ]:          0 :         if (n) {
     556                 :          0 :                 state = n->nud_state;
     557                 :          0 :                 neigh_release(n);
     558                 :            :         } else {
     559                 :          0 :                 return 0;
     560                 :            :         }
     561         [ #  # ]:          0 :         if (state == NUD_REACHABLE)
     562                 :            :                 return 0;
     563   [ #  #  #  # ]:          0 :         if ((state & NUD_VALID) && order != dflt)
     564                 :            :                 return 0;
     565         [ #  # ]:          0 :         if ((state & NUD_VALID) ||
     566   [ #  #  #  # ]:          0 :             (*last_idx < 0 && order > dflt && state != NUD_INCOMPLETE)) {
     567                 :          0 :                 *last_resort = fi;
     568                 :          0 :                 *last_idx = order;
     569                 :            :         }
     570                 :            :         return 1;
     571                 :            : }
     572                 :            : 
     573                 :        168 : int fib_nh_common_init(struct fib_nh_common *nhc, struct nlattr *encap,
     574                 :            :                        u16 encap_type, void *cfg, gfp_t gfp_flags,
     575                 :            :                        struct netlink_ext_ack *extack)
     576                 :            : {
     577                 :        168 :         int err;
     578                 :            : 
     579                 :        168 :         nhc->nhc_pcpu_rth_output = alloc_percpu_gfp(struct rtable __rcu *,
     580                 :            :                                                     gfp_flags);
     581         [ +  - ]:        168 :         if (!nhc->nhc_pcpu_rth_output)
     582                 :            :                 return -ENOMEM;
     583                 :            : 
     584         [ -  + ]:        168 :         if (encap) {
     585                 :          0 :                 struct lwtunnel_state *lwtstate;
     586                 :            : 
     587         [ #  # ]:          0 :                 if (encap_type == LWTUNNEL_ENCAP_NONE) {
     588         [ #  # ]:          0 :                         NL_SET_ERR_MSG(extack, "LWT encap type not specified");
     589                 :          0 :                         err = -EINVAL;
     590                 :          0 :                         goto lwt_failure;
     591                 :            :                 }
     592                 :          0 :                 err = lwtunnel_build_state(encap_type, encap, nhc->nhc_family,
     593                 :            :                                            cfg, &lwtstate, extack);
     594                 :          0 :                 if (err)
     595                 :          0 :                         goto lwt_failure;
     596                 :            : 
     597                 :            :                 nhc->nhc_lwtstate = lwtstate_get(lwtstate);
     598                 :            :         }
     599                 :            : 
     600                 :            :         return 0;
     601                 :            : 
     602                 :            : lwt_failure:
     603                 :          0 :         rt_fibinfo_free_cpus(nhc->nhc_pcpu_rth_output);
     604                 :          0 :         nhc->nhc_pcpu_rth_output = NULL;
     605                 :          0 :         return err;
     606                 :            : }
     607                 :            : EXPORT_SYMBOL_GPL(fib_nh_common_init);
     608                 :            : 
     609                 :        105 : int fib_nh_init(struct net *net, struct fib_nh *nh,
     610                 :            :                 struct fib_config *cfg, int nh_weight,
     611                 :            :                 struct netlink_ext_ack *extack)
     612                 :            : {
     613                 :        105 :         int err;
     614                 :            : 
     615                 :        105 :         nh->fib_nh_family = AF_INET;
     616                 :            : 
     617                 :        105 :         err = fib_nh_common_init(&nh->nh_common, cfg->fc_encap,
     618                 :        105 :                                  cfg->fc_encap_type, cfg, GFP_KERNEL, extack);
     619         [ +  - ]:        105 :         if (err)
     620                 :            :                 return err;
     621                 :            : 
     622                 :        105 :         nh->fib_nh_oif = cfg->fc_oif;
     623                 :        105 :         nh->fib_nh_gw_family = cfg->fc_gw_family;
     624         [ -  + ]:        105 :         if (cfg->fc_gw_family == AF_INET)
     625                 :          0 :                 nh->fib_nh_gw4 = cfg->fc_gw4;
     626         [ -  + ]:        105 :         else if (cfg->fc_gw_family == AF_INET6)
     627                 :          0 :                 nh->fib_nh_gw6 = cfg->fc_gw6;
     628                 :            : 
     629                 :        105 :         nh->fib_nh_flags = cfg->fc_flags;
     630                 :            : 
     631                 :            : #ifdef CONFIG_IP_ROUTE_CLASSID
     632                 :            :         nh->nh_tclassid = cfg->fc_flow;
     633                 :            :         if (nh->nh_tclassid)
     634                 :            :                 net->ipv4.fib_num_tclassid_users++;
     635                 :            : #endif
     636                 :            : #ifdef CONFIG_IP_ROUTE_MULTIPATH
     637                 :        105 :         nh->fib_nh_weight = nh_weight;
     638                 :            : #endif
     639                 :        105 :         return 0;
     640                 :            : }
     641                 :            : 
     642                 :            : #ifdef CONFIG_IP_ROUTE_MULTIPATH
     643                 :            : 
     644                 :          0 : static int fib_count_nexthops(struct rtnexthop *rtnh, int remaining,
     645                 :            :                               struct netlink_ext_ack *extack)
     646                 :            : {
     647                 :          0 :         int nhs = 0;
     648                 :            : 
     649         [ #  # ]:          0 :         while (rtnh_ok(rtnh, remaining)) {
     650                 :          0 :                 nhs++;
     651                 :          0 :                 rtnh = rtnh_next(rtnh, &remaining);
     652                 :            :         }
     653                 :            : 
     654                 :            :         /* leftover implies invalid nexthop configuration, discard it */
     655         [ #  # ]:          0 :         if (remaining > 0) {
     656         [ #  # ]:          0 :                 NL_SET_ERR_MSG(extack,
     657                 :            :                                "Invalid nexthop configuration - extra data after nexthops");
     658                 :            :                 nhs = 0;
     659                 :            :         }
     660                 :            : 
     661                 :          0 :         return nhs;
     662                 :            : }
     663                 :            : 
     664                 :            : /* only called when fib_nh is integrated into fib_info */
     665                 :          0 : static int fib_get_nhs(struct fib_info *fi, struct rtnexthop *rtnh,
     666                 :            :                        int remaining, struct fib_config *cfg,
     667                 :            :                        struct netlink_ext_ack *extack)
     668                 :            : {
     669                 :          0 :         struct net *net = fi->fib_net;
     670                 :          0 :         struct fib_config fib_cfg;
     671                 :          0 :         struct fib_nh *nh;
     672                 :          0 :         int ret;
     673                 :            : 
     674   [ #  #  #  # ]:          0 :         change_nexthops(fi) {
     675                 :          0 :                 int attrlen;
     676                 :            : 
     677                 :          0 :                 memset(&fib_cfg, 0, sizeof(fib_cfg));
     678                 :            : 
     679         [ #  # ]:          0 :                 if (!rtnh_ok(rtnh, remaining)) {
     680         [ #  # ]:          0 :                         NL_SET_ERR_MSG(extack,
     681                 :            :                                        "Invalid nexthop configuration - extra data after nexthop");
     682                 :          0 :                         return -EINVAL;
     683                 :            :                 }
     684                 :            : 
     685         [ #  # ]:          0 :                 if (rtnh->rtnh_flags & (RTNH_F_DEAD | RTNH_F_LINKDOWN)) {
     686         [ #  # ]:          0 :                         NL_SET_ERR_MSG(extack,
     687                 :            :                                        "Invalid flags for nexthop - can not contain DEAD or LINKDOWN");
     688                 :          0 :                         return -EINVAL;
     689                 :            :                 }
     690                 :            : 
     691                 :          0 :                 fib_cfg.fc_flags = (cfg->fc_flags & ~0xFF) | rtnh->rtnh_flags;
     692                 :          0 :                 fib_cfg.fc_oif = rtnh->rtnh_ifindex;
     693                 :            : 
     694         [ #  # ]:          0 :                 attrlen = rtnh_attrlen(rtnh);
     695         [ #  # ]:          0 :                 if (attrlen > 0) {
     696                 :          0 :                         struct nlattr *nla, *nlav, *attrs = rtnh_attrs(rtnh);
     697                 :            : 
     698                 :          0 :                         nla = nla_find(attrs, attrlen, RTA_GATEWAY);
     699                 :          0 :                         nlav = nla_find(attrs, attrlen, RTA_VIA);
     700         [ #  # ]:          0 :                         if (nla && nlav) {
     701         [ #  # ]:          0 :                                 NL_SET_ERR_MSG(extack,
     702                 :            :                                                "Nexthop configuration can not contain both GATEWAY and VIA");
     703                 :          0 :                                 return -EINVAL;
     704                 :            :                         }
     705         [ #  # ]:          0 :                         if (nla) {
     706         [ #  # ]:          0 :                                 fib_cfg.fc_gw4 = nla_get_in_addr(nla);
     707         [ #  # ]:          0 :                                 if (fib_cfg.fc_gw4)
     708                 :          0 :                                         fib_cfg.fc_gw_family = AF_INET;
     709         [ #  # ]:          0 :                         } else if (nlav) {
     710                 :          0 :                                 ret = fib_gw_from_via(&fib_cfg, nlav, extack);
     711         [ #  # ]:          0 :                                 if (ret)
     712                 :          0 :                                         goto errout;
     713                 :            :                         }
     714                 :            : 
     715                 :          0 :                         nla = nla_find(attrs, attrlen, RTA_FLOW);
     716         [ #  # ]:          0 :                         if (nla)
     717                 :          0 :                                 fib_cfg.fc_flow = nla_get_u32(nla);
     718                 :            : 
     719                 :          0 :                         fib_cfg.fc_encap = nla_find(attrs, attrlen, RTA_ENCAP);
     720                 :          0 :                         nla = nla_find(attrs, attrlen, RTA_ENCAP_TYPE);
     721         [ #  # ]:          0 :                         if (nla)
     722                 :          0 :                                 fib_cfg.fc_encap_type = nla_get_u16(nla);
     723                 :            :                 }
     724                 :            : 
     725                 :          0 :                 ret = fib_nh_init(net, nexthop_nh, &fib_cfg,
     726                 :          0 :                                   rtnh->rtnh_hops + 1, extack);
     727         [ #  # ]:          0 :                 if (ret)
     728                 :          0 :                         goto errout;
     729                 :            : 
     730                 :          0 :                 rtnh = rtnh_next(rtnh, &remaining);
     731                 :          0 :         } endfor_nexthops(fi);
     732                 :            : 
     733                 :          0 :         ret = -EINVAL;
     734         [ #  # ]:          0 :         nh = fib_info_nh(fi, 0);
     735   [ #  #  #  # ]:          0 :         if (cfg->fc_oif && nh->fib_nh_oif != cfg->fc_oif) {
     736         [ #  # ]:          0 :                 NL_SET_ERR_MSG(extack,
     737                 :            :                                "Nexthop device index does not match RTA_OIF");
     738                 :          0 :                 goto errout;
     739                 :            :         }
     740         [ #  # ]:          0 :         if (cfg->fc_gw_family) {
     741   [ #  #  #  # ]:          0 :                 if (cfg->fc_gw_family != nh->fib_nh_gw_family ||
     742                 :          0 :                     (cfg->fc_gw_family == AF_INET &&
     743   [ #  #  #  # ]:          0 :                      nh->fib_nh_gw4 != cfg->fc_gw4) ||
     744         [ #  # ]:          0 :                     (cfg->fc_gw_family == AF_INET6 &&
     745         [ #  # ]:          0 :                      ipv6_addr_cmp(&nh->fib_nh_gw6, &cfg->fc_gw6))) {
     746         [ #  # ]:          0 :                         NL_SET_ERR_MSG(extack,
     747                 :            :                                        "Nexthop gateway does not match RTA_GATEWAY or RTA_VIA");
     748                 :          0 :                         goto errout;
     749                 :            :                 }
     750                 :            :         }
     751                 :            : #ifdef CONFIG_IP_ROUTE_CLASSID
     752                 :            :         if (cfg->fc_flow && nh->nh_tclassid != cfg->fc_flow) {
     753                 :            :                 NL_SET_ERR_MSG(extack,
     754                 :            :                                "Nexthop class id does not match RTA_FLOW");
     755                 :            :                 goto errout;
     756                 :            :         }
     757                 :            : #endif
     758                 :            :         ret = 0;
     759                 :            : errout:
     760                 :            :         return ret;
     761                 :            : }
     762                 :            : 
     763                 :            : /* only called when fib_nh is integrated into fib_info */
     764                 :        147 : static void fib_rebalance(struct fib_info *fi)
     765                 :            : {
     766                 :        147 :         int total;
     767                 :        147 :         int w;
     768                 :            : 
     769   [ -  +  -  + ]:        294 :         if (fib_info_num_path(fi) < 2)
     770                 :            :                 return;
     771                 :            : 
     772                 :          0 :         total = 0;
     773   [ #  #  #  # ]:          0 :         for_nexthops(fi) {
     774         [ #  # ]:          0 :                 if (nh->fib_nh_flags & RTNH_F_DEAD)
     775                 :          0 :                         continue;
     776                 :            : 
     777   [ #  #  #  # ]:          0 :                 if (ip_ignore_linkdown(nh->fib_nh_dev) &&
     778                 :            :                     nh->fib_nh_flags & RTNH_F_LINKDOWN)
     779                 :          0 :                         continue;
     780                 :            : 
     781                 :          0 :                 total += nh->fib_nh_weight;
     782                 :            :         } endfor_nexthops(fi);
     783                 :            : 
     784                 :            :         w = 0;
     785   [ #  #  #  # ]:          0 :         change_nexthops(fi) {
     786                 :          0 :                 int upper_bound;
     787                 :            : 
     788         [ #  # ]:          0 :                 if (nexthop_nh->fib_nh_flags & RTNH_F_DEAD) {
     789                 :            :                         upper_bound = -1;
     790   [ #  #  #  # ]:          0 :                 } else if (ip_ignore_linkdown(nexthop_nh->fib_nh_dev) &&
     791                 :            :                            nexthop_nh->fib_nh_flags & RTNH_F_LINKDOWN) {
     792                 :            :                         upper_bound = -1;
     793                 :            :                 } else {
     794                 :          0 :                         w += nexthop_nh->fib_nh_weight;
     795                 :          0 :                         upper_bound = DIV_ROUND_CLOSEST_ULL((u64)w << 31,
     796                 :          0 :                                                             total) - 1;
     797                 :            :                 }
     798                 :            : 
     799                 :          0 :                 atomic_set(&nexthop_nh->fib_nh_upper_bound, upper_bound);
     800                 :        147 :         } endfor_nexthops(fi);
     801                 :            : }
     802                 :            : #else /* CONFIG_IP_ROUTE_MULTIPATH */
     803                 :            : 
     804                 :            : static int fib_get_nhs(struct fib_info *fi, struct rtnexthop *rtnh,
     805                 :            :                        int remaining, struct fib_config *cfg,
     806                 :            :                        struct netlink_ext_ack *extack)
     807                 :            : {
     808                 :            :         NL_SET_ERR_MSG(extack, "Multipath support not enabled in kernel");
     809                 :            : 
     810                 :            :         return -EINVAL;
     811                 :            : }
     812                 :            : 
     813                 :            : #define fib_rebalance(fi) do { } while (0)
     814                 :            : 
     815                 :            : #endif /* CONFIG_IP_ROUTE_MULTIPATH */
     816                 :            : 
     817                 :            : static int fib_encap_match(u16 encap_type,
     818                 :            :                            struct nlattr *encap,
     819                 :            :                            const struct fib_nh *nh,
     820                 :            :                            const struct fib_config *cfg,
     821                 :            :                            struct netlink_ext_ack *extack)
     822                 :            : {
     823                 :            :         struct lwtunnel_state *lwtstate;
     824                 :            :         int ret, result = 0;
     825                 :            : 
     826                 :            :         if (encap_type == LWTUNNEL_ENCAP_NONE)
     827                 :            :                 return 0;
     828                 :            : 
     829                 :            :         ret = lwtunnel_build_state(encap_type, encap, AF_INET,
     830                 :            :                                    cfg, &lwtstate, extack);
     831                 :            :         if (!ret) {
     832                 :            :                 result = lwtunnel_cmp_encap(lwtstate, nh->fib_nh_lws);
     833                 :            :                 lwtstate_free(lwtstate);
     834                 :            :         }
     835                 :            : 
     836                 :            :         return result;
     837                 :            : }
     838                 :            : 
     839                 :          0 : int fib_nh_match(struct fib_config *cfg, struct fib_info *fi,
     840                 :            :                  struct netlink_ext_ack *extack)
     841                 :            : {
     842                 :            : #ifdef CONFIG_IP_ROUTE_MULTIPATH
     843                 :          0 :         struct rtnexthop *rtnh;
     844                 :          0 :         int remaining;
     845                 :            : #endif
     846                 :            : 
     847   [ #  #  #  # ]:          0 :         if (cfg->fc_priority && cfg->fc_priority != fi->fib_priority)
     848                 :            :                 return 1;
     849                 :            : 
     850         [ #  # ]:          0 :         if (cfg->fc_nh_id) {
     851   [ #  #  #  # ]:          0 :                 if (fi->nh && cfg->fc_nh_id == fi->nh->id)
     852                 :            :                         return 0;
     853                 :          0 :                 return 1;
     854                 :            :         }
     855                 :            : 
     856   [ #  #  #  # ]:          0 :         if (cfg->fc_oif || cfg->fc_gw_family) {
     857         [ #  # ]:          0 :                 struct fib_nh *nh = fib_info_nh(fi, 0);
     858                 :            : 
     859                 :          0 :                 if (cfg->fc_encap) {
     860                 :            :                         if (fib_encap_match(cfg->fc_encap_type, cfg->fc_encap,
     861                 :            :                                             nh, cfg, extack))
     862                 :            :                                 return 1;
     863                 :            :                 }
     864                 :            : #ifdef CONFIG_IP_ROUTE_CLASSID
     865                 :            :                 if (cfg->fc_flow &&
     866                 :            :                     cfg->fc_flow != nh->nh_tclassid)
     867                 :            :                         return 1;
     868                 :            : #endif
     869   [ #  #  #  # ]:          0 :                 if ((cfg->fc_oif && cfg->fc_oif != nh->fib_nh_oif) ||
     870         [ #  # ]:          0 :                     (cfg->fc_gw_family &&
     871         [ #  # ]:          0 :                      cfg->fc_gw_family != nh->fib_nh_gw_family))
     872                 :            :                         return 1;
     873                 :            : 
     874         [ #  # ]:          0 :                 if (cfg->fc_gw_family == AF_INET &&
     875         [ #  # ]:          0 :                     cfg->fc_gw4 != nh->fib_nh_gw4)
     876                 :            :                         return 1;
     877                 :            : 
     878   [ #  #  #  # ]:          0 :                 if (cfg->fc_gw_family == AF_INET6 &&
     879         [ #  # ]:          0 :                     ipv6_addr_cmp(&cfg->fc_gw6, &nh->fib_nh_gw6))
     880                 :            :                         return 1;
     881                 :            : 
     882                 :          0 :                 return 0;
     883                 :            :         }
     884                 :            : 
     885                 :            : #ifdef CONFIG_IP_ROUTE_MULTIPATH
     886         [ #  # ]:          0 :         if (!cfg->fc_mp)
     887                 :            :                 return 0;
     888                 :            : 
     889                 :          0 :         rtnh = cfg->fc_mp;
     890                 :          0 :         remaining = cfg->fc_mp_len;
     891                 :            : 
     892   [ #  #  #  # ]:          0 :         for_nexthops(fi) {
     893                 :          0 :                 int attrlen;
     894                 :            : 
     895         [ #  # ]:          0 :                 if (!rtnh_ok(rtnh, remaining))
     896                 :            :                         return -EINVAL;
     897                 :            : 
     898   [ #  #  #  # ]:          0 :                 if (rtnh->rtnh_ifindex && rtnh->rtnh_ifindex != nh->fib_nh_oif)
     899                 :            :                         return 1;
     900                 :            : 
     901         [ #  # ]:          0 :                 attrlen = rtnh_attrlen(rtnh);
     902         [ #  # ]:          0 :                 if (attrlen > 0) {
     903                 :          0 :                         struct nlattr *nla, *nlav, *attrs = rtnh_attrs(rtnh);
     904                 :            : 
     905                 :          0 :                         nla = nla_find(attrs, attrlen, RTA_GATEWAY);
     906                 :          0 :                         nlav = nla_find(attrs, attrlen, RTA_VIA);
     907         [ #  # ]:          0 :                         if (nla && nlav) {
     908         [ #  # ]:          0 :                                 NL_SET_ERR_MSG(extack,
     909                 :            :                                                "Nexthop configuration can not contain both GATEWAY and VIA");
     910                 :          0 :                                 return -EINVAL;
     911                 :            :                         }
     912                 :            : 
     913         [ #  # ]:          0 :                         if (nla) {
     914         [ #  # ]:          0 :                                 if (nh->fib_nh_gw_family != AF_INET ||
     915         [ #  # ]:          0 :                                     nla_get_in_addr(nla) != nh->fib_nh_gw4)
     916                 :            :                                         return 1;
     917         [ #  # ]:          0 :                         } else if (nlav) {
     918                 :          0 :                                 struct fib_config cfg2;
     919                 :          0 :                                 int err;
     920                 :            : 
     921                 :          0 :                                 err = fib_gw_from_via(&cfg2, nlav, extack);
     922         [ #  # ]:          0 :                                 if (err)
     923                 :          0 :                                         return err;
     924                 :            : 
     925      [ #  #  # ]:          0 :                                 switch (nh->fib_nh_gw_family) {
     926                 :          0 :                                 case AF_INET:
     927         [ #  # ]:          0 :                                         if (cfg2.fc_gw_family != AF_INET ||
     928         [ #  # ]:          0 :                                             cfg2.fc_gw4 != nh->fib_nh_gw4)
     929                 :            :                                                 return 1;
     930                 :            :                                         break;
     931                 :          0 :                                 case AF_INET6:
     932   [ #  #  #  # ]:          0 :                                         if (cfg2.fc_gw_family != AF_INET6 ||
     933         [ #  # ]:          0 :                                             ipv6_addr_cmp(&cfg2.fc_gw6,
     934                 :            :                                                           &nh->fib_nh_gw6))
     935                 :            :                                                 return 1;
     936                 :            :                                         break;
     937                 :            :                                 }
     938                 :          0 :                         }
     939                 :            : 
     940                 :            : #ifdef CONFIG_IP_ROUTE_CLASSID
     941                 :            :                         nla = nla_find(attrs, attrlen, RTA_FLOW);
     942                 :            :                         if (nla && nla_get_u32(nla) != nh->nh_tclassid)
     943                 :            :                                 return 1;
     944                 :            : #endif
     945                 :            :                 }
     946                 :            : 
     947                 :          0 :                 rtnh = rtnh_next(rtnh, &remaining);
     948                 :            :         } endfor_nexthops(fi);
     949                 :            : #endif
     950                 :            :         return 0;
     951                 :            : }
     952                 :            : 
     953                 :          0 : bool fib_metrics_match(struct fib_config *cfg, struct fib_info *fi)
     954                 :            : {
     955                 :          0 :         struct nlattr *nla;
     956                 :          0 :         int remaining;
     957                 :            : 
     958         [ #  # ]:          0 :         if (!cfg->fc_mx)
     959                 :            :                 return true;
     960                 :            : 
     961         [ #  # ]:          0 :         nla_for_each_attr(nla, cfg->fc_mx, cfg->fc_mx_len, remaining) {
     962         [ #  # ]:          0 :                 int type = nla_type(nla);
     963                 :          0 :                 u32 fi_val, val;
     964                 :            : 
     965         [ #  # ]:          0 :                 if (!type)
     966                 :          0 :                         continue;
     967         [ #  # ]:          0 :                 if (type > RTAX_MAX)
     968                 :            :                         return false;
     969                 :            : 
     970         [ #  # ]:          0 :                 if (type == RTAX_CC_ALGO) {
     971                 :          0 :                         char tmp[TCP_CA_NAME_MAX];
     972                 :          0 :                         bool ecn_ca = false;
     973                 :            : 
     974                 :          0 :                         nla_strlcpy(tmp, nla, sizeof(tmp));
     975                 :          0 :                         val = tcp_ca_get_key_by_name(fi->fib_net, tmp, &ecn_ca);
     976                 :            :                 } else {
     977         [ #  # ]:          0 :                         if (nla_len(nla) != sizeof(u32))
     978                 :            :                                 return false;
     979                 :          0 :                         val = nla_get_u32(nla);
     980                 :            :                 }
     981                 :            : 
     982                 :          0 :                 fi_val = fi->fib_metrics->metrics[type - 1];
     983         [ #  # ]:          0 :                 if (type == RTAX_FEATURES)
     984                 :          0 :                         fi_val &= ~DST_FEATURE_ECN_CA;
     985                 :            : 
     986         [ #  # ]:          0 :                 if (fi_val != val)
     987                 :            :                         return false;
     988                 :            :         }
     989                 :            : 
     990                 :            :         return true;
     991                 :            : }
     992                 :            : 
     993                 :          0 : static int fib_check_nh_v6_gw(struct net *net, struct fib_nh *nh,
     994                 :            :                               u32 table, struct netlink_ext_ack *extack)
     995                 :            : {
     996                 :          0 :         struct fib6_config cfg = {
     997                 :            :                 .fc_table = table,
     998                 :          0 :                 .fc_flags = nh->fib_nh_flags | RTF_GATEWAY,
     999                 :          0 :                 .fc_ifindex = nh->fib_nh_oif,
    1000                 :            :                 .fc_gateway = nh->fib_nh_gw6,
    1001                 :            :         };
    1002                 :          0 :         struct fib6_nh fib6_nh = {};
    1003                 :          0 :         int err;
    1004                 :            : 
    1005                 :          0 :         err = ipv6_stub->fib6_nh_init(net, &fib6_nh, &cfg, GFP_KERNEL, extack);
    1006         [ #  # ]:          0 :         if (!err) {
    1007                 :          0 :                 nh->fib_nh_dev = fib6_nh.fib_nh_dev;
    1008                 :          0 :                 dev_hold(nh->fib_nh_dev);
    1009                 :          0 :                 nh->fib_nh_oif = nh->fib_nh_dev->ifindex;
    1010                 :          0 :                 nh->fib_nh_scope = RT_SCOPE_LINK;
    1011                 :            : 
    1012                 :          0 :                 ipv6_stub->fib6_nh_release(&fib6_nh);
    1013                 :            :         }
    1014                 :            : 
    1015                 :          0 :         return err;
    1016                 :            : }
    1017                 :            : 
    1018                 :            : /*
    1019                 :            :  * Picture
    1020                 :            :  * -------
    1021                 :            :  *
    1022                 :            :  * Semantics of nexthop is very messy by historical reasons.
    1023                 :            :  * We have to take into account, that:
    1024                 :            :  * a) gateway can be actually local interface address,
    1025                 :            :  *    so that gatewayed route is direct.
    1026                 :            :  * b) gateway must be on-link address, possibly
    1027                 :            :  *    described not by an ifaddr, but also by a direct route.
    1028                 :            :  * c) If both gateway and interface are specified, they should not
    1029                 :            :  *    contradict.
    1030                 :            :  * d) If we use tunnel routes, gateway could be not on-link.
    1031                 :            :  *
    1032                 :            :  * Attempt to reconcile all of these (alas, self-contradictory) conditions
    1033                 :            :  * results in pretty ugly and hairy code with obscure logic.
    1034                 :            :  *
    1035                 :            :  * I chose to generalized it instead, so that the size
    1036                 :            :  * of code does not increase practically, but it becomes
    1037                 :            :  * much more general.
    1038                 :            :  * Every prefix is assigned a "scope" value: "host" is local address,
    1039                 :            :  * "link" is direct route,
    1040                 :            :  * [ ... "site" ... "interior" ... ]
    1041                 :            :  * and "universe" is true gateway route with global meaning.
    1042                 :            :  *
    1043                 :            :  * Every prefix refers to a set of "nexthop"s (gw, oif),
    1044                 :            :  * where gw must have narrower scope. This recursion stops
    1045                 :            :  * when gw has LOCAL scope or if "nexthop" is declared ONLINK,
    1046                 :            :  * which means that gw is forced to be on link.
    1047                 :            :  *
    1048                 :            :  * Code is still hairy, but now it is apparently logically
    1049                 :            :  * consistent and very flexible. F.e. as by-product it allows
    1050                 :            :  * to co-exists in peace independent exterior and interior
    1051                 :            :  * routing processes.
    1052                 :            :  *
    1053                 :            :  * Normally it looks as following.
    1054                 :            :  *
    1055                 :            :  * {universe prefix}  -> (gw, oif) [scope link]
    1056                 :            :  *                |
    1057                 :            :  *                |-> {link prefix} -> (gw, oif) [scope local]
    1058                 :            :  *                                      |
    1059                 :            :  *                                      |-> {local prefix} (terminal node)
    1060                 :            :  */
    1061                 :          0 : static int fib_check_nh_v4_gw(struct net *net, struct fib_nh *nh, u32 table,
    1062                 :            :                               u8 scope, struct netlink_ext_ack *extack)
    1063                 :            : {
    1064                 :          0 :         struct net_device *dev;
    1065                 :          0 :         struct fib_result res;
    1066                 :          0 :         int err = 0;
    1067                 :            : 
    1068         [ #  # ]:          0 :         if (nh->fib_nh_flags & RTNH_F_ONLINK) {
    1069                 :          0 :                 unsigned int addr_type;
    1070                 :            : 
    1071         [ #  # ]:          0 :                 if (scope >= RT_SCOPE_LINK) {
    1072         [ #  # ]:          0 :                         NL_SET_ERR_MSG(extack, "Nexthop has invalid scope");
    1073                 :          0 :                         return -EINVAL;
    1074                 :            :                 }
    1075                 :          0 :                 dev = __dev_get_by_index(net, nh->fib_nh_oif);
    1076         [ #  # ]:          0 :                 if (!dev) {
    1077         [ #  # ]:          0 :                         NL_SET_ERR_MSG(extack, "Nexthop device required for onlink");
    1078                 :          0 :                         return -ENODEV;
    1079                 :            :                 }
    1080         [ #  # ]:          0 :                 if (!(dev->flags & IFF_UP)) {
    1081         [ #  # ]:          0 :                         NL_SET_ERR_MSG(extack, "Nexthop device is not up");
    1082                 :          0 :                         return -ENETDOWN;
    1083                 :            :                 }
    1084                 :          0 :                 addr_type = inet_addr_type_dev_table(net, dev, nh->fib_nh_gw4);
    1085         [ #  # ]:          0 :                 if (addr_type != RTN_UNICAST) {
    1086         [ #  # ]:          0 :                         NL_SET_ERR_MSG(extack, "Nexthop has invalid gateway");
    1087                 :          0 :                         return -EINVAL;
    1088                 :            :                 }
    1089         [ #  # ]:          0 :                 if (!netif_carrier_ok(dev))
    1090                 :          0 :                         nh->fib_nh_flags |= RTNH_F_LINKDOWN;
    1091                 :          0 :                 nh->fib_nh_dev = dev;
    1092                 :          0 :                 dev_hold(dev);
    1093                 :          0 :                 nh->fib_nh_scope = RT_SCOPE_LINK;
    1094                 :          0 :                 return 0;
    1095                 :            :         }
    1096                 :          0 :         rcu_read_lock();
    1097                 :            :         {
    1098                 :          0 :                 struct fib_table *tbl = NULL;
    1099                 :          0 :                 struct flowi4 fl4 = {
    1100                 :          0 :                         .daddr = nh->fib_nh_gw4,
    1101                 :          0 :                         .flowi4_scope = scope + 1,
    1102                 :          0 :                         .flowi4_oif = nh->fib_nh_oif,
    1103                 :            :                         .flowi4_iif = LOOPBACK_IFINDEX,
    1104                 :            :                 };
    1105                 :            : 
    1106                 :            :                 /* It is not necessary, but requires a bit of thinking */
    1107         [ #  # ]:          0 :                 if (fl4.flowi4_scope < RT_SCOPE_LINK)
    1108                 :          0 :                         fl4.flowi4_scope = RT_SCOPE_LINK;
    1109                 :            : 
    1110         [ #  # ]:          0 :                 if (table)
    1111                 :          0 :                         tbl = fib_get_table(net, table);
    1112                 :            : 
    1113         [ #  # ]:          0 :                 if (tbl)
    1114                 :          0 :                         err = fib_table_lookup(tbl, &fl4, &res,
    1115                 :            :                                                FIB_LOOKUP_IGNORE_LINKSTATE |
    1116                 :            :                                                FIB_LOOKUP_NOREF);
    1117                 :            : 
    1118                 :            :                 /* on error or if no table given do full lookup. This
    1119                 :            :                  * is needed for example when nexthops are in the local
    1120                 :            :                  * table rather than the given table
    1121                 :            :                  */
    1122         [ #  # ]:          0 :                 if (!tbl || err) {
    1123                 :          0 :                         err = fib_lookup(net, &fl4, &res,
    1124                 :            :                                          FIB_LOOKUP_IGNORE_LINKSTATE);
    1125                 :            :                 }
    1126                 :            : 
    1127         [ #  # ]:          0 :                 if (err) {
    1128         [ #  # ]:          0 :                         NL_SET_ERR_MSG(extack, "Nexthop has invalid gateway");
    1129                 :          0 :                         goto out;
    1130                 :            :                 }
    1131                 :            :         }
    1132                 :            : 
    1133                 :          0 :         err = -EINVAL;
    1134         [ #  # ]:          0 :         if (res.type != RTN_UNICAST && res.type != RTN_LOCAL) {
    1135         [ #  # ]:          0 :                 NL_SET_ERR_MSG(extack, "Nexthop has invalid gateway");
    1136                 :          0 :                 goto out;
    1137                 :            :         }
    1138                 :          0 :         nh->fib_nh_scope = res.scope;
    1139                 :          0 :         nh->fib_nh_oif = FIB_RES_OIF(res);
    1140                 :          0 :         nh->fib_nh_dev = dev = FIB_RES_DEV(res);
    1141         [ #  # ]:          0 :         if (!dev) {
    1142         [ #  # ]:          0 :                 NL_SET_ERR_MSG(extack,
    1143                 :            :                                "No egress device for nexthop gateway");
    1144                 :          0 :                 goto out;
    1145                 :            :         }
    1146                 :          0 :         dev_hold(dev);
    1147         [ #  # ]:          0 :         if (!netif_carrier_ok(dev))
    1148                 :          0 :                 nh->fib_nh_flags |= RTNH_F_LINKDOWN;
    1149         [ #  # ]:          0 :         err = (dev->flags & IFF_UP) ? 0 : -ENETDOWN;
    1150                 :          0 : out:
    1151                 :          0 :         rcu_read_unlock();
    1152                 :          0 :         return err;
    1153                 :            : }
    1154                 :            : 
    1155                 :         42 : static int fib_check_nh_nongw(struct net *net, struct fib_nh *nh,
    1156                 :            :                               struct netlink_ext_ack *extack)
    1157                 :            : {
    1158                 :         42 :         struct in_device *in_dev;
    1159                 :         42 :         int err;
    1160                 :            : 
    1161         [ -  + ]:         42 :         if (nh->fib_nh_flags & (RTNH_F_PERVASIVE | RTNH_F_ONLINK)) {
    1162         [ #  # ]:          0 :                 NL_SET_ERR_MSG(extack,
    1163                 :            :                                "Invalid flags for nexthop - PERVASIVE and ONLINK can not be set");
    1164                 :          0 :                 return -EINVAL;
    1165                 :            :         }
    1166                 :            : 
    1167                 :         42 :         rcu_read_lock();
    1168                 :            : 
    1169                 :         42 :         err = -ENODEV;
    1170                 :         42 :         in_dev = inetdev_by_index(net, nh->fib_nh_oif);
    1171         [ -  + ]:         42 :         if (!in_dev)
    1172                 :          0 :                 goto out;
    1173                 :         42 :         err = -ENETDOWN;
    1174         [ -  + ]:         42 :         if (!(in_dev->dev->flags & IFF_UP)) {
    1175         [ #  # ]:          0 :                 NL_SET_ERR_MSG(extack, "Device for nexthop is not up");
    1176                 :          0 :                 goto out;
    1177                 :            :         }
    1178                 :            : 
    1179                 :         42 :         nh->fib_nh_dev = in_dev->dev;
    1180                 :         42 :         dev_hold(nh->fib_nh_dev);
    1181                 :         42 :         nh->fib_nh_scope = RT_SCOPE_HOST;
    1182         [ -  + ]:         42 :         if (!netif_carrier_ok(nh->fib_nh_dev))
    1183                 :          0 :                 nh->fib_nh_flags |= RTNH_F_LINKDOWN;
    1184                 :            :         err = 0;
    1185                 :         42 : out:
    1186                 :         42 :         rcu_read_unlock();
    1187                 :         42 :         return err;
    1188                 :            : }
    1189                 :            : 
    1190                 :         42 : int fib_check_nh(struct net *net, struct fib_nh *nh, u32 table, u8 scope,
    1191                 :            :                  struct netlink_ext_ack *extack)
    1192                 :            : {
    1193                 :         42 :         int err;
    1194                 :            : 
    1195         [ -  + ]:         42 :         if (nh->fib_nh_gw_family == AF_INET)
    1196                 :          0 :                 err = fib_check_nh_v4_gw(net, nh, table, scope, extack);
    1197         [ -  + ]:         42 :         else if (nh->fib_nh_gw_family == AF_INET6)
    1198                 :          0 :                 err = fib_check_nh_v6_gw(net, nh, table, extack);
    1199                 :            :         else
    1200                 :         42 :                 err = fib_check_nh_nongw(net, nh, extack);
    1201                 :            : 
    1202                 :         42 :         return err;
    1203                 :            : }
    1204                 :            : 
    1205                 :         42 : static inline unsigned int fib_laddr_hashfn(__be32 val)
    1206                 :            : {
    1207                 :         42 :         unsigned int mask = (fib_info_hash_size - 1);
    1208                 :            : 
    1209                 :         42 :         return ((__force u32)val ^
    1210                 :         42 :                 ((__force u32)val >> 7) ^
    1211                 :         42 :                 ((__force u32)val >> 14)) & mask;
    1212                 :            : }
    1213                 :            : 
    1214                 :         42 : static struct hlist_head *fib_info_hash_alloc(int bytes)
    1215                 :            : {
    1216         [ +  - ]:         42 :         if (bytes <= PAGE_SIZE)
    1217                 :         42 :                 return kzalloc(bytes, GFP_KERNEL);
    1218                 :            :         else
    1219                 :          0 :                 return (struct hlist_head *)
    1220                 :          0 :                         __get_free_pages(GFP_KERNEL | __GFP_ZERO,
    1221                 :          0 :                                          get_order(bytes));
    1222                 :            : }
    1223                 :            : 
    1224                 :         42 : static void fib_info_hash_free(struct hlist_head *hash, int bytes)
    1225                 :            : {
    1226         [ -  + ]:         42 :         if (!hash)
    1227                 :            :                 return;
    1228                 :            : 
    1229         [ #  # ]:          0 :         if (bytes <= PAGE_SIZE)
    1230                 :          0 :                 kfree(hash);
    1231                 :            :         else
    1232                 :          0 :                 free_pages((unsigned long) hash, get_order(bytes));
    1233                 :            : }
    1234                 :            : 
    1235                 :         21 : static void fib_info_hash_move(struct hlist_head *new_info_hash,
    1236                 :            :                                struct hlist_head *new_laddrhash,
    1237                 :            :                                unsigned int new_size)
    1238                 :            : {
    1239                 :         21 :         struct hlist_head *old_info_hash, *old_laddrhash;
    1240                 :         21 :         unsigned int old_size = fib_info_hash_size;
    1241                 :         21 :         unsigned int i, bytes;
    1242                 :            : 
    1243                 :         21 :         spin_lock_bh(&fib_info_lock);
    1244                 :         21 :         old_info_hash = fib_info_hash;
    1245                 :         21 :         old_laddrhash = fib_info_laddrhash;
    1246                 :         21 :         fib_info_hash_size = new_size;
    1247                 :            : 
    1248         [ -  + ]:         21 :         for (i = 0; i < old_size; i++) {
    1249                 :          0 :                 struct hlist_head *head = &fib_info_hash[i];
    1250                 :          0 :                 struct hlist_node *n;
    1251                 :          0 :                 struct fib_info *fi;
    1252                 :            : 
    1253   [ #  #  #  #  :          0 :                 hlist_for_each_entry_safe(fi, n, head, fib_hash) {
                   #  # ]
    1254                 :          0 :                         struct hlist_head *dest;
    1255                 :          0 :                         unsigned int new_hash;
    1256                 :            : 
    1257                 :          0 :                         new_hash = fib_info_hashfn(fi);
    1258                 :          0 :                         dest = &new_info_hash[new_hash];
    1259         [ #  # ]:          0 :                         hlist_add_head(&fi->fib_hash, dest);
    1260                 :            :                 }
    1261                 :            :         }
    1262                 :         21 :         fib_info_hash = new_info_hash;
    1263                 :            : 
    1264         [ -  + ]:         21 :         for (i = 0; i < old_size; i++) {
    1265                 :          0 :                 struct hlist_head *lhead = &fib_info_laddrhash[i];
    1266                 :          0 :                 struct hlist_node *n;
    1267                 :          0 :                 struct fib_info *fi;
    1268                 :            : 
    1269   [ #  #  #  #  :          0 :                 hlist_for_each_entry_safe(fi, n, lhead, fib_lhash) {
                   #  # ]
    1270                 :          0 :                         struct hlist_head *ldest;
    1271                 :          0 :                         unsigned int new_hash;
    1272                 :            : 
    1273                 :          0 :                         new_hash = fib_laddr_hashfn(fi->fib_prefsrc);
    1274                 :          0 :                         ldest = &new_laddrhash[new_hash];
    1275         [ #  # ]:          0 :                         hlist_add_head(&fi->fib_lhash, ldest);
    1276                 :            :                 }
    1277                 :            :         }
    1278                 :         21 :         fib_info_laddrhash = new_laddrhash;
    1279                 :            : 
    1280                 :         21 :         spin_unlock_bh(&fib_info_lock);
    1281                 :            : 
    1282                 :         21 :         bytes = old_size * sizeof(struct hlist_head *);
    1283                 :         21 :         fib_info_hash_free(old_info_hash, bytes);
    1284                 :         21 :         fib_info_hash_free(old_laddrhash, bytes);
    1285                 :         21 : }
    1286                 :            : 
    1287                 :        105 : __be32 fib_info_update_nhc_saddr(struct net *net, struct fib_nh_common *nhc,
    1288                 :            :                                  unsigned char scope)
    1289                 :            : {
    1290                 :        105 :         struct fib_nh *nh;
    1291                 :            : 
    1292         [ -  + ]:        105 :         if (nhc->nhc_family != AF_INET)
    1293                 :          0 :                 return inet_select_addr(nhc->nhc_dev, 0, scope);
    1294                 :            : 
    1295                 :        105 :         nh = container_of(nhc, struct fib_nh, nh_common);
    1296                 :        105 :         nh->nh_saddr = inet_select_addr(nh->fib_nh_dev, nh->fib_nh_gw4, scope);
    1297                 :        105 :         nh->nh_saddr_genid = atomic_read(&net->ipv4.dev_addr_genid);
    1298                 :            : 
    1299                 :        105 :         return nh->nh_saddr;
    1300                 :            : }
    1301                 :            : 
    1302                 :          0 : __be32 fib_result_prefsrc(struct net *net, struct fib_result *res)
    1303                 :            : {
    1304                 :          0 :         struct fib_nh_common *nhc = res->nhc;
    1305                 :            : 
    1306         [ #  # ]:          0 :         if (res->fi->fib_prefsrc)
    1307                 :            :                 return res->fi->fib_prefsrc;
    1308                 :            : 
    1309         [ #  # ]:          0 :         if (nhc->nhc_family == AF_INET) {
    1310                 :          0 :                 struct fib_nh *nh;
    1311                 :            : 
    1312                 :          0 :                 nh = container_of(nhc, struct fib_nh, nh_common);
    1313         [ #  # ]:          0 :                 if (nh->nh_saddr_genid == atomic_read(&net->ipv4.dev_addr_genid))
    1314                 :          0 :                         return nh->nh_saddr;
    1315                 :            :         }
    1316                 :            : 
    1317                 :          0 :         return fib_info_update_nhc_saddr(net, nhc, res->fi->fib_scope);
    1318                 :            : }
    1319                 :            : 
    1320                 :        105 : static bool fib_valid_prefsrc(struct fib_config *cfg, __be32 fib_prefsrc)
    1321                 :            : {
    1322   [ +  +  +  -  :        105 :         if (cfg->fc_type != RTN_LOCAL || !cfg->fc_dst ||
                   +  + ]
    1323                 :            :             fib_prefsrc != cfg->fc_dst) {
    1324                 :         63 :                 u32 tb_id = cfg->fc_table;
    1325                 :         63 :                 int rc;
    1326                 :            : 
    1327         [ -  + ]:         63 :                 if (tb_id == RT_TABLE_MAIN)
    1328                 :          0 :                         tb_id = RT_TABLE_LOCAL;
    1329                 :            : 
    1330                 :         63 :                 rc = inet_addr_type_table(cfg->fc_nlinfo.nl_net,
    1331                 :            :                                           fib_prefsrc, tb_id);
    1332                 :            : 
    1333         [ -  + ]:         63 :                 if (rc != RTN_LOCAL && tb_id != RT_TABLE_LOCAL) {
    1334                 :          0 :                         rc = inet_addr_type_table(cfg->fc_nlinfo.nl_net,
    1335                 :            :                                                   fib_prefsrc, RT_TABLE_LOCAL);
    1336                 :            :                 }
    1337                 :            : 
    1338         [ -  + ]:         63 :                 if (rc != RTN_LOCAL)
    1339                 :          0 :                         return false;
    1340                 :            :         }
    1341                 :            :         return true;
    1342                 :            : }
    1343                 :            : 
    1344                 :        105 : struct fib_info *fib_create_info(struct fib_config *cfg,
    1345                 :            :                                  struct netlink_ext_ack *extack)
    1346                 :            : {
    1347                 :        105 :         int err;
    1348                 :        105 :         struct fib_info *fi = NULL;
    1349                 :        105 :         struct nexthop *nh = NULL;
    1350                 :        105 :         struct fib_info *ofi;
    1351                 :        105 :         int nhs = 1;
    1352                 :        105 :         struct net *net = cfg->fc_nlinfo.nl_net;
    1353                 :            : 
    1354         [ -  + ]:        105 :         if (cfg->fc_type > RTN_MAX)
    1355                 :          0 :                 goto err_inval;
    1356                 :            : 
    1357                 :            :         /* Fast check to catch the most weird cases */
    1358         [ -  + ]:        105 :         if (fib_props[cfg->fc_type].scope > cfg->fc_scope) {
    1359         [ #  # ]:          0 :                 NL_SET_ERR_MSG(extack, "Invalid scope");
    1360                 :          0 :                 goto err_inval;
    1361                 :            :         }
    1362                 :            : 
    1363         [ -  + ]:        105 :         if (cfg->fc_flags & (RTNH_F_DEAD | RTNH_F_LINKDOWN)) {
    1364         [ #  # ]:          0 :                 NL_SET_ERR_MSG(extack,
    1365                 :            :                                "Invalid rtm_flags - can not contain DEAD or LINKDOWN");
    1366                 :          0 :                 goto err_inval;
    1367                 :            :         }
    1368                 :            : 
    1369         [ -  + ]:        105 :         if (cfg->fc_nh_id) {
    1370         [ #  # ]:          0 :                 if (!cfg->fc_mx) {
    1371                 :          0 :                         fi = fib_find_info_nh(net, cfg);
    1372         [ #  # ]:          0 :                         if (fi) {
    1373                 :          0 :                                 fi->fib_treeref++;
    1374                 :          0 :                                 return fi;
    1375                 :            :                         }
    1376                 :            :                 }
    1377                 :            : 
    1378                 :          0 :                 nh = nexthop_find_by_id(net, cfg->fc_nh_id);
    1379         [ #  # ]:          0 :                 if (!nh) {
    1380         [ #  # ]:          0 :                         NL_SET_ERR_MSG(extack, "Nexthop id does not exist");
    1381                 :          0 :                         goto err_inval;
    1382                 :            :                 }
    1383                 :            :                 nhs = 0;
    1384                 :            :         }
    1385                 :            : 
    1386                 :            : #ifdef CONFIG_IP_ROUTE_MULTIPATH
    1387         [ -  + ]:        105 :         if (cfg->fc_mp) {
    1388                 :          0 :                 nhs = fib_count_nexthops(cfg->fc_mp, cfg->fc_mp_len, extack);
    1389         [ #  # ]:          0 :                 if (nhs == 0)
    1390                 :          0 :                         goto err_inval;
    1391                 :            :         }
    1392                 :            : #endif
    1393                 :            : 
    1394                 :        105 :         err = -ENOBUFS;
    1395         [ +  + ]:        105 :         if (fib_info_cnt >= fib_info_hash_size) {
    1396                 :         21 :                 unsigned int new_size = fib_info_hash_size << 1;
    1397                 :         21 :                 struct hlist_head *new_info_hash;
    1398                 :         21 :                 struct hlist_head *new_laddrhash;
    1399                 :         21 :                 unsigned int bytes;
    1400                 :            : 
    1401         [ +  - ]:         21 :                 if (!new_size)
    1402                 :         21 :                         new_size = 16;
    1403                 :         21 :                 bytes = new_size * sizeof(struct hlist_head *);
    1404                 :         21 :                 new_info_hash = fib_info_hash_alloc(bytes);
    1405                 :         21 :                 new_laddrhash = fib_info_hash_alloc(bytes);
    1406         [ -  + ]:         21 :                 if (!new_info_hash || !new_laddrhash) {
    1407                 :          0 :                         fib_info_hash_free(new_info_hash, bytes);
    1408                 :          0 :                         fib_info_hash_free(new_laddrhash, bytes);
    1409                 :            :                 } else
    1410                 :         21 :                         fib_info_hash_move(new_info_hash, new_laddrhash, new_size);
    1411                 :            : 
    1412         [ -  + ]:         21 :                 if (!fib_info_hash_size)
    1413                 :          0 :                         goto failure;
    1414                 :            :         }
    1415                 :            : 
    1416         [ +  - ]:        210 :         fi = kzalloc(struct_size(fi, fib_nh, nhs), GFP_KERNEL);
    1417         [ -  + ]:        105 :         if (!fi)
    1418                 :          0 :                 goto failure;
    1419                 :        105 :         fi->fib_metrics = ip_fib_metrics_init(fi->fib_net, cfg->fc_mx,
    1420                 :            :                                               cfg->fc_mx_len, extack);
    1421         [ -  + ]:        105 :         if (IS_ERR(fi->fib_metrics)) {
    1422                 :          0 :                 err = PTR_ERR(fi->fib_metrics);
    1423                 :          0 :                 kfree(fi);
    1424                 :          0 :                 return ERR_PTR(err);
    1425                 :            :         }
    1426                 :            : 
    1427                 :        105 :         fib_info_cnt++;
    1428                 :        105 :         fi->fib_net = net;
    1429                 :        105 :         fi->fib_protocol = cfg->fc_protocol;
    1430                 :        105 :         fi->fib_scope = cfg->fc_scope;
    1431                 :        105 :         fi->fib_flags = cfg->fc_flags;
    1432                 :        105 :         fi->fib_priority = cfg->fc_priority;
    1433                 :        105 :         fi->fib_prefsrc = cfg->fc_prefsrc;
    1434                 :        105 :         fi->fib_type = cfg->fc_type;
    1435                 :        105 :         fi->fib_tb_id = cfg->fc_table;
    1436                 :            : 
    1437                 :        105 :         fi->fib_nhs = nhs;
    1438         [ -  + ]:        105 :         if (nh) {
    1439         [ #  # ]:          0 :                 if (!nexthop_get(nh)) {
    1440         [ #  # ]:          0 :                         NL_SET_ERR_MSG(extack, "Nexthop has been deleted");
    1441                 :            :                         err = -EINVAL;
    1442                 :            :                 } else {
    1443                 :          0 :                         err = 0;
    1444                 :          0 :                         fi->nh = nh;
    1445                 :            :                 }
    1446                 :            :         } else {
    1447   [ -  +  +  + ]:        420 :                 change_nexthops(fi) {
    1448                 :        105 :                         nexthop_nh->nh_parent = fi;
    1449                 :            :                 } endfor_nexthops(fi)
    1450                 :            : 
    1451         [ -  + ]:        105 :                 if (cfg->fc_mp)
    1452                 :          0 :                         err = fib_get_nhs(fi, cfg->fc_mp, cfg->fc_mp_len, cfg,
    1453                 :            :                                           extack);
    1454                 :            :                 else
    1455                 :        105 :                         err = fib_nh_init(net, fi->fib_nh, cfg, 1, extack);
    1456                 :            :         }
    1457                 :            : 
    1458         [ -  + ]:        105 :         if (err != 0)
    1459                 :          0 :                 goto failure;
    1460                 :            : 
    1461         [ -  + ]:        105 :         if (fib_props[cfg->fc_type].error) {
    1462   [ #  #  #  #  :          0 :                 if (cfg->fc_gw_family || cfg->fc_oif || cfg->fc_mp) {
                   #  # ]
    1463         [ #  # ]:          0 :                         NL_SET_ERR_MSG(extack,
    1464                 :            :                                        "Gateway, device and multipath can not be specified for this route type");
    1465                 :          0 :                         goto err_inval;
    1466                 :            :                 }
    1467                 :          0 :                 goto link_it;
    1468                 :            :         } else {
    1469         [ -  + ]:        105 :                 switch (cfg->fc_type) {
    1470                 :            :                 case RTN_UNICAST:
    1471                 :            :                 case RTN_LOCAL:
    1472                 :            :                 case RTN_BROADCAST:
    1473                 :            :                 case RTN_ANYCAST:
    1474                 :            :                 case RTN_MULTICAST:
    1475                 :        105 :                         break;
    1476                 :          0 :                 default:
    1477         [ #  # ]:          0 :                         NL_SET_ERR_MSG(extack, "Invalid route type");
    1478                 :          0 :                         goto err_inval;
    1479                 :            :                 }
    1480                 :            :         }
    1481                 :            : 
    1482         [ -  + ]:        105 :         if (cfg->fc_scope > RT_SCOPE_HOST) {
    1483         [ #  # ]:          0 :                 NL_SET_ERR_MSG(extack, "Invalid scope");
    1484                 :          0 :                 goto err_inval;
    1485                 :            :         }
    1486                 :            : 
    1487         [ -  + ]:        105 :         if (fi->nh) {
    1488                 :          0 :                 err = fib_check_nexthop(fi->nh, cfg->fc_scope, extack);
    1489         [ #  # ]:          0 :                 if (err)
    1490                 :          0 :                         goto failure;
    1491         [ +  + ]:        105 :         } else if (cfg->fc_scope == RT_SCOPE_HOST) {
    1492                 :         63 :                 struct fib_nh *nh = fi->fib_nh;
    1493                 :            : 
    1494                 :            :                 /* Local address is added. */
    1495         [ -  + ]:         63 :                 if (nhs != 1) {
    1496         [ #  # ]:          0 :                         NL_SET_ERR_MSG(extack,
    1497                 :            :                                        "Route with host scope can not have multiple nexthops");
    1498                 :          0 :                         goto err_inval;
    1499                 :            :                 }
    1500         [ -  + ]:         63 :                 if (nh->fib_nh_gw_family) {
    1501         [ #  # ]:          0 :                         NL_SET_ERR_MSG(extack,
    1502                 :            :                                        "Route with host scope can not have a gateway");
    1503                 :          0 :                         goto err_inval;
    1504                 :            :                 }
    1505                 :         63 :                 nh->fib_nh_scope = RT_SCOPE_NOWHERE;
    1506                 :         63 :                 nh->fib_nh_dev = dev_get_by_index(net, nh->fib_nh_oif);
    1507                 :         63 :                 err = -ENODEV;
    1508         [ -  + ]:         63 :                 if (!nh->fib_nh_dev)
    1509                 :          0 :                         goto failure;
    1510                 :            :         } else {
    1511                 :         42 :                 int linkdown = 0;
    1512                 :            : 
    1513   [ -  +  +  + ]:        168 :                 change_nexthops(fi) {
    1514                 :         42 :                         err = fib_check_nh(cfg->fc_nlinfo.nl_net, nexthop_nh,
    1515                 :         42 :                                            cfg->fc_table, cfg->fc_scope,
    1516                 :            :                                            extack);
    1517         [ -  + ]:         42 :                         if (err != 0)
    1518                 :          0 :                                 goto failure;
    1519         [ -  + ]:         42 :                         if (nexthop_nh->fib_nh_flags & RTNH_F_LINKDOWN)
    1520                 :          0 :                                 linkdown++;
    1521                 :            :                 } endfor_nexthops(fi)
    1522         [ -  + ]:         42 :                 if (linkdown == fi->fib_nhs)
    1523                 :          0 :                         fi->fib_flags |= RTNH_F_LINKDOWN;
    1524                 :            :         }
    1525                 :            : 
    1526   [ +  -  -  + ]:        105 :         if (fi->fib_prefsrc && !fib_valid_prefsrc(cfg, fi->fib_prefsrc)) {
    1527         [ #  # ]:          0 :                 NL_SET_ERR_MSG(extack, "Invalid prefsrc address");
    1528                 :          0 :                 goto err_inval;
    1529                 :            :         }
    1530                 :            : 
    1531         [ -  + ]:        105 :         if (!fi->nh) {
    1532   [ -  +  +  + ]:        420 :                 change_nexthops(fi) {
    1533                 :        105 :                         fib_info_update_nhc_saddr(net, &nexthop_nh->nh_common,
    1534                 :        105 :                                                   fi->fib_scope);
    1535         [ -  + ]:        105 :                         if (nexthop_nh->fib_nh_gw_family == AF_INET6)
    1536                 :          0 :                                 fi->fib_nh_is_v6 = true;
    1537                 :            :                 } endfor_nexthops(fi)
    1538                 :            : 
    1539                 :        105 :                 fib_rebalance(fi);
    1540                 :            :         }
    1541                 :            : 
    1542                 :          0 : link_it:
    1543                 :        105 :         ofi = fib_find_info(fi);
    1544         [ +  + ]:        105 :         if (ofi) {
    1545                 :         63 :                 fi->fib_dead = 1;
    1546                 :         63 :                 free_fib_info(fi);
    1547                 :         63 :                 ofi->fib_treeref++;
    1548                 :         63 :                 return ofi;
    1549                 :            :         }
    1550                 :            : 
    1551                 :         42 :         fi->fib_treeref++;
    1552                 :         42 :         refcount_set(&fi->fib_clntref, 1);
    1553                 :         42 :         spin_lock_bh(&fib_info_lock);
    1554                 :         42 :         hlist_add_head(&fi->fib_hash,
    1555         [ -  + ]:         42 :                        &fib_info_hash[fib_info_hashfn(fi)]);
    1556         [ +  - ]:         42 :         if (fi->fib_prefsrc) {
    1557                 :         42 :                 struct hlist_head *head;
    1558                 :            : 
    1559                 :         42 :                 head = &fib_info_laddrhash[fib_laddr_hashfn(fi->fib_prefsrc)];
    1560         [ +  + ]:         42 :                 hlist_add_head(&fi->fib_lhash, head);
    1561                 :            :         }
    1562         [ -  + ]:         42 :         if (fi->nh) {
    1563                 :          0 :                 list_add(&fi->nh_list, &nh->fi_list);
    1564                 :            :         } else {
    1565   [ -  +  +  + ]:        168 :                 change_nexthops(fi) {
    1566                 :         42 :                         struct hlist_head *head;
    1567                 :         42 :                         unsigned int hash;
    1568                 :            : 
    1569         [ -  + ]:         42 :                         if (!nexthop_nh->fib_nh_dev)
    1570                 :          0 :                                 continue;
    1571                 :         42 :                         hash = fib_devindex_hashfn(nexthop_nh->fib_nh_dev->ifindex);
    1572                 :         42 :                         head = &fib_info_devhash[hash];
    1573         [ +  + ]:         42 :                         hlist_add_head(&nexthop_nh->nh_hash, head);
    1574                 :            :                 } endfor_nexthops(fi)
    1575                 :            :         }
    1576                 :         42 :         spin_unlock_bh(&fib_info_lock);
    1577                 :         42 :         return fi;
    1578                 :            : 
    1579                 :            : err_inval:
    1580                 :          0 :         err = -EINVAL;
    1581                 :            : 
    1582                 :          0 : failure:
    1583         [ #  # ]:          0 :         if (fi) {
    1584                 :          0 :                 fi->fib_dead = 1;
    1585                 :          0 :                 free_fib_info(fi);
    1586                 :            :         }
    1587                 :            : 
    1588                 :          0 :         return ERR_PTR(err);
    1589                 :            : }
    1590                 :            : 
    1591                 :        126 : int fib_nexthop_info(struct sk_buff *skb, const struct fib_nh_common *nhc,
    1592                 :            :                      u8 rt_family, unsigned char *flags, bool skip_oif)
    1593                 :            : {
    1594         [ -  + ]:        126 :         if (nhc->nhc_flags & RTNH_F_DEAD)
    1595                 :          0 :                 *flags |= RTNH_F_DEAD;
    1596                 :            : 
    1597         [ -  + ]:        126 :         if (nhc->nhc_flags & RTNH_F_LINKDOWN) {
    1598                 :          0 :                 *flags |= RTNH_F_LINKDOWN;
    1599                 :            : 
    1600                 :          0 :                 rcu_read_lock();
    1601      [ #  #  # ]:          0 :                 switch (nhc->nhc_family) {
    1602                 :          0 :                 case AF_INET:
    1603         [ #  # ]:          0 :                         if (ip_ignore_linkdown(nhc->nhc_dev))
    1604                 :          0 :                                 *flags |= RTNH_F_DEAD;
    1605                 :            :                         break;
    1606                 :          0 :                 case AF_INET6:
    1607         [ #  # ]:          0 :                         if (ip6_ignore_linkdown(nhc->nhc_dev))
    1608                 :          0 :                                 *flags |= RTNH_F_DEAD;
    1609                 :            :                         break;
    1610                 :            :                 }
    1611                 :          0 :                 rcu_read_unlock();
    1612                 :            :         }
    1613                 :            : 
    1614      [ -  -  + ]:        126 :         switch (nhc->nhc_gw_family) {
    1615                 :          0 :         case AF_INET:
    1616         [ #  # ]:          0 :                 if (nla_put_in_addr(skb, RTA_GATEWAY, nhc->nhc_gw.ipv4))
    1617                 :          0 :                         goto nla_put_failure;
    1618                 :            :                 break;
    1619                 :          0 :         case AF_INET6:
    1620                 :            :                 /* if gateway family does not match nexthop family
    1621                 :            :                  * gateway is encoded as RTA_VIA
    1622                 :            :                  */
    1623         [ #  # ]:          0 :                 if (rt_family != nhc->nhc_gw_family) {
    1624                 :          0 :                         int alen = sizeof(struct in6_addr);
    1625                 :          0 :                         struct nlattr *nla;
    1626                 :          0 :                         struct rtvia *via;
    1627                 :            : 
    1628                 :          0 :                         nla = nla_reserve(skb, RTA_VIA, alen + 2);
    1629         [ #  # ]:          0 :                         if (!nla)
    1630                 :          0 :                                 goto nla_put_failure;
    1631                 :            : 
    1632                 :          0 :                         via = nla_data(nla);
    1633                 :          0 :                         via->rtvia_family = AF_INET6;
    1634                 :          0 :                         memcpy(via->rtvia_addr, &nhc->nhc_gw.ipv6, alen);
    1635         [ #  # ]:          0 :                 } else if (nla_put_in6_addr(skb, RTA_GATEWAY,
    1636                 :            :                                             &nhc->nhc_gw.ipv6) < 0) {
    1637                 :          0 :                         goto nla_put_failure;
    1638                 :            :                 }
    1639                 :            :                 break;
    1640                 :            :         }
    1641                 :            : 
    1642                 :        126 :         *flags |= (nhc->nhc_flags & RTNH_F_ONLINK);
    1643         [ -  + ]:        126 :         if (nhc->nhc_flags & RTNH_F_OFFLOAD)
    1644                 :          0 :                 *flags |= RTNH_F_OFFLOAD;
    1645                 :            : 
    1646   [ +  -  +  -  :        252 :         if (!skip_oif && nhc->nhc_dev &&
                   -  + ]
    1647                 :        126 :             nla_put_u32(skb, RTA_OIF, nhc->nhc_dev->ifindex))
    1648                 :          0 :                 goto nla_put_failure;
    1649                 :            : 
    1650                 :        126 :         if (nhc->nhc_lwtstate &&
    1651                 :            :             lwtunnel_fill_encap(skb, nhc->nhc_lwtstate,
    1652                 :            :                                 RTA_ENCAP, RTA_ENCAP_TYPE) < 0)
    1653                 :            :                 goto nla_put_failure;
    1654                 :            : 
    1655                 :        126 :         return 0;
    1656                 :            : 
    1657                 :            : nla_put_failure:
    1658                 :            :         return -EMSGSIZE;
    1659                 :            : }
    1660                 :            : EXPORT_SYMBOL_GPL(fib_nexthop_info);
    1661                 :            : 
    1662                 :            : #if IS_ENABLED(CONFIG_IP_ROUTE_MULTIPATH) || IS_ENABLED(CONFIG_IPV6)
    1663                 :          0 : int fib_add_nexthop(struct sk_buff *skb, const struct fib_nh_common *nhc,
    1664                 :            :                     int nh_weight, u8 rt_family)
    1665                 :            : {
    1666                 :          0 :         const struct net_device *dev = nhc->nhc_dev;
    1667                 :          0 :         struct rtnexthop *rtnh;
    1668                 :          0 :         unsigned char flags = 0;
    1669                 :            : 
    1670                 :          0 :         rtnh = nla_reserve_nohdr(skb, sizeof(*rtnh));
    1671         [ #  # ]:          0 :         if (!rtnh)
    1672                 :          0 :                 goto nla_put_failure;
    1673                 :            : 
    1674                 :          0 :         rtnh->rtnh_hops = nh_weight - 1;
    1675         [ #  # ]:          0 :         rtnh->rtnh_ifindex = dev ? dev->ifindex : 0;
    1676                 :            : 
    1677         [ #  # ]:          0 :         if (fib_nexthop_info(skb, nhc, rt_family, &flags, true) < 0)
    1678                 :          0 :                 goto nla_put_failure;
    1679                 :            : 
    1680                 :          0 :         rtnh->rtnh_flags = flags;
    1681                 :            : 
    1682                 :            :         /* length of rtnetlink header + attributes */
    1683                 :          0 :         rtnh->rtnh_len = nlmsg_get_pos(skb) - (void *)rtnh;
    1684                 :            : 
    1685                 :          0 :         return 0;
    1686                 :            : 
    1687                 :            : nla_put_failure:
    1688                 :            :         return -EMSGSIZE;
    1689                 :            : }
    1690                 :            : EXPORT_SYMBOL_GPL(fib_add_nexthop);
    1691                 :            : #endif
    1692                 :            : 
    1693                 :            : #ifdef CONFIG_IP_ROUTE_MULTIPATH
    1694                 :          0 : static int fib_add_multipath(struct sk_buff *skb, struct fib_info *fi)
    1695                 :            : {
    1696                 :          0 :         struct nlattr *mp;
    1697                 :            : 
    1698                 :          0 :         mp = nla_nest_start_noflag(skb, RTA_MULTIPATH);
    1699         [ #  # ]:          0 :         if (!mp)
    1700                 :          0 :                 goto nla_put_failure;
    1701                 :            : 
    1702         [ #  # ]:          0 :         if (unlikely(fi->nh)) {
    1703         [ #  # ]:          0 :                 if (nexthop_mpath_fill_node(skb, fi->nh, AF_INET) < 0)
    1704                 :          0 :                         goto nla_put_failure;
    1705                 :          0 :                 goto mp_end;
    1706                 :            :         }
    1707                 :            : 
    1708   [ #  #  #  # ]:          0 :         for_nexthops(fi) {
    1709         [ #  # ]:          0 :                 if (fib_add_nexthop(skb, &nh->nh_common, nh->fib_nh_weight,
    1710                 :            :                                     AF_INET) < 0)
    1711                 :          0 :                         goto nla_put_failure;
    1712                 :            : #ifdef CONFIG_IP_ROUTE_CLASSID
    1713                 :            :                 if (nh->nh_tclassid &&
    1714                 :            :                     nla_put_u32(skb, RTA_FLOW, nh->nh_tclassid))
    1715                 :            :                         goto nla_put_failure;
    1716                 :            : #endif
    1717                 :          0 :         } endfor_nexthops(fi);
    1718                 :            : 
    1719                 :          0 : mp_end:
    1720                 :          0 :         nla_nest_end(skb, mp);
    1721                 :            : 
    1722                 :          0 :         return 0;
    1723                 :            : 
    1724                 :            : nla_put_failure:
    1725                 :            :         return -EMSGSIZE;
    1726                 :            : }
    1727                 :            : #else
    1728                 :            : static int fib_add_multipath(struct sk_buff *skb, struct fib_info *fi)
    1729                 :            : {
    1730                 :            :         return 0;
    1731                 :            : }
    1732                 :            : #endif
    1733                 :            : 
    1734                 :         84 : int fib_dump_info(struct sk_buff *skb, u32 portid, u32 seq, int event,
    1735                 :            :                   struct fib_rt_info *fri, unsigned int flags)
    1736                 :            : {
    1737         [ -  + ]:         84 :         unsigned int nhs = fib_info_num_path(fri->fi);
    1738                 :         84 :         struct fib_info *fi = fri->fi;
    1739                 :         84 :         u32 tb_id = fri->tb_id;
    1740                 :         84 :         struct nlmsghdr *nlh;
    1741                 :         84 :         struct rtmsg *rtm;
    1742                 :            : 
    1743         [ +  - ]:         84 :         nlh = nlmsg_put(skb, portid, seq, event, sizeof(*rtm), flags);
    1744         [ -  + ]:         84 :         if (!nlh)
    1745                 :          0 :                 return -EMSGSIZE;
    1746                 :            : 
    1747         [ +  - ]:         84 :         rtm = nlmsg_data(nlh);
    1748                 :         84 :         rtm->rtm_family = AF_INET;
    1749                 :         84 :         rtm->rtm_dst_len = fri->dst_len;
    1750                 :         84 :         rtm->rtm_src_len = 0;
    1751                 :         84 :         rtm->rtm_tos = fri->tos;
    1752         [ +  - ]:         84 :         if (tb_id < 256)
    1753                 :         84 :                 rtm->rtm_table = tb_id;
    1754                 :            :         else
    1755                 :          0 :                 rtm->rtm_table = RT_TABLE_COMPAT;
    1756         [ -  + ]:         84 :         if (nla_put_u32(skb, RTA_TABLE, tb_id))
    1757                 :          0 :                 goto nla_put_failure;
    1758                 :         84 :         rtm->rtm_type = fri->type;
    1759                 :         84 :         rtm->rtm_flags = fi->fib_flags;
    1760                 :         84 :         rtm->rtm_scope = fi->fib_scope;
    1761                 :         84 :         rtm->rtm_protocol = fi->fib_protocol;
    1762                 :            : 
    1763   [ +  -  -  + ]:        168 :         if (rtm->rtm_dst_len &&
    1764                 :         84 :             nla_put_in_addr(skb, RTA_DST, fri->dst))
    1765                 :          0 :                 goto nla_put_failure;
    1766   [ -  +  -  - ]:         84 :         if (fi->fib_priority &&
    1767                 :            :             nla_put_u32(skb, RTA_PRIORITY, fi->fib_priority))
    1768                 :          0 :                 goto nla_put_failure;
    1769         [ -  + ]:         84 :         if (rtnetlink_put_metrics(skb, fi->fib_metrics->metrics) < 0)
    1770                 :          0 :                 goto nla_put_failure;
    1771                 :            : 
    1772   [ +  -  -  + ]:        168 :         if (fi->fib_prefsrc &&
    1773                 :            :             nla_put_in_addr(skb, RTA_PREFSRC, fi->fib_prefsrc))
    1774                 :          0 :                 goto nla_put_failure;
    1775                 :            : 
    1776         [ -  + ]:         84 :         if (fi->nh) {
    1777         [ #  # ]:          0 :                 if (nla_put_u32(skb, RTA_NH_ID, fi->nh->id))
    1778                 :          0 :                         goto nla_put_failure;
    1779         [ #  # ]:          0 :                 if (nexthop_is_blackhole(fi->nh))
    1780                 :          0 :                         rtm->rtm_type = RTN_BLACKHOLE;
    1781                 :            :         }
    1782                 :            : 
    1783         [ +  - ]:         84 :         if (nhs == 1) {
    1784         [ -  + ]:         84 :                 const struct fib_nh_common *nhc = fib_info_nhc(fi, 0);
    1785                 :         84 :                 unsigned char flags = 0;
    1786                 :            : 
    1787         [ -  + ]:         84 :                 if (fib_nexthop_info(skb, nhc, AF_INET, &flags, false) < 0)
    1788                 :          0 :                         goto nla_put_failure;
    1789                 :            : 
    1790                 :         84 :                 rtm->rtm_flags = flags;
    1791                 :            : #ifdef CONFIG_IP_ROUTE_CLASSID
    1792                 :            :                 if (nhc->nhc_family == AF_INET) {
    1793                 :            :                         struct fib_nh *nh;
    1794                 :            : 
    1795                 :            :                         nh = container_of(nhc, struct fib_nh, nh_common);
    1796                 :            :                         if (nh->nh_tclassid &&
    1797                 :            :                             nla_put_u32(skb, RTA_FLOW, nh->nh_tclassid))
    1798                 :            :                                 goto nla_put_failure;
    1799                 :            :                 }
    1800                 :            : #endif
    1801                 :            :         } else {
    1802         [ #  # ]:          0 :                 if (fib_add_multipath(skb, fi) < 0)
    1803                 :          0 :                         goto nla_put_failure;
    1804                 :            :         }
    1805                 :            : 
    1806         [ -  + ]:         84 :         if (fri->offload)
    1807                 :          0 :                 rtm->rtm_flags |= RTM_F_OFFLOAD;
    1808         [ -  + ]:         84 :         if (fri->trap)
    1809                 :          0 :                 rtm->rtm_flags |= RTM_F_TRAP;
    1810                 :            : 
    1811                 :         84 :         nlmsg_end(skb, nlh);
    1812                 :         84 :         return 0;
    1813                 :            : 
    1814                 :          0 : nla_put_failure:
    1815                 :          0 :         nlmsg_cancel(skb, nlh);
    1816                 :          0 :         return -EMSGSIZE;
    1817                 :            : }
    1818                 :            : 
    1819                 :            : /*
    1820                 :            :  * Update FIB if:
    1821                 :            :  * - local address disappeared -> we must delete all the entries
    1822                 :            :  *   referring to it.
    1823                 :            :  * - device went down -> we must shutdown all nexthops going via it.
    1824                 :            :  */
    1825                 :          0 : int fib_sync_down_addr(struct net_device *dev, __be32 local)
    1826                 :            : {
    1827                 :          0 :         int ret = 0;
    1828                 :          0 :         unsigned int hash = fib_laddr_hashfn(local);
    1829                 :          0 :         struct hlist_head *head = &fib_info_laddrhash[hash];
    1830         [ #  # ]:          0 :         int tb_id = l3mdev_fib_table(dev) ? : RT_TABLE_MAIN;
    1831         [ #  # ]:          0 :         struct net *net = dev_net(dev);
    1832                 :          0 :         struct fib_info *fi;
    1833                 :            : 
    1834   [ #  #  #  # ]:          0 :         if (!fib_info_laddrhash || local == 0)
    1835                 :            :                 return 0;
    1836                 :            : 
    1837   [ #  #  #  #  :          0 :         hlist_for_each_entry(fi, head, fib_lhash) {
                   #  # ]
    1838         [ #  # ]:          0 :                 if (!net_eq(fi->fib_net, net) ||
    1839         [ #  # ]:          0 :                     fi->fib_tb_id != tb_id)
    1840                 :          0 :                         continue;
    1841         [ #  # ]:          0 :                 if (fi->fib_prefsrc == local) {
    1842                 :          0 :                         fi->fib_flags |= RTNH_F_DEAD;
    1843                 :          0 :                         ret++;
    1844                 :            :                 }
    1845                 :            :         }
    1846                 :            :         return ret;
    1847                 :            : }
    1848                 :            : 
    1849                 :          0 : static int call_fib_nh_notifiers(struct fib_nh *nh,
    1850                 :            :                                  enum fib_event_type event_type)
    1851                 :            : {
    1852         [ #  # ]:          0 :         bool ignore_link_down = ip_ignore_linkdown(nh->fib_nh_dev);
    1853                 :          0 :         struct fib_nh_notifier_info info = {
    1854                 :            :                 .fib_nh = nh,
    1855                 :            :         };
    1856                 :            : 
    1857      [ #  #  # ]:          0 :         switch (event_type) {
    1858                 :          0 :         case FIB_EVENT_NH_ADD:
    1859         [ #  # ]:          0 :                 if (nh->fib_nh_flags & RTNH_F_DEAD)
    1860                 :            :                         break;
    1861   [ #  #  #  # ]:          0 :                 if (ignore_link_down && nh->fib_nh_flags & RTNH_F_LINKDOWN)
    1862                 :            :                         break;
    1863                 :          0 :                 return call_fib4_notifiers(dev_net(nh->fib_nh_dev), event_type,
    1864                 :            :                                            &info.info);
    1865                 :          0 :         case FIB_EVENT_NH_DEL:
    1866   [ #  #  #  # ]:          0 :                 if ((ignore_link_down && nh->fib_nh_flags & RTNH_F_LINKDOWN) ||
    1867         [ #  # ]:          0 :                     (nh->fib_nh_flags & RTNH_F_DEAD))
    1868                 :          0 :                         return call_fib4_notifiers(dev_net(nh->fib_nh_dev),
    1869                 :            :                                                    event_type, &info.info);
    1870                 :            :         default:
    1871                 :            :                 break;
    1872                 :            :         }
    1873                 :            : 
    1874                 :          0 :         return NOTIFY_DONE;
    1875                 :            : }
    1876                 :            : 
    1877                 :            : /* Update the PMTU of exceptions when:
    1878                 :            :  * - the new MTU of the first hop becomes smaller than the PMTU
    1879                 :            :  * - the old MTU was the same as the PMTU, and it limited discovery of
    1880                 :            :  *   larger MTUs on the path. With that limit raised, we can now
    1881                 :            :  *   discover larger MTUs
    1882                 :            :  * A special case is locked exceptions, for which the PMTU is smaller
    1883                 :            :  * than the minimal accepted PMTU:
    1884                 :            :  * - if the new MTU is greater than the PMTU, don't make any change
    1885                 :            :  * - otherwise, unlock and set PMTU
    1886                 :            :  */
    1887                 :          0 : void fib_nhc_update_mtu(struct fib_nh_common *nhc, u32 new, u32 orig)
    1888                 :            : {
    1889                 :          0 :         struct fnhe_hash_bucket *bucket;
    1890                 :          0 :         int i;
    1891                 :            : 
    1892                 :          0 :         bucket = rcu_dereference_protected(nhc->nhc_exceptions, 1);
    1893         [ #  # ]:          0 :         if (!bucket)
    1894                 :            :                 return;
    1895                 :            : 
    1896         [ #  # ]:          0 :         for (i = 0; i < FNHE_HASH_SIZE; i++) {
    1897                 :          0 :                 struct fib_nh_exception *fnhe;
    1898                 :            : 
    1899                 :          0 :                 for (fnhe = rcu_dereference_protected(bucket[i].chain, 1);
    1900         [ #  # ]:          0 :                      fnhe;
    1901                 :          0 :                      fnhe = rcu_dereference_protected(fnhe->fnhe_next, 1)) {
    1902         [ #  # ]:          0 :                         if (fnhe->fnhe_mtu_locked) {
    1903         [ #  # ]:          0 :                                 if (new <= fnhe->fnhe_pmtu) {
    1904                 :          0 :                                         fnhe->fnhe_pmtu = new;
    1905                 :          0 :                                         fnhe->fnhe_mtu_locked = false;
    1906                 :            :                                 }
    1907   [ #  #  #  # ]:          0 :                         } else if (new < fnhe->fnhe_pmtu ||
    1908                 :            :                                    orig == fnhe->fnhe_pmtu) {
    1909                 :          0 :                                 fnhe->fnhe_pmtu = new;
    1910                 :            :                         }
    1911                 :            :                 }
    1912                 :            :         }
    1913                 :            : }
    1914                 :            : 
    1915                 :          0 : void fib_sync_mtu(struct net_device *dev, u32 orig_mtu)
    1916                 :            : {
    1917                 :          0 :         unsigned int hash = fib_devindex_hashfn(dev->ifindex);
    1918                 :          0 :         struct hlist_head *head = &fib_info_devhash[hash];
    1919                 :          0 :         struct fib_nh *nh;
    1920                 :            : 
    1921   [ #  #  #  #  :          0 :         hlist_for_each_entry(nh, head, nh_hash) {
                   #  # ]
    1922         [ #  # ]:          0 :                 if (nh->fib_nh_dev == dev)
    1923                 :          0 :                         fib_nhc_update_mtu(&nh->nh_common, dev->mtu, orig_mtu);
    1924                 :            :         }
    1925                 :          0 : }
    1926                 :            : 
    1927                 :            : /* Event              force Flags           Description
    1928                 :            :  * NETDEV_CHANGE      0     LINKDOWN        Carrier OFF, not for scope host
    1929                 :            :  * NETDEV_DOWN        0     LINKDOWN|DEAD   Link down, not for scope host
    1930                 :            :  * NETDEV_DOWN        1     LINKDOWN|DEAD   Last address removed
    1931                 :            :  * NETDEV_UNREGISTER  1     LINKDOWN|DEAD   Device removed
    1932                 :            :  *
    1933                 :            :  * only used when fib_nh is built into fib_info
    1934                 :            :  */
    1935                 :         21 : int fib_sync_down_dev(struct net_device *dev, unsigned long event, bool force)
    1936                 :            : {
    1937                 :         21 :         int ret = 0;
    1938                 :         21 :         int scope = RT_SCOPE_NOWHERE;
    1939                 :         21 :         struct fib_info *prev_fi = NULL;
    1940                 :         21 :         unsigned int hash = fib_devindex_hashfn(dev->ifindex);
    1941                 :         21 :         struct hlist_head *head = &fib_info_devhash[hash];
    1942                 :         21 :         struct fib_nh *nh;
    1943                 :            : 
    1944         [ -  + ]:         21 :         if (force)
    1945                 :          0 :                 scope = -1;
    1946                 :            : 
    1947   [ -  +  -  -  :         42 :         hlist_for_each_entry(nh, head, nh_hash) {
                   -  + ]
    1948                 :          0 :                 struct fib_info *fi = nh->nh_parent;
    1949                 :          0 :                 int dead;
    1950                 :            : 
    1951         [ #  # ]:          0 :                 BUG_ON(!fi->fib_nhs);
    1952   [ #  #  #  # ]:          0 :                 if (nh->fib_nh_dev != dev || fi == prev_fi)
    1953                 :          0 :                         continue;
    1954                 :          0 :                 prev_fi = fi;
    1955                 :          0 :                 dead = 0;
    1956   [ #  #  #  # ]:          0 :                 change_nexthops(fi) {
    1957         [ #  # ]:          0 :                         if (nexthop_nh->fib_nh_flags & RTNH_F_DEAD)
    1958                 :          0 :                                 dead++;
    1959         [ #  # ]:          0 :                         else if (nexthop_nh->fib_nh_dev == dev &&
    1960         [ #  # ]:          0 :                                  nexthop_nh->fib_nh_scope != scope) {
    1961      [ #  #  # ]:          0 :                                 switch (event) {
    1962                 :          0 :                                 case NETDEV_DOWN:
    1963                 :            :                                 case NETDEV_UNREGISTER:
    1964                 :          0 :                                         nexthop_nh->fib_nh_flags |= RTNH_F_DEAD;
    1965                 :            :                                         /* fall through */
    1966                 :          0 :                                 case NETDEV_CHANGE:
    1967                 :          0 :                                         nexthop_nh->fib_nh_flags |= RTNH_F_LINKDOWN;
    1968                 :          0 :                                         break;
    1969                 :            :                                 }
    1970                 :          0 :                                 call_fib_nh_notifiers(nexthop_nh,
    1971                 :            :                                                       FIB_EVENT_NH_DEL);
    1972                 :          0 :                                 dead++;
    1973                 :            :                         }
    1974                 :            : #ifdef CONFIG_IP_ROUTE_MULTIPATH
    1975         [ #  # ]:          0 :                         if (event == NETDEV_UNREGISTER &&
    1976         [ #  # ]:          0 :                             nexthop_nh->fib_nh_dev == dev) {
    1977                 :          0 :                                 dead = fi->fib_nhs;
    1978                 :          0 :                                 break;
    1979                 :            :                         }
    1980                 :            : #endif
    1981                 :            :                 } endfor_nexthops(fi)
    1982         [ #  # ]:          0 :                 if (dead == fi->fib_nhs) {
    1983      [ #  #  # ]:          0 :                         switch (event) {
    1984                 :          0 :                         case NETDEV_DOWN:
    1985                 :            :                         case NETDEV_UNREGISTER:
    1986                 :          0 :                                 fi->fib_flags |= RTNH_F_DEAD;
    1987                 :            :                                 /* fall through */
    1988                 :          0 :                         case NETDEV_CHANGE:
    1989                 :          0 :                                 fi->fib_flags |= RTNH_F_LINKDOWN;
    1990                 :          0 :                                 break;
    1991                 :            :                         }
    1992                 :          0 :                         ret++;
    1993                 :            :                 }
    1994                 :            : 
    1995                 :          0 :                 fib_rebalance(fi);
    1996                 :            :         }
    1997                 :            : 
    1998                 :         21 :         return ret;
    1999                 :            : }
    2000                 :            : 
    2001                 :            : /* Must be invoked inside of an RCU protected region.  */
    2002                 :            : static void fib_select_default(const struct flowi4 *flp, struct fib_result *res)
    2003                 :            : {
    2004                 :            :         struct fib_info *fi = NULL, *last_resort = NULL;
    2005                 :            :         struct hlist_head *fa_head = res->fa_head;
    2006                 :            :         struct fib_table *tb = res->table;
    2007                 :            :         u8 slen = 32 - res->prefixlen;
    2008                 :            :         int order = -1, last_idx = -1;
    2009                 :            :         struct fib_alias *fa, *fa1 = NULL;
    2010                 :            :         u32 last_prio = res->fi->fib_priority;
    2011                 :            :         u8 last_tos = 0;
    2012                 :            : 
    2013                 :            :         hlist_for_each_entry_rcu(fa, fa_head, fa_list) {
    2014                 :            :                 struct fib_info *next_fi = fa->fa_info;
    2015                 :            :                 struct fib_nh *nh;
    2016                 :            : 
    2017                 :            :                 if (fa->fa_slen != slen)
    2018                 :            :                         continue;
    2019                 :            :                 if (fa->fa_tos && fa->fa_tos != flp->flowi4_tos)
    2020                 :            :                         continue;
    2021                 :            :                 if (fa->tb_id != tb->tb_id)
    2022                 :            :                         continue;
    2023                 :            :                 if (next_fi->fib_priority > last_prio &&
    2024                 :            :                     fa->fa_tos == last_tos) {
    2025                 :            :                         if (last_tos)
    2026                 :            :                                 continue;
    2027                 :            :                         break;
    2028                 :            :                 }
    2029                 :            :                 if (next_fi->fib_flags & RTNH_F_DEAD)
    2030                 :            :                         continue;
    2031                 :            :                 last_tos = fa->fa_tos;
    2032                 :            :                 last_prio = next_fi->fib_priority;
    2033                 :            : 
    2034                 :            :                 if (next_fi->fib_scope != res->scope ||
    2035                 :            :                     fa->fa_type != RTN_UNICAST)
    2036                 :            :                         continue;
    2037                 :            : 
    2038                 :            :                 nh = fib_info_nh(next_fi, 0);
    2039                 :            :                 if (!nh->fib_nh_gw4 || nh->fib_nh_scope != RT_SCOPE_LINK)
    2040                 :            :                         continue;
    2041                 :            : 
    2042                 :            :                 fib_alias_accessed(fa);
    2043                 :            : 
    2044                 :            :                 if (!fi) {
    2045                 :            :                         if (next_fi != res->fi)
    2046                 :            :                                 break;
    2047                 :            :                         fa1 = fa;
    2048                 :            :                 } else if (!fib_detect_death(fi, order, &last_resort,
    2049                 :            :                                              &last_idx, fa1->fa_default)) {
    2050                 :            :                         fib_result_assign(res, fi);
    2051                 :            :                         fa1->fa_default = order;
    2052                 :            :                         goto out;
    2053                 :            :                 }
    2054                 :            :                 fi = next_fi;
    2055                 :            :                 order++;
    2056                 :            :         }
    2057                 :            : 
    2058                 :            :         if (order <= 0 || !fi) {
    2059                 :            :                 if (fa1)
    2060                 :            :                         fa1->fa_default = -1;
    2061                 :            :                 goto out;
    2062                 :            :         }
    2063                 :            : 
    2064                 :            :         if (!fib_detect_death(fi, order, &last_resort, &last_idx,
    2065                 :            :                               fa1->fa_default)) {
    2066                 :            :                 fib_result_assign(res, fi);
    2067                 :            :                 fa1->fa_default = order;
    2068                 :            :                 goto out;
    2069                 :            :         }
    2070                 :            : 
    2071                 :            :         if (last_idx >= 0)
    2072                 :            :                 fib_result_assign(res, last_resort);
    2073                 :            :         fa1->fa_default = last_idx;
    2074                 :            : out:
    2075                 :            :         return;
    2076                 :            : }
    2077                 :            : 
    2078                 :            : /*
    2079                 :            :  * Dead device goes up. We wake up dead nexthops.
    2080                 :            :  * It takes sense only on multipath routes.
    2081                 :            :  *
    2082                 :            :  * only used when fib_nh is built into fib_info
    2083                 :            :  */
    2084                 :         63 : int fib_sync_up(struct net_device *dev, unsigned char nh_flags)
    2085                 :            : {
    2086                 :         63 :         struct fib_info *prev_fi;
    2087                 :         63 :         unsigned int hash;
    2088                 :         63 :         struct hlist_head *head;
    2089                 :         63 :         struct fib_nh *nh;
    2090                 :         63 :         int ret;
    2091                 :            : 
    2092         [ +  + ]:         63 :         if (!(dev->flags & IFF_UP))
    2093                 :            :                 return 0;
    2094                 :            : 
    2095         [ +  - ]:         42 :         if (nh_flags & RTNH_F_DEAD) {
    2096                 :         42 :                 unsigned int flags = dev_get_flags(dev);
    2097                 :            : 
    2098         [ +  - ]:         42 :                 if (flags & (IFF_RUNNING | IFF_LOWER_UP))
    2099                 :         42 :                         nh_flags |= RTNH_F_LINKDOWN;
    2100                 :            :         }
    2101                 :            : 
    2102                 :         42 :         prev_fi = NULL;
    2103                 :         42 :         hash = fib_devindex_hashfn(dev->ifindex);
    2104                 :         42 :         head = &fib_info_devhash[hash];
    2105                 :         42 :         ret = 0;
    2106                 :            : 
    2107   [ +  +  +  +  :        168 :         hlist_for_each_entry(nh, head, nh_hash) {
                   +  + ]
    2108                 :         42 :                 struct fib_info *fi = nh->nh_parent;
    2109                 :         42 :                 int alive;
    2110                 :            : 
    2111         [ -  + ]:         42 :                 BUG_ON(!fi->fib_nhs);
    2112   [ +  -  -  + ]:         42 :                 if (nh->fib_nh_dev != dev || fi == prev_fi)
    2113                 :          0 :                         continue;
    2114                 :            : 
    2115                 :         42 :                 prev_fi = fi;
    2116                 :         42 :                 alive = 0;
    2117   [ -  +  +  + ]:        168 :                 change_nexthops(fi) {
    2118         [ +  - ]:         42 :                         if (!(nexthop_nh->fib_nh_flags & nh_flags)) {
    2119                 :         42 :                                 alive++;
    2120                 :         42 :                                 continue;
    2121                 :            :                         }
    2122         [ #  # ]:          0 :                         if (!nexthop_nh->fib_nh_dev ||
    2123         [ #  # ]:          0 :                             !(nexthop_nh->fib_nh_dev->flags & IFF_UP))
    2124                 :          0 :                                 continue;
    2125   [ #  #  #  # ]:          0 :                         if (nexthop_nh->fib_nh_dev != dev ||
    2126         [ #  # ]:          0 :                             !__in_dev_get_rtnl(dev))
    2127                 :          0 :                                 continue;
    2128                 :          0 :                         alive++;
    2129                 :          0 :                         nexthop_nh->fib_nh_flags &= ~nh_flags;
    2130                 :          0 :                         call_fib_nh_notifiers(nexthop_nh, FIB_EVENT_NH_ADD);
    2131                 :            :                 } endfor_nexthops(fi)
    2132                 :            : 
    2133         [ +  - ]:         42 :                 if (alive > 0) {
    2134                 :         42 :                         fi->fib_flags &= ~nh_flags;
    2135                 :         42 :                         ret++;
    2136                 :            :                 }
    2137                 :            : 
    2138                 :         42 :                 fib_rebalance(fi);
    2139                 :            :         }
    2140                 :            : 
    2141                 :            :         return ret;
    2142                 :            : }
    2143                 :            : 
    2144                 :            : #ifdef CONFIG_IP_ROUTE_MULTIPATH
    2145                 :          0 : static bool fib_good_nh(const struct fib_nh *nh)
    2146                 :            : {
    2147                 :          0 :         int state = NUD_REACHABLE;
    2148                 :            : 
    2149         [ #  # ]:          0 :         if (nh->fib_nh_scope == RT_SCOPE_LINK) {
    2150                 :          0 :                 struct neighbour *n;
    2151                 :            : 
    2152                 :          0 :                 rcu_read_lock_bh();
    2153                 :            : 
    2154         [ #  # ]:          0 :                 if (likely(nh->fib_nh_gw_family == AF_INET))
    2155                 :          0 :                         n = __ipv4_neigh_lookup_noref(nh->fib_nh_dev,
    2156         [ #  # ]:          0 :                                                    (__force u32)nh->fib_nh_gw4);
    2157         [ #  # ]:          0 :                 else if (nh->fib_nh_gw_family == AF_INET6)
    2158                 :          0 :                         n = __ipv6_neigh_lookup_noref_stub(nh->fib_nh_dev,
    2159                 :          0 :                                                            &nh->fib_nh_gw6);
    2160                 :            :                 else
    2161                 :            :                         n = NULL;
    2162         [ #  # ]:          0 :                 if (n)
    2163                 :          0 :                         state = n->nud_state;
    2164                 :            : 
    2165                 :          0 :                 rcu_read_unlock_bh();
    2166                 :            :         }
    2167                 :            : 
    2168                 :          0 :         return !!(state & NUD_VALID);
    2169                 :            : }
    2170                 :            : 
    2171                 :          0 : void fib_select_multipath(struct fib_result *res, int hash)
    2172                 :            : {
    2173                 :          0 :         struct fib_info *fi = res->fi;
    2174                 :          0 :         struct net *net = fi->fib_net;
    2175                 :          0 :         bool first = false;
    2176                 :            : 
    2177         [ #  # ]:          0 :         if (unlikely(res->fi->nh)) {
    2178                 :          0 :                 nexthop_path_fib_result(res, hash);
    2179                 :          0 :                 return;
    2180                 :            :         }
    2181                 :            : 
    2182   [ #  #  #  # ]:          0 :         change_nexthops(fi) {
    2183         [ #  # ]:          0 :                 if (net->ipv4.sysctl_fib_multipath_use_neigh) {
    2184         [ #  # ]:          0 :                         if (!fib_good_nh(nexthop_nh))
    2185                 :          0 :                                 continue;
    2186         [ #  # ]:          0 :                         if (!first) {
    2187                 :          0 :                                 res->nh_sel = nhsel;
    2188                 :          0 :                                 res->nhc = &nexthop_nh->nh_common;
    2189                 :          0 :                                 first = true;
    2190                 :            :                         }
    2191                 :            :                 }
    2192                 :            : 
    2193         [ #  # ]:          0 :                 if (hash > atomic_read(&nexthop_nh->fib_nh_upper_bound))
    2194                 :          0 :                         continue;
    2195                 :            : 
    2196                 :          0 :                 res->nh_sel = nhsel;
    2197                 :          0 :                 res->nhc = &nexthop_nh->nh_common;
    2198                 :          0 :                 return;
    2199                 :          0 :         } endfor_nexthops(fi);
    2200                 :            : }
    2201                 :            : #endif
    2202                 :            : 
    2203                 :          0 : void fib_select_path(struct net *net, struct fib_result *res,
    2204                 :            :                      struct flowi4 *fl4, const struct sk_buff *skb)
    2205                 :            : {
    2206   [ #  #  #  # ]:          0 :         if (fl4->flowi4_oif && !(fl4->flowi4_flags & FLOWI_FLAG_SKIP_NH_OIF))
    2207                 :          0 :                 goto check_saddr;
    2208                 :            : 
    2209                 :            : #ifdef CONFIG_IP_ROUTE_MULTIPATH
    2210   [ #  #  #  # ]:          0 :         if (fib_info_num_path(res->fi) > 1) {
    2211                 :          0 :                 int h = fib_multipath_hash(net, fl4, skb, NULL);
    2212                 :            : 
    2213                 :          0 :                 fib_select_multipath(res, h);
    2214                 :            :         }
    2215                 :            :         else
    2216                 :            : #endif
    2217         [ #  # ]:          0 :         if (!res->prefixlen &&
    2218         [ #  # ]:          0 :             res->table->tb_num_default > 1 &&
    2219         [ #  # ]:          0 :             res->type == RTN_UNICAST)
    2220                 :          0 :                 fib_select_default(fl4, res);
    2221                 :            : 
    2222                 :          0 : check_saddr:
    2223         [ #  # ]:          0 :         if (!fl4->saddr)
    2224                 :          0 :                 fl4->saddr = fib_result_prefsrc(net, res);
    2225                 :          0 : }

Generated by: LCOV version 1.14