Branch data     Line data    Source code

       1                 :            : // SPDX-License-Identifier: GPL-2.0-only
       2                 :            : /*
       3                 :            :  * aQuantia Corporation Network Driver
       4                 :            :  * Copyright (C) 2014-2019 aQuantia Corporation. All rights reserved
       5                 :            :  */
       6                 :            : 
       7                 :            : /* File aq_ring.c: Definition of functions for Rx/Tx rings. */
       8                 :            : 
       9                 :            : #include "aq_ring.h"
      10                 :            : #include "aq_nic.h"
      11                 :            : #include "aq_hw.h"
      12                 :            : #include "aq_hw_utils.h"
      13                 :            : #include "aq_ptp.h"
      14                 :            : 
      15                 :            : #include <linux/netdevice.h>
      16                 :            : #include <linux/etherdevice.h>
      17                 :            : 
      18                 :          0 : static inline void aq_free_rxpage(struct aq_rxpage *rxpage, struct device *dev)
      19                 :            : {
      20                 :          0 :         unsigned int len = PAGE_SIZE << rxpage->order;
      21                 :            : 
      22                 :          0 :         dma_unmap_page(dev, rxpage->daddr, len, DMA_FROM_DEVICE);
      23                 :            : 
      24                 :            :         /* Drop the ref for being in the ring. */
      25                 :          0 :         __free_pages(rxpage->page, rxpage->order);
      26                 :          0 :         rxpage->page = NULL;
      27                 :          0 : }
      28                 :            : 
      29                 :      67551 : static int aq_get_rxpage(struct aq_rxpage *rxpage, unsigned int order,
      30                 :            :                          struct device *dev)
      31                 :            : {
      32                 :      67551 :         struct page *page;
      33                 :      67551 :         int ret = -ENOMEM;
      34                 :      67551 :         dma_addr_t daddr;
      35                 :            : 
      36                 :      67551 :         page = dev_alloc_pages(order);
      37         [ -  + ]:      67551 :         if (unlikely(!page))
      38                 :          0 :                 goto err_exit;
      39                 :            : 
      40                 :      67551 :         daddr = dma_map_page(dev, page, 0, PAGE_SIZE << order,
      41                 :            :                              DMA_FROM_DEVICE);
      42                 :            : 
      43         [ -  + ]:     135102 :         if (unlikely(dma_mapping_error(dev, daddr)))
      44                 :          0 :                 goto free_page;
      45                 :            : 
      46                 :      67551 :         rxpage->page = page;
      47                 :      67551 :         rxpage->daddr = daddr;
      48                 :      67551 :         rxpage->order = order;
      49                 :      67551 :         rxpage->pg_off = 0;
      50                 :            : 
      51                 :      67551 :         return 0;
      52                 :            : 
      53                 :            : free_page:
      54                 :          0 :         __free_pages(page, order);
      55                 :            : 
      56                 :            : err_exit:
      57                 :            :         return ret;
      58                 :            : }
      59                 :            : 
      60                 :      67551 : static int aq_get_rxpages(struct aq_ring_s *self, struct aq_ring_buff_s *rxbuf,
      61                 :            :                           int order)
      62                 :            : {
      63                 :      67551 :         int ret;
      64                 :            : 
      65         [ -  + ]:      67551 :         if (rxbuf->rxdata.page) {
      66                 :            :                 /* One means ring is the only user and can reuse */
      67         [ #  # ]:          0 :                 if (page_ref_count(rxbuf->rxdata.page) > 1) {
      68                 :            :                         /* Try reuse buffer */
      69                 :          0 :                         rxbuf->rxdata.pg_off += AQ_CFG_RX_FRAME_MAX;
      70                 :          0 :                         if (rxbuf->rxdata.pg_off + AQ_CFG_RX_FRAME_MAX <=
      71         [ #  # ]:          0 :                                 (PAGE_SIZE << order)) {
      72                 :          0 :                                 self->stats.rx.pg_flips++;
      73                 :            :                         } else {
      74                 :            :                                 /* Buffer exhausted. We have other users and
      75                 :            :                                  * should release this page and realloc
      76                 :            :                                  */
      77                 :          0 :                                 aq_free_rxpage(&rxbuf->rxdata,
      78                 :            :                                                aq_nic_get_dev(self->aq_nic));
      79                 :          0 :                                 self->stats.rx.pg_losts++;
      80                 :            :                         }
      81                 :            :                 } else {
      82                 :          0 :                         rxbuf->rxdata.pg_off = 0;
      83                 :          0 :                         self->stats.rx.pg_reuses++;
      84                 :            :                 }
      85                 :            :         }
      86                 :            : 
      87         [ +  - ]:      67551 :         if (!rxbuf->rxdata.page) {
      88                 :      67551 :                 ret = aq_get_rxpage(&rxbuf->rxdata, order,
      89                 :            :                                     aq_nic_get_dev(self->aq_nic));
      90                 :      67551 :                 return ret;
      91                 :            :         }
      92                 :            : 
      93                 :            :         return 0;
      94                 :            : }
      95                 :            : 
      96                 :         66 : static struct aq_ring_s *aq_ring_alloc(struct aq_ring_s *self,
      97                 :            :                                        struct aq_nic_s *aq_nic)
      98                 :            : {
      99                 :         66 :         int err = 0;
     100                 :            : 
     101                 :        132 :         self->buff_ring =
     102                 :         66 :                 kcalloc(self->size, sizeof(struct aq_ring_buff_s), GFP_KERNEL);
     103                 :            : 
     104         [ -  + ]:         66 :         if (!self->buff_ring) {
     105                 :          0 :                 err = -ENOMEM;
     106                 :          0 :                 goto err_exit;
     107                 :            :         }
     108                 :        132 :         self->dx_ring = dma_alloc_coherent(aq_nic_get_dev(aq_nic),
     109                 :         66 :                                            self->size * self->dx_size,
     110                 :            :                                            &self->dx_ring_pa, GFP_KERNEL);
     111         [ +  - ]:         66 :         if (!self->dx_ring) {
     112                 :          0 :                 err = -ENOMEM;
     113                 :          0 :                 goto err_exit;
     114                 :            :         }
     115                 :            : 
     116                 :         66 : err_exit:
     117                 :          0 :         if (err < 0) {
     118                 :          0 :                 aq_ring_free(self);
     119                 :          0 :                 self = NULL;
     120                 :            :         }
     121                 :            : 
     122                 :         66 :         return self;
     123                 :            : }
     124                 :            : 
     125                 :         33 : struct aq_ring_s *aq_ring_tx_alloc(struct aq_ring_s *self,
     126                 :            :                                    struct aq_nic_s *aq_nic,
     127                 :            :                                    unsigned int idx,
     128                 :            :                                    struct aq_nic_cfg_s *aq_nic_cfg)
     129                 :            : {
     130                 :         33 :         int err = 0;
     131                 :            : 
     132                 :         33 :         self->aq_nic = aq_nic;
     133                 :         33 :         self->idx = idx;
     134                 :         33 :         self->size = aq_nic_cfg->txds;
     135                 :         33 :         self->dx_size = aq_nic_cfg->aq_hw_caps->txd_size;
     136                 :            : 
     137                 :         33 :         self = aq_ring_alloc(self, aq_nic);
     138         [ +  - ]:         33 :         if (!self) {
     139                 :          0 :                 err = -ENOMEM;
     140                 :          0 :                 goto err_exit;
     141                 :            :         }
     142                 :            : 
     143                 :         33 : err_exit:
     144                 :          0 :         if (err < 0) {
     145                 :          0 :                 aq_ring_free(self);
     146                 :          0 :                 self = NULL;
     147                 :            :         }
     148                 :            : 
     149                 :         33 :         return self;
     150                 :            : }
     151                 :            : 
     152                 :         33 : struct aq_ring_s *aq_ring_rx_alloc(struct aq_ring_s *self,
     153                 :            :                                    struct aq_nic_s *aq_nic,
     154                 :            :                                    unsigned int idx,
     155                 :            :                                    struct aq_nic_cfg_s *aq_nic_cfg)
     156                 :            : {
     157                 :         33 :         int err = 0;
     158                 :            : 
     159                 :         33 :         self->aq_nic = aq_nic;
     160                 :         33 :         self->idx = idx;
     161                 :         33 :         self->size = aq_nic_cfg->rxds;
     162                 :         33 :         self->dx_size = aq_nic_cfg->aq_hw_caps->rxd_size;
     163         [ -  + ]:         33 :         self->page_order = fls(AQ_CFG_RX_FRAME_MAX / PAGE_SIZE +
     164                 :         33 :                                (AQ_CFG_RX_FRAME_MAX % PAGE_SIZE ? 1 : 0)) - 1;
     165                 :            : 
     166         [ -  + ]:         33 :         if (aq_nic_cfg->rxpageorder > self->page_order)
     167                 :          0 :                 self->page_order = aq_nic_cfg->rxpageorder;
     168                 :            : 
     169                 :         33 :         self = aq_ring_alloc(self, aq_nic);
     170         [ +  - ]:         33 :         if (!self) {
     171                 :          0 :                 err = -ENOMEM;
     172                 :          0 :                 goto err_exit;
     173                 :            :         }
     174                 :            : 
     175                 :         33 : err_exit:
     176                 :          0 :         if (err < 0) {
     177                 :          0 :                 aq_ring_free(self);
     178                 :          0 :                 self = NULL;
     179                 :            :         }
     180                 :            : 
     181                 :         33 :         return self;
     182                 :            : }
     183                 :            : 
     184                 :            : struct aq_ring_s *
     185                 :          0 : aq_ring_hwts_rx_alloc(struct aq_ring_s *self, struct aq_nic_s *aq_nic,
     186                 :            :                       unsigned int idx, unsigned int size, unsigned int dx_size)
     187                 :            : {
     188                 :          0 :         struct device *dev = aq_nic_get_dev(aq_nic);
     189                 :          0 :         size_t sz = size * dx_size + AQ_CFG_RXDS_DEF;
     190                 :            : 
     191                 :          0 :         memset(self, 0, sizeof(*self));
     192                 :            : 
     193                 :          0 :         self->aq_nic = aq_nic;
     194                 :          0 :         self->idx = idx;
     195                 :          0 :         self->size = size;
     196                 :          0 :         self->dx_size = dx_size;
     197                 :            : 
     198                 :          0 :         self->dx_ring = dma_alloc_coherent(dev, sz, &self->dx_ring_pa,
     199                 :            :                                            GFP_KERNEL);
     200         [ #  # ]:          0 :         if (!self->dx_ring) {
     201                 :          0 :                 aq_ring_free(self);
     202                 :          0 :                 return NULL;
     203                 :            :         }
     204                 :            : 
     205                 :            :         return self;
     206                 :            : }
     207                 :            : 
     208                 :         66 : int aq_ring_init(struct aq_ring_s *self)
     209                 :            : {
     210                 :         66 :         self->hw_head = 0;
     211                 :         66 :         self->sw_head = 0;
     212                 :         66 :         self->sw_tail = 0;
     213                 :            : 
     214                 :         66 :         return 0;
     215                 :            : }
     216                 :            : 
     217                 :       4228 : static inline bool aq_ring_dx_in_range(unsigned int h, unsigned int i,
     218                 :            :                                        unsigned int t)
     219                 :            : {
     220   [ +  +  +  -  :       8456 :         return (h < t) ? ((h < i) && (i < t)) : ((h < i) || (i < t));
          -  -  -  -  -  
          -  -  -  -  -  
                   -  - ]
     221                 :            : }
     222                 :            : 
     223                 :       4418 : void aq_ring_update_queue_state(struct aq_ring_s *ring)
     224                 :            : {
     225   [ +  +  +  + ]:       8836 :         if (aq_ring_avail_dx(ring) <= AQ_CFG_SKB_FRAGS_MAX)
     226                 :         31 :                 aq_ring_queue_stop(ring);
     227         [ +  + ]:       4387 :         else if (aq_ring_avail_dx(ring) > AQ_CFG_RESTART_DESC_THRES)
     228                 :       4376 :                 aq_ring_queue_wake(ring);
     229                 :       4418 : }
     230                 :            : 
     231                 :       4376 : void aq_ring_queue_wake(struct aq_ring_s *ring)
     232                 :            : {
     233                 :       4376 :         struct net_device *ndev = aq_nic_get_ndev(ring->aq_nic);
     234                 :            : 
     235         [ +  + ]:       4376 :         if (__netif_subqueue_stopped(ndev, ring->idx)) {
     236                 :         31 :                 netif_wake_subqueue(ndev, ring->idx);
     237                 :         31 :                 ring->stats.tx.queue_restarts++;
     238                 :            :         }
     239                 :       4376 : }
     240                 :            : 
     241                 :         31 : void aq_ring_queue_stop(struct aq_ring_s *ring)
     242                 :            : {
     243                 :         31 :         struct net_device *ndev = aq_nic_get_ndev(ring->aq_nic);
     244                 :            : 
     245         [ +  - ]:         31 :         if (!__netif_subqueue_stopped(ndev, ring->idx))
     246                 :         31 :                 netif_stop_subqueue(ndev, ring->idx);
     247                 :         31 : }
     248                 :            : 
     249                 :       4262 : bool aq_ring_tx_clean(struct aq_ring_s *self)
     250                 :            : {
     251                 :       4262 :         struct device *dev = aq_nic_get_dev(self->aq_nic);
     252                 :       4262 :         unsigned int budget;
     253                 :            : 
     254                 :       4262 :         for (budget = AQ_CFG_TX_CLEAN_BUDGET;
     255   [ +  +  +  + ]:    1078876 :              budget && self->sw_head != self->hw_head; budget--) {
     256                 :    1074614 :                 struct aq_ring_buff_s *buff = &self->buff_ring[self->sw_head];
     257                 :            : 
     258         [ +  + ]:    1074614 :                 if (likely(buff->is_mapped)) {
     259         [ +  - ]:        967 :                         if (unlikely(buff->is_sop)) {
     260         [ -  + ]:        967 :                                 if (!buff->is_eop &&
     261   [ #  #  #  # ]:          0 :                                     buff->eop_index != 0xffffU &&
     262         [ #  # ]:          0 :                                     (!aq_ring_dx_in_range(self->sw_head,
     263                 :            :                                                 buff->eop_index,
     264                 :            :                                                 self->hw_head)))
     265                 :            :                                         break;
     266                 :            : 
     267                 :        967 :                                 dma_unmap_single(dev, buff->pa, buff->len,
     268                 :            :                                                  DMA_TO_DEVICE);
     269                 :            :                         } else {
     270                 :          0 :                                 dma_unmap_page(dev, buff->pa, buff->len,
     271                 :            :                                                DMA_TO_DEVICE);
     272                 :            :                         }
     273                 :            :                 }
     274                 :            : 
     275   [ +  +  +  + ]:    1074614 :                 if (unlikely(buff->is_eop && buff->skb)) {
     276                 :        149 :                         ++self->stats.rx.packets;
     277                 :        149 :                         self->stats.tx.bytes += buff->skb->len;
     278                 :            : 
     279                 :        149 :                         dev_kfree_skb_any(buff->skb);
     280                 :        149 :                         buff->skb = NULL;
     281                 :            :                 }
     282                 :    1074614 :                 buff->pa = 0U;
     283                 :    1074614 :                 buff->eop_index = 0xffffU;
     284         [ +  + ]:    1074867 :                 self->sw_head = aq_ring_next_dx(self, self->sw_head);
     285                 :            :         }
     286                 :            : 
     287                 :       4262 :         return !!budget;
     288                 :            : }
     289                 :            : 
     290                 :            : static void aq_rx_checksum(struct aq_ring_s *self,
     291                 :            :                            struct aq_ring_buff_s *buff,
     292                 :            :                            struct sk_buff *skb)
     293                 :            : {
     294                 :            :         if (!(self->aq_nic->ndev->features & NETIF_F_RXCSUM))
     295                 :            :                 return;
     296                 :            : 
     297                 :            :         if (unlikely(buff->is_cso_err)) {
     298                 :            :                 ++self->stats.rx.errors;
     299                 :            :                 skb->ip_summed = CHECKSUM_NONE;
     300                 :            :                 return;
     301                 :            :         }
     302                 :            :         if (buff->is_ip_cso) {
     303                 :            :                 __skb_incr_checksum_unnecessary(skb);
     304                 :            :         } else {
     305                 :            :                 skb->ip_summed = CHECKSUM_NONE;
     306                 :            :         }
     307                 :            : 
     308                 :            :         if (buff->is_udp_cso || buff->is_tcp_cso)
     309                 :            :                 __skb_incr_checksum_unnecessary(skb);
     310                 :            : }
     311                 :            : 
     312                 :            : #define AQ_SKB_ALIGN SKB_DATA_ALIGN(sizeof(struct skb_shared_info))
     313                 :       4228 : int aq_ring_rx_clean(struct aq_ring_s *self,
     314                 :            :                      struct napi_struct *napi,
     315                 :            :                      int *work_done,
     316                 :            :                      int budget)
     317                 :            : {
     318                 :       4228 :         struct net_device *ndev = aq_nic_get_ndev(self->aq_nic);
     319                 :       4228 :         bool is_rsc_completed = true;
     320                 :       4228 :         int err = 0;
     321                 :            : 
     322   [ -  +  +  - ]:       8486 :         for (; (self->sw_head != self->hw_head) && budget;
     323         [ -  + ]:         30 :                 self->sw_head = aq_ring_next_dx(self, self->sw_head),
     324                 :         30 :                 --budget, ++(*work_done)) {
     325                 :       4258 :                 struct aq_ring_buff_s *buff = &self->buff_ring[self->sw_head];
     326                 :       4258 :                 bool is_ptp_ring = aq_ptp_ring(self->aq_nic, self);
     327                 :       4258 :                 struct aq_ring_buff_s *buff_ = NULL;
     328                 :       4258 :                 struct sk_buff *skb = NULL;
     329                 :       4258 :                 unsigned int next_ = 0U;
     330                 :       4258 :                 unsigned int i = 0U;
     331                 :       4258 :                 u16 hdr_len;
     332                 :            : 
     333         [ -  + ]:       4258 :                 if (buff->is_cleaned)
     334                 :          0 :                         continue;
     335                 :            : 
     336         [ +  + ]:       4258 :                 if (!buff->is_eop) {
     337                 :            :                         buff_ = buff;
     338                 :       4228 :                         do {
     339                 :       4228 :                                 next_ = buff_->next,
     340                 :       4228 :                                 printk("self->size=%x, next_=%x", self->size, next_);
     341                 :       4228 :                                 buff_ = &self->buff_ring[next_];
     342                 :       4228 :                                 is_rsc_completed =
     343         [ +  - ]:       4228 :                                         aq_ring_dx_in_range(self->sw_head,
     344                 :            :                                                             next_,
     345                 :            :                                                             self->hw_head);
     346                 :            : 
     347         [ -  + ]:       4228 :                                 if (unlikely(!is_rsc_completed))
     348                 :            :                                         break;
     349                 :            : 
     350                 :          0 :                                 buff->is_error |= buff_->is_error;
     351                 :          0 :                                 buff->is_cso_err |= buff_->is_cso_err;
     352                 :            : 
     353         [ #  # ]:          0 :                         } while (!buff_->is_eop);
     354                 :            : 
     355         [ +  - ]:       4228 :                         if (!is_rsc_completed) {
     356                 :       4228 :                                 err = 0;
     357                 :       4228 :                                 goto err_exit;
     358                 :            :                         }
     359         [ #  # ]:          0 :                         if (buff->is_error ||
     360   [ #  #  #  # ]:          0 :                             (buff->is_lro && buff->is_cso_err)) {
     361                 :            :                                 buff_ = buff;
     362                 :          0 :                                 do {
     363                 :          0 :                                         next_ = buff_->next,
     364                 :          0 :                                         buff_ = &self->buff_ring[next_];
     365                 :            : 
     366                 :          0 :                                         buff_->is_cleaned = true;
     367         [ #  # ]:          0 :                                 } while (!buff_->is_eop);
     368                 :            : 
     369                 :          0 :                                 ++self->stats.rx.errors;
     370                 :          0 :                                 continue;
     371                 :            :                         }
     372                 :            :                 }
     373                 :            : 
     374         [ +  - ]:         30 :                 if (buff->is_error) {
     375                 :         30 :                         ++self->stats.rx.errors;
     376                 :         30 :                         continue;
     377                 :            :                 }
     378                 :            : 
     379                 :          0 :                 dma_sync_single_range_for_cpu(aq_nic_get_dev(self->aq_nic),
     380                 :            :                                               buff->rxdata.daddr,
     381                 :          0 :                                               buff->rxdata.pg_off,
     382                 :          0 :                                               buff->len, DMA_FROM_DEVICE);
     383                 :            : 
     384                 :            :                 /* for single fragment packets use build_skb() */
     385         [ #  # ]:          0 :                 if (buff->is_eop &&
     386         [ #  # ]:          0 :                     buff->len <= AQ_CFG_RX_FRAME_MAX - AQ_SKB_ALIGN) {
     387                 :          0 :                         skb = build_skb(aq_buf_vaddr(&buff->rxdata),
     388                 :            :                                         AQ_CFG_RX_FRAME_MAX);
     389         [ #  # ]:          0 :                         if (unlikely(!skb)) {
     390                 :          0 :                                 err = -ENOMEM;
     391                 :          0 :                                 goto err_exit;
     392                 :            :                         }
     393         [ #  # ]:          0 :                         if (is_ptp_ring)
     394                 :          0 :                                 buff->len -=
     395                 :          0 :                                         aq_ptp_extract_ts(self->aq_nic, skb,
     396                 :          0 :                                                 aq_buf_vaddr(&buff->rxdata),
     397                 :          0 :                                                 buff->len);
     398                 :          0 :                         skb_put(skb, buff->len);
     399                 :          0 :                         page_ref_inc(buff->rxdata.page);
     400                 :            :                 } else {
     401                 :          0 :                         skb = napi_alloc_skb(napi, AQ_CFG_RX_HDR_SIZE);
     402         [ #  # ]:          0 :                         if (unlikely(!skb)) {
     403                 :          0 :                                 err = -ENOMEM;
     404                 :          0 :                                 goto err_exit;
     405                 :            :                         }
     406         [ #  # ]:          0 :                         if (is_ptp_ring)
     407                 :          0 :                                 buff->len -=
     408                 :          0 :                                         aq_ptp_extract_ts(self->aq_nic, skb,
     409                 :          0 :                                                 aq_buf_vaddr(&buff->rxdata),
     410                 :          0 :                                                 buff->len);
     411                 :            : 
     412                 :          0 :                         hdr_len = buff->len;
     413         [ #  # ]:          0 :                         if (hdr_len > AQ_CFG_RX_HDR_SIZE)
     414                 :          0 :                                 hdr_len = eth_get_headlen(skb->dev,
     415                 :            :                                                           aq_buf_vaddr(&buff->rxdata),
     416                 :            :                                                           AQ_CFG_RX_HDR_SIZE);
     417                 :            : 
     418                 :          0 :                         memcpy(__skb_put(skb, hdr_len), aq_buf_vaddr(&buff->rxdata),
     419         [ #  # ]:          0 :                                ALIGN(hdr_len, sizeof(long)));
     420                 :            : 
     421         [ #  # ]:          0 :                         if (buff->len - hdr_len > 0) {
     422                 :          0 :                                 skb_add_rx_frag(skb, 0, buff->rxdata.page,
     423                 :          0 :                                                 buff->rxdata.pg_off + hdr_len,
     424                 :            :                                                 buff->len - hdr_len,
     425                 :            :                                                 AQ_CFG_RX_FRAME_MAX);
     426                 :          0 :                                 page_ref_inc(buff->rxdata.page);
     427                 :            :                         }
     428                 :            : 
     429         [ #  # ]:          0 :                         if (!buff->is_eop) {
     430                 :            :                                 buff_ = buff;
     431                 :            :                                 i = 1U;
     432                 :          0 :                                 do {
     433                 :          0 :                                         next_ = buff_->next,
     434                 :          0 :                                         buff_ = &self->buff_ring[next_];
     435                 :            : 
     436                 :          0 :                                         dma_sync_single_range_for_cpu(
     437                 :            :                                                         aq_nic_get_dev(self->aq_nic),
     438                 :            :                                                         buff_->rxdata.daddr,
     439                 :          0 :                                                         buff_->rxdata.pg_off,
     440                 :          0 :                                                         buff_->len,
     441                 :            :                                                         DMA_FROM_DEVICE);
     442                 :          0 :                                         skb_add_rx_frag(skb, i++,
     443                 :            :                                                         buff_->rxdata.page,
     444                 :          0 :                                                         buff_->rxdata.pg_off,
     445                 :          0 :                                                         buff_->len,
     446                 :            :                                                         AQ_CFG_RX_FRAME_MAX);
     447                 :          0 :                                         page_ref_inc(buff_->rxdata.page);
     448                 :          0 :                                         buff_->is_cleaned = 1;
     449                 :            : 
     450                 :          0 :                                         buff->is_ip_cso &= buff_->is_ip_cso;
     451                 :          0 :                                         buff->is_udp_cso &= buff_->is_udp_cso;
     452                 :          0 :                                         buff->is_tcp_cso &= buff_->is_tcp_cso;
     453                 :          0 :                                         buff->is_cso_err |= buff_->is_cso_err;
     454                 :            : 
     455         [ #  # ]:          0 :                                 } while (!buff_->is_eop);
     456                 :            :                         }
     457                 :            :                 }
     458                 :            : 
     459         [ #  # ]:          0 :                 if (buff->is_vlan)
     460                 :          0 :                         __vlan_hwaccel_put_tag(skb, htons(ETH_P_8021Q),
     461                 :          0 :                                                buff->vlan_rx_tag);
     462                 :            : 
     463                 :          0 :                 skb->protocol = eth_type_trans(skb, ndev);
     464                 :            : 
     465                 :          0 :                 aq_rx_checksum(self, buff, skb);
     466                 :            : 
     467         [ #  # ]:          0 :                 skb_set_hash(skb, buff->rss_hash,
     468         [ #  # ]:          0 :                              buff->is_hash_l4 ? PKT_HASH_TYPE_L4 :
     469                 :            :                              PKT_HASH_TYPE_NONE);
     470                 :            :                 /* Send all PTP traffic to 0 queue */
     471         [ #  # ]:          0 :                 skb_record_rx_queue(skb, is_ptp_ring ? 0 : self->idx);
     472                 :            : 
     473                 :          0 :                 ++self->stats.rx.packets;
     474                 :          0 :                 self->stats.rx.bytes += skb->len;
     475                 :            : 
     476                 :          0 :                 napi_gro_receive(napi, skb);
     477                 :            :         }
     478                 :            : 
     479                 :          0 : err_exit:
     480                 :       4228 :         return err;
     481                 :            : }
     482                 :            : 
     483                 :          0 : void aq_ring_hwts_rx_clean(struct aq_ring_s *self, struct aq_nic_s *aq_nic)
     484                 :            : {
     485         [ #  # ]:          0 :         while (self->sw_head != self->hw_head) {
     486                 :          0 :                 u64 ns;
     487                 :            : 
     488                 :          0 :                 aq_nic->aq_hw_ops->extract_hwts(aq_nic->aq_hw,
     489                 :          0 :                                                 self->dx_ring +
     490                 :          0 :                                                 (self->sw_head * self->dx_size),
     491                 :            :                                                 self->dx_size, &ns);
     492                 :          0 :                 aq_ptp_tx_hwtstamp(aq_nic, ns);
     493                 :            : 
     494         [ #  # ]:          0 :                 self->sw_head = aq_ring_next_dx(self, self->sw_head);
     495                 :            :         }
     496                 :          0 : }
     497                 :            : 
     498                 :       4261 : int aq_ring_rx_fill(struct aq_ring_s *self)
     499                 :            : {
     500                 :       4261 :         unsigned int page_order = self->page_order;
     501                 :       4261 :         struct aq_ring_buff_s *buff = NULL;
     502                 :       4261 :         int err = 0;
     503                 :       4261 :         int i = 0;
     504                 :            : 
     505   [ +  -  +  + ]:       8522 :         if (aq_ring_avail_dx(self) < min_t(unsigned int, AQ_CFG_RX_REFILL_THRES,
     506                 :            :                                            self->size / 2))
     507                 :            :                 return err;
     508                 :            : 
     509         [ +  + ]:      67584 :         for (i = aq_ring_avail_dx(self); i--;
     510                 :      67551 :                 self->sw_tail = aq_ring_next_dx(self, self->sw_tail)) {
     511                 :      67551 :                 buff = &self->buff_ring[self->sw_tail];
     512                 :            : 
     513                 :      67551 :                 buff->flags = 0U;
     514                 :      67551 :                 buff->len = AQ_CFG_RX_FRAME_MAX;
     515                 :            : 
     516                 :      67551 :                 err = aq_get_rxpages(self, buff, page_order);
     517         [ -  + ]:      67551 :                 if (err)
     518                 :          0 :                         goto err_exit;
     519                 :            : 
     520         [ -  + ]:      67551 :                 buff->pa = aq_buf_daddr(&buff->rxdata);
     521         [ -  + ]:      67551 :                 buff = NULL;
     522                 :            :         }
     523                 :            : 
     524                 :         33 : err_exit:
     525                 :            :         return err;
     526                 :            : }
     527                 :            : 
     528                 :          0 : void aq_ring_rx_deinit(struct aq_ring_s *self)
     529                 :            : {
     530         [ #  # ]:          0 :         if (!self)
     531                 :          0 :                 goto err_exit;
     532                 :            : 
     533         [ #  # ]:          0 :         for (; self->sw_head != self->sw_tail;
     534         [ #  # ]:          0 :                 self->sw_head = aq_ring_next_dx(self, self->sw_head)) {
     535                 :          0 :                 struct aq_ring_buff_s *buff = &self->buff_ring[self->sw_head];
     536                 :            : 
     537                 :          0 :                 aq_free_rxpage(&buff->rxdata, aq_nic_get_dev(self->aq_nic));
     538                 :            :         }
     539                 :            : 
     540                 :          0 : err_exit:;
     541                 :          0 : }
     542                 :            : 
     543                 :          0 : void aq_ring_free(struct aq_ring_s *self)
     544                 :            : {
     545         [ #  # ]:          0 :         if (!self)
     546                 :          0 :                 goto err_exit;
     547                 :            : 
     548                 :          0 :         kfree(self->buff_ring);
     549                 :            : 
     550         [ #  # ]:          0 :         if (self->dx_ring)
     551                 :          0 :                 dma_free_coherent(aq_nic_get_dev(self->aq_nic),
     552                 :          0 :                                   self->size * self->dx_size, self->dx_ring,
     553                 :            :                                   self->dx_ring_pa);
     554                 :            : 
     555                 :          0 : err_exit:;
     556                 :          0 : }