LCOV - code coverage report
Current view: top level - drivers/irqchip - irq-bcm2836.c (source / functions) Hit Total Coverage
Test: gcov_data_raspi2_real_modules_combined.info Lines: 57 75 76.0 %
Date: 2020-09-30 20:25:40 Functions: 9 13 69.2 %
Branches: 10 16 62.5 %

           Branch data     Line data    Source code
       1                 :            : // SPDX-License-Identifier: GPL-2.0+
       2                 :            : /*
       3                 :            :  * Root interrupt controller for the BCM2836 (Raspberry Pi 2).
       4                 :            :  *
       5                 :            :  * Copyright 2015 Broadcom
       6                 :            :  */
       7                 :            : 
       8                 :            : #include <linux/cpu.h>
       9                 :            : #include <linux/of_address.h>
      10                 :            : #include <linux/of_irq.h>
      11                 :            : #include <linux/irqchip.h>
      12                 :            : #include <linux/irqdomain.h>
      13                 :            : #include <linux/irqchip/irq-bcm2836.h>
      14                 :            : 
      15                 :            : #include <asm/exception.h>
      16                 :            : 
      17                 :            : struct bcm2836_arm_irqchip_intc {
      18                 :            :         struct irq_domain *domain;
      19                 :            :         void __iomem *base;
      20                 :            : };
      21                 :            : 
      22                 :            : static struct bcm2836_arm_irqchip_intc intc  __read_mostly;
      23                 :            : 
      24                 :            : void __iomem *arm_local_intc;
      25                 :            : EXPORT_SYMBOL_GPL(arm_local_intc);
      26                 :            : 
      27                 :            : static void bcm2836_arm_irqchip_mask_per_cpu_irq(unsigned int reg_offset,
      28                 :            :                                                  unsigned int bit,
      29                 :            :                                                  int cpu)
      30                 :            : {
      31                 :          0 :         void __iomem *reg = intc.base + reg_offset + 4 * cpu;
      32                 :            : 
      33                 :          0 :         writel(readl(reg) & ~BIT(bit), reg);
      34                 :            : }
      35                 :            : 
      36                 :            : static void bcm2836_arm_irqchip_unmask_per_cpu_irq(unsigned int reg_offset,
      37                 :            :                                                    unsigned int bit,
      38                 :            :                                                  int cpu)
      39                 :            : {
      40                 :       2484 :         void __iomem *reg = intc.base + reg_offset + 4 * cpu;
      41                 :            : 
      42                 :       4968 :         writel(readl(reg) | BIT(bit), reg);
      43                 :            : }
      44                 :            : 
      45                 :          0 : static void bcm2836_arm_irqchip_mask_timer_irq(struct irq_data *d)
      46                 :            : {
      47                 :          0 :         bcm2836_arm_irqchip_mask_per_cpu_irq(LOCAL_TIMER_INT_CONTROL0,
      48                 :          0 :                                              d->hwirq - LOCAL_IRQ_CNTPSIRQ,
      49                 :          0 :                                              smp_processor_id());
      50                 :          0 : }
      51                 :            : 
      52                 :       1656 : static void bcm2836_arm_irqchip_unmask_timer_irq(struct irq_data *d)
      53                 :            : {
      54                 :       1656 :         bcm2836_arm_irqchip_unmask_per_cpu_irq(LOCAL_TIMER_INT_CONTROL0,
      55                 :       1656 :                                                d->hwirq - LOCAL_IRQ_CNTPSIRQ,
      56                 :       1656 :                                                smp_processor_id());
      57                 :       1656 : }
      58                 :            : 
      59                 :            : static struct irq_chip bcm2836_arm_irqchip_timer = {
      60                 :            :         .name           = "bcm2836-timer",
      61                 :            :         .irq_mask       = bcm2836_arm_irqchip_mask_timer_irq,
      62                 :            :         .irq_unmask     = bcm2836_arm_irqchip_unmask_timer_irq,
      63                 :            : };
      64                 :            : 
      65                 :          0 : static void bcm2836_arm_irqchip_mask_pmu_irq(struct irq_data *d)
      66                 :            : {
      67                 :          0 :         writel(1 << smp_processor_id(), intc.base + LOCAL_PM_ROUTING_CLR);
      68                 :          0 : }
      69                 :            : 
      70                 :        828 : static void bcm2836_arm_irqchip_unmask_pmu_irq(struct irq_data *d)
      71                 :            : {
      72                 :       1656 :         writel(1 << smp_processor_id(), intc.base + LOCAL_PM_ROUTING_SET);
      73                 :        828 : }
      74                 :            : 
      75                 :            : static struct irq_chip bcm2836_arm_irqchip_pmu = {
      76                 :            :         .name           = "bcm2836-pmu",
      77                 :            :         .irq_mask       = bcm2836_arm_irqchip_mask_pmu_irq,
      78                 :            :         .irq_unmask     = bcm2836_arm_irqchip_unmask_pmu_irq,
      79                 :            : };
      80                 :            : 
      81                 :          0 : static void bcm2836_arm_irqchip_mask_gpu_irq(struct irq_data *d)
      82                 :            : {
      83                 :          0 : }
      84                 :            : 
      85                 :        207 : static void bcm2836_arm_irqchip_unmask_gpu_irq(struct irq_data *d)
      86                 :            : {
      87                 :        207 : }
      88                 :            : 
      89                 :            : #ifdef CONFIG_ARM64
      90                 :            : 
      91                 :            : void bcm2836_arm_irqchip_spin_gpu_irq(void)
      92                 :            : {
      93                 :            :         u32 i;
      94                 :            :         void __iomem *gpurouting = (intc.base + LOCAL_GPU_ROUTING);
      95                 :            :         u32 routing_val = readl(gpurouting);
      96                 :            : 
      97                 :            :         for (i = 1; i <= 3; i++) {
      98                 :            :                 u32 new_routing_val = (routing_val + i) & 3;
      99                 :            : 
     100                 :            :                 if (cpu_active(new_routing_val)) {
     101                 :            :                         writel(new_routing_val, gpurouting);
     102                 :            :                         return;
     103                 :            :                 }
     104                 :            :         }
     105                 :            : }
     106                 :            : EXPORT_SYMBOL(bcm2836_arm_irqchip_spin_gpu_irq);
     107                 :            : 
     108                 :            : #endif
     109                 :            : 
     110                 :            : static struct irq_chip bcm2836_arm_irqchip_gpu = {
     111                 :            :         .name           = "bcm2836-gpu",
     112                 :            :         .irq_mask       = bcm2836_arm_irqchip_mask_gpu_irq,
     113                 :            :         .irq_unmask     = bcm2836_arm_irqchip_unmask_gpu_irq,
     114                 :            : };
     115                 :            : 
     116                 :       1242 : static int bcm2836_map(struct irq_domain *d, unsigned int irq,
     117                 :            :                        irq_hw_number_t hw)
     118                 :            : {
     119                 :            :         struct irq_chip *chip;
     120                 :            : 
     121   [ +  +  -  + ]:       1242 :         switch (hw) {
     122                 :            :         case LOCAL_IRQ_CNTPSIRQ:
     123                 :            :         case LOCAL_IRQ_CNTPNSIRQ:
     124                 :            :         case LOCAL_IRQ_CNTHPIRQ:
     125                 :            :         case LOCAL_IRQ_CNTVIRQ:
     126                 :            :                 chip = &bcm2836_arm_irqchip_timer;
     127                 :            :                 break;
     128                 :            :         case LOCAL_IRQ_GPU_FAST:
     129                 :            :                 chip = &bcm2836_arm_irqchip_gpu;
     130                 :        207 :                 break;
     131                 :            :         case LOCAL_IRQ_PMU_FAST:
     132                 :            :                 chip = &bcm2836_arm_irqchip_pmu;
     133                 :        207 :                 break;
     134                 :            :         default:
     135         [ #  # ]:          0 :                 pr_warn_once("Unexpected hw irq: %lu\n", hw);
     136                 :            :                 return -EINVAL;
     137                 :            :         }
     138                 :            : 
     139                 :       1242 :         irq_set_percpu_devid(irq);
     140                 :       1242 :         irq_domain_set_info(d, irq, hw, chip, d->host_data,
     141                 :            :                             handle_percpu_devid_irq, NULL, NULL);
     142                 :            :         irq_set_status_flags(irq, IRQ_NOAUTOEN | IRQ_TYPE_LEVEL_LOW);
     143                 :            : 
     144                 :       1242 :         return 0;
     145                 :            : }
     146                 :            : 
     147                 :            : static void
     148                 :   22322112 : __exception_irq_entry bcm2836_arm_irqchip_handle_irq(struct pt_regs *regs)
     149                 :            : {
     150                 :   22322112 :         int cpu = smp_processor_id();
     151                 :            :         u32 stat;
     152                 :            : 
     153                 :   22322112 :         stat = readl_relaxed(intc.base + LOCAL_IRQ_PENDING0 + 4 * cpu);
     154         [ +  + ]:   22302706 :         if (stat & BIT(LOCAL_IRQ_MAILBOX0)) {
     155                 :            : #ifdef CONFIG_SMP
     156                 :    3780305 :                 void __iomem *mailbox0 = (intc.base +
     157                 :    3780305 :                                           LOCAL_MAILBOX0_CLR0 + 16 * cpu);
     158                 :    3779851 :                 u32 mbox_val = readl(mailbox0);
     159                 :    7560846 :                 u32 ipi = ffs(mbox_val) - 1;
     160                 :            : 
     161                 :    3780423 :                 writel(1 << ipi, mailbox0);
     162                 :    3781236 :                 dsb(sy);
     163                 :    3780900 :                 handle_IPI(ipi, regs);
     164                 :            : #endif
     165         [ +  - ]:   18522401 :         } else if (stat) {
     166                 :   37253004 :                 u32 hwirq = ffs(stat) - 1;
     167                 :            : 
     168                 :   18626502 :                 handle_domain_irq(intc.domain, hwirq, regs);
     169                 :            :         }
     170                 :   22321135 : }
     171                 :            : 
     172                 :            : #ifdef CONFIG_SMP
     173                 :    3778126 : static void bcm2836_arm_irqchip_send_ipi(const struct cpumask *mask,
     174                 :            :                                          unsigned int ipi)
     175                 :            : {
     176                 :            :         int cpu;
     177                 :    3778126 :         void __iomem *mailbox0_base = intc.base + LOCAL_MAILBOX0_SET0;
     178                 :            : 
     179                 :            :         /*
     180                 :            :          * Ensure that stores to normal memory are visible to the
     181                 :            :          * other CPUs before issuing the IPI.
     182                 :            :          */
     183                 :    3778126 :         smp_wmb();
     184                 :            : 
     185         [ +  + ]:   11334635 :         for_each_cpu(cpu, mask) {
     186                 :    3781105 :                 writel(1 << ipi, mailbox0_base + 16 * cpu);
     187                 :            :         }
     188                 :    3778185 : }
     189                 :            : 
     190                 :        828 : static int bcm2836_cpu_starting(unsigned int cpu)
     191                 :            : {
     192                 :        828 :         bcm2836_arm_irqchip_unmask_per_cpu_irq(LOCAL_MAILBOX_INT_CONTROL0, 0,
     193                 :            :                                                cpu);
     194                 :        828 :         return 0;
     195                 :            : }
     196                 :            : 
     197                 :          0 : static int bcm2836_cpu_dying(unsigned int cpu)
     198                 :            : {
     199                 :          0 :         bcm2836_arm_irqchip_mask_per_cpu_irq(LOCAL_MAILBOX_INT_CONTROL0, 0,
     200                 :            :                                              cpu);
     201                 :          0 :         return 0;
     202                 :            : }
     203                 :            : #endif
     204                 :            : 
     205                 :            : static const struct irq_domain_ops bcm2836_arm_irqchip_intc_ops = {
     206                 :            :         .xlate = irq_domain_xlate_onetwocell,
     207                 :            :         .map = bcm2836_map,
     208                 :            : };
     209                 :            : 
     210                 :            : static void
     211                 :        207 : bcm2836_arm_irqchip_smp_init(void)
     212                 :            : {
     213                 :            : #ifdef CONFIG_SMP
     214                 :            :         /* Unmask IPIs to the boot CPU. */
     215                 :            :         cpuhp_setup_state(CPUHP_AP_IRQ_BCM2836_STARTING,
     216                 :            :                           "irqchip/bcm2836:starting", bcm2836_cpu_starting,
     217                 :            :                           bcm2836_cpu_dying);
     218                 :            : 
     219                 :        207 :         set_smp_cross_call(bcm2836_arm_irqchip_send_ipi);
     220                 :            : #endif
     221                 :        207 : }
     222                 :            : 
     223                 :            : /*
     224                 :            :  * The LOCAL_IRQ_CNT* timer firings are based off of the external
     225                 :            :  * oscillator with some scaling.  The firmware sets up CNTFRQ to
     226                 :            :  * report 19.2Mhz, but doesn't set up the scaling registers.
     227                 :            :  */
     228                 :            : static void bcm2835_init_local_timer_frequency(void)
     229                 :            : {
     230                 :            :         /*
     231                 :            :          * Set the timer to source from the 19.2Mhz crystal clock (bit
     232                 :            :          * 8 unset), and only increment by 1 instead of 2 (bit 9
     233                 :            :          * unset).
     234                 :            :          */
     235                 :        207 :         writel(0, intc.base + LOCAL_CONTROL);
     236                 :            : 
     237                 :            :         /*
     238                 :            :          * Set the timer prescaler to 1:1 (timer freq = input freq *
     239                 :            :          * 2**31 / prescaler)
     240                 :            :          */
     241                 :        207 :         writel(0x80000000, intc.base + LOCAL_PRESCALER);
     242                 :            : }
     243                 :            : 
     244                 :        207 : static int __init bcm2836_arm_irqchip_l1_intc_of_init(struct device_node *node,
     245                 :            :                                                       struct device_node *parent)
     246                 :            : {
     247                 :        207 :         intc.base = of_iomap(node, 0);
     248         [ -  + ]:        207 :         if (!intc.base) {
     249                 :          0 :                 panic("%pOF: unable to map local interrupt registers\n", node);
     250                 :            :         }
     251                 :            : 
     252                 :        207 :         arm_local_intc = intc.base;
     253                 :            : 
     254                 :            :         bcm2835_init_local_timer_frequency();
     255                 :            : 
     256                 :        207 :         intc.domain = irq_domain_add_linear(node, LAST_IRQ + 1,
     257                 :            :                                             &bcm2836_arm_irqchip_intc_ops,
     258                 :            :                                             NULL);
     259         [ -  + ]:        207 :         if (!intc.domain)
     260                 :          0 :                 panic("%pOF: unable to create IRQ domain\n", node);
     261                 :            : 
     262                 :        207 :         bcm2836_arm_irqchip_smp_init();
     263                 :            : 
     264                 :        207 :         set_handle_irq(bcm2836_arm_irqchip_handle_irq);
     265                 :        207 :         return 0;
     266                 :            : }
     267                 :            : 
     268                 :            : IRQCHIP_DECLARE(bcm2836_arm_irqchip_l1_intc, "brcm,bcm2836-l1-intc",
     269                 :            :                 bcm2836_arm_irqchip_l1_intc_of_init);

Generated by: LCOV version 1.14