Branch data     Line data    Source code

       1                 :            : // SPDX-License-Identifier: GPL-2.0
       2                 :            : #include <linux/export.h>
       3                 :            : #include <linux/types.h>
       4                 :            : #include <linux/io.h>
       5                 :            : #include <linux/spinlock.h>
       6                 :            : 
       7                 :            : static DEFINE_RAW_SPINLOCK(__io_lock);
       8                 :            : 
       9                 :            : /*
      10                 :            :  * Generic atomic MMIO modify.
      11                 :            :  *
      12                 :            :  * Allows thread-safe access to registers shared by unrelated subsystems.
      13                 :            :  * The access is protected by a single MMIO-wide lock.
      14                 :            :  */
      15                 :          0 : void atomic_io_modify_relaxed(void __iomem *reg, u32 mask, u32 set)
      16                 :            : {
      17                 :            :         unsigned long flags;
      18                 :            :         u32 value;
      19                 :            : 
      20                 :          0 :         raw_spin_lock_irqsave(&__io_lock, flags);
      21                 :          0 :         value = readl_relaxed(reg) & ~mask;
      22                 :          0 :         value |= (set & mask);
      23                 :            :         writel_relaxed(value, reg);
      24                 :          0 :         raw_spin_unlock_irqrestore(&__io_lock, flags);
      25                 :          0 : }
      26                 :            : EXPORT_SYMBOL(atomic_io_modify_relaxed);
      27                 :            : 
      28                 :          0 : void atomic_io_modify(void __iomem *reg, u32 mask, u32 set)
      29                 :            : {
      30                 :            :         unsigned long flags;
      31                 :            :         u32 value;
      32                 :            : 
      33                 :          0 :         raw_spin_lock_irqsave(&__io_lock, flags);
      34                 :          0 :         value = readl_relaxed(reg) & ~mask;
      35                 :          0 :         value |= (set & mask);
      36                 :          0 :         writel(value, reg);
      37                 :          0 :         raw_spin_unlock_irqrestore(&__io_lock, flags);
      38                 :          0 : }
      39                 :            : EXPORT_SYMBOL(atomic_io_modify);
      40                 :            : 
      41                 :            : /*
      42                 :            :  * Copy data from IO memory space to "real" memory space.
      43                 :            :  * This needs to be optimized.
      44                 :            :  */
      45                 :          0 : void _memcpy_fromio(void *to, const volatile void __iomem *from, size_t count)
      46                 :            : {
      47                 :            :         unsigned char *t = to;
      48                 :          0 :         while (count) {
      49                 :          0 :                 count--;
      50                 :          0 :                 *t = readb(from);
      51                 :          0 :                 t++;
      52                 :          0 :                 from++;
      53                 :            :         }
      54                 :          0 : }
      55                 :            : EXPORT_SYMBOL(_memcpy_fromio);
      56                 :            : 
      57                 :            : /*
      58                 :            :  * Copy data from "real" memory space to IO memory space.
      59                 :            :  * This needs to be optimized.
      60                 :            :  */
      61                 :          0 : void _memcpy_toio(volatile void __iomem *to, const void *from, size_t count)
      62                 :            : {
      63                 :            :         const unsigned char *f = from;
      64                 :          0 :         while (count) {
      65                 :          0 :                 count--;
      66                 :          0 :                 writeb(*f, to);
      67                 :          0 :                 f++;
      68                 :          0 :                 to++;
      69                 :            :         }
      70                 :          0 : }
      71                 :            : EXPORT_SYMBOL(_memcpy_toio);
      72                 :            : 
      73                 :            : /*
      74                 :            :  * "memset" on IO memory space.
      75                 :            :  * This needs to be optimized.
      76                 :            :  */
      77                 :          0 : void _memset_io(volatile void __iomem *dst, int c, size_t count)
      78                 :            : {
      79                 :          0 :         while (count) {
      80                 :          0 :                 count--;
      81                 :          0 :                 writeb(c, dst);
      82                 :          0 :                 dst++;
      83                 :            :         }
      84                 :          0 : }
      85                 :            : EXPORT_SYMBOL(_memset_io);