Branch data     Line data    Source code

       1                 :            : /* SPDX-License-Identifier: GPL-2.0 */
       2                 :            : #ifndef _ASM_X86_QSPINLOCK_H
       3                 :            : #define _ASM_X86_QSPINLOCK_H
       4                 :            : 
       5                 :            : #include <linux/jump_label.h>
       6                 :            : #include <asm/cpufeature.h>
       7                 :            : #include <asm-generic/qspinlock_types.h>
       8                 :            : #include <asm/paravirt.h>
       9                 :            : #include <asm/rmwcc.h>
      10                 :            : 
      11                 :            : #define _Q_PENDING_LOOPS        (1 << 9)
      12                 :            : 
      13                 :            : #define queued_fetch_set_pending_acquire queued_fetch_set_pending_acquire
      14                 :          0 : static __always_inline u32 queued_fetch_set_pending_acquire(struct qspinlock *lock)
      15                 :            : {
      16                 :          0 :         u32 val;
      17                 :            : 
      18                 :            :         /*
      19                 :            :          * We can't use GEN_BINARY_RMWcc() inside an if() stmt because asm goto
      20                 :            :          * and CONFIG_PROFILE_ALL_BRANCHES=y results in a label inside a
      21                 :            :          * statement expression, which GCC doesn't like.
      22                 :            :          */
      23                 :          0 :         val = GEN_BINARY_RMWcc(LOCK_PREFIX "btsl", lock->val.counter, c,
      24                 :            :                                "I", _Q_PENDING_OFFSET) * _Q_PENDING_VAL;
      25                 :          0 :         val |= atomic_read(&lock->val) & ~_Q_PENDING_MASK;
      26                 :            : 
      27         [ #  # ]:          0 :         return val;
      28                 :            : }
      29                 :            : 
      30                 :            : #ifdef CONFIG_PARAVIRT_SPINLOCKS
      31                 :            : extern void native_queued_spin_lock_slowpath(struct qspinlock *lock, u32 val);
      32                 :            : extern void __pv_init_lock_hash(void);
      33                 :            : extern void __pv_queued_spin_lock_slowpath(struct qspinlock *lock, u32 val);
      34                 :            : extern void __raw_callee_save___pv_queued_spin_unlock(struct qspinlock *lock);
      35                 :            : 
      36                 :            : #define queued_spin_unlock queued_spin_unlock
      37                 :            : /**
      38                 :            :  * queued_spin_unlock - release a queued spinlock
      39                 :            :  * @lock : Pointer to queued spinlock structure
      40                 :            :  *
      41                 :            :  * A smp_store_release() on the least-significant byte.
      42                 :            :  */
      43                 :            : static inline void native_queued_spin_unlock(struct qspinlock *lock)
      44                 :            : {
      45                 :            :         smp_store_release(&lock->locked, 0);
      46                 :            : }
      47                 :            : 
      48                 :            : static inline void queued_spin_lock_slowpath(struct qspinlock *lock, u32 val)
      49                 :            : {
      50                 :            :         pv_queued_spin_lock_slowpath(lock, val);
      51                 :            : }
      52                 :            : 
      53                 :            : static inline void queued_spin_unlock(struct qspinlock *lock)
      54                 :            : {
      55                 :            :         pv_queued_spin_unlock(lock);
      56                 :            : }
      57                 :            : 
      58                 :            : #define vcpu_is_preempted vcpu_is_preempted
      59                 :            : static inline bool vcpu_is_preempted(long cpu)
      60                 :            : {
      61                 :            :         return pv_vcpu_is_preempted(cpu);
      62                 :            : }
      63                 :            : #endif
      64                 :            : 
      65                 :            : #ifdef CONFIG_PARAVIRT
      66                 :            : /*
      67                 :            :  * virt_spin_lock_key - enables (by default) the virt_spin_lock() hijack.
      68                 :            :  *
      69                 :            :  * Native (and PV wanting native due to vCPU pinning) should disable this key.
      70                 :            :  * It is done in this backwards fashion to only have a single direction change,
      71                 :            :  * which removes ordering between native_pv_spin_init() and HV setup.
      72                 :            :  */
      73                 :            : DECLARE_STATIC_KEY_TRUE(virt_spin_lock_key);
      74                 :            : 
      75                 :            : void native_pv_lock_init(void) __init;
      76                 :            : 
      77                 :            : /*
      78                 :            :  * Shortcut for the queued_spin_lock_slowpath() function that allows
      79                 :            :  * virt to hijack it.
      80                 :            :  *
      81                 :            :  * Returns:
      82                 :            :  *   true - lock has been negotiated, all done;
      83                 :            :  *   false - queued_spin_lock_slowpath() will do its thing.
      84                 :            :  */
      85                 :            : #define virt_spin_lock virt_spin_lock
      86                 :          0 : static inline bool virt_spin_lock(struct qspinlock *lock)
      87                 :            : {
      88   [ #  #  #  # ]:          0 :         if (!static_branch_likely(&virt_spin_lock_key))
      89                 :            :                 return false;
      90                 :            : 
      91                 :            :         /*
      92                 :            :          * On hypervisors without PARAVIRT_SPINLOCKS support we fall
      93                 :            :          * back to a Test-and-Set spinlock, because fair locks have
      94                 :            :          * horrible lock 'holder' preemption issues.
      95                 :            :          */
      96                 :            : 
      97                 :            :         do {
      98         [ #  # ]:          0 :                 while (atomic_read(&lock->val) != 0)
      99                 :          0 :                         cpu_relax();
     100         [ #  # ]:          0 :         } while (atomic_cmpxchg(&lock->val, 0, _Q_LOCKED_VAL) != 0);
     101                 :            : 
     102                 :            :         return true;
     103                 :            : }
     104                 :            : #else
     105                 :            : static inline void native_pv_lock_init(void)
     106                 :            : {
     107                 :            : }
     108                 :            : #endif /* CONFIG_PARAVIRT */
     109                 :            : 
     110                 :            : #include <asm-generic/qspinlock.h>
     111                 :            : 
     112                 :            : #endif /* _ASM_X86_QSPINLOCK_H */