Branch data     Line data    Source code

       1                 :            : // SPDX-License-Identifier: GPL-2.0-only
       2                 :            : /*
       3                 :            :  *  linux/arch/arm/mm/copypage-v6.c
       4                 :            :  *
       5                 :            :  *  Copyright (C) 2002 Deep Blue Solutions Ltd, All Rights Reserved.
       6                 :            :  */
       7                 :            : #include <linux/init.h>
       8                 :            : #include <linux/spinlock.h>
       9                 :            : #include <linux/mm.h>
      10                 :            : #include <linux/highmem.h>
      11                 :            : 
      12                 :            : #include <asm/pgtable.h>
      13                 :            : #include <asm/shmparam.h>
      14                 :            : #include <asm/tlbflush.h>
      15                 :            : #include <asm/cacheflush.h>
      16                 :            : #include <asm/cachetype.h>
      17                 :            : 
      18                 :            : #include "mm.h"
      19                 :            : 
      20                 :            : #if SHMLBA > 16384
      21                 :            : #error FIX ME
      22                 :            : #endif
      23                 :            : 
      24                 :            : static DEFINE_RAW_SPINLOCK(v6_lock);
      25                 :            : 
      26                 :            : /*
      27                 :            :  * Copy the user page.  No aliasing to deal with so we can just
      28                 :            :  * attack the kernel's existing mapping of these pages.
      29                 :            :  */
      30                 :   17375526 : static void v6_copy_user_highpage_nonaliasing(struct page *to,
      31                 :            :         struct page *from, unsigned long vaddr, struct vm_area_struct *vma)
      32                 :            : {
      33                 :            :         void *kto, *kfrom;
      34                 :            : 
      35                 :   17375526 :         kfrom = kmap_atomic(from);
      36                 :   17384667 :         kto = kmap_atomic(to);
      37                 :   17368968 :         copy_page(kto, kfrom);
      38                 :            :         kunmap_atomic(kto);
      39                 :            :         kunmap_atomic(kfrom);
      40                 :   17385190 : }
      41                 :            : 
      42                 :            : /*
      43                 :            :  * Clear the user page.  No aliasing to deal with so we can just
      44                 :            :  * attack the kernel's existing mapping of this page.
      45                 :            :  */
      46                 :   15560712 : static void v6_clear_user_highpage_nonaliasing(struct page *page, unsigned long vaddr)
      47                 :            : {
      48                 :   15560712 :         void *kaddr = kmap_atomic(page);
      49                 :   15559269 :         clear_page(kaddr);
      50                 :            :         kunmap_atomic(kaddr);
      51                 :   15560965 : }
      52                 :            : 
      53                 :            : /*
      54                 :            :  * Discard data in the kernel mapping for the new page.
      55                 :            :  * FIXME: needs this MCRR to be supported.
      56                 :            :  */
      57                 :            : static void discard_old_kernel_data(void *kto)
      58                 :            : {
      59                 :            :         __asm__("mcrr      p15, 0, %1, %0, c6      @ 0xec401f06"
      60                 :            :            :
      61                 :            :            : "r" (kto),
      62                 :            :              "r" ((unsigned long)kto + PAGE_SIZE - 1)
      63                 :            :            : "cc");
      64                 :            : }
      65                 :            : 
      66                 :            : /*
      67                 :            :  * Copy the page, taking account of the cache colour.
      68                 :            :  */
      69                 :            : static void v6_copy_user_highpage_aliasing(struct page *to,
      70                 :            :         struct page *from, unsigned long vaddr, struct vm_area_struct *vma)
      71                 :            : {
      72                 :            :         unsigned int offset = CACHE_COLOUR(vaddr);
      73                 :            :         unsigned long kfrom, kto;
      74                 :            : 
      75                 :            :         if (!test_and_set_bit(PG_dcache_clean, &from->flags))
      76                 :            :                 __flush_dcache_page(page_mapping_file(from), from);
      77                 :            : 
      78                 :            :         /* FIXME: not highmem safe */
      79                 :            :         discard_old_kernel_data(page_address(to));
      80                 :            : 
      81                 :            :         /*
      82                 :            :          * Now copy the page using the same cache colour as the
      83                 :            :          * pages ultimate destination.
      84                 :            :          */
      85                 :            :         raw_spin_lock(&v6_lock);
      86                 :            : 
      87                 :            :         kfrom = COPYPAGE_V6_FROM + (offset << PAGE_SHIFT);
      88                 :            :         kto   = COPYPAGE_V6_TO + (offset << PAGE_SHIFT);
      89                 :            : 
      90                 :            :         set_top_pte(kfrom, mk_pte(from, PAGE_KERNEL));
      91                 :            :         set_top_pte(kto, mk_pte(to, PAGE_KERNEL));
      92                 :            : 
      93                 :            :         copy_page((void *)kto, (void *)kfrom);
      94                 :            : 
      95                 :            :         raw_spin_unlock(&v6_lock);
      96                 :            : }
      97                 :            : 
      98                 :            : /*
      99                 :            :  * Clear the user page.  We need to deal with the aliasing issues,
     100                 :            :  * so remap the kernel page into the same cache colour as the user
     101                 :            :  * page.
     102                 :            :  */
     103                 :            : static void v6_clear_user_highpage_aliasing(struct page *page, unsigned long vaddr)
     104                 :            : {
     105                 :            :         unsigned long to = COPYPAGE_V6_TO + (CACHE_COLOUR(vaddr) << PAGE_SHIFT);
     106                 :            : 
     107                 :            :         /* FIXME: not highmem safe */
     108                 :            :         discard_old_kernel_data(page_address(page));
     109                 :            : 
     110                 :            :         /*
     111                 :            :          * Now clear the page using the same cache colour as
     112                 :            :          * the pages ultimate destination.
     113                 :            :          */
     114                 :            :         raw_spin_lock(&v6_lock);
     115                 :            : 
     116                 :            :         set_top_pte(to, mk_pte(page, PAGE_KERNEL));
     117                 :            :         clear_page((void *)to);
     118                 :            : 
     119                 :            :         raw_spin_unlock(&v6_lock);
     120                 :            : }
     121                 :            : 
     122                 :            : struct cpu_user_fns v6_user_fns __initdata = {
     123                 :            :         .cpu_clear_user_highpage = v6_clear_user_highpage_nonaliasing,
     124                 :            :         .cpu_copy_user_highpage = v6_copy_user_highpage_nonaliasing,
     125                 :            : };
     126                 :            : 
     127                 :        207 : static int __init v6_userpage_init(void)
     128                 :            : {
     129                 :            :         if (cache_is_vipt_aliasing()) {
     130                 :            :                 cpu_user.cpu_clear_user_highpage = v6_clear_user_highpage_aliasing;
     131                 :            :                 cpu_user.cpu_copy_user_highpage = v6_copy_user_highpage_aliasing;
     132                 :            :         }
     133                 :            : 
     134                 :        207 :         return 0;
     135                 :            : }
     136                 :            : 
     137                 :            : core_initcall(v6_userpage_init);