arch/sparc64/kernel/ktlb.S

   1 /* arch/sparc64/kernel/ktlb.S: Kernel mapping TLB miss handling.
   2  *
   3  * Copyright (C) 1995, 1997, 2005 David S. Miller <davem@davemloft.net>
   4  * Copyright (C) 1996 Eddie C. Dost        (ecd@brainaid.de)
   5  * Copyright (C) 1996 Miguel de Icaza      (miguel@nuclecu.unam.mx)
   6  * Copyright (C) 1996,98,99 Jakub Jelinek  (jj@sunsite.mff.cuni.cz)
   7  */
   8
   9 #include <linux/config.h>
  10 #include <asm/head.h>
  11 #include <asm/asi.h>
  12 #include <asm/page.h>
  13 #include <asm/pgtable.h>
  14 #include <asm/tsb.h>
  15
  16         .text
  17         .align          32
  18
  19 kvmap_itlb:
  20         /* g6: TAG TARGET */
  21         mov             TLB_TAG_ACCESS, %g4
  22         ldxa            [%g4] ASI_IMMU, %g4
  23
  24         /* sun4v_itlb_miss branches here with the missing virtual
  25          * address already loaded into %g4
  26          */
  27 kvmap_itlb_4v:
  28
  29 kvmap_itlb_nonlinear:
  30         /* Catch kernel NULL pointer calls.  */
  31         sethi           %hi(PAGE_SIZE), %g5
  32         cmp             %g4, %g5
  33         bleu,pn         %xcc, kvmap_dtlb_longpath
  34          nop
  35
  36         KERN_TSB_LOOKUP_TL1(%g4, %g6, %g5, %g1, %g2, %g3, kvmap_itlb_load)
  37
  38 kvmap_itlb_tsb_miss:
  39         sethi           %hi(LOW_OBP_ADDRESS), %g5
  40         cmp             %g4, %g5
  41         blu,pn          %xcc, kvmap_itlb_vmalloc_addr
  42          mov            0x1, %g5
  43         sllx            %g5, 32, %g5
  44         cmp             %g4, %g5
  45         blu,pn          %xcc, kvmap_itlb_obp
  46          nop
  47
  48 kvmap_itlb_vmalloc_addr:
  49         KERN_PGTABLE_WALK(%g4, %g5, %g2, kvmap_itlb_longpath)
  50
  51         KTSB_LOCK_TAG(%g1, %g2, %g4)
  52
  53         /* Load and check PTE.  */
  54         ldxa            [%g5] ASI_PHYS_USE_EC, %g5
  55         brgez,a,pn      %g5, kvmap_itlb_longpath
  56          KTSB_STORE(%g1, %g0)
  57
  58         KTSB_WRITE(%g1, %g5, %g6)
  59
  60         /* fallthrough to TLB load */
  61
  62 kvmap_itlb_load:
  63         stxa            %g5, [%g0] ASI_ITLB_DATA_IN     ! Reload TLB
  64         retry
  65
  66 kvmap_itlb_longpath:
  67
  68 661:    rdpr    %pstate, %g5
  69         wrpr    %g5, PSTATE_AG | PSTATE_MG, %pstate
  70         .section .sun4v_2insn_patch, "ax"
  71         .word   661b
  72         nop
  73         nop
  74         .previous
  75
  76         rdpr    %tpc, %g5
  77         ba,pt   %xcc, sparc64_realfault_common
  78          mov    FAULT_CODE_ITLB, %g4
  79
  80 kvmap_itlb_obp:
  81         OBP_TRANS_LOOKUP(%g4, %g5, %g2, %g3, kvmap_itlb_longpath)
  82
  83         KTSB_LOCK_TAG(%g1, %g2, %g4)
  84
  85         KTSB_WRITE(%g1, %g5, %g6)
  86
  87         ba,pt           %xcc, kvmap_itlb_load
  88          nop
  89
  90 kvmap_dtlb_obp:
  91         OBP_TRANS_LOOKUP(%g4, %g5, %g2, %g3, kvmap_dtlb_longpath)
  92
  93         KTSB_LOCK_TAG(%g1, %g2, %g4)
  94
  95         KTSB_WRITE(%g1, %g5, %g6)
  96
  97         ba,pt           %xcc, kvmap_dtlb_load
  98          nop
  99
 100         .align          32
 101 kvmap_dtlb:
 102         /* %g6: TAG TARGET */
 103         mov             TLB_TAG_ACCESS, %g4
 104         ldxa            [%g4] ASI_DMMU, %g4
 105
 106         /* sun4v_dtlb_miss branches here with the missing virtual
 107          * address already loaded into %g4
 108          */
 109 kvmap_dtlb_4v:
 110         brgez,pn        %g4, kvmap_dtlb_nonlinear
 111          nop
 112
 113 #define KERN_HIGHBITS   ((_PAGE_VALID|_PAGE_SZ4MB)^0xfffff80000000000)
 114 #define KERN_LOWBITS    (_PAGE_CP | _PAGE_CV | _PAGE_P | _PAGE_W)
 115
 116         sethi           %uhi(KERN_HIGHBITS), %g2
 117         or              %g2, %ulo(KERN_HIGHBITS), %g2
 118         sllx            %g2, 32, %g2
 119         or              %g2, KERN_LOWBITS, %g2
 120
 121 #undef KERN_HIGHBITS
 122 #undef KERN_LOWBITS
 123
 124         .globl          kvmap_linear_patch
 125 kvmap_linear_patch:
 126         ba,pt           %xcc, kvmap_dtlb_load
 127          xor            %g2, %g4, %g5
 128
 129 kvmap_dtlb_vmalloc_addr:
 130         KERN_PGTABLE_WALK(%g4, %g5, %g2, kvmap_dtlb_longpath)
 131
 132         KTSB_LOCK_TAG(%g1, %g2, %g4)
 133
 134         /* Load and check PTE.  */
 135         ldxa            [%g5] ASI_PHYS_USE_EC, %g5
 136         brgez,a,pn      %g5, kvmap_dtlb_longpath
 137          KTSB_STORE(%g1, %g0)
 138
 139         KTSB_WRITE(%g1, %g5, %g6)
 140
 141         /* fallthrough to TLB load */
 142
 143 kvmap_dtlb_load:
 144         stxa            %g5, [%g0] ASI_DTLB_DATA_IN     ! Reload TLB
 145         retry
 146
 147 kvmap_dtlb_nonlinear:
 148         /* Catch kernel NULL pointer derefs.  */
 149         sethi           %hi(PAGE_SIZE), %g5
 150         cmp             %g4, %g5
 151         bleu,pn         %xcc, kvmap_dtlb_longpath
 152          nop
 153
 154         KERN_TSB_LOOKUP_TL1(%g4, %g6, %g5, %g1, %g2, %g3, kvmap_dtlb_load)
 155
 156 kvmap_dtlb_tsbmiss:
 157         sethi           %hi(MODULES_VADDR), %g5
 158         cmp             %g4, %g5
 159         blu,pn          %xcc, kvmap_dtlb_longpath
 160          mov            (VMALLOC_END >> 24), %g5
 161         sllx            %g5, 24, %g5
 162         cmp             %g4, %g5
 163         bgeu,pn         %xcc, kvmap_dtlb_longpath
 164          nop
 165
 166 kvmap_check_obp:
 167         sethi           %hi(LOW_OBP_ADDRESS), %g5
 168         cmp             %g4, %g5
 169         blu,pn          %xcc, kvmap_dtlb_vmalloc_addr
 170          mov            0x1, %g5
 171         sllx            %g5, 32, %g5
 172         cmp             %g4, %g5
 173         blu,pn          %xcc, kvmap_dtlb_obp
 174          nop
 175         ba,pt           %xcc, kvmap_dtlb_vmalloc_addr
 176          nop
 177
 178 kvmap_dtlb_longpath:
 179
 180 661:    rdpr    %pstate, %g5
 181         wrpr    %g5, PSTATE_AG | PSTATE_MG, %pstate
 182         .section .sun4v_2insn_patch, "ax"
 183         .word   661b
 184         nop
 185         nop
 186         .previous
 187
 188         rdpr    %tl, %g4
 189         cmp     %g4, 1
 190         mov     TLB_TAG_ACCESS, %g4
 191         ldxa    [%g4] ASI_DMMU, %g5
 192         be,pt   %xcc, sparc64_realfault_common
 193          mov    FAULT_CODE_DTLB, %g4
 194         ba,pt   %xcc, winfix_trampoline
 195          nop