arch/powerpc/mm/hash_low_64.S

   1 /*
   2  * ppc64 MMU hashtable management routines
   3  *
   4  * (c) Copyright IBM Corp. 2003, 2005
   5  *
   6  * Maintained by: Benjamin Herrenschmidt
   7  *                <benh@kernel.crashing.org>
   8  *
   9  * This file is covered by the GNU Public Licence v2 as
  10  * described in the kernel's COPYING file.
  11  */
  12
  13 #include <linux/config.h>
  14 #include <asm/reg.h>
  15 #include <asm/pgtable.h>
  16 #include <asm/mmu.h>
  17 #include <asm/page.h>
  18 #include <asm/types.h>
  19 #include <asm/ppc_asm.h>
  20 #include <asm/asm-offsets.h>
  21 #include <asm/cputable.h>
  22
  23         .text
  24
  25 /*
  26  * Stackframe:
  27  *
  28  *         +-> Back chain                       (SP + 256)
  29  *         |   General register save area       (SP + 112)
  30  *         |   Parameter save area              (SP + 48)
  31  *         |   TOC save area                    (SP + 40)
  32  *         |   link editor doubleword           (SP + 32)
  33  *         |   compiler doubleword              (SP + 24)
  34  *         |   LR save area                     (SP + 16)
  35  *         |   CR save area                     (SP + 8)
  36  * SP ---> +-- Back chain                       (SP + 0)
  37  */
  38 #define STACKFRAMESIZE  256
  39
  40 /* Save parameters offsets */
  41 #define STK_PARM(i)     (STACKFRAMESIZE + 48 + ((i)-3)*8)
  42
  43 /* Save non-volatile offsets */
  44 #define STK_REG(i)      (112 + ((i)-14)*8)
  45
  46
  47 #ifndef CONFIG_PPC_64K_PAGES
  48
  49 /*****************************************************************************
  50  *                                                                           *
  51  *           4K SW & 4K HW pages implementation                              *
  52  *                                                                           *
  53  *****************************************************************************/
  54
  55
  56 /*
  57  * _hash_page_4K(unsigned long ea, unsigned long access, unsigned long vsid,
  58  *               pte_t *ptep, unsigned long trap, int local)
  59  *
  60  * Adds a 4K page to the hash table in a segment of 4K pages only
  61  */
  62
  63 _GLOBAL(__hash_page_4K)
  64         mflr    r0
  65         std     r0,16(r1)
  66         stdu    r1,-STACKFRAMESIZE(r1)
  67         /* Save all params that we need after a function call */
  68         std     r6,STK_PARM(r6)(r1)
  69         std     r8,STK_PARM(r8)(r1)
  70
  71         /* Add _PAGE_PRESENT to access */
  72         ori     r4,r4,_PAGE_PRESENT
  73
  74         /* Save non-volatile registers.
  75          * r31 will hold "old PTE"
  76          * r30 is "new PTE"
  77          * r29 is "va"
  78          * r28 is a hash value
  79          * r27 is hashtab mask (maybe dynamic patched instead ?)
  80          */
  81         std     r27,STK_REG(r27)(r1)
  82         std     r28,STK_REG(r28)(r1)
  83         std     r29,STK_REG(r29)(r1)
  84         std     r30,STK_REG(r30)(r1)
  85         std     r31,STK_REG(r31)(r1)
  86
  87         /* Step 1:
  88          *
  89          * Check permissions, atomically mark the linux PTE busy
  90          * and hashed.
  91          */
  92 1:
  93         ldarx   r31,0,r6
  94         /* Check access rights (access & ~(pte_val(*ptep))) */
  95         andc.   r0,r4,r31
  96         bne-    htab_wrong_access
  97         /* Check if PTE is busy */
  98         andi.   r0,r31,_PAGE_BUSY
  99         /* If so, just bail out and refault if needed. Someone else
 100          * is changing this PTE anyway and might hash it.
 101          */
 102         bne-    htab_bail_ok
 103
 104         /* Prepare new PTE value (turn access RW into DIRTY, then
 105          * add BUSY,HASHPTE and ACCESSED)
 106          */
 107         rlwinm  r30,r4,32-9+7,31-7,31-7 /* _PAGE_RW -> _PAGE_DIRTY */
 108         or      r30,r30,r31
 109         ori     r30,r30,_PAGE_BUSY | _PAGE_ACCESSED | _PAGE_HASHPTE
 110         /* Write the linux PTE atomically (setting busy) */
 111         stdcx.  r30,0,r6
 112         bne-    1b
 113         isync
 114
 115         /* Step 2:
 116          *
 117          * Insert/Update the HPTE in the hash table. At this point,
 118          * r4 (access) is re-useable, we use it for the new HPTE flags
 119          */
 120
 121         /* Calc va and put it in r29 */
 122         rldicr  r29,r5,28,63-28
 123         rldicl  r3,r3,0,36
 124         or      r29,r3,r29
 125
 126         /* Calculate hash value for primary slot and store it in r28 */
 127         rldicl  r5,r5,0,25              /* vsid & 0x0000007fffffffff */
 128         rldicl  r0,r3,64-12,48          /* (ea >> 12) & 0xffff */
 129         xor     r28,r5,r0
 130
 131         /* Convert linux PTE bits into HW equivalents */
 132         andi.   r3,r30,0x1fe            /* Get basic set of flags */
 133         xori    r3,r3,HPTE_R_N          /* _PAGE_EXEC -> NOEXEC */
 134         rlwinm  r0,r30,32-9+1,30,30     /* _PAGE_RW -> _PAGE_USER (r0) */
 135         rlwinm  r4,r30,32-7+1,30,30     /* _PAGE_DIRTY -> _PAGE_USER (r4) */
 136         and     r0,r0,r4                /* _PAGE_RW & _PAGE_DIRTY ->r0 bit 30*/
 137         andc    r0,r30,r0               /* r0 = pte & ~r0 */
 138         rlwimi  r3,r0,32-1,31,31        /* Insert result into PP lsb */
 139         ori     r3,r3,HPTE_R_C          /* Always add "C" bit for perf. */
 140
 141         /* We eventually do the icache sync here (maybe inline that
 142          * code rather than call a C function...)
 143          */
 144 BEGIN_FTR_SECTION
 145         mr      r4,r30
 146         mr      r5,r7
 147         bl      .hash_page_do_lazy_icache
 148 END_FTR_SECTION(CPU_FTR_NOEXECUTE|CPU_FTR_COHERENT_ICACHE, CPU_FTR_NOEXECUTE)
 149
 150         /* At this point, r3 contains new PP bits, save them in
 151          * place of "access" in the param area (sic)
 152          */
 153         std     r3,STK_PARM(r4)(r1)
 154
 155         /* Get htab_hash_mask */
 156         ld      r4,htab_hash_mask@got(2)
 157         ld      r27,0(r4)       /* htab_hash_mask -> r27 */
 158
 159         /* Check if we may already be in the hashtable, in this case, we
 160          * go to out-of-line code to try to modify the HPTE
 161          */
 162         andi.   r0,r31,_PAGE_HASHPTE
 163         bne     htab_modify_pte
 164
 165 htab_insert_pte:
 166         /* Clear hpte bits in new pte (we also clear BUSY btw) and
 167          * add _PAGE_HASHPTE
 168          */
 169         lis     r0,_PAGE_HPTEFLAGS@h
 170         ori     r0,r0,_PAGE_HPTEFLAGS@l
 171         andc    r30,r30,r0
 172         ori     r30,r30,_PAGE_HASHPTE
 173
 174         /* physical address r5 */
 175         rldicl  r5,r31,64-PTE_RPN_SHIFT,PTE_RPN_SHIFT
 176         sldi    r5,r5,PAGE_SHIFT
 177
 178         /* Calculate primary group hash */
 179         and     r0,r28,r27
 180         rldicr  r3,r0,3,63-3            /* r3 = (hash & mask) << 3 */
 181
 182         /* Call ppc_md.hpte_insert */
 183         ld      r6,STK_PARM(r4)(r1)     /* Retreive new pp bits */
 184         mr      r4,r29                  /* Retreive va */
 185         li      r7,0                    /* !bolted, !secondary */
 186         li      r8,MMU_PAGE_4K          /* page size */
 187 _GLOBAL(htab_call_hpte_insert1)
 188         bl      .                       /* Patched by htab_finish_init() */
 189         cmpdi   0,r3,0
 190         bge     htab_pte_insert_ok      /* Insertion successful */
 191         cmpdi   0,r3,-2                 /* Critical failure */
 192         beq-    htab_pte_insert_failure
 193
 194         /* Now try secondary slot */
 195
 196         /* physical address r5 */
 197         rldicl  r5,r31,64-PTE_RPN_SHIFT,PTE_RPN_SHIFT
 198         sldi    r5,r5,PAGE_SHIFT
 199
 200         /* Calculate secondary group hash */
 201         andc    r0,r27,r28
 202         rldicr  r3,r0,3,63-3    /* r0 = (~hash & mask) << 3 */
 203
 204         /* Call ppc_md.hpte_insert */
 205         ld      r6,STK_PARM(r4)(r1)     /* Retreive new pp bits */
 206         mr      r4,r29                  /* Retreive va */
 207         li      r7,HPTE_V_SECONDARY     /* !bolted, secondary */
 208         li      r8,MMU_PAGE_4K          /* page size */
 209 _GLOBAL(htab_call_hpte_insert2)
 210         bl      .                       /* Patched by htab_finish_init() */
 211         cmpdi   0,r3,0
 212         bge+    htab_pte_insert_ok      /* Insertion successful */
 213         cmpdi   0,r3,-2                 /* Critical failure */
 214         beq-    htab_pte_insert_failure
 215
 216         /* Both are full, we need to evict something */
 217         mftb    r0
 218         /* Pick a random group based on TB */
 219         andi.   r0,r0,1
 220         mr      r5,r28
 221         bne     2f
 222         not     r5,r5
 223 2:      and     r0,r5,r27
 224         rldicr  r3,r0,3,63-3    /* r0 = (hash & mask) << 3 */
 225         /* Call ppc_md.hpte_remove */
 226 _GLOBAL(htab_call_hpte_remove)
 227         bl      .                       /* Patched by htab_finish_init() */
 228
 229         /* Try all again */
 230         b       htab_insert_pte
 231
 232 htab_bail_ok:
 233         li      r3,0
 234         b       htab_bail
 235
 236 htab_pte_insert_ok:
 237         /* Insert slot number & secondary bit in PTE */
 238         rldimi  r30,r3,12,63-15
 239
 240         /* Write out the PTE with a normal write
 241          * (maybe add eieio may be good still ?)
 242          */
 243 htab_write_out_pte:
 244         ld      r6,STK_PARM(r6)(r1)
 245         std     r30,0(r6)
 246         li      r3, 0
 247 htab_bail:
 248         ld      r27,STK_REG(r27)(r1)
 249         ld      r28,STK_REG(r28)(r1)
 250         ld      r29,STK_REG(r29)(r1)
 251         ld      r30,STK_REG(r30)(r1)
 252         ld      r31,STK_REG(r31)(r1)
 253         addi    r1,r1,STACKFRAMESIZE
 254         ld      r0,16(r1)
 255         mtlr    r0
 256         blr
 257
 258 htab_modify_pte:
 259         /* Keep PP bits in r4 and slot idx from the PTE around in r3 */
 260         mr      r4,r3
 261         rlwinm  r3,r31,32-12,29,31
 262
 263         /* Secondary group ? if yes, get a inverted hash value */
 264         mr      r5,r28
 265         andi.   r0,r31,_PAGE_SECONDARY
 266         beq     1f
 267         not     r5,r5
 268 1:
 269         /* Calculate proper slot value for ppc_md.hpte_updatepp */
 270         and     r0,r5,r27
 271         rldicr  r0,r0,3,63-3    /* r0 = (hash & mask) << 3 */
 272         add     r3,r0,r3        /* add slot idx */
 273
 274         /* Call ppc_md.hpte_updatepp */
 275         mr      r5,r29                  /* va */
 276         li      r6,MMU_PAGE_4K          /* page size */
 277         ld      r7,STK_PARM(r8)(r1)     /* get "local" param */
 278 _GLOBAL(htab_call_hpte_updatepp)
 279         bl      .                       /* Patched by htab_finish_init() */
 280
 281         /* if we failed because typically the HPTE wasn't really here
 282          * we try an insertion.
 283          */
 284         cmpdi   0,r3,-1
 285         beq-    htab_insert_pte
 286
 287         /* Clear the BUSY bit and Write out the PTE */
 288         li      r0,_PAGE_BUSY
 289         andc    r30,r30,r0
 290         b       htab_write_out_pte
 291
 292 htab_wrong_access:
 293         /* Bail out clearing reservation */
 294         stdcx.  r31,0,r6
 295         li      r3,1
 296         b       htab_bail
 297
 298 htab_pte_insert_failure:
 299         /* Bail out restoring old PTE */
 300         ld      r6,STK_PARM(r6)(r1)
 301         std     r31,0(r6)
 302         li      r3,-1
 303         b       htab_bail
 304
 305
 306 #else /* CONFIG_PPC_64K_PAGES */
 307
 308
 309 /*****************************************************************************
 310  *                                                                           *
 311  *           64K SW & 4K or 64K HW in a 4K segment pages implementation      *
 312  *                                                                           *
 313  *****************************************************************************/
 314
 315 /* _hash_page_4K(unsigned long ea, unsigned long access, unsigned long vsid,
 316  *               pte_t *ptep, unsigned long trap, int local)
 317  */
 318
 319 /*
 320  * For now, we do NOT implement Admixed pages
 321  */
 322 _GLOBAL(__hash_page_4K)
 323         mflr    r0
 324         std     r0,16(r1)
 325         stdu    r1,-STACKFRAMESIZE(r1)
 326         /* Save all params that we need after a function call */
 327         std     r6,STK_PARM(r6)(r1)
 328         std     r8,STK_PARM(r8)(r1)
 329
 330         /* Add _PAGE_PRESENT to access */
 331         ori     r4,r4,_PAGE_PRESENT
 332
 333         /* Save non-volatile registers.
 334          * r31 will hold "old PTE"
 335          * r30 is "new PTE"
 336          * r29 is "va"
 337          * r28 is a hash value
 338          * r27 is hashtab mask (maybe dynamic patched instead ?)
 339          * r26 is the hidx mask
 340          * r25 is the index in combo page
 341          */
 342         std     r25,STK_REG(r25)(r1)
 343         std     r26,STK_REG(r26)(r1)
 344         std     r27,STK_REG(r27)(r1)
 345         std     r28,STK_REG(r28)(r1)
 346         std     r29,STK_REG(r29)(r1)
 347         std     r30,STK_REG(r30)(r1)
 348         std     r31,STK_REG(r31)(r1)
 349
 350         /* Step 1:
 351          *
 352          * Check permissions, atomically mark the linux PTE busy
 353          * and hashed.
 354          */
 355 1:
 356         ldarx   r31,0,r6
 357         /* Check access rights (access & ~(pte_val(*ptep))) */
 358         andc.   r0,r4,r31
 359         bne-    htab_wrong_access
 360         /* Check if PTE is busy */
 361         andi.   r0,r31,_PAGE_BUSY
 362         /* If so, just bail out and refault if needed. Someone else
 363          * is changing this PTE anyway and might hash it.
 364          */
 365         bne-    htab_bail_ok
 366         /* Prepare new PTE value (turn access RW into DIRTY, then
 367          * add BUSY and ACCESSED)
 368          */
 369         rlwinm  r30,r4,32-9+7,31-7,31-7 /* _PAGE_RW -> _PAGE_DIRTY */
 370         or      r30,r30,r31
 371         ori     r30,r30,_PAGE_BUSY | _PAGE_ACCESSED | _PAGE_HASHPTE
 372         oris    r30,r30,_PAGE_COMBO@h
 373         /* Write the linux PTE atomically (setting busy) */
 374         stdcx.  r30,0,r6
 375         bne-    1b
 376         isync
 377
 378         /* Step 2:
 379          *
 380          * Insert/Update the HPTE in the hash table. At this point,
 381          * r4 (access) is re-useable, we use it for the new HPTE flags
 382          */
 383
 384         /* Load the hidx index */
 385         rldicl  r25,r3,64-12,60
 386
 387         /* Calc va and put it in r29 */
 388         rldicr  r29,r5,28,63-28         /* r29 = (vsid << 28) */
 389         rldicl  r3,r3,0,36              /* r3 = (ea & 0x0fffffff) */
 390         or      r29,r3,r29              /* r29 = va
 391
 392         /* Calculate hash value for primary slot and store it in r28 */
 393         rldicl  r5,r5,0,25              /* vsid & 0x0000007fffffffff */
 394         rldicl  r0,r3,64-12,48          /* (ea >> 12) & 0xffff */
 395         xor     r28,r5,r0
 396
 397         /* Convert linux PTE bits into HW equivalents */
 398         andi.   r3,r30,0x1fe            /* Get basic set of flags */
 399         xori    r3,r3,HPTE_R_N          /* _PAGE_EXEC -> NOEXEC */
 400         rlwinm  r0,r30,32-9+1,30,30     /* _PAGE_RW -> _PAGE_USER (r0) */
 401         rlwinm  r4,r30,32-7+1,30,30     /* _PAGE_DIRTY -> _PAGE_USER (r4) */
 402         and     r0,r0,r4                /* _PAGE_RW & _PAGE_DIRTY ->r0 bit 30*/
 403         andc    r0,r30,r0               /* r0 = pte & ~r0 */
 404         rlwimi  r3,r0,32-1,31,31        /* Insert result into PP lsb */
 405         ori     r3,r3,HPTE_R_C          /* Always add "C" bit for perf. */
 406
 407         /* We eventually do the icache sync here (maybe inline that
 408          * code rather than call a C function...)
 409          */
 410 BEGIN_FTR_SECTION
 411         mr      r4,r30
 412         mr      r5,r7
 413         bl      .hash_page_do_lazy_icache
 414 END_FTR_SECTION(CPU_FTR_NOEXECUTE|CPU_FTR_COHERENT_ICACHE, CPU_FTR_NOEXECUTE)
 415
 416         /* At this point, r3 contains new PP bits, save them in
 417          * place of "access" in the param area (sic)
 418          */
 419         std     r3,STK_PARM(r4)(r1)
 420
 421         /* Get htab_hash_mask */
 422         ld      r4,htab_hash_mask@got(2)
 423         ld      r27,0(r4)       /* htab_hash_mask -> r27 */
 424
 425         /* Check if we may already be in the hashtable, in this case, we
 426          * go to out-of-line code to try to modify the HPTE. We look for
 427          * the bit at (1 >> (index + 32))
 428          */
 429         andi.   r0,r31,_PAGE_HASHPTE
 430         li      r26,0                   /* Default hidx */
 431         beq     htab_insert_pte
 432
 433         /*
 434          * Check if the pte was already inserted into the hash table
 435          * as a 64k HW page, and invalidate the 64k HPTE if so.
 436          */
 437         andis.  r0,r31,_PAGE_COMBO@h
 438         beq     htab_inval_old_hpte
 439
 440         ld      r6,STK_PARM(r6)(r1)
 441         ori     r26,r6,0x8000           /* Load the hidx mask */
 442         ld      r26,0(r26)
 443         addi    r5,r25,36               /* Check actual HPTE_SUB bit, this */
 444         rldcr.  r0,r31,r5,0             /* must match pgtable.h definition */
 445         bne     htab_modify_pte
 446
 447 htab_insert_pte:
 448         /* real page number in r5, PTE RPN value + index */
 449         rldicl  r5,r31,64-PTE_RPN_SHIFT,PTE_RPN_SHIFT
 450         sldi    r5,r5,PAGE_SHIFT-HW_PAGE_SHIFT
 451         add     r5,r5,r25
 452         sldi    r5,r5,HW_PAGE_SHIFT
 453
 454         /* Calculate primary group hash */
 455         and     r0,r28,r27
 456         rldicr  r3,r0,3,63-3            /* r0 = (hash & mask) << 3 */
 457
 458         /* Call ppc_md.hpte_insert */
 459         ld      r6,STK_PARM(r4)(r1)     /* Retreive new pp bits */
 460         mr      r4,r29                  /* Retreive va */
 461         li      r7,0                    /* !bolted, !secondary */
 462         li      r8,MMU_PAGE_4K          /* page size */
 463 _GLOBAL(htab_call_hpte_insert1)
 464         bl      .                       /* patched by htab_finish_init() */
 465         cmpdi   0,r3,0
 466         bge     htab_pte_insert_ok      /* Insertion successful */
 467         cmpdi   0,r3,-2                 /* Critical failure */
 468         beq-    htab_pte_insert_failure
 469
 470         /* Now try secondary slot */
 471
 472         /* real page number in r5, PTE RPN value + index */
 473         rldicl  r5,r31,64-PTE_RPN_SHIFT,PTE_RPN_SHIFT
 474         sldi    r5,r5,PAGE_SHIFT-HW_PAGE_SHIFT
 475         add     r5,r5,r25
 476         sldi    r5,r5,HW_PAGE_SHIFT
 477
 478         /* Calculate secondary group hash */
 479         andc    r0,r27,r28
 480         rldicr  r3,r0,3,63-3            /* r0 = (~hash & mask) << 3 */
 481
 482         /* Call ppc_md.hpte_insert */
 483         ld      r6,STK_PARM(r4)(r1)     /* Retreive new pp bits */
 484         mr      r4,r29                  /* Retreive va */
 485         li      r7,HPTE_V_SECONDARY     /* !bolted, secondary */
 486         li      r8,MMU_PAGE_4K          /* page size */
 487 _GLOBAL(htab_call_hpte_insert2)
 488         bl      .                       /* patched by htab_finish_init() */
 489         cmpdi   0,r3,0
 490         bge+    htab_pte_insert_ok      /* Insertion successful */
 491         cmpdi   0,r3,-2                 /* Critical failure */
 492         beq-    htab_pte_insert_failure
 493
 494         /* Both are full, we need to evict something */
 495         mftb    r0
 496         /* Pick a random group based on TB */
 497         andi.   r0,r0,1
 498         mr      r5,r28
 499         bne     2f
 500         not     r5,r5
 501 2:      and     r0,r5,r27
 502         rldicr  r3,r0,3,63-3            /* r0 = (hash & mask) << 3 */
 503         /* Call ppc_md.hpte_remove */
 504 _GLOBAL(htab_call_hpte_remove)
 505         bl      .                       /* patched by htab_finish_init() */
 506
 507         /* Try all again */
 508         b       htab_insert_pte
 509
 510         /*
 511          * Call out to C code to invalidate an 64k HW HPTE that is
 512          * useless now that the segment has been switched to 4k pages.
 513          */
 514 htab_inval_old_hpte:
 515         mr      r3,r29                  /* virtual addr */
 516         mr      r4,r31                  /* PTE.pte */
 517         li      r5,0                    /* PTE.hidx */
 518         li      r6,MMU_PAGE_64K         /* psize */
 519         ld      r7,STK_PARM(r8)(r1)     /* local */
 520         bl      .flush_hash_page
 521         b       htab_insert_pte
 522
 523 htab_bail_ok:
 524         li      r3,0
 525         b       htab_bail
 526
 527 htab_pte_insert_ok:
 528         /* Insert slot number & secondary bit in PTE second half,
 529          * clear _PAGE_BUSY and set approriate HPTE slot bit
 530          */
 531         ld      r6,STK_PARM(r6)(r1)
 532         li      r0,_PAGE_BUSY
 533         andc    r30,r30,r0
 534         /* HPTE SUB bit */
 535         li      r0,1
 536         subfic  r5,r25,27               /* Must match bit position in */
 537         sld     r0,r0,r5                /* pgtable.h */
 538         or      r30,r30,r0
 539         /* hindx */
 540         sldi    r5,r25,2
 541         sld     r3,r3,r5
 542         li      r4,0xf
 543         sld     r4,r4,r5
 544         andc    r26,r26,r4
 545         or      r26,r26,r3
 546         ori     r5,r6,0x8000
 547         std     r26,0(r5)
 548         lwsync
 549         std     r30,0(r6)
 550         li      r3, 0
 551 htab_bail:
 552         ld      r25,STK_REG(r25)(r1)
 553         ld      r26,STK_REG(r26)(r1)
 554         ld      r27,STK_REG(r27)(r1)
 555         ld      r28,STK_REG(r28)(r1)
 556         ld      r29,STK_REG(r29)(r1)
 557         ld      r30,STK_REG(r30)(r1)
 558         ld      r31,STK_REG(r31)(r1)
 559         addi    r1,r1,STACKFRAMESIZE
 560         ld      r0,16(r1)
 561         mtlr    r0
 562         blr
 563
 564 htab_modify_pte:
 565         /* Keep PP bits in r4 and slot idx from the PTE around in r3 */
 566         mr      r4,r3
 567         sldi    r5,r25,2
 568         srd     r3,r26,r5
 569
 570         /* Secondary group ? if yes, get a inverted hash value */
 571         mr      r5,r28
 572         andi.   r0,r3,0x8 /* page secondary ? */
 573         beq     1f
 574         not     r5,r5
 575 1:      andi.   r3,r3,0x7 /* extract idx alone */
 576
 577         /* Calculate proper slot value for ppc_md.hpte_updatepp */
 578         and     r0,r5,r27
 579         rldicr  r0,r0,3,63-3    /* r0 = (hash & mask) << 3 */
 580         add     r3,r0,r3        /* add slot idx */
 581
 582         /* Call ppc_md.hpte_updatepp */
 583         mr      r5,r29                  /* va */
 584         li      r6,MMU_PAGE_4K          /* page size */
 585         ld      r7,STK_PARM(r8)(r1)     /* get "local" param */
 586 _GLOBAL(htab_call_hpte_updatepp)
 587         bl      .                       /* patched by htab_finish_init() */
 588
 589         /* if we failed because typically the HPTE wasn't really here
 590          * we try an insertion.
 591          */
 592         cmpdi   0,r3,-1
 593         beq-    htab_insert_pte
 594
 595         /* Clear the BUSY bit and Write out the PTE */
 596         li      r0,_PAGE_BUSY
 597         andc    r30,r30,r0
 598         ld      r6,STK_PARM(r6)(r1)
 599         std     r30,0(r6)
 600         li      r3,0
 601         b       htab_bail
 602
 603 htab_wrong_access:
 604         /* Bail out clearing reservation */
 605         stdcx.  r31,0,r6
 606         li      r3,1
 607         b       htab_bail
 608
 609 htab_pte_insert_failure:
 610         /* Bail out restoring old PTE */
 611         ld      r6,STK_PARM(r6)(r1)
 612         std     r31,0(r6)
 613         li      r3,-1
 614         b       htab_bail
 615
 616
 617 /*****************************************************************************
 618  *                                                                           *
 619  *           64K SW & 64K HW in a 64K segment pages implementation           *
 620  *                                                                           *
 621  *****************************************************************************/
 622
 623 _GLOBAL(__hash_page_64K)
 624         mflr    r0
 625         std     r0,16(r1)
 626         stdu    r1,-STACKFRAMESIZE(r1)
 627         /* Save all params that we need after a function call */
 628         std     r6,STK_PARM(r6)(r1)
 629         std     r8,STK_PARM(r8)(r1)
 630
 631         /* Add _PAGE_PRESENT to access */
 632         ori     r4,r4,_PAGE_PRESENT
 633
 634         /* Save non-volatile registers.
 635          * r31 will hold "old PTE"
 636          * r30 is "new PTE"
 637          * r29 is "va"
 638          * r28 is a hash value
 639          * r27 is hashtab mask (maybe dynamic patched instead ?)
 640          */
 641         std     r27,STK_REG(r27)(r1)
 642         std     r28,STK_REG(r28)(r1)
 643         std     r29,STK_REG(r29)(r1)
 644         std     r30,STK_REG(r30)(r1)
 645         std     r31,STK_REG(r31)(r1)
 646
 647         /* Step 1:
 648          *
 649          * Check permissions, atomically mark the linux PTE busy
 650          * and hashed.
 651          */
 652 1:
 653         ldarx   r31,0,r6
 654         /* Check access rights (access & ~(pte_val(*ptep))) */
 655         andc.   r0,r4,r31
 656         bne-    ht64_wrong_access
 657         /* Check if PTE is busy */
 658         andi.   r0,r31,_PAGE_BUSY
 659         /* If so, just bail out and refault if needed. Someone else
 660          * is changing this PTE anyway and might hash it.
 661          */
 662         bne-    ht64_bail_ok
 663 BEGIN_FTR_SECTION
 664         /* Check if PTE has the cache-inhibit bit set */
 665         andi.   r0,r31,_PAGE_NO_CACHE
 666         /* If so, bail out and refault as a 4k page */
 667         bne-    ht64_bail_ok
 668 END_FTR_SECTION_IFCLR(CPU_FTR_CI_LARGE_PAGE)
 669         /* Prepare new PTE value (turn access RW into DIRTY, then
 670          * add BUSY,HASHPTE and ACCESSED)
 671          */
 672         rlwinm  r30,r4,32-9+7,31-7,31-7 /* _PAGE_RW -> _PAGE_DIRTY */
 673         or      r30,r30,r31
 674         ori     r30,r30,_PAGE_BUSY | _PAGE_ACCESSED | _PAGE_HASHPTE
 675         /* Write the linux PTE atomically (setting busy) */
 676         stdcx.  r30,0,r6
 677         bne-    1b
 678         isync
 679
 680         /* Step 2:
 681          *
 682          * Insert/Update the HPTE in the hash table. At this point,
 683          * r4 (access) is re-useable, we use it for the new HPTE flags
 684          */
 685
 686         /* Calc va and put it in r29 */
 687         rldicr  r29,r5,28,63-28
 688         rldicl  r3,r3,0,36
 689         or      r29,r3,r29
 690
 691         /* Calculate hash value for primary slot and store it in r28 */
 692         rldicl  r5,r5,0,25              /* vsid & 0x0000007fffffffff */
 693         rldicl  r0,r3,64-16,52          /* (ea >> 16) & 0xfff */
 694         xor     r28,r5,r0
 695
 696         /* Convert linux PTE bits into HW equivalents */
 697         andi.   r3,r30,0x1fe            /* Get basic set of flags */
 698         xori    r3,r3,HPTE_R_N          /* _PAGE_EXEC -> NOEXEC */
 699         rlwinm  r0,r30,32-9+1,30,30     /* _PAGE_RW -> _PAGE_USER (r0) */
 700         rlwinm  r4,r30,32-7+1,30,30     /* _PAGE_DIRTY -> _PAGE_USER (r4) */
 701         and     r0,r0,r4                /* _PAGE_RW & _PAGE_DIRTY ->r0 bit 30*/
 702         andc    r0,r30,r0               /* r0 = pte & ~r0 */
 703         rlwimi  r3,r0,32-1,31,31        /* Insert result into PP lsb */
 704         ori     r3,r3,HPTE_R_C          /* Always add "C" bit for perf. */
 705
 706         /* We eventually do the icache sync here (maybe inline that
 707          * code rather than call a C function...)
 708          */
 709 BEGIN_FTR_SECTION
 710         mr      r4,r30
 711         mr      r5,r7
 712         bl      .hash_page_do_lazy_icache
 713 END_FTR_SECTION(CPU_FTR_NOEXECUTE|CPU_FTR_COHERENT_ICACHE, CPU_FTR_NOEXECUTE)
 714
 715         /* At this point, r3 contains new PP bits, save them in
 716          * place of "access" in the param area (sic)
 717          */
 718         std     r3,STK_PARM(r4)(r1)
 719
 720         /* Get htab_hash_mask */
 721         ld      r4,htab_hash_mask@got(2)
 722         ld      r27,0(r4)       /* htab_hash_mask -> r27 */
 723
 724         /* Check if we may already be in the hashtable, in this case, we
 725          * go to out-of-line code to try to modify the HPTE
 726          */
 727         andi.   r0,r31,_PAGE_HASHPTE
 728         bne     ht64_modify_pte
 729
 730 ht64_insert_pte:
 731         /* Clear hpte bits in new pte (we also clear BUSY btw) and
 732          * add _PAGE_HASHPTE
 733          */
 734         lis     r0,_PAGE_HPTEFLAGS@h
 735         ori     r0,r0,_PAGE_HPTEFLAGS@l
 736         andc    r30,r30,r0
 737         ori     r30,r30,_PAGE_HASHPTE
 738
 739         /* Phyical address in r5 */
 740         rldicl  r5,r31,64-PTE_RPN_SHIFT,PTE_RPN_SHIFT
 741         sldi    r5,r5,PAGE_SHIFT
 742
 743         /* Calculate primary group hash */
 744         and     r0,r28,r27
 745         rldicr  r3,r0,3,63-3    /* r0 = (hash & mask) << 3 */
 746
 747         /* Call ppc_md.hpte_insert */
 748         ld      r6,STK_PARM(r4)(r1)     /* Retreive new pp bits */
 749         mr      r4,r29                  /* Retreive va */
 750         li      r7,0                    /* !bolted, !secondary */
 751         li      r8,MMU_PAGE_64K
 752 _GLOBAL(ht64_call_hpte_insert1)
 753         bl      .                       /* patched by htab_finish_init() */
 754         cmpdi   0,r3,0
 755         bge     ht64_pte_insert_ok      /* Insertion successful */
 756         cmpdi   0,r3,-2                 /* Critical failure */
 757         beq-    ht64_pte_insert_failure
 758
 759         /* Now try secondary slot */
 760
 761         /* Phyical address in r5 */
 762         rldicl  r5,r31,64-PTE_RPN_SHIFT,PTE_RPN_SHIFT
 763         sldi    r5,r5,PAGE_SHIFT
 764
 765         /* Calculate secondary group hash */
 766         andc    r0,r27,r28
 767         rldicr  r3,r0,3,63-3    /* r0 = (~hash & mask) << 3 */
 768
 769         /* Call ppc_md.hpte_insert */
 770         ld      r6,STK_PARM(r4)(r1)     /* Retreive new pp bits */
 771         mr      r4,r29                  /* Retreive va */
 772         li      r7,HPTE_V_SECONDARY     /* !bolted, secondary */
 773         li      r8,MMU_PAGE_64K
 774 _GLOBAL(ht64_call_hpte_insert2)
 775         bl      .                       /* patched by htab_finish_init() */
 776         cmpdi   0,r3,0
 777         bge+    ht64_pte_insert_ok      /* Insertion successful */
 778         cmpdi   0,r3,-2                 /* Critical failure */
 779         beq-    ht64_pte_insert_failure
 780
 781         /* Both are full, we need to evict something */
 782         mftb    r0
 783         /* Pick a random group based on TB */
 784         andi.   r0,r0,1
 785         mr      r5,r28
 786         bne     2f
 787         not     r5,r5
 788 2:      and     r0,r5,r27
 789         rldicr  r3,r0,3,63-3    /* r0 = (hash & mask) << 3 */
 790         /* Call ppc_md.hpte_remove */
 791 _GLOBAL(ht64_call_hpte_remove)
 792         bl      .                       /* patched by htab_finish_init() */
 793
 794         /* Try all again */
 795         b       ht64_insert_pte
 796
 797 ht64_bail_ok:
 798         li      r3,0
 799         b       ht64_bail
 800
 801 ht64_pte_insert_ok:
 802         /* Insert slot number & secondary bit in PTE */
 803         rldimi  r30,r3,12,63-15
 804
 805         /* Write out the PTE with a normal write
 806          * (maybe add eieio may be good still ?)
 807          */
 808 ht64_write_out_pte:
 809         ld      r6,STK_PARM(r6)(r1)
 810         std     r30,0(r6)
 811         li      r3, 0
 812 ht64_bail:
 813         ld      r27,STK_REG(r27)(r1)
 814         ld      r28,STK_REG(r28)(r1)
 815         ld      r29,STK_REG(r29)(r1)
 816         ld      r30,STK_REG(r30)(r1)
 817         ld      r31,STK_REG(r31)(r1)
 818         addi    r1,r1,STACKFRAMESIZE
 819         ld      r0,16(r1)
 820         mtlr    r0
 821         blr
 822
 823 ht64_modify_pte:
 824         /* Keep PP bits in r4 and slot idx from the PTE around in r3 */
 825         mr      r4,r3
 826         rlwinm  r3,r31,32-12,29,31
 827
 828         /* Secondary group ? if yes, get a inverted hash value */
 829         mr      r5,r28
 830         andi.   r0,r31,_PAGE_F_SECOND
 831         beq     1f
 832         not     r5,r5
 833 1:
 834         /* Calculate proper slot value for ppc_md.hpte_updatepp */
 835         and     r0,r5,r27
 836         rldicr  r0,r0,3,63-3    /* r0 = (hash & mask) << 3 */
 837         add     r3,r0,r3        /* add slot idx */
 838
 839         /* Call ppc_md.hpte_updatepp */
 840         mr      r5,r29                  /* va */
 841         li      r6,MMU_PAGE_64K
 842         ld      r7,STK_PARM(r8)(r1)     /* get "local" param */
 843 _GLOBAL(ht64_call_hpte_updatepp)
 844         bl      .                       /* patched by htab_finish_init() */
 845
 846         /* if we failed because typically the HPTE wasn't really here
 847          * we try an insertion.
 848          */
 849         cmpdi   0,r3,-1
 850         beq-    ht64_insert_pte
 851
 852         /* Clear the BUSY bit and Write out the PTE */
 853         li      r0,_PAGE_BUSY
 854         andc    r30,r30,r0
 855         b       ht64_write_out_pte
 856
 857 ht64_wrong_access:
 858         /* Bail out clearing reservation */
 859         stdcx.  r31,0,r6
 860         li      r3,1
 861         b       ht64_bail
 862
 863 ht64_pte_insert_failure:
 864         /* Bail out restoring old PTE */
 865         ld      r6,STK_PARM(r6)(r1)
 866         std     r31,0(r6)
 867         li      r3,-1
 868         b       ht64_bail
 869
 870
 871 #endif /* CONFIG_PPC_64K_PAGES */
 872
 873
 874 /*****************************************************************************
 875  *                                                                           *
 876  *           Huge pages implementation is in hugetlbpage.c                   *
 877  *                                                                           *
 878  *****************************************************************************/