arch/ppc64/mm/hash_native.c

   1 /*
   2  * native hashtable management.
   3  *
   4  * SMP scalability work:
   5  *    Copyright (C) 2001 Anton Blanchard <anton@au.ibm.com>, IBM
   6  *
   7  * This program is free software; you can redistribute it and/or
   8  * modify it under the terms of the GNU General Public License
   9  * as published by the Free Software Foundation; either version
  10  * 2 of the License, or (at your option) any later version.
  11  */
  12 #include <linux/spinlock.h>
  13 #include <linux/bitops.h>
  14 #include <linux/threads.h>
  15 #include <linux/smp.h>
  16
  17 #include <asm/abs_addr.h>
  18 #include <asm/machdep.h>
  19 #include <asm/mmu.h>
  20 #include <asm/mmu_context.h>
  21 #include <asm/pgtable.h>
  22 #include <asm/tlbflush.h>
  23 #include <asm/tlb.h>
  24 #include <asm/cputable.h>
  25
  26 #define HPTE_LOCK_BIT 3
  27
  28 static DEFINE_SPINLOCK(native_tlbie_lock);
  29
  30 static inline void native_lock_hpte(hpte_t *hptep)
  31 {
  32         unsigned long *word = &hptep->v;
  33
  34         while (1) {
  35                 if (!test_and_set_bit(HPTE_LOCK_BIT, word))
  36                         break;
  37                 while(test_bit(HPTE_LOCK_BIT, word))
  38                         cpu_relax();
  39         }
  40 }
  41
  42 static inline void native_unlock_hpte(hpte_t *hptep)
  43 {
  44         unsigned long *word = &hptep->v;
  45
  46         asm volatile("lwsync":::"memory");
  47         clear_bit(HPTE_LOCK_BIT, word);
  48 }
  49
  50 long native_hpte_insert(unsigned long hpte_group, unsigned long va,
  51                         unsigned long prpn, unsigned long vflags,
  52                         unsigned long rflags)
  53 {
  54         unsigned long arpn = physRpn_to_absRpn(prpn);
  55         hpte_t *hptep = htab_address + hpte_group;
  56         unsigned long hpte_v, hpte_r;
  57         int i;
  58
  59         for (i = 0; i < HPTES_PER_GROUP; i++) {
  60                 if (! (hptep->v & HPTE_V_VALID)) {
  61                         /* retry with lock held */
  62                         native_lock_hpte(hptep);
  63                         if (! (hptep->v & HPTE_V_VALID))
  64                                 break;
  65                         native_unlock_hpte(hptep);
  66                 }
  67
  68                 hptep++;
  69         }
  70
  71         if (i == HPTES_PER_GROUP)
  72                 return -1;
  73
  74         hpte_v = (va >> 23) << HPTE_V_AVPN_SHIFT | vflags | HPTE_V_VALID;
  75         if (vflags & HPTE_V_LARGE)
  76                 va &= ~(1UL << HPTE_V_AVPN_SHIFT);
  77         hpte_r = (arpn << HPTE_R_RPN_SHIFT) | rflags;
  78
  79         hptep->r = hpte_r;
  80         /* Guarantee the second dword is visible before the valid bit */
  81         __asm__ __volatile__ ("eieio" : : : "memory");
  82         /*
  83          * Now set the first dword including the valid bit
  84          * NOTE: this also unlocks the hpte
  85          */
  86         hptep->v = hpte_v;
  87
  88         __asm__ __volatile__ ("ptesync" : : : "memory");
  89
  90         return i | (!!(vflags & HPTE_V_SECONDARY) << 3);
  91 }
  92
  93 static long native_hpte_remove(unsigned long hpte_group)
  94 {
  95         hpte_t *hptep;
  96         int i;
  97         int slot_offset;
  98         unsigned long hpte_v;
  99
 100         /* pick a random entry to start at */
 101         slot_offset = mftb() & 0x7;
 102
 103         for (i = 0; i < HPTES_PER_GROUP; i++) {
 104                 hptep = htab_address + hpte_group + slot_offset;
 105                 hpte_v = hptep->v;
 106
 107                 if ((hpte_v & HPTE_V_VALID) && !(hpte_v & HPTE_V_BOLTED)) {
 108                         /* retry with lock held */
 109                         native_lock_hpte(hptep);
 110                         hpte_v = hptep->v;
 111                         if ((hpte_v & HPTE_V_VALID)
 112                             && !(hpte_v & HPTE_V_BOLTED))
 113                                 break;
 114                         native_unlock_hpte(hptep);
 115                 }
 116
 117                 slot_offset++;
 118                 slot_offset &= 0x7;
 119         }
 120
 121         if (i == HPTES_PER_GROUP)
 122                 return -1;
 123
 124         /* Invalidate the hpte. NOTE: this also unlocks it */
 125         hptep->v = 0;
 126
 127         return i;
 128 }
 129
 130 static inline void set_pp_bit(unsigned long pp, hpte_t *addr)
 131 {
 132         unsigned long old;
 133         unsigned long *p = &addr->r;
 134
 135         __asm__ __volatile__(
 136         "1:     ldarx   %0,0,%3\n\
 137                 rldimi  %0,%2,0,61\n\
 138                 stdcx.  %0,0,%3\n\
 139                 bne     1b"
 140         : "=&r" (old), "=m" (*p)
 141         : "r" (pp), "r" (p), "m" (*p)
 142         : "cc");
 143 }
 144
 145 /*
 146  * Only works on small pages. Yes its ugly to have to check each slot in
 147  * the group but we only use this during bootup.
 148  */
 149 static long native_hpte_find(unsigned long vpn)
 150 {
 151         hpte_t *hptep;
 152         unsigned long hash;
 153         unsigned long i, j;
 154         long slot;
 155         unsigned long hpte_v;
 156
 157         hash = hpt_hash(vpn, 0);
 158
 159         for (j = 0; j < 2; j++) {
 160                 slot = (hash & htab_hash_mask) * HPTES_PER_GROUP;
 161                 for (i = 0; i < HPTES_PER_GROUP; i++) {
 162                         hptep = htab_address + slot;
 163                         hpte_v = hptep->v;
 164
 165                         if ((HPTE_V_AVPN_VAL(hpte_v) == (vpn >> 11))
 166                             && (hpte_v & HPTE_V_VALID)
 167                             && ( !!(hpte_v & HPTE_V_SECONDARY) == j)) {
 168                                 /* HPTE matches */
 169                                 if (j)
 170                                         slot = -slot;
 171                                 return slot;
 172                         }
 173                         ++slot;
 174                 }
 175                 hash = ~hash;
 176         }
 177
 178         return -1;
 179 }
 180
 181 static long native_hpte_updatepp(unsigned long slot, unsigned long newpp,
 182                                  unsigned long va, int large, int local)
 183 {
 184         hpte_t *hptep = htab_address + slot;
 185         unsigned long hpte_v;
 186         unsigned long avpn = va >> 23;
 187         int ret = 0;
 188
 189         if (large)
 190                 avpn &= ~1;
 191
 192         native_lock_hpte(hptep);
 193
 194         hpte_v = hptep->v;
 195
 196         /* Even if we miss, we need to invalidate the TLB */
 197         if ((HPTE_V_AVPN_VAL(hpte_v) != avpn)
 198             || !(hpte_v & HPTE_V_VALID)) {
 199                 native_unlock_hpte(hptep);
 200                 ret = -1;
 201         } else {
 202                 set_pp_bit(newpp, hptep);
 203                 native_unlock_hpte(hptep);
 204         }
 205
 206         /* Ensure it is out of the tlb too */
 207         if (cpu_has_feature(CPU_FTR_TLBIEL) && !large && local) {
 208                 tlbiel(va);
 209         } else {
 210                 int lock_tlbie = !cpu_has_feature(CPU_FTR_LOCKLESS_TLBIE);
 211
 212                 if (lock_tlbie)
 213                         spin_lock(&native_tlbie_lock);
 214                 tlbie(va, large);
 215                 if (lock_tlbie)
 216                         spin_unlock(&native_tlbie_lock);
 217         }
 218
 219         return ret;
 220 }
 221
 222 /*
 223  * Update the page protection bits. Intended to be used to create
 224  * guard pages for kernel data structures on pages which are bolted
 225  * in the HPT. Assumes pages being operated on will not be stolen.
 226  * Does not work on large pages.
 227  *
 228  * No need to lock here because we should be the only user.
 229  */
 230 static void native_hpte_updateboltedpp(unsigned long newpp, unsigned long ea)
 231 {
 232         unsigned long vsid, va, vpn, flags = 0;
 233         long slot;
 234         hpte_t *hptep;
 235         int lock_tlbie = !cpu_has_feature(CPU_FTR_LOCKLESS_TLBIE);
 236
 237         vsid = get_kernel_vsid(ea);
 238         va = (vsid << 28) | (ea & 0x0fffffff);
 239         vpn = va >> PAGE_SHIFT;
 240
 241         slot = native_hpte_find(vpn);
 242         if (slot == -1)
 243                 panic("could not find page to bolt\n");
 244         hptep = htab_address + slot;
 245
 246         set_pp_bit(newpp, hptep);
 247
 248         /* Ensure it is out of the tlb too */
 249         if (lock_tlbie)
 250                 spin_lock_irqsave(&native_tlbie_lock, flags);
 251         tlbie(va, 0);
 252         if (lock_tlbie)
 253                 spin_unlock_irqrestore(&native_tlbie_lock, flags);
 254 }
 255
 256 static void native_hpte_invalidate(unsigned long slot, unsigned long va,
 257                                     int large, int local)
 258 {
 259         hpte_t *hptep = htab_address + slot;
 260         unsigned long hpte_v;
 261         unsigned long avpn = va >> 23;
 262         unsigned long flags;
 263         int lock_tlbie = !cpu_has_feature(CPU_FTR_LOCKLESS_TLBIE);
 264
 265         if (large)
 266                 avpn &= ~1;
 267
 268         local_irq_save(flags);
 269         native_lock_hpte(hptep);
 270
 271         hpte_v = hptep->v;
 272
 273         /* Even if we miss, we need to invalidate the TLB */
 274         if ((HPTE_V_AVPN_VAL(hpte_v) != avpn)
 275             || !(hpte_v & HPTE_V_VALID)) {
 276                 native_unlock_hpte(hptep);
 277         } else {
 278                 /* Invalidate the hpte. NOTE: this also unlocks it */
 279                 hptep->v = 0;
 280         }
 281
 282         /* Invalidate the tlb */
 283         if (cpu_has_feature(CPU_FTR_TLBIEL) && !large && local) {
 284                 tlbiel(va);
 285         } else {
 286                 if (lock_tlbie)
 287                         spin_lock(&native_tlbie_lock);
 288                 tlbie(va, large);
 289                 if (lock_tlbie)
 290                         spin_unlock(&native_tlbie_lock);
 291         }
 292         local_irq_restore(flags);
 293 }
 294
 295 /*
 296  * clear all mappings on kexec.  All cpus are in real mode (or they will
 297  * be when they isi), and we are the only one left.  We rely on our kernel
 298  * mapping being 0xC0's and the hardware ignoring those two real bits.
 299  *
 300  * TODO: add batching support when enabled.  remember, no dynamic memory here,
 301  * athough there is the control page available...
 302  */
 303 static void native_hpte_clear(void)
 304 {
 305         unsigned long slot, slots, flags;
 306         hpte_t *hptep = htab_address;
 307         unsigned long hpte_v;
 308         unsigned long pteg_count;
 309
 310         pteg_count = htab_hash_mask + 1;
 311
 312         local_irq_save(flags);
 313
 314         /* we take the tlbie lock and hold it.  Some hardware will
 315          * deadlock if we try to tlbie from two processors at once.
 316          */
 317         spin_lock(&native_tlbie_lock);
 318
 319         slots = pteg_count * HPTES_PER_GROUP;
 320
 321         for (slot = 0; slot < slots; slot++, hptep++) {
 322                 /*
 323                  * we could lock the pte here, but we are the only cpu
 324                  * running,  right?  and for crash dump, we probably
 325                  * don't want to wait for a maybe bad cpu.
 326                  */
 327                 hpte_v = hptep->v;
 328
 329                 if (hpte_v & HPTE_V_VALID) {
 330                         hptep->v = 0;
 331                         tlbie(slot2va(hpte_v, slot), hpte_v & HPTE_V_LARGE);
 332                 }
 333         }
 334
 335         spin_unlock(&native_tlbie_lock);
 336         local_irq_restore(flags);
 337 }
 338
 339 static void native_flush_hash_range(unsigned long context,
 340                                     unsigned long number, int local)
 341 {
 342         unsigned long vsid, vpn, va, hash, secondary, slot, flags, avpn;
 343         int i, j;
 344         hpte_t *hptep;
 345         unsigned long hpte_v;
 346         struct ppc64_tlb_batch *batch = &__get_cpu_var(ppc64_tlb_batch);
 347
 348         /* XXX fix for large ptes */
 349         unsigned long large = 0;
 350
 351         local_irq_save(flags);
 352
 353         j = 0;
 354         for (i = 0; i < number; i++) {
 355                 if (batch->addr[i] < KERNELBASE)
 356                         vsid = get_vsid(context, batch->addr[i]);
 357                 else
 358                         vsid = get_kernel_vsid(batch->addr[i]);
 359
 360                 va = (vsid << 28) | (batch->addr[i] & 0x0fffffff);
 361                 batch->vaddr[j] = va;
 362                 if (large)
 363                         vpn = va >> HPAGE_SHIFT;
 364                 else
 365                         vpn = va >> PAGE_SHIFT;
 366                 hash = hpt_hash(vpn, large);
 367                 secondary = (pte_val(batch->pte[i]) & _PAGE_SECONDARY) >> 15;
 368                 if (secondary)
 369                         hash = ~hash;
 370                 slot = (hash & htab_hash_mask) * HPTES_PER_GROUP;
 371                 slot += (pte_val(batch->pte[i]) & _PAGE_GROUP_IX) >> 12;
 372
 373                 hptep = htab_address + slot;
 374
 375                 avpn = va >> 23;
 376                 if (large)
 377                         avpn &= ~0x1UL;
 378
 379                 native_lock_hpte(hptep);
 380
 381                 hpte_v = hptep->v;
 382
 383                 /* Even if we miss, we need to invalidate the TLB */
 384                 if ((HPTE_V_AVPN_VAL(hpte_v) != avpn)
 385                     || !(hpte_v & HPTE_V_VALID)) {
 386                         native_unlock_hpte(hptep);
 387                 } else {
 388                         /* Invalidate the hpte. NOTE: this also unlocks it */
 389                         hptep->v = 0;
 390                 }
 391
 392                 j++;
 393         }
 394
 395         if (cpu_has_feature(CPU_FTR_TLBIEL) && !large && local) {
 396                 asm volatile("ptesync":::"memory");
 397
 398                 for (i = 0; i < j; i++)
 399                         __tlbiel(batch->vaddr[i]);
 400
 401                 asm volatile("ptesync":::"memory");
 402         } else {
 403                 int lock_tlbie = !cpu_has_feature(CPU_FTR_LOCKLESS_TLBIE);
 404
 405                 if (lock_tlbie)
 406                         spin_lock(&native_tlbie_lock);
 407
 408                 asm volatile("ptesync":::"memory");
 409
 410                 for (i = 0; i < j; i++)
 411                         __tlbie(batch->vaddr[i], 0);
 412
 413                 asm volatile("eieio; tlbsync; ptesync":::"memory");
 414
 415                 if (lock_tlbie)
 416                         spin_unlock(&native_tlbie_lock);
 417         }
 418
 419         local_irq_restore(flags);
 420 }
 421
 422 #ifdef CONFIG_PPC_PSERIES
 423 /* Disable TLB batching on nighthawk */
 424 static inline int tlb_batching_enabled(void)
 425 {
 426         struct device_node *root = of_find_node_by_path("/");
 427         int enabled = 1;
 428
 429         if (root) {
 430                 const char *model = get_property(root, "model", NULL);
 431                 if (model && !strcmp(model, "IBM,9076-N81"))
 432                         enabled = 0;
 433                 of_node_put(root);
 434         }
 435
 436         return enabled;
 437 }
 438 #else
 439 static inline int tlb_batching_enabled(void)
 440 {
 441         return 1;
 442 }
 443 #endif
 444
 445 void hpte_init_native(void)
 446 {
 447         ppc_md.hpte_invalidate  = native_hpte_invalidate;
 448         ppc_md.hpte_updatepp    = native_hpte_updatepp;
 449         ppc_md.hpte_updateboltedpp = native_hpte_updateboltedpp;
 450         ppc_md.hpte_insert      = native_hpte_insert;
 451         ppc_md.hpte_remove      = native_hpte_remove;
 452         ppc_md.hpte_clear_all   = native_hpte_clear;
 453         if (tlb_batching_enabled())
 454                 ppc_md.flush_hash_range = native_flush_hash_range;
 455         htab_finish_init();
 456 }