arch/x86/kernel/cpu/mtrr/generic.c

   1 /* This only handles 32bit MTRR on 32bit hosts. This is strictly wrong
   2    because MTRRs can span upto 40 bits (36bits on most modern x86) */
   3 #include <linux/init.h>
   4 #include <linux/slab.h>
   5 #include <linux/mm.h>
   6 #include <linux/module.h>
   7 #include <asm/io.h>
   8 #include <asm/mtrr.h>
   9 #include <asm/msr.h>
  10 #include <asm/system.h>
  11 #include <asm/cpufeature.h>
  12 #include <asm/processor-flags.h>
  13 #include <asm/tlbflush.h>
  14 #include <asm/pat.h>
  15 #include "mtrr.h"
  16
  17 struct fixed_range_block {
  18         int base_msr; /* start address of an MTRR block */
  19         int ranges;   /* number of MTRRs in this block  */
  20 };
  21
  22 static struct fixed_range_block fixed_range_blocks[] = {
  23         { MTRRfix64K_00000_MSR, 1 }, /* one  64k MTRR  */
  24         { MTRRfix16K_80000_MSR, 2 }, /* two  16k MTRRs */
  25         { MTRRfix4K_C0000_MSR,  8 }, /* eight 4k MTRRs */
  26         {}
  27 };
  28
  29 static unsigned long smp_changes_mask;
  30 static int mtrr_state_set;
  31 u64 mtrr_tom2;
  32
  33 struct mtrr_state_type mtrr_state = {};
  34 EXPORT_SYMBOL_GPL(mtrr_state);
  35
  36 /**
  37  * BIOS is expected to clear MtrrFixDramModEn bit, see for example
  38  * "BIOS and Kernel Developer's Guide for the AMD Athlon 64 and AMD
  39  * Opteron Processors" (26094 Rev. 3.30 February 2006), section
  40  * "13.2.1.2 SYSCFG Register": "The MtrrFixDramModEn bit should be set
  41  * to 1 during BIOS initalization of the fixed MTRRs, then cleared to
  42  * 0 for operation."
  43  */
  44 static inline void k8_check_syscfg_dram_mod_en(void)
  45 {
  46         u32 lo, hi;
  47
  48         if (!((boot_cpu_data.x86_vendor == X86_VENDOR_AMD) &&
  49               (boot_cpu_data.x86 >= 0x0f)))
  50                 return;
  51
  52         rdmsr(MSR_K8_SYSCFG, lo, hi);
  53         if (lo & K8_MTRRFIXRANGE_DRAM_MODIFY) {
  54                 printk(KERN_ERR FW_WARN "MTRR: CPU %u: SYSCFG[MtrrFixDramModEn]"
  55                        " not cleared by BIOS, clearing this bit\n",
  56                        smp_processor_id());
  57                 lo &= ~K8_MTRRFIXRANGE_DRAM_MODIFY;
  58                 mtrr_wrmsr(MSR_K8_SYSCFG, lo, hi);
  59         }
  60 }
  61
  62 /*
  63  * Returns the effective MTRR type for the region
  64  * Error returns:
  65  * - 0xFE - when the range is "not entirely covered" by _any_ var range MTRR
  66  * - 0xFF - when MTRR is not enabled
  67  */
  68 u8 mtrr_type_lookup(u64 start, u64 end)
  69 {
  70         int i;
  71         u64 base, mask;
  72         u8 prev_match, curr_match;
  73
  74         if (!mtrr_state_set)
  75                 return 0xFF;
  76
  77         if (!mtrr_state.enabled)
  78                 return 0xFF;
  79
  80         /* Make end inclusive end, instead of exclusive */
  81         end--;
  82
  83         /* Look in fixed ranges. Just return the type as per start */
  84         if (mtrr_state.have_fixed && (start < 0x100000)) {
  85                 int idx;
  86
  87                 if (start < 0x80000) {
  88                         idx = 0;
  89                         idx += (start >> 16);
  90                         return mtrr_state.fixed_ranges[idx];
  91                 } else if (start < 0xC0000) {
  92                         idx = 1 * 8;
  93                         idx += ((start - 0x80000) >> 14);
  94                         return mtrr_state.fixed_ranges[idx];
  95                 } else if (start < 0x1000000) {
  96                         idx = 3 * 8;
  97                         idx += ((start - 0xC0000) >> 12);
  98                         return mtrr_state.fixed_ranges[idx];
  99                 }
 100         }
 101
 102         /*
 103          * Look in variable ranges
 104          * Look of multiple ranges matching this address and pick type
 105          * as per MTRR precedence
 106          */
 107         if (!(mtrr_state.enabled & 2)) {
 108                 return mtrr_state.def_type;
 109         }
 110
 111         prev_match = 0xFF;
 112         for (i = 0; i < num_var_ranges; ++i) {
 113                 unsigned short start_state, end_state;
 114
 115                 if (!(mtrr_state.var_ranges[i].mask_lo & (1 << 11)))
 116                         continue;
 117
 118                 base = (((u64)mtrr_state.var_ranges[i].base_hi) << 32) +
 119                        (mtrr_state.var_ranges[i].base_lo & PAGE_MASK);
 120                 mask = (((u64)mtrr_state.var_ranges[i].mask_hi) << 32) +
 121                        (mtrr_state.var_ranges[i].mask_lo & PAGE_MASK);
 122
 123                 start_state = ((start & mask) == (base & mask));
 124                 end_state = ((end & mask) == (base & mask));
 125                 if (start_state != end_state)
 126                         return 0xFE;
 127
 128                 if ((start & mask) != (base & mask)) {
 129                         continue;
 130                 }
 131
 132                 curr_match = mtrr_state.var_ranges[i].base_lo & 0xff;
 133                 if (prev_match == 0xFF) {
 134                         prev_match = curr_match;
 135                         continue;
 136                 }
 137
 138                 if (prev_match == MTRR_TYPE_UNCACHABLE ||
 139                     curr_match == MTRR_TYPE_UNCACHABLE) {
 140                         return MTRR_TYPE_UNCACHABLE;
 141                 }
 142
 143                 if ((prev_match == MTRR_TYPE_WRBACK &&
 144                      curr_match == MTRR_TYPE_WRTHROUGH) ||
 145                     (prev_match == MTRR_TYPE_WRTHROUGH &&
 146                      curr_match == MTRR_TYPE_WRBACK)) {
 147                         prev_match = MTRR_TYPE_WRTHROUGH;
 148                         curr_match = MTRR_TYPE_WRTHROUGH;
 149                 }
 150
 151                 if (prev_match != curr_match) {
 152                         return MTRR_TYPE_UNCACHABLE;
 153                 }
 154         }
 155
 156         if (mtrr_tom2) {
 157                 if (start >= (1ULL<<32) && (end < mtrr_tom2))
 158                         return MTRR_TYPE_WRBACK;
 159         }
 160
 161         if (prev_match != 0xFF)
 162                 return prev_match;
 163
 164         return mtrr_state.def_type;
 165 }
 166
 167 /*  Get the MSR pair relating to a var range  */
 168 static void
 169 get_mtrr_var_range(unsigned int index, struct mtrr_var_range *vr)
 170 {
 171         rdmsr(MTRRphysBase_MSR(index), vr->base_lo, vr->base_hi);
 172         rdmsr(MTRRphysMask_MSR(index), vr->mask_lo, vr->mask_hi);
 173 }
 174
 175 /*  fill the MSR pair relating to a var range  */
 176 void fill_mtrr_var_range(unsigned int index,
 177                 u32 base_lo, u32 base_hi, u32 mask_lo, u32 mask_hi)
 178 {
 179         struct mtrr_var_range *vr;
 180
 181         vr = mtrr_state.var_ranges;
 182
 183         vr[index].base_lo = base_lo;
 184         vr[index].base_hi = base_hi;
 185         vr[index].mask_lo = mask_lo;
 186         vr[index].mask_hi = mask_hi;
 187 }
 188
 189 static void
 190 get_fixed_ranges(mtrr_type * frs)
 191 {
 192         unsigned int *p = (unsigned int *) frs;
 193         int i;
 194
 195         k8_check_syscfg_dram_mod_en();
 196
 197         rdmsr(MTRRfix64K_00000_MSR, p[0], p[1]);
 198
 199         for (i = 0; i < 2; i++)
 200                 rdmsr(MTRRfix16K_80000_MSR + i, p[2 + i * 2], p[3 + i * 2]);
 201         for (i = 0; i < 8; i++)
 202                 rdmsr(MTRRfix4K_C0000_MSR + i, p[6 + i * 2], p[7 + i * 2]);
 203 }
 204
 205 void mtrr_save_fixed_ranges(void *info)
 206 {
 207         if (cpu_has_mtrr)
 208                 get_fixed_ranges(mtrr_state.fixed_ranges);
 209 }
 210
 211 static unsigned __initdata last_fixed_start;
 212 static unsigned __initdata last_fixed_end;
 213 static mtrr_type __initdata last_fixed_type;
 214
 215 static void __init print_fixed_last(void)
 216 {
 217         if (!last_fixed_end)
 218                 return;
 219
 220         printk(KERN_DEBUG "  %05X-%05X %s\n", last_fixed_start,
 221                 last_fixed_end - 1, mtrr_attrib_to_str(last_fixed_type));
 222
 223         last_fixed_end = 0;
 224 }
 225
 226 static void __init update_fixed_last(unsigned base, unsigned end,
 227                                        mtrr_type type)
 228 {
 229         last_fixed_start = base;
 230         last_fixed_end = end;
 231         last_fixed_type = type;
 232 }
 233
 234 static void __init print_fixed(unsigned base, unsigned step,
 235                                const mtrr_type *types)
 236 {
 237         unsigned i;
 238
 239         for (i = 0; i < 8; ++i, ++types, base += step) {
 240                 if (last_fixed_end == 0) {
 241                         update_fixed_last(base, base + step, *types);
 242                         continue;
 243                 }
 244                 if (last_fixed_end == base && last_fixed_type == *types) {
 245                         last_fixed_end = base + step;
 246                         continue;
 247                 }
 248                 /* new segments: gap or different type */
 249                 print_fixed_last();
 250                 update_fixed_last(base, base + step, *types);
 251         }
 252 }
 253
 254 static void prepare_set(void);
 255 static void post_set(void);
 256
 257 static void __init print_mtrr_state(void)
 258 {
 259         unsigned int i;
 260         int high_width;
 261
 262         printk(KERN_DEBUG "MTRR default type: %s\n",
 263                          mtrr_attrib_to_str(mtrr_state.def_type));
 264         if (mtrr_state.have_fixed) {
 265                 printk(KERN_DEBUG "MTRR fixed ranges %sabled:\n",
 266                        mtrr_state.enabled & 1 ? "en" : "dis");
 267                 print_fixed(0x00000, 0x10000, mtrr_state.fixed_ranges + 0);
 268                 for (i = 0; i < 2; ++i)
 269                         print_fixed(0x80000 + i * 0x20000, 0x04000, mtrr_state.fixed_ranges + (i + 1) * 8);
 270                 for (i = 0; i < 8; ++i)
 271                         print_fixed(0xC0000 + i * 0x08000, 0x01000, mtrr_state.fixed_ranges + (i + 3) * 8);
 272
 273                 /* tail */
 274                 print_fixed_last();
 275         }
 276         printk(KERN_DEBUG "MTRR variable ranges %sabled:\n",
 277                mtrr_state.enabled & 2 ? "en" : "dis");
 278         high_width = ((size_or_mask ? ffs(size_or_mask) - 1 : 32) - (32 - PAGE_SHIFT) + 3) / 4;
 279         for (i = 0; i < num_var_ranges; ++i) {
 280                 if (mtrr_state.var_ranges[i].mask_lo & (1 << 11))
 281                         printk(KERN_DEBUG "  %u base %0*X%05X000 mask %0*X%05X000 %s\n",
 282                                i,
 283                                high_width,
 284                                mtrr_state.var_ranges[i].base_hi,
 285                                mtrr_state.var_ranges[i].base_lo >> 12,
 286                                high_width,
 287                                mtrr_state.var_ranges[i].mask_hi,
 288                                mtrr_state.var_ranges[i].mask_lo >> 12,
 289                                mtrr_attrib_to_str(mtrr_state.var_ranges[i].base_lo & 0xff));
 290                 else
 291                         printk(KERN_DEBUG "  %u disabled\n", i);
 292         }
 293         if (mtrr_tom2) {
 294                 printk(KERN_DEBUG "TOM2: %016llx aka %lldM\n",
 295                                   mtrr_tom2, mtrr_tom2>>20);
 296         }
 297 }
 298
 299 /*  Grab all of the MTRR state for this CPU into *state  */
 300 void __init get_mtrr_state(void)
 301 {
 302         unsigned int i;
 303         struct mtrr_var_range *vrs;
 304         unsigned lo, dummy;
 305         unsigned long flags;
 306
 307         vrs = mtrr_state.var_ranges;
 308
 309         rdmsr(MTRRcap_MSR, lo, dummy);
 310         mtrr_state.have_fixed = (lo >> 8) & 1;
 311
 312         for (i = 0; i < num_var_ranges; i++)
 313                 get_mtrr_var_range(i, &vrs[i]);
 314         if (mtrr_state.have_fixed)
 315                 get_fixed_ranges(mtrr_state.fixed_ranges);
 316
 317         rdmsr(MTRRdefType_MSR, lo, dummy);
 318         mtrr_state.def_type = (lo & 0xff);
 319         mtrr_state.enabled = (lo & 0xc00) >> 10;
 320
 321         if (amd_special_default_mtrr()) {
 322                 unsigned low, high;
 323                 /* TOP_MEM2 */
 324                 rdmsr(MSR_K8_TOP_MEM2, low, high);
 325                 mtrr_tom2 = high;
 326                 mtrr_tom2 <<= 32;
 327                 mtrr_tom2 |= low;
 328                 mtrr_tom2 &= 0xffffff800000ULL;
 329         }
 330
 331         print_mtrr_state();
 332
 333         mtrr_state_set = 1;
 334
 335         /* PAT setup for BP. We need to go through sync steps here */
 336         local_irq_save(flags);
 337         prepare_set();
 338
 339         pat_init();
 340
 341         post_set();
 342         local_irq_restore(flags);
 343
 344 }
 345
 346 /*  Some BIOS's are fucked and don't set all MTRRs the same!  */
 347 void __init mtrr_state_warn(void)
 348 {
 349         unsigned long mask = smp_changes_mask;
 350
 351         if (!mask)
 352                 return;
 353         if (mask & MTRR_CHANGE_MASK_FIXED)
 354                 printk(KERN_WARNING "mtrr: your CPUs had inconsistent fixed MTRR settings\n");
 355         if (mask & MTRR_CHANGE_MASK_VARIABLE)
 356                 printk(KERN_WARNING "mtrr: your CPUs had inconsistent variable MTRR settings\n");
 357         if (mask & MTRR_CHANGE_MASK_DEFTYPE)
 358                 printk(KERN_WARNING "mtrr: your CPUs had inconsistent MTRRdefType settings\n");
 359         printk(KERN_INFO "mtrr: probably your BIOS does not setup all CPUs.\n");
 360         printk(KERN_INFO "mtrr: corrected configuration.\n");
 361 }
 362
 363 /* Doesn't attempt to pass an error out to MTRR users
 364    because it's quite complicated in some cases and probably not
 365    worth it because the best error handling is to ignore it. */
 366 void mtrr_wrmsr(unsigned msr, unsigned a, unsigned b)
 367 {
 368         if (wrmsr_safe(msr, a, b) < 0)
 369                 printk(KERN_ERR
 370                         "MTRR: CPU %u: Writing MSR %x to %x:%x failed\n",
 371                         smp_processor_id(), msr, a, b);
 372 }
 373
 374 /**
 375  * set_fixed_range - checks & updates a fixed-range MTRR if it differs from the value it should have
 376  * @msr: MSR address of the MTTR which should be checked and updated
 377  * @changed: pointer which indicates whether the MTRR needed to be changed
 378  * @msrwords: pointer to the MSR values which the MSR should have
 379  */
 380 static void set_fixed_range(int msr, bool *changed, unsigned int *msrwords)
 381 {
 382         unsigned lo, hi;
 383
 384         rdmsr(msr, lo, hi);
 385
 386         if (lo != msrwords[0] || hi != msrwords[1]) {
 387                 mtrr_wrmsr(msr, msrwords[0], msrwords[1]);
 388                 *changed = true;
 389         }
 390 }
 391
 392 /**
 393  * generic_get_free_region - Get a free MTRR.
 394  * @base: The starting (base) address of the region.
 395  * @size: The size (in bytes) of the region.
 396  * @replace_reg: mtrr index to be replaced; set to invalid value if none.
 397  *
 398  * Returns: The index of the region on success, else negative on error.
 399  */
 400 int generic_get_free_region(unsigned long base, unsigned long size, int replace_reg)
 401 {
 402         int i, max;
 403         mtrr_type ltype;
 404         unsigned long lbase, lsize;
 405
 406         max = num_var_ranges;
 407         if (replace_reg >= 0 && replace_reg < max)
 408                 return replace_reg;
 409         for (i = 0; i < max; ++i) {
 410                 mtrr_if->get(i, &lbase, &lsize, &ltype);
 411                 if (lsize == 0)
 412                         return i;
 413         }
 414         return -ENOSPC;
 415 }
 416
 417 static void generic_get_mtrr(unsigned int reg, unsigned long *base,
 418                              unsigned long *size, mtrr_type *type)
 419 {
 420         unsigned int mask_lo, mask_hi, base_lo, base_hi;
 421         unsigned int tmp, hi;
 422         int cpu;
 423
 424         /*
 425          * get_mtrr doesn't need to update mtrr_state, also it could be called
 426          * from any cpu, so try to print it out directly.
 427          */
 428         cpu = get_cpu();
 429
 430         rdmsr(MTRRphysMask_MSR(reg), mask_lo, mask_hi);
 431
 432         if ((mask_lo & 0x800) == 0) {
 433                 /*  Invalid (i.e. free) range  */
 434                 *base = 0;
 435                 *size = 0;
 436                 *type = 0;
 437                 goto out_put_cpu;
 438         }
 439
 440         rdmsr(MTRRphysBase_MSR(reg), base_lo, base_hi);
 441
 442         /* Work out the shifted address mask: */
 443         tmp = mask_hi << (32 - PAGE_SHIFT) | mask_lo >> PAGE_SHIFT;
 444         mask_lo = size_or_mask | tmp;
 445
 446         /* Expand tmp with high bits to all 1s: */
 447         hi = fls(tmp);
 448         if (hi > 0) {
 449                 tmp |= ~((1<<(hi - 1)) - 1);
 450
 451                 if (tmp != mask_lo) {
 452                         WARN_ONCE(1, KERN_INFO "mtrr: your BIOS has set up an incorrect mask, fixing it up.\n");
 453                         mask_lo = tmp;
 454                 }
 455         }
 456
 457         /*
 458          * This works correctly if size is a power of two, i.e. a
 459          * contiguous range:
 460          */
 461         *size = -mask_lo;
 462         *base = base_hi << (32 - PAGE_SHIFT) | base_lo >> PAGE_SHIFT;
 463         *type = base_lo & 0xff;
 464
 465         printk(KERN_DEBUG "  get_mtrr: cpu%d reg%02d base=%010lx size=%010lx %s\n",
 466                         cpu, reg, *base, *size,
 467                         mtrr_attrib_to_str(*type & 0xff));
 468 out_put_cpu:
 469         put_cpu();
 470 }
 471
 472 /**
 473  * set_fixed_ranges - checks & updates the fixed-range MTRRs if they differ from the saved set
 474  * @frs: pointer to fixed-range MTRR values, saved by get_fixed_ranges()
 475  */
 476 static int set_fixed_ranges(mtrr_type * frs)
 477 {
 478         unsigned long long *saved = (unsigned long long *) frs;
 479         bool changed = false;
 480         int block=-1, range;
 481
 482         k8_check_syscfg_dram_mod_en();
 483
 484         while (fixed_range_blocks[++block].ranges)
 485             for (range=0; range < fixed_range_blocks[block].ranges; range++)
 486                 set_fixed_range(fixed_range_blocks[block].base_msr + range,
 487                     &changed, (unsigned int *) saved++);
 488
 489         return changed;
 490 }
 491
 492 /*  Set the MSR pair relating to a var range. Returns TRUE if
 493     changes are made  */
 494 static bool set_mtrr_var_ranges(unsigned int index, struct mtrr_var_range *vr)
 495 {
 496         unsigned int lo, hi;
 497         bool changed = false;
 498
 499         rdmsr(MTRRphysBase_MSR(index), lo, hi);
 500         if ((vr->base_lo & 0xfffff0ffUL) != (lo & 0xfffff0ffUL)
 501             || (vr->base_hi & (size_and_mask >> (32 - PAGE_SHIFT))) !=
 502                 (hi & (size_and_mask >> (32 - PAGE_SHIFT)))) {
 503                 mtrr_wrmsr(MTRRphysBase_MSR(index), vr->base_lo, vr->base_hi);
 504                 changed = true;
 505         }
 506
 507         rdmsr(MTRRphysMask_MSR(index), lo, hi);
 508
 509         if ((vr->mask_lo & 0xfffff800UL) != (lo & 0xfffff800UL)
 510             || (vr->mask_hi & (size_and_mask >> (32 - PAGE_SHIFT))) !=
 511                 (hi & (size_and_mask >> (32 - PAGE_SHIFT)))) {
 512                 mtrr_wrmsr(MTRRphysMask_MSR(index), vr->mask_lo, vr->mask_hi);
 513                 changed = true;
 514         }
 515         return changed;
 516 }
 517
 518 static u32 deftype_lo, deftype_hi;
 519
 520 /**
 521  * set_mtrr_state - Set the MTRR state for this CPU.
 522  *
 523  * NOTE: The CPU must already be in a safe state for MTRR changes.
 524  * RETURNS: 0 if no changes made, else a mask indicating what was changed.
 525  */
 526 static unsigned long set_mtrr_state(void)
 527 {
 528         unsigned int i;
 529         unsigned long change_mask = 0;
 530
 531         for (i = 0; i < num_var_ranges; i++)
 532                 if (set_mtrr_var_ranges(i, &mtrr_state.var_ranges[i]))
 533                         change_mask |= MTRR_CHANGE_MASK_VARIABLE;
 534
 535         if (mtrr_state.have_fixed && set_fixed_ranges(mtrr_state.fixed_ranges))
 536                 change_mask |= MTRR_CHANGE_MASK_FIXED;
 537
 538         /*  Set_mtrr_restore restores the old value of MTRRdefType,
 539            so to set it we fiddle with the saved value  */
 540         if ((deftype_lo & 0xff) != mtrr_state.def_type
 541             || ((deftype_lo & 0xc00) >> 10) != mtrr_state.enabled) {
 542                 deftype_lo = (deftype_lo & ~0xcff) | mtrr_state.def_type | (mtrr_state.enabled << 10);
 543                 change_mask |= MTRR_CHANGE_MASK_DEFTYPE;
 544         }
 545
 546         return change_mask;
 547 }
 548
 549
 550 static unsigned long cr4 = 0;
 551 static DEFINE_SPINLOCK(set_atomicity_lock);
 552
 553 /*
 554  * Since we are disabling the cache don't allow any interrupts - they
 555  * would run extremely slow and would only increase the pain.  The caller must
 556  * ensure that local interrupts are disabled and are reenabled after post_set()
 557  * has been called.
 558  */
 559
 560 static void prepare_set(void) __acquires(set_atomicity_lock)
 561 {
 562         unsigned long cr0;
 563
 564         /*  Note that this is not ideal, since the cache is only flushed/disabled
 565            for this CPU while the MTRRs are changed, but changing this requires
 566            more invasive changes to the way the kernel boots  */
 567
 568         spin_lock(&set_atomicity_lock);
 569
 570         /*  Enter the no-fill (CD=1, NW=0) cache mode and flush caches. */
 571         cr0 = read_cr0() | X86_CR0_CD;
 572         write_cr0(cr0);
 573         wbinvd();
 574
 575         /*  Save value of CR4 and clear Page Global Enable (bit 7)  */
 576         if ( cpu_has_pge ) {
 577                 cr4 = read_cr4();
 578                 write_cr4(cr4 & ~X86_CR4_PGE);
 579         }
 580
 581         /* Flush all TLBs via a mov %cr3, %reg; mov %reg, %cr3 */
 582         __flush_tlb();
 583
 584         /*  Save MTRR state */
 585         rdmsr(MTRRdefType_MSR, deftype_lo, deftype_hi);
 586
 587         /*  Disable MTRRs, and set the default type to uncached  */
 588         mtrr_wrmsr(MTRRdefType_MSR, deftype_lo & ~0xcff, deftype_hi);
 589 }
 590
 591 static void post_set(void) __releases(set_atomicity_lock)
 592 {
 593         /*  Flush TLBs (no need to flush caches - they are disabled)  */
 594         __flush_tlb();
 595
 596         /* Intel (P6) standard MTRRs */
 597         mtrr_wrmsr(MTRRdefType_MSR, deftype_lo, deftype_hi);
 598
 599         /*  Enable caches  */
 600         write_cr0(read_cr0() & 0xbfffffff);
 601
 602         /*  Restore value of CR4  */
 603         if ( cpu_has_pge )
 604                 write_cr4(cr4);
 605         spin_unlock(&set_atomicity_lock);
 606 }
 607
 608 static void generic_set_all(void)
 609 {
 610         unsigned long mask, count;
 611         unsigned long flags;
 612
 613         local_irq_save(flags);
 614         prepare_set();
 615
 616         /* Actually set the state */
 617         mask = set_mtrr_state();
 618
 619         /* also set PAT */
 620         pat_init();
 621
 622         post_set();
 623         local_irq_restore(flags);
 624
 625         /*  Use the atomic bitops to update the global mask  */
 626         for (count = 0; count < sizeof mask * 8; ++count) {
 627                 if (mask & 0x01)
 628                         set_bit(count, &smp_changes_mask);
 629                 mask >>= 1;
 630         }
 631
 632 }
 633
 634 static void generic_set_mtrr(unsigned int reg, unsigned long base,
 635                              unsigned long size, mtrr_type type)
 636 /*  [SUMMARY] Set variable MTRR register on the local CPU.
 637     <reg> The register to set.
 638     <base> The base address of the region.
 639     <size> The size of the region. If this is 0 the region is disabled.
 640     <type> The type of the region.
 641     [RETURNS] Nothing.
 642 */
 643 {
 644         unsigned long flags;
 645         struct mtrr_var_range *vr;
 646
 647         vr = &mtrr_state.var_ranges[reg];
 648
 649         local_irq_save(flags);
 650         prepare_set();
 651
 652         if (size == 0) {
 653                 /* The invalid bit is kept in the mask, so we simply clear the
 654                    relevant mask register to disable a range. */
 655                 mtrr_wrmsr(MTRRphysMask_MSR(reg), 0, 0);
 656                 memset(vr, 0, sizeof(struct mtrr_var_range));
 657         } else {
 658                 vr->base_lo = base << PAGE_SHIFT | type;
 659                 vr->base_hi = (base & size_and_mask) >> (32 - PAGE_SHIFT);
 660                 vr->mask_lo = -size << PAGE_SHIFT | 0x800;
 661                 vr->mask_hi = (-size & size_and_mask) >> (32 - PAGE_SHIFT);
 662
 663                 mtrr_wrmsr(MTRRphysBase_MSR(reg), vr->base_lo, vr->base_hi);
 664                 mtrr_wrmsr(MTRRphysMask_MSR(reg), vr->mask_lo, vr->mask_hi);
 665         }
 666
 667         post_set();
 668         local_irq_restore(flags);
 669 }
 670
 671 int generic_validate_add_page(unsigned long base, unsigned long size, unsigned int type)
 672 {
 673         unsigned long lbase, last;
 674
 675         /*  For Intel PPro stepping <= 7, must be 4 MiB aligned
 676             and not touch 0x70000000->0x7003FFFF */
 677         if (is_cpu(INTEL) && boot_cpu_data.x86 == 6 &&
 678             boot_cpu_data.x86_model == 1 &&
 679             boot_cpu_data.x86_mask <= 7) {
 680                 if (base & ((1 << (22 - PAGE_SHIFT)) - 1)) {
 681                         printk(KERN_WARNING "mtrr: base(0x%lx000) is not 4 MiB aligned\n", base);
 682                         return -EINVAL;
 683                 }
 684                 if (!(base + size < 0x70000 || base > 0x7003F) &&
 685                     (type == MTRR_TYPE_WRCOMB
 686                      || type == MTRR_TYPE_WRBACK)) {
 687                         printk(KERN_WARNING "mtrr: writable mtrr between 0x70000000 and 0x7003FFFF may hang the CPU.\n");
 688                         return -EINVAL;
 689                 }
 690         }
 691
 692         /*  Check upper bits of base and last are equal and lower bits are 0
 693             for base and 1 for last  */
 694         last = base + size - 1;
 695         for (lbase = base; !(lbase & 1) && (last & 1);
 696              lbase = lbase >> 1, last = last >> 1) ;
 697         if (lbase != last) {
 698                 printk(KERN_WARNING "mtrr: base(0x%lx000) is not aligned on a size(0x%lx000) boundary\n",
 699                        base, size);
 700                 return -EINVAL;
 701         }
 702         return 0;
 703 }
 704
 705
 706 static int generic_have_wrcomb(void)
 707 {
 708         unsigned long config, dummy;
 709         rdmsr(MTRRcap_MSR, config, dummy);
 710         return (config & (1 << 10));
 711 }
 712
 713 int positive_have_wrcomb(void)
 714 {
 715         return 1;
 716 }
 717
 718 /* generic structure...
 719  */
 720 struct mtrr_ops generic_mtrr_ops = {
 721         .use_intel_if      = 1,
 722         .set_all           = generic_set_all,
 723         .get               = generic_get_mtrr,
 724         .get_free_region   = generic_get_free_region,
 725         .set               = generic_set_mtrr,
 726         .validate_add_page = generic_validate_add_page,
 727         .have_wrcomb       = generic_have_wrcomb,
 728 };