arch/powerpc/kernel/misc_32.S

   1 /*
   2  * This file contains miscellaneous low-level functions.
   3  *    Copyright (C) 1995-1996 Gary Thomas (gdt@linuxppc.org)
   4  *
   5  * Largely rewritten by Cort Dougan (cort@cs.nmt.edu)
   6  * and Paul Mackerras.
   7  *
   8  * kexec bits:
   9  * Copyright (C) 2002-2003 Eric Biederman  <ebiederm@xmission.com>
  10  * GameCube/ppc32 port Copyright (C) 2004 Albert Herranz
  11  *
  12  * This program is free software; you can redistribute it and/or
  13  * modify it under the terms of the GNU General Public License
  14  * as published by the Free Software Foundation; either version
  15  * 2 of the License, or (at your option) any later version.
  16  *
  17  */
  18
  19 #include <linux/config.h>
  20 #include <linux/sys.h>
  21 #include <asm/unistd.h>
  22 #include <asm/errno.h>
  23 #include <asm/reg.h>
  24 #include <asm/page.h>
  25 #include <asm/cache.h>
  26 #include <asm/cputable.h>
  27 #include <asm/mmu.h>
  28 #include <asm/ppc_asm.h>
  29 #include <asm/thread_info.h>
  30 #include <asm/asm-offsets.h>
  31 #include <asm/processor.h>
  32 #include <asm/kexec.h>
  33
  34         .text
  35
  36 /*
  37  * This returns the high 64 bits of the product of two 64-bit numbers.
  38  */
  39 _GLOBAL(mulhdu)
  40         cmpwi   r6,0
  41         cmpwi   cr1,r3,0
  42         mr      r10,r4
  43         mulhwu  r4,r4,r5
  44         beq     1f
  45         mulhwu  r0,r10,r6
  46         mullw   r7,r10,r5
  47         addc    r7,r0,r7
  48         addze   r4,r4
  49 1:      beqlr   cr1             /* all done if high part of A is 0 */
  50         mr      r10,r3
  51         mullw   r9,r3,r5
  52         mulhwu  r3,r3,r5
  53         beq     2f
  54         mullw   r0,r10,r6
  55         mulhwu  r8,r10,r6
  56         addc    r7,r0,r7
  57         adde    r4,r4,r8
  58         addze   r3,r3
  59 2:      addc    r4,r4,r9
  60         addze   r3,r3
  61         blr
  62
  63 /*
  64  * sub_reloc_offset(x) returns x - reloc_offset().
  65  */
  66 _GLOBAL(sub_reloc_offset)
  67         mflr    r0
  68         bl      1f
  69 1:      mflr    r5
  70         lis     r4,1b@ha
  71         addi    r4,r4,1b@l
  72         subf    r5,r4,r5
  73         subf    r3,r5,r3
  74         mtlr    r0
  75         blr
  76
  77 /*
  78  * reloc_got2 runs through the .got2 section adding an offset
  79  * to each entry.
  80  */
  81 _GLOBAL(reloc_got2)
  82         mflr    r11
  83         lis     r7,__got2_start@ha
  84         addi    r7,r7,__got2_start@l
  85         lis     r8,__got2_end@ha
  86         addi    r8,r8,__got2_end@l
  87         subf    r8,r7,r8
  88         srwi.   r8,r8,2
  89         beqlr
  90         mtctr   r8
  91         bl      1f
  92 1:      mflr    r0
  93         lis     r4,1b@ha
  94         addi    r4,r4,1b@l
  95         subf    r0,r4,r0
  96         add     r7,r0,r7
  97 2:      lwz     r0,0(r7)
  98         add     r0,r0,r3
  99         stw     r0,0(r7)
 100         addi    r7,r7,4
 101         bdnz    2b
 102         mtlr    r11
 103         blr
 104
 105 /*
 106  * identify_cpu,
 107  * called with r3 = data offset and r4 = CPU number
 108  * doesn't change r3
 109  */
 110 _GLOBAL(identify_cpu)
 111         addis   r8,r3,cpu_specs@ha
 112         addi    r8,r8,cpu_specs@l
 113         mfpvr   r7
 114 1:
 115         lwz     r5,CPU_SPEC_PVR_MASK(r8)
 116         and     r5,r5,r7
 117         lwz     r6,CPU_SPEC_PVR_VALUE(r8)
 118         cmplw   0,r6,r5
 119         beq     1f
 120         addi    r8,r8,CPU_SPEC_ENTRY_SIZE
 121         b       1b
 122 1:
 123         addis   r6,r3,cur_cpu_spec@ha
 124         addi    r6,r6,cur_cpu_spec@l
 125         sub     r8,r8,r3
 126         stw     r8,0(r6)
 127         blr
 128
 129 /*
 130  * do_cpu_ftr_fixups - goes through the list of CPU feature fixups
 131  * and writes nop's over sections of code that don't apply for this cpu.
 132  * r3 = data offset (not changed)
 133  */
 134 _GLOBAL(do_cpu_ftr_fixups)
 135         /* Get CPU 0 features */
 136         addis   r6,r3,cur_cpu_spec@ha
 137         addi    r6,r6,cur_cpu_spec@l
 138         lwz     r4,0(r6)
 139         add     r4,r4,r3
 140         lwz     r4,CPU_SPEC_FEATURES(r4)
 141
 142         /* Get the fixup table */
 143         addis   r6,r3,__start___ftr_fixup@ha
 144         addi    r6,r6,__start___ftr_fixup@l
 145         addis   r7,r3,__stop___ftr_fixup@ha
 146         addi    r7,r7,__stop___ftr_fixup@l
 147
 148         /* Do the fixup */
 149 1:      cmplw   0,r6,r7
 150         bgelr
 151         addi    r6,r6,16
 152         lwz     r8,-16(r6)      /* mask */
 153         and     r8,r8,r4
 154         lwz     r9,-12(r6)      /* value */
 155         cmplw   0,r8,r9
 156         beq     1b
 157         lwz     r8,-8(r6)       /* section begin */
 158         lwz     r9,-4(r6)       /* section end */
 159         subf.   r9,r8,r9
 160         beq     1b
 161         /* write nops over the section of code */
 162         /* todo: if large section, add a branch at the start of it */
 163         srwi    r9,r9,2
 164         mtctr   r9
 165         add     r8,r8,r3
 166         lis     r0,0x60000000@h /* nop */
 167 3:      stw     r0,0(r8)
 168         andi.   r10,r4,CPU_FTR_SPLIT_ID_CACHE@l
 169         beq     2f
 170         dcbst   0,r8            /* suboptimal, but simpler */
 171         sync
 172         icbi    0,r8
 173 2:      addi    r8,r8,4
 174         bdnz    3b
 175         sync                    /* additional sync needed on g4 */
 176         isync
 177         b       1b
 178
 179 /*
 180  * call_setup_cpu - call the setup_cpu function for this cpu
 181  * r3 = data offset, r24 = cpu number
 182  *
 183  * Setup function is called with:
 184  *   r3 = data offset
 185  *   r4 = ptr to CPU spec (relocated)
 186  */
 187 _GLOBAL(call_setup_cpu)
 188         addis   r4,r3,cur_cpu_spec@ha
 189         addi    r4,r4,cur_cpu_spec@l
 190         lwz     r4,0(r4)
 191         add     r4,r4,r3
 192         lwz     r5,CPU_SPEC_SETUP(r4)
 193         cmpwi   0,r5,0
 194         add     r5,r5,r3
 195         beqlr
 196         mtctr   r5
 197         bctr
 198
 199 #if defined(CONFIG_CPU_FREQ_PMAC) && defined(CONFIG_6xx)
 200
 201 /* This gets called by via-pmu.c to switch the PLL selection
 202  * on 750fx CPU. This function should really be moved to some
 203  * other place (as most of the cpufreq code in via-pmu
 204  */
 205 _GLOBAL(low_choose_750fx_pll)
 206         /* Clear MSR:EE */
 207         mfmsr   r7
 208         rlwinm  r0,r7,0,17,15
 209         mtmsr   r0
 210
 211         /* If switching to PLL1, disable HID0:BTIC */
 212         cmplwi  cr0,r3,0
 213         beq     1f
 214         mfspr   r5,SPRN_HID0
 215         rlwinm  r5,r5,0,27,25
 216         sync
 217         mtspr   SPRN_HID0,r5
 218         isync
 219         sync
 220
 221 1:
 222         /* Calc new HID1 value */
 223         mfspr   r4,SPRN_HID1    /* Build a HID1:PS bit from parameter */
 224         rlwinm  r5,r3,16,15,15  /* Clear out HID1:PS from value read */
 225         rlwinm  r4,r4,0,16,14   /* Could have I used rlwimi here ? */
 226         or      r4,r4,r5
 227         mtspr   SPRN_HID1,r4
 228
 229         /* Store new HID1 image */
 230         rlwinm  r6,r1,0,0,18
 231         lwz     r6,TI_CPU(r6)
 232         slwi    r6,r6,2
 233         addis   r6,r6,nap_save_hid1@ha
 234         stw     r4,nap_save_hid1@l(r6)
 235
 236         /* If switching to PLL0, enable HID0:BTIC */
 237         cmplwi  cr0,r3,0
 238         bne     1f
 239         mfspr   r5,SPRN_HID0
 240         ori     r5,r5,HID0_BTIC
 241         sync
 242         mtspr   SPRN_HID0,r5
 243         isync
 244         sync
 245
 246 1:
 247         /* Return */
 248         mtmsr   r7
 249         blr
 250
 251 _GLOBAL(low_choose_7447a_dfs)
 252         /* Clear MSR:EE */
 253         mfmsr   r7
 254         rlwinm  r0,r7,0,17,15
 255         mtmsr   r0
 256
 257         /* Calc new HID1 value */
 258         mfspr   r4,SPRN_HID1
 259         insrwi  r4,r3,1,9       /* insert parameter into bit 9 */
 260         sync
 261         mtspr   SPRN_HID1,r4
 262         sync
 263         isync
 264
 265         /* Return */
 266         mtmsr   r7
 267         blr
 268
 269 #endif /* CONFIG_CPU_FREQ_PMAC && CONFIG_6xx */
 270
 271 /*
 272  * complement mask on the msr then "or" some values on.
 273  *     _nmask_and_or_msr(nmask, value_to_or)
 274  */
 275 _GLOBAL(_nmask_and_or_msr)
 276         mfmsr   r0              /* Get current msr */
 277         andc    r0,r0,r3        /* And off the bits set in r3 (first parm) */
 278         or      r0,r0,r4        /* Or on the bits in r4 (second parm) */
 279         SYNC                    /* Some chip revs have problems here... */
 280         mtmsr   r0              /* Update machine state */
 281         isync
 282         blr                     /* Done */
 283
 284
 285 /*
 286  * Flush MMU TLB
 287  */
 288 _GLOBAL(_tlbia)
 289 #if defined(CONFIG_40x)
 290         sync                    /* Flush to memory before changing mapping */
 291         tlbia
 292         isync                   /* Flush shadow TLB */
 293 #elif defined(CONFIG_44x)
 294         li      r3,0
 295         sync
 296
 297         /* Load high watermark */
 298         lis     r4,tlb_44x_hwater@ha
 299         lwz     r5,tlb_44x_hwater@l(r4)
 300
 301 1:      tlbwe   r3,r3,PPC44x_TLB_PAGEID
 302         addi    r3,r3,1
 303         cmpw    0,r3,r5
 304         ble     1b
 305
 306         isync
 307 #elif defined(CONFIG_FSL_BOOKE)
 308         /* Invalidate all entries in TLB0 */
 309         li      r3, 0x04
 310         tlbivax 0,3
 311         /* Invalidate all entries in TLB1 */
 312         li      r3, 0x0c
 313         tlbivax 0,3
 314         /* Invalidate all entries in TLB2 */
 315         li      r3, 0x14
 316         tlbivax 0,3
 317         /* Invalidate all entries in TLB3 */
 318         li      r3, 0x1c
 319         tlbivax 0,3
 320         msync
 321 #ifdef CONFIG_SMP
 322         tlbsync
 323 #endif /* CONFIG_SMP */
 324 #else /* !(CONFIG_40x || CONFIG_44x || CONFIG_FSL_BOOKE) */
 325 #if defined(CONFIG_SMP)
 326         rlwinm  r8,r1,0,0,18
 327         lwz     r8,TI_CPU(r8)
 328         oris    r8,r8,10
 329         mfmsr   r10
 330         SYNC
 331         rlwinm  r0,r10,0,17,15          /* clear bit 16 (MSR_EE) */
 332         rlwinm  r0,r0,0,28,26           /* clear DR */
 333         mtmsr   r0
 334         SYNC_601
 335         isync
 336         lis     r9,mmu_hash_lock@h
 337         ori     r9,r9,mmu_hash_lock@l
 338         tophys(r9,r9)
 339 10:     lwarx   r7,0,r9
 340         cmpwi   0,r7,0
 341         bne-    10b
 342         stwcx.  r8,0,r9
 343         bne-    10b
 344         sync
 345         tlbia
 346         sync
 347         TLBSYNC
 348         li      r0,0
 349         stw     r0,0(r9)                /* clear mmu_hash_lock */
 350         mtmsr   r10
 351         SYNC_601
 352         isync
 353 #else /* CONFIG_SMP */
 354         sync
 355         tlbia
 356         sync
 357 #endif /* CONFIG_SMP */
 358 #endif /* ! defined(CONFIG_40x) */
 359         blr
 360
 361 /*
 362  * Flush MMU TLB for a particular address
 363  */
 364 _GLOBAL(_tlbie)
 365 #if defined(CONFIG_40x)
 366         tlbsx.  r3, 0, r3
 367         bne     10f
 368         sync
 369         /* There are only 64 TLB entries, so r3 < 64, which means bit 25 is clear.
 370          * Since 25 is the V bit in the TLB_TAG, loading this value will invalidate
 371          * the TLB entry. */
 372         tlbwe   r3, r3, TLB_TAG
 373         isync
 374 10:
 375 #elif defined(CONFIG_44x)
 376         mfspr   r4,SPRN_MMUCR
 377         mfspr   r5,SPRN_PID                     /* Get PID */
 378         rlwimi  r4,r5,0,24,31                   /* Set TID */
 379         mtspr   SPRN_MMUCR,r4
 380
 381         tlbsx.  r3, 0, r3
 382         bne     10f
 383         sync
 384         /* There are only 64 TLB entries, so r3 < 64,
 385          * which means bit 22, is clear.  Since 22 is
 386          * the V bit in the TLB_PAGEID, loading this
 387          * value will invalidate the TLB entry.
 388          */
 389         tlbwe   r3, r3, PPC44x_TLB_PAGEID
 390         isync
 391 10:
 392 #elif defined(CONFIG_FSL_BOOKE)
 393         rlwinm  r4, r3, 0, 0, 19
 394         ori     r5, r4, 0x08    /* TLBSEL = 1 */
 395         ori     r6, r4, 0x10    /* TLBSEL = 2 */
 396         ori     r7, r4, 0x18    /* TLBSEL = 3 */
 397         tlbivax 0, r4
 398         tlbivax 0, r5
 399         tlbivax 0, r6
 400         tlbivax 0, r7
 401         msync
 402 #if defined(CONFIG_SMP)
 403         tlbsync
 404 #endif /* CONFIG_SMP */
 405 #else /* !(CONFIG_40x || CONFIG_44x || CONFIG_FSL_BOOKE) */
 406 #if defined(CONFIG_SMP)
 407         rlwinm  r8,r1,0,0,18
 408         lwz     r8,TI_CPU(r8)
 409         oris    r8,r8,11
 410         mfmsr   r10
 411         SYNC
 412         rlwinm  r0,r10,0,17,15          /* clear bit 16 (MSR_EE) */
 413         rlwinm  r0,r0,0,28,26           /* clear DR */
 414         mtmsr   r0
 415         SYNC_601
 416         isync
 417         lis     r9,mmu_hash_lock@h
 418         ori     r9,r9,mmu_hash_lock@l
 419         tophys(r9,r9)
 420 10:     lwarx   r7,0,r9
 421         cmpwi   0,r7,0
 422         bne-    10b
 423         stwcx.  r8,0,r9
 424         bne-    10b
 425         eieio
 426         tlbie   r3
 427         sync
 428         TLBSYNC
 429         li      r0,0
 430         stw     r0,0(r9)                /* clear mmu_hash_lock */
 431         mtmsr   r10
 432         SYNC_601
 433         isync
 434 #else /* CONFIG_SMP */
 435         tlbie   r3
 436         sync
 437 #endif /* CONFIG_SMP */
 438 #endif /* ! CONFIG_40x */
 439         blr
 440
 441 /*
 442  * Flush instruction cache.
 443  * This is a no-op on the 601.
 444  */
 445 _GLOBAL(flush_instruction_cache)
 446 #if defined(CONFIG_8xx)
 447         isync
 448         lis     r5, IDC_INVALL@h
 449         mtspr   SPRN_IC_CST, r5
 450 #elif defined(CONFIG_4xx)
 451 #ifdef CONFIG_403GCX
 452         li      r3, 512
 453         mtctr   r3
 454         lis     r4, KERNELBASE@h
 455 1:      iccci   0, r4
 456         addi    r4, r4, 16
 457         bdnz    1b
 458 #else
 459         lis     r3, KERNELBASE@h
 460         iccci   0,r3
 461 #endif
 462 #elif CONFIG_FSL_BOOKE
 463 BEGIN_FTR_SECTION
 464         mfspr   r3,SPRN_L1CSR0
 465         ori     r3,r3,L1CSR0_CFI|L1CSR0_CLFC
 466         /* msync; isync recommended here */
 467         mtspr   SPRN_L1CSR0,r3
 468         isync
 469         blr
 470 END_FTR_SECTION_IFCLR(CPU_FTR_SPLIT_ID_CACHE)
 471         mfspr   r3,SPRN_L1CSR1
 472         ori     r3,r3,L1CSR1_ICFI|L1CSR1_ICLFR
 473         mtspr   SPRN_L1CSR1,r3
 474 #else
 475         mfspr   r3,SPRN_PVR
 476         rlwinm  r3,r3,16,16,31
 477         cmpwi   0,r3,1
 478         beqlr                   /* for 601, do nothing */
 479         /* 603/604 processor - use invalidate-all bit in HID0 */
 480         mfspr   r3,SPRN_HID0
 481         ori     r3,r3,HID0_ICFI
 482         mtspr   SPRN_HID0,r3
 483 #endif /* CONFIG_8xx/4xx */
 484         isync
 485         blr
 486
 487 /*
 488  * Write any modified data cache blocks out to memory
 489  * and invalidate the corresponding instruction cache blocks.
 490  * This is a no-op on the 601.
 491  *
 492  * flush_icache_range(unsigned long start, unsigned long stop)
 493  */
 494 _GLOBAL(__flush_icache_range)
 495 BEGIN_FTR_SECTION
 496         blr                             /* for 601, do nothing */
 497 END_FTR_SECTION_IFCLR(CPU_FTR_SPLIT_ID_CACHE)
 498         li      r5,L1_CACHE_BYTES-1
 499         andc    r3,r3,r5
 500         subf    r4,r3,r4
 501         add     r4,r4,r5
 502         srwi.   r4,r4,L1_CACHE_SHIFT
 503         beqlr
 504         mtctr   r4
 505         mr      r6,r3
 506 1:      dcbst   0,r3
 507         addi    r3,r3,L1_CACHE_BYTES
 508         bdnz    1b
 509         sync                            /* wait for dcbst's to get to ram */
 510         mtctr   r4
 511 2:      icbi    0,r6
 512         addi    r6,r6,L1_CACHE_BYTES
 513         bdnz    2b
 514         sync                            /* additional sync needed on g4 */
 515         isync
 516         blr
 517 /*
 518  * Write any modified data cache blocks out to memory.
 519  * Does not invalidate the corresponding cache lines (especially for
 520  * any corresponding instruction cache).
 521  *
 522  * clean_dcache_range(unsigned long start, unsigned long stop)
 523  */
 524 _GLOBAL(clean_dcache_range)
 525         li      r5,L1_CACHE_BYTES-1
 526         andc    r3,r3,r5
 527         subf    r4,r3,r4
 528         add     r4,r4,r5
 529         srwi.   r4,r4,L1_CACHE_SHIFT
 530         beqlr
 531         mtctr   r4
 532
 533 1:      dcbst   0,r3
 534         addi    r3,r3,L1_CACHE_BYTES
 535         bdnz    1b
 536         sync                            /* wait for dcbst's to get to ram */
 537         blr
 538
 539 /*
 540  * Write any modified data cache blocks out to memory and invalidate them.
 541  * Does not invalidate the corresponding instruction cache blocks.
 542  *
 543  * flush_dcache_range(unsigned long start, unsigned long stop)
 544  */
 545 _GLOBAL(flush_dcache_range)
 546         li      r5,L1_CACHE_BYTES-1
 547         andc    r3,r3,r5
 548         subf    r4,r3,r4
 549         add     r4,r4,r5
 550         srwi.   r4,r4,L1_CACHE_SHIFT
 551         beqlr
 552         mtctr   r4
 553
 554 1:      dcbf    0,r3
 555         addi    r3,r3,L1_CACHE_BYTES
 556         bdnz    1b
 557         sync                            /* wait for dcbst's to get to ram */
 558         blr
 559
 560 /*
 561  * Like above, but invalidate the D-cache.  This is used by the 8xx
 562  * to invalidate the cache so the PPC core doesn't get stale data
 563  * from the CPM (no cache snooping here :-).
 564  *
 565  * invalidate_dcache_range(unsigned long start, unsigned long stop)
 566  */
 567 _GLOBAL(invalidate_dcache_range)
 568         li      r5,L1_CACHE_BYTES-1
 569         andc    r3,r3,r5
 570         subf    r4,r3,r4
 571         add     r4,r4,r5
 572         srwi.   r4,r4,L1_CACHE_SHIFT
 573         beqlr
 574         mtctr   r4
 575
 576 1:      dcbi    0,r3
 577         addi    r3,r3,L1_CACHE_BYTES
 578         bdnz    1b
 579         sync                            /* wait for dcbi's to get to ram */
 580         blr
 581
 582 /*
 583  * Flush a particular page from the data cache to RAM.
 584  * Note: this is necessary because the instruction cache does *not*
 585  * snoop from the data cache.
 586  * This is a no-op on the 601 which has a unified cache.
 587  *
 588  *      void __flush_dcache_icache(void *page)
 589  */
 590 _GLOBAL(__flush_dcache_icache)
 591 BEGIN_FTR_SECTION
 592         blr                                     /* for 601, do nothing */
 593 END_FTR_SECTION_IFCLR(CPU_FTR_SPLIT_ID_CACHE)
 594         rlwinm  r3,r3,0,0,19                    /* Get page base address */
 595         li      r4,4096/L1_CACHE_BYTES  /* Number of lines in a page */
 596         mtctr   r4
 597         mr      r6,r3
 598 0:      dcbst   0,r3                            /* Write line to ram */
 599         addi    r3,r3,L1_CACHE_BYTES
 600         bdnz    0b
 601         sync
 602         mtctr   r4
 603 1:      icbi    0,r6
 604         addi    r6,r6,L1_CACHE_BYTES
 605         bdnz    1b
 606         sync
 607         isync
 608         blr
 609
 610 /*
 611  * Flush a particular page from the data cache to RAM, identified
 612  * by its physical address.  We turn off the MMU so we can just use
 613  * the physical address (this may be a highmem page without a kernel
 614  * mapping).
 615  *
 616  *      void __flush_dcache_icache_phys(unsigned long physaddr)
 617  */
 618 _GLOBAL(__flush_dcache_icache_phys)
 619 BEGIN_FTR_SECTION
 620         blr                                     /* for 601, do nothing */
 621 END_FTR_SECTION_IFCLR(CPU_FTR_SPLIT_ID_CACHE)
 622         mfmsr   r10
 623         rlwinm  r0,r10,0,28,26                  /* clear DR */
 624         mtmsr   r0
 625         isync
 626         rlwinm  r3,r3,0,0,19                    /* Get page base address */
 627         li      r4,4096/L1_CACHE_BYTES  /* Number of lines in a page */
 628         mtctr   r4
 629         mr      r6,r3
 630 0:      dcbst   0,r3                            /* Write line to ram */
 631         addi    r3,r3,L1_CACHE_BYTES
 632         bdnz    0b
 633         sync
 634         mtctr   r4
 635 1:      icbi    0,r6
 636         addi    r6,r6,L1_CACHE_BYTES
 637         bdnz    1b
 638         sync
 639         mtmsr   r10                             /* restore DR */
 640         isync
 641         blr
 642
 643 /*
 644  * Clear pages using the dcbz instruction, which doesn't cause any
 645  * memory traffic (except to write out any cache lines which get
 646  * displaced).  This only works on cacheable memory.
 647  *
 648  * void clear_pages(void *page, int order) ;
 649  */
 650 _GLOBAL(clear_pages)
 651         li      r0,4096/L1_CACHE_BYTES
 652         slw     r0,r0,r4
 653         mtctr   r0
 654 #ifdef CONFIG_8xx
 655         li      r4, 0
 656 1:      stw     r4, 0(r3)
 657         stw     r4, 4(r3)
 658         stw     r4, 8(r3)
 659         stw     r4, 12(r3)
 660 #else
 661 1:      dcbz    0,r3
 662 #endif
 663         addi    r3,r3,L1_CACHE_BYTES
 664         bdnz    1b
 665         blr
 666
 667 /*
 668  * Copy a whole page.  We use the dcbz instruction on the destination
 669  * to reduce memory traffic (it eliminates the unnecessary reads of
 670  * the destination into cache).  This requires that the destination
 671  * is cacheable.
 672  */
 673 #define COPY_16_BYTES           \
 674         lwz     r6,4(r4);       \
 675         lwz     r7,8(r4);       \
 676         lwz     r8,12(r4);      \
 677         lwzu    r9,16(r4);      \
 678         stw     r6,4(r3);       \
 679         stw     r7,8(r3);       \
 680         stw     r8,12(r3);      \
 681         stwu    r9,16(r3)
 682
 683 _GLOBAL(copy_page)
 684         addi    r3,r3,-4
 685         addi    r4,r4,-4
 686
 687 #ifdef CONFIG_8xx
 688         /* don't use prefetch on 8xx */
 689         li      r0,4096/L1_CACHE_BYTES
 690         mtctr   r0
 691 1:      COPY_16_BYTES
 692         bdnz    1b
 693         blr
 694
 695 #else   /* not 8xx, we can prefetch */
 696         li      r5,4
 697
 698 #if MAX_COPY_PREFETCH > 1
 699         li      r0,MAX_COPY_PREFETCH
 700         li      r11,4
 701         mtctr   r0
 702 11:     dcbt    r11,r4
 703         addi    r11,r11,L1_CACHE_BYTES
 704         bdnz    11b
 705 #else /* MAX_COPY_PREFETCH == 1 */
 706         dcbt    r5,r4
 707         li      r11,L1_CACHE_BYTES+4
 708 #endif /* MAX_COPY_PREFETCH */
 709         li      r0,4096/L1_CACHE_BYTES - MAX_COPY_PREFETCH
 710         crclr   4*cr0+eq
 711 2:
 712         mtctr   r0
 713 1:
 714         dcbt    r11,r4
 715         dcbz    r5,r3
 716         COPY_16_BYTES
 717 #if L1_CACHE_BYTES >= 32
 718         COPY_16_BYTES
 719 #if L1_CACHE_BYTES >= 64
 720         COPY_16_BYTES
 721         COPY_16_BYTES
 722 #if L1_CACHE_BYTES >= 128
 723         COPY_16_BYTES
 724         COPY_16_BYTES
 725         COPY_16_BYTES
 726         COPY_16_BYTES
 727 #endif
 728 #endif
 729 #endif
 730         bdnz    1b
 731         beqlr
 732         crnot   4*cr0+eq,4*cr0+eq
 733         li      r0,MAX_COPY_PREFETCH
 734         li      r11,4
 735         b       2b
 736 #endif  /* CONFIG_8xx */
 737
 738 /*
 739  * void atomic_clear_mask(atomic_t mask, atomic_t *addr)
 740  * void atomic_set_mask(atomic_t mask, atomic_t *addr);
 741  */
 742 _GLOBAL(atomic_clear_mask)
 743 10:     lwarx   r5,0,r4
 744         andc    r5,r5,r3
 745         PPC405_ERR77(0,r4)
 746         stwcx.  r5,0,r4
 747         bne-    10b
 748         blr
 749 _GLOBAL(atomic_set_mask)
 750 10:     lwarx   r5,0,r4
 751         or      r5,r5,r3
 752         PPC405_ERR77(0,r4)
 753         stwcx.  r5,0,r4
 754         bne-    10b
 755         blr
 756
 757 /*
 758  * Extended precision shifts.
 759  *
 760  * Updated to be valid for shift counts from 0 to 63 inclusive.
 761  * -- Gabriel
 762  *
 763  * R3/R4 has 64 bit value
 764  * R5    has shift count
 765  * result in R3/R4
 766  *
 767  *  ashrdi3: arithmetic right shift (sign propagation)
 768  *  lshrdi3: logical right shift
 769  *  ashldi3: left shift
 770  */
 771 _GLOBAL(__ashrdi3)
 772         subfic  r6,r5,32
 773         srw     r4,r4,r5        # LSW = count > 31 ? 0 : LSW >> count
 774         addi    r7,r5,32        # could be xori, or addi with -32
 775         slw     r6,r3,r6        # t1 = count > 31 ? 0 : MSW << (32-count)
 776         rlwinm  r8,r7,0,32      # t3 = (count < 32) ? 32 : 0
 777         sraw    r7,r3,r7        # t2 = MSW >> (count-32)
 778         or      r4,r4,r6        # LSW |= t1
 779         slw     r7,r7,r8        # t2 = (count < 32) ? 0 : t2
 780         sraw    r3,r3,r5        # MSW = MSW >> count
 781         or      r4,r4,r7        # LSW |= t2
 782         blr
 783
 784 _GLOBAL(__ashldi3)
 785         subfic  r6,r5,32
 786         slw     r3,r3,r5        # MSW = count > 31 ? 0 : MSW << count
 787         addi    r7,r5,32        # could be xori, or addi with -32
 788         srw     r6,r4,r6        # t1 = count > 31 ? 0 : LSW >> (32-count)
 789         slw     r7,r4,r7        # t2 = count < 32 ? 0 : LSW << (count-32)
 790         or      r3,r3,r6        # MSW |= t1
 791         slw     r4,r4,r5        # LSW = LSW << count
 792         or      r3,r3,r7        # MSW |= t2
 793         blr
 794
 795 _GLOBAL(__lshrdi3)
 796         subfic  r6,r5,32
 797         srw     r4,r4,r5        # LSW = count > 31 ? 0 : LSW >> count
 798         addi    r7,r5,32        # could be xori, or addi with -32
 799         slw     r6,r3,r6        # t1 = count > 31 ? 0 : MSW << (32-count)
 800         srw     r7,r3,r7        # t2 = count < 32 ? 0 : MSW >> (count-32)
 801         or      r4,r4,r6        # LSW |= t1
 802         srw     r3,r3,r5        # MSW = MSW >> count
 803         or      r4,r4,r7        # LSW |= t2
 804         blr
 805
 806 _GLOBAL(abs)
 807         srawi   r4,r3,31
 808         xor     r3,r3,r4
 809         sub     r3,r3,r4
 810         blr
 811
 812 _GLOBAL(_get_SP)
 813         mr      r3,r1           /* Close enough */
 814         blr
 815
 816 /*
 817  * Create a kernel thread
 818  *   kernel_thread(fn, arg, flags)
 819  */
 820 _GLOBAL(kernel_thread)
 821         stwu    r1,-16(r1)
 822         stw     r30,8(r1)
 823         stw     r31,12(r1)
 824         mr      r30,r3          /* function */
 825         mr      r31,r4          /* argument */
 826         ori     r3,r5,CLONE_VM  /* flags */
 827         oris    r3,r3,CLONE_UNTRACED>>16
 828         li      r4,0            /* new sp (unused) */
 829         li      r0,__NR_clone
 830         sc
 831         cmpwi   0,r3,0          /* parent or child? */
 832         bne     1f              /* return if parent */
 833         li      r0,0            /* make top-level stack frame */
 834         stwu    r0,-16(r1)
 835         mtlr    r30             /* fn addr in lr */
 836         mr      r3,r31          /* load arg and call fn */
 837         PPC440EP_ERR42
 838         blrl
 839         li      r0,__NR_exit    /* exit if function returns */
 840         li      r3,0
 841         sc
 842 1:      lwz     r30,8(r1)
 843         lwz     r31,12(r1)
 844         addi    r1,r1,16
 845         blr
 846
 847 _GLOBAL(execve)
 848         li      r0,__NR_execve
 849         sc
 850         bnslr
 851         neg     r3,r3
 852         blr
 853
 854 /*
 855  * This routine is just here to keep GCC happy - sigh...
 856  */
 857 _GLOBAL(__main)
 858         blr
 859
 860 #ifdef CONFIG_KEXEC
 861         /*
 862          * Must be relocatable PIC code callable as a C function.
 863          */
 864         .globl relocate_new_kernel
 865 relocate_new_kernel:
 866         /* r3 = page_list   */
 867         /* r4 = reboot_code_buffer */
 868         /* r5 = start_address      */
 869
 870         li      r0, 0
 871
 872         /*
 873          * Set Machine Status Register to a known status,
 874          * switch the MMU off and jump to 1: in a single step.
 875          */
 876
 877         mr      r8, r0
 878         ori     r8, r8, MSR_RI|MSR_ME
 879         mtspr   SPRN_SRR1, r8
 880         addi    r8, r4, 1f - relocate_new_kernel
 881         mtspr   SPRN_SRR0, r8
 882         sync
 883         rfi
 884
 885 1:
 886         /* from this point address translation is turned off */
 887         /* and interrupts are disabled */
 888
 889         /* set a new stack at the bottom of our page... */
 890         /* (not really needed now) */
 891         addi    r1, r4, KEXEC_CONTROL_CODE_SIZE - 8 /* for LR Save+Back Chain */
 892         stw     r0, 0(r1)
 893
 894         /* Do the copies */
 895         li      r6, 0 /* checksum */
 896         mr      r0, r3
 897         b       1f
 898
 899 0:      /* top, read another word for the indirection page */
 900         lwzu    r0, 4(r3)
 901
 902 1:
 903         /* is it a destination page? (r8) */
 904         rlwinm. r7, r0, 0, 31, 31 /* IND_DESTINATION (1<<0) */
 905         beq     2f
 906
 907         rlwinm  r8, r0, 0, 0, 19 /* clear kexec flags, page align */
 908         b       0b
 909
 910 2:      /* is it an indirection page? (r3) */
 911         rlwinm. r7, r0, 0, 30, 30 /* IND_INDIRECTION (1<<1) */
 912         beq     2f
 913
 914         rlwinm  r3, r0, 0, 0, 19 /* clear kexec flags, page align */
 915         subi    r3, r3, 4
 916         b       0b
 917
 918 2:      /* are we done? */
 919         rlwinm. r7, r0, 0, 29, 29 /* IND_DONE (1<<2) */
 920         beq     2f
 921         b       3f
 922
 923 2:      /* is it a source page? (r9) */
 924         rlwinm. r7, r0, 0, 28, 28 /* IND_SOURCE (1<<3) */
 925         beq     0b
 926
 927         rlwinm  r9, r0, 0, 0, 19 /* clear kexec flags, page align */
 928
 929         li      r7, PAGE_SIZE / 4
 930         mtctr   r7
 931         subi    r9, r9, 4
 932         subi    r8, r8, 4
 933 9:
 934         lwzu    r0, 4(r9)  /* do the copy */
 935         xor     r6, r6, r0
 936         stwu    r0, 4(r8)
 937         dcbst   0, r8
 938         sync
 939         icbi    0, r8
 940         bdnz    9b
 941
 942         addi    r9, r9, 4
 943         addi    r8, r8, 4
 944         b       0b
 945
 946 3:
 947
 948         /* To be certain of avoiding problems with self-modifying code
 949          * execute a serializing instruction here.
 950          */
 951         isync
 952         sync
 953
 954         /* jump to the entry point, usually the setup routine */
 955         mtlr    r5
 956         blrl
 957
 958 1:      b       1b
 959
 960 relocate_new_kernel_end:
 961
 962         .globl relocate_new_kernel_size
 963 relocate_new_kernel_size:
 964         .long relocate_new_kernel_end - relocate_new_kernel
 965 #endif