arch/powerpc/kernel/entry_32.S

   1 /*
   2  *  PowerPC version
   3  *    Copyright (C) 1995-1996 Gary Thomas (gdt@linuxppc.org)
   4  *  Rewritten by Cort Dougan (cort@fsmlabs.com) for PReP
   5  *    Copyright (C) 1996 Cort Dougan <cort@fsmlabs.com>
   6  *  Adapted for Power Macintosh by Paul Mackerras.
   7  *  Low-level exception handlers and MMU support
   8  *  rewritten by Paul Mackerras.
   9  *    Copyright (C) 1996 Paul Mackerras.
  10  *  MPC8xx modifications Copyright (C) 1997 Dan Malek (dmalek@jlc.net).
  11  *
  12  *  This file contains the system call entry code, context switch
  13  *  code, and exception/interrupt return code for PowerPC.
  14  *
  15  *  This program is free software; you can redistribute it and/or
  16  *  modify it under the terms of the GNU General Public License
  17  *  as published by the Free Software Foundation; either version
  18  *  2 of the License, or (at your option) any later version.
  19  *
  20  */
  21
  22 #include <linux/errno.h>
  23 #include <linux/sys.h>
  24 #include <linux/threads.h>
  25 #include <asm/reg.h>
  26 #include <asm/page.h>
  27 #include <asm/mmu.h>
  28 #include <asm/cputable.h>
  29 #include <asm/thread_info.h>
  30 #include <asm/ppc_asm.h>
  31 #include <asm/asm-offsets.h>
  32 #include <asm/unistd.h>
  33
  34 #undef SHOW_SYSCALLS
  35 #undef SHOW_SYSCALLS_TASK
  36
  37 /*
  38  * MSR_KERNEL is > 0x10000 on 4xx/Book-E since it include MSR_CE.
  39  */
  40 #if MSR_KERNEL >= 0x10000
  41 #define LOAD_MSR_KERNEL(r, x)   lis r,(x)@h; ori r,r,(x)@l
  42 #else
  43 #define LOAD_MSR_KERNEL(r, x)   li r,(x)
  44 #endif
  45
  46 #ifdef CONFIG_BOOKE
  47 #include "head_booke.h"
  48 #define TRANSFER_TO_HANDLER_EXC_LEVEL(exc_level)        \
  49         mtspr   exc_level##_SPRG,r8;                    \
  50         BOOKE_LOAD_EXC_LEVEL_STACK(exc_level);          \
  51         lwz     r0,GPR10-INT_FRAME_SIZE(r8);            \
  52         stw     r0,GPR10(r11);                          \
  53         lwz     r0,GPR11-INT_FRAME_SIZE(r8);            \
  54         stw     r0,GPR11(r11);                          \
  55         mfspr   r8,exc_level##_SPRG
  56
  57         .globl  mcheck_transfer_to_handler
  58 mcheck_transfer_to_handler:
  59         TRANSFER_TO_HANDLER_EXC_LEVEL(MCHECK)
  60         b       transfer_to_handler_full
  61
  62         .globl  debug_transfer_to_handler
  63 debug_transfer_to_handler:
  64         TRANSFER_TO_HANDLER_EXC_LEVEL(DEBUG)
  65         b       transfer_to_handler_full
  66
  67         .globl  crit_transfer_to_handler
  68 crit_transfer_to_handler:
  69         TRANSFER_TO_HANDLER_EXC_LEVEL(CRIT)
  70         /* fall through */
  71 #endif
  72
  73 #ifdef CONFIG_40x
  74         .globl  crit_transfer_to_handler
  75 crit_transfer_to_handler:
  76         lwz     r0,crit_r10@l(0)
  77         stw     r0,GPR10(r11)
  78         lwz     r0,crit_r11@l(0)
  79         stw     r0,GPR11(r11)
  80         /* fall through */
  81 #endif
  82
  83 /*
  84  * This code finishes saving the registers to the exception frame
  85  * and jumps to the appropriate handler for the exception, turning
  86  * on address translation.
  87  * Note that we rely on the caller having set cr0.eq iff the exception
  88  * occurred in kernel mode (i.e. MSR:PR = 0).
  89  */
  90         .globl  transfer_to_handler_full
  91 transfer_to_handler_full:
  92         SAVE_NVGPRS(r11)
  93         /* fall through */
  94
  95         .globl  transfer_to_handler
  96 transfer_to_handler:
  97         stw     r2,GPR2(r11)
  98         stw     r12,_NIP(r11)
  99         stw     r9,_MSR(r11)
 100         andi.   r2,r9,MSR_PR
 101         mfctr   r12
 102         mfspr   r2,SPRN_XER
 103         stw     r12,_CTR(r11)
 104         stw     r2,_XER(r11)
 105         mfspr   r12,SPRN_SPRG3
 106         addi    r2,r12,-THREAD
 107         tovirt(r2,r2)                   /* set r2 to current */
 108         beq     2f                      /* if from user, fix up THREAD.regs */
 109         addi    r11,r1,STACK_FRAME_OVERHEAD
 110         stw     r11,PT_REGS(r12)
 111 #if defined(CONFIG_40x) || defined(CONFIG_BOOKE)
 112         /* Check to see if the dbcr0 register is set up to debug.  Use the
 113            internal debug mode bit to do this. */
 114         lwz     r12,THREAD_DBCR0(r12)
 115         andis.  r12,r12,DBCR0_IDM@h
 116         beq+    3f
 117         /* From user and task is ptraced - load up global dbcr0 */
 118         li      r12,-1                  /* clear all pending debug events */
 119         mtspr   SPRN_DBSR,r12
 120         lis     r11,global_dbcr0@ha
 121         tophys(r11,r11)
 122         addi    r11,r11,global_dbcr0@l
 123 #ifdef CONFIG_SMP
 124         rlwinm  r9,r1,0,0,(31-THREAD_SHIFT)
 125         lwz     r9,TI_CPU(r9)
 126         slwi    r9,r9,3
 127         add     r11,r11,r9
 128 #endif
 129         lwz     r12,0(r11)
 130         mtspr   SPRN_DBCR0,r12
 131         lwz     r12,4(r11)
 132         addi    r12,r12,-1
 133         stw     r12,4(r11)
 134 #endif
 135         b       3f
 136
 137 2:      /* if from kernel, check interrupted DOZE/NAP mode and
 138          * check for stack overflow
 139          */
 140         lwz     r9,THREAD_INFO-THREAD(r12)
 141         cmplw   r1,r9                   /* if r1 <= current->thread_info */
 142         ble-    stack_ovf               /* then the kernel stack overflowed */
 143 5:
 144 #ifdef CONFIG_6xx
 145         tophys(r9,r9)                   /* check local flags */
 146         lwz     r12,TI_LOCAL_FLAGS(r9)
 147         mtcrf   0x01,r12
 148         bt-     31-TLF_NAPPING,4f
 149 #endif /* CONFIG_6xx */
 150         .globl transfer_to_handler_cont
 151 transfer_to_handler_cont:
 152 3:
 153         mflr    r9
 154         lwz     r11,0(r9)               /* virtual address of handler */
 155         lwz     r9,4(r9)                /* where to go when done */
 156         mtspr   SPRN_SRR0,r11
 157         mtspr   SPRN_SRR1,r10
 158         mtlr    r9
 159         SYNC
 160         RFI                             /* jump to handler, enable MMU */
 161
 162 #ifdef CONFIG_6xx
 163 4:      rlwinm  r12,r12,0,~_TLF_NAPPING
 164         stw     r12,TI_LOCAL_FLAGS(r9)
 165         b       power_save_6xx_restore
 166 #endif
 167
 168 /*
 169  * On kernel stack overflow, load up an initial stack pointer
 170  * and call StackOverflow(regs), which should not return.
 171  */
 172 stack_ovf:
 173         /* sometimes we use a statically-allocated stack, which is OK. */
 174         lis     r12,_end@h
 175         ori     r12,r12,_end@l
 176         cmplw   r1,r12
 177         ble     5b                      /* r1 <= &_end is OK */
 178         SAVE_NVGPRS(r11)
 179         addi    r3,r1,STACK_FRAME_OVERHEAD
 180         lis     r1,init_thread_union@ha
 181         addi    r1,r1,init_thread_union@l
 182         addi    r1,r1,THREAD_SIZE-STACK_FRAME_OVERHEAD
 183         lis     r9,StackOverflow@ha
 184         addi    r9,r9,StackOverflow@l
 185         LOAD_MSR_KERNEL(r10,MSR_KERNEL)
 186         FIX_SRR1(r10,r12)
 187         mtspr   SPRN_SRR0,r9
 188         mtspr   SPRN_SRR1,r10
 189         SYNC
 190         RFI
 191
 192 /*
 193  * Handle a system call.
 194  */
 195         .stabs  "arch/powerpc/kernel/",N_SO,0,0,0f
 196         .stabs  "entry_32.S",N_SO,0,0,0f
 197 0:
 198
 199 _GLOBAL(DoSyscall)
 200         stw     r3,ORIG_GPR3(r1)
 201         li      r12,0
 202         stw     r12,RESULT(r1)
 203         lwz     r11,_CCR(r1)    /* Clear SO bit in CR */
 204         rlwinm  r11,r11,0,4,2
 205         stw     r11,_CCR(r1)
 206 #ifdef SHOW_SYSCALLS
 207         bl      do_show_syscall
 208 #endif /* SHOW_SYSCALLS */
 209         rlwinm  r10,r1,0,0,(31-THREAD_SHIFT)    /* current_thread_info() */
 210         lwz     r11,TI_FLAGS(r10)
 211         andi.   r11,r11,_TIF_SYSCALL_T_OR_A
 212         bne-    syscall_dotrace
 213 syscall_dotrace_cont:
 214         cmplwi  0,r0,NR_syscalls
 215         lis     r10,sys_call_table@h
 216         ori     r10,r10,sys_call_table@l
 217         slwi    r0,r0,2
 218         bge-    66f
 219         lwzx    r10,r10,r0      /* Fetch system call handler [ptr] */
 220         mtlr    r10
 221         addi    r9,r1,STACK_FRAME_OVERHEAD
 222         PPC440EP_ERR42
 223         blrl                    /* Call handler */
 224         .globl  ret_from_syscall
 225 ret_from_syscall:
 226 #ifdef SHOW_SYSCALLS
 227         bl      do_show_syscall_exit
 228 #endif
 229         mr      r6,r3
 230         rlwinm  r12,r1,0,0,(31-THREAD_SHIFT)    /* current_thread_info() */
 231         /* disable interrupts so current_thread_info()->flags can't change */
 232         LOAD_MSR_KERNEL(r10,MSR_KERNEL) /* doesn't include MSR_EE */
 233         SYNC
 234         MTMSRD(r10)
 235         lwz     r9,TI_FLAGS(r12)
 236         li      r8,-_LAST_ERRNO
 237         andi.   r0,r9,(_TIF_SYSCALL_T_OR_A|_TIF_SINGLESTEP|_TIF_USER_WORK_MASK|_TIF_PERSYSCALL_MASK)
 238         bne-    syscall_exit_work
 239         cmplw   0,r3,r8
 240         blt+    syscall_exit_cont
 241         lwz     r11,_CCR(r1)                    /* Load CR */
 242         neg     r3,r3
 243         oris    r11,r11,0x1000  /* Set SO bit in CR */
 244         stw     r11,_CCR(r1)
 245 syscall_exit_cont:
 246 #if defined(CONFIG_4xx) || defined(CONFIG_BOOKE)
 247         /* If the process has its own DBCR0 value, load it up.  The internal
 248            debug mode bit tells us that dbcr0 should be loaded. */
 249         lwz     r0,THREAD+THREAD_DBCR0(r2)
 250         andis.  r10,r0,DBCR0_IDM@h
 251         bnel-   load_dbcr0
 252 #endif
 253 #ifdef CONFIG_44x
 254         lis     r4,icache_44x_need_flush@ha
 255         lwz     r5,icache_44x_need_flush@l(r4)
 256         cmplwi  cr0,r5,0
 257         bne-    2f
 258 1:
 259 #endif /* CONFIG_44x */
 260 BEGIN_FTR_SECTION
 261         lwarx   r7,0,r1
 262 END_FTR_SECTION_IFSET(CPU_FTR_NEED_PAIRED_STWCX)
 263         stwcx.  r0,0,r1                 /* to clear the reservation */
 264         lwz     r4,_LINK(r1)
 265         lwz     r5,_CCR(r1)
 266         mtlr    r4
 267         mtcr    r5
 268         lwz     r7,_NIP(r1)
 269         lwz     r8,_MSR(r1)
 270         FIX_SRR1(r8, r0)
 271         lwz     r2,GPR2(r1)
 272         lwz     r1,GPR1(r1)
 273         mtspr   SPRN_SRR0,r7
 274         mtspr   SPRN_SRR1,r8
 275         SYNC
 276         RFI
 277 #ifdef CONFIG_44x
 278 2:      li      r7,0
 279         iccci   r0,r0
 280         stw     r7,icache_44x_need_flush@l(r4)
 281         b       1b
 282 #endif  /* CONFIG_44x */
 283
 284 66:     li      r3,-ENOSYS
 285         b       ret_from_syscall
 286
 287         .globl  ret_from_fork
 288 ret_from_fork:
 289         REST_NVGPRS(r1)
 290         bl      schedule_tail
 291         li      r3,0
 292         b       ret_from_syscall
 293
 294 /* Traced system call support */
 295 syscall_dotrace:
 296         SAVE_NVGPRS(r1)
 297         li      r0,0xc00
 298         stw     r0,_TRAP(r1)
 299         addi    r3,r1,STACK_FRAME_OVERHEAD
 300         bl      do_syscall_trace_enter
 301         lwz     r0,GPR0(r1)     /* Restore original registers */
 302         lwz     r3,GPR3(r1)
 303         lwz     r4,GPR4(r1)
 304         lwz     r5,GPR5(r1)
 305         lwz     r6,GPR6(r1)
 306         lwz     r7,GPR7(r1)
 307         lwz     r8,GPR8(r1)
 308         REST_NVGPRS(r1)
 309         b       syscall_dotrace_cont
 310
 311 syscall_exit_work:
 312         andi.   r0,r9,_TIF_RESTOREALL
 313         beq+    0f
 314         REST_NVGPRS(r1)
 315         b       2f
 316 0:      cmplw   0,r3,r8
 317         blt+    1f
 318         andi.   r0,r9,_TIF_NOERROR
 319         bne-    1f
 320         lwz     r11,_CCR(r1)                    /* Load CR */
 321         neg     r3,r3
 322         oris    r11,r11,0x1000  /* Set SO bit in CR */
 323         stw     r11,_CCR(r1)
 324
 325 1:      stw     r6,RESULT(r1)   /* Save result */
 326         stw     r3,GPR3(r1)     /* Update return value */
 327 2:      andi.   r0,r9,(_TIF_PERSYSCALL_MASK)
 328         beq     4f
 329
 330         /* Clear per-syscall TIF flags if any are set.  */
 331
 332         li      r11,_TIF_PERSYSCALL_MASK
 333         addi    r12,r12,TI_FLAGS
 334 3:      lwarx   r8,0,r12
 335         andc    r8,r8,r11
 336 #ifdef CONFIG_IBM405_ERR77
 337         dcbt    0,r12
 338 #endif
 339         stwcx.  r8,0,r12
 340         bne-    3b
 341         subi    r12,r12,TI_FLAGS
 342
 343 4:      /* Anything which requires enabling interrupts? */
 344         andi.   r0,r9,(_TIF_SYSCALL_T_OR_A|_TIF_SINGLESTEP)
 345         beq     ret_from_except
 346
 347         /* Re-enable interrupts */
 348         ori     r10,r10,MSR_EE
 349         SYNC
 350         MTMSRD(r10)
 351
 352         /* Save NVGPRS if they're not saved already */
 353         lwz     r4,_TRAP(r1)
 354         andi.   r4,r4,1
 355         beq     5f
 356         SAVE_NVGPRS(r1)
 357         li      r4,0xc00
 358         stw     r4,_TRAP(r1)
 359 5:
 360         addi    r3,r1,STACK_FRAME_OVERHEAD
 361         bl      do_syscall_trace_leave
 362         b       ret_from_except_full
 363
 364 #ifdef SHOW_SYSCALLS
 365 do_show_syscall:
 366 #ifdef SHOW_SYSCALLS_TASK
 367         lis     r11,show_syscalls_task@ha
 368         lwz     r11,show_syscalls_task@l(r11)
 369         cmp     0,r2,r11
 370         bnelr
 371 #endif
 372         stw     r31,GPR31(r1)
 373         mflr    r31
 374         lis     r3,7f@ha
 375         addi    r3,r3,7f@l
 376         lwz     r4,GPR0(r1)
 377         lwz     r5,GPR3(r1)
 378         lwz     r6,GPR4(r1)
 379         lwz     r7,GPR5(r1)
 380         lwz     r8,GPR6(r1)
 381         lwz     r9,GPR7(r1)
 382         bl      printk
 383         lis     r3,77f@ha
 384         addi    r3,r3,77f@l
 385         lwz     r4,GPR8(r1)
 386         mr      r5,r2
 387         bl      printk
 388         lwz     r0,GPR0(r1)
 389         lwz     r3,GPR3(r1)
 390         lwz     r4,GPR4(r1)
 391         lwz     r5,GPR5(r1)
 392         lwz     r6,GPR6(r1)
 393         lwz     r7,GPR7(r1)
 394         lwz     r8,GPR8(r1)
 395         mtlr    r31
 396         lwz     r31,GPR31(r1)
 397         blr
 398
 399 do_show_syscall_exit:
 400 #ifdef SHOW_SYSCALLS_TASK
 401         lis     r11,show_syscalls_task@ha
 402         lwz     r11,show_syscalls_task@l(r11)
 403         cmp     0,r2,r11
 404         bnelr
 405 #endif
 406         stw     r31,GPR31(r1)
 407         mflr    r31
 408         stw     r3,RESULT(r1)   /* Save result */
 409         mr      r4,r3
 410         lis     r3,79f@ha
 411         addi    r3,r3,79f@l
 412         bl      printk
 413         lwz     r3,RESULT(r1)
 414         mtlr    r31
 415         lwz     r31,GPR31(r1)
 416         blr
 417
 418 7:      .string "syscall %d(%x, %x, %x, %x, %x, "
 419 77:     .string "%x), current=%p\n"
 420 79:     .string " -> %x\n"
 421         .align  2,0
 422
 423 #ifdef SHOW_SYSCALLS_TASK
 424         .data
 425         .globl  show_syscalls_task
 426 show_syscalls_task:
 427         .long   -1
 428         .text
 429 #endif
 430 #endif /* SHOW_SYSCALLS */
 431
 432 /*
 433  * The fork/clone functions need to copy the full register set into
 434  * the child process. Therefore we need to save all the nonvolatile
 435  * registers (r13 - r31) before calling the C code.
 436  */
 437         .globl  ppc_fork
 438 ppc_fork:
 439         SAVE_NVGPRS(r1)
 440         lwz     r0,_TRAP(r1)
 441         rlwinm  r0,r0,0,0,30            /* clear LSB to indicate full */
 442         stw     r0,_TRAP(r1)            /* register set saved */
 443         b       sys_fork
 444
 445         .globl  ppc_vfork
 446 ppc_vfork:
 447         SAVE_NVGPRS(r1)
 448         lwz     r0,_TRAP(r1)
 449         rlwinm  r0,r0,0,0,30            /* clear LSB to indicate full */
 450         stw     r0,_TRAP(r1)            /* register set saved */
 451         b       sys_vfork
 452
 453         .globl  ppc_clone
 454 ppc_clone:
 455         SAVE_NVGPRS(r1)
 456         lwz     r0,_TRAP(r1)
 457         rlwinm  r0,r0,0,0,30            /* clear LSB to indicate full */
 458         stw     r0,_TRAP(r1)            /* register set saved */
 459         b       sys_clone
 460
 461         .globl  ppc_swapcontext
 462 ppc_swapcontext:
 463         SAVE_NVGPRS(r1)
 464         lwz     r0,_TRAP(r1)
 465         rlwinm  r0,r0,0,0,30            /* clear LSB to indicate full */
 466         stw     r0,_TRAP(r1)            /* register set saved */
 467         b       sys_swapcontext
 468
 469 /*
 470  * Top-level page fault handling.
 471  * This is in assembler because if do_page_fault tells us that
 472  * it is a bad kernel page fault, we want to save the non-volatile
 473  * registers before calling bad_page_fault.
 474  */
 475         .globl  handle_page_fault
 476 handle_page_fault:
 477         stw     r4,_DAR(r1)
 478         addi    r3,r1,STACK_FRAME_OVERHEAD
 479         bl      do_page_fault
 480         cmpwi   r3,0
 481         beq+    ret_from_except
 482         SAVE_NVGPRS(r1)
 483         lwz     r0,_TRAP(r1)
 484         clrrwi  r0,r0,1
 485         stw     r0,_TRAP(r1)
 486         mr      r5,r3
 487         addi    r3,r1,STACK_FRAME_OVERHEAD
 488         lwz     r4,_DAR(r1)
 489         bl      bad_page_fault
 490         b       ret_from_except_full
 491
 492 /*
 493  * This routine switches between two different tasks.  The process
 494  * state of one is saved on its kernel stack.  Then the state
 495  * of the other is restored from its kernel stack.  The memory
 496  * management hardware is updated to the second process's state.
 497  * Finally, we can return to the second process.
 498  * On entry, r3 points to the THREAD for the current task, r4
 499  * points to the THREAD for the new task.
 500  *
 501  * This routine is always called with interrupts disabled.
 502  *
 503  * Note: there are two ways to get to the "going out" portion
 504  * of this code; either by coming in via the entry (_switch)
 505  * or via "fork" which must set up an environment equivalent
 506  * to the "_switch" path.  If you change this , you'll have to
 507  * change the fork code also.
 508  *
 509  * The code which creates the new task context is in 'copy_thread'
 510  * in arch/ppc/kernel/process.c
 511  */
 512 _GLOBAL(_switch)
 513         stwu    r1,-INT_FRAME_SIZE(r1)
 514         mflr    r0
 515         stw     r0,INT_FRAME_SIZE+4(r1)
 516         /* r3-r12 are caller saved -- Cort */
 517         SAVE_NVGPRS(r1)
 518         stw     r0,_NIP(r1)     /* Return to switch caller */
 519         mfmsr   r11
 520         li      r0,MSR_FP       /* Disable floating-point */
 521 #ifdef CONFIG_ALTIVEC
 522 BEGIN_FTR_SECTION
 523         oris    r0,r0,MSR_VEC@h /* Disable altivec */
 524         mfspr   r12,SPRN_VRSAVE /* save vrsave register value */
 525         stw     r12,THREAD+THREAD_VRSAVE(r2)
 526 END_FTR_SECTION_IFSET(CPU_FTR_ALTIVEC)
 527 #endif /* CONFIG_ALTIVEC */
 528 #ifdef CONFIG_SPE
 529 BEGIN_FTR_SECTION
 530         oris    r0,r0,MSR_SPE@h  /* Disable SPE */
 531         mfspr   r12,SPRN_SPEFSCR /* save spefscr register value */
 532         stw     r12,THREAD+THREAD_SPEFSCR(r2)
 533 END_FTR_SECTION_IFSET(CPU_FTR_SPE)
 534 #endif /* CONFIG_SPE */
 535         and.    r0,r0,r11       /* FP or altivec or SPE enabled? */
 536         beq+    1f
 537         andc    r11,r11,r0
 538         MTMSRD(r11)
 539         isync
 540 1:      stw     r11,_MSR(r1)
 541         mfcr    r10
 542         stw     r10,_CCR(r1)
 543         stw     r1,KSP(r3)      /* Set old stack pointer */
 544
 545 #ifdef CONFIG_SMP
 546         /* We need a sync somewhere here to make sure that if the
 547          * previous task gets rescheduled on another CPU, it sees all
 548          * stores it has performed on this one.
 549          */
 550         sync
 551 #endif /* CONFIG_SMP */
 552
 553         tophys(r0,r4)
 554         CLR_TOP32(r0)
 555         mtspr   SPRN_SPRG3,r0   /* Update current THREAD phys addr */
 556         lwz     r1,KSP(r4)      /* Load new stack pointer */
 557
 558         /* save the old current 'last' for return value */
 559         mr      r3,r2
 560         addi    r2,r4,-THREAD   /* Update current */
 561
 562 #ifdef CONFIG_ALTIVEC
 563 BEGIN_FTR_SECTION
 564         lwz     r0,THREAD+THREAD_VRSAVE(r2)
 565         mtspr   SPRN_VRSAVE,r0          /* if G4, restore VRSAVE reg */
 566 END_FTR_SECTION_IFSET(CPU_FTR_ALTIVEC)
 567 #endif /* CONFIG_ALTIVEC */
 568 #ifdef CONFIG_SPE
 569 BEGIN_FTR_SECTION
 570         lwz     r0,THREAD+THREAD_SPEFSCR(r2)
 571         mtspr   SPRN_SPEFSCR,r0         /* restore SPEFSCR reg */
 572 END_FTR_SECTION_IFSET(CPU_FTR_SPE)
 573 #endif /* CONFIG_SPE */
 574
 575         lwz     r0,_CCR(r1)
 576         mtcrf   0xFF,r0
 577         /* r3-r12 are destroyed -- Cort */
 578         REST_NVGPRS(r1)
 579
 580         lwz     r4,_NIP(r1)     /* Return to _switch caller in new task */
 581         mtlr    r4
 582         addi    r1,r1,INT_FRAME_SIZE
 583         blr
 584
 585         .globl  fast_exception_return
 586 fast_exception_return:
 587 #if !(defined(CONFIG_4xx) || defined(CONFIG_BOOKE))
 588         andi.   r10,r9,MSR_RI           /* check for recoverable interrupt */
 589         beq     1f                      /* if not, we've got problems */
 590 #endif
 591
 592 2:      REST_4GPRS(3, r11)
 593         lwz     r10,_CCR(r11)
 594         REST_GPR(1, r11)
 595         mtcr    r10
 596         lwz     r10,_LINK(r11)
 597         mtlr    r10
 598         REST_GPR(10, r11)
 599         mtspr   SPRN_SRR1,r9
 600         mtspr   SPRN_SRR0,r12
 601         REST_GPR(9, r11)
 602         REST_GPR(12, r11)
 603         lwz     r11,GPR11(r11)
 604         SYNC
 605         RFI
 606
 607 #if !(defined(CONFIG_4xx) || defined(CONFIG_BOOKE))
 608 /* check if the exception happened in a restartable section */
 609 1:      lis     r3,exc_exit_restart_end@ha
 610         addi    r3,r3,exc_exit_restart_end@l
 611         cmplw   r12,r3
 612         bge     3f
 613         lis     r4,exc_exit_restart@ha
 614         addi    r4,r4,exc_exit_restart@l
 615         cmplw   r12,r4
 616         blt     3f
 617         lis     r3,fee_restarts@ha
 618         tophys(r3,r3)
 619         lwz     r5,fee_restarts@l(r3)
 620         addi    r5,r5,1
 621         stw     r5,fee_restarts@l(r3)
 622         mr      r12,r4          /* restart at exc_exit_restart */
 623         b       2b
 624
 625         .section .bss
 626         .align  2
 627 fee_restarts:
 628         .space  4
 629         .previous
 630
 631 /* aargh, a nonrecoverable interrupt, panic */
 632 /* aargh, we don't know which trap this is */
 633 /* but the 601 doesn't implement the RI bit, so assume it's OK */
 634 3:
 635 BEGIN_FTR_SECTION
 636         b       2b
 637 END_FTR_SECTION_IFSET(CPU_FTR_601)
 638         li      r10,-1
 639         stw     r10,_TRAP(r11)
 640         addi    r3,r1,STACK_FRAME_OVERHEAD
 641         lis     r10,MSR_KERNEL@h
 642         ori     r10,r10,MSR_KERNEL@l
 643         bl      transfer_to_handler_full
 644         .long   nonrecoverable_exception
 645         .long   ret_from_except
 646 #endif
 647
 648         .globl  ret_from_except_full
 649 ret_from_except_full:
 650         REST_NVGPRS(r1)
 651         /* fall through */
 652
 653         .globl  ret_from_except
 654 ret_from_except:
 655         /* Hard-disable interrupts so that current_thread_info()->flags
 656          * can't change between when we test it and when we return
 657          * from the interrupt. */
 658         LOAD_MSR_KERNEL(r10,MSR_KERNEL)
 659         SYNC                    /* Some chip revs have problems here... */
 660         MTMSRD(r10)             /* disable interrupts */
 661
 662         lwz     r3,_MSR(r1)     /* Returning to user mode? */
 663         andi.   r0,r3,MSR_PR
 664         beq     resume_kernel
 665
 666 user_exc_return:                /* r10 contains MSR_KERNEL here */
 667         /* Check current_thread_info()->flags */
 668         rlwinm  r9,r1,0,0,(31-THREAD_SHIFT)
 669         lwz     r9,TI_FLAGS(r9)
 670         andi.   r0,r9,(_TIF_SIGPENDING|_TIF_RESTORE_SIGMASK|_TIF_NEED_RESCHED)
 671         bne     do_work
 672
 673 restore_user:
 674 #if defined(CONFIG_4xx) || defined(CONFIG_BOOKE)
 675         /* Check whether this process has its own DBCR0 value.  The internal
 676            debug mode bit tells us that dbcr0 should be loaded. */
 677         lwz     r0,THREAD+THREAD_DBCR0(r2)
 678         andis.  r10,r0,DBCR0_IDM@h
 679         bnel-   load_dbcr0
 680 #endif
 681
 682 #ifdef CONFIG_PREEMPT
 683         b       restore
 684
 685 /* N.B. the only way to get here is from the beq following ret_from_except. */
 686 resume_kernel:
 687         /* check current_thread_info->preempt_count */
 688         rlwinm  r9,r1,0,0,(31-THREAD_SHIFT)
 689         lwz     r0,TI_PREEMPT(r9)
 690         cmpwi   0,r0,0          /* if non-zero, just restore regs and return */
 691         bne     restore
 692         lwz     r0,TI_FLAGS(r9)
 693         andi.   r0,r0,_TIF_NEED_RESCHED
 694         beq+    restore
 695         andi.   r0,r3,MSR_EE    /* interrupts off? */
 696         beq     restore         /* don't schedule if so */
 697 1:      bl      preempt_schedule_irq
 698         rlwinm  r9,r1,0,0,(31-THREAD_SHIFT)
 699         lwz     r3,TI_FLAGS(r9)
 700         andi.   r0,r3,_TIF_NEED_RESCHED
 701         bne-    1b
 702 #else
 703 resume_kernel:
 704 #endif /* CONFIG_PREEMPT */
 705
 706         /* interrupts are hard-disabled at this point */
 707 restore:
 708 #ifdef CONFIG_44x
 709         lis     r4,icache_44x_need_flush@ha
 710         lwz     r5,icache_44x_need_flush@l(r4)
 711         cmplwi  cr0,r5,0
 712         beq+    1f
 713         li      r6,0
 714         iccci   r0,r0
 715         stw     r6,icache_44x_need_flush@l(r4)
 716 1:
 717 #endif  /* CONFIG_44x */
 718         lwz     r0,GPR0(r1)
 719         lwz     r2,GPR2(r1)
 720         REST_4GPRS(3, r1)
 721         REST_2GPRS(7, r1)
 722
 723         lwz     r10,_XER(r1)
 724         lwz     r11,_CTR(r1)
 725         mtspr   SPRN_XER,r10
 726         mtctr   r11
 727
 728         PPC405_ERR77(0,r1)
 729 BEGIN_FTR_SECTION
 730         lwarx   r11,0,r1
 731 END_FTR_SECTION_IFSET(CPU_FTR_NEED_PAIRED_STWCX)
 732         stwcx.  r0,0,r1                 /* to clear the reservation */
 733
 734 #if !(defined(CONFIG_4xx) || defined(CONFIG_BOOKE))
 735         lwz     r9,_MSR(r1)
 736         andi.   r10,r9,MSR_RI           /* check if this exception occurred */
 737         beql    nonrecoverable          /* at a bad place (MSR:RI = 0) */
 738
 739         lwz     r10,_CCR(r1)
 740         lwz     r11,_LINK(r1)
 741         mtcrf   0xFF,r10
 742         mtlr    r11
 743
 744         /*
 745          * Once we put values in SRR0 and SRR1, we are in a state
 746          * where exceptions are not recoverable, since taking an
 747          * exception will trash SRR0 and SRR1.  Therefore we clear the
 748          * MSR:RI bit to indicate this.  If we do take an exception,
 749          * we can't return to the point of the exception but we
 750          * can restart the exception exit path at the label
 751          * exc_exit_restart below.  -- paulus
 752          */
 753         LOAD_MSR_KERNEL(r10,MSR_KERNEL & ~MSR_RI)
 754         SYNC
 755         MTMSRD(r10)             /* clear the RI bit */
 756         .globl exc_exit_restart
 757 exc_exit_restart:
 758         lwz     r9,_MSR(r1)
 759         lwz     r12,_NIP(r1)
 760         FIX_SRR1(r9,r10)
 761         mtspr   SPRN_SRR0,r12
 762         mtspr   SPRN_SRR1,r9
 763         REST_4GPRS(9, r1)
 764         lwz     r1,GPR1(r1)
 765         .globl exc_exit_restart_end
 766 exc_exit_restart_end:
 767         SYNC
 768         RFI
 769
 770 #else /* !(CONFIG_4xx || CONFIG_BOOKE) */
 771         /*
 772          * This is a bit different on 4xx/Book-E because it doesn't have
 773          * the RI bit in the MSR.
 774          * The TLB miss handler checks if we have interrupted
 775          * the exception exit path and restarts it if so
 776          * (well maybe one day it will... :).
 777          */
 778         lwz     r11,_LINK(r1)
 779         mtlr    r11
 780         lwz     r10,_CCR(r1)
 781         mtcrf   0xff,r10
 782         REST_2GPRS(9, r1)
 783         .globl exc_exit_restart
 784 exc_exit_restart:
 785         lwz     r11,_NIP(r1)
 786         lwz     r12,_MSR(r1)
 787 exc_exit_start:
 788         mtspr   SPRN_SRR0,r11
 789         mtspr   SPRN_SRR1,r12
 790         REST_2GPRS(11, r1)
 791         lwz     r1,GPR1(r1)
 792         .globl exc_exit_restart_end
 793 exc_exit_restart_end:
 794         PPC405_ERR77_SYNC
 795         rfi
 796         b       .                       /* prevent prefetch past rfi */
 797
 798 /*
 799  * Returning from a critical interrupt in user mode doesn't need
 800  * to be any different from a normal exception.  For a critical
 801  * interrupt in the kernel, we just return (without checking for
 802  * preemption) since the interrupt may have happened at some crucial
 803  * place (e.g. inside the TLB miss handler), and because we will be
 804  * running with r1 pointing into critical_stack, not the current
 805  * process's kernel stack (and therefore current_thread_info() will
 806  * give the wrong answer).
 807  * We have to restore various SPRs that may have been in use at the
 808  * time of the critical interrupt.
 809  *
 810  */
 811 #ifdef CONFIG_40x
 812 #define PPC_40x_TURN_OFF_MSR_DR                                             \
 813         /* avoid any possible TLB misses here by turning off MSR.DR, we     \
 814          * assume the instructions here are mapped by a pinned TLB entry */ \
 815         li      r10,MSR_IR;                                                 \
 816         mtmsr   r10;                                                        \
 817         isync;                                                              \
 818         tophys(r1, r1);
 819 #else
 820 #define PPC_40x_TURN_OFF_MSR_DR
 821 #endif
 822
 823 #define RET_FROM_EXC_LEVEL(exc_lvl_srr0, exc_lvl_srr1, exc_lvl_rfi)     \
 824         REST_NVGPRS(r1);                                                \
 825         lwz     r3,_MSR(r1);                                            \
 826         andi.   r3,r3,MSR_PR;                                           \
 827         LOAD_MSR_KERNEL(r10,MSR_KERNEL);                                \
 828         bne     user_exc_return;                                        \
 829         lwz     r0,GPR0(r1);                                            \
 830         lwz     r2,GPR2(r1);                                            \
 831         REST_4GPRS(3, r1);                                              \
 832         REST_2GPRS(7, r1);                                              \
 833         lwz     r10,_XER(r1);                                           \
 834         lwz     r11,_CTR(r1);                                           \
 835         mtspr   SPRN_XER,r10;                                           \
 836         mtctr   r11;                                                    \
 837         PPC405_ERR77(0,r1);                                             \
 838         stwcx.  r0,0,r1;                /* to clear the reservation */  \
 839         lwz     r11,_LINK(r1);                                          \
 840         mtlr    r11;                                                    \
 841         lwz     r10,_CCR(r1);                                           \
 842         mtcrf   0xff,r10;                                               \
 843         PPC_40x_TURN_OFF_MSR_DR;                                        \
 844         lwz     r9,_DEAR(r1);                                           \
 845         lwz     r10,_ESR(r1);                                           \
 846         mtspr   SPRN_DEAR,r9;                                           \
 847         mtspr   SPRN_ESR,r10;                                           \
 848         lwz     r11,_NIP(r1);                                           \
 849         lwz     r12,_MSR(r1);                                           \
 850         mtspr   exc_lvl_srr0,r11;                                       \
 851         mtspr   exc_lvl_srr1,r12;                                       \
 852         lwz     r9,GPR9(r1);                                            \
 853         lwz     r12,GPR12(r1);                                          \
 854         lwz     r10,GPR10(r1);                                          \
 855         lwz     r11,GPR11(r1);                                          \
 856         lwz     r1,GPR1(r1);                                            \
 857         PPC405_ERR77_SYNC;                                              \
 858         exc_lvl_rfi;                                                    \
 859         b       .;              /* prevent prefetch past exc_lvl_rfi */
 860
 861         .globl  ret_from_crit_exc
 862 ret_from_crit_exc:
 863         RET_FROM_EXC_LEVEL(SPRN_CSRR0, SPRN_CSRR1, RFCI)
 864
 865 #ifdef CONFIG_BOOKE
 866         .globl  ret_from_debug_exc
 867 ret_from_debug_exc:
 868         RET_FROM_EXC_LEVEL(SPRN_DSRR0, SPRN_DSRR1, RFDI)
 869
 870         .globl  ret_from_mcheck_exc
 871 ret_from_mcheck_exc:
 872         RET_FROM_EXC_LEVEL(SPRN_MCSRR0, SPRN_MCSRR1, RFMCI)
 873 #endif /* CONFIG_BOOKE */
 874
 875 /*
 876  * Load the DBCR0 value for a task that is being ptraced,
 877  * having first saved away the global DBCR0.  Note that r0
 878  * has the dbcr0 value to set upon entry to this.
 879  */
 880 load_dbcr0:
 881         mfmsr   r10             /* first disable debug exceptions */
 882         rlwinm  r10,r10,0,~MSR_DE
 883         mtmsr   r10
 884         isync
 885         mfspr   r10,SPRN_DBCR0
 886         lis     r11,global_dbcr0@ha
 887         addi    r11,r11,global_dbcr0@l
 888 #ifdef CONFIG_SMP
 889         rlwinm  r9,r1,0,0,(31-THREAD_SHIFT)
 890         lwz     r9,TI_CPU(r9)
 891         slwi    r9,r9,3
 892         add     r11,r11,r9
 893 #endif
 894         stw     r10,0(r11)
 895         mtspr   SPRN_DBCR0,r0
 896         lwz     r10,4(r11)
 897         addi    r10,r10,1
 898         stw     r10,4(r11)
 899         li      r11,-1
 900         mtspr   SPRN_DBSR,r11   /* clear all pending debug events */
 901         blr
 902
 903         .section .bss
 904         .align  4
 905 global_dbcr0:
 906         .space  8*NR_CPUS
 907         .previous
 908 #endif /* !(CONFIG_4xx || CONFIG_BOOKE) */
 909
 910 do_work:                        /* r10 contains MSR_KERNEL here */
 911         andi.   r0,r9,_TIF_NEED_RESCHED
 912         beq     do_user_signal
 913
 914 do_resched:                     /* r10 contains MSR_KERNEL here */
 915         ori     r10,r10,MSR_EE
 916         SYNC
 917         MTMSRD(r10)             /* hard-enable interrupts */
 918         bl      schedule
 919 recheck:
 920         LOAD_MSR_KERNEL(r10,MSR_KERNEL)
 921         SYNC
 922         MTMSRD(r10)             /* disable interrupts */
 923         rlwinm  r9,r1,0,0,(31-THREAD_SHIFT)
 924         lwz     r9,TI_FLAGS(r9)
 925         andi.   r0,r9,_TIF_NEED_RESCHED
 926         bne-    do_resched
 927         andi.   r0,r9,_TIF_SIGPENDING|_TIF_RESTORE_SIGMASK
 928         beq     restore_user
 929 do_user_signal:                 /* r10 contains MSR_KERNEL here */
 930         ori     r10,r10,MSR_EE
 931         SYNC
 932         MTMSRD(r10)             /* hard-enable interrupts */
 933         /* save r13-r31 in the exception frame, if not already done */
 934         lwz     r3,_TRAP(r1)
 935         andi.   r0,r3,1
 936         beq     2f
 937         SAVE_NVGPRS(r1)
 938         rlwinm  r3,r3,0,0,30
 939         stw     r3,_TRAP(r1)
 940 2:      li      r3,0
 941         addi    r4,r1,STACK_FRAME_OVERHEAD
 942         bl      do_signal
 943         REST_NVGPRS(r1)
 944         b       recheck
 945
 946 /*
 947  * We come here when we are at the end of handling an exception
 948  * that occurred at a place where taking an exception will lose
 949  * state information, such as the contents of SRR0 and SRR1.
 950  */
 951 nonrecoverable:
 952         lis     r10,exc_exit_restart_end@ha
 953         addi    r10,r10,exc_exit_restart_end@l
 954         cmplw   r12,r10
 955         bge     3f
 956         lis     r11,exc_exit_restart@ha
 957         addi    r11,r11,exc_exit_restart@l
 958         cmplw   r12,r11
 959         blt     3f
 960         lis     r10,ee_restarts@ha
 961         lwz     r12,ee_restarts@l(r10)
 962         addi    r12,r12,1
 963         stw     r12,ee_restarts@l(r10)
 964         mr      r12,r11         /* restart at exc_exit_restart */
 965         blr
 966 3:      /* OK, we can't recover, kill this process */
 967         /* but the 601 doesn't implement the RI bit, so assume it's OK */
 968 BEGIN_FTR_SECTION
 969         blr
 970 END_FTR_SECTION_IFSET(CPU_FTR_601)
 971         lwz     r3,_TRAP(r1)
 972         andi.   r0,r3,1
 973         beq     4f
 974         SAVE_NVGPRS(r1)
 975         rlwinm  r3,r3,0,0,30
 976         stw     r3,_TRAP(r1)
 977 4:      addi    r3,r1,STACK_FRAME_OVERHEAD
 978         bl      nonrecoverable_exception
 979         /* shouldn't return */
 980         b       4b
 981
 982         .section .bss
 983         .align  2
 984 ee_restarts:
 985         .space  4
 986         .previous
 987
 988 /*
 989  * PROM code for specific machines follows.  Put it
 990  * here so it's easy to add arch-specific sections later.
 991  * -- Cort
 992  */
 993 #ifdef CONFIG_PPC_RTAS
 994 /*
 995  * On CHRP, the Run-Time Abstraction Services (RTAS) have to be
 996  * called with the MMU off.
 997  */
 998 _GLOBAL(enter_rtas)
 999         stwu    r1,-INT_FRAME_SIZE(r1)
1000         mflr    r0
1001         stw     r0,INT_FRAME_SIZE+4(r1)
1002         LOAD_REG_ADDR(r4, rtas)
1003         lis     r6,1f@ha        /* physical return address for rtas */
1004         addi    r6,r6,1f@l
1005         tophys(r6,r6)
1006         tophys(r7,r1)
1007         lwz     r8,RTASENTRY(r4)
1008         lwz     r4,RTASBASE(r4)
1009         mfmsr   r9
1010         stw     r9,8(r1)
1011         LOAD_MSR_KERNEL(r0,MSR_KERNEL)
1012         SYNC                    /* disable interrupts so SRR0/1 */
1013         MTMSRD(r0)              /* don't get trashed */
1014         li      r9,MSR_KERNEL & ~(MSR_IR|MSR_DR)
1015         mtlr    r6
1016         mtspr   SPRN_SPRG2,r7
1017         mtspr   SPRN_SRR0,r8
1018         mtspr   SPRN_SRR1,r9
1019         RFI
1020 1:      tophys(r9,r1)
1021         lwz     r8,INT_FRAME_SIZE+4(r9) /* get return address */
1022         lwz     r9,8(r9)        /* original msr value */
1023         FIX_SRR1(r9,r0)
1024         addi    r1,r1,INT_FRAME_SIZE
1025         li      r0,0
1026         mtspr   SPRN_SPRG2,r0
1027         mtspr   SPRN_SRR0,r8
1028         mtspr   SPRN_SRR1,r9
1029         RFI                     /* return to caller */
1030
1031         .globl  machine_check_in_rtas
1032 machine_check_in_rtas:
1033         twi     31,0,0
1034         /* XXX load up BATs and panic */
1035
1036 #endif /* CONFIG_PPC_RTAS */