arch/powerpc/kernel/entry_64.S

   1 /*
   2  *  PowerPC version
   3  *    Copyright (C) 1995-1996 Gary Thomas (gdt@linuxppc.org)
   4  *  Rewritten by Cort Dougan (cort@cs.nmt.edu) for PReP
   5  *    Copyright (C) 1996 Cort Dougan <cort@cs.nmt.edu>
   6  *  Adapted for Power Macintosh by Paul Mackerras.
   7  *  Low-level exception handlers and MMU support
   8  *  rewritten by Paul Mackerras.
   9  *    Copyright (C) 1996 Paul Mackerras.
  10  *  MPC8xx modifications Copyright (C) 1997 Dan Malek (dmalek@jlc.net).
  11  *
  12  *  This file contains the system call entry code, context switch
  13  *  code, and exception/interrupt return code for PowerPC.
  14  *
  15  *  This program is free software; you can redistribute it and/or
  16  *  modify it under the terms of the GNU General Public License
  17  *  as published by the Free Software Foundation; either version
  18  *  2 of the License, or (at your option) any later version.
  19  */
  20
  21 #include <linux/errno.h>
  22 #include <asm/unistd.h>
  23 #include <asm/processor.h>
  24 #include <asm/page.h>
  25 #include <asm/mmu.h>
  26 #include <asm/thread_info.h>
  27 #include <asm/ppc_asm.h>
  28 #include <asm/asm-offsets.h>
  29 #include <asm/cputable.h>
  30 #include <asm/firmware.h>
  31 #include <asm/bug.h>
  32 #include <asm/ptrace.h>
  33 #include <asm/irqflags.h>
  34 #include <asm/ftrace.h>
  35
  36 /*
  37  * System calls.
  38  */
  39         .section        ".toc","aw"
  40 .SYS_CALL_TABLE:
  41         .tc .sys_call_table[TC],.sys_call_table
  42
  43 /* This value is used to mark exception frames on the stack. */
  44 exception_marker:
  45         .tc     ID_EXC_MARKER[TC],STACK_FRAME_REGS_MARKER
  46
  47         .section        ".text"
  48         .align 7
  49
  50 #undef SHOW_SYSCALLS
  51
  52         .globl system_call_common
  53 system_call_common:
  54         andi.   r10,r12,MSR_PR
  55         mr      r10,r1
  56         addi    r1,r1,-INT_FRAME_SIZE
  57         beq-    1f
  58         ld      r1,PACAKSAVE(r13)
  59 1:      std     r10,0(r1)
  60         std     r11,_NIP(r1)
  61         std     r12,_MSR(r1)
  62         std     r0,GPR0(r1)
  63         std     r10,GPR1(r1)
  64         ACCOUNT_CPU_USER_ENTRY(r10, r11)
  65         /*
  66          * This "crclr so" clears CR0.SO, which is the error indication on
  67          * return from this system call.  There must be no cmp instruction
  68          * between it and the "mfcr r9" below, otherwise if XER.SO is set,
  69          * CR0.SO will get set, causing all system calls to appear to fail.
  70          */
  71         crclr   so
  72         std     r2,GPR2(r1)
  73         std     r3,GPR3(r1)
  74         std     r4,GPR4(r1)
  75         std     r5,GPR5(r1)
  76         std     r6,GPR6(r1)
  77         std     r7,GPR7(r1)
  78         std     r8,GPR8(r1)
  79         li      r11,0
  80         std     r11,GPR9(r1)
  81         std     r11,GPR10(r1)
  82         std     r11,GPR11(r1)
  83         std     r11,GPR12(r1)
  84         std     r9,GPR13(r1)
  85         mfcr    r9
  86         mflr    r10
  87         li      r11,0xc01
  88         std     r9,_CCR(r1)
  89         std     r10,_LINK(r1)
  90         std     r11,_TRAP(r1)
  91         mfxer   r9
  92         mfctr   r10
  93         std     r9,_XER(r1)
  94         std     r10,_CTR(r1)
  95         std     r3,ORIG_GPR3(r1)
  96         ld      r2,PACATOC(r13)
  97         addi    r9,r1,STACK_FRAME_OVERHEAD
  98         ld      r11,exception_marker@toc(r2)
  99         std     r11,-16(r9)             /* "regshere" marker */
 100 #if defined(CONFIG_VIRT_CPU_ACCOUNTING) && defined(CONFIG_PPC_SPLPAR)
 101 BEGIN_FW_FTR_SECTION
 102         beq     33f
 103         /* if from user, see if there are any DTL entries to process */
 104         ld      r10,PACALPPACAPTR(r13)  /* get ptr to VPA */
 105         ld      r11,PACA_DTL_RIDX(r13)  /* get log read index */
 106         ld      r10,LPPACA_DTLIDX(r10)  /* get log write index */
 107         cmpd    cr1,r11,r10
 108         beq+    cr1,33f
 109         bl      .accumulate_stolen_time
 110         REST_GPR(0,r1)
 111         REST_4GPRS(3,r1)
 112         REST_2GPRS(7,r1)
 113         addi    r9,r1,STACK_FRAME_OVERHEAD
 114 33:
 115 END_FW_FTR_SECTION_IFSET(FW_FEATURE_SPLPAR)
 116 #endif /* CONFIG_VIRT_CPU_ACCOUNTING && CONFIG_PPC_SPLPAR */
 117
 118 #ifdef CONFIG_TRACE_IRQFLAGS
 119         bl      .trace_hardirqs_on
 120         REST_GPR(0,r1)
 121         REST_4GPRS(3,r1)
 122         REST_2GPRS(7,r1)
 123         addi    r9,r1,STACK_FRAME_OVERHEAD
 124         ld      r12,_MSR(r1)
 125 #endif /* CONFIG_TRACE_IRQFLAGS */
 126         li      r10,1
 127         stb     r10,PACASOFTIRQEN(r13)
 128         stb     r10,PACAHARDIRQEN(r13)
 129         std     r10,SOFTE(r1)
 130 #ifdef CONFIG_PPC_ISERIES
 131 BEGIN_FW_FTR_SECTION
 132         /* Hack for handling interrupts when soft-enabling on iSeries */
 133         cmpdi   cr1,r0,0x5555           /* syscall 0x5555 */
 134         andi.   r10,r12,MSR_PR          /* from kernel */
 135         crand   4*cr0+eq,4*cr1+eq,4*cr0+eq
 136         bne     2f
 137         b       hardware_interrupt_entry
 138 2:
 139 END_FW_FTR_SECTION_IFSET(FW_FEATURE_ISERIES)
 140 #endif /* CONFIG_PPC_ISERIES */
 141
 142         /* Hard enable interrupts */
 143 #ifdef CONFIG_PPC_BOOK3E
 144         wrteei  1
 145 #else
 146         mfmsr   r11
 147         ori     r11,r11,MSR_EE
 148         mtmsrd  r11,1
 149 #endif /* CONFIG_PPC_BOOK3E */
 150
 151 #ifdef SHOW_SYSCALLS
 152         bl      .do_show_syscall
 153         REST_GPR(0,r1)
 154         REST_4GPRS(3,r1)
 155         REST_2GPRS(7,r1)
 156         addi    r9,r1,STACK_FRAME_OVERHEAD
 157 #endif
 158         clrrdi  r11,r1,THREAD_SHIFT
 159         ld      r10,TI_FLAGS(r11)
 160         andi.   r11,r10,_TIF_SYSCALL_T_OR_A
 161         bne-    syscall_dotrace
 162 syscall_dotrace_cont:
 163         cmpldi  0,r0,NR_syscalls
 164         bge-    syscall_enosys
 165
 166 system_call:                    /* label this so stack traces look sane */
 167 /*
 168  * Need to vector to 32 Bit or default sys_call_table here,
 169  * based on caller's run-mode / personality.
 170  */
 171         ld      r11,.SYS_CALL_TABLE@toc(2)
 172         andi.   r10,r10,_TIF_32BIT
 173         beq     15f
 174         addi    r11,r11,8       /* use 32-bit syscall entries */
 175         clrldi  r3,r3,32
 176         clrldi  r4,r4,32
 177         clrldi  r5,r5,32
 178         clrldi  r6,r6,32
 179         clrldi  r7,r7,32
 180         clrldi  r8,r8,32
 181 15:
 182         slwi    r0,r0,4
 183         ldx     r10,r11,r0      /* Fetch system call handler [ptr] */
 184         mtctr   r10
 185         bctrl                   /* Call handler */
 186
 187 syscall_exit:
 188         std     r3,RESULT(r1)
 189 #ifdef SHOW_SYSCALLS
 190         bl      .do_show_syscall_exit
 191         ld      r3,RESULT(r1)
 192 #endif
 193         clrrdi  r12,r1,THREAD_SHIFT
 194
 195         ld      r8,_MSR(r1)
 196 #ifdef CONFIG_PPC_BOOK3S
 197         /* No MSR:RI on BookE */
 198         andi.   r10,r8,MSR_RI
 199         beq-    unrecov_restore
 200 #endif
 201
 202         /* Disable interrupts so current_thread_info()->flags can't change,
 203          * and so that we don't get interrupted after loading SRR0/1.
 204          */
 205 #ifdef CONFIG_PPC_BOOK3E
 206         wrteei  0
 207 #else
 208         mfmsr   r10
 209         rldicl  r10,r10,48,1
 210         rotldi  r10,r10,16
 211         mtmsrd  r10,1
 212 #endif /* CONFIG_PPC_BOOK3E */
 213
 214         ld      r9,TI_FLAGS(r12)
 215         li      r11,-_LAST_ERRNO
 216         andi.   r0,r9,(_TIF_SYSCALL_T_OR_A|_TIF_SINGLESTEP|_TIF_USER_WORK_MASK|_TIF_PERSYSCALL_MASK)
 217         bne-    syscall_exit_work
 218         cmpld   r3,r11
 219         ld      r5,_CCR(r1)
 220         bge-    syscall_error
 221 syscall_error_cont:
 222         ld      r7,_NIP(r1)
 223 BEGIN_FTR_SECTION
 224         stdcx.  r0,0,r1                 /* to clear the reservation */
 225 END_FTR_SECTION_IFCLR(CPU_FTR_STCX_CHECKS_ADDRESS)
 226         andi.   r6,r8,MSR_PR
 227         ld      r4,_LINK(r1)
 228         /*
 229          * Clear RI before restoring r13.  If we are returning to
 230          * userspace and we take an exception after restoring r13,
 231          * we end up corrupting the userspace r13 value.
 232          */
 233 #ifdef CONFIG_PPC_BOOK3S
 234         /* No MSR:RI on BookE */
 235         li      r12,MSR_RI
 236         andc    r11,r10,r12
 237         mtmsrd  r11,1                   /* clear MSR.RI */
 238 #endif /* CONFIG_PPC_BOOK3S */
 239
 240         beq-    1f
 241         ACCOUNT_CPU_USER_EXIT(r11, r12)
 242         ld      r13,GPR13(r1)   /* only restore r13 if returning to usermode */
 243 1:      ld      r2,GPR2(r1)
 244         ld      r1,GPR1(r1)
 245         mtlr    r4
 246         mtcr    r5
 247         mtspr   SPRN_SRR0,r7
 248         mtspr   SPRN_SRR1,r8
 249         RFI
 250         b       .       /* prevent speculative execution */
 251
 252 syscall_error:
 253         oris    r5,r5,0x1000    /* Set SO bit in CR */
 254         neg     r3,r3
 255         std     r5,_CCR(r1)
 256         b       syscall_error_cont
 257
 258 /* Traced system call support */
 259 syscall_dotrace:
 260         bl      .save_nvgprs
 261         addi    r3,r1,STACK_FRAME_OVERHEAD
 262         bl      .do_syscall_trace_enter
 263         /*
 264          * Restore argument registers possibly just changed.
 265          * We use the return value of do_syscall_trace_enter
 266          * for the call number to look up in the table (r0).
 267          */
 268         mr      r0,r3
 269         ld      r3,GPR3(r1)
 270         ld      r4,GPR4(r1)
 271         ld      r5,GPR5(r1)
 272         ld      r6,GPR6(r1)
 273         ld      r7,GPR7(r1)
 274         ld      r8,GPR8(r1)
 275         addi    r9,r1,STACK_FRAME_OVERHEAD
 276         clrrdi  r10,r1,THREAD_SHIFT
 277         ld      r10,TI_FLAGS(r10)
 278         b       syscall_dotrace_cont
 279
 280 syscall_enosys:
 281         li      r3,-ENOSYS
 282         b       syscall_exit
 283
 284 syscall_exit_work:
 285         /* If TIF_RESTOREALL is set, don't scribble on either r3 or ccr.
 286          If TIF_NOERROR is set, just save r3 as it is. */
 287
 288         andi.   r0,r9,_TIF_RESTOREALL
 289         beq+    0f
 290         REST_NVGPRS(r1)
 291         b       2f
 292 0:      cmpld   r3,r11          /* r10 is -LAST_ERRNO */
 293         blt+    1f
 294         andi.   r0,r9,_TIF_NOERROR
 295         bne-    1f
 296         ld      r5,_CCR(r1)
 297         neg     r3,r3
 298         oris    r5,r5,0x1000    /* Set SO bit in CR */
 299         std     r5,_CCR(r1)
 300 1:      std     r3,GPR3(r1)
 301 2:      andi.   r0,r9,(_TIF_PERSYSCALL_MASK)
 302         beq     4f
 303
 304         /* Clear per-syscall TIF flags if any are set.  */
 305
 306         li      r11,_TIF_PERSYSCALL_MASK
 307         addi    r12,r12,TI_FLAGS
 308 3:      ldarx   r10,0,r12
 309         andc    r10,r10,r11
 310         stdcx.  r10,0,r12
 311         bne-    3b
 312         subi    r12,r12,TI_FLAGS
 313
 314 4:      /* Anything else left to do? */
 315         andi.   r0,r9,(_TIF_SYSCALL_T_OR_A|_TIF_SINGLESTEP)
 316         beq     .ret_from_except_lite
 317
 318         /* Re-enable interrupts */
 319 #ifdef CONFIG_PPC_BOOK3E
 320         wrteei  1
 321 #else
 322         mfmsr   r10
 323         ori     r10,r10,MSR_EE
 324         mtmsrd  r10,1
 325 #endif /* CONFIG_PPC_BOOK3E */
 326
 327         bl      .save_nvgprs
 328         addi    r3,r1,STACK_FRAME_OVERHEAD
 329         bl      .do_syscall_trace_leave
 330         b       .ret_from_except
 331
 332 /* Save non-volatile GPRs, if not already saved. */
 333 _GLOBAL(save_nvgprs)
 334         ld      r11,_TRAP(r1)
 335         andi.   r0,r11,1
 336         beqlr-
 337         SAVE_NVGPRS(r1)
 338         clrrdi  r0,r11,1
 339         std     r0,_TRAP(r1)
 340         blr
 341
 342
 343 /*
 344  * The sigsuspend and rt_sigsuspend system calls can call do_signal
 345  * and thus put the process into the stopped state where we might
 346  * want to examine its user state with ptrace.  Therefore we need
 347  * to save all the nonvolatile registers (r14 - r31) before calling
 348  * the C code.  Similarly, fork, vfork and clone need the full
 349  * register state on the stack so that it can be copied to the child.
 350  */
 351
 352 _GLOBAL(ppc_fork)
 353         bl      .save_nvgprs
 354         bl      .sys_fork
 355         b       syscall_exit
 356
 357 _GLOBAL(ppc_vfork)
 358         bl      .save_nvgprs
 359         bl      .sys_vfork
 360         b       syscall_exit
 361
 362 _GLOBAL(ppc_clone)
 363         bl      .save_nvgprs
 364         bl      .sys_clone
 365         b       syscall_exit
 366
 367 _GLOBAL(ppc32_swapcontext)
 368         bl      .save_nvgprs
 369         bl      .compat_sys_swapcontext
 370         b       syscall_exit
 371
 372 _GLOBAL(ppc64_swapcontext)
 373         bl      .save_nvgprs
 374         bl      .sys_swapcontext
 375         b       syscall_exit
 376
 377 _GLOBAL(ret_from_fork)
 378         bl      .schedule_tail
 379         REST_NVGPRS(r1)
 380         li      r3,0
 381         b       syscall_exit
 382
 383         .section        ".toc","aw"
 384 DSCR_DEFAULT:
 385         .tc dscr_default[TC],dscr_default
 386
 387         .section        ".text"
 388
 389 /*
 390  * This routine switches between two different tasks.  The process
 391  * state of one is saved on its kernel stack.  Then the state
 392  * of the other is restored from its kernel stack.  The memory
 393  * management hardware is updated to the second process's state.
 394  * Finally, we can return to the second process, via ret_from_except.
 395  * On entry, r3 points to the THREAD for the current task, r4
 396  * points to the THREAD for the new task.
 397  *
 398  * Note: there are two ways to get to the "going out" portion
 399  * of this code; either by coming in via the entry (_switch)
 400  * or via "fork" which must set up an environment equivalent
 401  * to the "_switch" path.  If you change this you'll have to change
 402  * the fork code also.
 403  *
 404  * The code which creates the new task context is in 'copy_thread'
 405  * in arch/powerpc/kernel/process.c
 406  */
 407         .align  7
 408 _GLOBAL(_switch)
 409         mflr    r0
 410         std     r0,16(r1)
 411         stdu    r1,-SWITCH_FRAME_SIZE(r1)
 412         /* r3-r13 are caller saved -- Cort */
 413         SAVE_8GPRS(14, r1)
 414         SAVE_10GPRS(22, r1)
 415         mflr    r20             /* Return to switch caller */
 416         mfmsr   r22
 417         li      r0, MSR_FP
 418 #ifdef CONFIG_VSX
 419 BEGIN_FTR_SECTION
 420         oris    r0,r0,MSR_VSX@h /* Disable VSX */
 421 END_FTR_SECTION_IFSET(CPU_FTR_VSX)
 422 #endif /* CONFIG_VSX */
 423 #ifdef CONFIG_ALTIVEC
 424 BEGIN_FTR_SECTION
 425         oris    r0,r0,MSR_VEC@h /* Disable altivec */
 426         mfspr   r24,SPRN_VRSAVE /* save vrsave register value */
 427         std     r24,THREAD_VRSAVE(r3)
 428 END_FTR_SECTION_IFSET(CPU_FTR_ALTIVEC)
 429 #endif /* CONFIG_ALTIVEC */
 430 #ifdef CONFIG_PPC64
 431 BEGIN_FTR_SECTION
 432         mfspr   r25,SPRN_DSCR
 433         std     r25,THREAD_DSCR(r3)
 434 END_FTR_SECTION_IFSET(CPU_FTR_DSCR)
 435 #endif
 436         and.    r0,r0,r22
 437         beq+    1f
 438         andc    r22,r22,r0
 439         MTMSRD(r22)
 440         isync
 441 1:      std     r20,_NIP(r1)
 442         mfcr    r23
 443         std     r23,_CCR(r1)
 444         std     r1,KSP(r3)      /* Set old stack pointer */
 445
 446 #ifdef CONFIG_SMP
 447         /* We need a sync somewhere here to make sure that if the
 448          * previous task gets rescheduled on another CPU, it sees all
 449          * stores it has performed on this one.
 450          */
 451         sync
 452 #endif /* CONFIG_SMP */
 453
 454         /*
 455          * If we optimise away the clear of the reservation in system
 456          * calls because we know the CPU tracks the address of the
 457          * reservation, then we need to clear it here to cover the
 458          * case that the kernel context switch path has no larx
 459          * instructions.
 460          */
 461 BEGIN_FTR_SECTION
 462         ldarx   r6,0,r1
 463 END_FTR_SECTION_IFSET(CPU_FTR_STCX_CHECKS_ADDRESS)
 464
 465         addi    r6,r4,-THREAD   /* Convert THREAD to 'current' */
 466         std     r6,PACACURRENT(r13)     /* Set new 'current' */
 467
 468         ld      r8,KSP(r4)      /* new stack pointer */
 469 #ifdef CONFIG_PPC_BOOK3S
 470 BEGIN_FTR_SECTION
 471   BEGIN_FTR_SECTION_NESTED(95)
 472         clrrdi  r6,r8,28        /* get its ESID */
 473         clrrdi  r9,r1,28        /* get current sp ESID */
 474   FTR_SECTION_ELSE_NESTED(95)
 475         clrrdi  r6,r8,40        /* get its 1T ESID */
 476         clrrdi  r9,r1,40        /* get current sp 1T ESID */
 477   ALT_MMU_FTR_SECTION_END_NESTED_IFCLR(MMU_FTR_1T_SEGMENT, 95)
 478 FTR_SECTION_ELSE
 479         b       2f
 480 ALT_MMU_FTR_SECTION_END_IFSET(MMU_FTR_SLB)
 481         clrldi. r0,r6,2         /* is new ESID c00000000? */
 482         cmpd    cr1,r6,r9       /* or is new ESID the same as current ESID? */
 483         cror    eq,4*cr1+eq,eq
 484         beq     2f              /* if yes, don't slbie it */
 485
 486         /* Bolt in the new stack SLB entry */
 487         ld      r7,KSP_VSID(r4) /* Get new stack's VSID */
 488         oris    r0,r6,(SLB_ESID_V)@h
 489         ori     r0,r0,(SLB_NUM_BOLTED-1)@l
 490 BEGIN_FTR_SECTION
 491         li      r9,MMU_SEGSIZE_1T       /* insert B field */
 492         oris    r6,r6,(MMU_SEGSIZE_1T << SLBIE_SSIZE_SHIFT)@h
 493         rldimi  r7,r9,SLB_VSID_SSIZE_SHIFT,0
 494 END_MMU_FTR_SECTION_IFSET(MMU_FTR_1T_SEGMENT)
 495
 496         /* Update the last bolted SLB.  No write barriers are needed
 497          * here, provided we only update the current CPU's SLB shadow
 498          * buffer.
 499          */
 500         ld      r9,PACA_SLBSHADOWPTR(r13)
 501         li      r12,0
 502         std     r12,SLBSHADOW_STACKESID(r9) /* Clear ESID */
 503         std     r7,SLBSHADOW_STACKVSID(r9)  /* Save VSID */
 504         std     r0,SLBSHADOW_STACKESID(r9)  /* Save ESID */
 505
 506         /* No need to check for MMU_FTR_NO_SLBIE_B here, since when
 507          * we have 1TB segments, the only CPUs known to have the errata
 508          * only support less than 1TB of system memory and we'll never
 509          * actually hit this code path.
 510          */
 511
 512         slbie   r6
 513         slbie   r6              /* Workaround POWER5 < DD2.1 issue */
 514         slbmte  r7,r0
 515         isync
 516 2:
 517 #endif /* !CONFIG_PPC_BOOK3S */
 518
 519         clrrdi  r7,r8,THREAD_SHIFT      /* base of new stack */
 520         /* Note: this uses SWITCH_FRAME_SIZE rather than INT_FRAME_SIZE
 521            because we don't need to leave the 288-byte ABI gap at the
 522            top of the kernel stack. */
 523         addi    r7,r7,THREAD_SIZE-SWITCH_FRAME_SIZE
 524
 525         mr      r1,r8           /* start using new stack pointer */
 526         std     r7,PACAKSAVE(r13)
 527
 528 #ifdef CONFIG_ALTIVEC
 529 BEGIN_FTR_SECTION
 530         ld      r0,THREAD_VRSAVE(r4)
 531         mtspr   SPRN_VRSAVE,r0          /* if G4, restore VRSAVE reg */
 532 END_FTR_SECTION_IFSET(CPU_FTR_ALTIVEC)
 533 #endif /* CONFIG_ALTIVEC */
 534 #ifdef CONFIG_PPC64
 535 BEGIN_FTR_SECTION
 536         lwz     r6,THREAD_DSCR_INHERIT(r4)
 537         ld      r7,DSCR_DEFAULT@toc(2)
 538         ld      r0,THREAD_DSCR(r4)
 539         cmpwi   r6,0
 540         bne     1f
 541         ld      r0,0(r7)
 542 1:      cmpd    r0,r25
 543         beq     2f
 544         mtspr   SPRN_DSCR,r0
 545 2:
 546 END_FTR_SECTION_IFSET(CPU_FTR_DSCR)
 547 #endif
 548
 549         ld      r6,_CCR(r1)
 550         mtcrf   0xFF,r6
 551
 552         /* r3-r13 are destroyed -- Cort */
 553         REST_8GPRS(14, r1)
 554         REST_10GPRS(22, r1)
 555
 556         /* convert old thread to its task_struct for return value */
 557         addi    r3,r3,-THREAD
 558         ld      r7,_NIP(r1)     /* Return to _switch caller in new task */
 559         mtlr    r7
 560         addi    r1,r1,SWITCH_FRAME_SIZE
 561         blr
 562
 563         .align  7
 564 _GLOBAL(ret_from_except)
 565         ld      r11,_TRAP(r1)
 566         andi.   r0,r11,1
 567         bne     .ret_from_except_lite
 568         REST_NVGPRS(r1)
 569
 570 _GLOBAL(ret_from_except_lite)
 571         /*
 572          * Disable interrupts so that current_thread_info()->flags
 573          * can't change between when we test it and when we return
 574          * from the interrupt.
 575          */
 576 #ifdef CONFIG_PPC_BOOK3E
 577         wrteei  0
 578 #else
 579         mfmsr   r10             /* Get current interrupt state */
 580         rldicl  r9,r10,48,1     /* clear MSR_EE */
 581         rotldi  r9,r9,16
 582         mtmsrd  r9,1            /* Update machine state */
 583 #endif /* CONFIG_PPC_BOOK3E */
 584
 585 #ifdef CONFIG_PREEMPT
 586         clrrdi  r9,r1,THREAD_SHIFT      /* current_thread_info() */
 587         li      r0,_TIF_NEED_RESCHED    /* bits to check */
 588         ld      r3,_MSR(r1)
 589         ld      r4,TI_FLAGS(r9)
 590         /* Move MSR_PR bit in r3 to _TIF_SIGPENDING position in r0 */
 591         rlwimi  r0,r3,32+TIF_SIGPENDING-MSR_PR_LG,_TIF_SIGPENDING
 592         and.    r0,r4,r0        /* check NEED_RESCHED and maybe SIGPENDING */
 593         bne     do_work
 594
 595 #else /* !CONFIG_PREEMPT */
 596         ld      r3,_MSR(r1)     /* Returning to user mode? */
 597         andi.   r3,r3,MSR_PR
 598         beq     restore         /* if not, just restore regs and return */
 599
 600         /* Check current_thread_info()->flags */
 601         clrrdi  r9,r1,THREAD_SHIFT
 602         ld      r4,TI_FLAGS(r9)
 603         andi.   r0,r4,_TIF_USER_WORK_MASK
 604         bne     do_work
 605 #endif
 606
 607 restore:
 608 BEGIN_FW_FTR_SECTION
 609         ld      r5,SOFTE(r1)
 610 FW_FTR_SECTION_ELSE
 611         b       .Liseries_check_pending_irqs
 612 ALT_FW_FTR_SECTION_END_IFCLR(FW_FEATURE_ISERIES)
 613 2:
 614         TRACE_AND_RESTORE_IRQ(r5);
 615
 616         /* extract EE bit and use it to restore paca->hard_enabled */
 617         ld      r3,_MSR(r1)
 618         rldicl  r4,r3,49,63             /* r0 = (r3 >> 15) & 1 */
 619         stb     r4,PACAHARDIRQEN(r13)
 620
 621 #ifdef CONFIG_PPC_BOOK3E
 622         b       .exception_return_book3e
 623 #else
 624         ld      r4,_CTR(r1)
 625         ld      r0,_LINK(r1)
 626         mtctr   r4
 627         mtlr    r0
 628         ld      r4,_XER(r1)
 629         mtspr   SPRN_XER,r4
 630
 631         REST_8GPRS(5, r1)
 632
 633         andi.   r0,r3,MSR_RI
 634         beq-    unrecov_restore
 635
 636         /*
 637          * Clear the reservation. If we know the CPU tracks the address of
 638          * the reservation then we can potentially save some cycles and use
 639          * a larx. On POWER6 and POWER7 this is significantly faster.
 640          */
 641 BEGIN_FTR_SECTION
 642         stdcx.  r0,0,r1         /* to clear the reservation */
 643 FTR_SECTION_ELSE
 644         ldarx   r4,0,r1
 645 ALT_FTR_SECTION_END_IFCLR(CPU_FTR_STCX_CHECKS_ADDRESS)
 646
 647         /*
 648          * Clear RI before restoring r13.  If we are returning to
 649          * userspace and we take an exception after restoring r13,
 650          * we end up corrupting the userspace r13 value.
 651          */
 652         mfmsr   r4
 653         andc    r4,r4,r0        /* r0 contains MSR_RI here */
 654         mtmsrd  r4,1
 655
 656         /*
 657          * r13 is our per cpu area, only restore it if we are returning to
 658          * userspace
 659          */
 660         andi.   r0,r3,MSR_PR
 661         beq     1f
 662         ACCOUNT_CPU_USER_EXIT(r2, r4)
 663         REST_GPR(13, r1)
 664 1:
 665         mtspr   SPRN_SRR1,r3
 666
 667         ld      r2,_CCR(r1)
 668         mtcrf   0xFF,r2
 669         ld      r2,_NIP(r1)
 670         mtspr   SPRN_SRR0,r2
 671
 672         ld      r0,GPR0(r1)
 673         ld      r2,GPR2(r1)
 674         ld      r3,GPR3(r1)
 675         ld      r4,GPR4(r1)
 676         ld      r1,GPR1(r1)
 677
 678         rfid
 679         b       .       /* prevent speculative execution */
 680
 681 #endif /* CONFIG_PPC_BOOK3E */
 682
 683 .Liseries_check_pending_irqs:
 684 #ifdef CONFIG_PPC_ISERIES
 685         ld      r5,SOFTE(r1)
 686         cmpdi   0,r5,0
 687         beq     2b
 688         /* Check for pending interrupts (iSeries) */
 689         ld      r3,PACALPPACAPTR(r13)
 690         ld      r3,LPPACAANYINT(r3)
 691         cmpdi   r3,0
 692         beq+    2b                      /* skip do_IRQ if no interrupts */
 693
 694         li      r3,0
 695         stb     r3,PACASOFTIRQEN(r13)   /* ensure we are soft-disabled */
 696 #ifdef CONFIG_TRACE_IRQFLAGS
 697         bl      .trace_hardirqs_off
 698         mfmsr   r10
 699 #endif
 700         ori     r10,r10,MSR_EE
 701         mtmsrd  r10                     /* hard-enable again */
 702         addi    r3,r1,STACK_FRAME_OVERHEAD
 703         bl      .do_IRQ
 704         b       .ret_from_except_lite           /* loop back and handle more */
 705 #endif
 706
 707 do_work:
 708 #ifdef CONFIG_PREEMPT
 709         andi.   r0,r3,MSR_PR    /* Returning to user mode? */
 710         bne     user_work
 711         /* Check that preempt_count() == 0 and interrupts are enabled */
 712         lwz     r8,TI_PREEMPT(r9)
 713         cmpwi   cr1,r8,0
 714         ld      r0,SOFTE(r1)
 715         cmpdi   r0,0
 716         crandc  eq,cr1*4+eq,eq
 717         bne     restore
 718
 719         /* Here we are preempting the current task.
 720          *
 721          * Ensure interrupts are soft-disabled. We also properly mark
 722          * the PACA to reflect the fact that they are hard-disabled
 723          * and trace the change
 724          */
 725         li      r0,0
 726         stb     r0,PACASOFTIRQEN(r13)
 727         stb     r0,PACAHARDIRQEN(r13)
 728         TRACE_DISABLE_INTS
 729
 730         /* Call the scheduler with soft IRQs off */
 731 1:      bl      .preempt_schedule_irq
 732
 733         /* Hard-disable interrupts again (and update PACA) */
 734 #ifdef CONFIG_PPC_BOOK3E
 735         wrteei  0
 736 #else
 737         mfmsr   r10
 738         rldicl  r10,r10,48,1
 739         rotldi  r10,r10,16
 740         mtmsrd  r10,1
 741 #endif /* CONFIG_PPC_BOOK3E */
 742         li      r0,0
 743         stb     r0,PACAHARDIRQEN(r13)
 744
 745         /* Re-test flags and eventually loop */
 746         clrrdi  r9,r1,THREAD_SHIFT
 747         ld      r4,TI_FLAGS(r9)
 748         andi.   r0,r4,_TIF_NEED_RESCHED
 749         bne     1b
 750         b       restore
 751
 752 user_work:
 753 #endif /* CONFIG_PREEMPT */
 754
 755         /* Enable interrupts */
 756 #ifdef CONFIG_PPC_BOOK3E
 757         wrteei  1
 758 #else
 759         ori     r10,r10,MSR_EE
 760         mtmsrd  r10,1
 761 #endif /* CONFIG_PPC_BOOK3E */
 762
 763         andi.   r0,r4,_TIF_NEED_RESCHED
 764         beq     1f
 765         bl      .schedule
 766         b       .ret_from_except_lite
 767
 768 1:      bl      .save_nvgprs
 769         addi    r3,r1,STACK_FRAME_OVERHEAD
 770         bl      .do_signal
 771         b       .ret_from_except
 772
 773 unrecov_restore:
 774         addi    r3,r1,STACK_FRAME_OVERHEAD
 775         bl      .unrecoverable_exception
 776         b       unrecov_restore
 777
 778 #ifdef CONFIG_PPC_RTAS
 779 /*
 780  * On CHRP, the Run-Time Abstraction Services (RTAS) have to be
 781  * called with the MMU off.
 782  *
 783  * In addition, we need to be in 32b mode, at least for now.
 784  *
 785  * Note: r3 is an input parameter to rtas, so don't trash it...
 786  */
 787 _GLOBAL(enter_rtas)
 788         mflr    r0
 789         std     r0,16(r1)
 790         stdu    r1,-RTAS_FRAME_SIZE(r1) /* Save SP and create stack space. */
 791
 792         /* Because RTAS is running in 32b mode, it clobbers the high order half
 793          * of all registers that it saves.  We therefore save those registers
 794          * RTAS might touch to the stack.  (r0, r3-r13 are caller saved)
 795          */
 796         SAVE_GPR(2, r1)                 /* Save the TOC */
 797         SAVE_GPR(13, r1)                /* Save paca */
 798         SAVE_8GPRS(14, r1)              /* Save the non-volatiles */
 799         SAVE_10GPRS(22, r1)             /* ditto */
 800
 801         mfcr    r4
 802         std     r4,_CCR(r1)
 803         mfctr   r5
 804         std     r5,_CTR(r1)
 805         mfspr   r6,SPRN_XER
 806         std     r6,_XER(r1)
 807         mfdar   r7
 808         std     r7,_DAR(r1)
 809         mfdsisr r8
 810         std     r8,_DSISR(r1)
 811
 812         /* Temporary workaround to clear CR until RTAS can be modified to
 813          * ignore all bits.
 814          */
 815         li      r0,0
 816         mtcr    r0
 817
 818 #ifdef CONFIG_BUG
 819         /* There is no way it is acceptable to get here with interrupts enabled,
 820          * check it with the asm equivalent of WARN_ON
 821          */
 822         lbz     r0,PACASOFTIRQEN(r13)
 823 1:      tdnei   r0,0
 824         EMIT_BUG_ENTRY 1b,__FILE__,__LINE__,BUGFLAG_WARNING
 825 #endif
 826
 827         /* Hard-disable interrupts */
 828         mfmsr   r6
 829         rldicl  r7,r6,48,1
 830         rotldi  r7,r7,16
 831         mtmsrd  r7,1
 832
 833         /* Unfortunately, the stack pointer and the MSR are also clobbered,
 834          * so they are saved in the PACA which allows us to restore
 835          * our original state after RTAS returns.
 836          */
 837         std     r1,PACAR1(r13)
 838         std     r6,PACASAVEDMSR(r13)
 839
 840         /* Setup our real return addr */
 841         LOAD_REG_ADDR(r4,.rtas_return_loc)
 842         clrldi  r4,r4,2                 /* convert to realmode address */
 843         mtlr    r4
 844
 845         li      r0,0
 846         ori     r0,r0,MSR_EE|MSR_SE|MSR_BE|MSR_RI
 847         andc    r0,r6,r0
 848
 849         li      r9,1
 850         rldicr  r9,r9,MSR_SF_LG,(63-MSR_SF_LG)
 851         ori     r9,r9,MSR_IR|MSR_DR|MSR_FE0|MSR_FE1|MSR_FP|MSR_RI
 852         andc    r6,r0,r9
 853         sync                            /* disable interrupts so SRR0/1 */
 854         mtmsrd  r0                      /* don't get trashed */
 855
 856         LOAD_REG_ADDR(r4, rtas)
 857         ld      r5,RTASENTRY(r4)        /* get the rtas->entry value */
 858         ld      r4,RTASBASE(r4)         /* get the rtas->base value */
 859
 860         mtspr   SPRN_SRR0,r5
 861         mtspr   SPRN_SRR1,r6
 862         rfid
 863         b       .       /* prevent speculative execution */
 864
 865 _STATIC(rtas_return_loc)
 866         /* relocation is off at this point */
 867         GET_PACA(r4)
 868         clrldi  r4,r4,2                 /* convert to realmode address */
 869
 870         bcl     20,31,$+4
 871 0:      mflr    r3
 872         ld      r3,(1f-0b)(r3)          /* get &.rtas_restore_regs */
 873
 874         mfmsr   r6
 875         li      r0,MSR_RI
 876         andc    r6,r6,r0
 877         sync
 878         mtmsrd  r6
 879
 880         ld      r1,PACAR1(r4)           /* Restore our SP */
 881         ld      r4,PACASAVEDMSR(r4)     /* Restore our MSR */
 882
 883         mtspr   SPRN_SRR0,r3
 884         mtspr   SPRN_SRR1,r4
 885         rfid
 886         b       .       /* prevent speculative execution */
 887
 888         .align  3
 889 1:      .llong  .rtas_restore_regs
 890
 891 _STATIC(rtas_restore_regs)
 892         /* relocation is on at this point */
 893         REST_GPR(2, r1)                 /* Restore the TOC */
 894         REST_GPR(13, r1)                /* Restore paca */
 895         REST_8GPRS(14, r1)              /* Restore the non-volatiles */
 896         REST_10GPRS(22, r1)             /* ditto */
 897
 898         GET_PACA(r13)
 899
 900         ld      r4,_CCR(r1)
 901         mtcr    r4
 902         ld      r5,_CTR(r1)
 903         mtctr   r5
 904         ld      r6,_XER(r1)
 905         mtspr   SPRN_XER,r6
 906         ld      r7,_DAR(r1)
 907         mtdar   r7
 908         ld      r8,_DSISR(r1)
 909         mtdsisr r8
 910
 911         addi    r1,r1,RTAS_FRAME_SIZE   /* Unstack our frame */
 912         ld      r0,16(r1)               /* get return address */
 913
 914         mtlr    r0
 915         blr                             /* return to caller */
 916
 917 #endif /* CONFIG_PPC_RTAS */
 918
 919 _GLOBAL(enter_prom)
 920         mflr    r0
 921         std     r0,16(r1)
 922         stdu    r1,-PROM_FRAME_SIZE(r1) /* Save SP and create stack space */
 923
 924         /* Because PROM is running in 32b mode, it clobbers the high order half
 925          * of all registers that it saves.  We therefore save those registers
 926          * PROM might touch to the stack.  (r0, r3-r13 are caller saved)
 927          */
 928         SAVE_GPR(2, r1)
 929         SAVE_GPR(13, r1)
 930         SAVE_8GPRS(14, r1)
 931         SAVE_10GPRS(22, r1)
 932         mfcr    r10
 933         mfmsr   r11
 934         std     r10,_CCR(r1)
 935         std     r11,_MSR(r1)
 936
 937         /* Get the PROM entrypoint */
 938         mtlr    r4
 939
 940         /* Switch MSR to 32 bits mode
 941          */
 942 #ifdef CONFIG_PPC_BOOK3E
 943         rlwinm  r11,r11,0,1,31
 944         mtmsr   r11
 945 #else /* CONFIG_PPC_BOOK3E */
 946         mfmsr   r11
 947         li      r12,1
 948         rldicr  r12,r12,MSR_SF_LG,(63-MSR_SF_LG)
 949         andc    r11,r11,r12
 950         li      r12,1
 951         rldicr  r12,r12,MSR_ISF_LG,(63-MSR_ISF_LG)
 952         andc    r11,r11,r12
 953         mtmsrd  r11
 954 #endif /* CONFIG_PPC_BOOK3E */
 955         isync
 956
 957         /* Enter PROM here... */
 958         blrl
 959
 960         /* Just make sure that r1 top 32 bits didn't get
 961          * corrupt by OF
 962          */
 963         rldicl  r1,r1,0,32
 964
 965         /* Restore the MSR (back to 64 bits) */
 966         ld      r0,_MSR(r1)
 967         MTMSRD(r0)
 968         isync
 969
 970         /* Restore other registers */
 971         REST_GPR(2, r1)
 972         REST_GPR(13, r1)
 973         REST_8GPRS(14, r1)
 974         REST_10GPRS(22, r1)
 975         ld      r4,_CCR(r1)
 976         mtcr    r4
 977
 978         addi    r1,r1,PROM_FRAME_SIZE
 979         ld      r0,16(r1)
 980         mtlr    r0
 981         blr
 982
 983 #ifdef CONFIG_FUNCTION_TRACER
 984 #ifdef CONFIG_DYNAMIC_FTRACE
 985 _GLOBAL(mcount)
 986 _GLOBAL(_mcount)
 987         blr
 988
 989 _GLOBAL(ftrace_caller)
 990         /* Taken from output of objdump from lib64/glibc */
 991         mflr    r3
 992         ld      r11, 0(r1)
 993         stdu    r1, -112(r1)
 994         std     r3, 128(r1)
 995         ld      r4, 16(r11)
 996         subi    r3, r3, MCOUNT_INSN_SIZE
 997 .globl ftrace_call
 998 ftrace_call:
 999         bl      ftrace_stub
1000         nop
1001 #ifdef CONFIG_FUNCTION_GRAPH_TRACER
1002 .globl ftrace_graph_call
1003 ftrace_graph_call:
1004         b       ftrace_graph_stub
1005 _GLOBAL(ftrace_graph_stub)
1006 #endif
1007         ld      r0, 128(r1)
1008         mtlr    r0
1009         addi    r1, r1, 112
1010 _GLOBAL(ftrace_stub)
1011         blr
1012 #else
1013 _GLOBAL(mcount)
1014         blr
1015
1016 _GLOBAL(_mcount)
1017         /* Taken from output of objdump from lib64/glibc */
1018         mflr    r3
1019         ld      r11, 0(r1)
1020         stdu    r1, -112(r1)
1021         std     r3, 128(r1)
1022         ld      r4, 16(r11)
1023
1024         subi    r3, r3, MCOUNT_INSN_SIZE
1025         LOAD_REG_ADDR(r5,ftrace_trace_function)
1026         ld      r5,0(r5)
1027         ld      r5,0(r5)
1028         mtctr   r5
1029         bctrl
1030         nop
1031
1032
1033 #ifdef CONFIG_FUNCTION_GRAPH_TRACER
1034         b       ftrace_graph_caller
1035 #endif
1036         ld      r0, 128(r1)
1037         mtlr    r0
1038         addi    r1, r1, 112
1039 _GLOBAL(ftrace_stub)
1040         blr
1041
1042 #endif /* CONFIG_DYNAMIC_FTRACE */
1043
1044 #ifdef CONFIG_FUNCTION_GRAPH_TRACER
1045 _GLOBAL(ftrace_graph_caller)
1046         /* load r4 with local address */
1047         ld      r4, 128(r1)
1048         subi    r4, r4, MCOUNT_INSN_SIZE
1049
1050         /* get the parent address */
1051         ld      r11, 112(r1)
1052         addi    r3, r11, 16
1053
1054         bl      .prepare_ftrace_return
1055         nop
1056
1057         ld      r0, 128(r1)
1058         mtlr    r0
1059         addi    r1, r1, 112
1060         blr
1061
1062 _GLOBAL(return_to_handler)
1063         /* need to save return values */
1064         std     r4,  -24(r1)
1065         std     r3,  -16(r1)
1066         std     r31, -8(r1)
1067         mr      r31, r1
1068         stdu    r1, -112(r1)
1069
1070         bl      .ftrace_return_to_handler
1071         nop
1072
1073         /* return value has real return address */
1074         mtlr    r3
1075
1076         ld      r1, 0(r1)
1077         ld      r4,  -24(r1)
1078         ld      r3,  -16(r1)
1079         ld      r31, -8(r1)
1080
1081         /* Jump back to real return address */
1082         blr
1083
1084 _GLOBAL(mod_return_to_handler)
1085         /* need to save return values */
1086         std     r4,  -32(r1)
1087         std     r3,  -24(r1)
1088         /* save TOC */
1089         std     r2,  -16(r1)
1090         std     r31, -8(r1)
1091         mr      r31, r1
1092         stdu    r1, -112(r1)
1093
1094         /*
1095          * We are in a module using the module's TOC.
1096          * Switch to our TOC to run inside the core kernel.
1097          */
1098         ld      r2, PACATOC(r13)
1099
1100         bl      .ftrace_return_to_handler
1101         nop
1102
1103         /* return value has real return address */
1104         mtlr    r3
1105
1106         ld      r1, 0(r1)
1107         ld      r4,  -32(r1)
1108         ld      r3,  -24(r1)
1109         ld      r2,  -16(r1)
1110         ld      r31, -8(r1)
1111
1112         /* Jump back to real return address */
1113         blr
1114 #endif /* CONFIG_FUNCTION_GRAPH_TRACER */
1115 #endif /* CONFIG_FUNCTION_TRACER */