arch/arm/mach-omap2/sleep34xx.S

   1 /*
   2  * (C) Copyright 2007
   3  * Texas Instruments
   4  * Karthik Dasu <karthik-dp@ti.com>
   5  *
   6  * (C) Copyright 2004
   7  * Texas Instruments, <www.ti.com>
   8  * Richard Woodruff <r-woodruff2@ti.com>
   9  *
  10  * This program is free software; you can redistribute it and/or
  11  * modify it under the terms of the GNU General Public License as
  12  * published by the Free Software Foundation; either version 2 of
  13  * the License, or (at your option) any later version.
  14  *
  15  * This program is distributed in the hope that it will be useful,
  16  * but WITHOUT ANY WARRANTY; without even the implied warranty of
  17  * MERCHANTABILITY or FITNESS FOR A PARTICULAR /PURPOSE.  See the
  18  * GNU General Public License for more details.
  19  *
  20  * You should have received a copy of the GNU General Public License
  21  * along with this program; if not, write to the Free Software
  22  * Foundation, Inc., 59 Temple Place, Suite 330, Boston,
  23  * MA 02111-1307 USA
  24  */
  25 #include <linux/linkage.h>
  26 #include <asm/assembler.h>
  27 #include <plat/sram.h>
  28 #include <mach/io.h>
  29
  30 #include "cm2xxx_3xxx.h"
  31 #include "prm2xxx_3xxx.h"
  32 #include "sdrc.h"
  33 #include "control.h"
  34
  35 /*
  36  * Registers access definitions
  37  */
  38 #define SDRC_SCRATCHPAD_SEM_OFFS        0xc
  39 #define SDRC_SCRATCHPAD_SEM_V   OMAP343X_SCRATCHPAD_REGADDR\
  40                                         (SDRC_SCRATCHPAD_SEM_OFFS)
  41 #define PM_PREPWSTST_CORE_P     OMAP3430_PRM_BASE + CORE_MOD +\
  42                                         OMAP3430_PM_PREPWSTST
  43 #define PM_PWSTCTRL_MPU_P       OMAP3430_PRM_BASE + MPU_MOD + OMAP2_PM_PWSTCTRL
  44 #define CM_IDLEST1_CORE_V       OMAP34XX_CM_REGADDR(CORE_MOD, CM_IDLEST1)
  45 #define CM_IDLEST_CKGEN_V       OMAP34XX_CM_REGADDR(PLL_MOD, CM_IDLEST)
  46 #define SRAM_BASE_P             OMAP3_SRAM_PA
  47 #define CONTROL_STAT            OMAP343X_CTRL_BASE + OMAP343X_CONTROL_STATUS
  48 #define CONTROL_MEM_RTA_CTRL    (OMAP343X_CTRL_BASE +\
  49                                         OMAP36XX_CONTROL_MEM_RTA_CTRL)
  50
  51 /* Move this as correct place is available */
  52 #define SCRATCHPAD_MEM_OFFS     0x310
  53 #define SCRATCHPAD_BASE_P       (OMAP343X_CTRL_BASE +\
  54                                         OMAP343X_CONTROL_MEM_WKUP +\
  55                                         SCRATCHPAD_MEM_OFFS)
  56 #define SDRC_POWER_V            OMAP34XX_SDRC_REGADDR(SDRC_POWER)
  57 #define SDRC_SYSCONFIG_P        (OMAP343X_SDRC_BASE + SDRC_SYSCONFIG)
  58 #define SDRC_MR_0_P             (OMAP343X_SDRC_BASE + SDRC_MR_0)
  59 #define SDRC_EMR2_0_P           (OMAP343X_SDRC_BASE + SDRC_EMR2_0)
  60 #define SDRC_MANUAL_0_P         (OMAP343X_SDRC_BASE + SDRC_MANUAL_0)
  61 #define SDRC_MR_1_P             (OMAP343X_SDRC_BASE + SDRC_MR_1)
  62 #define SDRC_EMR2_1_P           (OMAP343X_SDRC_BASE + SDRC_EMR2_1)
  63 #define SDRC_MANUAL_1_P         (OMAP343X_SDRC_BASE + SDRC_MANUAL_1)
  64 #define SDRC_DLLA_STATUS_V      OMAP34XX_SDRC_REGADDR(SDRC_DLLA_STATUS)
  65 #define SDRC_DLLA_CTRL_V        OMAP34XX_SDRC_REGADDR(SDRC_DLLA_CTRL)
  66
  67 /*
  68  * This file needs be built unconditionally as ARM to interoperate correctly
  69  * with non-Thumb-2-capable firmware.
  70  */
  71         .arm
  72
  73 /*
  74  * API functions
  75  */
  76
  77         .text
  78 /*
  79  * L2 cache needs to be toggled for stable OFF mode functionality on 3630.
  80  * This function sets up a flag that will allow for this toggling to take
  81  * place on 3630. Hopefully some version in the future may not need this.
  82  */
  83 ENTRY(enable_omap3630_toggle_l2_on_restore)
  84         stmfd   sp!, {lr}       @ save registers on stack
  85         /* Setup so that we will disable and enable l2 */
  86         mov     r1, #0x1
  87         adrl    r2, l2dis_3630  @ may be too distant for plain adr
  88         str     r1, [r2]
  89         ldmfd   sp!, {pc}       @ restore regs and return
  90 ENDPROC(enable_omap3630_toggle_l2_on_restore)
  91
  92         .text
  93 /* Function to call rom code to save secure ram context */
  94         .align  3
  95 ENTRY(save_secure_ram_context)
  96         stmfd   sp!, {r4 - r11, lr}     @ save registers on stack
  97         adr     r3, api_params          @ r3 points to parameters
  98         str     r0, [r3,#0x4]           @ r0 has sdram address
  99         ldr     r12, high_mask
 100         and     r3, r3, r12
 101         ldr     r12, sram_phy_addr_mask
 102         orr     r3, r3, r12
 103         mov     r0, #25                 @ set service ID for PPA
 104         mov     r12, r0                 @ copy secure service ID in r12
 105         mov     r1, #0                  @ set task id for ROM code in r1
 106         mov     r2, #4                  @ set some flags in r2, r6
 107         mov     r6, #0xff
 108         dsb                             @ data write barrier
 109         dmb                             @ data memory barrier
 110         smc     #1                      @ call SMI monitor (smi #1)
 111         nop
 112         nop
 113         nop
 114         nop
 115         ldmfd   sp!, {r4 - r11, pc}
 116         .align
 117 sram_phy_addr_mask:
 118         .word   SRAM_BASE_P
 119 high_mask:
 120         .word   0xffff
 121 api_params:
 122         .word   0x4, 0x0, 0x0, 0x1, 0x1
 123 ENDPROC(save_secure_ram_context)
 124 ENTRY(save_secure_ram_context_sz)
 125         .word   . - save_secure_ram_context
 126
 127 /*
 128  * ======================
 129  * == Idle entry point ==
 130  * ======================
 131  */
 132
 133 /*
 134  * Forces OMAP into idle state
 135  *
 136  * omap34xx_cpu_suspend() - This bit of code saves the CPU context if needed
 137  * and executes the WFI instruction. Calling WFI effectively changes the
 138  * power domains states to the desired target power states.
 139  *
 140  *
 141  * Notes:
 142  * - this code gets copied to internal SRAM at boot and after wake-up
 143  *   from OFF mode. The execution pointer in SRAM is _omap_sram_idle.
 144  * - when the OMAP wakes up it continues at different execution points
 145  *   depending on the low power mode (non-OFF vs OFF modes),
 146  *   cf. 'Resume path for xxx mode' comments.
 147  */
 148         .align  3
 149 ENTRY(omap34xx_cpu_suspend)
 150         stmfd   sp!, {r4 - r11, lr}     @ save registers on stack
 151
 152         /*
 153          * r0 contains CPU context save/restore pointer in sdram
 154          * r1 contains information about saving context:
 155          *   0 - No context lost
 156          *   1 - Only L1 and logic lost
 157          *   2 - Only L2 lost (Even L1 is retained we clean it along with L2)
 158          *   3 - Both L1 and L2 lost and logic lost
 159          */
 160
 161         /* Directly jump to WFI is the context save is not required */
 162         cmp     r1, #0x0
 163         beq     omap3_do_wfi
 164
 165         /* Otherwise fall through to the save context code */
 166 save_context_wfi:
 167         mov     r8, r0                  @ Store SDRAM address in r8
 168         mrc     p15, 0, r5, c1, c0, 1   @ Read Auxiliary Control Register
 169         mov     r4, #0x1                @ Number of parameters for restore call
 170         stmia   r8!, {r4-r5}            @ Push parameters for restore call
 171         mrc     p15, 1, r5, c9, c0, 2   @ Read L2 AUX ctrl register
 172         stmia   r8!, {r4-r5}            @ Push parameters for restore call
 173
 174         /*
 175          * jump out to kernel flush routine
 176          *  - reuse that code is better
 177          *  - it executes in a cached space so is faster than refetch per-block
 178          *  - should be faster and will change with kernel
 179          *  - 'might' have to copy address, load and jump to it
 180          * Flush all data from the L1 data cache before disabling
 181          * SCTLR.C bit.
 182          */
 183         ldr     r1, kernel_flush
 184         mov     lr, pc
 185         bx      r1
 186
 187         /*
 188          * Clear the SCTLR.C bit to prevent further data cache
 189          * allocation. Clearing SCTLR.C would make all the data accesses
 190          * strongly ordered and would not hit the cache.
 191          */
 192         mrc     p15, 0, r0, c1, c0, 0
 193         bic     r0, r0, #(1 << 2)       @ Disable the C bit
 194         mcr     p15, 0, r0, c1, c0, 0
 195         isb
 196
 197         /*
 198          * Invalidate L1 data cache. Even though only invalidate is
 199          * necessary exported flush API is used here. Doing clean
 200          * on already clean cache would be almost NOP.
 201          */
 202         ldr     r1, kernel_flush
 203         blx     r1
 204         /*
 205          * The kernel doesn't interwork: v7_flush_dcache_all in particluar will
 206          * always return in Thumb state when CONFIG_THUMB2_KERNEL is enabled.
 207          * This sequence switches back to ARM.  Note that .align may insert a
 208          * nop: bx pc needs to be word-aligned in order to work.
 209          */
 210  THUMB( .thumb          )
 211  THUMB( .align          )
 212  THUMB( bx      pc      )
 213  THUMB( nop             )
 214         .arm
 215
 216 omap3_do_wfi:
 217         ldr     r4, sdrc_power          @ read the SDRC_POWER register
 218         ldr     r5, [r4]                @ read the contents of SDRC_POWER
 219         orr     r5, r5, #0x40           @ enable self refresh on idle req
 220         str     r5, [r4]                @ write back to SDRC_POWER register
 221
 222         /* Data memory barrier and Data sync barrier */
 223         dsb
 224         dmb
 225
 226 /*
 227  * ===================================
 228  * == WFI instruction => Enter idle ==
 229  * ===================================
 230  */
 231         wfi                             @ wait for interrupt
 232
 233 /*
 234  * ===================================
 235  * == Resume path for non-OFF modes ==
 236  * ===================================
 237  */
 238         nop
 239         nop
 240         nop
 241         nop
 242         nop
 243         nop
 244         nop
 245         nop
 246         nop
 247         nop
 248         bl wait_sdrc_ok
 249
 250         mrc     p15, 0, r0, c1, c0, 0
 251         tst     r0, #(1 << 2)           @ Check C bit enabled?
 252         orreq   r0, r0, #(1 << 2)       @ Enable the C bit if cleared
 253         mcreq   p15, 0, r0, c1, c0, 0
 254         isb
 255
 256 /*
 257  * ===================================
 258  * == Exit point from non-OFF modes ==
 259  * ===================================
 260  */
 261         ldmfd   sp!, {r4 - r11, pc}     @ restore regs and return
 262
 263
 264 /*
 265  * ==============================
 266  * == Resume path for OFF mode ==
 267  * ==============================
 268  */
 269
 270 /*
 271  * The restore_* functions are called by the ROM code
 272  *  when back from WFI in OFF mode.
 273  * Cf. the get_*restore_pointer functions.
 274  *
 275  *  restore_es3: applies to 34xx >= ES3.0
 276  *  restore_3630: applies to 36xx
 277  *  restore: common code for 3xxx
 278  */
 279 ENTRY(omap3_restore_es3)
 280         ldr     r5, pm_prepwstst_core_p
 281         ldr     r4, [r5]
 282         and     r4, r4, #0x3
 283         cmp     r4, #0x0        @ Check if previous power state of CORE is OFF
 284         bne     omap3_restore
 285         adr     r0, es3_sdrc_fix
 286         ldr     r1, sram_base
 287         ldr     r2, es3_sdrc_fix_sz
 288         mov     r2, r2, ror #2
 289 copy_to_sram:
 290         ldmia   r0!, {r3}       @ val = *src
 291         stmia   r1!, {r3}       @ *dst = val
 292         subs    r2, r2, #0x1    @ num_words--
 293         bne     copy_to_sram
 294         ldr     r1, sram_base
 295         blx     r1
 296         b       omap3_restore
 297 ENDPROC(omap3_restore_es3)
 298
 299 ENTRY(omap3_restore_3630)
 300         ldr     r1, pm_prepwstst_core_p
 301         ldr     r2, [r1]
 302         and     r2, r2, #0x3
 303         cmp     r2, #0x0        @ Check if previous power state of CORE is OFF
 304         bne     omap3_restore
 305         /* Disable RTA before giving control */
 306         ldr     r1, control_mem_rta
 307         mov     r2, #OMAP36XX_RTA_DISABLE
 308         str     r2, [r1]
 309 ENDPROC(omap3_restore_3630)
 310
 311         /* Fall through to common code for the remaining logic */
 312
 313 ENTRY(omap3_restore)
 314         /*
 315          * Read the pwstctrl register to check the reason for mpu reset.
 316          * This tells us what was lost.
 317          */
 318         ldr     r1, pm_pwstctrl_mpu
 319         ldr     r2, [r1]
 320         and     r2, r2, #0x3
 321         cmp     r2, #0x0        @ Check if target power state was OFF or RET
 322         bne     logic_l1_restore
 323
 324         ldr     r0, l2dis_3630
 325         cmp     r0, #0x1        @ should we disable L2 on 3630?
 326         bne     skipl2dis
 327         mrc     p15, 0, r0, c1, c0, 1
 328         bic     r0, r0, #2      @ disable L2 cache
 329         mcr     p15, 0, r0, c1, c0, 1
 330 skipl2dis:
 331         ldr     r0, control_stat
 332         ldr     r1, [r0]
 333         and     r1, #0x700
 334         cmp     r1, #0x300
 335         beq     l2_inv_gp
 336         mov     r0, #40                 @ set service ID for PPA
 337         mov     r12, r0                 @ copy secure Service ID in r12
 338         mov     r1, #0                  @ set task id for ROM code in r1
 339         mov     r2, #4                  @ set some flags in r2, r6
 340         mov     r6, #0xff
 341         adr     r3, l2_inv_api_params   @ r3 points to dummy parameters
 342         dsb                             @ data write barrier
 343         dmb                             @ data memory barrier
 344         smc     #1                      @ call SMI monitor (smi #1)
 345         /* Write to Aux control register to set some bits */
 346         mov     r0, #42                 @ set service ID for PPA
 347         mov     r12, r0                 @ copy secure Service ID in r12
 348         mov     r1, #0                  @ set task id for ROM code in r1
 349         mov     r2, #4                  @ set some flags in r2, r6
 350         mov     r6, #0xff
 351         ldr     r4, scratchpad_base
 352         ldr     r3, [r4, #0xBC]         @ r3 points to parameters
 353         dsb                             @ data write barrier
 354         dmb                             @ data memory barrier
 355         smc     #1                      @ call SMI monitor (smi #1)
 356
 357 #ifdef CONFIG_OMAP3_L2_AUX_SECURE_SAVE_RESTORE
 358         /* Restore L2 aux control register */
 359                                         @ set service ID for PPA
 360         mov     r0, #CONFIG_OMAP3_L2_AUX_SECURE_SERVICE_SET_ID
 361         mov     r12, r0                 @ copy service ID in r12
 362         mov     r1, #0                  @ set task ID for ROM code in r1
 363         mov     r2, #4                  @ set some flags in r2, r6
 364         mov     r6, #0xff
 365         ldr     r4, scratchpad_base
 366         ldr     r3, [r4, #0xBC]
 367         adds    r3, r3, #8              @ r3 points to parameters
 368         dsb                             @ data write barrier
 369         dmb                             @ data memory barrier
 370         smc     #1                      @ call SMI monitor (smi #1)
 371 #endif
 372         b       logic_l1_restore
 373
 374         .align
 375 l2_inv_api_params:
 376         .word   0x1, 0x00
 377 l2_inv_gp:
 378         /* Execute smi to invalidate L2 cache */
 379         mov r12, #0x1                   @ set up to invalidate L2
 380         smc     #0                      @ Call SMI monitor (smieq)
 381         /* Write to Aux control register to set some bits */
 382         ldr     r4, scratchpad_base
 383         ldr     r3, [r4,#0xBC]
 384         ldr     r0, [r3,#4]
 385         mov     r12, #0x3
 386         smc     #0                      @ Call SMI monitor (smieq)
 387         ldr     r4, scratchpad_base
 388         ldr     r3, [r4,#0xBC]
 389         ldr     r0, [r3,#12]
 390         mov     r12, #0x2
 391         smc     #0                      @ Call SMI monitor (smieq)
 392 logic_l1_restore:
 393         ldr     r1, l2dis_3630
 394         cmp     r1, #0x1                @ Test if L2 re-enable needed on 3630
 395         bne     skipl2reen
 396         mrc     p15, 0, r1, c1, c0, 1
 397         orr     r1, r1, #2              @ re-enable L2 cache
 398         mcr     p15, 0, r1, c1, c0, 1
 399 skipl2reen:
 400
 401         /* Now branch to the common CPU resume function */
 402         b       cpu_resume
 403 ENDPROC(omap3_restore)
 404
 405         .ltorg
 406
 407 /*
 408  * Internal functions
 409  */
 410
 411 /* This function implements the erratum ID i443 WA, applies to 34xx >= ES3.0 */
 412         .text
 413         .align  3
 414 ENTRY(es3_sdrc_fix)
 415         ldr     r4, sdrc_syscfg         @ get config addr
 416         ldr     r5, [r4]                @ get value
 417         tst     r5, #0x100              @ is part access blocked
 418         it      eq
 419         biceq   r5, r5, #0x100          @ clear bit if set
 420         str     r5, [r4]                @ write back change
 421         ldr     r4, sdrc_mr_0           @ get config addr
 422         ldr     r5, [r4]                @ get value
 423         str     r5, [r4]                @ write back change
 424         ldr     r4, sdrc_emr2_0         @ get config addr
 425         ldr     r5, [r4]                @ get value
 426         str     r5, [r4]                @ write back change
 427         ldr     r4, sdrc_manual_0       @ get config addr
 428         mov     r5, #0x2                @ autorefresh command
 429         str     r5, [r4]                @ kick off refreshes
 430         ldr     r4, sdrc_mr_1           @ get config addr
 431         ldr     r5, [r4]                @ get value
 432         str     r5, [r4]                @ write back change
 433         ldr     r4, sdrc_emr2_1         @ get config addr
 434         ldr     r5, [r4]                @ get value
 435         str     r5, [r4]                @ write back change
 436         ldr     r4, sdrc_manual_1       @ get config addr
 437         mov     r5, #0x2                @ autorefresh command
 438         str     r5, [r4]                @ kick off refreshes
 439         bx      lr
 440
 441         .align
 442 sdrc_syscfg:
 443         .word   SDRC_SYSCONFIG_P
 444 sdrc_mr_0:
 445         .word   SDRC_MR_0_P
 446 sdrc_emr2_0:
 447         .word   SDRC_EMR2_0_P
 448 sdrc_manual_0:
 449         .word   SDRC_MANUAL_0_P
 450 sdrc_mr_1:
 451         .word   SDRC_MR_1_P
 452 sdrc_emr2_1:
 453         .word   SDRC_EMR2_1_P
 454 sdrc_manual_1:
 455         .word   SDRC_MANUAL_1_P
 456 ENDPROC(es3_sdrc_fix)
 457 ENTRY(es3_sdrc_fix_sz)
 458         .word   . - es3_sdrc_fix
 459
 460 /*
 461  * This function implements the erratum ID i581 WA:
 462  *  SDRC state restore before accessing the SDRAM
 463  *
 464  * Only used at return from non-OFF mode. For OFF
 465  * mode the ROM code configures the SDRC and
 466  * the DPLL before calling the restore code directly
 467  * from DDR.
 468  */
 469
 470 /* Make sure SDRC accesses are ok */
 471 wait_sdrc_ok:
 472
 473 /* DPLL3 must be locked before accessing the SDRC. Maybe the HW ensures this */
 474         ldr     r4, cm_idlest_ckgen
 475 wait_dpll3_lock:
 476         ldr     r5, [r4]
 477         tst     r5, #1
 478         beq     wait_dpll3_lock
 479
 480         ldr     r4, cm_idlest1_core
 481 wait_sdrc_ready:
 482         ldr     r5, [r4]
 483         tst     r5, #0x2
 484         bne     wait_sdrc_ready
 485         /* allow DLL powerdown upon hw idle req */
 486         ldr     r4, sdrc_power
 487         ldr     r5, [r4]
 488         bic     r5, r5, #0x40
 489         str     r5, [r4]
 490
 491 /*
 492  * PC-relative stores lead to undefined behaviour in Thumb-2: use a r7 as a
 493  * base instead.
 494  * Be careful not to clobber r7 when maintaing this code.
 495  */
 496
 497 is_dll_in_lock_mode:
 498         /* Is dll in lock mode? */
 499         ldr     r4, sdrc_dlla_ctrl
 500         ldr     r5, [r4]
 501         tst     r5, #0x4
 502         bxne    lr                      @ Return if locked
 503         /* wait till dll locks */
 504         adr     r7, kick_counter
 505 wait_dll_lock_timed:
 506         ldr     r4, wait_dll_lock_counter
 507         add     r4, r4, #1
 508         str     r4, [r7, #wait_dll_lock_counter - kick_counter]
 509         ldr     r4, sdrc_dlla_status
 510         /* Wait 20uS for lock */
 511         mov     r6, #8
 512 wait_dll_lock:
 513         subs    r6, r6, #0x1
 514         beq     kick_dll
 515         ldr     r5, [r4]
 516         and     r5, r5, #0x4
 517         cmp     r5, #0x4
 518         bne     wait_dll_lock
 519         bx      lr                      @ Return when locked
 520
 521         /* disable/reenable DLL if not locked */
 522 kick_dll:
 523         ldr     r4, sdrc_dlla_ctrl
 524         ldr     r5, [r4]
 525         mov     r6, r5
 526         bic     r6, #(1<<3)             @ disable dll
 527         str     r6, [r4]
 528         dsb
 529         orr     r6, r6, #(1<<3)         @ enable dll
 530         str     r6, [r4]
 531         dsb
 532         ldr     r4, kick_counter
 533         add     r4, r4, #1
 534         str     r4, [r7]                @ kick_counter
 535         b       wait_dll_lock_timed
 536
 537         .align
 538 cm_idlest1_core:
 539         .word   CM_IDLEST1_CORE_V
 540 cm_idlest_ckgen:
 541         .word   CM_IDLEST_CKGEN_V
 542 sdrc_dlla_status:
 543         .word   SDRC_DLLA_STATUS_V
 544 sdrc_dlla_ctrl:
 545         .word   SDRC_DLLA_CTRL_V
 546 pm_prepwstst_core_p:
 547         .word   PM_PREPWSTST_CORE_P
 548 pm_pwstctrl_mpu:
 549         .word   PM_PWSTCTRL_MPU_P
 550 scratchpad_base:
 551         .word   SCRATCHPAD_BASE_P
 552 sram_base:
 553         .word   SRAM_BASE_P + 0x8000
 554 sdrc_power:
 555         .word   SDRC_POWER_V
 556 control_stat:
 557         .word   CONTROL_STAT
 558 control_mem_rta:
 559         .word   CONTROL_MEM_RTA_CTRL
 560 kernel_flush:
 561         .word   v7_flush_dcache_all
 562 l2dis_3630:
 563         .word   0
 564         /*
 565          * When exporting to userspace while the counters are in SRAM,
 566          * these 2 words need to be at the end to facilitate retrival!
 567          */
 568 kick_counter:
 569         .word   0
 570 wait_dll_lock_counter:
 571         .word   0
 572 ENDPROC(omap34xx_cpu_suspend)
 573
 574 ENTRY(omap34xx_cpu_suspend_sz)
 575         .word   . - omap34xx_cpu_suspend