arch/x86/ia32/ia32entry.S

   1 /*
   2  * Compatibility mode system call entry point for x86-64.
   3  *
   4  * Copyright 2000-2002 Andi Kleen, SuSE Labs.
   5  */
   6
   7 #include <asm/dwarf2.h>
   8 #include <asm/calling.h>
   9 #include <asm/asm-offsets.h>
  10 #include <asm/current.h>
  11 #include <asm/errno.h>
  12 #include <asm/ia32_unistd.h>
  13 #include <asm/thread_info.h>
  14 #include <asm/segment.h>
  15 #include <asm/pgtable_types.h>
  16 #include <asm/alternative-asm.h>
  17 #include <asm/cpufeature.h>
  18 #include <asm/kaiser.h>
  19 #include <asm/irqflags.h>
  20 #include <linux/linkage.h>
  21 #include <asm/nospec-branch.h>
  22
  23 /* Avoid __ASSEMBLER__'ifying <linux/audit.h> just for this.  */
  24 #include <linux/elf-em.h>
  25 #define AUDIT_ARCH_I386         (EM_386|__AUDIT_ARCH_LE)
  26 #define __AUDIT_ARCH_LE    0x40000000
  27
  28 #ifndef CONFIG_AUDITSYSCALL
  29 #define sysexit_audit ia32_ret_from_sys_call
  30 #define sysretl_audit ia32_ret_from_sys_call
  31 #endif
  32
  33         .section .entry.text, "ax"
  34
  35 #define IA32_NR_syscalls ((ia32_syscall_end - ia32_sys_call_table)/8)
  36
  37         .macro IA32_ARG_FIXUP noebp=0
  38         movl    %edi,%r8d
  39         .if \noebp
  40         .else
  41         movl    %ebp,%r9d
  42         .endif
  43         xchg    %ecx,%esi
  44         movl    %ebx,%edi
  45         movl    %edx,%edx       /* zero extension */
  46         .endm
  47
  48         /* clobbers %eax */
  49         .macro  CLEAR_RREGS offset=0, _r9=rax
  50         xorl    %eax,%eax
  51         movq    %rax,\offset+R11(%rsp)
  52         movq    %rax,\offset+R10(%rsp)
  53         movq    %\_r9,\offset+R9(%rsp)
  54         movq    %rax,\offset+R8(%rsp)
  55         .endm
  56
  57         /*
  58          * Reload arg registers from stack in case ptrace changed them.
  59          * We don't reload %eax because syscall_trace_enter() returned
  60          * the %rax value we should see.  Instead, we just truncate that
  61          * value to 32 bits again as we did on entry from user mode.
  62          * If it's a new value set by user_regset during entry tracing,
  63          * this matches the normal truncation of the user-mode value.
  64          * If it's -1 to make us punt the syscall, then (u32)-1 is still
  65          * an appropriately invalid value.
  66          */
  67         .macro LOAD_ARGS32 offset, _r9=0
  68         .if \_r9
  69         movl \offset+16(%rsp),%r9d
  70         .endif
  71         movl \offset+40(%rsp),%ecx
  72         movl \offset+48(%rsp),%edx
  73         movl \offset+56(%rsp),%esi
  74         movl \offset+64(%rsp),%edi
  75         movl %eax,%eax                  /* zero extension */
  76         .endm
  77
  78         .macro CFI_STARTPROC32 simple
  79         CFI_STARTPROC   \simple
  80         CFI_UNDEFINED   r8
  81         CFI_UNDEFINED   r9
  82         CFI_UNDEFINED   r10
  83         CFI_UNDEFINED   r11
  84         CFI_UNDEFINED   r12
  85         CFI_UNDEFINED   r13
  86         CFI_UNDEFINED   r14
  87         CFI_UNDEFINED   r15
  88         .endm
  89
  90 #ifdef CONFIG_PARAVIRT
  91 ENTRY(native_usergs_sysret32)
  92         swapgs
  93         sysretl
  94 ENDPROC(native_usergs_sysret32)
  95
  96 ENTRY(native_irq_enable_sysexit)
  97         swapgs
  98         sti
  99         sysexit
 100 ENDPROC(native_irq_enable_sysexit)
 101 #endif
 102
 103 /*
 104  * 32bit SYSENTER instruction entry.
 105  *
 106  * Arguments:
 107  * %eax System call number.
 108  * %ebx Arg1
 109  * %ecx Arg2
 110  * %edx Arg3
 111  * %esi Arg4
 112  * %edi Arg5
 113  * %ebp user stack
 114  * 0(%ebp) Arg6
 115  *
 116  * Interrupts off.
 117  *
 118  * This is purely a fast path. For anything complicated we use the int 0x80
 119  * path below.  Set up a complete hardware stack frame to share code
 120  * with the int 0x80 path.
 121  */
 122 ENTRY(ia32_sysenter_target)
 123         CFI_STARTPROC32 simple
 124         CFI_SIGNAL_FRAME
 125         CFI_DEF_CFA     rsp,0
 126         CFI_REGISTER    rsp,rbp
 127         SWAPGS_UNSAFE_STACK
 128         SWITCH_KERNEL_CR3_NO_STACK
 129         movq    PER_CPU_VAR(kernel_stack), %rsp
 130         addq    $(KERNEL_STACK_OFFSET),%rsp
 131         /*
 132          * No need to follow this irqs on/off section: the syscall
 133          * disabled irqs, here we enable it straight after entry:
 134          */
 135         ENABLE_INTERRUPTS(CLBR_NONE)
 136         movl    %ebp,%ebp               /* zero extension */
 137         pushq_cfi $__USER32_DS
 138         /*CFI_REL_OFFSET ss,0*/
 139         pushq_cfi %rbp
 140         CFI_REL_OFFSET rsp,0
 141         pushfq_cfi
 142         /*CFI_REL_OFFSET rflags,0*/
 143         movl    8*3-THREAD_SIZE+TI_sysenter_return(%rsp), %r10d
 144         CFI_REGISTER rip,r10
 145         pushq_cfi $__USER32_CS
 146         /*CFI_REL_OFFSET cs,0*/
 147         movl    %eax, %eax
 148         pushq_cfi %r10
 149         CFI_REL_OFFSET rip,0
 150         pushq_cfi %rax
 151         cld
 152         SAVE_ARGS 0,1,0
 153         /* no need to do an access_ok check here because rbp has been
 154            32bit zero extended */
 155 1:      movl    (%rbp),%ebp
 156         .section __ex_table,"a"
 157         .quad 1b,ia32_badarg
 158         .previous
 159         GET_THREAD_INFO(%r10)
 160         orl    $TS_COMPAT,TI_status(%r10)
 161         testl  $_TIF_WORK_SYSCALL_ENTRY,TI_flags(%r10)
 162         CFI_REMEMBER_STATE
 163         jnz  sysenter_tracesys
 164         cmpq    $(IA32_NR_syscalls),%rax
 165         jae     ia32_badsys
 166 sysenter_do_call:
 167         sbb     %r8,%r8                         /* array_index_mask_nospec() */
 168         and     %r8,%rax
 169         IA32_ARG_FIXUP
 170 sysenter_dispatch:
 171 #ifdef CONFIG_RETPOLINE
 172         movq    ia32_sys_call_table(,%rax,8),%rax
 173         call    __x86_indirect_thunk_rax
 174 #else
 175         call    *ia32_sys_call_table(,%rax,8)
 176 #endif
 177         movq    %rax,RAX-ARGOFFSET(%rsp)
 178         GET_THREAD_INFO(%r10)
 179         DISABLE_INTERRUPTS(CLBR_NONE)
 180         TRACE_IRQS_OFF
 181         testl   $_TIF_ALLWORK_MASK,TI_flags(%r10)
 182         jnz     sysexit_audit
 183 sysexit_from_sys_call:
 184         andl    $~TS_COMPAT,TI_status(%r10)
 185         /* clear IF, that popfq doesn't enable interrupts early */
 186         andl  $~0x200,EFLAGS-R11(%rsp)
 187         movl    RIP-R11(%rsp),%edx              /* User %eip */
 188         CFI_REGISTER rip,rdx
 189         RESTORE_ARGS 0,24,0,0,0,0
 190         xorq    %r8,%r8
 191         xorq    %r9,%r9
 192         xorq    %r10,%r10
 193         xorq    %r11,%r11
 194         popfq_cfi
 195         /*CFI_RESTORE rflags*/
 196         popq_cfi %rcx                           /* User %esp */
 197         CFI_REGISTER rsp,rcx
 198         TRACE_IRQS_ON
 199         SWITCH_USER_CR3
 200         ENABLE_INTERRUPTS_SYSEXIT32
 201
 202 #ifdef CONFIG_AUDITSYSCALL
 203         .macro auditsys_entry_common
 204         movl %esi,%r9d                  /* 6th arg: 4th syscall arg */
 205         movl %edx,%r8d                  /* 5th arg: 3rd syscall arg */
 206         /* (already in %ecx)               4th arg: 2nd syscall arg */
 207         movl %ebx,%edx                  /* 3rd arg: 1st syscall arg */
 208         movl %eax,%esi                  /* 2nd arg: syscall number */
 209         movl $AUDIT_ARCH_I386,%edi      /* 1st arg: audit arch */
 210         call audit_syscall_entry
 211         movl RAX-ARGOFFSET(%rsp),%eax   /* reload syscall number */
 212         cmpq $(IA32_NR_syscalls),%rax
 213         jae  ia32_badsys
 214         sbb  %r8,%r8                    /* array_index_mask_nospec() */
 215         and  %r8,%rax
 216         movl %ebx,%edi                  /* reload 1st syscall arg */
 217         movl RCX-ARGOFFSET(%rsp),%esi   /* reload 2nd syscall arg */
 218         movl RDX-ARGOFFSET(%rsp),%edx   /* reload 3rd syscall arg */
 219         movl RSI-ARGOFFSET(%rsp),%ecx   /* reload 4th syscall arg */
 220         movl RDI-ARGOFFSET(%rsp),%r8d   /* reload 5th syscall arg */
 221         .endm
 222
 223         .macro auditsys_exit exit
 224         testl $(_TIF_ALLWORK_MASK & ~_TIF_SYSCALL_AUDIT),TI_flags(%r10)
 225         jnz ia32_ret_from_sys_call
 226         TRACE_IRQS_ON
 227         ENABLE_INTERRUPTS(CLBR_NONE)
 228         movl %eax,%esi          /* second arg, syscall return value */
 229         cmpl $0,%eax            /* is it < 0? */
 230         setl %al                /* 1 if so, 0 if not */
 231         movzbl %al,%edi         /* zero-extend that into %edi */
 232         inc %edi /* first arg, 0->1(AUDITSC_SUCCESS), 1->2(AUDITSC_FAILURE) */
 233         call audit_syscall_exit
 234         GET_THREAD_INFO(%r10)
 235         movl RAX-ARGOFFSET(%rsp),%eax   /* reload syscall return value */
 236         movl $(_TIF_ALLWORK_MASK & ~_TIF_SYSCALL_AUDIT),%edi
 237         DISABLE_INTERRUPTS(CLBR_NONE)
 238         TRACE_IRQS_OFF
 239         testl %edi,TI_flags(%r10)
 240         jz \exit
 241         CLEAR_RREGS -ARGOFFSET
 242         jmp int_with_check
 243         .endm
 244
 245 sysenter_auditsys:
 246         CFI_RESTORE_STATE
 247         auditsys_entry_common
 248         movl %ebp,%r9d                  /* reload 6th syscall arg */
 249         jmp sysenter_dispatch
 250
 251 sysexit_audit:
 252         auditsys_exit sysexit_from_sys_call
 253 #endif
 254
 255 sysenter_tracesys:
 256 #ifdef CONFIG_AUDITSYSCALL
 257         testl   $(_TIF_WORK_SYSCALL_ENTRY & ~_TIF_SYSCALL_AUDIT),TI_flags(%r10)
 258         jz      sysenter_auditsys
 259 #endif
 260         SAVE_REST
 261         CLEAR_RREGS
 262         movq    $-ENOSYS,RAX(%rsp)/* ptrace can change this for a bad syscall */
 263         movq    %rsp,%rdi        /* &pt_regs -> arg1 */
 264         call    syscall_trace_enter
 265         LOAD_ARGS32 ARGOFFSET  /* reload args from stack in case ptrace changed it */
 266         RESTORE_REST
 267         cmpq    $(IA32_NR_syscalls),%rax
 268         jae     int_ret_from_sys_call /* sysenter_tracesys has set RAX(%rsp) */
 269         jmp     sysenter_do_call
 270         CFI_ENDPROC
 271 ENDPROC(ia32_sysenter_target)
 272
 273 /*
 274  * 32bit SYSCALL instruction entry.
 275  *
 276  * Arguments:
 277  * %eax System call number.
 278  * %ebx Arg1
 279  * %ecx return EIP
 280  * %edx Arg3
 281  * %esi Arg4
 282  * %edi Arg5
 283  * %ebp Arg2    [note: not saved in the stack frame, should not be touched]
 284  * %esp user stack
 285  * 0(%esp) Arg6
 286  *
 287  * Interrupts off.
 288  *
 289  * This is purely a fast path. For anything complicated we use the int 0x80
 290  * path below.  Set up a complete hardware stack frame to share code
 291  * with the int 0x80 path.
 292  */
 293 ENTRY(ia32_cstar_target)
 294         CFI_STARTPROC32 simple
 295         CFI_SIGNAL_FRAME
 296         CFI_DEF_CFA     rsp,KERNEL_STACK_OFFSET
 297         CFI_REGISTER    rip,rcx
 298         /*CFI_REGISTER  rflags,r11*/
 299         SWAPGS_UNSAFE_STACK
 300         SWITCH_KERNEL_CR3_NO_STACK
 301         movl    %esp,%r8d
 302         CFI_REGISTER    rsp,r8
 303         movq    PER_CPU_VAR(kernel_stack),%rsp
 304         /*
 305          * No need to follow this irqs on/off section: the syscall
 306          * disabled irqs and here we enable it straight after entry:
 307          */
 308         ENABLE_INTERRUPTS(CLBR_NONE)
 309         SAVE_ARGS 8,0,0
 310         movl    %eax,%eax       /* zero extension */
 311         movq    %rax,ORIG_RAX-ARGOFFSET(%rsp)
 312         movq    %rcx,RIP-ARGOFFSET(%rsp)
 313         CFI_REL_OFFSET rip,RIP-ARGOFFSET
 314         movq    %rbp,RCX-ARGOFFSET(%rsp) /* this lies slightly to ptrace */
 315         movl    %ebp,%ecx
 316         movq    $__USER32_CS,CS-ARGOFFSET(%rsp)
 317         movq    $__USER32_DS,SS-ARGOFFSET(%rsp)
 318         movq    %r11,EFLAGS-ARGOFFSET(%rsp)
 319         /*CFI_REL_OFFSET rflags,EFLAGS-ARGOFFSET*/
 320         movq    %r8,RSP-ARGOFFSET(%rsp)
 321         CFI_REL_OFFSET rsp,RSP-ARGOFFSET
 322         /* no need to do an access_ok check here because r8 has been
 323            32bit zero extended */
 324         /* hardware stack frame is complete now */
 325 1:      movl    (%r8),%r9d
 326         .section __ex_table,"a"
 327         .quad 1b,ia32_badarg
 328         .previous
 329         GET_THREAD_INFO(%r10)
 330         orl   $TS_COMPAT,TI_status(%r10)
 331         testl $_TIF_WORK_SYSCALL_ENTRY,TI_flags(%r10)
 332         CFI_REMEMBER_STATE
 333         jnz   cstar_tracesys
 334         cmpq $IA32_NR_syscalls,%rax
 335         jae  ia32_badsys
 336 cstar_do_call:
 337         sbb  %r8,%r8                            /* array_index_mask_nospec() */
 338         and  %r8,%rax
 339         IA32_ARG_FIXUP 1
 340 cstar_dispatch:
 341 #ifdef CONFIG_RETPOLINE
 342         movq ia32_sys_call_table(,%rax,8),%rax
 343         call __x86_indirect_thunk_rax
 344 #else
 345         call *ia32_sys_call_table(,%rax,8)
 346 #endif
 347         movq %rax,RAX-ARGOFFSET(%rsp)
 348         GET_THREAD_INFO(%r10)
 349         DISABLE_INTERRUPTS(CLBR_NONE)
 350         TRACE_IRQS_OFF
 351         testl $_TIF_ALLWORK_MASK,TI_flags(%r10)
 352         jnz sysretl_audit
 353 sysretl_from_sys_call:
 354         andl $~TS_COMPAT,TI_status(%r10)
 355         RESTORE_ARGS 0,-ARG_SKIP,0,0,0
 356         movl RIP-ARGOFFSET(%rsp),%ecx
 357         CFI_REGISTER rip,rcx
 358         movl EFLAGS-ARGOFFSET(%rsp),%r11d
 359         /*CFI_REGISTER rflags,r11*/
 360         xorq    %r10,%r10
 361         xorq    %r9,%r9
 362         xorq    %r8,%r8
 363         TRACE_IRQS_ON
 364         SWITCH_USER_CR3
 365         movl RSP-ARGOFFSET(%rsp),%esp
 366         CFI_RESTORE rsp
 367         USERGS_SYSRET32
 368
 369 #ifdef CONFIG_AUDITSYSCALL
 370 cstar_auditsys:
 371         CFI_RESTORE_STATE
 372         movl %r9d,R9-ARGOFFSET(%rsp)    /* register to be clobbered by call */
 373         auditsys_entry_common
 374         movl R9-ARGOFFSET(%rsp),%r9d    /* reload 6th syscall arg */
 375         jmp cstar_dispatch
 376
 377 sysretl_audit:
 378         auditsys_exit sysretl_from_sys_call
 379 #endif
 380
 381 cstar_tracesys:
 382 #ifdef CONFIG_AUDITSYSCALL
 383         testl $(_TIF_WORK_SYSCALL_ENTRY & ~_TIF_SYSCALL_AUDIT),TI_flags(%r10)
 384         jz cstar_auditsys
 385 #endif
 386         xchgl %r9d,%ebp
 387         SAVE_REST
 388         CLEAR_RREGS 0, r9
 389         movq $-ENOSYS,RAX(%rsp) /* ptrace can change this for a bad syscall */
 390         movq %rsp,%rdi        /* &pt_regs -> arg1 */
 391         call syscall_trace_enter
 392         LOAD_ARGS32 ARGOFFSET, 1  /* reload args from stack in case ptrace changed it */
 393         RESTORE_REST
 394         xchgl %ebp,%r9d
 395         cmpq $(IA32_NR_syscalls),%rax
 396         jae int_ret_from_sys_call /* cstar_tracesys has set RAX(%rsp) */
 397         jmp cstar_do_call
 398 END(ia32_cstar_target)
 399
 400 ia32_badarg:
 401         movq $-EFAULT,%rax
 402         jmp ia32_sysret
 403         CFI_ENDPROC
 404
 405 /*
 406  * Emulated IA32 system calls via int 0x80.
 407  *
 408  * Arguments:
 409  * %eax System call number.
 410  * %ebx Arg1
 411  * %ecx Arg2
 412  * %edx Arg3
 413  * %esi Arg4
 414  * %edi Arg5
 415  * %ebp Arg6    [note: not saved in the stack frame, should not be touched]
 416  *
 417  * Notes:
 418  * Uses the same stack frame as the x86-64 version.
 419  * All registers except %eax must be saved (but ptrace may violate that)
 420  * Arguments are zero extended. For system calls that want sign extension and
 421  * take long arguments a wrapper is needed. Most calls can just be called
 422  * directly.
 423  * Assumes it is only called from user space and entered with interrupts off.
 424  */
 425
 426 ENTRY(ia32_syscall)
 427         CFI_STARTPROC32 simple
 428         CFI_SIGNAL_FRAME
 429         CFI_DEF_CFA     rsp,SS+8-RIP
 430         /*CFI_REL_OFFSET        ss,SS-RIP*/
 431         CFI_REL_OFFSET  rsp,RSP-RIP
 432         /*CFI_REL_OFFSET        rflags,EFLAGS-RIP*/
 433         /*CFI_REL_OFFSET        cs,CS-RIP*/
 434         CFI_REL_OFFSET  rip,RIP-RIP
 435         PARAVIRT_ADJUST_EXCEPTION_FRAME
 436         SWAPGS
 437         SWITCH_KERNEL_CR3_NO_STACK
 438         /*
 439          * No need to follow this irqs on/off section: the syscall
 440          * disabled irqs and here we enable it straight after entry:
 441          */
 442         ENABLE_INTERRUPTS(CLBR_NONE)
 443         movl %eax,%eax
 444         pushq_cfi %rax
 445         cld
 446         /* note the registers are not zero extended to the sf.
 447            this could be a problem. */
 448         SAVE_ARGS 0,1,0
 449         GET_THREAD_INFO(%r10)
 450         orl   $TS_COMPAT,TI_status(%r10)
 451         testl $_TIF_WORK_SYSCALL_ENTRY,TI_flags(%r10)
 452         jnz ia32_tracesys
 453         cmpq $(IA32_NR_syscalls),%rax
 454         jae  ia32_badsys
 455 ia32_do_call:
 456         sbb  %r8,%r8                            /* array_index_mask_nospec() */
 457         and  %r8,%rax
 458         IA32_ARG_FIXUP
 459 #ifdef CONFIG_RETPOLINE
 460         movq ia32_sys_call_table(,%rax,8),%rax
 461         call __x86_indirect_thunk_rax
 462 #else
 463         call *ia32_sys_call_table(,%rax,8) # xxx: rip relative
 464 #endif
 465 ia32_sysret:
 466         movq %rax,RAX-ARGOFFSET(%rsp)
 467 ia32_ret_from_sys_call:
 468         CLEAR_RREGS -ARGOFFSET
 469         jmp int_ret_from_sys_call
 470
 471 ia32_tracesys:
 472         SAVE_REST
 473         CLEAR_RREGS
 474         movq $-ENOSYS,RAX(%rsp) /* ptrace can change this for a bad syscall */
 475         movq %rsp,%rdi        /* &pt_regs -> arg1 */
 476         call syscall_trace_enter
 477         LOAD_ARGS32 ARGOFFSET  /* reload args from stack in case ptrace changed it */
 478         RESTORE_REST
 479         cmpq $(IA32_NR_syscalls),%rax
 480         jae int_ret_from_sys_call       /* ia32_tracesys has set RAX(%rsp) */
 481         jmp ia32_do_call
 482 END(ia32_syscall)
 483
 484 ia32_badsys:
 485         movq $0,ORIG_RAX-ARGOFFSET(%rsp)
 486         movq $-ENOSYS,%rax
 487         jmp ia32_sysret
 488
 489 quiet_ni_syscall:
 490         movq $-ENOSYS,%rax
 491         ret
 492         CFI_ENDPROC
 493
 494         .macro PTREGSCALL label, func, arg
 495         .globl \label
 496 \label:
 497         leaq \func(%rip),%rax
 498         leaq -ARGOFFSET+8(%rsp),\arg    /* 8 for return address */
 499         jmp  ia32_ptregs_common
 500         .endm
 501
 502         CFI_STARTPROC32
 503
 504         PTREGSCALL stub32_rt_sigreturn, sys32_rt_sigreturn, %rdi
 505         PTREGSCALL stub32_sigreturn, sys32_sigreturn, %rdi
 506         PTREGSCALL stub32_sigaltstack, sys32_sigaltstack, %rdx
 507         PTREGSCALL stub32_execve, sys32_execve, %rcx
 508         PTREGSCALL stub32_fork, sys_fork, %rdi
 509         PTREGSCALL stub32_clone, sys32_clone, %rdx
 510         PTREGSCALL stub32_vfork, sys_vfork, %rdi
 511         PTREGSCALL stub32_iopl, sys_iopl, %rsi
 512
 513 ENTRY(ia32_ptregs_common)
 514         popq %r11
 515         CFI_ENDPROC
 516         CFI_STARTPROC32 simple
 517         CFI_SIGNAL_FRAME
 518         CFI_DEF_CFA     rsp,SS+8-ARGOFFSET
 519         CFI_REL_OFFSET  rax,RAX-ARGOFFSET
 520         CFI_REL_OFFSET  rcx,RCX-ARGOFFSET
 521         CFI_REL_OFFSET  rdx,RDX-ARGOFFSET
 522         CFI_REL_OFFSET  rsi,RSI-ARGOFFSET
 523         CFI_REL_OFFSET  rdi,RDI-ARGOFFSET
 524         CFI_REL_OFFSET  rip,RIP-ARGOFFSET
 525 /*      CFI_REL_OFFSET  cs,CS-ARGOFFSET*/
 526 /*      CFI_REL_OFFSET  rflags,EFLAGS-ARGOFFSET*/
 527         CFI_REL_OFFSET  rsp,RSP-ARGOFFSET
 528 /*      CFI_REL_OFFSET  ss,SS-ARGOFFSET*/
 529         SAVE_REST
 530         CALL_NOSPEC %rax
 531         RESTORE_REST
 532         jmp  ia32_sysret        /* misbalances the return cache */
 533         CFI_ENDPROC
 534 END(ia32_ptregs_common)
 535
 536         .section .rodata,"a"
 537         .align 8
 538 ia32_sys_call_table:
 539         .quad sys_restart_syscall
 540         .quad sys_exit
 541         .quad stub32_fork
 542         .quad sys_read
 543         .quad sys_write
 544         .quad compat_sys_open           /* 5 */
 545         .quad sys_close
 546         .quad sys32_waitpid
 547         .quad sys_creat
 548         .quad sys_link
 549         .quad sys_unlink                /* 10 */
 550         .quad stub32_execve
 551         .quad sys_chdir
 552         .quad compat_sys_time
 553         .quad sys_mknod
 554         .quad sys_chmod         /* 15 */
 555         .quad sys_lchown16
 556         .quad quiet_ni_syscall                  /* old break syscall holder */
 557         .quad sys_stat
 558         .quad sys32_lseek
 559         .quad sys_getpid                /* 20 */
 560         .quad compat_sys_mount  /* mount  */
 561         .quad sys_oldumount     /* old_umount  */
 562         .quad sys_setuid16
 563         .quad sys_getuid16
 564         .quad compat_sys_stime  /* stime */             /* 25 */
 565         .quad compat_sys_ptrace /* ptrace */
 566         .quad sys_alarm
 567         .quad sys_fstat /* (old)fstat */
 568         .quad sys_pause
 569         .quad compat_sys_utime  /* 30 */
 570         .quad quiet_ni_syscall  /* old stty syscall holder */
 571         .quad quiet_ni_syscall  /* old gtty syscall holder */
 572         .quad sys_access
 573         .quad sys_nice
 574         .quad quiet_ni_syscall  /* 35 */        /* old ftime syscall holder */
 575         .quad sys_sync
 576         .quad sys32_kill
 577         .quad sys_rename
 578         .quad sys_mkdir
 579         .quad sys_rmdir         /* 40 */
 580         .quad sys_dup
 581         .quad sys_pipe
 582         .quad compat_sys_times
 583         .quad quiet_ni_syscall                  /* old prof syscall holder */
 584         .quad sys_brk           /* 45 */
 585         .quad sys_setgid16
 586         .quad sys_getgid16
 587         .quad sys_signal
 588         .quad sys_geteuid16
 589         .quad sys_getegid16     /* 50 */
 590         .quad sys_acct
 591         .quad sys_umount                        /* new_umount */
 592         .quad quiet_ni_syscall                  /* old lock syscall holder */
 593         .quad compat_sys_ioctl
 594         .quad compat_sys_fcntl64                /* 55 */
 595         .quad quiet_ni_syscall                  /* old mpx syscall holder */
 596         .quad sys_setpgid
 597         .quad quiet_ni_syscall                  /* old ulimit syscall holder */
 598         .quad sys_olduname
 599         .quad sys_umask         /* 60 */
 600         .quad sys_chroot
 601         .quad compat_sys_ustat
 602         .quad sys_dup2
 603         .quad sys_getppid
 604         .quad sys_getpgrp               /* 65 */
 605         .quad sys_setsid
 606         .quad sys32_sigaction
 607         .quad sys_sgetmask
 608         .quad sys_ssetmask
 609         .quad sys_setreuid16    /* 70 */
 610         .quad sys_setregid16
 611         .quad sys32_sigsuspend
 612         .quad compat_sys_sigpending
 613         .quad sys_sethostname
 614         .quad compat_sys_setrlimit      /* 75 */
 615         .quad compat_sys_old_getrlimit  /* old_getrlimit */
 616         .quad compat_sys_getrusage
 617         .quad compat_sys_gettimeofday
 618         .quad compat_sys_settimeofday
 619         .quad sys_getgroups16   /* 80 */
 620         .quad sys_setgroups16
 621         .quad compat_sys_old_select
 622         .quad sys_symlink
 623         .quad sys_lstat
 624         .quad sys_readlink              /* 85 */
 625         .quad sys_uselib
 626         .quad sys_swapon
 627         .quad sys_reboot
 628         .quad compat_sys_old_readdir
 629         .quad sys32_mmap                /* 90 */
 630         .quad sys_munmap
 631         .quad sys_truncate
 632         .quad sys_ftruncate
 633         .quad sys_fchmod
 634         .quad sys_fchown16              /* 95 */
 635         .quad sys_getpriority
 636         .quad sys_setpriority
 637         .quad quiet_ni_syscall                  /* old profil syscall holder */
 638         .quad compat_sys_statfs
 639         .quad compat_sys_fstatfs                /* 100 */
 640         .quad sys_ioperm
 641         .quad compat_sys_socketcall
 642         .quad sys_syslog
 643         .quad compat_sys_setitimer
 644         .quad compat_sys_getitimer      /* 105 */
 645         .quad compat_sys_newstat
 646         .quad compat_sys_newlstat
 647         .quad compat_sys_newfstat
 648         .quad sys_uname
 649         .quad stub32_iopl               /* 110 */
 650         .quad sys_vhangup
 651         .quad quiet_ni_syscall  /* old "idle" system call */
 652         .quad sys32_vm86_warning        /* vm86old */
 653         .quad compat_sys_wait4
 654         .quad sys_swapoff               /* 115 */
 655         .quad compat_sys_sysinfo
 656         .quad sys32_ipc
 657         .quad sys_fsync
 658         .quad stub32_sigreturn
 659         .quad stub32_clone              /* 120 */
 660         .quad sys_setdomainname
 661         .quad sys_newuname
 662         .quad sys_modify_ldt
 663         .quad compat_sys_adjtimex
 664         .quad sys32_mprotect            /* 125 */
 665         .quad compat_sys_sigprocmask
 666         .quad quiet_ni_syscall          /* create_module */
 667         .quad sys_init_module
 668         .quad sys_delete_module
 669         .quad quiet_ni_syscall          /* 130  get_kernel_syms */
 670         .quad sys32_quotactl
 671         .quad sys_getpgid
 672         .quad sys_fchdir
 673         .quad quiet_ni_syscall  /* bdflush */
 674         .quad sys_sysfs         /* 135 */
 675         .quad sys_personality
 676         .quad quiet_ni_syscall  /* for afs_syscall */
 677         .quad sys_setfsuid16
 678         .quad sys_setfsgid16
 679         .quad sys_llseek                /* 140 */
 680         .quad compat_sys_getdents
 681         .quad compat_sys_select
 682         .quad sys_flock
 683         .quad sys_msync
 684         .quad compat_sys_readv          /* 145 */
 685         .quad compat_sys_writev
 686         .quad sys_getsid
 687         .quad sys_fdatasync
 688         .quad compat_sys_sysctl /* sysctl */
 689         .quad sys_mlock         /* 150 */
 690         .quad sys_munlock
 691         .quad sys_mlockall
 692         .quad sys_munlockall
 693         .quad sys_sched_setparam
 694         .quad sys_sched_getparam   /* 155 */
 695         .quad sys_sched_setscheduler
 696         .quad sys_sched_getscheduler
 697         .quad sys_sched_yield
 698         .quad sys_sched_get_priority_max
 699         .quad sys_sched_get_priority_min  /* 160 */
 700         .quad sys32_sched_rr_get_interval
 701         .quad compat_sys_nanosleep
 702         .quad sys_mremap
 703         .quad sys_setresuid16
 704         .quad sys_getresuid16   /* 165 */
 705         .quad sys32_vm86_warning        /* vm86 */
 706         .quad quiet_ni_syscall  /* query_module */
 707         .quad sys_poll
 708         .quad quiet_ni_syscall /* old nfsservctl */
 709         .quad sys_setresgid16   /* 170 */
 710         .quad sys_getresgid16
 711         .quad sys_prctl
 712         .quad stub32_rt_sigreturn
 713         .quad sys32_rt_sigaction
 714         .quad sys32_rt_sigprocmask      /* 175 */
 715         .quad sys32_rt_sigpending
 716         .quad compat_sys_rt_sigtimedwait
 717         .quad sys32_rt_sigqueueinfo
 718         .quad sys_rt_sigsuspend
 719         .quad sys32_pread               /* 180 */
 720         .quad sys32_pwrite
 721         .quad sys_chown16
 722         .quad sys_getcwd
 723         .quad sys_capget
 724         .quad sys_capset
 725         .quad stub32_sigaltstack
 726         .quad sys32_sendfile
 727         .quad quiet_ni_syscall          /* streams1 */
 728         .quad quiet_ni_syscall          /* streams2 */
 729         .quad stub32_vfork            /* 190 */
 730         .quad compat_sys_getrlimit
 731         .quad sys_mmap_pgoff
 732         .quad sys32_truncate64
 733         .quad sys32_ftruncate64
 734         .quad sys32_stat64              /* 195 */
 735         .quad sys32_lstat64
 736         .quad sys32_fstat64
 737         .quad sys_lchown
 738         .quad sys_getuid
 739         .quad sys_getgid                /* 200 */
 740         .quad sys_geteuid
 741         .quad sys_getegid
 742         .quad sys_setreuid
 743         .quad sys_setregid
 744         .quad sys_getgroups     /* 205 */
 745         .quad sys_setgroups
 746         .quad sys_fchown
 747         .quad sys_setresuid
 748         .quad sys_getresuid
 749         .quad sys_setresgid     /* 210 */
 750         .quad sys_getresgid
 751         .quad sys_chown
 752         .quad sys_setuid
 753         .quad sys_setgid
 754         .quad sys_setfsuid              /* 215 */
 755         .quad sys_setfsgid
 756         .quad sys_pivot_root
 757         .quad sys_mincore
 758         .quad sys_madvise
 759         .quad compat_sys_getdents64     /* 220 getdents64 */
 760         .quad compat_sys_fcntl64
 761         .quad quiet_ni_syscall          /* tux */
 762         .quad quiet_ni_syscall          /* security */
 763         .quad sys_gettid
 764         .quad sys32_readahead   /* 225 */
 765         .quad sys_setxattr
 766         .quad sys_lsetxattr
 767         .quad sys_fsetxattr
 768         .quad sys_getxattr
 769         .quad sys_lgetxattr     /* 230 */
 770         .quad sys_fgetxattr
 771         .quad sys_listxattr
 772         .quad sys_llistxattr
 773         .quad sys_flistxattr
 774         .quad sys_removexattr   /* 235 */
 775         .quad sys_lremovexattr
 776         .quad sys_fremovexattr
 777         .quad sys_tkill
 778         .quad sys_sendfile64
 779         .quad compat_sys_futex          /* 240 */
 780         .quad compat_sys_sched_setaffinity
 781         .quad compat_sys_sched_getaffinity
 782         .quad sys_set_thread_area
 783         .quad sys_get_thread_area
 784         .quad compat_sys_io_setup       /* 245 */
 785         .quad sys_io_destroy
 786         .quad compat_sys_io_getevents
 787         .quad compat_sys_io_submit
 788         .quad sys_io_cancel
 789         .quad sys32_fadvise64           /* 250 */
 790         .quad quiet_ni_syscall  /* free_huge_pages */
 791         .quad sys_exit_group
 792         .quad sys32_lookup_dcookie
 793         .quad sys_epoll_create
 794         .quad sys_epoll_ctl             /* 255 */
 795         .quad sys_epoll_wait
 796         .quad sys_remap_file_pages
 797         .quad sys_set_tid_address
 798         .quad compat_sys_timer_create
 799         .quad compat_sys_timer_settime  /* 260 */
 800         .quad compat_sys_timer_gettime
 801         .quad sys_timer_getoverrun
 802         .quad sys_timer_delete
 803         .quad compat_sys_clock_settime
 804         .quad compat_sys_clock_gettime  /* 265 */
 805         .quad compat_sys_clock_getres
 806         .quad compat_sys_clock_nanosleep
 807         .quad compat_sys_statfs64
 808         .quad compat_sys_fstatfs64
 809         .quad sys_tgkill                /* 270 */
 810         .quad compat_sys_utimes
 811         .quad sys32_fadvise64_64
 812         .quad quiet_ni_syscall  /* sys_vserver */
 813         .quad sys_mbind
 814         .quad compat_sys_get_mempolicy  /* 275 */
 815         .quad sys_set_mempolicy
 816         .quad compat_sys_mq_open
 817         .quad sys_mq_unlink
 818         .quad compat_sys_mq_timedsend
 819         .quad compat_sys_mq_timedreceive        /* 280 */
 820         .quad compat_sys_mq_notify
 821         .quad compat_sys_mq_getsetattr
 822         .quad compat_sys_kexec_load     /* reserved for kexec */
 823         .quad compat_sys_waitid
 824         .quad quiet_ni_syscall          /* 285: sys_altroot */
 825         .quad sys_add_key
 826         .quad sys_request_key
 827         .quad compat_sys_keyctl
 828         .quad sys_ioprio_set
 829         .quad sys_ioprio_get            /* 290 */
 830         .quad sys_inotify_init
 831         .quad sys_inotify_add_watch
 832         .quad sys_inotify_rm_watch
 833         .quad sys_migrate_pages
 834         .quad compat_sys_openat         /* 295 */
 835         .quad sys_mkdirat
 836         .quad sys_mknodat
 837         .quad sys_fchownat
 838         .quad compat_sys_futimesat
 839         .quad sys32_fstatat             /* 300 */
 840         .quad sys_unlinkat
 841         .quad sys_renameat
 842         .quad sys_linkat
 843         .quad sys_symlinkat
 844         .quad sys_readlinkat            /* 305 */
 845         .quad sys_fchmodat
 846         .quad sys_faccessat
 847         .quad compat_sys_pselect6
 848         .quad compat_sys_ppoll
 849         .quad sys_unshare               /* 310 */
 850         .quad compat_sys_set_robust_list
 851         .quad compat_sys_get_robust_list
 852         .quad sys_splice
 853         .quad sys32_sync_file_range
 854         .quad sys_tee                   /* 315 */
 855         .quad compat_sys_vmsplice
 856         .quad compat_sys_move_pages
 857         .quad sys_getcpu
 858         .quad sys_epoll_pwait
 859         .quad compat_sys_utimensat      /* 320 */
 860         .quad compat_sys_signalfd
 861         .quad sys_timerfd_create
 862         .quad sys_eventfd
 863         .quad sys32_fallocate
 864         .quad compat_sys_timerfd_settime        /* 325 */
 865         .quad compat_sys_timerfd_gettime
 866         .quad compat_sys_signalfd4
 867         .quad sys_eventfd2
 868         .quad sys_epoll_create1
 869         .quad sys_dup3                          /* 330 */
 870         .quad sys_pipe2
 871         .quad sys_inotify_init1
 872         .quad compat_sys_preadv
 873         .quad compat_sys_pwritev
 874         .quad compat_sys_rt_tgsigqueueinfo      /* 335 */
 875         .quad sys_perf_event_open
 876         .quad compat_sys_recvmmsg
 877         .quad sys_fanotify_init
 878         .quad sys32_fanotify_mark
 879         .quad sys_prlimit64             /* 340 */
 880         .quad sys_name_to_handle_at
 881         .quad compat_sys_open_by_handle_at
 882         .quad compat_sys_clock_adjtime
 883         .quad sys_syncfs
 884         .quad compat_sys_sendmmsg       /* 345 */
 885         .quad sys_setns
 886         .quad compat_sys_process_vm_readv
 887         .quad compat_sys_process_vm_writev
 888 ia32_syscall_end: