arch/ia64/kernel/perfmon.c

   1 /*
   2  * This file implements the perfmon-2 subsystem which is used
   3  * to program the IA-64 Performance Monitoring Unit (PMU).
   4  *
   5  * The initial version of perfmon.c was written by
   6  * Ganesh Venkitachalam, IBM Corp.
   7  *
   8  * Then it was modified for perfmon-1.x by Stephane Eranian and
   9  * David Mosberger, Hewlett Packard Co.
  10  *
  11  * Version Perfmon-2.x is a rewrite of perfmon-1.x
  12  * by Stephane Eranian, Hewlett Packard Co.
  13  *
  14  * Copyright (C) 1999-2005  Hewlett Packard Co
  15  *               Stephane Eranian <eranian@hpl.hp.com>
  16  *               David Mosberger-Tang <davidm@hpl.hp.com>
  17  *
  18  * More information about perfmon available at:
  19  *      http://www.hpl.hp.com/research/linux/perfmon
  20  */
  21
  22 #include <linux/module.h>
  23 #include <linux/kernel.h>
  24 #include <linux/sched.h>
  25 #include <linux/interrupt.h>
  26 #include <linux/proc_fs.h>
  27 #include <linux/seq_file.h>
  28 #include <linux/init.h>
  29 #include <linux/vmalloc.h>
  30 #include <linux/mm.h>
  31 #include <linux/sysctl.h>
  32 #include <linux/list.h>
  33 #include <linux/file.h>
  34 #include <linux/poll.h>
  35 #include <linux/vfs.h>
  36 #include <linux/smp.h>
  37 #include <linux/pagemap.h>
  38 #include <linux/mount.h>
  39 #include <linux/bitops.h>
  40 #include <linux/capability.h>
  41 #include <linux/rcupdate.h>
  42 #include <linux/completion.h>
  43
  44 #include <asm/errno.h>
  45 #include <asm/intrinsics.h>
  46 #include <asm/page.h>
  47 #include <asm/perfmon.h>
  48 #include <asm/processor.h>
  49 #include <asm/signal.h>
  50 #include <asm/system.h>
  51 #include <asm/uaccess.h>
  52 #include <asm/delay.h>
  53
  54 #ifdef CONFIG_PERFMON
  55 /*
  56  * perfmon context state
  57  */
  58 #define PFM_CTX_UNLOADED        1       /* context is not loaded onto any task */
  59 #define PFM_CTX_LOADED          2       /* context is loaded onto a task */
  60 #define PFM_CTX_MASKED          3       /* context is loaded but monitoring is masked due to overflow */
  61 #define PFM_CTX_ZOMBIE          4       /* owner of the context is closing it */
  62
  63 #define PFM_INVALID_ACTIVATION  (~0UL)
  64
  65 #define PFM_NUM_PMC_REGS        64      /* PMC save area for ctxsw */
  66 #define PFM_NUM_PMD_REGS        64      /* PMD save area for ctxsw */
  67
  68 /*
  69  * depth of message queue
  70  */
  71 #define PFM_MAX_MSGS            32
  72 #define PFM_CTXQ_EMPTY(g)       ((g)->ctx_msgq_head == (g)->ctx_msgq_tail)
  73
  74 /*
  75  * type of a PMU register (bitmask).
  76  * bitmask structure:
  77  *      bit0   : register implemented
  78  *      bit1   : end marker
  79  *      bit2-3 : reserved
  80  *      bit4   : pmc has pmc.pm
  81  *      bit5   : pmc controls a counter (has pmc.oi), pmd is used as counter
  82  *      bit6-7 : register type
  83  *      bit8-31: reserved
  84  */
  85 #define PFM_REG_NOTIMPL         0x0 /* not implemented at all */
  86 #define PFM_REG_IMPL            0x1 /* register implemented */
  87 #define PFM_REG_END             0x2 /* end marker */
  88 #define PFM_REG_MONITOR         (0x1<<4|PFM_REG_IMPL) /* a PMC with a pmc.pm field only */
  89 #define PFM_REG_COUNTING        (0x2<<4|PFM_REG_MONITOR) /* a monitor + pmc.oi+ PMD used as a counter */
  90 #define PFM_REG_CONTROL         (0x4<<4|PFM_REG_IMPL) /* PMU control register */
  91 #define PFM_REG_CONFIG          (0x8<<4|PFM_REG_IMPL) /* configuration register */
  92 #define PFM_REG_BUFFER          (0xc<<4|PFM_REG_IMPL) /* PMD used as buffer */
  93
  94 #define PMC_IS_LAST(i)  (pmu_conf->pmc_desc[i].type & PFM_REG_END)
  95 #define PMD_IS_LAST(i)  (pmu_conf->pmd_desc[i].type & PFM_REG_END)
  96
  97 #define PMC_OVFL_NOTIFY(ctx, i) ((ctx)->ctx_pmds[i].flags &  PFM_REGFL_OVFL_NOTIFY)
  98
  99 /* i assumed unsigned */
 100 #define PMC_IS_IMPL(i)    (i< PMU_MAX_PMCS && (pmu_conf->pmc_desc[i].type & PFM_REG_IMPL))
 101 #define PMD_IS_IMPL(i)    (i< PMU_MAX_PMDS && (pmu_conf->pmd_desc[i].type & PFM_REG_IMPL))
 102
 103 /* XXX: these assume that register i is implemented */
 104 #define PMD_IS_COUNTING(i) ((pmu_conf->pmd_desc[i].type & PFM_REG_COUNTING) == PFM_REG_COUNTING)
 105 #define PMC_IS_COUNTING(i) ((pmu_conf->pmc_desc[i].type & PFM_REG_COUNTING) == PFM_REG_COUNTING)
 106 #define PMC_IS_MONITOR(i)  ((pmu_conf->pmc_desc[i].type & PFM_REG_MONITOR)  == PFM_REG_MONITOR)
 107 #define PMC_IS_CONTROL(i)  ((pmu_conf->pmc_desc[i].type & PFM_REG_CONTROL)  == PFM_REG_CONTROL)
 108
 109 #define PMC_DFL_VAL(i)     pmu_conf->pmc_desc[i].default_value
 110 #define PMC_RSVD_MASK(i)   pmu_conf->pmc_desc[i].reserved_mask
 111 #define PMD_PMD_DEP(i)     pmu_conf->pmd_desc[i].dep_pmd[0]
 112 #define PMC_PMD_DEP(i)     pmu_conf->pmc_desc[i].dep_pmd[0]
 113
 114 #define PFM_NUM_IBRS      IA64_NUM_DBG_REGS
 115 #define PFM_NUM_DBRS      IA64_NUM_DBG_REGS
 116
 117 #define CTX_OVFL_NOBLOCK(c)     ((c)->ctx_fl_block == 0)
 118 #define CTX_HAS_SMPL(c)         ((c)->ctx_fl_is_sampling)
 119 #define PFM_CTX_TASK(h)         (h)->ctx_task
 120
 121 #define PMU_PMC_OI              5 /* position of pmc.oi bit */
 122
 123 /* XXX: does not support more than 64 PMDs */
 124 #define CTX_USED_PMD(ctx, mask) (ctx)->ctx_used_pmds[0] |= (mask)
 125 #define CTX_IS_USED_PMD(ctx, c) (((ctx)->ctx_used_pmds[0] & (1UL << (c))) != 0UL)
 126
 127 #define CTX_USED_MONITOR(ctx, mask) (ctx)->ctx_used_monitors[0] |= (mask)
 128
 129 #define CTX_USED_IBR(ctx,n)     (ctx)->ctx_used_ibrs[(n)>>6] |= 1UL<< ((n) % 64)
 130 #define CTX_USED_DBR(ctx,n)     (ctx)->ctx_used_dbrs[(n)>>6] |= 1UL<< ((n) % 64)
 131 #define CTX_USES_DBREGS(ctx)    (((pfm_context_t *)(ctx))->ctx_fl_using_dbreg==1)
 132 #define PFM_CODE_RR     0       /* requesting code range restriction */
 133 #define PFM_DATA_RR     1       /* requestion data range restriction */
 134
 135 #define PFM_CPUINFO_CLEAR(v)    pfm_get_cpu_var(pfm_syst_info) &= ~(v)
 136 #define PFM_CPUINFO_SET(v)      pfm_get_cpu_var(pfm_syst_info) |= (v)
 137 #define PFM_CPUINFO_GET()       pfm_get_cpu_var(pfm_syst_info)
 138
 139 #define RDEP(x) (1UL<<(x))
 140
 141 /*
 142  * context protection macros
 143  * in SMP:
 144  *      - we need to protect against CPU concurrency (spin_lock)
 145  *      - we need to protect against PMU overflow interrupts (local_irq_disable)
 146  * in UP:
 147  *      - we need to protect against PMU overflow interrupts (local_irq_disable)
 148  *
 149  * spin_lock_irqsave()/spin_unlock_irqrestore():
 150  *      in SMP: local_irq_disable + spin_lock
 151  *      in UP : local_irq_disable
 152  *
 153  * spin_lock()/spin_lock():
 154  *      in UP : removed automatically
 155  *      in SMP: protect against context accesses from other CPU. interrupts
 156  *              are not masked. This is useful for the PMU interrupt handler
 157  *              because we know we will not get PMU concurrency in that code.
 158  */
 159 #define PROTECT_CTX(c, f) \
 160         do {  \
 161                 DPRINT(("spinlock_irq_save ctx %p by [%d]\n", c, current->pid)); \
 162                 spin_lock_irqsave(&(c)->ctx_lock, f); \
 163                 DPRINT(("spinlocked ctx %p  by [%d]\n", c, current->pid)); \
 164         } while(0)
 165
 166 #define UNPROTECT_CTX(c, f) \
 167         do { \
 168                 DPRINT(("spinlock_irq_restore ctx %p by [%d]\n", c, current->pid)); \
 169                 spin_unlock_irqrestore(&(c)->ctx_lock, f); \
 170         } while(0)
 171
 172 #define PROTECT_CTX_NOPRINT(c, f) \
 173         do {  \
 174                 spin_lock_irqsave(&(c)->ctx_lock, f); \
 175         } while(0)
 176
 177
 178 #define UNPROTECT_CTX_NOPRINT(c, f) \
 179         do { \
 180                 spin_unlock_irqrestore(&(c)->ctx_lock, f); \
 181         } while(0)
 182
 183
 184 #define PROTECT_CTX_NOIRQ(c) \
 185         do {  \
 186                 spin_lock(&(c)->ctx_lock); \
 187         } while(0)
 188
 189 #define UNPROTECT_CTX_NOIRQ(c) \
 190         do { \
 191                 spin_unlock(&(c)->ctx_lock); \
 192         } while(0)
 193
 194
 195 #ifdef CONFIG_SMP
 196
 197 #define GET_ACTIVATION()        pfm_get_cpu_var(pmu_activation_number)
 198 #define INC_ACTIVATION()        pfm_get_cpu_var(pmu_activation_number)++
 199 #define SET_ACTIVATION(c)       (c)->ctx_last_activation = GET_ACTIVATION()
 200
 201 #else /* !CONFIG_SMP */
 202 #define SET_ACTIVATION(t)       do {} while(0)
 203 #define GET_ACTIVATION(t)       do {} while(0)
 204 #define INC_ACTIVATION(t)       do {} while(0)
 205 #endif /* CONFIG_SMP */
 206
 207 #define SET_PMU_OWNER(t, c)     do { pfm_get_cpu_var(pmu_owner) = (t); pfm_get_cpu_var(pmu_ctx) = (c); } while(0)
 208 #define GET_PMU_OWNER()         pfm_get_cpu_var(pmu_owner)
 209 #define GET_PMU_CTX()           pfm_get_cpu_var(pmu_ctx)
 210
 211 #define LOCK_PFS(g)             spin_lock_irqsave(&pfm_sessions.pfs_lock, g)
 212 #define UNLOCK_PFS(g)           spin_unlock_irqrestore(&pfm_sessions.pfs_lock, g)
 213
 214 #define PFM_REG_RETFLAG_SET(flags, val) do { flags &= ~PFM_REG_RETFL_MASK; flags |= (val); } while(0)
 215
 216 /*
 217  * cmp0 must be the value of pmc0
 218  */
 219 #define PMC0_HAS_OVFL(cmp0)  (cmp0 & ~0x1UL)
 220
 221 #define PFMFS_MAGIC 0xa0b4d889
 222
 223 /*
 224  * debugging
 225  */
 226 #define PFM_DEBUGGING 1
 227 #ifdef PFM_DEBUGGING
 228 #define DPRINT(a) \
 229         do { \
 230                 if (unlikely(pfm_sysctl.debug >0)) { printk("%s.%d: CPU%d [%d] ", __FUNCTION__, __LINE__, smp_processor_id(), current->pid); printk a; } \
 231         } while (0)
 232
 233 #define DPRINT_ovfl(a) \
 234         do { \
 235                 if (unlikely(pfm_sysctl.debug > 0 && pfm_sysctl.debug_ovfl >0)) { printk("%s.%d: CPU%d [%d] ", __FUNCTION__, __LINE__, smp_processor_id(), current->pid); printk a; } \
 236         } while (0)
 237 #endif
 238
 239 /*
 240  * 64-bit software counter structure
 241  *
 242  * the next_reset_type is applied to the next call to pfm_reset_regs()
 243  */
 244 typedef struct {
 245         unsigned long   val;            /* virtual 64bit counter value */
 246         unsigned long   lval;           /* last reset value */
 247         unsigned long   long_reset;     /* reset value on sampling overflow */
 248         unsigned long   short_reset;    /* reset value on overflow */
 249         unsigned long   reset_pmds[4];  /* which other pmds to reset when this counter overflows */
 250         unsigned long   smpl_pmds[4];   /* which pmds are accessed when counter overflow */
 251         unsigned long   seed;           /* seed for random-number generator */
 252         unsigned long   mask;           /* mask for random-number generator */
 253         unsigned int    flags;          /* notify/do not notify */
 254         unsigned long   eventid;        /* overflow event identifier */
 255 } pfm_counter_t;
 256
 257 /*
 258  * context flags
 259  */
 260 typedef struct {
 261         unsigned int block:1;           /* when 1, task will blocked on user notifications */
 262         unsigned int system:1;          /* do system wide monitoring */
 263         unsigned int using_dbreg:1;     /* using range restrictions (debug registers) */
 264         unsigned int is_sampling:1;     /* true if using a custom format */
 265         unsigned int excl_idle:1;       /* exclude idle task in system wide session */
 266         unsigned int going_zombie:1;    /* context is zombie (MASKED+blocking) */
 267         unsigned int trap_reason:2;     /* reason for going into pfm_handle_work() */
 268         unsigned int no_msg:1;          /* no message sent on overflow */
 269         unsigned int can_restart:1;     /* allowed to issue a PFM_RESTART */
 270         unsigned int reserved:22;
 271 } pfm_context_flags_t;
 272
 273 #define PFM_TRAP_REASON_NONE            0x0     /* default value */
 274 #define PFM_TRAP_REASON_BLOCK           0x1     /* we need to block on overflow */
 275 #define PFM_TRAP_REASON_RESET           0x2     /* we need to reset PMDs */
 276
 277
 278 /*
 279  * perfmon context: encapsulates all the state of a monitoring session
 280  */
 281
 282 typedef struct pfm_context {
 283         spinlock_t              ctx_lock;               /* context protection */
 284
 285         pfm_context_flags_t     ctx_flags;              /* bitmask of flags  (block reason incl.) */
 286         unsigned int            ctx_state;              /* state: active/inactive (no bitfield) */
 287
 288         struct task_struct      *ctx_task;              /* task to which context is attached */
 289
 290         unsigned long           ctx_ovfl_regs[4];       /* which registers overflowed (notification) */
 291
 292         struct completion       ctx_restart_done;       /* use for blocking notification mode */
 293
 294         unsigned long           ctx_used_pmds[4];       /* bitmask of PMD used            */
 295         unsigned long           ctx_all_pmds[4];        /* bitmask of all accessible PMDs */
 296         unsigned long           ctx_reload_pmds[4];     /* bitmask of force reload PMD on ctxsw in */
 297
 298         unsigned long           ctx_all_pmcs[4];        /* bitmask of all accessible PMCs */
 299         unsigned long           ctx_reload_pmcs[4];     /* bitmask of force reload PMC on ctxsw in */
 300         unsigned long           ctx_used_monitors[4];   /* bitmask of monitor PMC being used */
 301
 302         unsigned long           ctx_pmcs[PFM_NUM_PMC_REGS];     /*  saved copies of PMC values */
 303
 304         unsigned int            ctx_used_ibrs[1];               /* bitmask of used IBR (speedup ctxsw in) */
 305         unsigned int            ctx_used_dbrs[1];               /* bitmask of used DBR (speedup ctxsw in) */
 306         unsigned long           ctx_dbrs[IA64_NUM_DBG_REGS];    /* DBR values (cache) when not loaded */
 307         unsigned long           ctx_ibrs[IA64_NUM_DBG_REGS];    /* IBR values (cache) when not loaded */
 308
 309         pfm_counter_t           ctx_pmds[PFM_NUM_PMD_REGS]; /* software state for PMDS */
 310
 311         unsigned long           th_pmcs[PFM_NUM_PMC_REGS];      /* PMC thread save state */
 312         unsigned long           th_pmds[PFM_NUM_PMD_REGS];      /* PMD thread save state */
 313
 314         u64                     ctx_saved_psr_up;       /* only contains psr.up value */
 315
 316         unsigned long           ctx_last_activation;    /* context last activation number for last_cpu */
 317         unsigned int            ctx_last_cpu;           /* CPU id of current or last CPU used (SMP only) */
 318         unsigned int            ctx_cpu;                /* cpu to which perfmon is applied (system wide) */
 319
 320         int                     ctx_fd;                 /* file descriptor used my this context */
 321         pfm_ovfl_arg_t          ctx_ovfl_arg;           /* argument to custom buffer format handler */
 322
 323         pfm_buffer_fmt_t        *ctx_buf_fmt;           /* buffer format callbacks */
 324         void                    *ctx_smpl_hdr;          /* points to sampling buffer header kernel vaddr */
 325         unsigned long           ctx_smpl_size;          /* size of sampling buffer */
 326         void                    *ctx_smpl_vaddr;        /* user level virtual address of smpl buffer */
 327
 328         wait_queue_head_t       ctx_msgq_wait;
 329         pfm_msg_t               ctx_msgq[PFM_MAX_MSGS];
 330         int                     ctx_msgq_head;
 331         int                     ctx_msgq_tail;
 332         struct fasync_struct    *ctx_async_queue;
 333
 334         wait_queue_head_t       ctx_zombieq;            /* termination cleanup wait queue */
 335 } pfm_context_t;
 336
 337 /*
 338  * magic number used to verify that structure is really
 339  * a perfmon context
 340  */
 341 #define PFM_IS_FILE(f)          ((f)->f_op == &pfm_file_ops)
 342
 343 #define PFM_GET_CTX(t)          ((pfm_context_t *)(t)->thread.pfm_context)
 344
 345 #ifdef CONFIG_SMP
 346 #define SET_LAST_CPU(ctx, v)    (ctx)->ctx_last_cpu = (v)
 347 #define GET_LAST_CPU(ctx)       (ctx)->ctx_last_cpu
 348 #else
 349 #define SET_LAST_CPU(ctx, v)    do {} while(0)
 350 #define GET_LAST_CPU(ctx)       do {} while(0)
 351 #endif
 352
 353
 354 #define ctx_fl_block            ctx_flags.block
 355 #define ctx_fl_system           ctx_flags.system
 356 #define ctx_fl_using_dbreg      ctx_flags.using_dbreg
 357 #define ctx_fl_is_sampling      ctx_flags.is_sampling
 358 #define ctx_fl_excl_idle        ctx_flags.excl_idle
 359 #define ctx_fl_going_zombie     ctx_flags.going_zombie
 360 #define ctx_fl_trap_reason      ctx_flags.trap_reason
 361 #define ctx_fl_no_msg           ctx_flags.no_msg
 362 #define ctx_fl_can_restart      ctx_flags.can_restart
 363
 364 #define PFM_SET_WORK_PENDING(t, v)      do { (t)->thread.pfm_needs_checking = v; } while(0);
 365 #define PFM_GET_WORK_PENDING(t)         (t)->thread.pfm_needs_checking
 366
 367 /*
 368  * global information about all sessions
 369  * mostly used to synchronize between system wide and per-process
 370  */
 371 typedef struct {
 372         spinlock_t              pfs_lock;                  /* lock the structure */
 373
 374         unsigned int            pfs_task_sessions;         /* number of per task sessions */
 375         unsigned int            pfs_sys_sessions;          /* number of per system wide sessions */
 376         unsigned int            pfs_sys_use_dbregs;        /* incremented when a system wide session uses debug regs */
 377         unsigned int            pfs_ptrace_use_dbregs;     /* incremented when a process uses debug regs */
 378         struct task_struct      *pfs_sys_session[NR_CPUS]; /* point to task owning a system-wide session */
 379 } pfm_session_t;
 380
 381 /*
 382  * information about a PMC or PMD.
 383  * dep_pmd[]: a bitmask of dependent PMD registers
 384  * dep_pmc[]: a bitmask of dependent PMC registers
 385  */
 386 typedef int (*pfm_reg_check_t)(struct task_struct *task, pfm_context_t *ctx, unsigned int cnum, unsigned long *val, struct pt_regs *regs);
 387 typedef struct {
 388         unsigned int            type;
 389         int                     pm_pos;
 390         unsigned long           default_value;  /* power-on default value */
 391         unsigned long           reserved_mask;  /* bitmask of reserved bits */
 392         pfm_reg_check_t         read_check;
 393         pfm_reg_check_t         write_check;
 394         unsigned long           dep_pmd[4];
 395         unsigned long           dep_pmc[4];
 396 } pfm_reg_desc_t;
 397
 398 /* assume cnum is a valid monitor */
 399 #define PMC_PM(cnum, val)       (((val) >> (pmu_conf->pmc_desc[cnum].pm_pos)) & 0x1)
 400
 401 /*
 402  * This structure is initialized at boot time and contains
 403  * a description of the PMU main characteristics.
 404  *
 405  * If the probe function is defined, detection is based
 406  * on its return value:
 407  *      - 0 means recognized PMU
 408  *      - anything else means not supported
 409  * When the probe function is not defined, then the pmu_family field
 410  * is used and it must match the host CPU family such that:
 411  *      - cpu->family & config->pmu_family != 0
 412  */
 413 typedef struct {
 414         unsigned long  ovfl_val;        /* overflow value for counters */
 415
 416         pfm_reg_desc_t *pmc_desc;       /* detailed PMC register dependencies descriptions */
 417         pfm_reg_desc_t *pmd_desc;       /* detailed PMD register dependencies descriptions */
 418
 419         unsigned int   num_pmcs;        /* number of PMCS: computed at init time */
 420         unsigned int   num_pmds;        /* number of PMDS: computed at init time */
 421         unsigned long  impl_pmcs[4];    /* bitmask of implemented PMCS */
 422         unsigned long  impl_pmds[4];    /* bitmask of implemented PMDS */
 423
 424         char          *pmu_name;        /* PMU family name */
 425         unsigned int  pmu_family;       /* cpuid family pattern used to identify pmu */
 426         unsigned int  flags;            /* pmu specific flags */
 427         unsigned int  num_ibrs;         /* number of IBRS: computed at init time */
 428         unsigned int  num_dbrs;         /* number of DBRS: computed at init time */
 429         unsigned int  num_counters;     /* PMC/PMD counting pairs : computed at init time */
 430         int           (*probe)(void);   /* customized probe routine */
 431         unsigned int  use_rr_dbregs:1;  /* set if debug registers used for range restriction */
 432 } pmu_config_t;
 433 /*
 434  * PMU specific flags
 435  */
 436 #define PFM_PMU_IRQ_RESEND      1       /* PMU needs explicit IRQ resend */
 437
 438 /*
 439  * debug register related type definitions
 440  */
 441 typedef struct {
 442         unsigned long ibr_mask:56;
 443         unsigned long ibr_plm:4;
 444         unsigned long ibr_ig:3;
 445         unsigned long ibr_x:1;
 446 } ibr_mask_reg_t;
 447
 448 typedef struct {
 449         unsigned long dbr_mask:56;
 450         unsigned long dbr_plm:4;
 451         unsigned long dbr_ig:2;
 452         unsigned long dbr_w:1;
 453         unsigned long dbr_r:1;
 454 } dbr_mask_reg_t;
 455
 456 typedef union {
 457         unsigned long  val;
 458         ibr_mask_reg_t ibr;
 459         dbr_mask_reg_t dbr;
 460 } dbreg_t;
 461
 462
 463 /*
 464  * perfmon command descriptions
 465  */
 466 typedef struct {
 467         int             (*cmd_func)(pfm_context_t *ctx, void *arg, int count, struct pt_regs *regs);
 468         char            *cmd_name;
 469         int             cmd_flags;
 470         unsigned int    cmd_narg;
 471         size_t          cmd_argsize;
 472         int             (*cmd_getsize)(void *arg, size_t *sz);
 473 } pfm_cmd_desc_t;
 474
 475 #define PFM_CMD_FD              0x01    /* command requires a file descriptor */
 476 #define PFM_CMD_ARG_READ        0x02    /* command must read argument(s) */
 477 #define PFM_CMD_ARG_RW          0x04    /* command must read/write argument(s) */
 478 #define PFM_CMD_STOP            0x08    /* command does not work on zombie context */
 479
 480
 481 #define PFM_CMD_NAME(cmd)       pfm_cmd_tab[(cmd)].cmd_name
 482 #define PFM_CMD_READ_ARG(cmd)   (pfm_cmd_tab[(cmd)].cmd_flags & PFM_CMD_ARG_READ)
 483 #define PFM_CMD_RW_ARG(cmd)     (pfm_cmd_tab[(cmd)].cmd_flags & PFM_CMD_ARG_RW)
 484 #define PFM_CMD_USE_FD(cmd)     (pfm_cmd_tab[(cmd)].cmd_flags & PFM_CMD_FD)
 485 #define PFM_CMD_STOPPED(cmd)    (pfm_cmd_tab[(cmd)].cmd_flags & PFM_CMD_STOP)
 486
 487 #define PFM_CMD_ARG_MANY        -1 /* cannot be zero */
 488
 489 typedef struct {
 490         unsigned long pfm_spurious_ovfl_intr_count;     /* keep track of spurious ovfl interrupts */
 491         unsigned long pfm_replay_ovfl_intr_count;       /* keep track of replayed ovfl interrupts */
 492         unsigned long pfm_ovfl_intr_count;              /* keep track of ovfl interrupts */
 493         unsigned long pfm_ovfl_intr_cycles;             /* cycles spent processing ovfl interrupts */
 494         unsigned long pfm_ovfl_intr_cycles_min;         /* min cycles spent processing ovfl interrupts */
 495         unsigned long pfm_ovfl_intr_cycles_max;         /* max cycles spent processing ovfl interrupts */
 496         unsigned long pfm_smpl_handler_calls;
 497         unsigned long pfm_smpl_handler_cycles;
 498         char pad[SMP_CACHE_BYTES] ____cacheline_aligned;
 499 } pfm_stats_t;
 500
 501 /*
 502  * perfmon internal variables
 503  */
 504 static pfm_stats_t              pfm_stats[NR_CPUS];
 505 static pfm_session_t            pfm_sessions;   /* global sessions information */
 506
 507 static DEFINE_SPINLOCK(pfm_alt_install_check);
 508 static pfm_intr_handler_desc_t  *pfm_alt_intr_handler;
 509
 510 static struct proc_dir_entry    *perfmon_dir;
 511 static pfm_uuid_t               pfm_null_uuid = {0,};
 512
 513 static spinlock_t               pfm_buffer_fmt_lock;
 514 static LIST_HEAD(pfm_buffer_fmt_list);
 515
 516 static pmu_config_t             *pmu_conf;
 517
 518 /* sysctl() controls */
 519 pfm_sysctl_t pfm_sysctl;
 520 EXPORT_SYMBOL(pfm_sysctl);
 521
 522 static ctl_table pfm_ctl_table[]={
 523         {
 524                 .ctl_name       = CTL_UNNUMBERED,
 525                 .procname       = "debug",
 526                 .data           = &pfm_sysctl.debug,
 527                 .maxlen         = sizeof(int),
 528                 .mode           = 0666,
 529                 .proc_handler   = &proc_dointvec,
 530         },
 531         {
 532                 .ctl_name       = CTL_UNNUMBERED,
 533                 .procname       = "debug_ovfl",
 534                 .data           = &pfm_sysctl.debug_ovfl,
 535                 .maxlen         = sizeof(int),
 536                 .mode           = 0666,
 537                 .proc_handler   = &proc_dointvec,
 538         },
 539         {
 540                 .ctl_name       = CTL_UNNUMBERED,
 541                 .procname       = "fastctxsw",
 542                 .data           = &pfm_sysctl.fastctxsw,
 543                 .maxlen         = sizeof(int),
 544                 .mode           = 0600,
 545                 .proc_handler   =  &proc_dointvec,
 546         },
 547         {
 548                 .ctl_name       = CTL_UNNUMBERED,
 549                 .procname       = "expert_mode",
 550                 .data           = &pfm_sysctl.expert_mode,
 551                 .maxlen         = sizeof(int),
 552                 .mode           = 0600,
 553                 .proc_handler   = &proc_dointvec,
 554         },
 555         {}
 556 };
 557 static ctl_table pfm_sysctl_dir[] = {
 558         {
 559                 .ctl_name       = CTL_UNNUMBERED,
 560                 .procname       = "perfmon",
 561                 .mode           = 0755,
 562                 .child          = pfm_ctl_table,
 563         },
 564         {}
 565 };
 566 static ctl_table pfm_sysctl_root[] = {
 567         {
 568                 .ctl_name       = CTL_KERN,
 569                 .procname       = "kernel",
 570                 .mode           = 0755,
 571                 .child          = pfm_sysctl_dir,
 572         },
 573         {}
 574 };
 575 static struct ctl_table_header *pfm_sysctl_header;
 576
 577 static int pfm_context_unload(pfm_context_t *ctx, void *arg, int count, struct pt_regs *regs);
 578
 579 #define pfm_get_cpu_var(v)              __ia64_per_cpu_var(v)
 580 #define pfm_get_cpu_data(a,b)           per_cpu(a, b)
 581
 582 static inline void
 583 pfm_put_task(struct task_struct *task)
 584 {
 585         if (task != current) put_task_struct(task);
 586 }
 587
 588 static inline void
 589 pfm_set_task_notify(struct task_struct *task)
 590 {
 591         struct thread_info *info;
 592
 593         info = (struct thread_info *) ((char *) task + IA64_TASK_SIZE);
 594         set_bit(TIF_NOTIFY_RESUME, &info->flags);
 595 }
 596
 597 static inline void
 598 pfm_clear_task_notify(void)
 599 {
 600         clear_thread_flag(TIF_NOTIFY_RESUME);
 601 }
 602
 603 static inline void
 604 pfm_reserve_page(unsigned long a)
 605 {
 606         SetPageReserved(vmalloc_to_page((void *)a));
 607 }
 608 static inline void
 609 pfm_unreserve_page(unsigned long a)
 610 {
 611         ClearPageReserved(vmalloc_to_page((void*)a));
 612 }
 613
 614 static inline unsigned long
 615 pfm_protect_ctx_ctxsw(pfm_context_t *x)
 616 {
 617         spin_lock(&(x)->ctx_lock);
 618         return 0UL;
 619 }
 620
 621 static inline void
 622 pfm_unprotect_ctx_ctxsw(pfm_context_t *x, unsigned long f)
 623 {
 624         spin_unlock(&(x)->ctx_lock);
 625 }
 626
 627 static inline unsigned int
 628 pfm_do_munmap(struct mm_struct *mm, unsigned long addr, size_t len, int acct)
 629 {
 630         return do_munmap(mm, addr, len);
 631 }
 632
 633 static inline unsigned long
 634 pfm_get_unmapped_area(struct file *file, unsigned long addr, unsigned long len, unsigned long pgoff, unsigned long flags, unsigned long exec)
 635 {
 636         return get_unmapped_area(file, addr, len, pgoff, flags);
 637 }
 638
 639
 640 static int
 641 pfmfs_get_sb(struct file_system_type *fs_type, int flags, const char *dev_name, void *data,
 642              struct vfsmount *mnt)
 643 {
 644         return get_sb_pseudo(fs_type, "pfm:", NULL, PFMFS_MAGIC, mnt);
 645 }
 646
 647 static struct file_system_type pfm_fs_type = {
 648         .name     = "pfmfs",
 649         .get_sb   = pfmfs_get_sb,
 650         .kill_sb  = kill_anon_super,
 651 };
 652
 653 DEFINE_PER_CPU(unsigned long, pfm_syst_info);
 654 DEFINE_PER_CPU(struct task_struct *, pmu_owner);
 655 DEFINE_PER_CPU(pfm_context_t  *, pmu_ctx);
 656 DEFINE_PER_CPU(unsigned long, pmu_activation_number);
 657 EXPORT_PER_CPU_SYMBOL_GPL(pfm_syst_info);
 658
 659
 660 /* forward declaration */
 661 static const struct file_operations pfm_file_ops;
 662
 663 /*
 664  * forward declarations
 665  */
 666 #ifndef CONFIG_SMP
 667 static void pfm_lazy_save_regs (struct task_struct *ta);
 668 #endif
 669
 670 void dump_pmu_state(const char *);
 671 static int pfm_write_ibr_dbr(int mode, pfm_context_t *ctx, void *arg, int count, struct pt_regs *regs);
 672
 673 #include "perfmon_itanium.h"
 674 #include "perfmon_mckinley.h"
 675 #include "perfmon_montecito.h"
 676 #include "perfmon_generic.h"
 677
 678 static pmu_config_t *pmu_confs[]={
 679         &pmu_conf_mont,
 680         &pmu_conf_mck,
 681         &pmu_conf_ita,
 682         &pmu_conf_gen, /* must be last */
 683         NULL
 684 };
 685
 686
 687 static int pfm_end_notify_user(pfm_context_t *ctx);
 688
 689 static inline void
 690 pfm_clear_psr_pp(void)
 691 {
 692         ia64_rsm(IA64_PSR_PP);
 693         ia64_srlz_i();
 694 }
 695
 696 static inline void
 697 pfm_set_psr_pp(void)
 698 {
 699         ia64_ssm(IA64_PSR_PP);
 700         ia64_srlz_i();
 701 }
 702
 703 static inline void
 704 pfm_clear_psr_up(void)
 705 {
 706         ia64_rsm(IA64_PSR_UP);
 707         ia64_srlz_i();
 708 }
 709
 710 static inline void
 711 pfm_set_psr_up(void)
 712 {
 713         ia64_ssm(IA64_PSR_UP);
 714         ia64_srlz_i();
 715 }
 716
 717 static inline unsigned long
 718 pfm_get_psr(void)
 719 {
 720         unsigned long tmp;
 721         tmp = ia64_getreg(_IA64_REG_PSR);
 722         ia64_srlz_i();
 723         return tmp;
 724 }
 725
 726 static inline void
 727 pfm_set_psr_l(unsigned long val)
 728 {
 729         ia64_setreg(_IA64_REG_PSR_L, val);
 730         ia64_srlz_i();
 731 }
 732
 733 static inline void
 734 pfm_freeze_pmu(void)
 735 {
 736         ia64_set_pmc(0,1UL);
 737         ia64_srlz_d();
 738 }
 739
 740 static inline void
 741 pfm_unfreeze_pmu(void)
 742 {
 743         ia64_set_pmc(0,0UL);
 744         ia64_srlz_d();
 745 }
 746
 747 static inline void
 748 pfm_restore_ibrs(unsigned long *ibrs, unsigned int nibrs)
 749 {
 750         int i;
 751
 752         for (i=0; i < nibrs; i++) {
 753                 ia64_set_ibr(i, ibrs[i]);
 754                 ia64_dv_serialize_instruction();
 755         }
 756         ia64_srlz_i();
 757 }
 758
 759 static inline void
 760 pfm_restore_dbrs(unsigned long *dbrs, unsigned int ndbrs)
 761 {
 762         int i;
 763
 764         for (i=0; i < ndbrs; i++) {
 765                 ia64_set_dbr(i, dbrs[i]);
 766                 ia64_dv_serialize_data();
 767         }
 768         ia64_srlz_d();
 769 }
 770
 771 /*
 772  * PMD[i] must be a counter. no check is made
 773  */
 774 static inline unsigned long
 775 pfm_read_soft_counter(pfm_context_t *ctx, int i)
 776 {
 777         return ctx->ctx_pmds[i].val + (ia64_get_pmd(i) & pmu_conf->ovfl_val);
 778 }
 779
 780 /*
 781  * PMD[i] must be a counter. no check is made
 782  */
 783 static inline void
 784 pfm_write_soft_counter(pfm_context_t *ctx, int i, unsigned long val)
 785 {
 786         unsigned long ovfl_val = pmu_conf->ovfl_val;
 787
 788         ctx->ctx_pmds[i].val = val  & ~ovfl_val;
 789         /*
 790          * writing to unimplemented part is ignore, so we do not need to
 791          * mask off top part
 792          */
 793         ia64_set_pmd(i, val & ovfl_val);
 794 }
 795
 796 static pfm_msg_t *
 797 pfm_get_new_msg(pfm_context_t *ctx)
 798 {
 799         int idx, next;
 800
 801         next = (ctx->ctx_msgq_tail+1) % PFM_MAX_MSGS;
 802
 803         DPRINT(("ctx_fd=%p head=%d tail=%d\n", ctx, ctx->ctx_msgq_head, ctx->ctx_msgq_tail));
 804         if (next == ctx->ctx_msgq_head) return NULL;
 805
 806         idx =   ctx->ctx_msgq_tail;
 807         ctx->ctx_msgq_tail = next;
 808
 809         DPRINT(("ctx=%p head=%d tail=%d msg=%d\n", ctx, ctx->ctx_msgq_head, ctx->ctx_msgq_tail, idx));
 810
 811         return ctx->ctx_msgq+idx;
 812 }
 813
 814 static pfm_msg_t *
 815 pfm_get_next_msg(pfm_context_t *ctx)
 816 {
 817         pfm_msg_t *msg;
 818
 819         DPRINT(("ctx=%p head=%d tail=%d\n", ctx, ctx->ctx_msgq_head, ctx->ctx_msgq_tail));
 820
 821         if (PFM_CTXQ_EMPTY(ctx)) return NULL;
 822
 823         /*
 824          * get oldest message
 825          */
 826         msg = ctx->ctx_msgq+ctx->ctx_msgq_head;
 827
 828         /*
 829          * and move forward
 830          */
 831         ctx->ctx_msgq_head = (ctx->ctx_msgq_head+1) % PFM_MAX_MSGS;
 832
 833         DPRINT(("ctx=%p head=%d tail=%d type=%d\n", ctx, ctx->ctx_msgq_head, ctx->ctx_msgq_tail, msg->pfm_gen_msg.msg_type));
 834
 835         return msg;
 836 }
 837
 838 static void
 839 pfm_reset_msgq(pfm_context_t *ctx)
 840 {
 841         ctx->ctx_msgq_head = ctx->ctx_msgq_tail = 0;
 842         DPRINT(("ctx=%p msgq reset\n", ctx));
 843 }
 844
 845 static void *
 846 pfm_rvmalloc(unsigned long size)
 847 {
 848         void *mem;
 849         unsigned long addr;
 850
 851         size = PAGE_ALIGN(size);
 852         mem  = vmalloc(size);
 853         if (mem) {
 854                 //printk("perfmon: CPU%d pfm_rvmalloc(%ld)=%p\n", smp_processor_id(), size, mem);
 855                 memset(mem, 0, size);
 856                 addr = (unsigned long)mem;
 857                 while (size > 0) {
 858                         pfm_reserve_page(addr);
 859                         addr+=PAGE_SIZE;
 860                         size-=PAGE_SIZE;
 861                 }
 862         }
 863         return mem;
 864 }
 865
 866 static void
 867 pfm_rvfree(void *mem, unsigned long size)
 868 {
 869         unsigned long addr;
 870
 871         if (mem) {
 872                 DPRINT(("freeing physical buffer @%p size=%lu\n", mem, size));
 873                 addr = (unsigned long) mem;
 874                 while ((long) size > 0) {
 875                         pfm_unreserve_page(addr);
 876                         addr+=PAGE_SIZE;
 877                         size-=PAGE_SIZE;
 878                 }
 879                 vfree(mem);
 880         }
 881         return;
 882 }
 883
 884 static pfm_context_t *
 885 pfm_context_alloc(void)
 886 {
 887         pfm_context_t *ctx;
 888
 889         /*
 890          * allocate context descriptor
 891          * must be able to free with interrupts disabled
 892          */
 893         ctx = kzalloc(sizeof(pfm_context_t), GFP_KERNEL);
 894         if (ctx) {
 895                 DPRINT(("alloc ctx @%p\n", ctx));
 896         }
 897         return ctx;
 898 }
 899
 900 static void
 901 pfm_context_free(pfm_context_t *ctx)
 902 {
 903         if (ctx) {
 904                 DPRINT(("free ctx @%p\n", ctx));
 905                 kfree(ctx);
 906         }
 907 }
 908
 909 static void
 910 pfm_mask_monitoring(struct task_struct *task)
 911 {
 912         pfm_context_t *ctx = PFM_GET_CTX(task);
 913         unsigned long mask, val, ovfl_mask;
 914         int i;
 915
 916         DPRINT_ovfl(("masking monitoring for [%d]\n", task->pid));
 917
 918         ovfl_mask = pmu_conf->ovfl_val;
 919         /*
 920          * monitoring can only be masked as a result of a valid
 921          * counter overflow. In UP, it means that the PMU still
 922          * has an owner. Note that the owner can be different
 923          * from the current task. However the PMU state belongs
 924          * to the owner.
 925          * In SMP, a valid overflow only happens when task is
 926          * current. Therefore if we come here, we know that
 927          * the PMU state belongs to the current task, therefore
 928          * we can access the live registers.
 929          *
 930          * So in both cases, the live register contains the owner's
 931          * state. We can ONLY touch the PMU registers and NOT the PSR.
 932          *
 933          * As a consequence to this call, the ctx->th_pmds[] array
 934          * contains stale information which must be ignored
 935          * when context is reloaded AND monitoring is active (see
 936          * pfm_restart).
 937          */
 938         mask = ctx->ctx_used_pmds[0];
 939         for (i = 0; mask; i++, mask>>=1) {
 940                 /* skip non used pmds */
 941                 if ((mask & 0x1) == 0) continue;
 942                 val = ia64_get_pmd(i);
 943
 944                 if (PMD_IS_COUNTING(i)) {
 945                         /*
 946                          * we rebuild the full 64 bit value of the counter
 947                          */
 948                         ctx->ctx_pmds[i].val += (val & ovfl_mask);
 949                 } else {
 950                         ctx->ctx_pmds[i].val = val;
 951                 }
 952                 DPRINT_ovfl(("pmd[%d]=0x%lx hw_pmd=0x%lx\n",
 953                         i,
 954                         ctx->ctx_pmds[i].val,
 955                         val & ovfl_mask));
 956         }
 957         /*
 958          * mask monitoring by setting the privilege level to 0
 959          * we cannot use psr.pp/psr.up for this, it is controlled by
 960          * the user
 961          *
 962          * if task is current, modify actual registers, otherwise modify
 963          * thread save state, i.e., what will be restored in pfm_load_regs()
 964          */
 965         mask = ctx->ctx_used_monitors[0] >> PMU_FIRST_COUNTER;
 966         for(i= PMU_FIRST_COUNTER; mask; i++, mask>>=1) {
 967                 if ((mask & 0x1) == 0UL) continue;
 968                 ia64_set_pmc(i, ctx->th_pmcs[i] & ~0xfUL);
 969                 ctx->th_pmcs[i] &= ~0xfUL;
 970                 DPRINT_ovfl(("pmc[%d]=0x%lx\n", i, ctx->th_pmcs[i]));
 971         }
 972         /*
 973          * make all of this visible
 974          */
 975         ia64_srlz_d();
 976 }
 977
 978 /*
 979  * must always be done with task == current
 980  *
 981  * context must be in MASKED state when calling
 982  */
 983 static void
 984 pfm_restore_monitoring(struct task_struct *task)
 985 {
 986         pfm_context_t *ctx = PFM_GET_CTX(task);
 987         unsigned long mask, ovfl_mask;
 988         unsigned long psr, val;
 989         int i, is_system;
 990
 991         is_system = ctx->ctx_fl_system;
 992         ovfl_mask = pmu_conf->ovfl_val;
 993
 994         if (task != current) {
 995                 printk(KERN_ERR "perfmon.%d: invalid task[%d] current[%d]\n", __LINE__, task->pid, current->pid);
 996                 return;
 997         }
 998         if (ctx->ctx_state != PFM_CTX_MASKED) {
 999                 printk(KERN_ERR "perfmon.%d: task[%d] current[%d] invalid state=%d\n", __LINE__,
1000                         task->pid, current->pid, ctx->ctx_state);
1001                 return;
1002         }
1003         psr = pfm_get_psr();
1004         /*
1005          * monitoring is masked via the PMC.
1006          * As we restore their value, we do not want each counter to
1007          * restart right away. We stop monitoring using the PSR,
1008          * restore the PMC (and PMD) and then re-establish the psr
1009          * as it was. Note that there can be no pending overflow at
1010          * this point, because monitoring was MASKED.
1011          *
1012          * system-wide session are pinned and self-monitoring
1013          */
1014         if (is_system && (PFM_CPUINFO_GET() & PFM_CPUINFO_DCR_PP)) {
1015                 /* disable dcr pp */
1016                 ia64_setreg(_IA64_REG_CR_DCR, ia64_getreg(_IA64_REG_CR_DCR) & ~IA64_DCR_PP);
1017                 pfm_clear_psr_pp();
1018         } else {
1019                 pfm_clear_psr_up();
1020         }
1021         /*
1022          * first, we restore the PMD
1023          */
1024         mask = ctx->ctx_used_pmds[0];
1025         for (i = 0; mask; i++, mask>>=1) {
1026                 /* skip non used pmds */
1027                 if ((mask & 0x1) == 0) continue;
1028
1029                 if (PMD_IS_COUNTING(i)) {
1030                         /*
1031                          * we split the 64bit value according to
1032                          * counter width
1033                          */
1034                         val = ctx->ctx_pmds[i].val & ovfl_mask;
1035                         ctx->ctx_pmds[i].val &= ~ovfl_mask;
1036                 } else {
1037                         val = ctx->ctx_pmds[i].val;
1038                 }
1039                 ia64_set_pmd(i, val);
1040
1041                 DPRINT(("pmd[%d]=0x%lx hw_pmd=0x%lx\n",
1042                         i,
1043                         ctx->ctx_pmds[i].val,
1044                         val));
1045         }
1046         /*
1047          * restore the PMCs
1048          */
1049         mask = ctx->ctx_used_monitors[0] >> PMU_FIRST_COUNTER;
1050         for(i= PMU_FIRST_COUNTER; mask; i++, mask>>=1) {
1051                 if ((mask & 0x1) == 0UL) continue;
1052                 ctx->th_pmcs[i] = ctx->ctx_pmcs[i];
1053                 ia64_set_pmc(i, ctx->th_pmcs[i]);
1054                 DPRINT(("[%d] pmc[%d]=0x%lx\n", task->pid, i, ctx->th_pmcs[i]));
1055         }
1056         ia64_srlz_d();
1057
1058         /*
1059          * must restore DBR/IBR because could be modified while masked
1060          * XXX: need to optimize
1061          */
1062         if (ctx->ctx_fl_using_dbreg) {
1063                 pfm_restore_ibrs(ctx->ctx_ibrs, pmu_conf->num_ibrs);
1064                 pfm_restore_dbrs(ctx->ctx_dbrs, pmu_conf->num_dbrs);
1065         }
1066
1067         /*
1068          * now restore PSR
1069          */
1070         if (is_system && (PFM_CPUINFO_GET() & PFM_CPUINFO_DCR_PP)) {
1071                 /* enable dcr pp */
1072                 ia64_setreg(_IA64_REG_CR_DCR, ia64_getreg(_IA64_REG_CR_DCR) | IA64_DCR_PP);
1073                 ia64_srlz_i();
1074         }
1075         pfm_set_psr_l(psr);
1076 }
1077
1078 static inline void
1079 pfm_save_pmds(unsigned long *pmds, unsigned long mask)
1080 {
1081         int i;
1082
1083         ia64_srlz_d();
1084
1085         for (i=0; mask; i++, mask>>=1) {
1086                 if (mask & 0x1) pmds[i] = ia64_get_pmd(i);
1087         }
1088 }
1089
1090 /*
1091  * reload from thread state (used for ctxw only)
1092  */
1093 static inline void
1094 pfm_restore_pmds(unsigned long *pmds, unsigned long mask)
1095 {
1096         int i;
1097         unsigned long val, ovfl_val = pmu_conf->ovfl_val;
1098
1099         for (i=0; mask; i++, mask>>=1) {
1100                 if ((mask & 0x1) == 0) continue;
1101                 val = PMD_IS_COUNTING(i) ? pmds[i] & ovfl_val : pmds[i];
1102                 ia64_set_pmd(i, val);
1103         }
1104         ia64_srlz_d();
1105 }
1106
1107 /*
1108  * propagate PMD from context to thread-state
1109  */
1110 static inline void
1111 pfm_copy_pmds(struct task_struct *task, pfm_context_t *ctx)
1112 {
1113         unsigned long ovfl_val = pmu_conf->ovfl_val;
1114         unsigned long mask = ctx->ctx_all_pmds[0];
1115         unsigned long val;
1116         int i;
1117
1118         DPRINT(("mask=0x%lx\n", mask));
1119
1120         for (i=0; mask; i++, mask>>=1) {
1121
1122                 val = ctx->ctx_pmds[i].val;
1123
1124                 /*
1125                  * We break up the 64 bit value into 2 pieces
1126                  * the lower bits go to the machine state in the
1127                  * thread (will be reloaded on ctxsw in).
1128                  * The upper part stays in the soft-counter.
1129                  */
1130                 if (PMD_IS_COUNTING(i)) {
1131                         ctx->ctx_pmds[i].val = val & ~ovfl_val;
1132                          val &= ovfl_val;
1133                 }
1134                 ctx->th_pmds[i] = val;
1135
1136                 DPRINT(("pmd[%d]=0x%lx soft_val=0x%lx\n",
1137                         i,
1138                         ctx->th_pmds[i],
1139                         ctx->ctx_pmds[i].val));
1140         }
1141 }
1142
1143 /*
1144  * propagate PMC from context to thread-state
1145  */
1146 static inline void
1147 pfm_copy_pmcs(struct task_struct *task, pfm_context_t *ctx)
1148 {
1149         unsigned long mask = ctx->ctx_all_pmcs[0];
1150         int i;
1151
1152         DPRINT(("mask=0x%lx\n", mask));
1153
1154         for (i=0; mask; i++, mask>>=1) {
1155                 /* masking 0 with ovfl_val yields 0 */
1156                 ctx->th_pmcs[i] = ctx->ctx_pmcs[i];
1157                 DPRINT(("pmc[%d]=0x%lx\n", i, ctx->th_pmcs[i]));
1158         }
1159 }
1160
1161
1162
1163 static inline void
1164 pfm_restore_pmcs(unsigned long *pmcs, unsigned long mask)
1165 {
1166         int i;
1167
1168         for (i=0; mask; i++, mask>>=1) {
1169                 if ((mask & 0x1) == 0) continue;
1170                 ia64_set_pmc(i, pmcs[i]);
1171         }
1172         ia64_srlz_d();
1173 }
1174
1175 static inline int
1176 pfm_uuid_cmp(pfm_uuid_t a, pfm_uuid_t b)
1177 {
1178         return memcmp(a, b, sizeof(pfm_uuid_t));
1179 }
1180
1181 static inline int
1182 pfm_buf_fmt_exit(pfm_buffer_fmt_t *fmt, struct task_struct *task, void *buf, struct pt_regs *regs)
1183 {
1184         int ret = 0;
1185         if (fmt->fmt_exit) ret = (*fmt->fmt_exit)(task, buf, regs);
1186         return ret;
1187 }
1188
1189 static inline int
1190 pfm_buf_fmt_getsize(pfm_buffer_fmt_t *fmt, struct task_struct *task, unsigned int flags, int cpu, void *arg, unsigned long *size)
1191 {
1192         int ret = 0;
1193         if (fmt->fmt_getsize) ret = (*fmt->fmt_getsize)(task, flags, cpu, arg, size);
1194         return ret;
1195 }
1196
1197
1198 static inline int
1199 pfm_buf_fmt_validate(pfm_buffer_fmt_t *fmt, struct task_struct *task, unsigned int flags,
1200                      int cpu, void *arg)
1201 {
1202         int ret = 0;
1203         if (fmt->fmt_validate) ret = (*fmt->fmt_validate)(task, flags, cpu, arg);
1204         return ret;
1205 }
1206
1207 static inline int
1208 pfm_buf_fmt_init(pfm_buffer_fmt_t *fmt, struct task_struct *task, void *buf, unsigned int flags,
1209                      int cpu, void *arg)
1210 {
1211         int ret = 0;
1212         if (fmt->fmt_init) ret = (*fmt->fmt_init)(task, buf, flags, cpu, arg);
1213         return ret;
1214 }
1215
1216 static inline int
1217 pfm_buf_fmt_restart(pfm_buffer_fmt_t *fmt, struct task_struct *task, pfm_ovfl_ctrl_t *ctrl, void *buf, struct pt_regs *regs)
1218 {
1219         int ret = 0;
1220         if (fmt->fmt_restart) ret = (*fmt->fmt_restart)(task, ctrl, buf, regs);
1221         return ret;
1222 }
1223
1224 static inline int
1225 pfm_buf_fmt_restart_active(pfm_buffer_fmt_t *fmt, struct task_struct *task, pfm_ovfl_ctrl_t *ctrl, void *buf, struct pt_regs *regs)
1226 {
1227         int ret = 0;
1228         if (fmt->fmt_restart_active) ret = (*fmt->fmt_restart_active)(task, ctrl, buf, regs);
1229         return ret;
1230 }
1231
1232 static pfm_buffer_fmt_t *
1233 __pfm_find_buffer_fmt(pfm_uuid_t uuid)
1234 {
1235         struct list_head * pos;
1236         pfm_buffer_fmt_t * entry;
1237
1238         list_for_each(pos, &pfm_buffer_fmt_list) {
1239                 entry = list_entry(pos, pfm_buffer_fmt_t, fmt_list);
1240                 if (pfm_uuid_cmp(uuid, entry->fmt_uuid) == 0)
1241                         return entry;
1242         }
1243         return NULL;
1244 }
1245
1246 /*
1247  * find a buffer format based on its uuid
1248  */
1249 static pfm_buffer_fmt_t *
1250 pfm_find_buffer_fmt(pfm_uuid_t uuid)
1251 {
1252         pfm_buffer_fmt_t * fmt;
1253         spin_lock(&pfm_buffer_fmt_lock);
1254         fmt = __pfm_find_buffer_fmt(uuid);
1255         spin_unlock(&pfm_buffer_fmt_lock);
1256         return fmt;
1257 }
1258
1259 int
1260 pfm_register_buffer_fmt(pfm_buffer_fmt_t *fmt)
1261 {
1262         int ret = 0;
1263
1264         /* some sanity checks */
1265         if (fmt == NULL || fmt->fmt_name == NULL) return -EINVAL;
1266
1267         /* we need at least a handler */
1268         if (fmt->fmt_handler == NULL) return -EINVAL;
1269
1270         /*
1271          * XXX: need check validity of fmt_arg_size
1272          */
1273
1274         spin_lock(&pfm_buffer_fmt_lock);
1275
1276         if (__pfm_find_buffer_fmt(fmt->fmt_uuid)) {
1277                 printk(KERN_ERR "perfmon: duplicate sampling format: %s\n", fmt->fmt_name);
1278                 ret = -EBUSY;
1279                 goto out;
1280         }
1281         list_add(&fmt->fmt_list, &pfm_buffer_fmt_list);
1282         printk(KERN_INFO "perfmon: added sampling format %s\n", fmt->fmt_name);
1283
1284 out:
1285         spin_unlock(&pfm_buffer_fmt_lock);
1286         return ret;
1287 }
1288 EXPORT_SYMBOL(pfm_register_buffer_fmt);
1289
1290 int
1291 pfm_unregister_buffer_fmt(pfm_uuid_t uuid)
1292 {
1293         pfm_buffer_fmt_t *fmt;
1294         int ret = 0;
1295
1296         spin_lock(&pfm_buffer_fmt_lock);
1297
1298         fmt = __pfm_find_buffer_fmt(uuid);
1299         if (!fmt) {
1300                 printk(KERN_ERR "perfmon: cannot unregister format, not found\n");
1301                 ret = -EINVAL;
1302                 goto out;
1303         }
1304         list_del_init(&fmt->fmt_list);
1305         printk(KERN_INFO "perfmon: removed sampling format: %s\n", fmt->fmt_name);
1306
1307 out:
1308         spin_unlock(&pfm_buffer_fmt_lock);
1309         return ret;
1310
1311 }
1312 EXPORT_SYMBOL(pfm_unregister_buffer_fmt);
1313
1314 extern void update_pal_halt_status(int);
1315
1316 static int
1317 pfm_reserve_session(struct task_struct *task, int is_syswide, unsigned int cpu)
1318 {
1319         unsigned long flags;
1320         /*
1321          * validy checks on cpu_mask have been done upstream
1322          */
1323         LOCK_PFS(flags);
1324
1325         DPRINT(("in sys_sessions=%u task_sessions=%u dbregs=%u syswide=%d cpu=%u\n",
1326                 pfm_sessions.pfs_sys_sessions,
1327                 pfm_sessions.pfs_task_sessions,
1328                 pfm_sessions.pfs_sys_use_dbregs,
1329                 is_syswide,
1330                 cpu));
1331
1332         if (is_syswide) {
1333                 /*
1334                  * cannot mix system wide and per-task sessions
1335                  */
1336                 if (pfm_sessions.pfs_task_sessions > 0UL) {
1337                         DPRINT(("system wide not possible, %u conflicting task_sessions\n",
1338                                 pfm_sessions.pfs_task_sessions));
1339                         goto abort;
1340                 }
1341
1342                 if (pfm_sessions.pfs_sys_session[cpu]) goto error_conflict;
1343
1344                 DPRINT(("reserving system wide session on CPU%u currently on CPU%u\n", cpu, smp_processor_id()));
1345
1346                 pfm_sessions.pfs_sys_session[cpu] = task;
1347
1348                 pfm_sessions.pfs_sys_sessions++ ;
1349
1350         } else {
1351                 if (pfm_sessions.pfs_sys_sessions) goto abort;
1352                 pfm_sessions.pfs_task_sessions++;
1353         }
1354
1355         DPRINT(("out sys_sessions=%u task_sessions=%u dbregs=%u syswide=%d cpu=%u\n",
1356                 pfm_sessions.pfs_sys_sessions,
1357                 pfm_sessions.pfs_task_sessions,
1358                 pfm_sessions.pfs_sys_use_dbregs,
1359                 is_syswide,
1360                 cpu));
1361
1362         /*
1363          * disable default_idle() to go to PAL_HALT
1364          */
1365         update_pal_halt_status(0);
1366
1367         UNLOCK_PFS(flags);
1368
1369         return 0;
1370
1371 error_conflict:
1372         DPRINT(("system wide not possible, conflicting session [%d] on CPU%d\n",
1373                 pfm_sessions.pfs_sys_session[cpu]->pid,
1374                 cpu));
1375 abort:
1376         UNLOCK_PFS(flags);
1377
1378         return -EBUSY;
1379
1380 }
1381
1382 static int
1383 pfm_unreserve_session(pfm_context_t *ctx, int is_syswide, unsigned int cpu)
1384 {
1385         unsigned long flags;
1386         /*
1387          * validy checks on cpu_mask have been done upstream
1388          */
1389         LOCK_PFS(flags);
1390
1391         DPRINT(("in sys_sessions=%u task_sessions=%u dbregs=%u syswide=%d cpu=%u\n",
1392                 pfm_sessions.pfs_sys_sessions,
1393                 pfm_sessions.pfs_task_sessions,
1394                 pfm_sessions.pfs_sys_use_dbregs,
1395                 is_syswide,
1396                 cpu));
1397
1398
1399         if (is_syswide) {
1400                 pfm_sessions.pfs_sys_session[cpu] = NULL;
1401                 /*
1402                  * would not work with perfmon+more than one bit in cpu_mask
1403                  */
1404                 if (ctx && ctx->ctx_fl_using_dbreg) {
1405                         if (pfm_sessions.pfs_sys_use_dbregs == 0) {
1406                                 printk(KERN_ERR "perfmon: invalid release for ctx %p sys_use_dbregs=0\n", ctx);
1407                         } else {
1408                                 pfm_sessions.pfs_sys_use_dbregs--;
1409                         }
1410                 }
1411                 pfm_sessions.pfs_sys_sessions--;
1412         } else {
1413                 pfm_sessions.pfs_task_sessions--;
1414         }
1415         DPRINT(("out sys_sessions=%u task_sessions=%u dbregs=%u syswide=%d cpu=%u\n",
1416                 pfm_sessions.pfs_sys_sessions,
1417                 pfm_sessions.pfs_task_sessions,
1418                 pfm_sessions.pfs_sys_use_dbregs,
1419                 is_syswide,
1420                 cpu));
1421
1422         /*
1423          * if possible, enable default_idle() to go into PAL_HALT
1424          */
1425         if (pfm_sessions.pfs_task_sessions == 0 && pfm_sessions.pfs_sys_sessions == 0)
1426                 update_pal_halt_status(1);
1427
1428         UNLOCK_PFS(flags);
1429
1430         return 0;
1431 }
1432
1433 /*
1434  * removes virtual mapping of the sampling buffer.
1435  * IMPORTANT: cannot be called with interrupts disable, e.g. inside
1436  * a PROTECT_CTX() section.
1437  */
1438 static int
1439 pfm_remove_smpl_mapping(struct task_struct *task, void *vaddr, unsigned long size)
1440 {
1441         int r;
1442
1443         /* sanity checks */
1444         if (task->mm == NULL || size == 0UL || vaddr == NULL) {
1445                 printk(KERN_ERR "perfmon: pfm_remove_smpl_mapping [%d] invalid context mm=%p\n", task->pid, task->mm);
1446                 return -EINVAL;
1447         }
1448
1449         DPRINT(("smpl_vaddr=%p size=%lu\n", vaddr, size));
1450
1451         /*
1452          * does the actual unmapping
1453          */
1454         down_write(&task->mm->mmap_sem);
1455
1456         DPRINT(("down_write done smpl_vaddr=%p size=%lu\n", vaddr, size));
1457
1458         r = pfm_do_munmap(task->mm, (unsigned long)vaddr, size, 0);
1459
1460         up_write(&task->mm->mmap_sem);
1461         if (r !=0) {
1462                 printk(KERN_ERR "perfmon: [%d] unable to unmap sampling buffer @%p size=%lu\n", task->pid, vaddr, size);
1463         }
1464
1465         DPRINT(("do_unmap(%p, %lu)=%d\n", vaddr, size, r));
1466
1467         return 0;
1468 }
1469
1470 /*
1471  * free actual physical storage used by sampling buffer
1472  */
1473 #if 0
1474 static int
1475 pfm_free_smpl_buffer(pfm_context_t *ctx)
1476 {
1477         pfm_buffer_fmt_t *fmt;
1478
1479         if (ctx->ctx_smpl_hdr == NULL) goto invalid_free;
1480
1481         /*
1482          * we won't use the buffer format anymore
1483          */
1484         fmt = ctx->ctx_buf_fmt;
1485
1486         DPRINT(("sampling buffer @%p size %lu vaddr=%p\n",
1487                 ctx->ctx_smpl_hdr,
1488                 ctx->ctx_smpl_size,
1489                 ctx->ctx_smpl_vaddr));
1490
1491         pfm_buf_fmt_exit(fmt, current, NULL, NULL);
1492
1493         /*
1494          * free the buffer
1495          */
1496         pfm_rvfree(ctx->ctx_smpl_hdr, ctx->ctx_smpl_size);
1497
1498         ctx->ctx_smpl_hdr  = NULL;
1499         ctx->ctx_smpl_size = 0UL;
1500
1501         return 0;
1502
1503 invalid_free:
1504         printk(KERN_ERR "perfmon: pfm_free_smpl_buffer [%d] no buffer\n", current->pid);
1505         return -EINVAL;
1506 }
1507 #endif
1508
1509 static inline void
1510 pfm_exit_smpl_buffer(pfm_buffer_fmt_t *fmt)
1511 {
1512         if (fmt == NULL) return;
1513
1514         pfm_buf_fmt_exit(fmt, current, NULL, NULL);
1515
1516 }
1517
1518 /*
1519  * pfmfs should _never_ be mounted by userland - too much of security hassle,
1520  * no real gain from having the whole whorehouse mounted. So we don't need
1521  * any operations on the root directory. However, we need a non-trivial
1522  * d_name - pfm: will go nicely and kill the special-casing in procfs.
1523  */
1524 static struct vfsmount *pfmfs_mnt;
1525
1526 static int __init
1527 init_pfm_fs(void)
1528 {
1529         int err = register_filesystem(&pfm_fs_type);
1530         if (!err) {
1531                 pfmfs_mnt = kern_mount(&pfm_fs_type);
1532                 err = PTR_ERR(pfmfs_mnt);
1533                 if (IS_ERR(pfmfs_mnt))
1534                         unregister_filesystem(&pfm_fs_type);
1535                 else
1536                         err = 0;
1537         }
1538         return err;
1539 }
1540
1541 static void __exit
1542 exit_pfm_fs(void)
1543 {
1544         unregister_filesystem(&pfm_fs_type);
1545         mntput(pfmfs_mnt);
1546 }
1547
1548 static ssize_t
1549 pfm_read(struct file *filp, char __user *buf, size_t size, loff_t *ppos)
1550 {
1551         pfm_context_t *ctx;
1552         pfm_msg_t *msg;
1553         ssize_t ret;
1554         unsigned long flags;
1555         DECLARE_WAITQUEUE(wait, current);
1556         if (PFM_IS_FILE(filp) == 0) {
1557                 printk(KERN_ERR "perfmon: pfm_poll: bad magic [%d]\n", current->pid);
1558                 return -EINVAL;
1559         }
1560
1561         ctx = (pfm_context_t *)filp->private_data;
1562         if (ctx == NULL) {
1563                 printk(KERN_ERR "perfmon: pfm_read: NULL ctx [%d]\n", current->pid);
1564                 return -EINVAL;
1565         }
1566
1567         /*
1568          * check even when there is no message
1569          */
1570         if (size < sizeof(pfm_msg_t)) {
1571                 DPRINT(("message is too small ctx=%p (>=%ld)\n", ctx, sizeof(pfm_msg_t)));
1572                 return -EINVAL;
1573         }
1574
1575         PROTECT_CTX(ctx, flags);
1576
1577         /*
1578          * put ourselves on the wait queue
1579          */
1580         add_wait_queue(&ctx->ctx_msgq_wait, &wait);
1581
1582
1583         for(;;) {
1584                 /*
1585                  * check wait queue
1586                  */
1587
1588                 set_current_state(TASK_INTERRUPTIBLE);
1589
1590                 DPRINT(("head=%d tail=%d\n", ctx->ctx_msgq_head, ctx->ctx_msgq_tail));
1591
1592                 ret = 0;
1593                 if(PFM_CTXQ_EMPTY(ctx) == 0) break;
1594
1595                 UNPROTECT_CTX(ctx, flags);
1596
1597                 /*
1598                  * check non-blocking read
1599                  */
1600                 ret = -EAGAIN;
1601                 if(filp->f_flags & O_NONBLOCK) break;
1602
1603                 /*
1604                  * check pending signals
1605                  */
1606                 if(signal_pending(current)) {
1607                         ret = -EINTR;
1608                         break;
1609                 }
1610                 /*
1611                  * no message, so wait
1612                  */
1613                 schedule();
1614
1615                 PROTECT_CTX(ctx, flags);
1616         }
1617         DPRINT(("[%d] back to running ret=%ld\n", current->pid, ret));
1618         set_current_state(TASK_RUNNING);
1619         remove_wait_queue(&ctx->ctx_msgq_wait, &wait);
1620
1621         if (ret < 0) goto abort;
1622
1623         ret = -EINVAL;
1624         msg = pfm_get_next_msg(ctx);
1625         if (msg == NULL) {
1626                 printk(KERN_ERR "perfmon: pfm_read no msg for ctx=%p [%d]\n", ctx, current->pid);
1627                 goto abort_locked;
1628         }
1629
1630         DPRINT(("fd=%d type=%d\n", msg->pfm_gen_msg.msg_ctx_fd, msg->pfm_gen_msg.msg_type));
1631
1632         ret = -EFAULT;
1633         if(copy_to_user(buf, msg, sizeof(pfm_msg_t)) == 0) ret = sizeof(pfm_msg_t);
1634
1635 abort_locked:
1636         UNPROTECT_CTX(ctx, flags);
1637 abort:
1638         return ret;
1639 }
1640
1641 static ssize_t
1642 pfm_write(struct file *file, const char __user *ubuf,
1643                           size_t size, loff_t *ppos)
1644 {
1645         DPRINT(("pfm_write called\n"));
1646         return -EINVAL;
1647 }
1648
1649 static unsigned int
1650 pfm_poll(struct file *filp, poll_table * wait)
1651 {
1652         pfm_context_t *ctx;
1653         unsigned long flags;
1654         unsigned int mask = 0;
1655
1656         if (PFM_IS_FILE(filp) == 0) {
1657                 printk(KERN_ERR "perfmon: pfm_poll: bad magic [%d]\n", current->pid);
1658                 return 0;
1659         }
1660
1661         ctx = (pfm_context_t *)filp->private_data;
1662         if (ctx == NULL) {
1663                 printk(KERN_ERR "perfmon: pfm_poll: NULL ctx [%d]\n", current->pid);
1664                 return 0;
1665         }
1666
1667
1668         DPRINT(("pfm_poll ctx_fd=%d before poll_wait\n", ctx->ctx_fd));
1669
1670         poll_wait(filp, &ctx->ctx_msgq_wait, wait);
1671
1672         PROTECT_CTX(ctx, flags);
1673
1674         if (PFM_CTXQ_EMPTY(ctx) == 0)
1675                 mask =  POLLIN | POLLRDNORM;
1676
1677         UNPROTECT_CTX(ctx, flags);
1678
1679         DPRINT(("pfm_poll ctx_fd=%d mask=0x%x\n", ctx->ctx_fd, mask));
1680
1681         return mask;
1682 }
1683
1684 static int
1685 pfm_ioctl(struct inode *inode, struct file *file, unsigned int cmd, unsigned long arg)
1686 {
1687         DPRINT(("pfm_ioctl called\n"));
1688         return -EINVAL;
1689 }
1690
1691 /*
1692  * interrupt cannot be masked when coming here
1693  */
1694 static inline int
1695 pfm_do_fasync(int fd, struct file *filp, pfm_context_t *ctx, int on)
1696 {
1697         int ret;
1698
1699         ret = fasync_helper (fd, filp, on, &ctx->ctx_async_queue);
1700
1701         DPRINT(("pfm_fasync called by [%d] on ctx_fd=%d on=%d async_queue=%p ret=%d\n",
1702                 current->pid,
1703                 fd,
1704                 on,
1705                 ctx->ctx_async_queue, ret));
1706
1707         return ret;
1708 }
1709
1710 static int
1711 pfm_fasync(int fd, struct file *filp, int on)
1712 {
1713         pfm_context_t *ctx;
1714         int ret;
1715
1716         if (PFM_IS_FILE(filp) == 0) {
1717                 printk(KERN_ERR "perfmon: pfm_fasync bad magic [%d]\n", current->pid);
1718                 return -EBADF;
1719         }
1720
1721         ctx = (pfm_context_t *)filp->private_data;
1722         if (ctx == NULL) {
1723                 printk(KERN_ERR "perfmon: pfm_fasync NULL ctx [%d]\n", current->pid);
1724                 return -EBADF;
1725         }
1726         /*
1727          * we cannot mask interrupts during this call because this may
1728          * may go to sleep if memory is not readily avalaible.
1729          *
1730          * We are protected from the conetxt disappearing by the get_fd()/put_fd()
1731          * done in caller. Serialization of this function is ensured by caller.
1732          */
1733         ret = pfm_do_fasync(fd, filp, ctx, on);
1734
1735
1736         DPRINT(("pfm_fasync called on ctx_fd=%d on=%d async_queue=%p ret=%d\n",
1737                 fd,
1738                 on,
1739                 ctx->ctx_async_queue, ret));
1740
1741         return ret;
1742 }
1743
1744 #ifdef CONFIG_SMP
1745 /*
1746  * this function is exclusively called from pfm_close().
1747  * The context is not protected at that time, nor are interrupts
1748  * on the remote CPU. That's necessary to avoid deadlocks.
1749  */
1750 static void
1751 pfm_syswide_force_stop(void *info)
1752 {
1753         pfm_context_t   *ctx = (pfm_context_t *)info;
1754         struct pt_regs *regs = task_pt_regs(current);
1755         struct task_struct *owner;
1756         unsigned long flags;
1757         int ret;
1758
1759         if (ctx->ctx_cpu != smp_processor_id()) {
1760                 printk(KERN_ERR "perfmon: pfm_syswide_force_stop for CPU%d  but on CPU%d\n",
1761                         ctx->ctx_cpu,
1762                         smp_processor_id());
1763                 return;
1764         }
1765         owner = GET_PMU_OWNER();
1766         if (owner != ctx->ctx_task) {
1767                 printk(KERN_ERR "perfmon: pfm_syswide_force_stop CPU%d unexpected owner [%d] instead of [%d]\n",
1768                         smp_processor_id(),
1769                         owner->pid, ctx->ctx_task->pid);
1770                 return;
1771         }
1772         if (GET_PMU_CTX() != ctx) {
1773                 printk(KERN_ERR "perfmon: pfm_syswide_force_stop CPU%d unexpected ctx %p instead of %p\n",
1774                         smp_processor_id(),
1775                         GET_PMU_CTX(), ctx);
1776                 return;
1777         }
1778
1779         DPRINT(("on CPU%d forcing system wide stop for [%d]\n", smp_processor_id(), ctx->ctx_task->pid));
1780         /*
1781          * the context is already protected in pfm_close(), we simply
1782          * need to mask interrupts to avoid a PMU interrupt race on
1783          * this CPU
1784          */
1785         local_irq_save(flags);
1786
1787         ret = pfm_context_unload(ctx, NULL, 0, regs);
1788         if (ret) {
1789                 DPRINT(("context_unload returned %d\n", ret));
1790         }
1791
1792         /*
1793          * unmask interrupts, PMU interrupts are now spurious here
1794          */
1795         local_irq_restore(flags);
1796 }
1797
1798 static void
1799 pfm_syswide_cleanup_other_cpu(pfm_context_t *ctx)
1800 {
1801         int ret;
1802
1803         DPRINT(("calling CPU%d for cleanup\n", ctx->ctx_cpu));
1804         ret = smp_call_function_single(ctx->ctx_cpu, pfm_syswide_force_stop, ctx, 0, 1);
1805         DPRINT(("called CPU%d for cleanup ret=%d\n", ctx->ctx_cpu, ret));
1806 }
1807 #endif /* CONFIG_SMP */
1808
1809 /*
1810  * called for each close(). Partially free resources.
1811  * When caller is self-monitoring, the context is unloaded.
1812  */
1813 static int
1814 pfm_flush(struct file *filp, fl_owner_t id)
1815 {
1816         pfm_context_t *ctx;
1817         struct task_struct *task;
1818         struct pt_regs *regs;
1819         unsigned long flags;
1820         unsigned long smpl_buf_size = 0UL;
1821         void *smpl_buf_vaddr = NULL;
1822         int state, is_system;
1823
1824         if (PFM_IS_FILE(filp) == 0) {
1825                 DPRINT(("bad magic for\n"));
1826                 return -EBADF;
1827         }
1828
1829         ctx = (pfm_context_t *)filp->private_data;
1830         if (ctx == NULL) {
1831                 printk(KERN_ERR "perfmon: pfm_flush: NULL ctx [%d]\n", current->pid);
1832                 return -EBADF;
1833         }
1834
1835         /*
1836          * remove our file from the async queue, if we use this mode.
1837          * This can be done without the context being protected. We come
1838          * here when the context has become unreacheable by other tasks.
1839          *
1840          * We may still have active monitoring at this point and we may
1841          * end up in pfm_overflow_handler(). However, fasync_helper()
1842          * operates with interrupts disabled and it cleans up the
1843          * queue. If the PMU handler is called prior to entering
1844          * fasync_helper() then it will send a signal. If it is
1845          * invoked after, it will find an empty queue and no
1846          * signal will be sent. In both case, we are safe
1847          */
1848         if (filp->f_flags & FASYNC) {
1849                 DPRINT(("cleaning up async_queue=%p\n", ctx->ctx_async_queue));
1850                 pfm_do_fasync (-1, filp, ctx, 0);
1851         }
1852
1853         PROTECT_CTX(ctx, flags);
1854
1855         state     = ctx->ctx_state;
1856         is_system = ctx->ctx_fl_system;
1857
1858         task = PFM_CTX_TASK(ctx);
1859         regs = task_pt_regs(task);
1860
1861         DPRINT(("ctx_state=%d is_current=%d\n",
1862                 state,
1863                 task == current ? 1 : 0));
1864
1865         /*
1866          * if state == UNLOADED, then task is NULL
1867          */
1868
1869         /*
1870          * we must stop and unload because we are losing access to the context.
1871          */
1872         if (task == current) {
1873 #ifdef CONFIG_SMP
1874                 /*
1875                  * the task IS the owner but it migrated to another CPU: that's bad
1876                  * but we must handle this cleanly. Unfortunately, the kernel does
1877                  * not provide a mechanism to block migration (while the context is loaded).
1878                  *
1879                  * We need to release the resource on the ORIGINAL cpu.
1880                  */
1881                 if (is_system && ctx->ctx_cpu != smp_processor_id()) {
1882
1883                         DPRINT(("should be running on CPU%d\n", ctx->ctx_cpu));
1884                         /*
1885                          * keep context protected but unmask interrupt for IPI
1886                          */
1887                         local_irq_restore(flags);
1888
1889                         pfm_syswide_cleanup_other_cpu(ctx);
1890
1891                         /*
1892                          * restore interrupt masking
1893                          */
1894                         local_irq_save(flags);
1895
1896                         /*
1897                          * context is unloaded at this point
1898                          */
1899                 } else
1900 #endif /* CONFIG_SMP */
1901                 {
1902
1903                         DPRINT(("forcing unload\n"));
1904                         /*
1905                         * stop and unload, returning with state UNLOADED
1906                         * and session unreserved.
1907                         */
1908                         pfm_context_unload(ctx, NULL, 0, regs);
1909
1910                         DPRINT(("ctx_state=%d\n", ctx->ctx_state));
1911                 }
1912         }
1913
1914         /*
1915          * remove virtual mapping, if any, for the calling task.
1916          * cannot reset ctx field until last user is calling close().
1917          *
1918          * ctx_smpl_vaddr must never be cleared because it is needed
1919          * by every task with access to the context
1920          *
1921          * When called from do_exit(), the mm context is gone already, therefore
1922          * mm is NULL, i.e., the VMA is already gone  and we do not have to
1923          * do anything here
1924          */
1925         if (ctx->ctx_smpl_vaddr && current->mm) {
1926                 smpl_buf_vaddr = ctx->ctx_smpl_vaddr;
1927                 smpl_buf_size  = ctx->ctx_smpl_size;
1928         }
1929
1930         UNPROTECT_CTX(ctx, flags);
1931
1932         /*
1933          * if there was a mapping, then we systematically remove it
1934          * at this point. Cannot be done inside critical section
1935          * because some VM function reenables interrupts.
1936          *
1937          */
1938         if (smpl_buf_vaddr) pfm_remove_smpl_mapping(current, smpl_buf_vaddr, smpl_buf_size);
1939
1940         return 0;
1941 }
1942 /*
1943  * called either on explicit close() or from exit_files().
1944  * Only the LAST user of the file gets to this point, i.e., it is
1945  * called only ONCE.
1946  *
1947  * IMPORTANT: we get called ONLY when the refcnt on the file gets to zero
1948  * (fput()),i.e, last task to access the file. Nobody else can access the
1949  * file at this point.
1950  *
1951  * When called from exit_files(), the VMA has been freed because exit_mm()
1952  * is executed before exit_files().
1953  *
1954  * When called from exit_files(), the current task is not yet ZOMBIE but we
1955  * flush the PMU state to the context.
1956  */
1957 static int
1958 pfm_close(struct inode *inode, struct file *filp)
1959 {
1960         pfm_context_t *ctx;
1961         struct task_struct *task;
1962         struct pt_regs *regs;
1963         DECLARE_WAITQUEUE(wait, current);
1964         unsigned long flags;
1965         unsigned long smpl_buf_size = 0UL;
1966         void *smpl_buf_addr = NULL;
1967         int free_possible = 1;
1968         int state, is_system;
1969
1970         DPRINT(("pfm_close called private=%p\n", filp->private_data));
1971
1972         if (PFM_IS_FILE(filp) == 0) {
1973                 DPRINT(("bad magic\n"));
1974                 return -EBADF;
1975         }
1976
1977         ctx = (pfm_context_t *)filp->private_data;
1978         if (ctx == NULL) {
1979                 printk(KERN_ERR "perfmon: pfm_close: NULL ctx [%d]\n", current->pid);
1980                 return -EBADF;
1981         }
1982
1983         PROTECT_CTX(ctx, flags);
1984
1985         state     = ctx->ctx_state;
1986         is_system = ctx->ctx_fl_system;
1987
1988         task = PFM_CTX_TASK(ctx);
1989         regs = task_pt_regs(task);
1990
1991         DPRINT(("ctx_state=%d is_current=%d\n",
1992                 state,
1993                 task == current ? 1 : 0));
1994
1995         /*
1996          * if task == current, then pfm_flush() unloaded the context
1997          */
1998         if (state == PFM_CTX_UNLOADED) goto doit;
1999
2000         /*
2001          * context is loaded/masked and task != current, we need to
2002          * either force an unload or go zombie
2003          */
2004
2005         /*
2006          * The task is currently blocked or will block after an overflow.
2007          * we must force it to wakeup to get out of the
2008          * MASKED state and transition to the unloaded state by itself.
2009          *
2010          * This situation is only possible for per-task mode
2011          */
2012         if (state == PFM_CTX_MASKED && CTX_OVFL_NOBLOCK(ctx) == 0) {
2013
2014                 /*
2015                  * set a "partial" zombie state to be checked
2016                  * upon return from down() in pfm_handle_work().
2017                  *
2018                  * We cannot use the ZOMBIE state, because it is checked
2019                  * by pfm_load_regs() which is called upon wakeup from down().
2020                  * In such case, it would free the context and then we would
2021                  * return to pfm_handle_work() which would access the
2022                  * stale context. Instead, we set a flag invisible to pfm_load_regs()
2023                  * but visible to pfm_handle_work().
2024                  *
2025                  * For some window of time, we have a zombie context with
2026                  * ctx_state = MASKED  and not ZOMBIE
2027                  */
2028                 ctx->ctx_fl_going_zombie = 1;
2029
2030                 /*
2031                  * force task to wake up from MASKED state
2032                  */
2033                 complete(&ctx->ctx_restart_done);
2034
2035                 DPRINT(("waking up ctx_state=%d\n", state));
2036
2037                 /*
2038                  * put ourself to sleep waiting for the other
2039                  * task to report completion
2040                  *
2041                  * the context is protected by mutex, therefore there
2042                  * is no risk of being notified of completion before
2043                  * begin actually on the waitq.
2044                  */
2045                 set_current_state(TASK_INTERRUPTIBLE);
2046                 add_wait_queue(&ctx->ctx_zombieq, &wait);
2047
2048                 UNPROTECT_CTX(ctx, flags);
2049
2050                 /*
2051                  * XXX: check for signals :
2052                  *      - ok for explicit close
2053                  *      - not ok when coming from exit_files()
2054                  */
2055                 schedule();
2056
2057
2058                 PROTECT_CTX(ctx, flags);
2059
2060
2061                 remove_wait_queue(&ctx->ctx_zombieq, &wait);
2062                 set_current_state(TASK_RUNNING);
2063
2064                 /*
2065                  * context is unloaded at this point
2066                  */
2067                 DPRINT(("after zombie wakeup ctx_state=%d for\n", state));
2068         }
2069         else if (task != current) {
2070 #ifdef CONFIG_SMP
2071                 /*
2072                  * switch context to zombie state
2073                  */
2074                 ctx->ctx_state = PFM_CTX_ZOMBIE;
2075
2076                 DPRINT(("zombie ctx for [%d]\n", task->pid));
2077                 /*
2078                  * cannot free the context on the spot. deferred until
2079                  * the task notices the ZOMBIE state
2080                  */
2081                 free_possible = 0;
2082 #else
2083                 pfm_context_unload(ctx, NULL, 0, regs);
2084 #endif
2085         }
2086
2087 doit:
2088         /* reload state, may have changed during  opening of critical section */
2089         state = ctx->ctx_state;
2090
2091         /*
2092          * the context is still attached to a task (possibly current)
2093          * we cannot destroy it right now
2094          */
2095
2096         /*
2097          * we must free the sampling buffer right here because
2098          * we cannot rely on it being cleaned up later by the
2099          * monitored task. It is not possible to free vmalloc'ed
2100          * memory in pfm_load_regs(). Instead, we remove the buffer
2101          * now. should there be subsequent PMU overflow originally
2102          * meant for sampling, the will be converted to spurious
2103          * and that's fine because the monitoring tools is gone anyway.
2104          */
2105         if (ctx->ctx_smpl_hdr) {
2106                 smpl_buf_addr = ctx->ctx_smpl_hdr;
2107                 smpl_buf_size = ctx->ctx_smpl_size;
2108                 /* no more sampling */
2109                 ctx->ctx_smpl_hdr = NULL;
2110                 ctx->ctx_fl_is_sampling = 0;
2111         }
2112
2113         DPRINT(("ctx_state=%d free_possible=%d addr=%p size=%lu\n",
2114                 state,
2115                 free_possible,
2116                 smpl_buf_addr,
2117                 smpl_buf_size));
2118
2119         if (smpl_buf_addr) pfm_exit_smpl_buffer(ctx->ctx_buf_fmt);
2120
2121         /*
2122          * UNLOADED that the session has already been unreserved.
2123          */
2124         if (state == PFM_CTX_ZOMBIE) {
2125                 pfm_unreserve_session(ctx, ctx->ctx_fl_system , ctx->ctx_cpu);
2126         }
2127
2128         /*
2129          * disconnect file descriptor from context must be done
2130          * before we unlock.
2131          */
2132         filp->private_data = NULL;
2133
2134         /*
2135          * if we free on the spot, the context is now completely unreacheable
2136          * from the callers side. The monitored task side is also cut, so we
2137          * can freely cut.
2138          *
2139          * If we have a deferred free, only the caller side is disconnected.
2140          */
2141         UNPROTECT_CTX(ctx, flags);
2142
2143         /*
2144          * All memory free operations (especially for vmalloc'ed memory)
2145          * MUST be done with interrupts ENABLED.
2146          */
2147         if (smpl_buf_addr)  pfm_rvfree(smpl_buf_addr, smpl_buf_size);
2148
2149         /*
2150          * return the memory used by the context
2151          */
2152         if (free_possible) pfm_context_free(ctx);
2153
2154         return 0;
2155 }
2156
2157 static int
2158 pfm_no_open(struct inode *irrelevant, struct file *dontcare)
2159 {
2160         DPRINT(("pfm_no_open called\n"));
2161         return -ENXIO;
2162 }
2163
2164
2165
2166 static const struct file_operations pfm_file_ops = {
2167         .llseek   = no_llseek,
2168         .read     = pfm_read,
2169         .write    = pfm_write,
2170         .poll     = pfm_poll,
2171         .ioctl    = pfm_ioctl,
2172         .open     = pfm_no_open,        /* special open code to disallow open via /proc */
2173         .fasync   = pfm_fasync,
2174         .release  = pfm_close,
2175         .flush    = pfm_flush
2176 };
2177
2178 static int
2179 pfmfs_delete_dentry(struct dentry *dentry)
2180 {
2181         return 1;
2182 }
2183
2184 static struct dentry_operations pfmfs_dentry_operations = {
2185         .d_delete = pfmfs_delete_dentry,
2186 };
2187
2188
2189 static int
2190 pfm_alloc_fd(struct file **cfile)
2191 {
2192         int fd, ret = 0;
2193         struct file *file = NULL;
2194         struct inode * inode;
2195         char name[32];
2196         struct qstr this;
2197
2198         fd = get_unused_fd();
2199         if (fd < 0) return -ENFILE;
2200
2201         ret = -ENFILE;
2202
2203         file = get_empty_filp();
2204         if (!file) goto out;
2205
2206         /*
2207          * allocate a new inode
2208          */
2209         inode = new_inode(pfmfs_mnt->mnt_sb);
2210         if (!inode) goto out;
2211
2212         DPRINT(("new inode ino=%ld @%p\n", inode->i_ino, inode));
2213
2214         inode->i_mode = S_IFCHR|S_IRUGO;
2215         inode->i_uid  = current->fsuid;
2216         inode->i_gid  = current->fsgid;
2217
2218         sprintf(name, "[%lu]", inode->i_ino);
2219         this.name = name;
2220         this.len  = strlen(name);
2221         this.hash = inode->i_ino;
2222
2223         ret = -ENOMEM;
2224
2225         /*
2226          * allocate a new dcache entry
2227          */
2228         file->f_path.dentry = d_alloc(pfmfs_mnt->mnt_sb->s_root, &this);
2229         if (!file->f_path.dentry) goto out;
2230
2231         file->f_path.dentry->d_op = &pfmfs_dentry_operations;
2232
2233         d_add(file->f_path.dentry, inode);
2234         file->f_path.mnt = mntget(pfmfs_mnt);
2235         file->f_mapping = inode->i_mapping;
2236
2237         file->f_op    = &pfm_file_ops;
2238         file->f_mode  = FMODE_READ;
2239         file->f_flags = O_RDONLY;
2240         file->f_pos   = 0;
2241
2242         /*
2243          * may have to delay until context is attached?
2244          */
2245         fd_install(fd, file);
2246
2247         /*
2248          * the file structure we will use
2249          */
2250         *cfile = file;
2251
2252         return fd;
2253 out:
2254         if (file) put_filp(file);
2255         put_unused_fd(fd);
2256         return ret;
2257 }
2258
2259 static void
2260 pfm_free_fd(int fd, struct file *file)
2261 {
2262         struct files_struct *files = current->files;
2263         struct fdtable *fdt;
2264
2265         /*
2266          * there ie no fd_uninstall(), so we do it here
2267          */
2268         spin_lock(&files->file_lock);
2269         fdt = files_fdtable(files);
2270         rcu_assign_pointer(fdt->fd[fd], NULL);
2271         spin_unlock(&files->file_lock);
2272
2273         if (file)
2274                 put_filp(file);
2275         put_unused_fd(fd);
2276 }
2277
2278 static int
2279 pfm_remap_buffer(struct vm_area_struct *vma, unsigned long buf, unsigned long addr, unsigned long size)
2280 {
2281         DPRINT(("CPU%d buf=0x%lx addr=0x%lx size=%ld\n", smp_processor_id(), buf, addr, size));
2282
2283         while (size > 0) {
2284                 unsigned long pfn = ia64_tpa(buf) >> PAGE_SHIFT;
2285
2286
2287                 if (remap_pfn_range(vma, addr, pfn, PAGE_SIZE, PAGE_READONLY))
2288                         return -ENOMEM;
2289
2290                 addr  += PAGE_SIZE;
2291                 buf   += PAGE_SIZE;
2292                 size  -= PAGE_SIZE;
2293         }
2294         return 0;
2295 }
2296
2297 /*
2298  * allocate a sampling buffer and remaps it into the user address space of the task
2299  */
2300 static int
2301 pfm_smpl_buffer_alloc(struct task_struct *task, struct file *filp, pfm_context_t *ctx, unsigned long rsize, void **user_vaddr)
2302 {
2303         struct mm_struct *mm = task->mm;
2304         struct vm_area_struct *vma = NULL;
2305         unsigned long size;
2306         void *smpl_buf;
2307
2308
2309         /*
2310          * the fixed header + requested size and align to page boundary
2311          */
2312         size = PAGE_ALIGN(rsize);
2313
2314         DPRINT(("sampling buffer rsize=%lu size=%lu bytes\n", rsize, size));
2315
2316         /*
2317          * check requested size to avoid Denial-of-service attacks
2318          * XXX: may have to refine this test
2319          * Check against address space limit.
2320          *
2321          * if ((mm->total_vm << PAGE_SHIFT) + len> task->rlim[RLIMIT_AS].rlim_cur)
2322          *      return -ENOMEM;
2323          */
2324         if (size > task->signal->rlim[RLIMIT_MEMLOCK].rlim_cur)
2325                 return -ENOMEM;
2326
2327         /*
2328          * We do the easy to undo allocations first.
2329          *
2330          * pfm_rvmalloc(), clears the buffer, so there is no leak
2331          */
2332         smpl_buf = pfm_rvmalloc(size);
2333         if (smpl_buf == NULL) {
2334                 DPRINT(("Can't allocate sampling buffer\n"));
2335                 return -ENOMEM;
2336         }
2337
2338         DPRINT(("smpl_buf @%p\n", smpl_buf));
2339
2340         /* allocate vma */
2341         vma = kmem_cache_zalloc(vm_area_cachep, GFP_KERNEL);
2342         if (!vma) {
2343                 DPRINT(("Cannot allocate vma\n"));
2344                 goto error_kmem;
2345         }
2346
2347         /*
2348          * partially initialize the vma for the sampling buffer
2349          */
2350         vma->vm_mm           = mm;
2351         vma->vm_file         = filp;
2352         vma->vm_flags        = VM_READ| VM_MAYREAD |VM_RESERVED;
2353         vma->vm_page_prot    = PAGE_READONLY; /* XXX may need to change */
2354
2355         /*
2356          * Now we have everything we need and we can initialize
2357          * and connect all the data structures
2358          */
2359
2360         ctx->ctx_smpl_hdr   = smpl_buf;
2361         ctx->ctx_smpl_size  = size; /* aligned size */
2362
2363         /*
2364          * Let's do the difficult operations next.
2365          *
2366          * now we atomically find some area in the address space and
2367          * remap the buffer in it.
2368          */
2369         down_write(&task->mm->mmap_sem);
2370
2371         /* find some free area in address space, must have mmap sem held */
2372         vma->vm_start = pfm_get_unmapped_area(NULL, 0, size, 0, MAP_PRIVATE|MAP_ANONYMOUS, 0);
2373         if (vma->vm_start == 0UL) {
2374                 DPRINT(("Cannot find unmapped area for size %ld\n", size));
2375                 up_write(&task->mm->mmap_sem);
2376                 goto error;
2377         }
2378         vma->vm_end = vma->vm_start + size;
2379         vma->vm_pgoff = vma->vm_start >> PAGE_SHIFT;
2380
2381         DPRINT(("aligned size=%ld, hdr=%p mapped @0x%lx\n", size, ctx->ctx_smpl_hdr, vma->vm_start));
2382
2383         /* can only be applied to current task, need to have the mm semaphore held when called */
2384         if (pfm_remap_buffer(vma, (unsigned long)smpl_buf, vma->vm_start, size)) {
2385                 DPRINT(("Can't remap buffer\n"));
2386                 up_write(&task->mm->mmap_sem);
2387                 goto error;
2388         }
2389
2390         get_file(filp);
2391
2392         /*
2393          * now insert the vma in the vm list for the process, must be
2394          * done with mmap lock held
2395          */
2396         insert_vm_struct(mm, vma);
2397
2398         mm->total_vm  += size >> PAGE_SHIFT;
2399         vm_stat_account(vma->vm_mm, vma->vm_flags, vma->vm_file,
2400                                                         vma_pages(vma));
2401         up_write(&task->mm->mmap_sem);
2402
2403         /*
2404          * keep track of user level virtual address
2405          */
2406         ctx->ctx_smpl_vaddr = (void *)vma->vm_start;
2407         *(unsigned long *)user_vaddr = vma->vm_start;
2408
2409         return 0;
2410
2411 error:
2412         kmem_cache_free(vm_area_cachep, vma);
2413 error_kmem:
2414         pfm_rvfree(smpl_buf, size);
2415
2416         return -ENOMEM;
2417 }
2418
2419 /*
2420  * XXX: do something better here
2421  */
2422 static int
2423 pfm_bad_permissions(struct task_struct *task)
2424 {
2425         /* inspired by ptrace_attach() */
2426         DPRINT(("cur: uid=%d gid=%d task: euid=%d suid=%d uid=%d egid=%d sgid=%d\n",
2427                 current->uid,
2428                 current->gid,
2429                 task->euid,
2430                 task->suid,
2431                 task->uid,
2432                 task->egid,
2433                 task->sgid));
2434
2435         return ((current->uid != task->euid)
2436             || (current->uid != task->suid)
2437             || (current->uid != task->uid)
2438             || (current->gid != task->egid)
2439             || (current->gid != task->sgid)
2440             || (current->gid != task->gid)) && !capable(CAP_SYS_PTRACE);
2441 }
2442
2443 static int
2444 pfarg_is_sane(struct task_struct *task, pfarg_context_t *pfx)
2445 {
2446         int ctx_flags;
2447
2448         /* valid signal */
2449
2450         ctx_flags = pfx->ctx_flags;
2451
2452         if (ctx_flags & PFM_FL_SYSTEM_WIDE) {
2453
2454                 /*
2455                  * cannot block in this mode
2456                  */
2457                 if (ctx_flags & PFM_FL_NOTIFY_BLOCK) {
2458                         DPRINT(("cannot use blocking mode when in system wide monitoring\n"));
2459                         return -EINVAL;
2460                 }
2461         } else {
2462         }
2463         /* probably more to add here */
2464
2465         return 0;
2466 }
2467
2468 static int
2469 pfm_setup_buffer_fmt(struct task_struct *task, struct file *filp, pfm_context_t *ctx, unsigned int ctx_flags,
2470                      unsigned int cpu, pfarg_context_t *arg)
2471 {
2472         pfm_buffer_fmt_t *fmt = NULL;
2473         unsigned long size = 0UL;
2474         void *uaddr = NULL;
2475         void *fmt_arg = NULL;
2476         int ret = 0;
2477 #define PFM_CTXARG_BUF_ARG(a)   (pfm_buffer_fmt_t *)(a+1)
2478
2479         /* invoke and lock buffer format, if found */
2480         fmt = pfm_find_buffer_fmt(arg->ctx_smpl_buf_id);
2481         if (fmt == NULL) {
2482                 DPRINT(("[%d] cannot find buffer format\n", task->pid));
2483                 return -EINVAL;
2484         }
2485
2486         /*
2487          * buffer argument MUST be contiguous to pfarg_context_t
2488          */
2489         if (fmt->fmt_arg_size) fmt_arg = PFM_CTXARG_BUF_ARG(arg);
2490
2491         ret = pfm_buf_fmt_validate(fmt, task, ctx_flags, cpu, fmt_arg);
2492
2493         DPRINT(("[%d] after validate(0x%x,%d,%p)=%d\n", task->pid, ctx_flags, cpu, fmt_arg, ret));
2494
2495         if (ret) goto error;
2496
2497         /* link buffer format and context */
2498         ctx->ctx_buf_fmt = fmt;
2499
2500         /*
2501          * check if buffer format wants to use perfmon buffer allocation/mapping service
2502          */
2503         ret = pfm_buf_fmt_getsize(fmt, task, ctx_flags, cpu, fmt_arg, &size);
2504         if (ret) goto error;
2505
2506         if (size) {
2507                 /*
2508                  * buffer is always remapped into the caller's address space
2509                  */
2510                 ret = pfm_smpl_buffer_alloc(current, filp, ctx, size, &uaddr);
2511                 if (ret) goto error;
2512
2513                 /* keep track of user address of buffer */
2514                 arg->ctx_smpl_vaddr = uaddr;
2515         }
2516         ret = pfm_buf_fmt_init(fmt, task, ctx->ctx_smpl_hdr, ctx_flags, cpu, fmt_arg);
2517
2518 error:
2519         return ret;
2520 }
2521
2522 static void
2523 pfm_reset_pmu_state(pfm_context_t *ctx)
2524 {
2525         int i;
2526
2527         /*
2528          * install reset values for PMC.
2529          */
2530         for (i=1; PMC_IS_LAST(i) == 0; i++) {
2531                 if (PMC_IS_IMPL(i) == 0) continue;
2532                 ctx->ctx_pmcs[i] = PMC_DFL_VAL(i);
2533                 DPRINT(("pmc[%d]=0x%lx\n", i, ctx->ctx_pmcs[i]));
2534         }
2535         /*
2536          * PMD registers are set to 0UL when the context in memset()
2537          */
2538
2539         /*
2540          * On context switched restore, we must restore ALL pmc and ALL pmd even
2541          * when they are not actively used by the task. In UP, the incoming process
2542          * may otherwise pick up left over PMC, PMD state from the previous process.
2543          * As opposed to PMD, stale PMC can cause harm to the incoming
2544          * process because they may change what is being measured.
2545          * Therefore, we must systematically reinstall the entire
2546          * PMC state. In SMP, the same thing is possible on the
2547          * same CPU but also on between 2 CPUs.
2548          *
2549          * The problem with PMD is information leaking especially
2550          * to user level when psr.sp=0
2551          *
2552          * There is unfortunately no easy way to avoid this problem
2553          * on either UP or SMP. This definitively slows down the
2554          * pfm_load_regs() function.
2555          */
2556
2557          /*
2558           * bitmask of all PMCs accessible to this context
2559           *
2560           * PMC0 is treated differently.
2561           */
2562         ctx->ctx_all_pmcs[0] = pmu_conf->impl_pmcs[0] & ~0x1;
2563
2564         /*
2565          * bitmask of all PMDs that are accesible to this context
2566          */
2567         ctx->ctx_all_pmds[0] = pmu_conf->impl_pmds[0];
2568
2569         DPRINT(("<%d> all_pmcs=0x%lx all_pmds=0x%lx\n", ctx->ctx_fd, ctx->ctx_all_pmcs[0],ctx->ctx_all_pmds[0]));
2570
2571         /*
2572          * useful in case of re-enable after disable
2573          */
2574         ctx->ctx_used_ibrs[0] = 0UL;
2575         ctx->ctx_used_dbrs[0] = 0UL;
2576 }
2577
2578 static int
2579 pfm_ctx_getsize(void *arg, size_t *sz)
2580 {
2581         pfarg_context_t *req = (pfarg_context_t *)arg;
2582         pfm_buffer_fmt_t *fmt;
2583
2584         *sz = 0;
2585
2586         if (!pfm_uuid_cmp(req->ctx_smpl_buf_id, pfm_null_uuid)) return 0;
2587
2588         fmt = pfm_find_buffer_fmt(req->ctx_smpl_buf_id);
2589         if (fmt == NULL) {
2590                 DPRINT(("cannot find buffer format\n"));
2591                 return -EINVAL;
2592         }
2593         /* get just enough to copy in user parameters */
2594         *sz = fmt->fmt_arg_size;
2595         DPRINT(("arg_size=%lu\n", *sz));
2596
2597         return 0;
2598 }
2599
2600
2601
2602 /*
2603  * cannot attach if :
2604  *      - kernel task
2605  *      - task not owned by caller
2606  *      - task incompatible with context mode
2607  */
2608 static int
2609 pfm_task_incompatible(pfm_context_t *ctx, struct task_struct *task)
2610 {
2611         /*
2612          * no kernel task or task not owner by caller
2613          */
2614         if (task->mm == NULL) {
2615                 DPRINT(("task [%d] has not memory context (kernel thread)\n", task->pid));
2616                 return -EPERM;
2617         }
2618         if (pfm_bad_permissions(task)) {
2619                 DPRINT(("no permission to attach to  [%d]\n", task->pid));
2620                 return -EPERM;
2621         }
2622         /*
2623          * cannot block in self-monitoring mode
2624          */
2625         if (CTX_OVFL_NOBLOCK(ctx) == 0 && task == current) {
2626                 DPRINT(("cannot load a blocking context on self for [%d]\n", task->pid));
2627                 return -EINVAL;
2628         }
2629
2630         if (task->exit_state == EXIT_ZOMBIE) {
2631                 DPRINT(("cannot attach to  zombie task [%d]\n", task->pid));
2632                 return -EBUSY;
2633         }
2634
2635         /*
2636          * always ok for self
2637          */
2638         if (task == current) return 0;
2639
2640         if ((task->state != TASK_STOPPED) && (task->state != TASK_TRACED)) {
2641                 DPRINT(("cannot attach to non-stopped task [%d] state=%ld\n", task->pid, task->state));
2642                 return -EBUSY;
2643         }
2644         /*
2645          * make sure the task is off any CPU
2646          */
2647         wait_task_inactive(task);
2648
2649         /* more to come... */
2650
2651         return 0;
2652 }
2653
2654 static int
2655 pfm_get_task(pfm_context_t *ctx, pid_t pid, struct task_struct **task)
2656 {
2657         struct task_struct *p = current;
2658         int ret;
2659
2660         /* XXX: need to add more checks here */
2661         if (pid < 2) return -EPERM;
2662
2663         if (pid != current->pid) {
2664
2665                 read_lock(&tasklist_lock);
2666
2667                 p = find_task_by_pid(pid);
2668
2669                 /* make sure task cannot go away while we operate on it */
2670                 if (p) get_task_struct(p);
2671
2672                 read_unlock(&tasklist_lock);
2673
2674                 if (p == NULL) return -ESRCH;
2675         }
2676
2677         ret = pfm_task_incompatible(ctx, p);
2678         if (ret == 0) {
2679                 *task = p;
2680         } else if (p != current) {
2681                 pfm_put_task(p);
2682         }
2683         return ret;
2684 }
2685
2686
2687
2688 static int
2689 pfm_context_create(pfm_context_t *ctx, void *arg, int count, struct pt_regs *regs)
2690 {
2691         pfarg_context_t *req = (pfarg_context_t *)arg;
2692         struct file *filp;
2693         int ctx_flags;
2694         int ret;
2695
2696         /* let's check the arguments first */
2697         ret = pfarg_is_sane(current, req);
2698         if (ret < 0) return ret;
2699
2700         ctx_flags = req->ctx_flags;
2701
2702         ret = -ENOMEM;
2703
2704         ctx = pfm_context_alloc();
2705         if (!ctx) goto error;
2706
2707         ret = pfm_alloc_fd(&filp);
2708         if (ret < 0) goto error_file;
2709
2710         req->ctx_fd = ctx->ctx_fd = ret;
2711
2712         /*
2713          * attach context to file
2714          */
2715         filp->private_data = ctx;
2716
2717         /*
2718          * does the user want to sample?
2719          */
2720         if (pfm_uuid_cmp(req->ctx_smpl_buf_id, pfm_null_uuid)) {
2721                 ret = pfm_setup_buffer_fmt(current, filp, ctx, ctx_flags, 0, req);
2722                 if (ret) goto buffer_error;
2723         }
2724
2725         /*
2726          * init context protection lock
2727          */
2728         spin_lock_init(&ctx->ctx_lock);
2729
2730         /*
2731          * context is unloaded
2732          */
2733         ctx->ctx_state = PFM_CTX_UNLOADED;
2734
2735         /*
2736          * initialization of context's flags
2737          */
2738         ctx->ctx_fl_block       = (ctx_flags & PFM_FL_NOTIFY_BLOCK) ? 1 : 0;
2739         ctx->ctx_fl_system      = (ctx_flags & PFM_FL_SYSTEM_WIDE) ? 1: 0;
2740         ctx->ctx_fl_is_sampling = ctx->ctx_buf_fmt ? 1 : 0; /* assume record() is defined */
2741         ctx->ctx_fl_no_msg      = (ctx_flags & PFM_FL_OVFL_NO_MSG) ? 1: 0;
2742         /*
2743          * will move to set properties
2744          * ctx->ctx_fl_excl_idle   = (ctx_flags & PFM_FL_EXCL_IDLE) ? 1: 0;
2745          */
2746
2747         /*
2748          * init restart semaphore to locked
2749          */
2750         init_completion(&ctx->ctx_restart_done);
2751
2752         /*
2753          * activation is used in SMP only
2754          */
2755         ctx->ctx_last_activation = PFM_INVALID_ACTIVATION;
2756         SET_LAST_CPU(ctx, -1);
2757
2758         /*
2759          * initialize notification message queue
2760          */
2761         ctx->ctx_msgq_head = ctx->ctx_msgq_tail = 0;
2762         init_waitqueue_head(&ctx->ctx_msgq_wait);
2763         init_waitqueue_head(&ctx->ctx_zombieq);
2764
2765         DPRINT(("ctx=%p flags=0x%x system=%d notify_block=%d excl_idle=%d no_msg=%d ctx_fd=%d \n",
2766                 ctx,
2767                 ctx_flags,
2768                 ctx->ctx_fl_system,
2769                 ctx->ctx_fl_block,
2770                 ctx->ctx_fl_excl_idle,
2771                 ctx->ctx_fl_no_msg,
2772                 ctx->ctx_fd));
2773
2774         /*
2775          * initialize soft PMU state
2776          */
2777         pfm_reset_pmu_state(ctx);
2778
2779         return 0;
2780
2781 buffer_error:
2782         pfm_free_fd(ctx->ctx_fd, filp);
2783
2784         if (ctx->ctx_buf_fmt) {
2785                 pfm_buf_fmt_exit(ctx->ctx_buf_fmt, current, NULL, regs);
2786         }
2787 error_file:
2788         pfm_context_free(ctx);
2789
2790 error:
2791         return ret;
2792 }
2793
2794 static inline unsigned long
2795 pfm_new_counter_value (pfm_counter_t *reg, int is_long_reset)
2796 {
2797         unsigned long val = is_long_reset ? reg->long_reset : reg->short_reset;
2798         unsigned long new_seed, old_seed = reg->seed, mask = reg->mask;
2799         extern unsigned long carta_random32 (unsigned long seed);
2800
2801         if (reg->flags & PFM_REGFL_RANDOM) {
2802                 new_seed = carta_random32(old_seed);
2803                 val -= (old_seed & mask);       /* counter values are negative numbers! */
2804                 if ((mask >> 32) != 0)
2805                         /* construct a full 64-bit random value: */
2806                         new_seed |= carta_random32(old_seed >> 32) << 32;
2807                 reg->seed = new_seed;
2808         }
2809         reg->lval = val;
2810         return val;
2811 }
2812
2813 static void
2814 pfm_reset_regs_masked(pfm_context_t *ctx, unsigned long *ovfl_regs, int is_long_reset)
2815 {
2816         unsigned long mask = ovfl_regs[0];
2817         unsigned long reset_others = 0UL;
2818         unsigned long val;
2819         int i;
2820
2821         /*
2822          * now restore reset value on sampling overflowed counters
2823          */
2824         mask >>= PMU_FIRST_COUNTER;
2825         for(i = PMU_FIRST_COUNTER; mask; i++, mask >>= 1) {
2826
2827                 if ((mask & 0x1UL) == 0UL) continue;
2828
2829                 ctx->ctx_pmds[i].val = val = pfm_new_counter_value(ctx->ctx_pmds+ i, is_long_reset);
2830                 reset_others        |= ctx->ctx_pmds[i].reset_pmds[0];
2831
2832                 DPRINT_ovfl((" %s reset ctx_pmds[%d]=%lx\n", is_long_reset ? "long" : "short", i, val));
2833         }
2834
2835         /*
2836          * Now take care of resetting the other registers
2837          */
2838         for(i = 0; reset_others; i++, reset_others >>= 1) {
2839
2840                 if ((reset_others & 0x1) == 0) continue;
2841
2842                 ctx->ctx_pmds[i].val = val = pfm_new_counter_value(ctx->ctx_pmds + i, is_long_reset);
2843
2844                 DPRINT_ovfl(("%s reset_others pmd[%d]=%lx\n",
2845                           is_long_reset ? "long" : "short", i, val));
2846         }
2847 }
2848
2849 static void
2850 pfm_reset_regs(pfm_context_t *ctx, unsigned long *ovfl_regs, int is_long_reset)
2851 {
2852         unsigned long mask = ovfl_regs[0];
2853         unsigned long reset_others = 0UL;
2854         unsigned long val;
2855         int i;
2856
2857         DPRINT_ovfl(("ovfl_regs=0x%lx is_long_reset=%d\n", ovfl_regs[0], is_long_reset));
2858
2859         if (ctx->ctx_state == PFM_CTX_MASKED) {
2860                 pfm_reset_regs_masked(ctx, ovfl_regs, is_long_reset);
2861                 return;
2862         }
2863
2864         /*
2865          * now restore reset value on sampling overflowed counters
2866          */
2867         mask >>= PMU_FIRST_COUNTER;
2868         for(i = PMU_FIRST_COUNTER; mask; i++, mask >>= 1) {
2869
2870                 if ((mask & 0x1UL) == 0UL) continue;
2871
2872                 val           = pfm_new_counter_value(ctx->ctx_pmds+ i, is_long_reset);
2873                 reset_others |= ctx->ctx_pmds[i].reset_pmds[0];
2874
2875                 DPRINT_ovfl((" %s reset ctx_pmds[%d]=%lx\n", is_long_reset ? "long" : "short", i, val));
2876
2877                 pfm_write_soft_counter(ctx, i, val);
2878         }
2879
2880         /*
2881          * Now take care of resetting the other registers
2882          */
2883         for(i = 0; reset_others; i++, reset_others >>= 1) {
2884
2885                 if ((reset_others & 0x1) == 0) continue;
2886
2887                 val = pfm_new_counter_value(ctx->ctx_pmds + i, is_long_reset);
2888
2889                 if (PMD_IS_COUNTING(i)) {
2890                         pfm_write_soft_counter(ctx, i, val);
2891                 } else {
2892                         ia64_set_pmd(i, val);
2893                 }
2894                 DPRINT_ovfl(("%s reset_others pmd[%d]=%lx\n",
2895                           is_long_reset ? "long" : "short", i, val));
2896         }
2897         ia64_srlz_d();
2898 }
2899
2900 static int
2901 pfm_write_pmcs(pfm_context_t *ctx, void *arg, int count, struct pt_regs *regs)
2902 {
2903         struct task_struct *task;
2904         pfarg_reg_t *req = (pfarg_reg_t *)arg;
2905         unsigned long value, pmc_pm;
2906         unsigned long smpl_pmds, reset_pmds, impl_pmds;
2907         unsigned int cnum, reg_flags, flags, pmc_type;
2908         int i, can_access_pmu = 0, is_loaded, is_system, expert_mode;
2909         int is_monitor, is_counting, state;
2910         int ret = -EINVAL;
2911         pfm_reg_check_t wr_func;
2912 #define PFM_CHECK_PMC_PM(x, y, z) ((x)->ctx_fl_system ^ PMC_PM(y, z))
2913
2914         state     = ctx->ctx_state;
2915         is_loaded = state == PFM_CTX_LOADED ? 1 : 0;
2916         is_system = ctx->ctx_fl_system;
2917         task      = ctx->ctx_task;
2918         impl_pmds = pmu_conf->impl_pmds[0];
2919
2920         if (state == PFM_CTX_ZOMBIE) return -EINVAL;
2921
2922         if (is_loaded) {
2923                 /*
2924                  * In system wide and when the context is loaded, access can only happen
2925                  * when the caller is running on the CPU being monitored by the session.
2926                  * It does not have to be the owner (ctx_task) of the context per se.
2927                  */
2928                 if (is_system && ctx->ctx_cpu != smp_processor_id()) {
2929                         DPRINT(("should be running on CPU%d\n", ctx->ctx_cpu));
2930                         return -EBUSY;
2931                 }
2932                 can_access_pmu = GET_PMU_OWNER() == task || is_system ? 1 : 0;
2933         }
2934         expert_mode = pfm_sysctl.expert_mode;
2935
2936         for (i = 0; i < count; i++, req++) {
2937
2938                 cnum       = req->reg_num;
2939                 reg_flags  = req->reg_flags;
2940                 value      = req->reg_value;
2941                 smpl_pmds  = req->reg_smpl_pmds[0];
2942                 reset_pmds = req->reg_reset_pmds[0];
2943                 flags      = 0;
2944
2945
2946                 if (cnum >= PMU_MAX_PMCS) {
2947                         DPRINT(("pmc%u is invalid\n", cnum));
2948                         goto error;
2949                 }
2950
2951                 pmc_type   = pmu_conf->pmc_desc[cnum].type;
2952                 pmc_pm     = (value >> pmu_conf->pmc_desc[cnum].pm_pos) & 0x1;
2953                 is_counting = (pmc_type & PFM_REG_COUNTING) == PFM_REG_COUNTING ? 1 : 0;
2954                 is_monitor  = (pmc_type & PFM_REG_MONITOR) == PFM_REG_MONITOR ? 1 : 0;
2955
2956                 /*
2957                  * we reject all non implemented PMC as well
2958                  * as attempts to modify PMC[0-3] which are used
2959                  * as status registers by the PMU
2960                  */
2961                 if ((pmc_type & PFM_REG_IMPL) == 0 || (pmc_type & PFM_REG_CONTROL) == PFM_REG_CONTROL) {
2962                         DPRINT(("pmc%u is unimplemented or no-access pmc_type=%x\n", cnum, pmc_type));
2963                         goto error;
2964                 }
2965                 wr_func = pmu_conf->pmc_desc[cnum].write_check;
2966                 /*
2967                  * If the PMC is a monitor, then if the value is not the default:
2968                  *      - system-wide session: PMCx.pm=1 (privileged monitor)
2969                  *      - per-task           : PMCx.pm=0 (user monitor)
2970                  */
2971                 if (is_monitor && value != PMC_DFL_VAL(cnum) && is_system ^ pmc_pm) {
2972                         DPRINT(("pmc%u pmc_pm=%lu is_system=%d\n",
2973                                 cnum,
2974                                 pmc_pm,
2975                                 is_system));
2976                         goto error;
2977                 }
2978
2979                 if (is_counting) {
2980                         /*
2981                          * enforce generation of overflow interrupt. Necessary on all
2982                          * CPUs.
2983                          */
2984                         value |= 1 << PMU_PMC_OI;
2985
2986                         if (reg_flags & PFM_REGFL_OVFL_NOTIFY) {
2987                                 flags |= PFM_REGFL_OVFL_NOTIFY;
2988                         }
2989
2990                         if (reg_flags & PFM_REGFL_RANDOM) flags |= PFM_REGFL_RANDOM;
2991
2992                         /* verify validity of smpl_pmds */
2993                         if ((smpl_pmds & impl_pmds) != smpl_pmds) {
2994                                 DPRINT(("invalid smpl_pmds 0x%lx for pmc%u\n", smpl_pmds, cnum));
2995                                 goto error;
2996                         }
2997
2998                         /* verify validity of reset_pmds */
2999                         if ((reset_pmds & impl_pmds) != reset_pmds) {
3000                                 DPRINT(("invalid reset_pmds 0x%lx for pmc%u\n", reset_pmds, cnum));
3001                                 goto error;
3002                         }
3003                 } else {
3004                         if (reg_flags & (PFM_REGFL_OVFL_NOTIFY|PFM_REGFL_RANDOM)) {
3005                                 DPRINT(("cannot set ovfl_notify or random on pmc%u\n", cnum));
3006                                 goto error;
3007                         }
3008                         /* eventid on non-counting monitors are ignored */
3009                 }
3010
3011                 /*
3012                  * execute write checker, if any
3013                  */
3014                 if (likely(expert_mode == 0 && wr_func)) {
3015                         ret = (*wr_func)(task, ctx, cnum, &value, regs);
3016                         if (ret) goto error;
3017                         ret = -EINVAL;
3018                 }
3019
3020                 /*
3021                  * no error on this register
3022                  */
3023                 PFM_REG_RETFLAG_SET(req->reg_flags, 0);
3024
3025                 /*
3026                  * Now we commit the changes to the software state
3027                  */
3028
3029                 /*
3030                  * update overflow information
3031                  */
3032                 if (is_counting) {
3033                         /*
3034                          * full flag update each time a register is programmed
3035                          */
3036                         ctx->ctx_pmds[cnum].flags = flags;
3037
3038                         ctx->ctx_pmds[cnum].reset_pmds[0] = reset_pmds;
3039                         ctx->ctx_pmds[cnum].smpl_pmds[0]  = smpl_pmds;
3040                         ctx->ctx_pmds[cnum].eventid       = req->reg_smpl_eventid;
3041
3042                         /*
3043                          * Mark all PMDS to be accessed as used.
3044                          *
3045                          * We do not keep track of PMC because we have to
3046                          * systematically restore ALL of them.
3047                          *
3048                          * We do not update the used_monitors mask, because
3049                          * if we have not programmed them, then will be in
3050                          * a quiescent state, therefore we will not need to
3051                          * mask/restore then when context is MASKED.
3052                          */
3053                         CTX_USED_PMD(ctx, reset_pmds);
3054                         CTX_USED_PMD(ctx, smpl_pmds);
3055                         /*
3056                          * make sure we do not try to reset on
3057                          * restart because we have established new values
3058                          */
3059                         if (state == PFM_CTX_MASKED) ctx->ctx_ovfl_regs[0] &= ~1UL << cnum;
3060                 }
3061                 /*
3062                  * Needed in case the user does not initialize the equivalent
3063                  * PMD. Clearing is done indirectly via pfm_reset_pmu_state() so there is no
3064                  * possible leak here.
3065                  */
3066                 CTX_USED_PMD(ctx, pmu_conf->pmc_desc[cnum].dep_pmd[0]);
3067
3068                 /*
3069                  * keep track of the monitor PMC that we are using.
3070                  * we save the value of the pmc in ctx_pmcs[] and if
3071                  * the monitoring is not stopped for the context we also
3072                  * place it in the saved state area so that it will be
3073                  * picked up later by the context switch code.
3074                  *
3075                  * The value in ctx_pmcs[] can only be changed in pfm_write_pmcs().
3076                  *
3077                  * The value in th_pmcs[] may be modified on overflow, i.e.,  when
3078                  * monitoring needs to be stopped.
3079                  */
3080                 if (is_monitor) CTX_USED_MONITOR(ctx, 1UL << cnum);
3081
3082                 /*
3083                  * update context state
3084                  */
3085                 ctx->ctx_pmcs[cnum] = value;
3086
3087                 if (is_loaded) {
3088                         /*
3089                          * write thread state
3090                          */
3091                         if (is_system == 0) ctx->th_pmcs[cnum] = value;
3092
3093                         /*
3094                          * write hardware register if we can
3095                          */
3096                         if (can_access_pmu) {
3097                                 ia64_set_pmc(cnum, value);
3098                         }
3099 #ifdef CONFIG_SMP
3100                         else {
3101                                 /*
3102                                  * per-task SMP only here
3103                                  *
3104                                  * we are guaranteed that the task is not running on the other CPU,
3105                                  * we indicate that this PMD will need to be reloaded if the task
3106                                  * is rescheduled on the CPU it ran last on.
3107                                  */
3108                                 ctx->ctx_reload_pmcs[0] |= 1UL << cnum;
3109                         }
3110 #endif
3111                 }
3112
3113                 DPRINT(("pmc[%u]=0x%lx ld=%d apmu=%d flags=0x%x all_pmcs=0x%lx used_pmds=0x%lx eventid=%ld smpl_pmds=0x%lx reset_pmds=0x%lx reloads_pmcs=0x%lx used_monitors=0x%lx ovfl_regs=0x%lx\n",
3114                           cnum,
3115                           value,
3116                           is_loaded,
3117                           can_access_pmu,
3118                           flags,
3119                           ctx->ctx_all_pmcs[0],
3120                           ctx->ctx_used_pmds[0],
3121                           ctx->ctx_pmds[cnum].eventid,
3122                           smpl_pmds,
3123                           reset_pmds,
3124                           ctx->ctx_reload_pmcs[0],
3125                           ctx->ctx_used_monitors[0],
3126                           ctx->ctx_ovfl_regs[0]));
3127         }
3128
3129         /*
3130          * make sure the changes are visible
3131          */
3132         if (can_access_pmu) ia64_srlz_d();
3133
3134         return 0;
3135 error:
3136         PFM_REG_RETFLAG_SET(req->reg_flags, PFM_REG_RETFL_EINVAL);
3137         return ret;
3138 }
3139
3140 static int
3141 pfm_write_pmds(pfm_context_t *ctx, void *arg, int count, struct pt_regs *regs)
3142 {
3143         struct task_struct *task;
3144         pfarg_reg_t *req = (pfarg_reg_t *)arg;
3145         unsigned long value, hw_value, ovfl_mask;
3146         unsigned int cnum;
3147         int i, can_access_pmu = 0, state;
3148         int is_counting, is_loaded, is_system, expert_mode;
3149         int ret = -EINVAL;
3150         pfm_reg_check_t wr_func;
3151
3152
3153         state     = ctx->ctx_state;
3154         is_loaded = state == PFM_CTX_LOADED ? 1 : 0;
3155         is_system = ctx->ctx_fl_system;
3156         ovfl_mask = pmu_conf->ovfl_val;
3157         task      = ctx->ctx_task;
3158
3159         if (unlikely(state == PFM_CTX_ZOMBIE)) return -EINVAL;
3160
3161         /*
3162          * on both UP and SMP, we can only write to the PMC when the task is
3163          * the owner of the local PMU.
3164          */
3165         if (likely(is_loaded)) {
3166                 /*
3167                  * In system wide and when the context is loaded, access can only happen
3168                  * when the caller is running on the CPU being monitored by the session.
3169                  * It does not have to be the owner (ctx_task) of the context per se.
3170                  */
3171                 if (unlikely(is_system && ctx->ctx_cpu != smp_processor_id())) {
3172                         DPRINT(("should be running on CPU%d\n", ctx->ctx_cpu));
3173                         return -EBUSY;
3174                 }
3175                 can_access_pmu = GET_PMU_OWNER() == task || is_system ? 1 : 0;
3176         }
3177         expert_mode = pfm_sysctl.expert_mode;
3178
3179         for (i = 0; i < count; i++, req++) {
3180
3181                 cnum  = req->reg_num;
3182                 value = req->reg_value;
3183
3184                 if (!PMD_IS_IMPL(cnum)) {
3185                         DPRINT(("pmd[%u] is unimplemented or invalid\n", cnum));
3186                         goto abort_mission;
3187                 }
3188                 is_counting = PMD_IS_COUNTING(cnum);
3189                 wr_func     = pmu_conf->pmd_desc[cnum].write_check;
3190
3191                 /*
3192                  * execute write checker, if any
3193                  */
3194                 if (unlikely(expert_mode == 0 && wr_func)) {
3195                         unsigned long v = value;
3196
3197                         ret = (*wr_func)(task, ctx, cnum, &v, regs);
3198                         if (ret) goto abort_mission;
3199
3200                         value = v;
3201                         ret   = -EINVAL;
3202                 }
3203
3204                 /*
3205                  * no error on this register
3206                  */
3207                 PFM_REG_RETFLAG_SET(req->reg_flags, 0);
3208
3209                 /*
3210                  * now commit changes to software state
3211                  */
3212                 hw_value = value;
3213
3214                 /*
3215                  * update virtualized (64bits) counter
3216                  */
3217                 if (is_counting) {
3218                         /*
3219                          * write context state
3220                          */
3221                         ctx->ctx_pmds[cnum].lval = value;
3222
3223                         /*
3224                          * when context is load we use the split value
3225                          */
3226                         if (is_loaded) {
3227                                 hw_value = value &  ovfl_mask;
3228                                 value    = value & ~ovfl_mask;
3229                         }
3230                 }
3231                 /*
3232                  * update reset values (not just for counters)
3233                  */
3234                 ctx->ctx_pmds[cnum].long_reset  = req->reg_long_reset;
3235                 ctx->ctx_pmds[cnum].short_reset = req->reg_short_reset;
3236
3237                 /*
3238                  * update randomization parameters (not just for counters)
3239                  */
3240                 ctx->ctx_pmds[cnum].seed = req->reg_random_seed;
3241                 ctx->ctx_pmds[cnum].mask = req->reg_random_mask;
3242
3243                 /*
3244                  * update context value
3245                  */
3246                 ctx->ctx_pmds[cnum].val  = value;
3247
3248                 /*
3249                  * Keep track of what we use
3250                  *
3251                  * We do not keep track of PMC because we have to
3252                  * systematically restore ALL of them.
3253                  */
3254                 CTX_USED_PMD(ctx, PMD_PMD_DEP(cnum));
3255
3256                 /*
3257                  * mark this PMD register used as well
3258                  */
3259                 CTX_USED_PMD(ctx, RDEP(cnum));
3260
3261                 /*
3262                  * make sure we do not try to reset on
3263                  * restart because we have established new values
3264                  */
3265                 if (is_counting && state == PFM_CTX_MASKED) {
3266                         ctx->ctx_ovfl_regs[0] &= ~1UL << cnum;
3267                 }
3268
3269                 if (is_loaded) {
3270                         /*
3271                          * write thread state
3272                          */
3273                         if (is_system == 0) ctx->th_pmds[cnum] = hw_value;
3274
3275                         /*
3276                          * write hardware register if we can
3277                          */
3278                         if (can_access_pmu) {
3279                                 ia64_set_pmd(cnum, hw_value);
3280                         } else {
3281 #ifdef CONFIG_SMP
3282                                 /*
3283                                  * we are guaranteed that the task is not running on the other CPU,
3284                                  * we indicate that this PMD will need to be reloaded if the task
3285                                  * is rescheduled on the CPU it ran last on.
3286                                  */
3287                                 ctx->ctx_reload_pmds[0] |= 1UL << cnum;
3288 #endif
3289                         }
3290                 }
3291
3292                 DPRINT(("pmd[%u]=0x%lx ld=%d apmu=%d, hw_value=0x%lx ctx_pmd=0x%lx  short_reset=0x%lx "
3293                           "long_reset=0x%lx notify=%c seed=0x%lx mask=0x%lx used_pmds=0x%lx reset_pmds=0x%lx reload_pmds=0x%lx all_pmds=0x%lx ovfl_regs=0x%lx\n",
3294                         cnum,
3295                         value,
3296                         is_loaded,
3297                         can_access_pmu,
3298                         hw_value,
3299                         ctx->ctx_pmds[cnum].val,
3300                         ctx->ctx_pmds[cnum].short_reset,
3301                         ctx->ctx_pmds[cnum].long_reset,
3302                         PMC_OVFL_NOTIFY(ctx, cnum) ? 'Y':'N',
3303                         ctx->ctx_pmds[cnum].seed,
3304                         ctx->ctx_pmds[cnum].mask,
3305                         ctx->ctx_used_pmds[0],
3306                         ctx->ctx_pmds[cnum].reset_pmds[0],
3307                         ctx->ctx_reload_pmds[0],
3308                         ctx->ctx_all_pmds[0],
3309                         ctx->ctx_ovfl_regs[0]));
3310         }
3311
3312         /*
3313          * make changes visible
3314          */
3315         if (can_access_pmu) ia64_srlz_d();
3316
3317         return 0;
3318
3319 abort_mission:
3320         /*
3321          * for now, we have only one possibility for error
3322          */
3323         PFM_REG_RETFLAG_SET(req->reg_flags, PFM_REG_RETFL_EINVAL);
3324         return ret;
3325 }
3326
3327 /*
3328  * By the way of PROTECT_CONTEXT(), interrupts are masked while we are in this function.
3329  * Therefore we know, we do not have to worry about the PMU overflow interrupt. If an
3330  * interrupt is delivered during the call, it will be kept pending until we leave, making
3331  * it appears as if it had been generated at the UNPROTECT_CONTEXT(). At least we are
3332  * guaranteed to return consistent data to the user, it may simply be old. It is not
3333  * trivial to treat the overflow while inside the call because you may end up in
3334  * some module sampling buffer code causing deadlocks.
3335  */
3336 static int
3337 pfm_read_pmds(pfm_context_t *ctx, void *arg, int count, struct pt_regs *regs)
3338 {
3339         struct task_struct *task;
3340         unsigned long val = 0UL, lval, ovfl_mask, sval;
3341         pfarg_reg_t *req = (pfarg_reg_t *)arg;
3342         unsigned int cnum, reg_flags = 0;
3343         int i, can_access_pmu = 0, state;
3344         int is_loaded, is_system, is_counting, expert_mode;
3345         int ret = -EINVAL;
3346         pfm_reg_check_t rd_func;
3347
3348         /*
3349          * access is possible when loaded only for
3350          * self-monitoring tasks or in UP mode
3351          */
3352
3353         state     = ctx->ctx_state;
3354         is_loaded = state == PFM_CTX_LOADED ? 1 : 0;
3355         is_system = ctx->ctx_fl_system;
3356         ovfl_mask = pmu_conf->ovfl_val;
3357         task      = ctx->ctx_task;
3358
3359         if (state == PFM_CTX_ZOMBIE) return -EINVAL;
3360
3361         if (likely(is_loaded)) {
3362                 /*
3363                  * In system wide and when the context is loaded, access can only happen
3364                  * when the caller is running on the CPU being monitored by the session.
3365                  * It does not have to be the owner (ctx_task) of the context per se.
3366                  */
3367                 if (unlikely(is_system && ctx->ctx_cpu != smp_processor_id())) {
3368                         DPRINT(("should be running on CPU%d\n", ctx->ctx_cpu));
3369                         return -EBUSY;
3370                 }
3371                 /*
3372                  * this can be true when not self-monitoring only in UP
3373                  */
3374                 can_access_pmu = GET_PMU_OWNER() == task || is_system ? 1 : 0;
3375
3376                 if (can_access_pmu) ia64_srlz_d();
3377         }
3378         expert_mode = pfm_sysctl.expert_mode;
3379
3380         DPRINT(("ld=%d apmu=%d ctx_state=%d\n",
3381                 is_loaded,
3382                 can_access_pmu,
3383                 state));
3384
3385         /*
3386          * on both UP and SMP, we can only read the PMD from the hardware register when
3387          * the task is the owner of the local PMU.
3388          */
3389
3390         for (i = 0; i < count; i++, req++) {
3391
3392                 cnum        = req->reg_num;
3393                 reg_flags   = req->reg_flags;
3394
3395                 if (unlikely(!PMD_IS_IMPL(cnum))) goto error;
3396                 /*
3397                  * we can only read the register that we use. That includes
3398                  * the one we explicitely initialize AND the one we want included
3399                  * in the sampling buffer (smpl_regs).
3400                  *
3401                  * Having this restriction allows optimization in the ctxsw routine
3402                  * without compromising security (leaks)
3403                  */
3404                 if (unlikely(!CTX_IS_USED_PMD(ctx, cnum))) goto error;
3405
3406                 sval        = ctx->ctx_pmds[cnum].val;
3407                 lval        = ctx->ctx_pmds[cnum].lval;
3408                 is_counting = PMD_IS_COUNTING(cnum);
3409
3410                 /*
3411                  * If the task is not the current one, then we check if the
3412                  * PMU state is still in the local live register due to lazy ctxsw.
3413                  * If true, then we read directly from the registers.
3414                  */
3415                 if (can_access_pmu){
3416                         val = ia64_get_pmd(cnum);
3417                 } else {
3418                         /*
3419                          * context has been saved
3420                          * if context is zombie, then task does not exist anymore.
3421                          * In this case, we use the full value saved in the context (pfm_flush_regs()).
3422                          */
3423                         val = is_loaded ? ctx->th_pmds[cnum] : 0UL;
3424                 }
3425                 rd_func = pmu_conf->pmd_desc[cnum].read_check;
3426
3427                 if (is_counting) {
3428                         /*
3429                          * XXX: need to check for overflow when loaded
3430                          */
3431                         val &= ovfl_mask;
3432                         val += sval;
3433                 }
3434
3435                 /*
3436                  * execute read checker, if any
3437                  */
3438                 if (unlikely(expert_mode == 0 && rd_func)) {
3439                         unsigned long v = val;
3440                         ret = (*rd_func)(ctx->ctx_task, ctx, cnum, &v, regs);
3441                         if (ret) goto error;
3442                         val = v;
3443                         ret = -EINVAL;
3444                 }
3445
3446                 PFM_REG_RETFLAG_SET(reg_flags, 0);
3447
3448                 DPRINT(("pmd[%u]=0x%lx\n", cnum, val));
3449
3450                 /*
3451                  * update register return value, abort all if problem during copy.
3452                  * we only modify the reg_flags field. no check mode is fine because
3453                  * access has been verified upfront in sys_perfmonctl().
3454                  */
3455                 req->reg_value            = val;
3456                 req->reg_flags            = reg_flags;
3457                 req->reg_last_reset_val   = lval;
3458         }
3459
3460         return 0;
3461
3462 error:
3463         PFM_REG_RETFLAG_SET(req->reg_flags, PFM_REG_RETFL_EINVAL);
3464         return ret;
3465 }
3466
3467 int
3468 pfm_mod_write_pmcs(struct task_struct *task, void *req, unsigned int nreq, struct pt_regs *regs)
3469 {
3470         pfm_context_t *ctx;
3471
3472         if (req == NULL) return -EINVAL;
3473
3474         ctx = GET_PMU_CTX();
3475
3476         if (ctx == NULL) return -EINVAL;
3477
3478         /*
3479          * for now limit to current task, which is enough when calling
3480          * from overflow handler
3481          */
3482         if (task != current && ctx->ctx_fl_system == 0) return -EBUSY;
3483
3484         return pfm_write_pmcs(ctx, req, nreq, regs);
3485 }
3486 EXPORT_SYMBOL(pfm_mod_write_pmcs);
3487
3488 int
3489 pfm_mod_read_pmds(struct task_struct *task, void *req, unsigned int nreq, struct pt_regs *regs)
3490 {
3491         pfm_context_t *ctx;
3492
3493         if (req == NULL) return -EINVAL;
3494
3495         ctx = GET_PMU_CTX();
3496
3497         if (ctx == NULL) return -EINVAL;
3498
3499         /*
3500          * for now limit to current task, which is enough when calling
3501          * from overflow handler
3502          */
3503         if (task != current && ctx->ctx_fl_system == 0) return -EBUSY;
3504
3505         return pfm_read_pmds(ctx, req, nreq, regs);
3506 }
3507 EXPORT_SYMBOL(pfm_mod_read_pmds);
3508
3509 /*
3510  * Only call this function when a process it trying to
3511  * write the debug registers (reading is always allowed)
3512  */
3513 int
3514 pfm_use_debug_registers(struct task_struct *task)
3515 {
3516         pfm_context_t *ctx = task->thread.pfm_context;
3517         unsigned long flags;
3518         int ret = 0;
3519
3520         if (pmu_conf->use_rr_dbregs == 0) return 0;
3521
3522         DPRINT(("called for [%d]\n", task->pid));
3523
3524         /*
3525          * do it only once
3526          */
3527         if (task->thread.flags & IA64_THREAD_DBG_VALID) return 0;
3528
3529         /*
3530          * Even on SMP, we do not need to use an atomic here because
3531          * the only way in is via ptrace() and this is possible only when the
3532          * process is stopped. Even in the case where the ctxsw out is not totally
3533          * completed by the time we come here, there is no way the 'stopped' process
3534          * could be in the middle of fiddling with the pfm_write_ibr_dbr() routine.
3535          * So this is always safe.
3536          */
3537         if (ctx && ctx->ctx_fl_using_dbreg == 1) return -1;
3538
3539         LOCK_PFS(flags);
3540
3541         /*
3542          * We cannot allow setting breakpoints when system wide monitoring
3543          * sessions are using the debug registers.
3544          */
3545         if (pfm_sessions.pfs_sys_use_dbregs> 0)
3546                 ret = -1;
3547         else
3548                 pfm_sessions.pfs_ptrace_use_dbregs++;
3549
3550         DPRINT(("ptrace_use_dbregs=%u  sys_use_dbregs=%u by [%d] ret = %d\n",
3551                   pfm_sessions.pfs_ptrace_use_dbregs,
3552                   pfm_sessions.pfs_sys_use_dbregs,
3553                   task->pid, ret));
3554
3555         UNLOCK_PFS(flags);
3556
3557         return ret;
3558 }
3559
3560 /*
3561  * This function is called for every task that exits with the
3562  * IA64_THREAD_DBG_VALID set. This indicates a task which was
3563  * able to use the debug registers for debugging purposes via
3564  * ptrace(). Therefore we know it was not using them for
3565  * perfmormance monitoring, so we only decrement the number
3566  * of "ptraced" debug register users to keep the count up to date
3567  */
3568 int
3569 pfm_release_debug_registers(struct task_struct *task)
3570 {
3571         unsigned long flags;
3572         int ret;
3573
3574         if (pmu_conf->use_rr_dbregs == 0) return 0;
3575
3576         LOCK_PFS(flags);
3577         if (pfm_sessions.pfs_ptrace_use_dbregs == 0) {
3578                 printk(KERN_ERR "perfmon: invalid release for [%d] ptrace_use_dbregs=0\n", task->pid);
3579                 ret = -1;
3580         }  else {
3581                 pfm_sessions.pfs_ptrace_use_dbregs--;
3582                 ret = 0;
3583         }
3584         UNLOCK_PFS(flags);
3585
3586         return ret;
3587 }
3588
3589 static int
3590 pfm_restart(pfm_context_t *ctx, void *arg, int count, struct pt_regs *regs)
3591 {
3592         struct task_struct *task;
3593         pfm_buffer_fmt_t *fmt;
3594         pfm_ovfl_ctrl_t rst_ctrl;
3595         int state, is_system;
3596         int ret = 0;
3597
3598         state     = ctx->ctx_state;
3599         fmt       = ctx->ctx_buf_fmt;
3600         is_system = ctx->ctx_fl_system;
3601         task      = PFM_CTX_TASK(ctx);
3602
3603         switch(state) {
3604                 case PFM_CTX_MASKED:
3605                         break;
3606                 case PFM_CTX_LOADED:
3607                         if (CTX_HAS_SMPL(ctx) && fmt->fmt_restart_active) break;
3608                         /* fall through */
3609                 case PFM_CTX_UNLOADED:
3610                 case PFM_CTX_ZOMBIE:
3611                         DPRINT(("invalid state=%d\n", state));
3612                         return -EBUSY;
3613                 default:
3614                         DPRINT(("state=%d, cannot operate (no active_restart handler)\n", state));
3615                         return -EINVAL;
3616         }
3617
3618         /*
3619          * In system wide and when the context is loaded, access can only happen
3620          * when the caller is running on the CPU being monitored by the session.
3621          * It does not have to be the owner (ctx_task) of the context per se.
3622          */
3623         if (is_system && ctx->ctx_cpu != smp_processor_id()) {
3624                 DPRINT(("should be running on CPU%d\n", ctx->ctx_cpu));
3625                 return -EBUSY;
3626         }
3627
3628         /* sanity check */
3629         if (unlikely(task == NULL)) {
3630                 printk(KERN_ERR "perfmon: [%d] pfm_restart no task\n", current->pid);
3631                 return -EINVAL;
3632         }
3633
3634         if (task == current || is_system) {
3635
3636                 fmt = ctx->ctx_buf_fmt;
3637
3638                 DPRINT(("restarting self %d ovfl=0x%lx\n",
3639                         task->pid,
3640                         ctx->ctx_ovfl_regs[0]));
3641
3642                 if (CTX_HAS_SMPL(ctx)) {
3643
3644                         prefetch(ctx->ctx_smpl_hdr);
3645
3646                         rst_ctrl.bits.mask_monitoring = 0;
3647                         rst_ctrl.bits.reset_ovfl_pmds = 0;
3648
3649                         if (state == PFM_CTX_LOADED)
3650                                 ret = pfm_buf_fmt_restart_active(fmt, task, &rst_ctrl, ctx->ctx_smpl_hdr, regs);
3651                         else
3652                                 ret = pfm_buf_fmt_restart(fmt, task, &rst_ctrl, ctx->ctx_smpl_hdr, regs);
3653                 } else {
3654                         rst_ctrl.bits.mask_monitoring = 0;
3655                         rst_ctrl.bits.reset_ovfl_pmds = 1;
3656                 }
3657
3658                 if (ret == 0) {
3659                         if (rst_ctrl.bits.reset_ovfl_pmds)
3660                                 pfm_reset_regs(ctx, ctx->ctx_ovfl_regs, PFM_PMD_LONG_RESET);
3661
3662                         if (rst_ctrl.bits.mask_monitoring == 0) {
3663                                 DPRINT(("resuming monitoring for [%d]\n", task->pid));
3664
3665                                 if (state == PFM_CTX_MASKED) pfm_restore_monitoring(task);
3666                         } else {
3667                                 DPRINT(("keeping monitoring stopped for [%d]\n", task->pid));
3668
3669                                 // cannot use pfm_stop_monitoring(task, regs);
3670                         }
3671                 }
3672                 /*
3673                  * clear overflowed PMD mask to remove any stale information
3674                  */
3675                 ctx->ctx_ovfl_regs[0] = 0UL;
3676
3677                 /*
3678                  * back to LOADED state
3679                  */
3680                 ctx->ctx_state = PFM_CTX_LOADED;
3681
3682                 /*
3683                  * XXX: not really useful for self monitoring
3684                  */
3685                 ctx->ctx_fl_can_restart = 0;
3686
3687                 return 0;
3688         }
3689
3690         /*
3691          * restart another task
3692          */
3693
3694         /*
3695          * When PFM_CTX_MASKED, we cannot issue a restart before the previous
3696          * one is seen by the task.
3697          */
3698         if (state == PFM_CTX_MASKED) {
3699                 if (ctx->ctx_fl_can_restart == 0) return -EINVAL;
3700                 /*
3701                  * will prevent subsequent restart before this one is
3702                  * seen by other task
3703                  */
3704                 ctx->ctx_fl_can_restart = 0;
3705         }
3706
3707         /*
3708          * if blocking, then post the semaphore is PFM_CTX_MASKED, i.e.
3709          * the task is blocked or on its way to block. That's the normal
3710          * restart path. If the monitoring is not masked, then the task
3711          * can be actively monitoring and we cannot directly intervene.
3712          * Therefore we use the trap mechanism to catch the task and
3713          * force it to reset the buffer/reset PMDs.
3714          *
3715          * if non-blocking, then we ensure that the task will go into
3716          * pfm_handle_work() before returning to user mode.
3717          *
3718          * We cannot explicitely reset another task, it MUST always
3719          * be done by the task itself. This works for system wide because
3720          * the tool that is controlling the session is logically doing
3721          * "self-monitoring".
3722          */
3723         if (CTX_OVFL_NOBLOCK(ctx) == 0 && state == PFM_CTX_MASKED) {
3724                 DPRINT(("unblocking [%d] \n", task->pid));
3725                 complete(&ctx->ctx_restart_done);
3726         } else {
3727                 DPRINT(("[%d] armed exit trap\n", task->pid));
3728
3729                 ctx->ctx_fl_trap_reason = PFM_TRAP_REASON_RESET;
3730
3731                 PFM_SET_WORK_PENDING(task, 1);
3732
3733                 pfm_set_task_notify(task);
3734
3735                 /*
3736                  * XXX: send reschedule if task runs on another CPU
3737                  */
3738         }
3739         return 0;
3740 }
3741
3742 static int
3743 pfm_debug(pfm_context_t *ctx, void *arg, int count, struct pt_regs *regs)
3744 {
3745         unsigned int m = *(unsigned int *)arg;
3746
3747         pfm_sysctl.debug = m == 0 ? 0 : 1;
3748
3749         printk(KERN_INFO "perfmon debugging %s (timing reset)\n", pfm_sysctl.debug ? "on" : "off");
3750
3751         if (m == 0) {
3752                 memset(pfm_stats, 0, sizeof(pfm_stats));
3753                 for(m=0; m < NR_CPUS; m++) pfm_stats[m].pfm_ovfl_intr_cycles_min = ~0UL;
3754         }
3755         return 0;
3756 }
3757
3758 /*
3759  * arg can be NULL and count can be zero for this function
3760  */
3761 static int
3762 pfm_write_ibr_dbr(int mode, pfm_context_t *ctx, void *arg, int count, struct pt_regs *regs)
3763 {
3764         struct thread_struct *thread = NULL;
3765         struct task_struct *task;
3766         pfarg_dbreg_t *req = (pfarg_dbreg_t *)arg;
3767         unsigned long flags;
3768         dbreg_t dbreg;
3769         unsigned int rnum;
3770         int first_time;
3771         int ret = 0, state;
3772         int i, can_access_pmu = 0;
3773         int is_system, is_loaded;
3774
3775         if (pmu_conf->use_rr_dbregs == 0) return -EINVAL;
3776
3777         state     = ctx->ctx_state;
3778         is_loaded = state == PFM_CTX_LOADED ? 1 : 0;
3779         is_system = ctx->ctx_fl_system;
3780         task      = ctx->ctx_task;
3781
3782         if (state == PFM_CTX_ZOMBIE) return -EINVAL;
3783
3784         /*
3785          * on both UP and SMP, we can only write to the PMC when the task is
3786          * the owner of the local PMU.
3787          */
3788         if (is_loaded) {
3789                 thread = &task->thread;
3790                 /*
3791                  * In system wide and when the context is loaded, access can only happen
3792                  * when the caller is running on the CPU being monitored by the session.
3793                  * It does not have to be the owner (ctx_task) of the context per se.
3794                  */
3795                 if (unlikely(is_system && ctx->ctx_cpu != smp_processor_id())) {
3796                         DPRINT(("should be running on CPU%d\n", ctx->ctx_cpu));
3797                         return -EBUSY;
3798                 }
3799                 can_access_pmu = GET_PMU_OWNER() == task || is_system ? 1 : 0;
3800         }
3801
3802         /*
3803          * we do not need to check for ipsr.db because we do clear ibr.x, dbr.r, and dbr.w
3804          * ensuring that no real breakpoint can be installed via this call.
3805          *
3806          * IMPORTANT: regs can be NULL in this function
3807          */
3808
3809         first_time = ctx->ctx_fl_using_dbreg == 0;
3810
3811         /*
3812          * don't bother if we are loaded and task is being debugged
3813          */
3814         if (is_loaded && (thread->flags & IA64_THREAD_DBG_VALID) != 0) {
3815                 DPRINT(("debug registers already in use for [%d]\n", task->pid));
3816                 return -EBUSY;
3817         }
3818
3819         /*
3820          * check for debug registers in system wide mode
3821          *
3822          * If though a check is done in pfm_context_load(),
3823          * we must repeat it here, in case the registers are
3824          * written after the context is loaded
3825          */
3826         if (is_loaded) {
3827                 LOCK_PFS(flags);
3828
3829                 if (first_time && is_system) {
3830                         if (pfm_sessions.pfs_ptrace_use_dbregs)
3831                                 ret = -EBUSY;
3832                         else
3833                                 pfm_sessions.pfs_sys_use_dbregs++;
3834                 }
3835                 UNLOCK_PFS(flags);
3836         }
3837
3838         if (ret != 0) return ret;
3839
3840         /*
3841          * mark ourself as user of the debug registers for
3842          * perfmon purposes.
3843          */
3844         ctx->ctx_fl_using_dbreg = 1;
3845
3846         /*
3847          * clear hardware registers to make sure we don't
3848          * pick up stale state.
3849          *
3850          * for a system wide session, we do not use
3851          * thread.dbr, thread.ibr because this process
3852          * never leaves the current CPU and the state
3853          * is shared by all processes running on it
3854          */
3855         if (first_time && can_access_pmu) {
3856                 DPRINT(("[%d] clearing ibrs, dbrs\n", task->pid));
3857                 for (i=0; i < pmu_conf->num_ibrs; i++) {
3858                         ia64_set_ibr(i, 0UL);
3859                         ia64_dv_serialize_instruction();
3860                 }
3861                 ia64_srlz_i();
3862                 for (i=0; i < pmu_conf->num_dbrs; i++) {
3863                         ia64_set_dbr(i, 0UL);
3864                         ia64_dv_serialize_data();
3865                 }
3866                 ia64_srlz_d();
3867         }
3868
3869         /*
3870          * Now install the values into the registers
3871          */
3872         for (i = 0; i < count; i++, req++) {
3873
3874                 rnum      = req->dbreg_num;
3875                 dbreg.val = req->dbreg_value;
3876
3877                 ret = -EINVAL;
3878
3879                 if ((mode == PFM_CODE_RR && rnum >= PFM_NUM_IBRS) || ((mode == PFM_DATA_RR) && rnum >= PFM_NUM_DBRS)) {
3880                         DPRINT(("invalid register %u val=0x%lx mode=%d i=%d count=%d\n",
3881                                   rnum, dbreg.val, mode, i, count));
3882
3883                         goto abort_mission;
3884                 }
3885
3886                 /*
3887                  * make sure we do not install enabled breakpoint
3888                  */
3889                 if (rnum & 0x1) {
3890                         if (mode == PFM_CODE_RR)
3891                                 dbreg.ibr.ibr_x = 0;
3892                         else
3893                                 dbreg.dbr.dbr_r = dbreg.dbr.dbr_w = 0;
3894                 }
3895
3896                 PFM_REG_RETFLAG_SET(req->dbreg_flags, 0);
3897
3898                 /*
3899                  * Debug registers, just like PMC, can only be modified
3900                  * by a kernel call. Moreover, perfmon() access to those
3901                  * registers are centralized in this routine. The hardware
3902                  * does not modify the value of these registers, therefore,
3903                  * if we save them as they are written, we can avoid having
3904                  * to save them on context switch out. This is made possible
3905                  * by the fact that when perfmon uses debug registers, ptrace()
3906                  * won't be able to modify them concurrently.
3907                  */
3908                 if (mode == PFM_CODE_RR) {
3909                         CTX_USED_IBR(ctx, rnum);
3910
3911                         if (can_access_pmu) {
3912                                 ia64_set_ibr(rnum, dbreg.val);
3913                                 ia64_dv_serialize_instruction();
3914                         }
3915
3916                         ctx->ctx_ibrs[rnum] = dbreg.val;
3917
3918                         DPRINT(("write ibr%u=0x%lx used_ibrs=0x%x ld=%d apmu=%d\n",
3919                                 rnum, dbreg.val, ctx->ctx_used_ibrs[0], is_loaded, can_access_pmu));
3920                 } else {
3921                         CTX_USED_DBR(ctx, rnum);
3922
3923                         if (can_access_pmu) {
3924                                 ia64_set_dbr(rnum, dbreg.val);
3925                                 ia64_dv_serialize_data();
3926                         }
3927                         ctx->ctx_dbrs[rnum] = dbreg.val;
3928
3929                         DPRINT(("write dbr%u=0x%lx used_dbrs=0x%x ld=%d apmu=%d\n",
3930                                 rnum, dbreg.val, ctx->ctx_used_dbrs[0], is_loaded, can_access_pmu));
3931                 }
3932         }
3933
3934         return 0;
3935
3936 abort_mission:
3937         /*
3938          * in case it was our first attempt, we undo the global modifications
3939          */
3940         if (first_time) {
3941                 LOCK_PFS(flags);
3942                 if (ctx->ctx_fl_system) {
3943                         pfm_sessions.pfs_sys_use_dbregs--;
3944                 }
3945                 UNLOCK_PFS(flags);
3946                 ctx->ctx_fl_using_dbreg = 0;
3947         }
3948         /*
3949          * install error return flag
3950          */
3951         PFM_REG_RETFLAG_SET(req->dbreg_flags, PFM_REG_RETFL_EINVAL);
3952
3953         return ret;
3954 }
3955
3956 static int
3957 pfm_write_ibrs(pfm_context_t *ctx, void *arg, int count, struct pt_regs *regs)
3958 {
3959         return pfm_write_ibr_dbr(PFM_CODE_RR, ctx, arg, count, regs);
3960 }
3961
3962 static int
3963 pfm_write_dbrs(pfm_context_t *ctx, void *arg, int count, struct pt_regs *regs)
3964 {
3965         return pfm_write_ibr_dbr(PFM_DATA_RR, ctx, arg, count, regs);
3966 }
3967
3968 int
3969 pfm_mod_write_ibrs(struct task_struct *task, void *req, unsigned int nreq, struct pt_regs *regs)
3970 {
3971         pfm_context_t *ctx;
3972
3973         if (req == NULL) return -EINVAL;
3974
3975         ctx = GET_PMU_CTX();
3976
3977         if (ctx == NULL) return -EINVAL;
3978
3979         /*
3980          * for now limit to current task, which is enough when calling
3981          * from overflow handler
3982          */
3983         if (task != current && ctx->ctx_fl_system == 0) return -EBUSY;
3984
3985         return pfm_write_ibrs(ctx, req, nreq, regs);
3986 }
3987 EXPORT_SYMBOL(pfm_mod_write_ibrs);
3988
3989 int
3990 pfm_mod_write_dbrs(struct task_struct *task, void *req, unsigned int nreq, struct pt_regs *regs)
3991 {
3992         pfm_context_t *ctx;
3993
3994         if (req == NULL) return -EINVAL;
3995
3996         ctx = GET_PMU_CTX();
3997
3998         if (ctx == NULL) return -EINVAL;
3999
4000         /*
4001          * for now limit to current task, which is enough when calling
4002          * from overflow handler
4003          */
4004         if (task != current && ctx->ctx_fl_system == 0) return -EBUSY;
4005
4006         return pfm_write_dbrs(ctx, req, nreq, regs);
4007 }
4008 EXPORT_SYMBOL(pfm_mod_write_dbrs);
4009
4010
4011 static int
4012 pfm_get_features(pfm_context_t *ctx, void *arg, int count, struct pt_regs *regs)
4013 {
4014         pfarg_features_t *req = (pfarg_features_t *)arg;
4015
4016         req->ft_version = PFM_VERSION;
4017         return 0;
4018 }
4019
4020 static int
4021 pfm_stop(pfm_context_t *ctx, void *arg, int count, struct pt_regs *regs)
4022 {
4023         struct pt_regs *tregs;
4024         struct task_struct *task = PFM_CTX_TASK(ctx);
4025         int state, is_system;
4026
4027         state     = ctx->ctx_state;
4028         is_system = ctx->ctx_fl_system;
4029
4030         /*
4031          * context must be attached to issue the stop command (includes LOADED,MASKED,ZOMBIE)
4032          */
4033         if (state == PFM_CTX_UNLOADED) return -EINVAL;
4034
4035         /*
4036          * In system wide and when the context is loaded, access can only happen
4037          * when the caller is running on the CPU being monitored by the session.
4038          * It does not have to be the owner (ctx_task) of the context per se.
4039          */
4040         if (is_system && ctx->ctx_cpu != smp_processor_id()) {
4041                 DPRINT(("should be running on CPU%d\n", ctx->ctx_cpu));
4042                 return -EBUSY;
4043         }
4044         DPRINT(("task [%d] ctx_state=%d is_system=%d\n",
4045                 PFM_CTX_TASK(ctx)->pid,
4046                 state,
4047                 is_system));
4048         /*
4049          * in system mode, we need to update the PMU directly
4050          * and the user level state of the caller, which may not
4051          * necessarily be the creator of the context.
4052          */
4053         if (is_system) {
4054                 /*
4055                  * Update local PMU first
4056                  *
4057                  * disable dcr pp
4058                  */
4059                 ia64_setreg(_IA64_REG_CR_DCR, ia64_getreg(_IA64_REG_CR_DCR) & ~IA64_DCR_PP);
4060                 ia64_srlz_i();
4061
4062                 /*
4063                  * update local cpuinfo
4064                  */
4065                 PFM_CPUINFO_CLEAR(PFM_CPUINFO_DCR_PP);
4066
4067                 /*
4068                  * stop monitoring, does srlz.i
4069                  */
4070                 pfm_clear_psr_pp();
4071
4072                 /*
4073                  * stop monitoring in the caller
4074                  */
4075                 ia64_psr(regs)->pp = 0;
4076
4077                 return 0;
4078         }
4079         /*
4080          * per-task mode
4081          */
4082
4083         if (task == current) {
4084                 /* stop monitoring  at kernel level */
4085                 pfm_clear_psr_up();
4086
4087                 /*
4088                  * stop monitoring at the user level
4089                  */
4090                 ia64_psr(regs)->up = 0;
4091         } else {
4092                 tregs = task_pt_regs(task);
4093
4094                 /*
4095                  * stop monitoring at the user level
4096                  */
4097                 ia64_psr(tregs)->up = 0;
4098
4099                 /*
4100                  * monitoring disabled in kernel at next reschedule
4101                  */
4102                 ctx->ctx_saved_psr_up = 0;
4103                 DPRINT(("task=[%d]\n", task->pid));
4104         }
4105         return 0;
4106 }
4107
4108
4109 static int
4110 pfm_start(pfm_context_t *ctx, void *arg, int count, struct pt_regs *regs)
4111 {
4112         struct pt_regs *tregs;
4113         int state, is_system;
4114
4115         state     = ctx->ctx_state;
4116         is_system = ctx->ctx_fl_system;
4117
4118         if (state != PFM_CTX_LOADED) return -EINVAL;
4119
4120         /*
4121          * In system wide and when the context is loaded, access can only happen
4122          * when the caller is running on the CPU being monitored by the session.
4123          * It does not have to be the owner (ctx_task) of the context per se.
4124          */
4125         if (is_system && ctx->ctx_cpu != smp_processor_id()) {
4126                 DPRINT(("should be running on CPU%d\n", ctx->ctx_cpu));
4127                 return -EBUSY;
4128         }
4129
4130         /*
4131          * in system mode, we need to update the PMU directly
4132          * and the user level state of the caller, which may not
4133          * necessarily be the creator of the context.
4134          */
4135         if (is_system) {
4136
4137                 /*
4138                  * set user level psr.pp for the caller
4139                  */
4140                 ia64_psr(regs)->pp = 1;
4141
4142                 /*
4143                  * now update the local PMU and cpuinfo
4144                  */
4145                 PFM_CPUINFO_SET(PFM_CPUINFO_DCR_PP);
4146
4147                 /*
4148                  * start monitoring at kernel level
4149                  */
4150                 pfm_set_psr_pp();
4151
4152                 /* enable dcr pp */
4153                 ia64_setreg(_IA64_REG_CR_DCR, ia64_getreg(_IA64_REG_CR_DCR) | IA64_DCR_PP);
4154                 ia64_srlz_i();
4155
4156                 return 0;
4157         }
4158
4159         /*
4160          * per-process mode
4161          */
4162
4163         if (ctx->ctx_task == current) {
4164
4165                 /* start monitoring at kernel level */
4166                 pfm_set_psr_up();
4167
4168                 /*
4169                  * activate monitoring at user level
4170                  */
4171                 ia64_psr(regs)->up = 1;
4172
4173         } else {
4174                 tregs = task_pt_regs(ctx->ctx_task);
4175
4176                 /*
4177                  * start monitoring at the kernel level the next
4178                  * time the task is scheduled
4179                  */
4180                 ctx->ctx_saved_psr_up = IA64_PSR_UP;
4181
4182                 /*
4183                  * activate monitoring at user level
4184                  */
4185                 ia64_psr(tregs)->up = 1;
4186         }
4187         return 0;
4188 }
4189
4190 static int
4191 pfm_get_pmc_reset(pfm_context_t *ctx, void *arg, int count, struct pt_regs *regs)
4192 {
4193         pfarg_reg_t *req = (pfarg_reg_t *)arg;
4194         unsigned int cnum;
4195         int i;
4196         int ret = -EINVAL;
4197
4198         for (i = 0; i < count; i++, req++) {
4199
4200                 cnum = req->reg_num;
4201
4202                 if (!PMC_IS_IMPL(cnum)) goto abort_mission;
4203
4204                 req->reg_value = PMC_DFL_VAL(cnum);
4205
4206                 PFM_REG_RETFLAG_SET(req->reg_flags, 0);
4207
4208                 DPRINT(("pmc_reset_val pmc[%u]=0x%lx\n", cnum, req->reg_value));
4209         }
4210         return 0;
4211
4212 abort_mission:
4213         PFM_REG_RETFLAG_SET(req->reg_flags, PFM_REG_RETFL_EINVAL);
4214         return ret;
4215 }
4216
4217 static int
4218 pfm_check_task_exist(pfm_context_t *ctx)
4219 {
4220         struct task_struct *g, *t;
4221         int ret = -ESRCH;
4222
4223         read_lock(&tasklist_lock);
4224
4225         do_each_thread (g, t) {
4226                 if (t->thread.pfm_context == ctx) {
4227                         ret = 0;
4228                         break;
4229                 }
4230         } while_each_thread (g, t);
4231
4232         read_unlock(&tasklist_lock);
4233
4234         DPRINT(("pfm_check_task_exist: ret=%d ctx=%p\n", ret, ctx));
4235
4236         return ret;
4237 }
4238
4239 static int
4240 pfm_context_load(pfm_context_t *ctx, void *arg, int count, struct pt_regs *regs)
4241 {
4242         struct task_struct *task;
4243         struct thread_struct *thread;
4244         struct pfm_context_t *old;
4245         unsigned long flags;
4246 #ifndef CONFIG_SMP
4247         struct task_struct *owner_task = NULL;
4248 #endif
4249         pfarg_load_t *req = (pfarg_load_t *)arg;
4250         unsigned long *pmcs_source, *pmds_source;
4251         int the_cpu;
4252         int ret = 0;
4253         int state, is_system, set_dbregs = 0;
4254
4255         state     = ctx->ctx_state;
4256         is_system = ctx->ctx_fl_system;
4257         /*
4258          * can only load from unloaded or terminated state
4259          */
4260         if (state != PFM_CTX_UNLOADED) {
4261                 DPRINT(("cannot load to [%d], invalid ctx_state=%d\n",
4262                         req->load_pid,
4263                         ctx->ctx_state));
4264                 return -EBUSY;
4265         }
4266
4267         DPRINT(("load_pid [%d] using_dbreg=%d\n", req->load_pid, ctx->ctx_fl_using_dbreg));
4268
4269         if (CTX_OVFL_NOBLOCK(ctx) == 0 && req->load_pid == current->pid) {
4270                 DPRINT(("cannot use blocking mode on self\n"));
4271                 return -EINVAL;
4272         }
4273
4274         ret = pfm_get_task(ctx, req->load_pid, &task);
4275         if (ret) {
4276                 DPRINT(("load_pid [%d] get_task=%d\n", req->load_pid, ret));
4277                 return ret;
4278         }
4279
4280         ret = -EINVAL;
4281
4282         /*
4283          * system wide is self monitoring only
4284          */
4285         if (is_system && task != current) {
4286                 DPRINT(("system wide is self monitoring only load_pid=%d\n",
4287                         req->load_pid));
4288                 goto error;
4289         }
4290
4291         thread = &task->thread;
4292
4293         ret = 0;
4294         /*
4295          * cannot load a context which is using range restrictions,
4296          * into a task that is being debugged.
4297          */
4298         if (ctx->ctx_fl_using_dbreg) {
4299                 if (thread->flags & IA64_THREAD_DBG_VALID) {
4300                         ret = -EBUSY;
4301                         DPRINT(("load_pid [%d] task is debugged, cannot load range restrictions\n", req->load_pid));
4302                         goto error;
4303                 }
4304                 LOCK_PFS(flags);
4305
4306                 if (is_system) {
4307                         if (pfm_sessions.pfs_ptrace_use_dbregs) {
4308                                 DPRINT(("cannot load [%d] dbregs in use\n", task->pid));
4309                                 ret = -EBUSY;
4310                         } else {
4311                                 pfm_sessions.pfs_sys_use_dbregs++;
4312                                 DPRINT(("load [%d] increased sys_use_dbreg=%u\n", task->pid, pfm_sessions.pfs_sys_use_dbregs));
4313                                 set_dbregs = 1;
4314                         }
4315                 }
4316
4317                 UNLOCK_PFS(flags);
4318
4319                 if (ret) goto error;
4320         }
4321
4322         /*
4323          * SMP system-wide monitoring implies self-monitoring.
4324          *
4325          * The programming model expects the task to
4326          * be pinned on a CPU throughout the session.
4327          * Here we take note of the current CPU at the
4328          * time the context is loaded. No call from
4329          * another CPU will be allowed.
4330          *
4331          * The pinning via shed_setaffinity()
4332          * must be done by the calling task prior
4333          * to this call.
4334          *
4335          * systemwide: keep track of CPU this session is supposed to run on
4336          */
4337         the_cpu = ctx->ctx_cpu = smp_processor_id();
4338
4339         ret = -EBUSY;
4340         /*
4341          * now reserve the session
4342          */
4343         ret = pfm_reserve_session(current, is_system, the_cpu);
4344         if (ret) goto error;
4345
4346         /*
4347          * task is necessarily stopped at this point.
4348          *
4349          * If the previous context was zombie, then it got removed in
4350          * pfm_save_regs(). Therefore we should not see it here.
4351          * If we see a context, then this is an active context
4352          *
4353          * XXX: needs to be atomic
4354          */
4355         DPRINT(("before cmpxchg() old_ctx=%p new_ctx=%p\n",
4356                 thread->pfm_context, ctx));
4357
4358         ret = -EBUSY;
4359         old = ia64_cmpxchg(acq, &thread->pfm_context, NULL, ctx, sizeof(pfm_context_t *));
4360         if (old != NULL) {
4361                 DPRINT(("load_pid [%d] already has a context\n", req->load_pid));
4362                 goto error_unres;
4363         }
4364
4365         pfm_reset_msgq(ctx);
4366
4367         ctx->ctx_state = PFM_CTX_LOADED;
4368
4369         /*
4370          * link context to task
4371          */
4372         ctx->ctx_task = task;
4373
4374         if (is_system) {
4375                 /*
4376                  * we load as stopped
4377                  */
4378                 PFM_CPUINFO_SET(PFM_CPUINFO_SYST_WIDE);
4379                 PFM_CPUINFO_CLEAR(PFM_CPUINFO_DCR_PP);
4380
4381                 if (ctx->ctx_fl_excl_idle) PFM_CPUINFO_SET(PFM_CPUINFO_EXCL_IDLE);
4382         } else {
4383                 thread->flags |= IA64_THREAD_PM_VALID;
4384         }
4385
4386         /*
4387          * propagate into thread-state
4388          */
4389         pfm_copy_pmds(task, ctx);
4390         pfm_copy_pmcs(task, ctx);
4391
4392         pmcs_source = ctx->th_pmcs;
4393         pmds_source = ctx->th_pmds;
4394
4395         /*
4396          * always the case for system-wide
4397          */
4398         if (task == current) {
4399
4400                 if (is_system == 0) {
4401
4402                         /* allow user level control */
4403                         ia64_psr(regs)->sp = 0;
4404                         DPRINT(("clearing psr.sp for [%d]\n", task->pid));
4405
4406                         SET_LAST_CPU(ctx, smp_processor_id());
4407                         INC_ACTIVATION();
4408                         SET_ACTIVATION(ctx);
4409 #ifndef CONFIG_SMP
4410                         /*
4411                          * push the other task out, if any
4412                          */
4413                         owner_task = GET_PMU_OWNER();
4414                         if (owner_task) pfm_lazy_save_regs(owner_task);
4415 #endif
4416                 }
4417                 /*
4418                  * load all PMD from ctx to PMU (as opposed to thread state)
4419                  * restore all PMC from ctx to PMU
4420                  */
4421                 pfm_restore_pmds(pmds_source, ctx->ctx_all_pmds[0]);
4422                 pfm_restore_pmcs(pmcs_source, ctx->ctx_all_pmcs[0]);
4423
4424                 ctx->ctx_reload_pmcs[0] = 0UL;
4425                 ctx->ctx_reload_pmds[0] = 0UL;
4426
4427                 /*
4428                  * guaranteed safe by earlier check against DBG_VALID
4429                  */
4430                 if (ctx->ctx_fl_using_dbreg) {
4431                         pfm_restore_ibrs(ctx->ctx_ibrs, pmu_conf->num_ibrs);
4432                         pfm_restore_dbrs(ctx->ctx_dbrs, pmu_conf->num_dbrs);
4433                 }
4434                 /*
4435                  * set new ownership
4436                  */
4437                 SET_PMU_OWNER(task, ctx);
4438
4439                 DPRINT(("context loaded on PMU for [%d]\n", task->pid));
4440         } else {
4441                 /*
4442                  * when not current, task MUST be stopped, so this is safe
4443                  */
4444                 regs = task_pt_regs(task);
4445
4446                 /* force a full reload */
4447                 ctx->ctx_last_activation = PFM_INVALID_ACTIVATION;
4448                 SET_LAST_CPU(ctx, -1);
4449
4450                 /* initial saved psr (stopped) */
4451                 ctx->ctx_saved_psr_up = 0UL;
4452                 ia64_psr(regs)->up = ia64_psr(regs)->pp = 0;
4453         }
4454
4455         ret = 0;
4456
4457 error_unres:
4458         if (ret) pfm_unreserve_session(ctx, ctx->ctx_fl_system, the_cpu);
4459 error:
4460         /*
4461          * we must undo the dbregs setting (for system-wide)
4462          */
4463         if (ret && set_dbregs) {
4464                 LOCK_PFS(flags);
4465                 pfm_sessions.pfs_sys_use_dbregs--;
4466                 UNLOCK_PFS(flags);
4467         }
4468         /*
4469          * release task, there is now a link with the context
4470          */
4471         if (is_system == 0 && task != current) {
4472                 pfm_put_task(task);
4473
4474                 if (ret == 0) {
4475                         ret = pfm_check_task_exist(ctx);
4476                         if (ret) {
4477                                 ctx->ctx_state = PFM_CTX_UNLOADED;
4478                                 ctx->ctx_task  = NULL;
4479                         }
4480                 }
4481         }
4482         return ret;
4483 }
4484
4485 /*
4486  * in this function, we do not need to increase the use count
4487  * for the task via get_task_struct(), because we hold the
4488  * context lock. If the task were to disappear while having
4489  * a context attached, it would go through pfm_exit_thread()
4490  * which also grabs the context lock  and would therefore be blocked
4491  * until we are here.
4492  */
4493 static void pfm_flush_pmds(struct task_struct *, pfm_context_t *ctx);
4494
4495 static int
4496 pfm_context_unload(pfm_context_t *ctx, void *arg, int count, struct pt_regs *regs)
4497 {
4498         struct task_struct *task = PFM_CTX_TASK(ctx);
4499         struct pt_regs *tregs;
4500         int prev_state, is_system;
4501         int ret;
4502
4503         DPRINT(("ctx_state=%d task [%d]\n", ctx->ctx_state, task ? task->pid : -1));
4504
4505         prev_state = ctx->ctx_state;
4506         is_system  = ctx->ctx_fl_system;
4507
4508         /*
4509          * unload only when necessary
4510          */
4511         if (prev_state == PFM_CTX_UNLOADED) {
4512                 DPRINT(("ctx_state=%d, nothing to do\n", prev_state));
4513                 return 0;
4514         }
4515
4516         /*
4517          * clear psr and dcr bits
4518          */
4519         ret = pfm_stop(ctx, NULL, 0, regs);
4520         if (ret) return ret;
4521
4522         ctx->ctx_state = PFM_CTX_UNLOADED;
4523
4524         /*
4525          * in system mode, we need to update the PMU directly
4526          * and the user level state of the caller, which may not
4527          * necessarily be the creator of the context.
4528          */
4529         if (is_system) {
4530
4531                 /*
4532                  * Update cpuinfo
4533                  *
4534                  * local PMU is taken care of in pfm_stop()
4535                  */
4536                 PFM_CPUINFO_CLEAR(PFM_CPUINFO_SYST_WIDE);
4537                 PFM_CPUINFO_CLEAR(PFM_CPUINFO_EXCL_IDLE);
4538
4539                 /*
4540                  * save PMDs in context
4541                  * release ownership
4542                  */
4543                 pfm_flush_pmds(current, ctx);
4544
4545                 /*
4546                  * at this point we are done with the PMU
4547                  * so we can unreserve the resource.
4548                  */
4549                 if (prev_state != PFM_CTX_ZOMBIE)
4550                         pfm_unreserve_session(ctx, 1 , ctx->ctx_cpu);
4551
4552                 /*
4553                  * disconnect context from task
4554                  */
4555                 task->thread.pfm_context = NULL;
4556                 /*
4557                  * disconnect task from context
4558                  */
4559                 ctx->ctx_task = NULL;
4560
4561                 /*
4562                  * There is nothing more to cleanup here.
4563                  */
4564                 return 0;
4565         }
4566
4567         /*
4568          * per-task mode
4569          */
4570         tregs = task == current ? regs : task_pt_regs(task);
4571
4572         if (task == current) {
4573                 /*
4574                  * cancel user level control
4575                  */
4576                 ia64_psr(regs)->sp = 1;
4577
4578                 DPRINT(("setting psr.sp for [%d]\n", task->pid));
4579         }
4580         /*
4581          * save PMDs to context
4582          * release ownership
4583          */
4584         pfm_flush_pmds(task, ctx);
4585
4586         /*
4587          * at this point we are done with the PMU
4588          * so we can unreserve the resource.
4589          *
4590          * when state was ZOMBIE, we have already unreserved.
4591          */
4592         if (prev_state != PFM_CTX_ZOMBIE)
4593                 pfm_unreserve_session(ctx, 0 , ctx->ctx_cpu);
4594
4595         /*
4596          * reset activation counter and psr
4597          */
4598         ctx->ctx_last_activation = PFM_INVALID_ACTIVATION;
4599         SET_LAST_CPU(ctx, -1);
4600
4601         /*
4602          * PMU state will not be restored
4603          */
4604         task->thread.flags &= ~IA64_THREAD_PM_VALID;
4605
4606         /*
4607          * break links between context and task
4608          */
4609         task->thread.pfm_context  = NULL;
4610         ctx->ctx_task             = NULL;
4611
4612         PFM_SET_WORK_PENDING(task, 0);
4613
4614         ctx->ctx_fl_trap_reason  = PFM_TRAP_REASON_NONE;
4615         ctx->ctx_fl_can_restart  = 0;
4616         ctx->ctx_fl_going_zombie = 0;
4617
4618         DPRINT(("disconnected [%d] from context\n", task->pid));
4619
4620         return 0;
4621 }
4622
4623
4624 /*
4625  * called only from exit_thread(): task == current
4626  * we come here only if current has a context attached (loaded or masked)
4627  */
4628 void
4629 pfm_exit_thread(struct task_struct *task)
4630 {
4631         pfm_context_t *ctx;
4632         unsigned long flags;
4633         struct pt_regs *regs = task_pt_regs(task);
4634         int ret, state;
4635         int free_ok = 0;
4636
4637         ctx = PFM_GET_CTX(task);
4638
4639         PROTECT_CTX(ctx, flags);
4640
4641         DPRINT(("state=%d task [%d]\n", ctx->ctx_state, task->pid));
4642
4643         state = ctx->ctx_state;
4644         switch(state) {
4645                 case PFM_CTX_UNLOADED:
4646                         /*
4647                          * only comes to thios function if pfm_context is not NULL, i.e., cannot
4648                          * be in unloaded state
4649                          */
4650                         printk(KERN_ERR "perfmon: pfm_exit_thread [%d] ctx unloaded\n", task->pid);
4651                         break;
4652                 case PFM_CTX_LOADED:
4653                 case PFM_CTX_MASKED:
4654                         ret = pfm_context_unload(ctx, NULL, 0, regs);
4655                         if (ret) {
4656                                 printk(KERN_ERR "perfmon: pfm_exit_thread [%d] state=%d unload failed %d\n", task->pid, state, ret);
4657                         }
4658                         DPRINT(("ctx unloaded for current state was %d\n", state));
4659
4660                         pfm_end_notify_user(ctx);
4661                         break;
4662                 case PFM_CTX_ZOMBIE:
4663                         ret = pfm_context_unload(ctx, NULL, 0, regs);
4664                         if (ret) {
4665                                 printk(KERN_ERR "perfmon: pfm_exit_thread [%d] state=%d unload failed %d\n", task->pid, state, ret);
4666                         }
4667                         free_ok = 1;
4668                         break;
4669                 default:
4670                         printk(KERN_ERR "perfmon: pfm_exit_thread [%d] unexpected state=%d\n", task->pid, state);
4671                         break;
4672         }
4673         UNPROTECT_CTX(ctx, flags);
4674
4675         { u64 psr = pfm_get_psr();
4676           BUG_ON(psr & (IA64_PSR_UP|IA64_PSR_PP));
4677           BUG_ON(GET_PMU_OWNER());
4678           BUG_ON(ia64_psr(regs)->up);
4679           BUG_ON(ia64_psr(regs)->pp);
4680         }
4681
4682         /*
4683          * All memory free operations (especially for vmalloc'ed memory)
4684          * MUST be done with interrupts ENABLED.
4685          */
4686         if (free_ok) pfm_context_free(ctx);
4687 }
4688
4689 /*
4690  * functions MUST be listed in the increasing order of their index (see permfon.h)
4691  */
4692 #define PFM_CMD(name, flags, arg_count, arg_type, getsz) { name, #name, flags, arg_count, sizeof(arg_type), getsz }
4693 #define PFM_CMD_S(name, flags) { name, #name, flags, 0, 0, NULL }
4694 #define PFM_CMD_PCLRWS  (PFM_CMD_FD|PFM_CMD_ARG_RW|PFM_CMD_STOP)
4695 #define PFM_CMD_PCLRW   (PFM_CMD_FD|PFM_CMD_ARG_RW)
4696 #define PFM_CMD_NONE    { NULL, "no-cmd", 0, 0, 0, NULL}
4697
4698 static pfm_cmd_desc_t pfm_cmd_tab[]={
4699 /* 0  */PFM_CMD_NONE,
4700 /* 1  */PFM_CMD(pfm_write_pmcs, PFM_CMD_PCLRWS, PFM_CMD_ARG_MANY, pfarg_reg_t, NULL),
4701 /* 2  */PFM_CMD(pfm_write_pmds, PFM_CMD_PCLRWS, PFM_CMD_ARG_MANY, pfarg_reg_t, NULL),
4702 /* 3  */PFM_CMD(pfm_read_pmds, PFM_CMD_PCLRWS, PFM_CMD_ARG_MANY, pfarg_reg_t, NULL),
4703 /* 4  */PFM_CMD_S(pfm_stop, PFM_CMD_PCLRWS),
4704 /* 5  */PFM_CMD_S(pfm_start, PFM_CMD_PCLRWS),
4705 /* 6  */PFM_CMD_NONE,
4706 /* 7  */PFM_CMD_NONE,
4707 /* 8  */PFM_CMD(pfm_context_create, PFM_CMD_ARG_RW, 1, pfarg_context_t, pfm_ctx_getsize),
4708 /* 9  */PFM_CMD_NONE,
4709 /* 10 */PFM_CMD_S(pfm_restart, PFM_CMD_PCLRW),
4710 /* 11 */PFM_CMD_NONE,
4711 /* 12 */PFM_CMD(pfm_get_features, PFM_CMD_ARG_RW, 1, pfarg_features_t, NULL),
4712 /* 13 */PFM_CMD(pfm_debug, 0, 1, unsigned int, NULL),
4713 /* 14 */PFM_CMD_NONE,
4714 /* 15 */PFM_CMD(pfm_get_pmc_reset, PFM_CMD_ARG_RW, PFM_CMD_ARG_MANY, pfarg_reg_t, NULL),
4715 /* 16 */PFM_CMD(pfm_context_load, PFM_CMD_PCLRWS, 1, pfarg_load_t, NULL),
4716 /* 17 */PFM_CMD_S(pfm_context_unload, PFM_CMD_PCLRWS),
4717 /* 18 */PFM_CMD_NONE,
4718 /* 19 */PFM_CMD_NONE,
4719 /* 20 */PFM_CMD_NONE,
4720 /* 21 */PFM_CMD_NONE,
4721 /* 22 */PFM_CMD_NONE,
4722 /* 23 */PFM_CMD_NONE,
4723 /* 24 */PFM_CMD_NONE,
4724 /* 25 */PFM_CMD_NONE,
4725 /* 26 */PFM_CMD_NONE,
4726 /* 27 */PFM_CMD_NONE,
4727 /* 28 */PFM_CMD_NONE,
4728 /* 29 */PFM_CMD_NONE,
4729 /* 30 */PFM_CMD_NONE,
4730 /* 31 */PFM_CMD_NONE,
4731 /* 32 */PFM_CMD(pfm_write_ibrs, PFM_CMD_PCLRWS, PFM_CMD_ARG_MANY, pfarg_dbreg_t, NULL),
4732 /* 33 */PFM_CMD(pfm_write_dbrs, PFM_CMD_PCLRWS, PFM_CMD_ARG_MANY, pfarg_dbreg_t, NULL)
4733 };
4734 #define PFM_CMD_COUNT   (sizeof(pfm_cmd_tab)/sizeof(pfm_cmd_desc_t))
4735
4736 static int
4737 pfm_check_task_state(pfm_context_t *ctx, int cmd, unsigned long flags)
4738 {
4739         struct task_struct *task;
4740         int state, old_state;
4741
4742 recheck:
4743         state = ctx->ctx_state;
4744         task  = ctx->ctx_task;
4745
4746         if (task == NULL) {
4747                 DPRINT(("context %d no task, state=%d\n", ctx->ctx_fd, state));
4748                 return 0;
4749         }
4750
4751         DPRINT(("context %d state=%d [%d] task_state=%ld must_stop=%d\n",
4752                 ctx->ctx_fd,
4753                 state,
4754                 task->pid,
4755                 task->state, PFM_CMD_STOPPED(cmd)));
4756
4757         /*
4758          * self-monitoring always ok.
4759          *
4760          * for system-wide the caller can either be the creator of the
4761          * context (to one to which the context is attached to) OR
4762          * a task running on the same CPU as the session.
4763          */
4764         if (task == current || ctx->ctx_fl_system) return 0;
4765
4766         /*
4767          * we are monitoring another thread
4768          */
4769         switch(state) {
4770                 case PFM_CTX_UNLOADED:
4771                         /*
4772                          * if context is UNLOADED we are safe to go
4773                          */
4774                         return 0;
4775                 case PFM_CTX_ZOMBIE:
4776                         /*
4777                          * no command can operate on a zombie context
4778                          */
4779                         DPRINT(("cmd %d state zombie cannot operate on context\n", cmd));
4780                         return -EINVAL;
4781                 case PFM_CTX_MASKED:
4782                         /*
4783                          * PMU state has been saved to software even though
4784                          * the thread may still be running.
4785                          */
4786                         if (cmd != PFM_UNLOAD_CONTEXT) return 0;
4787         }
4788
4789         /*
4790          * context is LOADED or MASKED. Some commands may need to have
4791          * the task stopped.
4792          *
4793          * We could lift this restriction for UP but it would mean that
4794          * the user has no guarantee the task would not run between
4795          * two successive calls to perfmonctl(). That's probably OK.
4796          * If this user wants to ensure the task does not run, then
4797          * the task must be stopped.
4798          */
4799         if (PFM_CMD_STOPPED(cmd)) {
4800                 if ((task->state != TASK_STOPPED) && (task->state != TASK_TRACED)) {
4801                         DPRINT(("[%d] task not in stopped state\n", task->pid));
4802                         return -EBUSY;
4803                 }
4804                 /*
4805                  * task is now stopped, wait for ctxsw out
4806                  *
4807                  * This is an interesting point in the code.
4808                  * We need to unprotect the context because
4809                  * the pfm_save_regs() routines needs to grab
4810                  * the same lock. There are danger in doing
4811                  * this because it leaves a window open for
4812                  * another task to get access to the context
4813                  * and possibly change its state. The one thing
4814                  * that is not possible is for the context to disappear
4815                  * because we are protected by the VFS layer, i.e.,
4816                  * get_fd()/put_fd().
4817                  */
4818                 old_state = state;
4819
4820                 UNPROTECT_CTX(ctx, flags);
4821
4822                 wait_task_inactive(task);
4823
4824                 PROTECT_CTX(ctx, flags);
4825
4826                 /*
4827                  * we must recheck to verify if state has changed
4828                  */
4829                 if (ctx->ctx_state != old_state) {
4830                         DPRINT(("old_state=%d new_state=%d\n", old_state, ctx->ctx_state));
4831                         goto recheck;
4832                 }
4833         }
4834         return 0;
4835 }
4836
4837 /*
4838  * system-call entry point (must return long)
4839  */
4840 asmlinkage long
4841 sys_perfmonctl (int fd, int cmd, void __user *arg, int count)
4842 {
4843         struct file *file = NULL;
4844         pfm_context_t *ctx = NULL;
4845         unsigned long flags = 0UL;
4846         void *args_k = NULL;
4847         long ret; /* will expand int return types */
4848         size_t base_sz, sz, xtra_sz = 0;
4849         int narg, completed_args = 0, call_made = 0, cmd_flags;
4850         int (*func)(pfm_context_t *ctx, void *arg, int count, struct pt_regs *regs);
4851         int (*getsize)(void *arg, size_t *sz);
4852 #define PFM_MAX_ARGSIZE 4096
4853
4854         /*
4855          * reject any call if perfmon was disabled at initialization
4856          */
4857         if (unlikely(pmu_conf == NULL)) return -ENOSYS;
4858
4859         if (unlikely(cmd < 0 || cmd >= PFM_CMD_COUNT)) {
4860                 DPRINT(("invalid cmd=%d\n", cmd));
4861                 return -EINVAL;
4862         }
4863
4864         func      = pfm_cmd_tab[cmd].cmd_func;
4865         narg      = pfm_cmd_tab[cmd].cmd_narg;
4866         base_sz   = pfm_cmd_tab[cmd].cmd_argsize;
4867         getsize   = pfm_cmd_tab[cmd].cmd_getsize;
4868         cmd_flags = pfm_cmd_tab[cmd].cmd_flags;
4869
4870         if (unlikely(func == NULL)) {
4871                 DPRINT(("invalid cmd=%d\n", cmd));
4872                 return -EINVAL;
4873         }
4874
4875         DPRINT(("cmd=%s idx=%d narg=0x%x argsz=%lu count=%d\n",
4876                 PFM_CMD_NAME(cmd),
4877                 cmd,
4878                 narg,
4879                 base_sz,
4880                 count));
4881
4882         /*
4883          * check if number of arguments matches what the command expects
4884          */
4885         if (unlikely((narg == PFM_CMD_ARG_MANY && count <= 0) || (narg > 0 && narg != count)))
4886                 return -EINVAL;
4887
4888 restart_args:
4889         sz = xtra_sz + base_sz*count;
4890         /*
4891          * limit abuse to min page size
4892          */
4893         if (unlikely(sz > PFM_MAX_ARGSIZE)) {
4894                 printk(KERN_ERR "perfmon: [%d] argument too big %lu\n", current->pid, sz);
4895                 return -E2BIG;
4896         }
4897
4898         /*
4899          * allocate default-sized argument buffer
4900          */
4901         if (likely(count && args_k == NULL)) {
4902                 args_k = kmalloc(PFM_MAX_ARGSIZE, GFP_KERNEL);
4903                 if (args_k == NULL) return -ENOMEM;
4904         }
4905
4906         ret = -EFAULT;
4907
4908         /*
4909          * copy arguments
4910          *
4911          * assume sz = 0 for command without parameters
4912          */
4913         if (sz && copy_from_user(args_k, arg, sz)) {
4914                 DPRINT(("cannot copy_from_user %lu bytes @%p\n", sz, arg));
4915                 goto error_args;
4916         }
4917
4918         /*
4919          * check if command supports extra parameters
4920          */
4921         if (completed_args == 0 && getsize) {
4922                 /*
4923                  * get extra parameters size (based on main argument)
4924                  */
4925                 ret = (*getsize)(args_k, &xtra_sz);
4926                 if (ret) goto error_args;
4927
4928                 completed_args = 1;
4929
4930                 DPRINT(("restart_args sz=%lu xtra_sz=%lu\n", sz, xtra_sz));
4931
4932                 /* retry if necessary */
4933                 if (likely(xtra_sz)) goto restart_args;
4934         }
4935
4936         if (unlikely((cmd_flags & PFM_CMD_FD) == 0)) goto skip_fd;
4937
4938         ret = -EBADF;
4939
4940         file = fget(fd);
4941         if (unlikely(file == NULL)) {
4942                 DPRINT(("invalid fd %d\n", fd));
4943                 goto error_args;
4944         }
4945         if (unlikely(PFM_IS_FILE(file) == 0)) {
4946                 DPRINT(("fd %d not related to perfmon\n", fd));
4947                 goto error_args;
4948         }
4949
4950         ctx = (pfm_context_t *)file->private_data;
4951         if (unlikely(ctx == NULL)) {
4952                 DPRINT(("no context for fd %d\n", fd));
4953                 goto error_args;
4954         }
4955         prefetch(&ctx->ctx_state);
4956
4957         PROTECT_CTX(ctx, flags);
4958
4959         /*
4960          * check task is stopped
4961          */
4962         ret = pfm_check_task_state(ctx, cmd, flags);
4963         if (unlikely(ret)) goto abort_locked;
4964
4965 skip_fd:
4966         ret = (*func)(ctx, args_k, count, task_pt_regs(current));
4967
4968         call_made = 1;
4969
4970 abort_locked:
4971         if (likely(ctx)) {
4972                 DPRINT(("context unlocked\n"));
4973                 UNPROTECT_CTX(ctx, flags);
4974         }
4975
4976         /* copy argument back to user, if needed */
4977         if (call_made && PFM_CMD_RW_ARG(cmd) && copy_to_user(arg, args_k, base_sz*count)) ret = -EFAULT;
4978
4979 error_args:
4980         if (file)
4981                 fput(file);
4982
4983         kfree(args_k);
4984
4985         DPRINT(("cmd=%s ret=%ld\n", PFM_CMD_NAME(cmd), ret));
4986
4987         return ret;
4988 }
4989
4990 static void
4991 pfm_resume_after_ovfl(pfm_context_t *ctx, unsigned long ovfl_regs, struct pt_regs *regs)
4992 {
4993         pfm_buffer_fmt_t *fmt = ctx->ctx_buf_fmt;
4994         pfm_ovfl_ctrl_t rst_ctrl;
4995         int state;
4996         int ret = 0;
4997
4998         state = ctx->ctx_state;
4999         /*
5000          * Unlock sampling buffer and reset index atomically
5001          * XXX: not really needed when blocking
5002          */
5003         if (CTX_HAS_SMPL(ctx)) {
5004
5005                 rst_ctrl.bits.mask_monitoring = 0;
5006                 rst_ctrl.bits.reset_ovfl_pmds = 0;
5007
5008                 if (state == PFM_CTX_LOADED)
5009                         ret = pfm_buf_fmt_restart_active(fmt, current, &rst_ctrl, ctx->ctx_smpl_hdr, regs);
5010                 else
5011                         ret = pfm_buf_fmt_restart(fmt, current, &rst_ctrl, ctx->ctx_smpl_hdr, regs);
5012         } else {
5013                 rst_ctrl.bits.mask_monitoring = 0;
5014                 rst_ctrl.bits.reset_ovfl_pmds = 1;
5015         }
5016
5017         if (ret == 0) {
5018                 if (rst_ctrl.bits.reset_ovfl_pmds) {
5019                         pfm_reset_regs(ctx, &ovfl_regs, PFM_PMD_LONG_RESET);
5020                 }
5021                 if (rst_ctrl.bits.mask_monitoring == 0) {
5022                         DPRINT(("resuming monitoring\n"));
5023                         if (ctx->ctx_state == PFM_CTX_MASKED) pfm_restore_monitoring(current);
5024                 } else {
5025                         DPRINT(("stopping monitoring\n"));
5026                         //pfm_stop_monitoring(current, regs);
5027                 }
5028                 ctx->ctx_state = PFM_CTX_LOADED;
5029         }
5030 }
5031
5032 /*
5033  * context MUST BE LOCKED when calling
5034  * can only be called for current
5035  */
5036 static void
5037 pfm_context_force_terminate(pfm_context_t *ctx, struct pt_regs *regs)
5038 {
5039         int ret;
5040
5041         DPRINT(("entering for [%d]\n", current->pid));
5042
5043         ret = pfm_context_unload(ctx, NULL, 0, regs);
5044         if (ret) {
5045                 printk(KERN_ERR "pfm_context_force_terminate: [%d] unloaded failed with %d\n", current->pid, ret);
5046         }
5047
5048         /*
5049          * and wakeup controlling task, indicating we are now disconnected
5050          */
5051         wake_up_interruptible(&ctx->ctx_zombieq);
5052
5053         /*
5054          * given that context is still locked, the controlling
5055          * task will only get access when we return from
5056          * pfm_handle_work().
5057          */
5058 }
5059
5060 static int pfm_ovfl_notify_user(pfm_context_t *ctx, unsigned long ovfl_pmds);
5061  /*
5062   * pfm_handle_work() can be called with interrupts enabled
5063   * (TIF_NEED_RESCHED) or disabled. The down_interruptible
5064   * call may sleep, therefore we must re-enable interrupts
5065   * to avoid deadlocks. It is safe to do so because this function
5066   * is called ONLY when returning to user level (PUStk=1), in which case
5067   * there is no risk of kernel stack overflow due to deep
5068   * interrupt nesting.
5069   */
5070 void
5071 pfm_handle_work(void)
5072 {
5073         pfm_context_t *ctx;
5074         struct pt_regs *regs;
5075         unsigned long flags, dummy_flags;
5076         unsigned long ovfl_regs;
5077         unsigned int reason;
5078         int ret;
5079
5080         ctx = PFM_GET_CTX(current);
5081         if (ctx == NULL) {
5082                 printk(KERN_ERR "perfmon: [%d] has no PFM context\n", current->pid);
5083                 return;
5084         }
5085
5086         PROTECT_CTX(ctx, flags);
5087
5088         PFM_SET_WORK_PENDING(current, 0);
5089
5090         pfm_clear_task_notify();
5091
5092         regs = task_pt_regs(current);
5093
5094         /*
5095          * extract reason for being here and clear
5096          */
5097         reason = ctx->ctx_fl_trap_reason;
5098         ctx->ctx_fl_trap_reason = PFM_TRAP_REASON_NONE;
5099         ovfl_regs = ctx->ctx_ovfl_regs[0];
5100
5101         DPRINT(("reason=%d state=%d\n", reason, ctx->ctx_state));
5102
5103         /*
5104          * must be done before we check for simple-reset mode
5105          */
5106         if (ctx->ctx_fl_going_zombie || ctx->ctx_state == PFM_CTX_ZOMBIE) goto do_zombie;
5107
5108
5109         //if (CTX_OVFL_NOBLOCK(ctx)) goto skip_blocking;
5110         if (reason == PFM_TRAP_REASON_RESET) goto skip_blocking;
5111
5112         /*
5113          * restore interrupt mask to what it was on entry.
5114          * Could be enabled/diasbled.
5115          */
5116         UNPROTECT_CTX(ctx, flags);
5117
5118         /*
5119          * force interrupt enable because of down_interruptible()
5120          */
5121         local_irq_enable();
5122
5123         DPRINT(("before block sleeping\n"));
5124
5125         /*
5126          * may go through without blocking on SMP systems
5127          * if restart has been received already by the time we call down()
5128          */
5129         ret = wait_for_completion_interruptible(&ctx->ctx_restart_done);
5130
5131         DPRINT(("after block sleeping ret=%d\n", ret));
5132
5133         /*
5134          * lock context and mask interrupts again
5135          * We save flags into a dummy because we may have
5136          * altered interrupts mask compared to entry in this
5137          * function.
5138          */
5139         PROTECT_CTX(ctx, dummy_flags);
5140
5141         /*
5142          * we need to read the ovfl_regs only after wake-up
5143          * because we may have had pfm_write_pmds() in between
5144          * and that can changed PMD values and therefore
5145          * ovfl_regs is reset for these new PMD values.
5146          */
5147         ovfl_regs = ctx->ctx_ovfl_regs[0];
5148
5149         if (ctx->ctx_fl_going_zombie) {
5150 do_zombie:
5151                 DPRINT(("context is zombie, bailing out\n"));
5152                 pfm_context_force_terminate(ctx, regs);
5153                 goto nothing_to_do;
5154         }
5155         /*
5156          * in case of interruption of down() we don't restart anything
5157          */
5158         if (ret < 0) goto nothing_to_do;
5159
5160 skip_blocking:
5161         pfm_resume_after_ovfl(ctx, ovfl_regs, regs);
5162         ctx->ctx_ovfl_regs[0] = 0UL;
5163
5164 nothing_to_do:
5165         /*
5166          * restore flags as they were upon entry
5167          */
5168         UNPROTECT_CTX(ctx, flags);
5169 }
5170
5171 static int
5172 pfm_notify_user(pfm_context_t *ctx, pfm_msg_t *msg)
5173 {
5174         if (ctx->ctx_state == PFM_CTX_ZOMBIE) {
5175                 DPRINT(("ignoring overflow notification, owner is zombie\n"));
5176                 return 0;
5177         }
5178
5179         DPRINT(("waking up somebody\n"));
5180
5181         if (msg) wake_up_interruptible(&ctx->ctx_msgq_wait);
5182
5183         /*
5184          * safe, we are not in intr handler, nor in ctxsw when
5185          * we come here
5186          */
5187         kill_fasync (&ctx->ctx_async_queue, SIGIO, POLL_IN);
5188
5189         return 0;
5190 }
5191
5192 static int
5193 pfm_ovfl_notify_user(pfm_context_t *ctx, unsigned long ovfl_pmds)
5194 {
5195         pfm_msg_t *msg = NULL;
5196
5197         if (ctx->ctx_fl_no_msg == 0) {
5198                 msg = pfm_get_new_msg(ctx);
5199                 if (msg == NULL) {
5200                         printk(KERN_ERR "perfmon: pfm_ovfl_notify_user no more notification msgs\n");
5201                         return -1;
5202                 }
5203
5204                 msg->pfm_ovfl_msg.msg_type         = PFM_MSG_OVFL;
5205                 msg->pfm_ovfl_msg.msg_ctx_fd       = ctx->ctx_fd;
5206                 msg->pfm_ovfl_msg.msg_active_set   = 0;
5207                 msg->pfm_ovfl_msg.msg_ovfl_pmds[0] = ovfl_pmds;
5208                 msg->pfm_ovfl_msg.msg_ovfl_pmds[1] = 0UL;
5209                 msg->pfm_ovfl_msg.msg_ovfl_pmds[2] = 0UL;
5210                 msg->pfm_ovfl_msg.msg_ovfl_pmds[3] = 0UL;
5211                 msg->pfm_ovfl_msg.msg_tstamp       = 0UL;
5212         }
5213
5214         DPRINT(("ovfl msg: msg=%p no_msg=%d fd=%d ovfl_pmds=0x%lx\n",
5215                 msg,
5216                 ctx->ctx_fl_no_msg,
5217                 ctx->ctx_fd,
5218                 ovfl_pmds));
5219
5220         return pfm_notify_user(ctx, msg);
5221 }
5222
5223 static int
5224 pfm_end_notify_user(pfm_context_t *ctx)
5225 {
5226         pfm_msg_t *msg;
5227
5228         msg = pfm_get_new_msg(ctx);
5229         if (msg == NULL) {
5230                 printk(KERN_ERR "perfmon: pfm_end_notify_user no more notification msgs\n");
5231                 return -1;
5232         }
5233         /* no leak */
5234         memset(msg, 0, sizeof(*msg));
5235
5236         msg->pfm_end_msg.msg_type    = PFM_MSG_END;
5237         msg->pfm_end_msg.msg_ctx_fd  = ctx->ctx_fd;
5238         msg->pfm_ovfl_msg.msg_tstamp = 0UL;
5239
5240         DPRINT(("end msg: msg=%p no_msg=%d ctx_fd=%d\n",
5241                 msg,
5242                 ctx->ctx_fl_no_msg,
5243                 ctx->ctx_fd));
5244
5245         return pfm_notify_user(ctx, msg);
5246 }
5247
5248 /*
5249  * main overflow processing routine.
5250  * it can be called from the interrupt path or explicitely during the context switch code
5251  */
5252 static void
5253 pfm_overflow_handler(struct task_struct *task, pfm_context_t *ctx, u64 pmc0, struct pt_regs *regs)
5254 {
5255         pfm_ovfl_arg_t *ovfl_arg;
5256         unsigned long mask;
5257         unsigned long old_val, ovfl_val, new_val;
5258         unsigned long ovfl_notify = 0UL, ovfl_pmds = 0UL, smpl_pmds = 0UL, reset_pmds;
5259         unsigned long tstamp;
5260         pfm_ovfl_ctrl_t ovfl_ctrl;
5261         unsigned int i, has_smpl;
5262         int must_notify = 0;
5263
5264         if (unlikely(ctx->ctx_state == PFM_CTX_ZOMBIE)) goto stop_monitoring;
5265
5266         /*
5267          * sanity test. Should never happen
5268          */
5269         if (unlikely((pmc0 & 0x1) == 0)) goto sanity_check;
5270
5271         tstamp   = ia64_get_itc();
5272         mask     = pmc0 >> PMU_FIRST_COUNTER;
5273         ovfl_val = pmu_conf->ovfl_val;
5274         has_smpl = CTX_HAS_SMPL(ctx);
5275
5276         DPRINT_ovfl(("pmc0=0x%lx pid=%d iip=0x%lx, %s "
5277                      "used_pmds=0x%lx\n",
5278                         pmc0,
5279                         task ? task->pid: -1,
5280                         (regs ? regs->cr_iip : 0),
5281                         CTX_OVFL_NOBLOCK(ctx) ? "nonblocking" : "blocking",
5282                         ctx->ctx_used_pmds[0]));
5283
5284
5285         /*
5286          * first we update the virtual counters
5287          * assume there was a prior ia64_srlz_d() issued
5288          */
5289         for (i = PMU_FIRST_COUNTER; mask ; i++, mask >>= 1) {
5290
5291                 /* skip pmd which did not overflow */
5292                 if ((mask & 0x1) == 0) continue;
5293
5294                 /*
5295                  * Note that the pmd is not necessarily 0 at this point as qualified events
5296                  * may have happened before the PMU was frozen. The residual count is not
5297                  * taken into consideration here but will be with any read of the pmd via
5298                  * pfm_read_pmds().
5299                  */
5300                 old_val              = new_val = ctx->ctx_pmds[i].val;
5301                 new_val             += 1 + ovfl_val;
5302                 ctx->ctx_pmds[i].val = new_val;
5303
5304                 /*
5305                  * check for overflow condition
5306                  */
5307                 if (likely(old_val > new_val)) {
5308                         ovfl_pmds |= 1UL << i;
5309                         if (PMC_OVFL_NOTIFY(ctx, i)) ovfl_notify |= 1UL << i;
5310                 }
5311
5312                 DPRINT_ovfl(("ctx_pmd[%d].val=0x%lx old_val=0x%lx pmd=0x%lx ovfl_pmds=0x%lx ovfl_notify=0x%lx\n",
5313                         i,
5314                         new_val,
5315                         old_val,
5316                         ia64_get_pmd(i) & ovfl_val,
5317                         ovfl_pmds,
5318                         ovfl_notify));
5319         }
5320
5321         /*
5322          * there was no 64-bit overflow, nothing else to do
5323          */
5324         if (ovfl_pmds == 0UL) return;
5325
5326         /*
5327          * reset all control bits
5328          */
5329         ovfl_ctrl.val = 0;
5330         reset_pmds    = 0UL;
5331
5332         /*
5333          * if a sampling format module exists, then we "cache" the overflow by
5334          * calling the module's handler() routine.
5335          */
5336         if (has_smpl) {
5337                 unsigned long start_cycles, end_cycles;
5338                 unsigned long pmd_mask;
5339                 int j, k, ret = 0;
5340                 int this_cpu = smp_processor_id();
5341
5342                 pmd_mask = ovfl_pmds >> PMU_FIRST_COUNTER;
5343                 ovfl_arg = &ctx->ctx_ovfl_arg;
5344
5345                 prefetch(ctx->ctx_smpl_hdr);
5346
5347                 for(i=PMU_FIRST_COUNTER; pmd_mask && ret == 0; i++, pmd_mask >>=1) {
5348
5349                         mask = 1UL << i;
5350
5351                         if ((pmd_mask & 0x1) == 0) continue;
5352
5353                         ovfl_arg->ovfl_pmd      = (unsigned char )i;
5354                         ovfl_arg->ovfl_notify   = ovfl_notify & mask ? 1 : 0;
5355                         ovfl_arg->active_set    = 0;
5356                         ovfl_arg->ovfl_ctrl.val = 0; /* module must fill in all fields */
5357                         ovfl_arg->smpl_pmds[0]  = smpl_pmds = ctx->ctx_pmds[i].smpl_pmds[0];
5358
5359                         ovfl_arg->pmd_value      = ctx->ctx_pmds[i].val;
5360                         ovfl_arg->pmd_last_reset = ctx->ctx_pmds[i].lval;
5361                         ovfl_arg->pmd_eventid    = ctx->ctx_pmds[i].eventid;
5362
5363                         /*
5364                          * copy values of pmds of interest. Sampling format may copy them
5365                          * into sampling buffer.
5366                          */
5367                         if (smpl_pmds) {
5368                                 for(j=0, k=0; smpl_pmds; j++, smpl_pmds >>=1) {
5369                                         if ((smpl_pmds & 0x1) == 0) continue;
5370                                         ovfl_arg->smpl_pmds_values[k++] = PMD_IS_COUNTING(j) ?  pfm_read_soft_counter(ctx, j) : ia64_get_pmd(j);
5371                                         DPRINT_ovfl(("smpl_pmd[%d]=pmd%u=0x%lx\n", k-1, j, ovfl_arg->smpl_pmds_values[k-1]));
5372                                 }
5373                         }
5374
5375                         pfm_stats[this_cpu].pfm_smpl_handler_calls++;
5376
5377                         start_cycles = ia64_get_itc();
5378
5379                         /*
5380                          * call custom buffer format record (handler) routine
5381                          */
5382                         ret = (*ctx->ctx_buf_fmt->fmt_handler)(task, ctx->ctx_smpl_hdr, ovfl_arg, regs, tstamp);
5383
5384                         end_cycles = ia64_get_itc();
5385
5386                         /*
5387                          * For those controls, we take the union because they have
5388                          * an all or nothing behavior.
5389                          */
5390                         ovfl_ctrl.bits.notify_user     |= ovfl_arg->ovfl_ctrl.bits.notify_user;
5391                         ovfl_ctrl.bits.block_task      |= ovfl_arg->ovfl_ctrl.bits.block_task;
5392                         ovfl_ctrl.bits.mask_monitoring |= ovfl_arg->ovfl_ctrl.bits.mask_monitoring;
5393                         /*
5394                          * build the bitmask of pmds to reset now
5395                          */
5396                         if (ovfl_arg->ovfl_ctrl.bits.reset_ovfl_pmds) reset_pmds |= mask;
5397
5398                         pfm_stats[this_cpu].pfm_smpl_handler_cycles += end_cycles - start_cycles;
5399                 }
5400                 /*
5401                  * when the module cannot handle the rest of the overflows, we abort right here
5402                  */
5403                 if (ret && pmd_mask) {
5404                         DPRINT(("handler aborts leftover ovfl_pmds=0x%lx\n",
5405                                 pmd_mask<<PMU_FIRST_COUNTER));
5406                 }
5407                 /*
5408                  * remove the pmds we reset now from the set of pmds to reset in pfm_restart()
5409                  */
5410                 ovfl_pmds &= ~reset_pmds;
5411         } else {
5412                 /*
5413                  * when no sampling module is used, then the default
5414                  * is to notify on overflow if requested by user
5415                  */
5416                 ovfl_ctrl.bits.notify_user     = ovfl_notify ? 1 : 0;
5417                 ovfl_ctrl.bits.block_task      = ovfl_notify ? 1 : 0;
5418                 ovfl_ctrl.bits.mask_monitoring = ovfl_notify ? 1 : 0; /* XXX: change for saturation */
5419                 ovfl_ctrl.bits.reset_ovfl_pmds = ovfl_notify ? 0 : 1;
5420                 /*
5421                  * if needed, we reset all overflowed pmds
5422                  */
5423                 if (ovfl_notify == 0) reset_pmds = ovfl_pmds;
5424         }
5425
5426         DPRINT_ovfl(("ovfl_pmds=0x%lx reset_pmds=0x%lx\n", ovfl_pmds, reset_pmds));
5427
5428         /*
5429          * reset the requested PMD registers using the short reset values
5430          */
5431         if (reset_pmds) {
5432                 unsigned long bm = reset_pmds;
5433                 pfm_reset_regs(ctx, &bm, PFM_PMD_SHORT_RESET);
5434         }
5435
5436         if (ovfl_notify && ovfl_ctrl.bits.notify_user) {
5437                 /*
5438                  * keep track of what to reset when unblocking
5439                  */
5440                 ctx->ctx_ovfl_regs[0] = ovfl_pmds;
5441
5442                 /*
5443                  * check for blocking context
5444                  */
5445                 if (CTX_OVFL_NOBLOCK(ctx) == 0 && ovfl_ctrl.bits.block_task) {
5446
5447                         ctx->ctx_fl_trap_reason = PFM_TRAP_REASON_BLOCK;
5448
5449                         /*
5450                          * set the perfmon specific checking pending work for the task
5451                          */
5452                         PFM_SET_WORK_PENDING(task, 1);
5453
5454                         /*
5455                          * when coming from ctxsw, current still points to the
5456                          * previous task, therefore we must work with task and not current.
5457                          */
5458                         pfm_set_task_notify(task);
5459                 }
5460                 /*
5461                  * defer until state is changed (shorten spin window). the context is locked
5462                  * anyway, so the signal receiver would come spin for nothing.
5463                  */
5464                 must_notify = 1;
5465         }
5466
5467         DPRINT_ovfl(("owner [%d] pending=%ld reason=%u ovfl_pmds=0x%lx ovfl_notify=0x%lx masked=%d\n",
5468                         GET_PMU_OWNER() ? GET_PMU_OWNER()->pid : -1,
5469                         PFM_GET_WORK_PENDING(task),
5470                         ctx->ctx_fl_trap_reason,
5471                         ovfl_pmds,
5472                         ovfl_notify,
5473                         ovfl_ctrl.bits.mask_monitoring ? 1 : 0));
5474         /*
5475          * in case monitoring must be stopped, we toggle the psr bits
5476          */
5477         if (ovfl_ctrl.bits.mask_monitoring) {
5478                 pfm_mask_monitoring(task);
5479                 ctx->ctx_state = PFM_CTX_MASKED;
5480                 ctx->ctx_fl_can_restart = 1;
5481         }
5482
5483         /*
5484          * send notification now
5485          */
5486         if (must_notify) pfm_ovfl_notify_user(ctx, ovfl_notify);
5487
5488         return;
5489
5490 sanity_check:
5491         printk(KERN_ERR "perfmon: CPU%d overflow handler [%d] pmc0=0x%lx\n",
5492                         smp_processor_id(),
5493                         task ? task->pid : -1,
5494                         pmc0);
5495         return;
5496
5497 stop_monitoring:
5498         /*
5499          * in SMP, zombie context is never restored but reclaimed in pfm_load_regs().
5500          * Moreover, zombies are also reclaimed in pfm_save_regs(). Therefore we can
5501          * come here as zombie only if the task is the current task. In which case, we
5502          * can access the PMU  hardware directly.
5503          *
5504          * Note that zombies do have PM_VALID set. So here we do the minimal.
5505          *
5506          * In case the context was zombified it could not be reclaimed at the time
5507          * the monitoring program exited. At this point, the PMU reservation has been
5508          * returned, the sampiing buffer has been freed. We must convert this call
5509          * into a spurious interrupt. However, we must also avoid infinite overflows
5510          * by stopping monitoring for this task. We can only come here for a per-task
5511          * context. All we need to do is to stop monitoring using the psr bits which
5512          * are always task private. By re-enabling secure montioring, we ensure that
5513          * the monitored task will not be able to re-activate monitoring.
5514          * The task will eventually be context switched out, at which point the context
5515          * will be reclaimed (that includes releasing ownership of the PMU).
5516          *
5517          * So there might be a window of time where the number of per-task session is zero
5518          * yet one PMU might have a owner and get at most one overflow interrupt for a zombie
5519          * context. This is safe because if a per-task session comes in, it will push this one
5520          * out and by the virtue on pfm_save_regs(), this one will disappear. If a system wide
5521          * session is force on that CPU, given that we use task pinning, pfm_save_regs() will
5522          * also push our zombie context out.
5523          *
5524          * Overall pretty hairy stuff....
5525          */
5526         DPRINT(("ctx is zombie for [%d], converted to spurious\n", task ? task->pid: -1));
5527         pfm_clear_psr_up();
5528         ia64_psr(regs)->up = 0;
5529         ia64_psr(regs)->sp = 1;
5530         return;
5531 }
5532
5533 static int
5534 pfm_do_interrupt_handler(int irq, void *arg, struct pt_regs *regs)
5535 {
5536         struct task_struct *task;
5537         pfm_context_t *ctx;
5538         unsigned long flags;
5539         u64 pmc0;
5540         int this_cpu = smp_processor_id();
5541         int retval = 0;
5542
5543         pfm_stats[this_cpu].pfm_ovfl_intr_count++;
5544
5545         /*
5546          * srlz.d done before arriving here
5547          */
5548         pmc0 = ia64_get_pmc(0);
5549
5550         task = GET_PMU_OWNER();
5551         ctx  = GET_PMU_CTX();
5552
5553         /*
5554          * if we have some pending bits set
5555          * assumes : if any PMC0.bit[63-1] is set, then PMC0.fr = 1
5556          */
5557         if (PMC0_HAS_OVFL(pmc0) && task) {
5558                 /*
5559                  * we assume that pmc0.fr is always set here
5560                  */
5561
5562                 /* sanity check */
5563                 if (!ctx) goto report_spurious1;
5564
5565                 if (ctx->ctx_fl_system == 0 && (task->thread.flags & IA64_THREAD_PM_VALID) == 0)
5566                         goto report_spurious2;
5567
5568                 PROTECT_CTX_NOPRINT(ctx, flags);
5569
5570                 pfm_overflow_handler(task, ctx, pmc0, regs);
5571
5572                 UNPROTECT_CTX_NOPRINT(ctx, flags);
5573
5574         } else {
5575                 pfm_stats[this_cpu].pfm_spurious_ovfl_intr_count++;
5576                 retval = -1;
5577         }
5578         /*
5579          * keep it unfrozen at all times
5580          */
5581         pfm_unfreeze_pmu();
5582
5583         return retval;
5584
5585 report_spurious1:
5586         printk(KERN_INFO "perfmon: spurious overflow interrupt on CPU%d: process %d has no PFM context\n",
5587                 this_cpu, task->pid);
5588         pfm_unfreeze_pmu();
5589         return -1;
5590 report_spurious2:
5591         printk(KERN_INFO "perfmon: spurious overflow interrupt on CPU%d: process %d, invalid flag\n",
5592                 this_cpu,
5593                 task->pid);
5594         pfm_unfreeze_pmu();
5595         return -1;
5596 }
5597
5598 static irqreturn_t
5599 pfm_interrupt_handler(int irq, void *arg)
5600 {
5601         unsigned long start_cycles, total_cycles;
5602         unsigned long min, max;
5603         int this_cpu;
5604         int ret;
5605         struct pt_regs *regs = get_irq_regs();
5606
5607         this_cpu = get_cpu();
5608         if (likely(!pfm_alt_intr_handler)) {
5609                 min = pfm_stats[this_cpu].pfm_ovfl_intr_cycles_min;
5610                 max = pfm_stats[this_cpu].pfm_ovfl_intr_cycles_max;
5611
5612                 start_cycles = ia64_get_itc();
5613
5614                 ret = pfm_do_interrupt_handler(irq, arg, regs);
5615
5616                 total_cycles = ia64_get_itc();
5617
5618                 /*
5619                  * don't measure spurious interrupts
5620                  */
5621                 if (likely(ret == 0)) {
5622                         total_cycles -= start_cycles;
5623
5624                         if (total_cycles < min) pfm_stats[this_cpu].pfm_ovfl_intr_cycles_min = total_cycles;
5625                         if (total_cycles > max) pfm_stats[this_cpu].pfm_ovfl_intr_cycles_max = total_cycles;
5626
5627                         pfm_stats[this_cpu].pfm_ovfl_intr_cycles += total_cycles;
5628                 }
5629         }
5630         else {
5631                 (*pfm_alt_intr_handler->handler)(irq, arg, regs);
5632         }
5633
5634         put_cpu_no_resched();
5635         return IRQ_HANDLED;
5636 }
5637
5638 /*
5639  * /proc/perfmon interface, for debug only
5640  */
5641
5642 #define PFM_PROC_SHOW_HEADER    ((void *)NR_CPUS+1)
5643
5644 static void *
5645 pfm_proc_start(struct seq_file *m, loff_t *pos)
5646 {
5647         if (*pos == 0) {
5648                 return PFM_PROC_SHOW_HEADER;
5649         }
5650
5651         while (*pos <= NR_CPUS) {
5652                 if (cpu_online(*pos - 1)) {
5653                         return (void *)*pos;
5654                 }
5655                 ++*pos;
5656         }
5657         return NULL;
5658 }
5659
5660 static void *
5661 pfm_proc_next(struct seq_file *m, void *v, loff_t *pos)
5662 {
5663         ++*pos;
5664         return pfm_proc_start(m, pos);
5665 }
5666
5667 static void
5668 pfm_proc_stop(struct seq_file *m, void *v)
5669 {
5670 }
5671
5672 static void
5673 pfm_proc_show_header(struct seq_file *m)
5674 {
5675         struct list_head * pos;
5676         pfm_buffer_fmt_t * entry;
5677         unsigned long flags;
5678
5679         seq_printf(m,
5680                 "perfmon version           : %u.%u\n"
5681                 "model                     : %s\n"
5682                 "fastctxsw                 : %s\n"
5683                 "expert mode               : %s\n"
5684                 "ovfl_mask                 : 0x%lx\n"
5685                 "PMU flags                 : 0x%x\n",
5686                 PFM_VERSION_MAJ, PFM_VERSION_MIN,
5687                 pmu_conf->pmu_name,
5688                 pfm_sysctl.fastctxsw > 0 ? "Yes": "No",
5689                 pfm_sysctl.expert_mode > 0 ? "Yes": "No",
5690                 pmu_conf->ovfl_val,
5691                 pmu_conf->flags);
5692
5693         LOCK_PFS(flags);
5694
5695         seq_printf(m,
5696                 "proc_sessions             : %u\n"
5697                 "sys_sessions              : %u\n"
5698                 "sys_use_dbregs            : %u\n"
5699                 "ptrace_use_dbregs         : %u\n",
5700                 pfm_sessions.pfs_task_sessions,
5701                 pfm_sessions.pfs_sys_sessions,
5702                 pfm_sessions.pfs_sys_use_dbregs,
5703                 pfm_sessions.pfs_ptrace_use_dbregs);
5704
5705         UNLOCK_PFS(flags);
5706
5707         spin_lock(&pfm_buffer_fmt_lock);
5708
5709         list_for_each(pos, &pfm_buffer_fmt_list) {
5710                 entry = list_entry(pos, pfm_buffer_fmt_t, fmt_list);
5711                 seq_printf(m, "format                    : %02x-%02x-%02x-%02x-%02x-%02x-%02x-%02x-%02x-%02x-%02x-%02x-%02x-%02x-%02x-%02x %s\n",
5712                         entry->fmt_uuid[0],
5713                         entry->fmt_uuid[1],
5714                         entry->fmt_uuid[2],
5715                         entry->fmt_uuid[3],
5716                         entry->fmt_uuid[4],
5717                         entry->fmt_uuid[5],
5718                         entry->fmt_uuid[6],
5719                         entry->fmt_uuid[7],
5720                         entry->fmt_uuid[8],
5721                         entry->fmt_uuid[9],
5722                         entry->fmt_uuid[10],
5723                         entry->fmt_uuid[11],
5724                         entry->fmt_uuid[12],
5725                         entry->fmt_uuid[13],
5726                         entry->fmt_uuid[14],
5727                         entry->fmt_uuid[15],
5728                         entry->fmt_name);
5729         }
5730         spin_unlock(&pfm_buffer_fmt_lock);
5731
5732 }
5733
5734 static int
5735 pfm_proc_show(struct seq_file *m, void *v)
5736 {
5737         unsigned long psr;
5738         unsigned int i;
5739         int cpu;
5740
5741         if (v == PFM_PROC_SHOW_HEADER) {
5742                 pfm_proc_show_header(m);
5743                 return 0;
5744         }
5745
5746         /* show info for CPU (v - 1) */
5747
5748         cpu = (long)v - 1;
5749         seq_printf(m,
5750                 "CPU%-2d overflow intrs      : %lu\n"
5751                 "CPU%-2d overflow cycles     : %lu\n"
5752                 "CPU%-2d overflow min        : %lu\n"
5753                 "CPU%-2d overflow max        : %lu\n"
5754                 "CPU%-2d smpl handler calls  : %lu\n"
5755                 "CPU%-2d smpl handler cycles : %lu\n"
5756                 "CPU%-2d spurious intrs      : %lu\n"
5757                 "CPU%-2d replay   intrs      : %lu\n"
5758                 "CPU%-2d syst_wide           : %d\n"
5759                 "CPU%-2d dcr_pp              : %d\n"
5760                 "CPU%-2d exclude idle        : %d\n"
5761                 "CPU%-2d owner               : %d\n"
5762                 "CPU%-2d context             : %p\n"
5763                 "CPU%-2d activations         : %lu\n",
5764                 cpu, pfm_stats[cpu].pfm_ovfl_intr_count,
5765                 cpu, pfm_stats[cpu].pfm_ovfl_intr_cycles,
5766                 cpu, pfm_stats[cpu].pfm_ovfl_intr_cycles_min,
5767                 cpu, pfm_stats[cpu].pfm_ovfl_intr_cycles_max,
5768                 cpu, pfm_stats[cpu].pfm_smpl_handler_calls,
5769                 cpu, pfm_stats[cpu].pfm_smpl_handler_cycles,
5770                 cpu, pfm_stats[cpu].pfm_spurious_ovfl_intr_count,
5771                 cpu, pfm_stats[cpu].pfm_replay_ovfl_intr_count,
5772                 cpu, pfm_get_cpu_data(pfm_syst_info, cpu) & PFM_CPUINFO_SYST_WIDE ? 1 : 0,
5773                 cpu, pfm_get_cpu_data(pfm_syst_info, cpu) & PFM_CPUINFO_DCR_PP ? 1 : 0,
5774                 cpu, pfm_get_cpu_data(pfm_syst_info, cpu) & PFM_CPUINFO_EXCL_IDLE ? 1 : 0,
5775                 cpu, pfm_get_cpu_data(pmu_owner, cpu) ? pfm_get_cpu_data(pmu_owner, cpu)->pid: -1,
5776                 cpu, pfm_get_cpu_data(pmu_ctx, cpu),
5777                 cpu, pfm_get_cpu_data(pmu_activation_number, cpu));
5778
5779         if (num_online_cpus() == 1 && pfm_sysctl.debug > 0) {
5780
5781                 psr = pfm_get_psr();
5782
5783                 ia64_srlz_d();
5784
5785                 seq_printf(m,
5786                         "CPU%-2d psr                 : 0x%lx\n"
5787                         "CPU%-2d pmc0                : 0x%lx\n",
5788                         cpu, psr,
5789                         cpu, ia64_get_pmc(0));
5790
5791                 for (i=0; PMC_IS_LAST(i) == 0;  i++) {
5792                         if (PMC_IS_COUNTING(i) == 0) continue;
5793                         seq_printf(m,
5794                                 "CPU%-2d pmc%u                : 0x%lx\n"
5795                                 "CPU%-2d pmd%u                : 0x%lx\n",
5796                                 cpu, i, ia64_get_pmc(i),
5797                                 cpu, i, ia64_get_pmd(i));
5798                 }
5799         }
5800         return 0;
5801 }
5802
5803 struct seq_operations pfm_seq_ops = {
5804         .start =        pfm_proc_start,
5805         .next =         pfm_proc_next,
5806         .stop =         pfm_proc_stop,
5807         .show =         pfm_proc_show
5808 };
5809
5810 static int
5811 pfm_proc_open(struct inode *inode, struct file *file)
5812 {
5813         return seq_open(file, &pfm_seq_ops);
5814 }
5815
5816
5817 /*
5818  * we come here as soon as local_cpu_data->pfm_syst_wide is set. this happens
5819  * during pfm_enable() hence before pfm_start(). We cannot assume monitoring
5820  * is active or inactive based on mode. We must rely on the value in
5821  * local_cpu_data->pfm_syst_info
5822  */
5823 void
5824 pfm_syst_wide_update_task(struct task_struct *task, unsigned long info, int is_ctxswin)
5825 {
5826         struct pt_regs *regs;
5827         unsigned long dcr;
5828         unsigned long dcr_pp;
5829
5830         dcr_pp = info & PFM_CPUINFO_DCR_PP ? 1 : 0;
5831
5832         /*
5833          * pid 0 is guaranteed to be the idle task. There is one such task with pid 0
5834          * on every CPU, so we can rely on the pid to identify the idle task.
5835          */
5836         if ((info & PFM_CPUINFO_EXCL_IDLE) == 0 || task->pid) {
5837                 regs = task_pt_regs(task);
5838                 ia64_psr(regs)->pp = is_ctxswin ? dcr_pp : 0;
5839                 return;
5840         }
5841         /*
5842          * if monitoring has started
5843          */
5844         if (dcr_pp) {
5845                 dcr = ia64_getreg(_IA64_REG_CR_DCR);
5846                 /*
5847                  * context switching in?
5848                  */
5849                 if (is_ctxswin) {
5850                         /* mask monitoring for the idle task */
5851                         ia64_setreg(_IA64_REG_CR_DCR, dcr & ~IA64_DCR_PP);
5852                         pfm_clear_psr_pp();
5853                         ia64_srlz_i();
5854                         return;
5855                 }
5856                 /*
5857                  * context switching out
5858                  * restore monitoring for next task
5859                  *
5860                  * Due to inlining this odd if-then-else construction generates
5861                  * better code.
5862                  */
5863                 ia64_setreg(_IA64_REG_CR_DCR, dcr |IA64_DCR_PP);
5864                 pfm_set_psr_pp();
5865                 ia64_srlz_i();
5866         }
5867 }
5868
5869 #ifdef CONFIG_SMP
5870
5871 static void
5872 pfm_force_cleanup(pfm_context_t *ctx, struct pt_regs *regs)
5873 {
5874         struct task_struct *task = ctx->ctx_task;
5875
5876         ia64_psr(regs)->up = 0;
5877         ia64_psr(regs)->sp = 1;
5878
5879         if (GET_PMU_OWNER() == task) {
5880                 DPRINT(("cleared ownership for [%d]\n", ctx->ctx_task->pid));
5881                 SET_PMU_OWNER(NULL, NULL);
5882         }
5883
5884         /*
5885          * disconnect the task from the context and vice-versa
5886          */
5887         PFM_SET_WORK_PENDING(task, 0);
5888
5889         task->thread.pfm_context  = NULL;
5890         task->thread.flags       &= ~IA64_THREAD_PM_VALID;
5891
5892         DPRINT(("force cleanup for [%d]\n",  task->pid));
5893 }
5894
5895
5896 /*
5897  * in 2.6, interrupts are masked when we come here and the runqueue lock is held
5898  */
5899 void
5900 pfm_save_regs(struct task_struct *task)
5901 {
5902         pfm_context_t *ctx;
5903         unsigned long flags;
5904         u64 psr;
5905
5906
5907         ctx = PFM_GET_CTX(task);
5908         if (ctx == NULL) return;
5909
5910         /*
5911          * we always come here with interrupts ALREADY disabled by
5912          * the scheduler. So we simply need to protect against concurrent
5913          * access, not CPU concurrency.
5914          */
5915         flags = pfm_protect_ctx_ctxsw(ctx);
5916
5917         if (ctx->ctx_state == PFM_CTX_ZOMBIE) {
5918                 struct pt_regs *regs = task_pt_regs(task);
5919
5920                 pfm_clear_psr_up();
5921
5922                 pfm_force_cleanup(ctx, regs);
5923
5924                 BUG_ON(ctx->ctx_smpl_hdr);
5925
5926                 pfm_unprotect_ctx_ctxsw(ctx, flags);
5927
5928                 pfm_context_free(ctx);
5929                 return;
5930         }
5931
5932         /*
5933          * save current PSR: needed because we modify it
5934          */
5935         ia64_srlz_d();
5936         psr = pfm_get_psr();
5937
5938         BUG_ON(psr & (IA64_PSR_I));
5939
5940         /*
5941          * stop monitoring:
5942          * This is the last instruction which may generate an overflow
5943          *
5944          * We do not need to set psr.sp because, it is irrelevant in kernel.
5945          * It will be restored from ipsr when going back to user level
5946          */
5947         pfm_clear_psr_up();
5948
5949         /*
5950          * keep a copy of psr.up (for reload)
5951          */
5952         ctx->ctx_saved_psr_up = psr & IA64_PSR_UP;
5953
5954         /*
5955          * release ownership of this PMU.
5956          * PM interrupts are masked, so nothing
5957          * can happen.
5958          */
5959         SET_PMU_OWNER(NULL, NULL);
5960
5961         /*
5962          * we systematically save the PMD as we have no
5963          * guarantee we will be schedule at that same
5964          * CPU again.
5965          */
5966         pfm_save_pmds(ctx->th_pmds, ctx->ctx_used_pmds[0]);
5967
5968         /*
5969          * save pmc0 ia64_srlz_d() done in pfm_save_pmds()
5970          * we will need it on the restore path to check
5971          * for pending overflow.
5972          */
5973         ctx->th_pmcs[0] = ia64_get_pmc(0);
5974
5975         /*
5976          * unfreeze PMU if had pending overflows
5977          */
5978         if (ctx->th_pmcs[0] & ~0x1UL) pfm_unfreeze_pmu();
5979
5980         /*
5981          * finally, allow context access.
5982          * interrupts will still be masked after this call.
5983          */
5984         pfm_unprotect_ctx_ctxsw(ctx, flags);
5985 }
5986
5987 #else /* !CONFIG_SMP */
5988 void
5989 pfm_save_regs(struct task_struct *task)
5990 {
5991         pfm_context_t *ctx;
5992         u64 psr;
5993
5994         ctx = PFM_GET_CTX(task);
5995         if (ctx == NULL) return;
5996
5997         /*
5998          * save current PSR: needed because we modify it
5999          */
6000         psr = pfm_get_psr();
6001
6002         BUG_ON(psr & (IA64_PSR_I));
6003
6004         /*
6005          * stop monitoring:
6006          * This is the last instruction which may generate an overflow
6007          *
6008          * We do not need to set psr.sp because, it is irrelevant in kernel.
6009          * It will be restored from ipsr when going back to user level
6010          */
6011         pfm_clear_psr_up();
6012
6013         /*
6014          * keep a copy of psr.up (for reload)
6015          */
6016         ctx->ctx_saved_psr_up = psr & IA64_PSR_UP;
6017 }
6018
6019 static void
6020 pfm_lazy_save_regs (struct task_struct *task)
6021 {
6022         pfm_context_t *ctx;
6023         unsigned long flags;
6024
6025         { u64 psr  = pfm_get_psr();
6026           BUG_ON(psr & IA64_PSR_UP);
6027         }
6028
6029         ctx = PFM_GET_CTX(task);
6030
6031         /*
6032          * we need to mask PMU overflow here to
6033          * make sure that we maintain pmc0 until
6034          * we save it. overflow interrupts are
6035          * treated as spurious if there is no
6036          * owner.
6037          *
6038          * XXX: I don't think this is necessary
6039          */
6040         PROTECT_CTX(ctx,flags);
6041
6042         /*
6043          * release ownership of this PMU.
6044          * must be done before we save the registers.
6045          *
6046          * after this call any PMU interrupt is treated
6047          * as spurious.
6048          */
6049         SET_PMU_OWNER(NULL, NULL);
6050
6051         /*
6052          * save all the pmds we use
6053          */
6054         pfm_save_pmds(ctx->th_pmds, ctx->ctx_used_pmds[0]);
6055
6056         /*
6057          * save pmc0 ia64_srlz_d() done in pfm_save_pmds()
6058          * it is needed to check for pended overflow
6059          * on the restore path
6060          */
6061         ctx->th_pmcs[0] = ia64_get_pmc(0);
6062
6063         /*
6064          * unfreeze PMU if had pending overflows
6065          */
6066         if (ctx->th_pmcs[0] & ~0x1UL) pfm_unfreeze_pmu();
6067
6068         /*
6069          * now get can unmask PMU interrupts, they will
6070          * be treated as purely spurious and we will not
6071          * lose any information
6072          */
6073         UNPROTECT_CTX(ctx,flags);
6074 }
6075 #endif /* CONFIG_SMP */
6076
6077 #ifdef CONFIG_SMP
6078 /*
6079  * in 2.6, interrupts are masked when we come here and the runqueue lock is held
6080  */
6081 void
6082 pfm_load_regs (struct task_struct *task)
6083 {
6084         pfm_context_t *ctx;
6085         unsigned long pmc_mask = 0UL, pmd_mask = 0UL;
6086         unsigned long flags;
6087         u64 psr, psr_up;
6088         int need_irq_resend;
6089
6090         ctx = PFM_GET_CTX(task);
6091         if (unlikely(ctx == NULL)) return;
6092
6093         BUG_ON(GET_PMU_OWNER());
6094
6095         /*
6096          * possible on unload
6097          */
6098         if (unlikely((task->thread.flags & IA64_THREAD_PM_VALID) == 0)) return;
6099
6100         /*
6101          * we always come here with interrupts ALREADY disabled by
6102          * the scheduler. So we simply need to protect against concurrent
6103          * access, not CPU concurrency.
6104          */
6105         flags = pfm_protect_ctx_ctxsw(ctx);
6106         psr   = pfm_get_psr();
6107
6108         need_irq_resend = pmu_conf->flags & PFM_PMU_IRQ_RESEND;
6109
6110         BUG_ON(psr & (IA64_PSR_UP|IA64_PSR_PP));
6111         BUG_ON(psr & IA64_PSR_I);
6112
6113         if (unlikely(ctx->ctx_state == PFM_CTX_ZOMBIE)) {
6114                 struct pt_regs *regs = task_pt_regs(task);
6115
6116                 BUG_ON(ctx->ctx_smpl_hdr);
6117
6118                 pfm_force_cleanup(ctx, regs);
6119
6120                 pfm_unprotect_ctx_ctxsw(ctx, flags);
6121
6122                 /*
6123                  * this one (kmalloc'ed) is fine with interrupts disabled
6124                  */
6125                 pfm_context_free(ctx);
6126
6127                 return;
6128         }
6129
6130         /*
6131          * we restore ALL the debug registers to avoid picking up
6132          * stale state.
6133          */
6134         if (ctx->ctx_fl_using_dbreg) {
6135                 pfm_restore_ibrs(ctx->ctx_ibrs, pmu_conf->num_ibrs);
6136                 pfm_restore_dbrs(ctx->ctx_dbrs, pmu_conf->num_dbrs);
6137         }
6138         /*
6139          * retrieve saved psr.up
6140          */
6141         psr_up = ctx->ctx_saved_psr_up;
6142
6143         /*
6144          * if we were the last user of the PMU on that CPU,
6145          * then nothing to do except restore psr
6146          */
6147         if (GET_LAST_CPU(ctx) == smp_processor_id() && ctx->ctx_last_activation == GET_ACTIVATION()) {
6148
6149                 /*
6150                  * retrieve partial reload masks (due to user modifications)
6151                  */
6152                 pmc_mask = ctx->ctx_reload_pmcs[0];
6153                 pmd_mask = ctx->ctx_reload_pmds[0];
6154
6155         } else {
6156                 /*
6157                  * To avoid leaking information to the user level when psr.sp=0,
6158                  * we must reload ALL implemented pmds (even the ones we don't use).
6159                  * In the kernel we only allow PFM_READ_PMDS on registers which
6160                  * we initialized or requested (sampling) so there is no risk there.
6161                  */
6162                 pmd_mask = pfm_sysctl.fastctxsw ?  ctx->ctx_used_pmds[0] : ctx->ctx_all_pmds[0];
6163
6164                 /*
6165                  * ALL accessible PMCs are systematically reloaded, unused registers
6166                  * get their default (from pfm_reset_pmu_state()) values to avoid picking
6167                  * up stale configuration.
6168                  *
6169                  * PMC0 is never in the mask. It is always restored separately.
6170                  */
6171                 pmc_mask = ctx->ctx_all_pmcs[0];
6172         }
6173         /*
6174          * when context is MASKED, we will restore PMC with plm=0
6175          * and PMD with stale information, but that's ok, nothing
6176          * will be captured.
6177          *
6178          * XXX: optimize here
6179          */
6180         if (pmd_mask) pfm_restore_pmds(ctx->th_pmds, pmd_mask);
6181         if (pmc_mask) pfm_restore_pmcs(ctx->th_pmcs, pmc_mask);
6182
6183         /*
6184          * check for pending overflow at the time the state
6185          * was saved.
6186          */
6187         if (unlikely(PMC0_HAS_OVFL(ctx->th_pmcs[0]))) {
6188                 /*
6189                  * reload pmc0 with the overflow information
6190                  * On McKinley PMU, this will trigger a PMU interrupt
6191                  */
6192                 ia64_set_pmc(0, ctx->th_pmcs[0]);
6193                 ia64_srlz_d();
6194                 ctx->th_pmcs[0] = 0UL;
6195
6196                 /*
6197                  * will replay the PMU interrupt
6198                  */
6199                 if (need_irq_resend) ia64_resend_irq(IA64_PERFMON_VECTOR);
6200
6201                 pfm_stats[smp_processor_id()].pfm_replay_ovfl_intr_count++;
6202         }
6203
6204         /*
6205          * we just did a reload, so we reset the partial reload fields
6206          */
6207         ctx->ctx_reload_pmcs[0] = 0UL;
6208         ctx->ctx_reload_pmds[0] = 0UL;
6209
6210         SET_LAST_CPU(ctx, smp_processor_id());
6211
6212         /*
6213          * dump activation value for this PMU
6214          */
6215         INC_ACTIVATION();
6216         /*
6217          * record current activation for this context
6218          */
6219         SET_ACTIVATION(ctx);
6220
6221         /*
6222          * establish new ownership.
6223          */
6224         SET_PMU_OWNER(task, ctx);
6225
6226         /*
6227          * restore the psr.up bit. measurement
6228          * is active again.
6229          * no PMU interrupt can happen at this point
6230          * because we still have interrupts disabled.
6231          */
6232         if (likely(psr_up)) pfm_set_psr_up();
6233
6234         /*
6235          * allow concurrent access to context
6236          */
6237         pfm_unprotect_ctx_ctxsw(ctx, flags);
6238 }
6239 #else /*  !CONFIG_SMP */
6240 /*
6241  * reload PMU state for UP kernels
6242  * in 2.5 we come here with interrupts disabled
6243  */
6244 void
6245 pfm_load_regs (struct task_struct *task)
6246 {
6247         pfm_context_t *ctx;
6248         struct task_struct *owner;
6249         unsigned long pmd_mask, pmc_mask;
6250         u64 psr, psr_up;
6251         int need_irq_resend;
6252
6253         owner = GET_PMU_OWNER();
6254         ctx   = PFM_GET_CTX(task);
6255         psr   = pfm_get_psr();
6256
6257         BUG_ON(psr & (IA64_PSR_UP|IA64_PSR_PP));
6258         BUG_ON(psr & IA64_PSR_I);
6259
6260         /*
6261          * we restore ALL the debug registers to avoid picking up
6262          * stale state.
6263          *
6264          * This must be done even when the task is still the owner
6265          * as the registers may have been modified via ptrace()
6266          * (not perfmon) by the previous task.
6267          */
6268         if (ctx->ctx_fl_using_dbreg) {
6269                 pfm_restore_ibrs(ctx->ctx_ibrs, pmu_conf->num_ibrs);
6270                 pfm_restore_dbrs(ctx->ctx_dbrs, pmu_conf->num_dbrs);
6271         }
6272
6273         /*
6274          * retrieved saved psr.up
6275          */
6276         psr_up = ctx->ctx_saved_psr_up;
6277         need_irq_resend = pmu_conf->flags & PFM_PMU_IRQ_RESEND;
6278
6279         /*
6280          * short path, our state is still there, just
6281          * need to restore psr and we go
6282          *
6283          * we do not touch either PMC nor PMD. the psr is not touched
6284          * by the overflow_handler. So we are safe w.r.t. to interrupt
6285          * concurrency even without interrupt masking.
6286          */
6287         if (likely(owner == task)) {
6288                 if (likely(psr_up)) pfm_set_psr_up();
6289                 return;
6290         }
6291
6292         /*
6293          * someone else is still using the PMU, first push it out and
6294          * then we'll be able to install our stuff !
6295          *
6296          * Upon return, there will be no owner for the current PMU
6297          */
6298         if (owner) pfm_lazy_save_regs(owner);
6299
6300         /*
6301          * To avoid leaking information to the user level when psr.sp=0,
6302          * we must reload ALL implemented pmds (even the ones we don't use).
6303          * In the kernel we only allow PFM_READ_PMDS on registers which
6304          * we initialized or requested (sampling) so there is no risk there.
6305          */
6306         pmd_mask = pfm_sysctl.fastctxsw ?  ctx->ctx_used_pmds[0] : ctx->ctx_all_pmds[0];
6307
6308         /*
6309          * ALL accessible PMCs are systematically reloaded, unused registers
6310          * get their default (from pfm_reset_pmu_state()) values to avoid picking
6311          * up stale configuration.
6312          *
6313          * PMC0 is never in the mask. It is always restored separately
6314          */
6315         pmc_mask = ctx->ctx_all_pmcs[0];
6316
6317         pfm_restore_pmds(ctx->th_pmds, pmd_mask);
6318         pfm_restore_pmcs(ctx->th_pmcs, pmc_mask);
6319
6320         /*
6321          * check for pending overflow at the time the state
6322          * was saved.
6323          */
6324         if (unlikely(PMC0_HAS_OVFL(ctx->th_pmcs[0]))) {
6325                 /*
6326                  * reload pmc0 with the overflow information
6327                  * On McKinley PMU, this will trigger a PMU interrupt
6328                  */
6329                 ia64_set_pmc(0, ctx->th_pmcs[0]);
6330                 ia64_srlz_d();
6331
6332                 ctx->th_pmcs[0] = 0UL;
6333
6334                 /*
6335                  * will replay the PMU interrupt
6336                  */
6337                 if (need_irq_resend) ia64_resend_irq(IA64_PERFMON_VECTOR);
6338
6339                 pfm_stats[smp_processor_id()].pfm_replay_ovfl_intr_count++;
6340         }
6341
6342         /*
6343          * establish new ownership.
6344          */
6345         SET_PMU_OWNER(task, ctx);
6346
6347         /*
6348          * restore the psr.up bit. measurement
6349          * is active again.
6350          * no PMU interrupt can happen at this point
6351          * because we still have interrupts disabled.
6352          */
6353         if (likely(psr_up)) pfm_set_psr_up();
6354 }
6355 #endif /* CONFIG_SMP */
6356
6357 /*
6358  * this function assumes monitoring is stopped
6359  */
6360 static void
6361 pfm_flush_pmds(struct task_struct *task, pfm_context_t *ctx)
6362 {
6363         u64 pmc0;
6364         unsigned long mask2, val, pmd_val, ovfl_val;
6365         int i, can_access_pmu = 0;
6366         int is_self;
6367
6368         /*
6369          * is the caller the task being monitored (or which initiated the
6370          * session for system wide measurements)
6371          */
6372         is_self = ctx->ctx_task == task ? 1 : 0;
6373
6374         /*
6375          * can access PMU is task is the owner of the PMU state on the current CPU
6376          * or if we are running on the CPU bound to the context in system-wide mode
6377          * (that is not necessarily the task the context is attached to in this mode).
6378          * In system-wide we always have can_access_pmu true because a task running on an
6379          * invalid processor is flagged earlier in the call stack (see pfm_stop).
6380          */
6381         can_access_pmu = (GET_PMU_OWNER() == task) || (ctx->ctx_fl_system && ctx->ctx_cpu == smp_processor_id());
6382         if (can_access_pmu) {
6383                 /*
6384                  * Mark the PMU as not owned
6385                  * This will cause the interrupt handler to do nothing in case an overflow
6386                  * interrupt was in-flight
6387                  * This also guarantees that pmc0 will contain the final state
6388                  * It virtually gives us full control on overflow processing from that point
6389                  * on.
6390                  */
6391                 SET_PMU_OWNER(NULL, NULL);
6392                 DPRINT(("releasing ownership\n"));
6393
6394                 /*
6395                  * read current overflow status:
6396                  *
6397                  * we are guaranteed to read the final stable state
6398                  */
6399                 ia64_srlz_d();
6400                 pmc0 = ia64_get_pmc(0); /* slow */
6401
6402                 /*
6403                  * reset freeze bit, overflow status information destroyed
6404                  */
6405                 pfm_unfreeze_pmu();
6406         } else {
6407                 pmc0 = ctx->th_pmcs[0];
6408                 /*
6409                  * clear whatever overflow status bits there were
6410                  */
6411                 ctx->th_pmcs[0] = 0;
6412         }
6413         ovfl_val = pmu_conf->ovfl_val;
6414         /*
6415          * we save all the used pmds
6416          * we take care of overflows for counting PMDs
6417          *
6418          * XXX: sampling situation is not taken into account here
6419          */
6420         mask2 = ctx->ctx_used_pmds[0];
6421
6422         DPRINT(("is_self=%d ovfl_val=0x%lx mask2=0x%lx\n", is_self, ovfl_val, mask2));
6423
6424         for (i = 0; mask2; i++, mask2>>=1) {
6425
6426                 /* skip non used pmds */
6427                 if ((mask2 & 0x1) == 0) continue;
6428
6429                 /*
6430                  * can access PMU always true in system wide mode
6431                  */
6432                 val = pmd_val = can_access_pmu ? ia64_get_pmd(i) : ctx->th_pmds[i];
6433
6434                 if (PMD_IS_COUNTING(i)) {
6435                         DPRINT(("[%d] pmd[%d] ctx_pmd=0x%lx hw_pmd=0x%lx\n",
6436                                 task->pid,
6437                                 i,
6438                                 ctx->ctx_pmds[i].val,
6439                                 val & ovfl_val));
6440
6441                         /*
6442                          * we rebuild the full 64 bit value of the counter
6443                          */
6444                         val = ctx->ctx_pmds[i].val + (val & ovfl_val);
6445
6446                         /*
6447                          * now everything is in ctx_pmds[] and we need
6448                          * to clear the saved context from save_regs() such that
6449                          * pfm_read_pmds() gets the correct value
6450                          */
6451                         pmd_val = 0UL;
6452
6453                         /*
6454                          * take care of overflow inline
6455                          */
6456                         if (pmc0 & (1UL << i)) {
6457                                 val += 1 + ovfl_val;
6458                                 DPRINT(("[%d] pmd[%d] overflowed\n", task->pid, i));
6459                         }
6460                 }
6461
6462                 DPRINT(("[%d] ctx_pmd[%d]=0x%lx  pmd_val=0x%lx\n", task->pid, i, val, pmd_val));
6463
6464                 if (is_self) ctx->th_pmds[i] = pmd_val;
6465
6466                 ctx->ctx_pmds[i].val = val;
6467         }
6468 }
6469
6470 static struct irqaction perfmon_irqaction = {
6471         .handler = pfm_interrupt_handler,
6472         .flags   = IRQF_DISABLED,
6473         .name    = "perfmon"
6474 };
6475
6476 static void
6477 pfm_alt_save_pmu_state(void *data)
6478 {
6479         struct pt_regs *regs;
6480
6481         regs = task_pt_regs(current);
6482
6483         DPRINT(("called\n"));
6484
6485         /*
6486          * should not be necessary but
6487          * let's take not risk
6488          */
6489         pfm_clear_psr_up();
6490         pfm_clear_psr_pp();
6491         ia64_psr(regs)->pp = 0;
6492
6493         /*
6494          * This call is required
6495          * May cause a spurious interrupt on some processors
6496          */
6497         pfm_freeze_pmu();
6498
6499         ia64_srlz_d();
6500 }
6501
6502 void
6503 pfm_alt_restore_pmu_state(void *data)
6504 {
6505         struct pt_regs *regs;
6506
6507         regs = task_pt_regs(current);
6508
6509         DPRINT(("called\n"));
6510
6511         /*
6512          * put PMU back in state expected
6513          * by perfmon
6514          */
6515         pfm_clear_psr_up();
6516         pfm_clear_psr_pp();
6517         ia64_psr(regs)->pp = 0;
6518
6519         /*
6520          * perfmon runs with PMU unfrozen at all times
6521          */
6522         pfm_unfreeze_pmu();
6523
6524         ia64_srlz_d();
6525 }
6526
6527 int
6528 pfm_install_alt_pmu_interrupt(pfm_intr_handler_desc_t *hdl)
6529 {
6530         int ret, i;
6531         int reserve_cpu;
6532
6533         /* some sanity checks */
6534         if (hdl == NULL || hdl->handler == NULL) return -EINVAL;
6535
6536         /* do the easy test first */
6537         if (pfm_alt_intr_handler) return -EBUSY;
6538
6539         /* one at a time in the install or remove, just fail the others */
6540         if (!spin_trylock(&pfm_alt_install_check)) {
6541                 return -EBUSY;
6542         }
6543
6544         /* reserve our session */
6545         for_each_online_cpu(reserve_cpu) {
6546                 ret = pfm_reserve_session(NULL, 1, reserve_cpu);
6547                 if (ret) goto cleanup_reserve;
6548         }
6549
6550         /* save the current system wide pmu states */
6551         ret = on_each_cpu(pfm_alt_save_pmu_state, NULL, 0, 1);
6552         if (ret) {
6553                 DPRINT(("on_each_cpu() failed: %d\n", ret));
6554                 goto cleanup_reserve;
6555         }
6556
6557         /* officially change to the alternate interrupt handler */
6558         pfm_alt_intr_handler = hdl;
6559
6560         spin_unlock(&pfm_alt_install_check);
6561
6562         return 0;
6563
6564 cleanup_reserve:
6565         for_each_online_cpu(i) {
6566                 /* don't unreserve more than we reserved */
6567                 if (i >= reserve_cpu) break;
6568
6569                 pfm_unreserve_session(NULL, 1, i);
6570         }
6571
6572         spin_unlock(&pfm_alt_install_check);
6573
6574         return ret;
6575 }
6576 EXPORT_SYMBOL_GPL(pfm_install_alt_pmu_interrupt);
6577
6578 int
6579 pfm_remove_alt_pmu_interrupt(pfm_intr_handler_desc_t *hdl)
6580 {
6581         int i;
6582         int ret;
6583
6584         if (hdl == NULL) return -EINVAL;
6585
6586         /* cannot remove someone else's handler! */
6587         if (pfm_alt_intr_handler != hdl) return -EINVAL;
6588
6589         /* one at a time in the install or remove, just fail the others */
6590         if (!spin_trylock(&pfm_alt_install_check)) {
6591                 return -EBUSY;
6592         }
6593
6594         pfm_alt_intr_handler = NULL;
6595
6596         ret = on_each_cpu(pfm_alt_restore_pmu_state, NULL, 0, 1);
6597         if (ret) {
6598                 DPRINT(("on_each_cpu() failed: %d\n", ret));
6599         }
6600
6601         for_each_online_cpu(i) {
6602                 pfm_unreserve_session(NULL, 1, i);
6603         }
6604
6605         spin_unlock(&pfm_alt_install_check);
6606
6607         return 0;
6608 }
6609 EXPORT_SYMBOL_GPL(pfm_remove_alt_pmu_interrupt);
6610
6611 /*
6612  * perfmon initialization routine, called from the initcall() table
6613  */
6614 static int init_pfm_fs(void);
6615
6616 static int __init
6617 pfm_probe_pmu(void)
6618 {
6619         pmu_config_t **p;
6620         int family;
6621
6622         family = local_cpu_data->family;
6623         p      = pmu_confs;
6624
6625         while(*p) {
6626                 if ((*p)->probe) {
6627                         if ((*p)->probe() == 0) goto found;
6628                 } else if ((*p)->pmu_family == family || (*p)->pmu_family == 0xff) {
6629                         goto found;
6630                 }
6631                 p++;
6632         }
6633         return -1;
6634 found:
6635         pmu_conf = *p;
6636         return 0;
6637 }
6638
6639 static const struct file_operations pfm_proc_fops = {
6640         .open           = pfm_proc_open,
6641         .read           = seq_read,
6642         .llseek         = seq_lseek,
6643         .release        = seq_release,
6644 };
6645
6646 int __init
6647 pfm_init(void)
6648 {
6649         unsigned int n, n_counters, i;
6650
6651         printk("perfmon: version %u.%u IRQ %u\n",
6652                 PFM_VERSION_MAJ,
6653                 PFM_VERSION_MIN,
6654                 IA64_PERFMON_VECTOR);
6655
6656         if (pfm_probe_pmu()) {
6657                 printk(KERN_INFO "perfmon: disabled, there is no support for processor family %d\n",
6658                                 local_cpu_data->family);
6659                 return -ENODEV;
6660         }
6661
6662         /*
6663          * compute the number of implemented PMD/PMC from the
6664          * description tables
6665          */
6666         n = 0;
6667         for (i=0; PMC_IS_LAST(i) == 0;  i++) {
6668                 if (PMC_IS_IMPL(i) == 0) continue;
6669                 pmu_conf->impl_pmcs[i>>6] |= 1UL << (i&63);
6670                 n++;
6671         }
6672         pmu_conf->num_pmcs = n;
6673
6674         n = 0; n_counters = 0;
6675         for (i=0; PMD_IS_LAST(i) == 0;  i++) {
6676                 if (PMD_IS_IMPL(i) == 0) continue;
6677                 pmu_conf->impl_pmds[i>>6] |= 1UL << (i&63);
6678                 n++;
6679                 if (PMD_IS_COUNTING(i)) n_counters++;
6680         }
6681         pmu_conf->num_pmds      = n;
6682         pmu_conf->num_counters  = n_counters;
6683
6684         /*
6685          * sanity checks on the number of debug registers
6686          */
6687         if (pmu_conf->use_rr_dbregs) {
6688                 if (pmu_conf->num_ibrs > IA64_NUM_DBG_REGS) {
6689                         printk(KERN_INFO "perfmon: unsupported number of code debug registers (%u)\n", pmu_conf->num_ibrs);
6690                         pmu_conf = NULL;
6691                         return -1;
6692                 }
6693                 if (pmu_conf->num_dbrs > IA64_NUM_DBG_REGS) {
6694                         printk(KERN_INFO "perfmon: unsupported number of data debug registers (%u)\n", pmu_conf->num_ibrs);
6695                         pmu_conf = NULL;
6696                         return -1;
6697                 }
6698         }
6699
6700         printk("perfmon: %s PMU detected, %u PMCs, %u PMDs, %u counters (%lu bits)\n",
6701                pmu_conf->pmu_name,
6702                pmu_conf->num_pmcs,
6703                pmu_conf->num_pmds,
6704                pmu_conf->num_counters,
6705                ffz(pmu_conf->ovfl_val));
6706
6707         /* sanity check */
6708         if (pmu_conf->num_pmds >= PFM_NUM_PMD_REGS || pmu_conf->num_pmcs >= PFM_NUM_PMC_REGS) {
6709                 printk(KERN_ERR "perfmon: not enough pmc/pmd, perfmon disabled\n");
6710                 pmu_conf = NULL;
6711                 return -1;
6712         }
6713
6714         /*
6715          * create /proc/perfmon (mostly for debugging purposes)
6716          */
6717         perfmon_dir = create_proc_entry("perfmon", S_IRUGO, NULL);
6718         if (perfmon_dir == NULL) {
6719                 printk(KERN_ERR "perfmon: cannot create /proc entry, perfmon disabled\n");
6720                 pmu_conf = NULL;
6721                 return -1;
6722         }
6723         /*
6724          * install customized file operations for /proc/perfmon entry
6725          */
6726         perfmon_dir->proc_fops = &pfm_proc_fops;
6727
6728         /*
6729          * create /proc/sys/kernel/perfmon (for debugging purposes)
6730          */
6731         pfm_sysctl_header = register_sysctl_table(pfm_sysctl_root);
6732
6733         /*
6734          * initialize all our spinlocks
6735          */
6736         spin_lock_init(&pfm_sessions.pfs_lock);
6737         spin_lock_init(&pfm_buffer_fmt_lock);
6738
6739         init_pfm_fs();
6740
6741         for(i=0; i < NR_CPUS; i++) pfm_stats[i].pfm_ovfl_intr_cycles_min = ~0UL;
6742
6743         return 0;
6744 }
6745
6746 __initcall(pfm_init);
6747
6748 /*
6749  * this function is called before pfm_init()
6750  */
6751 void
6752 pfm_init_percpu (void)
6753 {
6754         static int first_time=1;
6755         /*
6756          * make sure no measurement is active
6757          * (may inherit programmed PMCs from EFI).
6758          */
6759         pfm_clear_psr_pp();
6760         pfm_clear_psr_up();
6761
6762         /*
6763          * we run with the PMU not frozen at all times
6764          */
6765         pfm_unfreeze_pmu();
6766
6767         if (first_time) {
6768                 register_percpu_irq(IA64_PERFMON_VECTOR, &perfmon_irqaction);
6769                 first_time=0;
6770         }
6771
6772         ia64_setreg(_IA64_REG_CR_PMV, IA64_PERFMON_VECTOR);
6773         ia64_srlz_d();
6774 }
6775
6776 /*
6777  * used for debug purposes only
6778  */
6779 void
6780 dump_pmu_state(const char *from)
6781 {
6782         struct task_struct *task;
6783         struct pt_regs *regs;
6784         pfm_context_t *ctx;
6785         unsigned long psr, dcr, info, flags;
6786         int i, this_cpu;
6787
6788         local_irq_save(flags);
6789
6790         this_cpu = smp_processor_id();
6791         regs     = task_pt_regs(current);
6792         info     = PFM_CPUINFO_GET();
6793         dcr      = ia64_getreg(_IA64_REG_CR_DCR);
6794
6795         if (info == 0 && ia64_psr(regs)->pp == 0 && (dcr & IA64_DCR_PP) == 0) {
6796                 local_irq_restore(flags);
6797                 return;
6798         }
6799
6800         printk("CPU%d from %s() current [%d] iip=0x%lx %s\n",
6801                 this_cpu,
6802                 from,
6803                 current->pid,
6804                 regs->cr_iip,
6805                 current->comm);
6806
6807         task = GET_PMU_OWNER();
6808         ctx  = GET_PMU_CTX();
6809
6810         printk("->CPU%d owner [%d] ctx=%p\n", this_cpu, task ? task->pid : -1, ctx);
6811
6812         psr = pfm_get_psr();
6813
6814         printk("->CPU%d pmc0=0x%lx psr.pp=%d psr.up=%d dcr.pp=%d syst_info=0x%lx user_psr.up=%d user_psr.pp=%d\n",
6815                 this_cpu,
6816                 ia64_get_pmc(0),
6817                 psr & IA64_PSR_PP ? 1 : 0,
6818                 psr & IA64_PSR_UP ? 1 : 0,
6819                 dcr & IA64_DCR_PP ? 1 : 0,
6820                 info,
6821                 ia64_psr(regs)->up,
6822                 ia64_psr(regs)->pp);
6823
6824         ia64_psr(regs)->up = 0;
6825         ia64_psr(regs)->pp = 0;
6826
6827         for (i=1; PMC_IS_LAST(i) == 0; i++) {
6828                 if (PMC_IS_IMPL(i) == 0) continue;
6829                 printk("->CPU%d pmc[%d]=0x%lx thread_pmc[%d]=0x%lx\n", this_cpu, i, ia64_get_pmc(i), i, ctx->th_pmcs[i]);
6830         }
6831
6832         for (i=1; PMD_IS_LAST(i) == 0; i++) {
6833                 if (PMD_IS_IMPL(i) == 0) continue;
6834                 printk("->CPU%d pmd[%d]=0x%lx thread_pmd[%d]=0x%lx\n", this_cpu, i, ia64_get_pmd(i), i, ctx->th_pmds[i]);
6835         }
6836
6837         if (ctx) {
6838                 printk("->CPU%d ctx_state=%d vaddr=%p addr=%p fd=%d ctx_task=[%d] saved_psr_up=0x%lx\n",
6839                                 this_cpu,
6840                                 ctx->ctx_state,
6841                                 ctx->ctx_smpl_vaddr,
6842                                 ctx->ctx_smpl_hdr,
6843                                 ctx->ctx_msgq_head,
6844                                 ctx->ctx_msgq_tail,
6845                                 ctx->ctx_saved_psr_up);
6846         }
6847         local_irq_restore(flags);
6848 }
6849
6850 /*
6851  * called from process.c:copy_thread(). task is new child.
6852  */
6853 void
6854 pfm_inherit(struct task_struct *task, struct pt_regs *regs)
6855 {
6856         struct thread_struct *thread;
6857
6858         DPRINT(("perfmon: pfm_inherit clearing state for [%d]\n", task->pid));
6859
6860         thread = &task->thread;
6861
6862         /*
6863          * cut links inherited from parent (current)
6864          */
6865         thread->pfm_context = NULL;
6866
6867         PFM_SET_WORK_PENDING(task, 0);
6868
6869         /*
6870          * the psr bits are already set properly in copy_threads()
6871          */
6872 }
6873 #else  /* !CONFIG_PERFMON */
6874 asmlinkage long
6875 sys_perfmonctl (int fd, int cmd, void *arg, int count)
6876 {
6877         return -ENOSYS;
6878 }
6879 #endif /* CONFIG_PERFMON */