arch/ia64/kernel/perfmon.c

   1 /*
   2  * This file implements the perfmon-2 subsystem which is used
   3  * to program the IA-64 Performance Monitoring Unit (PMU).
   4  *
   5  * The initial version of perfmon.c was written by
   6  * Ganesh Venkitachalam, IBM Corp.
   7  *
   8  * Then it was modified for perfmon-1.x by Stephane Eranian and
   9  * David Mosberger, Hewlett Packard Co.
  10  *
  11  * Version Perfmon-2.x is a rewrite of perfmon-1.x
  12  * by Stephane Eranian, Hewlett Packard Co.
  13  *
  14  * Copyright (C) 1999-2005  Hewlett Packard Co
  15  *               Stephane Eranian <eranian@hpl.hp.com>
  16  *               David Mosberger-Tang <davidm@hpl.hp.com>
  17  *
  18  * More information about perfmon available at:
  19  *      http://www.hpl.hp.com/research/linux/perfmon
  20  */
  21
  22 #include <linux/module.h>
  23 #include <linux/kernel.h>
  24 #include <linux/sched.h>
  25 #include <linux/interrupt.h>
  26 #include <linux/proc_fs.h>
  27 #include <linux/seq_file.h>
  28 #include <linux/init.h>
  29 #include <linux/vmalloc.h>
  30 #include <linux/mm.h>
  31 #include <linux/sysctl.h>
  32 #include <linux/list.h>
  33 #include <linux/file.h>
  34 #include <linux/poll.h>
  35 #include <linux/vfs.h>
  36 #include <linux/smp.h>
  37 #include <linux/pagemap.h>
  38 #include <linux/mount.h>
  39 #include <linux/bitops.h>
  40 #include <linux/capability.h>
  41 #include <linux/rcupdate.h>
  42 #include <linux/completion.h>
  43
  44 #include <asm/errno.h>
  45 #include <asm/intrinsics.h>
  46 #include <asm/page.h>
  47 #include <asm/perfmon.h>
  48 #include <asm/processor.h>
  49 #include <asm/signal.h>
  50 #include <asm/system.h>
  51 #include <asm/uaccess.h>
  52 #include <asm/delay.h>
  53
  54 #ifdef CONFIG_PERFMON
  55 /*
  56  * perfmon context state
  57  */
  58 #define PFM_CTX_UNLOADED        1       /* context is not loaded onto any task */
  59 #define PFM_CTX_LOADED          2       /* context is loaded onto a task */
  60 #define PFM_CTX_MASKED          3       /* context is loaded but monitoring is masked due to overflow */
  61 #define PFM_CTX_ZOMBIE          4       /* owner of the context is closing it */
  62
  63 #define PFM_INVALID_ACTIVATION  (~0UL)
  64
  65 #define PFM_NUM_PMC_REGS        64      /* PMC save area for ctxsw */
  66 #define PFM_NUM_PMD_REGS        64      /* PMD save area for ctxsw */
  67
  68 /*
  69  * depth of message queue
  70  */
  71 #define PFM_MAX_MSGS            32
  72 #define PFM_CTXQ_EMPTY(g)       ((g)->ctx_msgq_head == (g)->ctx_msgq_tail)
  73
  74 /*
  75  * type of a PMU register (bitmask).
  76  * bitmask structure:
  77  *      bit0   : register implemented
  78  *      bit1   : end marker
  79  *      bit2-3 : reserved
  80  *      bit4   : pmc has pmc.pm
  81  *      bit5   : pmc controls a counter (has pmc.oi), pmd is used as counter
  82  *      bit6-7 : register type
  83  *      bit8-31: reserved
  84  */
  85 #define PFM_REG_NOTIMPL         0x0 /* not implemented at all */
  86 #define PFM_REG_IMPL            0x1 /* register implemented */
  87 #define PFM_REG_END             0x2 /* end marker */
  88 #define PFM_REG_MONITOR         (0x1<<4|PFM_REG_IMPL) /* a PMC with a pmc.pm field only */
  89 #define PFM_REG_COUNTING        (0x2<<4|PFM_REG_MONITOR) /* a monitor + pmc.oi+ PMD used as a counter */
  90 #define PFM_REG_CONTROL         (0x4<<4|PFM_REG_IMPL) /* PMU control register */
  91 #define PFM_REG_CONFIG          (0x8<<4|PFM_REG_IMPL) /* configuration register */
  92 #define PFM_REG_BUFFER          (0xc<<4|PFM_REG_IMPL) /* PMD used as buffer */
  93
  94 #define PMC_IS_LAST(i)  (pmu_conf->pmc_desc[i].type & PFM_REG_END)
  95 #define PMD_IS_LAST(i)  (pmu_conf->pmd_desc[i].type & PFM_REG_END)
  96
  97 #define PMC_OVFL_NOTIFY(ctx, i) ((ctx)->ctx_pmds[i].flags &  PFM_REGFL_OVFL_NOTIFY)
  98
  99 /* i assumed unsigned */
 100 #define PMC_IS_IMPL(i)    (i< PMU_MAX_PMCS && (pmu_conf->pmc_desc[i].type & PFM_REG_IMPL))
 101 #define PMD_IS_IMPL(i)    (i< PMU_MAX_PMDS && (pmu_conf->pmd_desc[i].type & PFM_REG_IMPL))
 102
 103 /* XXX: these assume that register i is implemented */
 104 #define PMD_IS_COUNTING(i) ((pmu_conf->pmd_desc[i].type & PFM_REG_COUNTING) == PFM_REG_COUNTING)
 105 #define PMC_IS_COUNTING(i) ((pmu_conf->pmc_desc[i].type & PFM_REG_COUNTING) == PFM_REG_COUNTING)
 106 #define PMC_IS_MONITOR(i)  ((pmu_conf->pmc_desc[i].type & PFM_REG_MONITOR)  == PFM_REG_MONITOR)
 107 #define PMC_IS_CONTROL(i)  ((pmu_conf->pmc_desc[i].type & PFM_REG_CONTROL)  == PFM_REG_CONTROL)
 108
 109 #define PMC_DFL_VAL(i)     pmu_conf->pmc_desc[i].default_value
 110 #define PMC_RSVD_MASK(i)   pmu_conf->pmc_desc[i].reserved_mask
 111 #define PMD_PMD_DEP(i)     pmu_conf->pmd_desc[i].dep_pmd[0]
 112 #define PMC_PMD_DEP(i)     pmu_conf->pmc_desc[i].dep_pmd[0]
 113
 114 #define PFM_NUM_IBRS      IA64_NUM_DBG_REGS
 115 #define PFM_NUM_DBRS      IA64_NUM_DBG_REGS
 116
 117 #define CTX_OVFL_NOBLOCK(c)     ((c)->ctx_fl_block == 0)
 118 #define CTX_HAS_SMPL(c)         ((c)->ctx_fl_is_sampling)
 119 #define PFM_CTX_TASK(h)         (h)->ctx_task
 120
 121 #define PMU_PMC_OI              5 /* position of pmc.oi bit */
 122
 123 /* XXX: does not support more than 64 PMDs */
 124 #define CTX_USED_PMD(ctx, mask) (ctx)->ctx_used_pmds[0] |= (mask)
 125 #define CTX_IS_USED_PMD(ctx, c) (((ctx)->ctx_used_pmds[0] & (1UL << (c))) != 0UL)
 126
 127 #define CTX_USED_MONITOR(ctx, mask) (ctx)->ctx_used_monitors[0] |= (mask)
 128
 129 #define CTX_USED_IBR(ctx,n)     (ctx)->ctx_used_ibrs[(n)>>6] |= 1UL<< ((n) % 64)
 130 #define CTX_USED_DBR(ctx,n)     (ctx)->ctx_used_dbrs[(n)>>6] |= 1UL<< ((n) % 64)
 131 #define CTX_USES_DBREGS(ctx)    (((pfm_context_t *)(ctx))->ctx_fl_using_dbreg==1)
 132 #define PFM_CODE_RR     0       /* requesting code range restriction */
 133 #define PFM_DATA_RR     1       /* requestion data range restriction */
 134
 135 #define PFM_CPUINFO_CLEAR(v)    pfm_get_cpu_var(pfm_syst_info) &= ~(v)
 136 #define PFM_CPUINFO_SET(v)      pfm_get_cpu_var(pfm_syst_info) |= (v)
 137 #define PFM_CPUINFO_GET()       pfm_get_cpu_var(pfm_syst_info)
 138
 139 #define RDEP(x) (1UL<<(x))
 140
 141 /*
 142  * context protection macros
 143  * in SMP:
 144  *      - we need to protect against CPU concurrency (spin_lock)
 145  *      - we need to protect against PMU overflow interrupts (local_irq_disable)
 146  * in UP:
 147  *      - we need to protect against PMU overflow interrupts (local_irq_disable)
 148  *
 149  * spin_lock_irqsave()/spin_unlock_irqrestore():
 150  *      in SMP: local_irq_disable + spin_lock
 151  *      in UP : local_irq_disable
 152  *
 153  * spin_lock()/spin_lock():
 154  *      in UP : removed automatically
 155  *      in SMP: protect against context accesses from other CPU. interrupts
 156  *              are not masked. This is useful for the PMU interrupt handler
 157  *              because we know we will not get PMU concurrency in that code.
 158  */
 159 #define PROTECT_CTX(c, f) \
 160         do {  \
 161                 DPRINT(("spinlock_irq_save ctx %p by [%d]\n", c, current->pid)); \
 162                 spin_lock_irqsave(&(c)->ctx_lock, f); \
 163                 DPRINT(("spinlocked ctx %p  by [%d]\n", c, current->pid)); \
 164         } while(0)
 165
 166 #define UNPROTECT_CTX(c, f) \
 167         do { \
 168                 DPRINT(("spinlock_irq_restore ctx %p by [%d]\n", c, current->pid)); \
 169                 spin_unlock_irqrestore(&(c)->ctx_lock, f); \
 170         } while(0)
 171
 172 #define PROTECT_CTX_NOPRINT(c, f) \
 173         do {  \
 174                 spin_lock_irqsave(&(c)->ctx_lock, f); \
 175         } while(0)
 176
 177
 178 #define UNPROTECT_CTX_NOPRINT(c, f) \
 179         do { \
 180                 spin_unlock_irqrestore(&(c)->ctx_lock, f); \
 181         } while(0)
 182
 183
 184 #define PROTECT_CTX_NOIRQ(c) \
 185         do {  \
 186                 spin_lock(&(c)->ctx_lock); \
 187         } while(0)
 188
 189 #define UNPROTECT_CTX_NOIRQ(c) \
 190         do { \
 191                 spin_unlock(&(c)->ctx_lock); \
 192         } while(0)
 193
 194
 195 #ifdef CONFIG_SMP
 196
 197 #define GET_ACTIVATION()        pfm_get_cpu_var(pmu_activation_number)
 198 #define INC_ACTIVATION()        pfm_get_cpu_var(pmu_activation_number)++
 199 #define SET_ACTIVATION(c)       (c)->ctx_last_activation = GET_ACTIVATION()
 200
 201 #else /* !CONFIG_SMP */
 202 #define SET_ACTIVATION(t)       do {} while(0)
 203 #define GET_ACTIVATION(t)       do {} while(0)
 204 #define INC_ACTIVATION(t)       do {} while(0)
 205 #endif /* CONFIG_SMP */
 206
 207 #define SET_PMU_OWNER(t, c)     do { pfm_get_cpu_var(pmu_owner) = (t); pfm_get_cpu_var(pmu_ctx) = (c); } while(0)
 208 #define GET_PMU_OWNER()         pfm_get_cpu_var(pmu_owner)
 209 #define GET_PMU_CTX()           pfm_get_cpu_var(pmu_ctx)
 210
 211 #define LOCK_PFS(g)             spin_lock_irqsave(&pfm_sessions.pfs_lock, g)
 212 #define UNLOCK_PFS(g)           spin_unlock_irqrestore(&pfm_sessions.pfs_lock, g)
 213
 214 #define PFM_REG_RETFLAG_SET(flags, val) do { flags &= ~PFM_REG_RETFL_MASK; flags |= (val); } while(0)
 215
 216 /*
 217  * cmp0 must be the value of pmc0
 218  */
 219 #define PMC0_HAS_OVFL(cmp0)  (cmp0 & ~0x1UL)
 220
 221 #define PFMFS_MAGIC 0xa0b4d889
 222
 223 /*
 224  * debugging
 225  */
 226 #define PFM_DEBUGGING 1
 227 #ifdef PFM_DEBUGGING
 228 #define DPRINT(a) \
 229         do { \
 230                 if (unlikely(pfm_sysctl.debug >0)) { printk("%s.%d: CPU%d [%d] ", __FUNCTION__, __LINE__, smp_processor_id(), current->pid); printk a; } \
 231         } while (0)
 232
 233 #define DPRINT_ovfl(a) \
 234         do { \
 235                 if (unlikely(pfm_sysctl.debug > 0 && pfm_sysctl.debug_ovfl >0)) { printk("%s.%d: CPU%d [%d] ", __FUNCTION__, __LINE__, smp_processor_id(), current->pid); printk a; } \
 236         } while (0)
 237 #endif
 238
 239 /*
 240  * 64-bit software counter structure
 241  *
 242  * the next_reset_type is applied to the next call to pfm_reset_regs()
 243  */
 244 typedef struct {
 245         unsigned long   val;            /* virtual 64bit counter value */
 246         unsigned long   lval;           /* last reset value */
 247         unsigned long   long_reset;     /* reset value on sampling overflow */
 248         unsigned long   short_reset;    /* reset value on overflow */
 249         unsigned long   reset_pmds[4];  /* which other pmds to reset when this counter overflows */
 250         unsigned long   smpl_pmds[4];   /* which pmds are accessed when counter overflow */
 251         unsigned long   seed;           /* seed for random-number generator */
 252         unsigned long   mask;           /* mask for random-number generator */
 253         unsigned int    flags;          /* notify/do not notify */
 254         unsigned long   eventid;        /* overflow event identifier */
 255 } pfm_counter_t;
 256
 257 /*
 258  * context flags
 259  */
 260 typedef struct {
 261         unsigned int block:1;           /* when 1, task will blocked on user notifications */
 262         unsigned int system:1;          /* do system wide monitoring */
 263         unsigned int using_dbreg:1;     /* using range restrictions (debug registers) */
 264         unsigned int is_sampling:1;     /* true if using a custom format */
 265         unsigned int excl_idle:1;       /* exclude idle task in system wide session */
 266         unsigned int going_zombie:1;    /* context is zombie (MASKED+blocking) */
 267         unsigned int trap_reason:2;     /* reason for going into pfm_handle_work() */
 268         unsigned int no_msg:1;          /* no message sent on overflow */
 269         unsigned int can_restart:1;     /* allowed to issue a PFM_RESTART */
 270         unsigned int reserved:22;
 271 } pfm_context_flags_t;
 272
 273 #define PFM_TRAP_REASON_NONE            0x0     /* default value */
 274 #define PFM_TRAP_REASON_BLOCK           0x1     /* we need to block on overflow */
 275 #define PFM_TRAP_REASON_RESET           0x2     /* we need to reset PMDs */
 276
 277
 278 /*
 279  * perfmon context: encapsulates all the state of a monitoring session
 280  */
 281
 282 typedef struct pfm_context {
 283         spinlock_t              ctx_lock;               /* context protection */
 284
 285         pfm_context_flags_t     ctx_flags;              /* bitmask of flags  (block reason incl.) */
 286         unsigned int            ctx_state;              /* state: active/inactive (no bitfield) */
 287
 288         struct task_struct      *ctx_task;              /* task to which context is attached */
 289
 290         unsigned long           ctx_ovfl_regs[4];       /* which registers overflowed (notification) */
 291
 292         struct completion       ctx_restart_done;       /* use for blocking notification mode */
 293
 294         unsigned long           ctx_used_pmds[4];       /* bitmask of PMD used            */
 295         unsigned long           ctx_all_pmds[4];        /* bitmask of all accessible PMDs */
 296         unsigned long           ctx_reload_pmds[4];     /* bitmask of force reload PMD on ctxsw in */
 297
 298         unsigned long           ctx_all_pmcs[4];        /* bitmask of all accessible PMCs */
 299         unsigned long           ctx_reload_pmcs[4];     /* bitmask of force reload PMC on ctxsw in */
 300         unsigned long           ctx_used_monitors[4];   /* bitmask of monitor PMC being used */
 301
 302         unsigned long           ctx_pmcs[PFM_NUM_PMC_REGS];     /*  saved copies of PMC values */
 303
 304         unsigned int            ctx_used_ibrs[1];               /* bitmask of used IBR (speedup ctxsw in) */
 305         unsigned int            ctx_used_dbrs[1];               /* bitmask of used DBR (speedup ctxsw in) */
 306         unsigned long           ctx_dbrs[IA64_NUM_DBG_REGS];    /* DBR values (cache) when not loaded */
 307         unsigned long           ctx_ibrs[IA64_NUM_DBG_REGS];    /* IBR values (cache) when not loaded */
 308
 309         pfm_counter_t           ctx_pmds[PFM_NUM_PMD_REGS]; /* software state for PMDS */
 310
 311         unsigned long           th_pmcs[PFM_NUM_PMC_REGS];      /* PMC thread save state */
 312         unsigned long           th_pmds[PFM_NUM_PMD_REGS];      /* PMD thread save state */
 313
 314         u64                     ctx_saved_psr_up;       /* only contains psr.up value */
 315
 316         unsigned long           ctx_last_activation;    /* context last activation number for last_cpu */
 317         unsigned int            ctx_last_cpu;           /* CPU id of current or last CPU used (SMP only) */
 318         unsigned int            ctx_cpu;                /* cpu to which perfmon is applied (system wide) */
 319
 320         int                     ctx_fd;                 /* file descriptor used my this context */
 321         pfm_ovfl_arg_t          ctx_ovfl_arg;           /* argument to custom buffer format handler */
 322
 323         pfm_buffer_fmt_t        *ctx_buf_fmt;           /* buffer format callbacks */
 324         void                    *ctx_smpl_hdr;          /* points to sampling buffer header kernel vaddr */
 325         unsigned long           ctx_smpl_size;          /* size of sampling buffer */
 326         void                    *ctx_smpl_vaddr;        /* user level virtual address of smpl buffer */
 327
 328         wait_queue_head_t       ctx_msgq_wait;
 329         pfm_msg_t               ctx_msgq[PFM_MAX_MSGS];
 330         int                     ctx_msgq_head;
 331         int                     ctx_msgq_tail;
 332         struct fasync_struct    *ctx_async_queue;
 333
 334         wait_queue_head_t       ctx_zombieq;            /* termination cleanup wait queue */
 335 } pfm_context_t;
 336
 337 /*
 338  * magic number used to verify that structure is really
 339  * a perfmon context
 340  */
 341 #define PFM_IS_FILE(f)          ((f)->f_op == &pfm_file_ops)
 342
 343 #define PFM_GET_CTX(t)          ((pfm_context_t *)(t)->thread.pfm_context)
 344
 345 #ifdef CONFIG_SMP
 346 #define SET_LAST_CPU(ctx, v)    (ctx)->ctx_last_cpu = (v)
 347 #define GET_LAST_CPU(ctx)       (ctx)->ctx_last_cpu
 348 #else
 349 #define SET_LAST_CPU(ctx, v)    do {} while(0)
 350 #define GET_LAST_CPU(ctx)       do {} while(0)
 351 #endif
 352
 353
 354 #define ctx_fl_block            ctx_flags.block
 355 #define ctx_fl_system           ctx_flags.system
 356 #define ctx_fl_using_dbreg      ctx_flags.using_dbreg
 357 #define ctx_fl_is_sampling      ctx_flags.is_sampling
 358 #define ctx_fl_excl_idle        ctx_flags.excl_idle
 359 #define ctx_fl_going_zombie     ctx_flags.going_zombie
 360 #define ctx_fl_trap_reason      ctx_flags.trap_reason
 361 #define ctx_fl_no_msg           ctx_flags.no_msg
 362 #define ctx_fl_can_restart      ctx_flags.can_restart
 363
 364 #define PFM_SET_WORK_PENDING(t, v)      do { (t)->thread.pfm_needs_checking = v; } while(0);
 365 #define PFM_GET_WORK_PENDING(t)         (t)->thread.pfm_needs_checking
 366
 367 /*
 368  * global information about all sessions
 369  * mostly used to synchronize between system wide and per-process
 370  */
 371 typedef struct {
 372         spinlock_t              pfs_lock;                  /* lock the structure */
 373
 374         unsigned int            pfs_task_sessions;         /* number of per task sessions */
 375         unsigned int            pfs_sys_sessions;          /* number of per system wide sessions */
 376         unsigned int            pfs_sys_use_dbregs;        /* incremented when a system wide session uses debug regs */
 377         unsigned int            pfs_ptrace_use_dbregs;     /* incremented when a process uses debug regs */
 378         struct task_struct      *pfs_sys_session[NR_CPUS]; /* point to task owning a system-wide session */
 379 } pfm_session_t;
 380
 381 /*
 382  * information about a PMC or PMD.
 383  * dep_pmd[]: a bitmask of dependent PMD registers
 384  * dep_pmc[]: a bitmask of dependent PMC registers
 385  */
 386 typedef int (*pfm_reg_check_t)(struct task_struct *task, pfm_context_t *ctx, unsigned int cnum, unsigned long *val, struct pt_regs *regs);
 387 typedef struct {
 388         unsigned int            type;
 389         int                     pm_pos;
 390         unsigned long           default_value;  /* power-on default value */
 391         unsigned long           reserved_mask;  /* bitmask of reserved bits */
 392         pfm_reg_check_t         read_check;
 393         pfm_reg_check_t         write_check;
 394         unsigned long           dep_pmd[4];
 395         unsigned long           dep_pmc[4];
 396 } pfm_reg_desc_t;
 397
 398 /* assume cnum is a valid monitor */
 399 #define PMC_PM(cnum, val)       (((val) >> (pmu_conf->pmc_desc[cnum].pm_pos)) & 0x1)
 400
 401 /*
 402  * This structure is initialized at boot time and contains
 403  * a description of the PMU main characteristics.
 404  *
 405  * If the probe function is defined, detection is based
 406  * on its return value:
 407  *      - 0 means recognized PMU
 408  *      - anything else means not supported
 409  * When the probe function is not defined, then the pmu_family field
 410  * is used and it must match the host CPU family such that:
 411  *      - cpu->family & config->pmu_family != 0
 412  */
 413 typedef struct {
 414         unsigned long  ovfl_val;        /* overflow value for counters */
 415
 416         pfm_reg_desc_t *pmc_desc;       /* detailed PMC register dependencies descriptions */
 417         pfm_reg_desc_t *pmd_desc;       /* detailed PMD register dependencies descriptions */
 418
 419         unsigned int   num_pmcs;        /* number of PMCS: computed at init time */
 420         unsigned int   num_pmds;        /* number of PMDS: computed at init time */
 421         unsigned long  impl_pmcs[4];    /* bitmask of implemented PMCS */
 422         unsigned long  impl_pmds[4];    /* bitmask of implemented PMDS */
 423
 424         char          *pmu_name;        /* PMU family name */
 425         unsigned int  pmu_family;       /* cpuid family pattern used to identify pmu */
 426         unsigned int  flags;            /* pmu specific flags */
 427         unsigned int  num_ibrs;         /* number of IBRS: computed at init time */
 428         unsigned int  num_dbrs;         /* number of DBRS: computed at init time */
 429         unsigned int  num_counters;     /* PMC/PMD counting pairs : computed at init time */
 430         int           (*probe)(void);   /* customized probe routine */
 431         unsigned int  use_rr_dbregs:1;  /* set if debug registers used for range restriction */
 432 } pmu_config_t;
 433 /*
 434  * PMU specific flags
 435  */
 436 #define PFM_PMU_IRQ_RESEND      1       /* PMU needs explicit IRQ resend */
 437
 438 /*
 439  * debug register related type definitions
 440  */
 441 typedef struct {
 442         unsigned long ibr_mask:56;
 443         unsigned long ibr_plm:4;
 444         unsigned long ibr_ig:3;
 445         unsigned long ibr_x:1;
 446 } ibr_mask_reg_t;
 447
 448 typedef struct {
 449         unsigned long dbr_mask:56;
 450         unsigned long dbr_plm:4;
 451         unsigned long dbr_ig:2;
 452         unsigned long dbr_w:1;
 453         unsigned long dbr_r:1;
 454 } dbr_mask_reg_t;
 455
 456 typedef union {
 457         unsigned long  val;
 458         ibr_mask_reg_t ibr;
 459         dbr_mask_reg_t dbr;
 460 } dbreg_t;
 461
 462
 463 /*
 464  * perfmon command descriptions
 465  */
 466 typedef struct {
 467         int             (*cmd_func)(pfm_context_t *ctx, void *arg, int count, struct pt_regs *regs);
 468         char            *cmd_name;
 469         int             cmd_flags;
 470         unsigned int    cmd_narg;
 471         size_t          cmd_argsize;
 472         int             (*cmd_getsize)(void *arg, size_t *sz);
 473 } pfm_cmd_desc_t;
 474
 475 #define PFM_CMD_FD              0x01    /* command requires a file descriptor */
 476 #define PFM_CMD_ARG_READ        0x02    /* command must read argument(s) */
 477 #define PFM_CMD_ARG_RW          0x04    /* command must read/write argument(s) */
 478 #define PFM_CMD_STOP            0x08    /* command does not work on zombie context */
 479
 480
 481 #define PFM_CMD_NAME(cmd)       pfm_cmd_tab[(cmd)].cmd_name
 482 #define PFM_CMD_READ_ARG(cmd)   (pfm_cmd_tab[(cmd)].cmd_flags & PFM_CMD_ARG_READ)
 483 #define PFM_CMD_RW_ARG(cmd)     (pfm_cmd_tab[(cmd)].cmd_flags & PFM_CMD_ARG_RW)
 484 #define PFM_CMD_USE_FD(cmd)     (pfm_cmd_tab[(cmd)].cmd_flags & PFM_CMD_FD)
 485 #define PFM_CMD_STOPPED(cmd)    (pfm_cmd_tab[(cmd)].cmd_flags & PFM_CMD_STOP)
 486
 487 #define PFM_CMD_ARG_MANY        -1 /* cannot be zero */
 488
 489 typedef struct {
 490         unsigned long pfm_spurious_ovfl_intr_count;     /* keep track of spurious ovfl interrupts */
 491         unsigned long pfm_replay_ovfl_intr_count;       /* keep track of replayed ovfl interrupts */
 492         unsigned long pfm_ovfl_intr_count;              /* keep track of ovfl interrupts */
 493         unsigned long pfm_ovfl_intr_cycles;             /* cycles spent processing ovfl interrupts */
 494         unsigned long pfm_ovfl_intr_cycles_min;         /* min cycles spent processing ovfl interrupts */
 495         unsigned long pfm_ovfl_intr_cycles_max;         /* max cycles spent processing ovfl interrupts */
 496         unsigned long pfm_smpl_handler_calls;
 497         unsigned long pfm_smpl_handler_cycles;
 498         char pad[SMP_CACHE_BYTES] ____cacheline_aligned;
 499 } pfm_stats_t;
 500
 501 /*
 502  * perfmon internal variables
 503  */
 504 static pfm_stats_t              pfm_stats[NR_CPUS];
 505 static pfm_session_t            pfm_sessions;   /* global sessions information */
 506
 507 static DEFINE_SPINLOCK(pfm_alt_install_check);
 508 static pfm_intr_handler_desc_t  *pfm_alt_intr_handler;
 509
 510 static struct proc_dir_entry    *perfmon_dir;
 511 static pfm_uuid_t               pfm_null_uuid = {0,};
 512
 513 static spinlock_t               pfm_buffer_fmt_lock;
 514 static LIST_HEAD(pfm_buffer_fmt_list);
 515
 516 static pmu_config_t             *pmu_conf;
 517
 518 /* sysctl() controls */
 519 pfm_sysctl_t pfm_sysctl;
 520 EXPORT_SYMBOL(pfm_sysctl);
 521
 522 static ctl_table pfm_ctl_table[]={
 523         {
 524                 .ctl_name       = CTL_UNNUMBERED,
 525                 .procname       = "debug",
 526                 .data           = &pfm_sysctl.debug,
 527                 .maxlen         = sizeof(int),
 528                 .mode           = 0666,
 529                 .proc_handler   = &proc_dointvec,
 530         },
 531         {
 532                 .ctl_name       = CTL_UNNUMBERED,
 533                 .procname       = "debug_ovfl",
 534                 .data           = &pfm_sysctl.debug_ovfl,
 535                 .maxlen         = sizeof(int),
 536                 .mode           = 0666,
 537                 .proc_handler   = &proc_dointvec,
 538         },
 539         {
 540                 .ctl_name       = CTL_UNNUMBERED,
 541                 .procname       = "fastctxsw",
 542                 .data           = &pfm_sysctl.fastctxsw,
 543                 .maxlen         = sizeof(int),
 544                 .mode           = 0600,
 545                 .proc_handler   =  &proc_dointvec,
 546         },
 547         {
 548                 .ctl_name       = CTL_UNNUMBERED,
 549                 .procname       = "expert_mode",
 550                 .data           = &pfm_sysctl.expert_mode,
 551                 .maxlen         = sizeof(int),
 552                 .mode           = 0600,
 553                 .proc_handler   = &proc_dointvec,
 554         },
 555         {}
 556 };
 557 static ctl_table pfm_sysctl_dir[] = {
 558         {
 559                 .ctl_name       = CTL_UNNUMBERED,
 560                 .procname       = "perfmon",
 561                 .mode           = 0755,
 562                 .child          = pfm_ctl_table,
 563         },
 564         {}
 565 };
 566 static ctl_table pfm_sysctl_root[] = {
 567         {
 568                 .ctl_name       = CTL_KERN,
 569                 .procname       = "kernel",
 570                 .mode           = 0755,
 571                 .child          = pfm_sysctl_dir,
 572         },
 573         {}
 574 };
 575 static struct ctl_table_header *pfm_sysctl_header;
 576
 577 static int pfm_context_unload(pfm_context_t *ctx, void *arg, int count, struct pt_regs *regs);
 578
 579 #define pfm_get_cpu_var(v)              __ia64_per_cpu_var(v)
 580 #define pfm_get_cpu_data(a,b)           per_cpu(a, b)
 581
 582 static inline void
 583 pfm_put_task(struct task_struct *task)
 584 {
 585         if (task != current) put_task_struct(task);
 586 }
 587
 588 static inline void
 589 pfm_set_task_notify(struct task_struct *task)
 590 {
 591         struct thread_info *info;
 592
 593         info = (struct thread_info *) ((char *) task + IA64_TASK_SIZE);
 594         set_bit(TIF_PERFMON_WORK, &info->flags);
 595 }
 596
 597 static inline void
 598 pfm_clear_task_notify(void)
 599 {
 600         clear_thread_flag(TIF_PERFMON_WORK);
 601 }
 602
 603 static inline void
 604 pfm_reserve_page(unsigned long a)
 605 {
 606         SetPageReserved(vmalloc_to_page((void *)a));
 607 }
 608 static inline void
 609 pfm_unreserve_page(unsigned long a)
 610 {
 611         ClearPageReserved(vmalloc_to_page((void*)a));
 612 }
 613
 614 static inline unsigned long
 615 pfm_protect_ctx_ctxsw(pfm_context_t *x)
 616 {
 617         spin_lock(&(x)->ctx_lock);
 618         return 0UL;
 619 }
 620
 621 static inline void
 622 pfm_unprotect_ctx_ctxsw(pfm_context_t *x, unsigned long f)
 623 {
 624         spin_unlock(&(x)->ctx_lock);
 625 }
 626
 627 static inline unsigned int
 628 pfm_do_munmap(struct mm_struct *mm, unsigned long addr, size_t len, int acct)
 629 {
 630         return do_munmap(mm, addr, len);
 631 }
 632
 633 static inline unsigned long
 634 pfm_get_unmapped_area(struct file *file, unsigned long addr, unsigned long len, unsigned long pgoff, unsigned long flags, unsigned long exec)
 635 {
 636         return get_unmapped_area(file, addr, len, pgoff, flags);
 637 }
 638
 639
 640 static int
 641 pfmfs_get_sb(struct file_system_type *fs_type, int flags, const char *dev_name, void *data,
 642              struct vfsmount *mnt)
 643 {
 644         return get_sb_pseudo(fs_type, "pfm:", NULL, PFMFS_MAGIC, mnt);
 645 }
 646
 647 static struct file_system_type pfm_fs_type = {
 648         .name     = "pfmfs",
 649         .get_sb   = pfmfs_get_sb,
 650         .kill_sb  = kill_anon_super,
 651 };
 652
 653 DEFINE_PER_CPU(unsigned long, pfm_syst_info);
 654 DEFINE_PER_CPU(struct task_struct *, pmu_owner);
 655 DEFINE_PER_CPU(pfm_context_t  *, pmu_ctx);
 656 DEFINE_PER_CPU(unsigned long, pmu_activation_number);
 657 EXPORT_PER_CPU_SYMBOL_GPL(pfm_syst_info);
 658
 659
 660 /* forward declaration */
 661 static const struct file_operations pfm_file_ops;
 662
 663 /*
 664  * forward declarations
 665  */
 666 #ifndef CONFIG_SMP
 667 static void pfm_lazy_save_regs (struct task_struct *ta);
 668 #endif
 669
 670 void dump_pmu_state(const char *);
 671 static int pfm_write_ibr_dbr(int mode, pfm_context_t *ctx, void *arg, int count, struct pt_regs *regs);
 672
 673 #include "perfmon_itanium.h"
 674 #include "perfmon_mckinley.h"
 675 #include "perfmon_montecito.h"
 676 #include "perfmon_generic.h"
 677
 678 static pmu_config_t *pmu_confs[]={
 679         &pmu_conf_mont,
 680         &pmu_conf_mck,
 681         &pmu_conf_ita,
 682         &pmu_conf_gen, /* must be last */
 683         NULL
 684 };
 685
 686
 687 static int pfm_end_notify_user(pfm_context_t *ctx);
 688
 689 static inline void
 690 pfm_clear_psr_pp(void)
 691 {
 692         ia64_rsm(IA64_PSR_PP);
 693         ia64_srlz_i();
 694 }
 695
 696 static inline void
 697 pfm_set_psr_pp(void)
 698 {
 699         ia64_ssm(IA64_PSR_PP);
 700         ia64_srlz_i();
 701 }
 702
 703 static inline void
 704 pfm_clear_psr_up(void)
 705 {
 706         ia64_rsm(IA64_PSR_UP);
 707         ia64_srlz_i();
 708 }
 709
 710 static inline void
 711 pfm_set_psr_up(void)
 712 {
 713         ia64_ssm(IA64_PSR_UP);
 714         ia64_srlz_i();
 715 }
 716
 717 static inline unsigned long
 718 pfm_get_psr(void)
 719 {
 720         unsigned long tmp;
 721         tmp = ia64_getreg(_IA64_REG_PSR);
 722         ia64_srlz_i();
 723         return tmp;
 724 }
 725
 726 static inline void
 727 pfm_set_psr_l(unsigned long val)
 728 {
 729         ia64_setreg(_IA64_REG_PSR_L, val);
 730         ia64_srlz_i();
 731 }
 732
 733 static inline void
 734 pfm_freeze_pmu(void)
 735 {
 736         ia64_set_pmc(0,1UL);
 737         ia64_srlz_d();
 738 }
 739
 740 static inline void
 741 pfm_unfreeze_pmu(void)
 742 {
 743         ia64_set_pmc(0,0UL);
 744         ia64_srlz_d();
 745 }
 746
 747 static inline void
 748 pfm_restore_ibrs(unsigned long *ibrs, unsigned int nibrs)
 749 {
 750         int i;
 751
 752         for (i=0; i < nibrs; i++) {
 753                 ia64_set_ibr(i, ibrs[i]);
 754                 ia64_dv_serialize_instruction();
 755         }
 756         ia64_srlz_i();
 757 }
 758
 759 static inline void
 760 pfm_restore_dbrs(unsigned long *dbrs, unsigned int ndbrs)
 761 {
 762         int i;
 763
 764         for (i=0; i < ndbrs; i++) {
 765                 ia64_set_dbr(i, dbrs[i]);
 766                 ia64_dv_serialize_data();
 767         }
 768         ia64_srlz_d();
 769 }
 770
 771 /*
 772  * PMD[i] must be a counter. no check is made
 773  */
 774 static inline unsigned long
 775 pfm_read_soft_counter(pfm_context_t *ctx, int i)
 776 {
 777         return ctx->ctx_pmds[i].val + (ia64_get_pmd(i) & pmu_conf->ovfl_val);
 778 }
 779
 780 /*
 781  * PMD[i] must be a counter. no check is made
 782  */
 783 static inline void
 784 pfm_write_soft_counter(pfm_context_t *ctx, int i, unsigned long val)
 785 {
 786         unsigned long ovfl_val = pmu_conf->ovfl_val;
 787
 788         ctx->ctx_pmds[i].val = val  & ~ovfl_val;
 789         /*
 790          * writing to unimplemented part is ignore, so we do not need to
 791          * mask off top part
 792          */
 793         ia64_set_pmd(i, val & ovfl_val);
 794 }
 795
 796 static pfm_msg_t *
 797 pfm_get_new_msg(pfm_context_t *ctx)
 798 {
 799         int idx, next;
 800
 801         next = (ctx->ctx_msgq_tail+1) % PFM_MAX_MSGS;
 802
 803         DPRINT(("ctx_fd=%p head=%d tail=%d\n", ctx, ctx->ctx_msgq_head, ctx->ctx_msgq_tail));
 804         if (next == ctx->ctx_msgq_head) return NULL;
 805
 806         idx =   ctx->ctx_msgq_tail;
 807         ctx->ctx_msgq_tail = next;
 808
 809         DPRINT(("ctx=%p head=%d tail=%d msg=%d\n", ctx, ctx->ctx_msgq_head, ctx->ctx_msgq_tail, idx));
 810
 811         return ctx->ctx_msgq+idx;
 812 }
 813
 814 static pfm_msg_t *
 815 pfm_get_next_msg(pfm_context_t *ctx)
 816 {
 817         pfm_msg_t *msg;
 818
 819         DPRINT(("ctx=%p head=%d tail=%d\n", ctx, ctx->ctx_msgq_head, ctx->ctx_msgq_tail));
 820
 821         if (PFM_CTXQ_EMPTY(ctx)) return NULL;
 822
 823         /*
 824          * get oldest message
 825          */
 826         msg = ctx->ctx_msgq+ctx->ctx_msgq_head;
 827
 828         /*
 829          * and move forward
 830          */
 831         ctx->ctx_msgq_head = (ctx->ctx_msgq_head+1) % PFM_MAX_MSGS;
 832
 833         DPRINT(("ctx=%p head=%d tail=%d type=%d\n", ctx, ctx->ctx_msgq_head, ctx->ctx_msgq_tail, msg->pfm_gen_msg.msg_type));
 834
 835         return msg;
 836 }
 837
 838 static void
 839 pfm_reset_msgq(pfm_context_t *ctx)
 840 {
 841         ctx->ctx_msgq_head = ctx->ctx_msgq_tail = 0;
 842         DPRINT(("ctx=%p msgq reset\n", ctx));
 843 }
 844
 845 static void *
 846 pfm_rvmalloc(unsigned long size)
 847 {
 848         void *mem;
 849         unsigned long addr;
 850
 851         size = PAGE_ALIGN(size);
 852         mem  = vmalloc(size);
 853         if (mem) {
 854                 //printk("perfmon: CPU%d pfm_rvmalloc(%ld)=%p\n", smp_processor_id(), size, mem);
 855                 memset(mem, 0, size);
 856                 addr = (unsigned long)mem;
 857                 while (size > 0) {
 858                         pfm_reserve_page(addr);
 859                         addr+=PAGE_SIZE;
 860                         size-=PAGE_SIZE;
 861                 }
 862         }
 863         return mem;
 864 }
 865
 866 static void
 867 pfm_rvfree(void *mem, unsigned long size)
 868 {
 869         unsigned long addr;
 870
 871         if (mem) {
 872                 DPRINT(("freeing physical buffer @%p size=%lu\n", mem, size));
 873                 addr = (unsigned long) mem;
 874                 while ((long) size > 0) {
 875                         pfm_unreserve_page(addr);
 876                         addr+=PAGE_SIZE;
 877                         size-=PAGE_SIZE;
 878                 }
 879                 vfree(mem);
 880         }
 881         return;
 882 }
 883
 884 static pfm_context_t *
 885 pfm_context_alloc(void)
 886 {
 887         pfm_context_t *ctx;
 888
 889         /*
 890          * allocate context descriptor
 891          * must be able to free with interrupts disabled
 892          */
 893         ctx = kzalloc(sizeof(pfm_context_t), GFP_KERNEL);
 894         if (ctx) {
 895                 DPRINT(("alloc ctx @%p\n", ctx));
 896         }
 897         return ctx;
 898 }
 899
 900 static void
 901 pfm_context_free(pfm_context_t *ctx)
 902 {
 903         if (ctx) {
 904                 DPRINT(("free ctx @%p\n", ctx));
 905                 kfree(ctx);
 906         }
 907 }
 908
 909 static void
 910 pfm_mask_monitoring(struct task_struct *task)
 911 {
 912         pfm_context_t *ctx = PFM_GET_CTX(task);
 913         unsigned long mask, val, ovfl_mask;
 914         int i;
 915
 916         DPRINT_ovfl(("masking monitoring for [%d]\n", task->pid));
 917
 918         ovfl_mask = pmu_conf->ovfl_val;
 919         /*
 920          * monitoring can only be masked as a result of a valid
 921          * counter overflow. In UP, it means that the PMU still
 922          * has an owner. Note that the owner can be different
 923          * from the current task. However the PMU state belongs
 924          * to the owner.
 925          * In SMP, a valid overflow only happens when task is
 926          * current. Therefore if we come here, we know that
 927          * the PMU state belongs to the current task, therefore
 928          * we can access the live registers.
 929          *
 930          * So in both cases, the live register contains the owner's
 931          * state. We can ONLY touch the PMU registers and NOT the PSR.
 932          *
 933          * As a consequence to this call, the ctx->th_pmds[] array
 934          * contains stale information which must be ignored
 935          * when context is reloaded AND monitoring is active (see
 936          * pfm_restart).
 937          */
 938         mask = ctx->ctx_used_pmds[0];
 939         for (i = 0; mask; i++, mask>>=1) {
 940                 /* skip non used pmds */
 941                 if ((mask & 0x1) == 0) continue;
 942                 val = ia64_get_pmd(i);
 943
 944                 if (PMD_IS_COUNTING(i)) {
 945                         /*
 946                          * we rebuild the full 64 bit value of the counter
 947                          */
 948                         ctx->ctx_pmds[i].val += (val & ovfl_mask);
 949                 } else {
 950                         ctx->ctx_pmds[i].val = val;
 951                 }
 952                 DPRINT_ovfl(("pmd[%d]=0x%lx hw_pmd=0x%lx\n",
 953                         i,
 954                         ctx->ctx_pmds[i].val,
 955                         val & ovfl_mask));
 956         }
 957         /*
 958          * mask monitoring by setting the privilege level to 0
 959          * we cannot use psr.pp/psr.up for this, it is controlled by
 960          * the user
 961          *
 962          * if task is current, modify actual registers, otherwise modify
 963          * thread save state, i.e., what will be restored in pfm_load_regs()
 964          */
 965         mask = ctx->ctx_used_monitors[0] >> PMU_FIRST_COUNTER;
 966         for(i= PMU_FIRST_COUNTER; mask; i++, mask>>=1) {
 967                 if ((mask & 0x1) == 0UL) continue;
 968                 ia64_set_pmc(i, ctx->th_pmcs[i] & ~0xfUL);
 969                 ctx->th_pmcs[i] &= ~0xfUL;
 970                 DPRINT_ovfl(("pmc[%d]=0x%lx\n", i, ctx->th_pmcs[i]));
 971         }
 972         /*
 973          * make all of this visible
 974          */
 975         ia64_srlz_d();
 976 }
 977
 978 /*
 979  * must always be done with task == current
 980  *
 981  * context must be in MASKED state when calling
 982  */
 983 static void
 984 pfm_restore_monitoring(struct task_struct *task)
 985 {
 986         pfm_context_t *ctx = PFM_GET_CTX(task);
 987         unsigned long mask, ovfl_mask;
 988         unsigned long psr, val;
 989         int i, is_system;
 990
 991         is_system = ctx->ctx_fl_system;
 992         ovfl_mask = pmu_conf->ovfl_val;
 993
 994         if (task != current) {
 995                 printk(KERN_ERR "perfmon.%d: invalid task[%d] current[%d]\n", __LINE__, task->pid, current->pid);
 996                 return;
 997         }
 998         if (ctx->ctx_state != PFM_CTX_MASKED) {
 999                 printk(KERN_ERR "perfmon.%d: task[%d] current[%d] invalid state=%d\n", __LINE__,
1000                         task->pid, current->pid, ctx->ctx_state);
1001                 return;
1002         }
1003         psr = pfm_get_psr();
1004         /*
1005          * monitoring is masked via the PMC.
1006          * As we restore their value, we do not want each counter to
1007          * restart right away. We stop monitoring using the PSR,
1008          * restore the PMC (and PMD) and then re-establish the psr
1009          * as it was. Note that there can be no pending overflow at
1010          * this point, because monitoring was MASKED.
1011          *
1012          * system-wide session are pinned and self-monitoring
1013          */
1014         if (is_system && (PFM_CPUINFO_GET() & PFM_CPUINFO_DCR_PP)) {
1015                 /* disable dcr pp */
1016                 ia64_setreg(_IA64_REG_CR_DCR, ia64_getreg(_IA64_REG_CR_DCR) & ~IA64_DCR_PP);
1017                 pfm_clear_psr_pp();
1018         } else {
1019                 pfm_clear_psr_up();
1020         }
1021         /*
1022          * first, we restore the PMD
1023          */
1024         mask = ctx->ctx_used_pmds[0];
1025         for (i = 0; mask; i++, mask>>=1) {
1026                 /* skip non used pmds */
1027                 if ((mask & 0x1) == 0) continue;
1028
1029                 if (PMD_IS_COUNTING(i)) {
1030                         /*
1031                          * we split the 64bit value according to
1032                          * counter width
1033                          */
1034                         val = ctx->ctx_pmds[i].val & ovfl_mask;
1035                         ctx->ctx_pmds[i].val &= ~ovfl_mask;
1036                 } else {
1037                         val = ctx->ctx_pmds[i].val;
1038                 }
1039                 ia64_set_pmd(i, val);
1040
1041                 DPRINT(("pmd[%d]=0x%lx hw_pmd=0x%lx\n",
1042                         i,
1043                         ctx->ctx_pmds[i].val,
1044                         val));
1045         }
1046         /*
1047          * restore the PMCs
1048          */
1049         mask = ctx->ctx_used_monitors[0] >> PMU_FIRST_COUNTER;
1050         for(i= PMU_FIRST_COUNTER; mask; i++, mask>>=1) {
1051                 if ((mask & 0x1) == 0UL) continue;
1052                 ctx->th_pmcs[i] = ctx->ctx_pmcs[i];
1053                 ia64_set_pmc(i, ctx->th_pmcs[i]);
1054                 DPRINT(("[%d] pmc[%d]=0x%lx\n", task->pid, i, ctx->th_pmcs[i]));
1055         }
1056         ia64_srlz_d();
1057
1058         /*
1059          * must restore DBR/IBR because could be modified while masked
1060          * XXX: need to optimize
1061          */
1062         if (ctx->ctx_fl_using_dbreg) {
1063                 pfm_restore_ibrs(ctx->ctx_ibrs, pmu_conf->num_ibrs);
1064                 pfm_restore_dbrs(ctx->ctx_dbrs, pmu_conf->num_dbrs);
1065         }
1066
1067         /*
1068          * now restore PSR
1069          */
1070         if (is_system && (PFM_CPUINFO_GET() & PFM_CPUINFO_DCR_PP)) {
1071                 /* enable dcr pp */
1072                 ia64_setreg(_IA64_REG_CR_DCR, ia64_getreg(_IA64_REG_CR_DCR) | IA64_DCR_PP);
1073                 ia64_srlz_i();
1074         }
1075         pfm_set_psr_l(psr);
1076 }
1077
1078 static inline void
1079 pfm_save_pmds(unsigned long *pmds, unsigned long mask)
1080 {
1081         int i;
1082
1083         ia64_srlz_d();
1084
1085         for (i=0; mask; i++, mask>>=1) {
1086                 if (mask & 0x1) pmds[i] = ia64_get_pmd(i);
1087         }
1088 }
1089
1090 /*
1091  * reload from thread state (used for ctxw only)
1092  */
1093 static inline void
1094 pfm_restore_pmds(unsigned long *pmds, unsigned long mask)
1095 {
1096         int i;
1097         unsigned long val, ovfl_val = pmu_conf->ovfl_val;
1098
1099         for (i=0; mask; i++, mask>>=1) {
1100                 if ((mask & 0x1) == 0) continue;
1101                 val = PMD_IS_COUNTING(i) ? pmds[i] & ovfl_val : pmds[i];
1102                 ia64_set_pmd(i, val);
1103         }
1104         ia64_srlz_d();
1105 }
1106
1107 /*
1108  * propagate PMD from context to thread-state
1109  */
1110 static inline void
1111 pfm_copy_pmds(struct task_struct *task, pfm_context_t *ctx)
1112 {
1113         unsigned long ovfl_val = pmu_conf->ovfl_val;
1114         unsigned long mask = ctx->ctx_all_pmds[0];
1115         unsigned long val;
1116         int i;
1117
1118         DPRINT(("mask=0x%lx\n", mask));
1119
1120         for (i=0; mask; i++, mask>>=1) {
1121
1122                 val = ctx->ctx_pmds[i].val;
1123
1124                 /*
1125                  * We break up the 64 bit value into 2 pieces
1126                  * the lower bits go to the machine state in the
1127                  * thread (will be reloaded on ctxsw in).
1128                  * The upper part stays in the soft-counter.
1129                  */
1130                 if (PMD_IS_COUNTING(i)) {
1131                         ctx->ctx_pmds[i].val = val & ~ovfl_val;
1132                          val &= ovfl_val;
1133                 }
1134                 ctx->th_pmds[i] = val;
1135
1136                 DPRINT(("pmd[%d]=0x%lx soft_val=0x%lx\n",
1137                         i,
1138                         ctx->th_pmds[i],
1139                         ctx->ctx_pmds[i].val));
1140         }
1141 }
1142
1143 /*
1144  * propagate PMC from context to thread-state
1145  */
1146 static inline void
1147 pfm_copy_pmcs(struct task_struct *task, pfm_context_t *ctx)
1148 {
1149         unsigned long mask = ctx->ctx_all_pmcs[0];
1150         int i;
1151
1152         DPRINT(("mask=0x%lx\n", mask));
1153
1154         for (i=0; mask; i++, mask>>=1) {
1155                 /* masking 0 with ovfl_val yields 0 */
1156                 ctx->th_pmcs[i] = ctx->ctx_pmcs[i];
1157                 DPRINT(("pmc[%d]=0x%lx\n", i, ctx->th_pmcs[i]));
1158         }
1159 }
1160
1161
1162
1163 static inline void
1164 pfm_restore_pmcs(unsigned long *pmcs, unsigned long mask)
1165 {
1166         int i;
1167
1168         for (i=0; mask; i++, mask>>=1) {
1169                 if ((mask & 0x1) == 0) continue;
1170                 ia64_set_pmc(i, pmcs[i]);
1171         }
1172         ia64_srlz_d();
1173 }
1174
1175 static inline int
1176 pfm_uuid_cmp(pfm_uuid_t a, pfm_uuid_t b)
1177 {
1178         return memcmp(a, b, sizeof(pfm_uuid_t));
1179 }
1180
1181 static inline int
1182 pfm_buf_fmt_exit(pfm_buffer_fmt_t *fmt, struct task_struct *task, void *buf, struct pt_regs *regs)
1183 {
1184         int ret = 0;
1185         if (fmt->fmt_exit) ret = (*fmt->fmt_exit)(task, buf, regs);
1186         return ret;
1187 }
1188
1189 static inline int
1190 pfm_buf_fmt_getsize(pfm_buffer_fmt_t *fmt, struct task_struct *task, unsigned int flags, int cpu, void *arg, unsigned long *size)
1191 {
1192         int ret = 0;
1193         if (fmt->fmt_getsize) ret = (*fmt->fmt_getsize)(task, flags, cpu, arg, size);
1194         return ret;
1195 }
1196
1197
1198 static inline int
1199 pfm_buf_fmt_validate(pfm_buffer_fmt_t *fmt, struct task_struct *task, unsigned int flags,
1200                      int cpu, void *arg)
1201 {
1202         int ret = 0;
1203         if (fmt->fmt_validate) ret = (*fmt->fmt_validate)(task, flags, cpu, arg);
1204         return ret;
1205 }
1206
1207 static inline int
1208 pfm_buf_fmt_init(pfm_buffer_fmt_t *fmt, struct task_struct *task, void *buf, unsigned int flags,
1209                      int cpu, void *arg)
1210 {
1211         int ret = 0;
1212         if (fmt->fmt_init) ret = (*fmt->fmt_init)(task, buf, flags, cpu, arg);
1213         return ret;
1214 }
1215
1216 static inline int
1217 pfm_buf_fmt_restart(pfm_buffer_fmt_t *fmt, struct task_struct *task, pfm_ovfl_ctrl_t *ctrl, void *buf, struct pt_regs *regs)
1218 {
1219         int ret = 0;
1220         if (fmt->fmt_restart) ret = (*fmt->fmt_restart)(task, ctrl, buf, regs);
1221         return ret;
1222 }
1223
1224 static inline int
1225 pfm_buf_fmt_restart_active(pfm_buffer_fmt_t *fmt, struct task_struct *task, pfm_ovfl_ctrl_t *ctrl, void *buf, struct pt_regs *regs)
1226 {
1227         int ret = 0;
1228         if (fmt->fmt_restart_active) ret = (*fmt->fmt_restart_active)(task, ctrl, buf, regs);
1229         return ret;
1230 }
1231
1232 static pfm_buffer_fmt_t *
1233 __pfm_find_buffer_fmt(pfm_uuid_t uuid)
1234 {
1235         struct list_head * pos;
1236         pfm_buffer_fmt_t * entry;
1237
1238         list_for_each(pos, &pfm_buffer_fmt_list) {
1239                 entry = list_entry(pos, pfm_buffer_fmt_t, fmt_list);
1240                 if (pfm_uuid_cmp(uuid, entry->fmt_uuid) == 0)
1241                         return entry;
1242         }
1243         return NULL;
1244 }
1245
1246 /*
1247  * find a buffer format based on its uuid
1248  */
1249 static pfm_buffer_fmt_t *
1250 pfm_find_buffer_fmt(pfm_uuid_t uuid)
1251 {
1252         pfm_buffer_fmt_t * fmt;
1253         spin_lock(&pfm_buffer_fmt_lock);
1254         fmt = __pfm_find_buffer_fmt(uuid);
1255         spin_unlock(&pfm_buffer_fmt_lock);
1256         return fmt;
1257 }
1258
1259 int
1260 pfm_register_buffer_fmt(pfm_buffer_fmt_t *fmt)
1261 {
1262         int ret = 0;
1263
1264         /* some sanity checks */
1265         if (fmt == NULL || fmt->fmt_name == NULL) return -EINVAL;
1266
1267         /* we need at least a handler */
1268         if (fmt->fmt_handler == NULL) return -EINVAL;
1269
1270         /*
1271          * XXX: need check validity of fmt_arg_size
1272          */
1273
1274         spin_lock(&pfm_buffer_fmt_lock);
1275
1276         if (__pfm_find_buffer_fmt(fmt->fmt_uuid)) {
1277                 printk(KERN_ERR "perfmon: duplicate sampling format: %s\n", fmt->fmt_name);
1278                 ret = -EBUSY;
1279                 goto out;
1280         }
1281         list_add(&fmt->fmt_list, &pfm_buffer_fmt_list);
1282         printk(KERN_INFO "perfmon: added sampling format %s\n", fmt->fmt_name);
1283
1284 out:
1285         spin_unlock(&pfm_buffer_fmt_lock);
1286         return ret;
1287 }
1288 EXPORT_SYMBOL(pfm_register_buffer_fmt);
1289
1290 int
1291 pfm_unregister_buffer_fmt(pfm_uuid_t uuid)
1292 {
1293         pfm_buffer_fmt_t *fmt;
1294         int ret = 0;
1295
1296         spin_lock(&pfm_buffer_fmt_lock);
1297
1298         fmt = __pfm_find_buffer_fmt(uuid);
1299         if (!fmt) {
1300                 printk(KERN_ERR "perfmon: cannot unregister format, not found\n");
1301                 ret = -EINVAL;
1302                 goto out;
1303         }
1304         list_del_init(&fmt->fmt_list);
1305         printk(KERN_INFO "perfmon: removed sampling format: %s\n", fmt->fmt_name);
1306
1307 out:
1308         spin_unlock(&pfm_buffer_fmt_lock);
1309         return ret;
1310
1311 }
1312 EXPORT_SYMBOL(pfm_unregister_buffer_fmt);
1313
1314 extern void update_pal_halt_status(int);
1315
1316 static int
1317 pfm_reserve_session(struct task_struct *task, int is_syswide, unsigned int cpu)
1318 {
1319         unsigned long flags;
1320         /*
1321          * validity checks on cpu_mask have been done upstream
1322          */
1323         LOCK_PFS(flags);
1324
1325         DPRINT(("in sys_sessions=%u task_sessions=%u dbregs=%u syswide=%d cpu=%u\n",
1326                 pfm_sessions.pfs_sys_sessions,
1327                 pfm_sessions.pfs_task_sessions,
1328                 pfm_sessions.pfs_sys_use_dbregs,
1329                 is_syswide,
1330                 cpu));
1331
1332         if (is_syswide) {
1333                 /*
1334                  * cannot mix system wide and per-task sessions
1335                  */
1336                 if (pfm_sessions.pfs_task_sessions > 0UL) {
1337                         DPRINT(("system wide not possible, %u conflicting task_sessions\n",
1338                                 pfm_sessions.pfs_task_sessions));
1339                         goto abort;
1340                 }
1341
1342                 if (pfm_sessions.pfs_sys_session[cpu]) goto error_conflict;
1343
1344                 DPRINT(("reserving system wide session on CPU%u currently on CPU%u\n", cpu, smp_processor_id()));
1345
1346                 pfm_sessions.pfs_sys_session[cpu] = task;
1347
1348                 pfm_sessions.pfs_sys_sessions++ ;
1349
1350         } else {
1351                 if (pfm_sessions.pfs_sys_sessions) goto abort;
1352                 pfm_sessions.pfs_task_sessions++;
1353         }
1354
1355         DPRINT(("out sys_sessions=%u task_sessions=%u dbregs=%u syswide=%d cpu=%u\n",
1356                 pfm_sessions.pfs_sys_sessions,
1357                 pfm_sessions.pfs_task_sessions,
1358                 pfm_sessions.pfs_sys_use_dbregs,
1359                 is_syswide,
1360                 cpu));
1361
1362         /*
1363          * disable default_idle() to go to PAL_HALT
1364          */
1365         update_pal_halt_status(0);
1366
1367         UNLOCK_PFS(flags);
1368
1369         return 0;
1370
1371 error_conflict:
1372         DPRINT(("system wide not possible, conflicting session [%d] on CPU%d\n",
1373                 pfm_sessions.pfs_sys_session[cpu]->pid,
1374                 cpu));
1375 abort:
1376         UNLOCK_PFS(flags);
1377
1378         return -EBUSY;
1379
1380 }
1381
1382 static int
1383 pfm_unreserve_session(pfm_context_t *ctx, int is_syswide, unsigned int cpu)
1384 {
1385         unsigned long flags;
1386         /*
1387          * validity checks on cpu_mask have been done upstream
1388          */
1389         LOCK_PFS(flags);
1390
1391         DPRINT(("in sys_sessions=%u task_sessions=%u dbregs=%u syswide=%d cpu=%u\n",
1392                 pfm_sessions.pfs_sys_sessions,
1393                 pfm_sessions.pfs_task_sessions,
1394                 pfm_sessions.pfs_sys_use_dbregs,
1395                 is_syswide,
1396                 cpu));
1397
1398
1399         if (is_syswide) {
1400                 pfm_sessions.pfs_sys_session[cpu] = NULL;
1401                 /*
1402                  * would not work with perfmon+more than one bit in cpu_mask
1403                  */
1404                 if (ctx && ctx->ctx_fl_using_dbreg) {
1405                         if (pfm_sessions.pfs_sys_use_dbregs == 0) {
1406                                 printk(KERN_ERR "perfmon: invalid release for ctx %p sys_use_dbregs=0\n", ctx);
1407                         } else {
1408                                 pfm_sessions.pfs_sys_use_dbregs--;
1409                         }
1410                 }
1411                 pfm_sessions.pfs_sys_sessions--;
1412         } else {
1413                 pfm_sessions.pfs_task_sessions--;
1414         }
1415         DPRINT(("out sys_sessions=%u task_sessions=%u dbregs=%u syswide=%d cpu=%u\n",
1416                 pfm_sessions.pfs_sys_sessions,
1417                 pfm_sessions.pfs_task_sessions,
1418                 pfm_sessions.pfs_sys_use_dbregs,
1419                 is_syswide,
1420                 cpu));
1421
1422         /*
1423          * if possible, enable default_idle() to go into PAL_HALT
1424          */
1425         if (pfm_sessions.pfs_task_sessions == 0 && pfm_sessions.pfs_sys_sessions == 0)
1426                 update_pal_halt_status(1);
1427
1428         UNLOCK_PFS(flags);
1429
1430         return 0;
1431 }
1432
1433 /*
1434  * removes virtual mapping of the sampling buffer.
1435  * IMPORTANT: cannot be called with interrupts disable, e.g. inside
1436  * a PROTECT_CTX() section.
1437  */
1438 static int
1439 pfm_remove_smpl_mapping(struct task_struct *task, void *vaddr, unsigned long size)
1440 {
1441         int r;
1442
1443         /* sanity checks */
1444         if (task->mm == NULL || size == 0UL || vaddr == NULL) {
1445                 printk(KERN_ERR "perfmon: pfm_remove_smpl_mapping [%d] invalid context mm=%p\n", task->pid, task->mm);
1446                 return -EINVAL;
1447         }
1448
1449         DPRINT(("smpl_vaddr=%p size=%lu\n", vaddr, size));
1450
1451         /*
1452          * does the actual unmapping
1453          */
1454         down_write(&task->mm->mmap_sem);
1455
1456         DPRINT(("down_write done smpl_vaddr=%p size=%lu\n", vaddr, size));
1457
1458         r = pfm_do_munmap(task->mm, (unsigned long)vaddr, size, 0);
1459
1460         up_write(&task->mm->mmap_sem);
1461         if (r !=0) {
1462                 printk(KERN_ERR "perfmon: [%d] unable to unmap sampling buffer @%p size=%lu\n", task->pid, vaddr, size);
1463         }
1464
1465         DPRINT(("do_unmap(%p, %lu)=%d\n", vaddr, size, r));
1466
1467         return 0;
1468 }
1469
1470 /*
1471  * free actual physical storage used by sampling buffer
1472  */
1473 #if 0
1474 static int
1475 pfm_free_smpl_buffer(pfm_context_t *ctx)
1476 {
1477         pfm_buffer_fmt_t *fmt;
1478
1479         if (ctx->ctx_smpl_hdr == NULL) goto invalid_free;
1480
1481         /*
1482          * we won't use the buffer format anymore
1483          */
1484         fmt = ctx->ctx_buf_fmt;
1485
1486         DPRINT(("sampling buffer @%p size %lu vaddr=%p\n",
1487                 ctx->ctx_smpl_hdr,
1488                 ctx->ctx_smpl_size,
1489                 ctx->ctx_smpl_vaddr));
1490
1491         pfm_buf_fmt_exit(fmt, current, NULL, NULL);
1492
1493         /*
1494          * free the buffer
1495          */
1496         pfm_rvfree(ctx->ctx_smpl_hdr, ctx->ctx_smpl_size);
1497
1498         ctx->ctx_smpl_hdr  = NULL;
1499         ctx->ctx_smpl_size = 0UL;
1500
1501         return 0;
1502
1503 invalid_free:
1504         printk(KERN_ERR "perfmon: pfm_free_smpl_buffer [%d] no buffer\n", current->pid);
1505         return -EINVAL;
1506 }
1507 #endif
1508
1509 static inline void
1510 pfm_exit_smpl_buffer(pfm_buffer_fmt_t *fmt)
1511 {
1512         if (fmt == NULL) return;
1513
1514         pfm_buf_fmt_exit(fmt, current, NULL, NULL);
1515
1516 }
1517
1518 /*
1519  * pfmfs should _never_ be mounted by userland - too much of security hassle,
1520  * no real gain from having the whole whorehouse mounted. So we don't need
1521  * any operations on the root directory. However, we need a non-trivial
1522  * d_name - pfm: will go nicely and kill the special-casing in procfs.
1523  */
1524 static struct vfsmount *pfmfs_mnt;
1525
1526 static int __init
1527 init_pfm_fs(void)
1528 {
1529         int err = register_filesystem(&pfm_fs_type);
1530         if (!err) {
1531                 pfmfs_mnt = kern_mount(&pfm_fs_type);
1532                 err = PTR_ERR(pfmfs_mnt);
1533                 if (IS_ERR(pfmfs_mnt))
1534                         unregister_filesystem(&pfm_fs_type);
1535                 else
1536                         err = 0;
1537         }
1538         return err;
1539 }
1540
1541 static ssize_t
1542 pfm_read(struct file *filp, char __user *buf, size_t size, loff_t *ppos)
1543 {
1544         pfm_context_t *ctx;
1545         pfm_msg_t *msg;
1546         ssize_t ret;
1547         unsigned long flags;
1548         DECLARE_WAITQUEUE(wait, current);
1549         if (PFM_IS_FILE(filp) == 0) {
1550                 printk(KERN_ERR "perfmon: pfm_poll: bad magic [%d]\n", current->pid);
1551                 return -EINVAL;
1552         }
1553
1554         ctx = (pfm_context_t *)filp->private_data;
1555         if (ctx == NULL) {
1556                 printk(KERN_ERR "perfmon: pfm_read: NULL ctx [%d]\n", current->pid);
1557                 return -EINVAL;
1558         }
1559
1560         /*
1561          * check even when there is no message
1562          */
1563         if (size < sizeof(pfm_msg_t)) {
1564                 DPRINT(("message is too small ctx=%p (>=%ld)\n", ctx, sizeof(pfm_msg_t)));
1565                 return -EINVAL;
1566         }
1567
1568         PROTECT_CTX(ctx, flags);
1569
1570         /*
1571          * put ourselves on the wait queue
1572          */
1573         add_wait_queue(&ctx->ctx_msgq_wait, &wait);
1574
1575
1576         for(;;) {
1577                 /*
1578                  * check wait queue
1579                  */
1580
1581                 set_current_state(TASK_INTERRUPTIBLE);
1582
1583                 DPRINT(("head=%d tail=%d\n", ctx->ctx_msgq_head, ctx->ctx_msgq_tail));
1584
1585                 ret = 0;
1586                 if(PFM_CTXQ_EMPTY(ctx) == 0) break;
1587
1588                 UNPROTECT_CTX(ctx, flags);
1589
1590                 /*
1591                  * check non-blocking read
1592                  */
1593                 ret = -EAGAIN;
1594                 if(filp->f_flags & O_NONBLOCK) break;
1595
1596                 /*
1597                  * check pending signals
1598                  */
1599                 if(signal_pending(current)) {
1600                         ret = -EINTR;
1601                         break;
1602                 }
1603                 /*
1604                  * no message, so wait
1605                  */
1606                 schedule();
1607
1608                 PROTECT_CTX(ctx, flags);
1609         }
1610         DPRINT(("[%d] back to running ret=%ld\n", current->pid, ret));
1611         set_current_state(TASK_RUNNING);
1612         remove_wait_queue(&ctx->ctx_msgq_wait, &wait);
1613
1614         if (ret < 0) goto abort;
1615
1616         ret = -EINVAL;
1617         msg = pfm_get_next_msg(ctx);
1618         if (msg == NULL) {
1619                 printk(KERN_ERR "perfmon: pfm_read no msg for ctx=%p [%d]\n", ctx, current->pid);
1620                 goto abort_locked;
1621         }
1622
1623         DPRINT(("fd=%d type=%d\n", msg->pfm_gen_msg.msg_ctx_fd, msg->pfm_gen_msg.msg_type));
1624
1625         ret = -EFAULT;
1626         if(copy_to_user(buf, msg, sizeof(pfm_msg_t)) == 0) ret = sizeof(pfm_msg_t);
1627
1628 abort_locked:
1629         UNPROTECT_CTX(ctx, flags);
1630 abort:
1631         return ret;
1632 }
1633
1634 static ssize_t
1635 pfm_write(struct file *file, const char __user *ubuf,
1636                           size_t size, loff_t *ppos)
1637 {
1638         DPRINT(("pfm_write called\n"));
1639         return -EINVAL;
1640 }
1641
1642 static unsigned int
1643 pfm_poll(struct file *filp, poll_table * wait)
1644 {
1645         pfm_context_t *ctx;
1646         unsigned long flags;
1647         unsigned int mask = 0;
1648
1649         if (PFM_IS_FILE(filp) == 0) {
1650                 printk(KERN_ERR "perfmon: pfm_poll: bad magic [%d]\n", current->pid);
1651                 return 0;
1652         }
1653
1654         ctx = (pfm_context_t *)filp->private_data;
1655         if (ctx == NULL) {
1656                 printk(KERN_ERR "perfmon: pfm_poll: NULL ctx [%d]\n", current->pid);
1657                 return 0;
1658         }
1659
1660
1661         DPRINT(("pfm_poll ctx_fd=%d before poll_wait\n", ctx->ctx_fd));
1662
1663         poll_wait(filp, &ctx->ctx_msgq_wait, wait);
1664
1665         PROTECT_CTX(ctx, flags);
1666
1667         if (PFM_CTXQ_EMPTY(ctx) == 0)
1668                 mask =  POLLIN | POLLRDNORM;
1669
1670         UNPROTECT_CTX(ctx, flags);
1671
1672         DPRINT(("pfm_poll ctx_fd=%d mask=0x%x\n", ctx->ctx_fd, mask));
1673
1674         return mask;
1675 }
1676
1677 static int
1678 pfm_ioctl(struct inode *inode, struct file *file, unsigned int cmd, unsigned long arg)
1679 {
1680         DPRINT(("pfm_ioctl called\n"));
1681         return -EINVAL;
1682 }
1683
1684 /*
1685  * interrupt cannot be masked when coming here
1686  */
1687 static inline int
1688 pfm_do_fasync(int fd, struct file *filp, pfm_context_t *ctx, int on)
1689 {
1690         int ret;
1691
1692         ret = fasync_helper (fd, filp, on, &ctx->ctx_async_queue);
1693
1694         DPRINT(("pfm_fasync called by [%d] on ctx_fd=%d on=%d async_queue=%p ret=%d\n",
1695                 current->pid,
1696                 fd,
1697                 on,
1698                 ctx->ctx_async_queue, ret));
1699
1700         return ret;
1701 }
1702
1703 static int
1704 pfm_fasync(int fd, struct file *filp, int on)
1705 {
1706         pfm_context_t *ctx;
1707         int ret;
1708
1709         if (PFM_IS_FILE(filp) == 0) {
1710                 printk(KERN_ERR "perfmon: pfm_fasync bad magic [%d]\n", current->pid);
1711                 return -EBADF;
1712         }
1713
1714         ctx = (pfm_context_t *)filp->private_data;
1715         if (ctx == NULL) {
1716                 printk(KERN_ERR "perfmon: pfm_fasync NULL ctx [%d]\n", current->pid);
1717                 return -EBADF;
1718         }
1719         /*
1720          * we cannot mask interrupts during this call because this may
1721          * may go to sleep if memory is not readily avalaible.
1722          *
1723          * We are protected from the conetxt disappearing by the get_fd()/put_fd()
1724          * done in caller. Serialization of this function is ensured by caller.
1725          */
1726         ret = pfm_do_fasync(fd, filp, ctx, on);
1727
1728
1729         DPRINT(("pfm_fasync called on ctx_fd=%d on=%d async_queue=%p ret=%d\n",
1730                 fd,
1731                 on,
1732                 ctx->ctx_async_queue, ret));
1733
1734         return ret;
1735 }
1736
1737 #ifdef CONFIG_SMP
1738 /*
1739  * this function is exclusively called from pfm_close().
1740  * The context is not protected at that time, nor are interrupts
1741  * on the remote CPU. That's necessary to avoid deadlocks.
1742  */
1743 static void
1744 pfm_syswide_force_stop(void *info)
1745 {
1746         pfm_context_t   *ctx = (pfm_context_t *)info;
1747         struct pt_regs *regs = task_pt_regs(current);
1748         struct task_struct *owner;
1749         unsigned long flags;
1750         int ret;
1751
1752         if (ctx->ctx_cpu != smp_processor_id()) {
1753                 printk(KERN_ERR "perfmon: pfm_syswide_force_stop for CPU%d  but on CPU%d\n",
1754                         ctx->ctx_cpu,
1755                         smp_processor_id());
1756                 return;
1757         }
1758         owner = GET_PMU_OWNER();
1759         if (owner != ctx->ctx_task) {
1760                 printk(KERN_ERR "perfmon: pfm_syswide_force_stop CPU%d unexpected owner [%d] instead of [%d]\n",
1761                         smp_processor_id(),
1762                         owner->pid, ctx->ctx_task->pid);
1763                 return;
1764         }
1765         if (GET_PMU_CTX() != ctx) {
1766                 printk(KERN_ERR "perfmon: pfm_syswide_force_stop CPU%d unexpected ctx %p instead of %p\n",
1767                         smp_processor_id(),
1768                         GET_PMU_CTX(), ctx);
1769                 return;
1770         }
1771
1772         DPRINT(("on CPU%d forcing system wide stop for [%d]\n", smp_processor_id(), ctx->ctx_task->pid));
1773         /*
1774          * the context is already protected in pfm_close(), we simply
1775          * need to mask interrupts to avoid a PMU interrupt race on
1776          * this CPU
1777          */
1778         local_irq_save(flags);
1779
1780         ret = pfm_context_unload(ctx, NULL, 0, regs);
1781         if (ret) {
1782                 DPRINT(("context_unload returned %d\n", ret));
1783         }
1784
1785         /*
1786          * unmask interrupts, PMU interrupts are now spurious here
1787          */
1788         local_irq_restore(flags);
1789 }
1790
1791 static void
1792 pfm_syswide_cleanup_other_cpu(pfm_context_t *ctx)
1793 {
1794         int ret;
1795
1796         DPRINT(("calling CPU%d for cleanup\n", ctx->ctx_cpu));
1797         ret = smp_call_function_single(ctx->ctx_cpu, pfm_syswide_force_stop, ctx, 0, 1);
1798         DPRINT(("called CPU%d for cleanup ret=%d\n", ctx->ctx_cpu, ret));
1799 }
1800 #endif /* CONFIG_SMP */
1801
1802 /*
1803  * called for each close(). Partially free resources.
1804  * When caller is self-monitoring, the context is unloaded.
1805  */
1806 static int
1807 pfm_flush(struct file *filp, fl_owner_t id)
1808 {
1809         pfm_context_t *ctx;
1810         struct task_struct *task;
1811         struct pt_regs *regs;
1812         unsigned long flags;
1813         unsigned long smpl_buf_size = 0UL;
1814         void *smpl_buf_vaddr = NULL;
1815         int state, is_system;
1816
1817         if (PFM_IS_FILE(filp) == 0) {
1818                 DPRINT(("bad magic for\n"));
1819                 return -EBADF;
1820         }
1821
1822         ctx = (pfm_context_t *)filp->private_data;
1823         if (ctx == NULL) {
1824                 printk(KERN_ERR "perfmon: pfm_flush: NULL ctx [%d]\n", current->pid);
1825                 return -EBADF;
1826         }
1827
1828         /*
1829          * remove our file from the async queue, if we use this mode.
1830          * This can be done without the context being protected. We come
1831          * here when the context has become unreachable by other tasks.
1832          *
1833          * We may still have active monitoring at this point and we may
1834          * end up in pfm_overflow_handler(). However, fasync_helper()
1835          * operates with interrupts disabled and it cleans up the
1836          * queue. If the PMU handler is called prior to entering
1837          * fasync_helper() then it will send a signal. If it is
1838          * invoked after, it will find an empty queue and no
1839          * signal will be sent. In both case, we are safe
1840          */
1841         if (filp->f_flags & FASYNC) {
1842                 DPRINT(("cleaning up async_queue=%p\n", ctx->ctx_async_queue));
1843                 pfm_do_fasync (-1, filp, ctx, 0);
1844         }
1845
1846         PROTECT_CTX(ctx, flags);
1847
1848         state     = ctx->ctx_state;
1849         is_system = ctx->ctx_fl_system;
1850
1851         task = PFM_CTX_TASK(ctx);
1852         regs = task_pt_regs(task);
1853
1854         DPRINT(("ctx_state=%d is_current=%d\n",
1855                 state,
1856                 task == current ? 1 : 0));
1857
1858         /*
1859          * if state == UNLOADED, then task is NULL
1860          */
1861
1862         /*
1863          * we must stop and unload because we are losing access to the context.
1864          */
1865         if (task == current) {
1866 #ifdef CONFIG_SMP
1867                 /*
1868                  * the task IS the owner but it migrated to another CPU: that's bad
1869                  * but we must handle this cleanly. Unfortunately, the kernel does
1870                  * not provide a mechanism to block migration (while the context is loaded).
1871                  *
1872                  * We need to release the resource on the ORIGINAL cpu.
1873                  */
1874                 if (is_system && ctx->ctx_cpu != smp_processor_id()) {
1875
1876                         DPRINT(("should be running on CPU%d\n", ctx->ctx_cpu));
1877                         /*
1878                          * keep context protected but unmask interrupt for IPI
1879                          */
1880                         local_irq_restore(flags);
1881
1882                         pfm_syswide_cleanup_other_cpu(ctx);
1883
1884                         /*
1885                          * restore interrupt masking
1886                          */
1887                         local_irq_save(flags);
1888
1889                         /*
1890                          * context is unloaded at this point
1891                          */
1892                 } else
1893 #endif /* CONFIG_SMP */
1894                 {
1895
1896                         DPRINT(("forcing unload\n"));
1897                         /*
1898                         * stop and unload, returning with state UNLOADED
1899                         * and session unreserved.
1900                         */
1901                         pfm_context_unload(ctx, NULL, 0, regs);
1902
1903                         DPRINT(("ctx_state=%d\n", ctx->ctx_state));
1904                 }
1905         }
1906
1907         /*
1908          * remove virtual mapping, if any, for the calling task.
1909          * cannot reset ctx field until last user is calling close().
1910          *
1911          * ctx_smpl_vaddr must never be cleared because it is needed
1912          * by every task with access to the context
1913          *
1914          * When called from do_exit(), the mm context is gone already, therefore
1915          * mm is NULL, i.e., the VMA is already gone  and we do not have to
1916          * do anything here
1917          */
1918         if (ctx->ctx_smpl_vaddr && current->mm) {
1919                 smpl_buf_vaddr = ctx->ctx_smpl_vaddr;
1920                 smpl_buf_size  = ctx->ctx_smpl_size;
1921         }
1922
1923         UNPROTECT_CTX(ctx, flags);
1924
1925         /*
1926          * if there was a mapping, then we systematically remove it
1927          * at this point. Cannot be done inside critical section
1928          * because some VM function reenables interrupts.
1929          *
1930          */
1931         if (smpl_buf_vaddr) pfm_remove_smpl_mapping(current, smpl_buf_vaddr, smpl_buf_size);
1932
1933         return 0;
1934 }
1935 /*
1936  * called either on explicit close() or from exit_files().
1937  * Only the LAST user of the file gets to this point, i.e., it is
1938  * called only ONCE.
1939  *
1940  * IMPORTANT: we get called ONLY when the refcnt on the file gets to zero
1941  * (fput()),i.e, last task to access the file. Nobody else can access the
1942  * file at this point.
1943  *
1944  * When called from exit_files(), the VMA has been freed because exit_mm()
1945  * is executed before exit_files().
1946  *
1947  * When called from exit_files(), the current task is not yet ZOMBIE but we
1948  * flush the PMU state to the context.
1949  */
1950 static int
1951 pfm_close(struct inode *inode, struct file *filp)
1952 {
1953         pfm_context_t *ctx;
1954         struct task_struct *task;
1955         struct pt_regs *regs;
1956         DECLARE_WAITQUEUE(wait, current);
1957         unsigned long flags;
1958         unsigned long smpl_buf_size = 0UL;
1959         void *smpl_buf_addr = NULL;
1960         int free_possible = 1;
1961         int state, is_system;
1962
1963         DPRINT(("pfm_close called private=%p\n", filp->private_data));
1964
1965         if (PFM_IS_FILE(filp) == 0) {
1966                 DPRINT(("bad magic\n"));
1967                 return -EBADF;
1968         }
1969
1970         ctx = (pfm_context_t *)filp->private_data;
1971         if (ctx == NULL) {
1972                 printk(KERN_ERR "perfmon: pfm_close: NULL ctx [%d]\n", current->pid);
1973                 return -EBADF;
1974         }
1975
1976         PROTECT_CTX(ctx, flags);
1977
1978         state     = ctx->ctx_state;
1979         is_system = ctx->ctx_fl_system;
1980
1981         task = PFM_CTX_TASK(ctx);
1982         regs = task_pt_regs(task);
1983
1984         DPRINT(("ctx_state=%d is_current=%d\n",
1985                 state,
1986                 task == current ? 1 : 0));
1987
1988         /*
1989          * if task == current, then pfm_flush() unloaded the context
1990          */
1991         if (state == PFM_CTX_UNLOADED) goto doit;
1992
1993         /*
1994          * context is loaded/masked and task != current, we need to
1995          * either force an unload or go zombie
1996          */
1997
1998         /*
1999          * The task is currently blocked or will block after an overflow.
2000          * we must force it to wakeup to get out of the
2001          * MASKED state and transition to the unloaded state by itself.
2002          *
2003          * This situation is only possible for per-task mode
2004          */
2005         if (state == PFM_CTX_MASKED && CTX_OVFL_NOBLOCK(ctx) == 0) {
2006
2007                 /*
2008                  * set a "partial" zombie state to be checked
2009                  * upon return from down() in pfm_handle_work().
2010                  *
2011                  * We cannot use the ZOMBIE state, because it is checked
2012                  * by pfm_load_regs() which is called upon wakeup from down().
2013                  * In such case, it would free the context and then we would
2014                  * return to pfm_handle_work() which would access the
2015                  * stale context. Instead, we set a flag invisible to pfm_load_regs()
2016                  * but visible to pfm_handle_work().
2017                  *
2018                  * For some window of time, we have a zombie context with
2019                  * ctx_state = MASKED  and not ZOMBIE
2020                  */
2021                 ctx->ctx_fl_going_zombie = 1;
2022
2023                 /*
2024                  * force task to wake up from MASKED state
2025                  */
2026                 complete(&ctx->ctx_restart_done);
2027
2028                 DPRINT(("waking up ctx_state=%d\n", state));
2029
2030                 /*
2031                  * put ourself to sleep waiting for the other
2032                  * task to report completion
2033                  *
2034                  * the context is protected by mutex, therefore there
2035                  * is no risk of being notified of completion before
2036                  * begin actually on the waitq.
2037                  */
2038                 set_current_state(TASK_INTERRUPTIBLE);
2039                 add_wait_queue(&ctx->ctx_zombieq, &wait);
2040
2041                 UNPROTECT_CTX(ctx, flags);
2042
2043                 /*
2044                  * XXX: check for signals :
2045                  *      - ok for explicit close
2046                  *      - not ok when coming from exit_files()
2047                  */
2048                 schedule();
2049
2050
2051                 PROTECT_CTX(ctx, flags);
2052
2053
2054                 remove_wait_queue(&ctx->ctx_zombieq, &wait);
2055                 set_current_state(TASK_RUNNING);
2056
2057                 /*
2058                  * context is unloaded at this point
2059                  */
2060                 DPRINT(("after zombie wakeup ctx_state=%d for\n", state));
2061         }
2062         else if (task != current) {
2063 #ifdef CONFIG_SMP
2064                 /*
2065                  * switch context to zombie state
2066                  */
2067                 ctx->ctx_state = PFM_CTX_ZOMBIE;
2068
2069                 DPRINT(("zombie ctx for [%d]\n", task->pid));
2070                 /*
2071                  * cannot free the context on the spot. deferred until
2072                  * the task notices the ZOMBIE state
2073                  */
2074                 free_possible = 0;
2075 #else
2076                 pfm_context_unload(ctx, NULL, 0, regs);
2077 #endif
2078         }
2079
2080 doit:
2081         /* reload state, may have changed during  opening of critical section */
2082         state = ctx->ctx_state;
2083
2084         /*
2085          * the context is still attached to a task (possibly current)
2086          * we cannot destroy it right now
2087          */
2088
2089         /*
2090          * we must free the sampling buffer right here because
2091          * we cannot rely on it being cleaned up later by the
2092          * monitored task. It is not possible to free vmalloc'ed
2093          * memory in pfm_load_regs(). Instead, we remove the buffer
2094          * now. should there be subsequent PMU overflow originally
2095          * meant for sampling, the will be converted to spurious
2096          * and that's fine because the monitoring tools is gone anyway.
2097          */
2098         if (ctx->ctx_smpl_hdr) {
2099                 smpl_buf_addr = ctx->ctx_smpl_hdr;
2100                 smpl_buf_size = ctx->ctx_smpl_size;
2101                 /* no more sampling */
2102                 ctx->ctx_smpl_hdr = NULL;
2103                 ctx->ctx_fl_is_sampling = 0;
2104         }
2105
2106         DPRINT(("ctx_state=%d free_possible=%d addr=%p size=%lu\n",
2107                 state,
2108                 free_possible,
2109                 smpl_buf_addr,
2110                 smpl_buf_size));
2111
2112         if (smpl_buf_addr) pfm_exit_smpl_buffer(ctx->ctx_buf_fmt);
2113
2114         /*
2115          * UNLOADED that the session has already been unreserved.
2116          */
2117         if (state == PFM_CTX_ZOMBIE) {
2118                 pfm_unreserve_session(ctx, ctx->ctx_fl_system , ctx->ctx_cpu);
2119         }
2120
2121         /*
2122          * disconnect file descriptor from context must be done
2123          * before we unlock.
2124          */
2125         filp->private_data = NULL;
2126
2127         /*
2128          * if we free on the spot, the context is now completely unreachable
2129          * from the callers side. The monitored task side is also cut, so we
2130          * can freely cut.
2131          *
2132          * If we have a deferred free, only the caller side is disconnected.
2133          */
2134         UNPROTECT_CTX(ctx, flags);
2135
2136         /*
2137          * All memory free operations (especially for vmalloc'ed memory)
2138          * MUST be done with interrupts ENABLED.
2139          */
2140         if (smpl_buf_addr)  pfm_rvfree(smpl_buf_addr, smpl_buf_size);
2141
2142         /*
2143          * return the memory used by the context
2144          */
2145         if (free_possible) pfm_context_free(ctx);
2146
2147         return 0;
2148 }
2149
2150 static int
2151 pfm_no_open(struct inode *irrelevant, struct file *dontcare)
2152 {
2153         DPRINT(("pfm_no_open called\n"));
2154         return -ENXIO;
2155 }
2156
2157
2158
2159 static const struct file_operations pfm_file_ops = {
2160         .llseek   = no_llseek,
2161         .read     = pfm_read,
2162         .write    = pfm_write,
2163         .poll     = pfm_poll,
2164         .ioctl    = pfm_ioctl,
2165         .open     = pfm_no_open,        /* special open code to disallow open via /proc */
2166         .fasync   = pfm_fasync,
2167         .release  = pfm_close,
2168         .flush    = pfm_flush
2169 };
2170
2171 static int
2172 pfmfs_delete_dentry(struct dentry *dentry)
2173 {
2174         return 1;
2175 }
2176
2177 static struct dentry_operations pfmfs_dentry_operations = {
2178         .d_delete = pfmfs_delete_dentry,
2179 };
2180
2181
2182 static int
2183 pfm_alloc_fd(struct file **cfile)
2184 {
2185         int fd, ret = 0;
2186         struct file *file = NULL;
2187         struct inode * inode;
2188         char name[32];
2189         struct qstr this;
2190
2191         fd = get_unused_fd();
2192         if (fd < 0) return -ENFILE;
2193
2194         ret = -ENFILE;
2195
2196         file = get_empty_filp();
2197         if (!file) goto out;
2198
2199         /*
2200          * allocate a new inode
2201          */
2202         inode = new_inode(pfmfs_mnt->mnt_sb);
2203         if (!inode) goto out;
2204
2205         DPRINT(("new inode ino=%ld @%p\n", inode->i_ino, inode));
2206
2207         inode->i_mode = S_IFCHR|S_IRUGO;
2208         inode->i_uid  = current->fsuid;
2209         inode->i_gid  = current->fsgid;
2210
2211         sprintf(name, "[%lu]", inode->i_ino);
2212         this.name = name;
2213         this.len  = strlen(name);
2214         this.hash = inode->i_ino;
2215
2216         ret = -ENOMEM;
2217
2218         /*
2219          * allocate a new dcache entry
2220          */
2221         file->f_path.dentry = d_alloc(pfmfs_mnt->mnt_sb->s_root, &this);
2222         if (!file->f_path.dentry) goto out;
2223
2224         file->f_path.dentry->d_op = &pfmfs_dentry_operations;
2225
2226         d_add(file->f_path.dentry, inode);
2227         file->f_path.mnt = mntget(pfmfs_mnt);
2228         file->f_mapping = inode->i_mapping;
2229
2230         file->f_op    = &pfm_file_ops;
2231         file->f_mode  = FMODE_READ;
2232         file->f_flags = O_RDONLY;
2233         file->f_pos   = 0;
2234
2235         /*
2236          * may have to delay until context is attached?
2237          */
2238         fd_install(fd, file);
2239
2240         /*
2241          * the file structure we will use
2242          */
2243         *cfile = file;
2244
2245         return fd;
2246 out:
2247         if (file) put_filp(file);
2248         put_unused_fd(fd);
2249         return ret;
2250 }
2251
2252 static void
2253 pfm_free_fd(int fd, struct file *file)
2254 {
2255         struct files_struct *files = current->files;
2256         struct fdtable *fdt;
2257
2258         /*
2259          * there ie no fd_uninstall(), so we do it here
2260          */
2261         spin_lock(&files->file_lock);
2262         fdt = files_fdtable(files);
2263         rcu_assign_pointer(fdt->fd[fd], NULL);
2264         spin_unlock(&files->file_lock);
2265
2266         if (file)
2267                 put_filp(file);
2268         put_unused_fd(fd);
2269 }
2270
2271 static int
2272 pfm_remap_buffer(struct vm_area_struct *vma, unsigned long buf, unsigned long addr, unsigned long size)
2273 {
2274         DPRINT(("CPU%d buf=0x%lx addr=0x%lx size=%ld\n", smp_processor_id(), buf, addr, size));
2275
2276         while (size > 0) {
2277                 unsigned long pfn = ia64_tpa(buf) >> PAGE_SHIFT;
2278
2279
2280                 if (remap_pfn_range(vma, addr, pfn, PAGE_SIZE, PAGE_READONLY))
2281                         return -ENOMEM;
2282
2283                 addr  += PAGE_SIZE;
2284                 buf   += PAGE_SIZE;
2285                 size  -= PAGE_SIZE;
2286         }
2287         return 0;
2288 }
2289
2290 /*
2291  * allocate a sampling buffer and remaps it into the user address space of the task
2292  */
2293 static int
2294 pfm_smpl_buffer_alloc(struct task_struct *task, struct file *filp, pfm_context_t *ctx, unsigned long rsize, void **user_vaddr)
2295 {
2296         struct mm_struct *mm = task->mm;
2297         struct vm_area_struct *vma = NULL;
2298         unsigned long size;
2299         void *smpl_buf;
2300
2301
2302         /*
2303          * the fixed header + requested size and align to page boundary
2304          */
2305         size = PAGE_ALIGN(rsize);
2306
2307         DPRINT(("sampling buffer rsize=%lu size=%lu bytes\n", rsize, size));
2308
2309         /*
2310          * check requested size to avoid Denial-of-service attacks
2311          * XXX: may have to refine this test
2312          * Check against address space limit.
2313          *
2314          * if ((mm->total_vm << PAGE_SHIFT) + len> task->rlim[RLIMIT_AS].rlim_cur)
2315          *      return -ENOMEM;
2316          */
2317         if (size > task->signal->rlim[RLIMIT_MEMLOCK].rlim_cur)
2318                 return -ENOMEM;
2319
2320         /*
2321          * We do the easy to undo allocations first.
2322          *
2323          * pfm_rvmalloc(), clears the buffer, so there is no leak
2324          */
2325         smpl_buf = pfm_rvmalloc(size);
2326         if (smpl_buf == NULL) {
2327                 DPRINT(("Can't allocate sampling buffer\n"));
2328                 return -ENOMEM;
2329         }
2330
2331         DPRINT(("smpl_buf @%p\n", smpl_buf));
2332
2333         /* allocate vma */
2334         vma = kmem_cache_zalloc(vm_area_cachep, GFP_KERNEL);
2335         if (!vma) {
2336                 DPRINT(("Cannot allocate vma\n"));
2337                 goto error_kmem;
2338         }
2339
2340         /*
2341          * partially initialize the vma for the sampling buffer
2342          */
2343         vma->vm_mm           = mm;
2344         vma->vm_file         = filp;
2345         vma->vm_flags        = VM_READ| VM_MAYREAD |VM_RESERVED;
2346         vma->vm_page_prot    = PAGE_READONLY; /* XXX may need to change */
2347
2348         /*
2349          * Now we have everything we need and we can initialize
2350          * and connect all the data structures
2351          */
2352
2353         ctx->ctx_smpl_hdr   = smpl_buf;
2354         ctx->ctx_smpl_size  = size; /* aligned size */
2355
2356         /*
2357          * Let's do the difficult operations next.
2358          *
2359          * now we atomically find some area in the address space and
2360          * remap the buffer in it.
2361          */
2362         down_write(&task->mm->mmap_sem);
2363
2364         /* find some free area in address space, must have mmap sem held */
2365         vma->vm_start = pfm_get_unmapped_area(NULL, 0, size, 0, MAP_PRIVATE|MAP_ANONYMOUS, 0);
2366         if (vma->vm_start == 0UL) {
2367                 DPRINT(("Cannot find unmapped area for size %ld\n", size));
2368                 up_write(&task->mm->mmap_sem);
2369                 goto error;
2370         }
2371         vma->vm_end = vma->vm_start + size;
2372         vma->vm_pgoff = vma->vm_start >> PAGE_SHIFT;
2373
2374         DPRINT(("aligned size=%ld, hdr=%p mapped @0x%lx\n", size, ctx->ctx_smpl_hdr, vma->vm_start));
2375
2376         /* can only be applied to current task, need to have the mm semaphore held when called */
2377         if (pfm_remap_buffer(vma, (unsigned long)smpl_buf, vma->vm_start, size)) {
2378                 DPRINT(("Can't remap buffer\n"));
2379                 up_write(&task->mm->mmap_sem);
2380                 goto error;
2381         }
2382
2383         get_file(filp);
2384
2385         /*
2386          * now insert the vma in the vm list for the process, must be
2387          * done with mmap lock held
2388          */
2389         insert_vm_struct(mm, vma);
2390
2391         mm->total_vm  += size >> PAGE_SHIFT;
2392         vm_stat_account(vma->vm_mm, vma->vm_flags, vma->vm_file,
2393                                                         vma_pages(vma));
2394         up_write(&task->mm->mmap_sem);
2395
2396         /*
2397          * keep track of user level virtual address
2398          */
2399         ctx->ctx_smpl_vaddr = (void *)vma->vm_start;
2400         *(unsigned long *)user_vaddr = vma->vm_start;
2401
2402         return 0;
2403
2404 error:
2405         kmem_cache_free(vm_area_cachep, vma);
2406 error_kmem:
2407         pfm_rvfree(smpl_buf, size);
2408
2409         return -ENOMEM;
2410 }
2411
2412 /*
2413  * XXX: do something better here
2414  */
2415 static int
2416 pfm_bad_permissions(struct task_struct *task)
2417 {
2418         /* inspired by ptrace_attach() */
2419         DPRINT(("cur: uid=%d gid=%d task: euid=%d suid=%d uid=%d egid=%d sgid=%d\n",
2420                 current->uid,
2421                 current->gid,
2422                 task->euid,
2423                 task->suid,
2424                 task->uid,
2425                 task->egid,
2426                 task->sgid));
2427
2428         return ((current->uid != task->euid)
2429             || (current->uid != task->suid)
2430             || (current->uid != task->uid)
2431             || (current->gid != task->egid)
2432             || (current->gid != task->sgid)
2433             || (current->gid != task->gid)) && !capable(CAP_SYS_PTRACE);
2434 }
2435
2436 static int
2437 pfarg_is_sane(struct task_struct *task, pfarg_context_t *pfx)
2438 {
2439         int ctx_flags;
2440
2441         /* valid signal */
2442
2443         ctx_flags = pfx->ctx_flags;
2444
2445         if (ctx_flags & PFM_FL_SYSTEM_WIDE) {
2446
2447                 /*
2448                  * cannot block in this mode
2449                  */
2450                 if (ctx_flags & PFM_FL_NOTIFY_BLOCK) {
2451                         DPRINT(("cannot use blocking mode when in system wide monitoring\n"));
2452                         return -EINVAL;
2453                 }
2454         } else {
2455         }
2456         /* probably more to add here */
2457
2458         return 0;
2459 }
2460
2461 static int
2462 pfm_setup_buffer_fmt(struct task_struct *task, struct file *filp, pfm_context_t *ctx, unsigned int ctx_flags,
2463                      unsigned int cpu, pfarg_context_t *arg)
2464 {
2465         pfm_buffer_fmt_t *fmt = NULL;
2466         unsigned long size = 0UL;
2467         void *uaddr = NULL;
2468         void *fmt_arg = NULL;
2469         int ret = 0;
2470 #define PFM_CTXARG_BUF_ARG(a)   (pfm_buffer_fmt_t *)(a+1)
2471
2472         /* invoke and lock buffer format, if found */
2473         fmt = pfm_find_buffer_fmt(arg->ctx_smpl_buf_id);
2474         if (fmt == NULL) {
2475                 DPRINT(("[%d] cannot find buffer format\n", task->pid));
2476                 return -EINVAL;
2477         }
2478
2479         /*
2480          * buffer argument MUST be contiguous to pfarg_context_t
2481          */
2482         if (fmt->fmt_arg_size) fmt_arg = PFM_CTXARG_BUF_ARG(arg);
2483
2484         ret = pfm_buf_fmt_validate(fmt, task, ctx_flags, cpu, fmt_arg);
2485
2486         DPRINT(("[%d] after validate(0x%x,%d,%p)=%d\n", task->pid, ctx_flags, cpu, fmt_arg, ret));
2487
2488         if (ret) goto error;
2489
2490         /* link buffer format and context */
2491         ctx->ctx_buf_fmt = fmt;
2492
2493         /*
2494          * check if buffer format wants to use perfmon buffer allocation/mapping service
2495          */
2496         ret = pfm_buf_fmt_getsize(fmt, task, ctx_flags, cpu, fmt_arg, &size);
2497         if (ret) goto error;
2498
2499         if (size) {
2500                 /*
2501                  * buffer is always remapped into the caller's address space
2502                  */
2503                 ret = pfm_smpl_buffer_alloc(current, filp, ctx, size, &uaddr);
2504                 if (ret) goto error;
2505
2506                 /* keep track of user address of buffer */
2507                 arg->ctx_smpl_vaddr = uaddr;
2508         }
2509         ret = pfm_buf_fmt_init(fmt, task, ctx->ctx_smpl_hdr, ctx_flags, cpu, fmt_arg);
2510
2511 error:
2512         return ret;
2513 }
2514
2515 static void
2516 pfm_reset_pmu_state(pfm_context_t *ctx)
2517 {
2518         int i;
2519
2520         /*
2521          * install reset values for PMC.
2522          */
2523         for (i=1; PMC_IS_LAST(i) == 0; i++) {
2524                 if (PMC_IS_IMPL(i) == 0) continue;
2525                 ctx->ctx_pmcs[i] = PMC_DFL_VAL(i);
2526                 DPRINT(("pmc[%d]=0x%lx\n", i, ctx->ctx_pmcs[i]));
2527         }
2528         /*
2529          * PMD registers are set to 0UL when the context in memset()
2530          */
2531
2532         /*
2533          * On context switched restore, we must restore ALL pmc and ALL pmd even
2534          * when they are not actively used by the task. In UP, the incoming process
2535          * may otherwise pick up left over PMC, PMD state from the previous process.
2536          * As opposed to PMD, stale PMC can cause harm to the incoming
2537          * process because they may change what is being measured.
2538          * Therefore, we must systematically reinstall the entire
2539          * PMC state. In SMP, the same thing is possible on the
2540          * same CPU but also on between 2 CPUs.
2541          *
2542          * The problem with PMD is information leaking especially
2543          * to user level when psr.sp=0
2544          *
2545          * There is unfortunately no easy way to avoid this problem
2546          * on either UP or SMP. This definitively slows down the
2547          * pfm_load_regs() function.
2548          */
2549
2550          /*
2551           * bitmask of all PMCs accessible to this context
2552           *
2553           * PMC0 is treated differently.
2554           */
2555         ctx->ctx_all_pmcs[0] = pmu_conf->impl_pmcs[0] & ~0x1;
2556
2557         /*
2558          * bitmask of all PMDs that are accessible to this context
2559          */
2560         ctx->ctx_all_pmds[0] = pmu_conf->impl_pmds[0];
2561
2562         DPRINT(("<%d> all_pmcs=0x%lx all_pmds=0x%lx\n", ctx->ctx_fd, ctx->ctx_all_pmcs[0],ctx->ctx_all_pmds[0]));
2563
2564         /*
2565          * useful in case of re-enable after disable
2566          */
2567         ctx->ctx_used_ibrs[0] = 0UL;
2568         ctx->ctx_used_dbrs[0] = 0UL;
2569 }
2570
2571 static int
2572 pfm_ctx_getsize(void *arg, size_t *sz)
2573 {
2574         pfarg_context_t *req = (pfarg_context_t *)arg;
2575         pfm_buffer_fmt_t *fmt;
2576
2577         *sz = 0;
2578
2579         if (!pfm_uuid_cmp(req->ctx_smpl_buf_id, pfm_null_uuid)) return 0;
2580
2581         fmt = pfm_find_buffer_fmt(req->ctx_smpl_buf_id);
2582         if (fmt == NULL) {
2583                 DPRINT(("cannot find buffer format\n"));
2584                 return -EINVAL;
2585         }
2586         /* get just enough to copy in user parameters */
2587         *sz = fmt->fmt_arg_size;
2588         DPRINT(("arg_size=%lu\n", *sz));
2589
2590         return 0;
2591 }
2592
2593
2594
2595 /*
2596  * cannot attach if :
2597  *      - kernel task
2598  *      - task not owned by caller
2599  *      - task incompatible with context mode
2600  */
2601 static int
2602 pfm_task_incompatible(pfm_context_t *ctx, struct task_struct *task)
2603 {
2604         /*
2605          * no kernel task or task not owner by caller
2606          */
2607         if (task->mm == NULL) {
2608                 DPRINT(("task [%d] has not memory context (kernel thread)\n", task->pid));
2609                 return -EPERM;
2610         }
2611         if (pfm_bad_permissions(task)) {
2612                 DPRINT(("no permission to attach to  [%d]\n", task->pid));
2613                 return -EPERM;
2614         }
2615         /*
2616          * cannot block in self-monitoring mode
2617          */
2618         if (CTX_OVFL_NOBLOCK(ctx) == 0 && task == current) {
2619                 DPRINT(("cannot load a blocking context on self for [%d]\n", task->pid));
2620                 return -EINVAL;
2621         }
2622
2623         if (task->exit_state == EXIT_ZOMBIE) {
2624                 DPRINT(("cannot attach to  zombie task [%d]\n", task->pid));
2625                 return -EBUSY;
2626         }
2627
2628         /*
2629          * always ok for self
2630          */
2631         if (task == current) return 0;
2632
2633         if ((task->state != TASK_STOPPED) && (task->state != TASK_TRACED)) {
2634                 DPRINT(("cannot attach to non-stopped task [%d] state=%ld\n", task->pid, task->state));
2635                 return -EBUSY;
2636         }
2637         /*
2638          * make sure the task is off any CPU
2639          */
2640         wait_task_inactive(task);
2641
2642         /* more to come... */
2643
2644         return 0;
2645 }
2646
2647 static int
2648 pfm_get_task(pfm_context_t *ctx, pid_t pid, struct task_struct **task)
2649 {
2650         struct task_struct *p = current;
2651         int ret;
2652
2653         /* XXX: need to add more checks here */
2654         if (pid < 2) return -EPERM;
2655
2656         if (pid != current->pid) {
2657
2658                 read_lock(&tasklist_lock);
2659
2660                 p = find_task_by_pid(pid);
2661
2662                 /* make sure task cannot go away while we operate on it */
2663                 if (p) get_task_struct(p);
2664
2665                 read_unlock(&tasklist_lock);
2666
2667                 if (p == NULL) return -ESRCH;
2668         }
2669
2670         ret = pfm_task_incompatible(ctx, p);
2671         if (ret == 0) {
2672                 *task = p;
2673         } else if (p != current) {
2674                 pfm_put_task(p);
2675         }
2676         return ret;
2677 }
2678
2679
2680
2681 static int
2682 pfm_context_create(pfm_context_t *ctx, void *arg, int count, struct pt_regs *regs)
2683 {
2684         pfarg_context_t *req = (pfarg_context_t *)arg;
2685         struct file *filp;
2686         int ctx_flags;
2687         int ret;
2688
2689         /* let's check the arguments first */
2690         ret = pfarg_is_sane(current, req);
2691         if (ret < 0) return ret;
2692
2693         ctx_flags = req->ctx_flags;
2694
2695         ret = -ENOMEM;
2696
2697         ctx = pfm_context_alloc();
2698         if (!ctx) goto error;
2699
2700         ret = pfm_alloc_fd(&filp);
2701         if (ret < 0) goto error_file;
2702
2703         req->ctx_fd = ctx->ctx_fd = ret;
2704
2705         /*
2706          * attach context to file
2707          */
2708         filp->private_data = ctx;
2709
2710         /*
2711          * does the user want to sample?
2712          */
2713         if (pfm_uuid_cmp(req->ctx_smpl_buf_id, pfm_null_uuid)) {
2714                 ret = pfm_setup_buffer_fmt(current, filp, ctx, ctx_flags, 0, req);
2715                 if (ret) goto buffer_error;
2716         }
2717
2718         /*
2719          * init context protection lock
2720          */
2721         spin_lock_init(&ctx->ctx_lock);
2722
2723         /*
2724          * context is unloaded
2725          */
2726         ctx->ctx_state = PFM_CTX_UNLOADED;
2727
2728         /*
2729          * initialization of context's flags
2730          */
2731         ctx->ctx_fl_block       = (ctx_flags & PFM_FL_NOTIFY_BLOCK) ? 1 : 0;
2732         ctx->ctx_fl_system      = (ctx_flags & PFM_FL_SYSTEM_WIDE) ? 1: 0;
2733         ctx->ctx_fl_is_sampling = ctx->ctx_buf_fmt ? 1 : 0; /* assume record() is defined */
2734         ctx->ctx_fl_no_msg      = (ctx_flags & PFM_FL_OVFL_NO_MSG) ? 1: 0;
2735         /*
2736          * will move to set properties
2737          * ctx->ctx_fl_excl_idle   = (ctx_flags & PFM_FL_EXCL_IDLE) ? 1: 0;
2738          */
2739
2740         /*
2741          * init restart semaphore to locked
2742          */
2743         init_completion(&ctx->ctx_restart_done);
2744
2745         /*
2746          * activation is used in SMP only
2747          */
2748         ctx->ctx_last_activation = PFM_INVALID_ACTIVATION;
2749         SET_LAST_CPU(ctx, -1);
2750
2751         /*
2752          * initialize notification message queue
2753          */
2754         ctx->ctx_msgq_head = ctx->ctx_msgq_tail = 0;
2755         init_waitqueue_head(&ctx->ctx_msgq_wait);
2756         init_waitqueue_head(&ctx->ctx_zombieq);
2757
2758         DPRINT(("ctx=%p flags=0x%x system=%d notify_block=%d excl_idle=%d no_msg=%d ctx_fd=%d \n",
2759                 ctx,
2760                 ctx_flags,
2761                 ctx->ctx_fl_system,
2762                 ctx->ctx_fl_block,
2763                 ctx->ctx_fl_excl_idle,
2764                 ctx->ctx_fl_no_msg,
2765                 ctx->ctx_fd));
2766
2767         /*
2768          * initialize soft PMU state
2769          */
2770         pfm_reset_pmu_state(ctx);
2771
2772         return 0;
2773
2774 buffer_error:
2775         pfm_free_fd(ctx->ctx_fd, filp);
2776
2777         if (ctx->ctx_buf_fmt) {
2778                 pfm_buf_fmt_exit(ctx->ctx_buf_fmt, current, NULL, regs);
2779         }
2780 error_file:
2781         pfm_context_free(ctx);
2782
2783 error:
2784         return ret;
2785 }
2786
2787 static inline unsigned long
2788 pfm_new_counter_value (pfm_counter_t *reg, int is_long_reset)
2789 {
2790         unsigned long val = is_long_reset ? reg->long_reset : reg->short_reset;
2791         unsigned long new_seed, old_seed = reg->seed, mask = reg->mask;
2792         extern unsigned long carta_random32 (unsigned long seed);
2793
2794         if (reg->flags & PFM_REGFL_RANDOM) {
2795                 new_seed = carta_random32(old_seed);
2796                 val -= (old_seed & mask);       /* counter values are negative numbers! */
2797                 if ((mask >> 32) != 0)
2798                         /* construct a full 64-bit random value: */
2799                         new_seed |= carta_random32(old_seed >> 32) << 32;
2800                 reg->seed = new_seed;
2801         }
2802         reg->lval = val;
2803         return val;
2804 }
2805
2806 static void
2807 pfm_reset_regs_masked(pfm_context_t *ctx, unsigned long *ovfl_regs, int is_long_reset)
2808 {
2809         unsigned long mask = ovfl_regs[0];
2810         unsigned long reset_others = 0UL;
2811         unsigned long val;
2812         int i;
2813
2814         /*
2815          * now restore reset value on sampling overflowed counters
2816          */
2817         mask >>= PMU_FIRST_COUNTER;
2818         for(i = PMU_FIRST_COUNTER; mask; i++, mask >>= 1) {
2819
2820                 if ((mask & 0x1UL) == 0UL) continue;
2821
2822                 ctx->ctx_pmds[i].val = val = pfm_new_counter_value(ctx->ctx_pmds+ i, is_long_reset);
2823                 reset_others        |= ctx->ctx_pmds[i].reset_pmds[0];
2824
2825                 DPRINT_ovfl((" %s reset ctx_pmds[%d]=%lx\n", is_long_reset ? "long" : "short", i, val));
2826         }
2827
2828         /*
2829          * Now take care of resetting the other registers
2830          */
2831         for(i = 0; reset_others; i++, reset_others >>= 1) {
2832
2833                 if ((reset_others & 0x1) == 0) continue;
2834
2835                 ctx->ctx_pmds[i].val = val = pfm_new_counter_value(ctx->ctx_pmds + i, is_long_reset);
2836
2837                 DPRINT_ovfl(("%s reset_others pmd[%d]=%lx\n",
2838                           is_long_reset ? "long" : "short", i, val));
2839         }
2840 }
2841
2842 static void
2843 pfm_reset_regs(pfm_context_t *ctx, unsigned long *ovfl_regs, int is_long_reset)
2844 {
2845         unsigned long mask = ovfl_regs[0];
2846         unsigned long reset_others = 0UL;
2847         unsigned long val;
2848         int i;
2849
2850         DPRINT_ovfl(("ovfl_regs=0x%lx is_long_reset=%d\n", ovfl_regs[0], is_long_reset));
2851
2852         if (ctx->ctx_state == PFM_CTX_MASKED) {
2853                 pfm_reset_regs_masked(ctx, ovfl_regs, is_long_reset);
2854                 return;
2855         }
2856
2857         /*
2858          * now restore reset value on sampling overflowed counters
2859          */
2860         mask >>= PMU_FIRST_COUNTER;
2861         for(i = PMU_FIRST_COUNTER; mask; i++, mask >>= 1) {
2862
2863                 if ((mask & 0x1UL) == 0UL) continue;
2864
2865                 val           = pfm_new_counter_value(ctx->ctx_pmds+ i, is_long_reset);
2866                 reset_others |= ctx->ctx_pmds[i].reset_pmds[0];
2867
2868                 DPRINT_ovfl((" %s reset ctx_pmds[%d]=%lx\n", is_long_reset ? "long" : "short", i, val));
2869
2870                 pfm_write_soft_counter(ctx, i, val);
2871         }
2872
2873         /*
2874          * Now take care of resetting the other registers
2875          */
2876         for(i = 0; reset_others; i++, reset_others >>= 1) {
2877
2878                 if ((reset_others & 0x1) == 0) continue;
2879
2880                 val = pfm_new_counter_value(ctx->ctx_pmds + i, is_long_reset);
2881
2882                 if (PMD_IS_COUNTING(i)) {
2883                         pfm_write_soft_counter(ctx, i, val);
2884                 } else {
2885                         ia64_set_pmd(i, val);
2886                 }
2887                 DPRINT_ovfl(("%s reset_others pmd[%d]=%lx\n",
2888                           is_long_reset ? "long" : "short", i, val));
2889         }
2890         ia64_srlz_d();
2891 }
2892
2893 static int
2894 pfm_write_pmcs(pfm_context_t *ctx, void *arg, int count, struct pt_regs *regs)
2895 {
2896         struct task_struct *task;
2897         pfarg_reg_t *req = (pfarg_reg_t *)arg;
2898         unsigned long value, pmc_pm;
2899         unsigned long smpl_pmds, reset_pmds, impl_pmds;
2900         unsigned int cnum, reg_flags, flags, pmc_type;
2901         int i, can_access_pmu = 0, is_loaded, is_system, expert_mode;
2902         int is_monitor, is_counting, state;
2903         int ret = -EINVAL;
2904         pfm_reg_check_t wr_func;
2905 #define PFM_CHECK_PMC_PM(x, y, z) ((x)->ctx_fl_system ^ PMC_PM(y, z))
2906
2907         state     = ctx->ctx_state;
2908         is_loaded = state == PFM_CTX_LOADED ? 1 : 0;
2909         is_system = ctx->ctx_fl_system;
2910         task      = ctx->ctx_task;
2911         impl_pmds = pmu_conf->impl_pmds[0];
2912
2913         if (state == PFM_CTX_ZOMBIE) return -EINVAL;
2914
2915         if (is_loaded) {
2916                 /*
2917                  * In system wide and when the context is loaded, access can only happen
2918                  * when the caller is running on the CPU being monitored by the session.
2919                  * It does not have to be the owner (ctx_task) of the context per se.
2920                  */
2921                 if (is_system && ctx->ctx_cpu != smp_processor_id()) {
2922                         DPRINT(("should be running on CPU%d\n", ctx->ctx_cpu));
2923                         return -EBUSY;
2924                 }
2925                 can_access_pmu = GET_PMU_OWNER() == task || is_system ? 1 : 0;
2926         }
2927         expert_mode = pfm_sysctl.expert_mode;
2928
2929         for (i = 0; i < count; i++, req++) {
2930
2931                 cnum       = req->reg_num;
2932                 reg_flags  = req->reg_flags;
2933                 value      = req->reg_value;
2934                 smpl_pmds  = req->reg_smpl_pmds[0];
2935                 reset_pmds = req->reg_reset_pmds[0];
2936                 flags      = 0;
2937
2938
2939                 if (cnum >= PMU_MAX_PMCS) {
2940                         DPRINT(("pmc%u is invalid\n", cnum));
2941                         goto error;
2942                 }
2943
2944                 pmc_type   = pmu_conf->pmc_desc[cnum].type;
2945                 pmc_pm     = (value >> pmu_conf->pmc_desc[cnum].pm_pos) & 0x1;
2946                 is_counting = (pmc_type & PFM_REG_COUNTING) == PFM_REG_COUNTING ? 1 : 0;
2947                 is_monitor  = (pmc_type & PFM_REG_MONITOR) == PFM_REG_MONITOR ? 1 : 0;
2948
2949                 /*
2950                  * we reject all non implemented PMC as well
2951                  * as attempts to modify PMC[0-3] which are used
2952                  * as status registers by the PMU
2953                  */
2954                 if ((pmc_type & PFM_REG_IMPL) == 0 || (pmc_type & PFM_REG_CONTROL) == PFM_REG_CONTROL) {
2955                         DPRINT(("pmc%u is unimplemented or no-access pmc_type=%x\n", cnum, pmc_type));
2956                         goto error;
2957                 }
2958                 wr_func = pmu_conf->pmc_desc[cnum].write_check;
2959                 /*
2960                  * If the PMC is a monitor, then if the value is not the default:
2961                  *      - system-wide session: PMCx.pm=1 (privileged monitor)
2962                  *      - per-task           : PMCx.pm=0 (user monitor)
2963                  */
2964                 if (is_monitor && value != PMC_DFL_VAL(cnum) && is_system ^ pmc_pm) {
2965                         DPRINT(("pmc%u pmc_pm=%lu is_system=%d\n",
2966                                 cnum,
2967                                 pmc_pm,
2968                                 is_system));
2969                         goto error;
2970                 }
2971
2972                 if (is_counting) {
2973                         /*
2974                          * enforce generation of overflow interrupt. Necessary on all
2975                          * CPUs.
2976                          */
2977                         value |= 1 << PMU_PMC_OI;
2978
2979                         if (reg_flags & PFM_REGFL_OVFL_NOTIFY) {
2980                                 flags |= PFM_REGFL_OVFL_NOTIFY;
2981                         }
2982
2983                         if (reg_flags & PFM_REGFL_RANDOM) flags |= PFM_REGFL_RANDOM;
2984
2985                         /* verify validity of smpl_pmds */
2986                         if ((smpl_pmds & impl_pmds) != smpl_pmds) {
2987                                 DPRINT(("invalid smpl_pmds 0x%lx for pmc%u\n", smpl_pmds, cnum));
2988                                 goto error;
2989                         }
2990
2991                         /* verify validity of reset_pmds */
2992                         if ((reset_pmds & impl_pmds) != reset_pmds) {
2993                                 DPRINT(("invalid reset_pmds 0x%lx for pmc%u\n", reset_pmds, cnum));
2994                                 goto error;
2995                         }
2996                 } else {
2997                         if (reg_flags & (PFM_REGFL_OVFL_NOTIFY|PFM_REGFL_RANDOM)) {
2998                                 DPRINT(("cannot set ovfl_notify or random on pmc%u\n", cnum));
2999                                 goto error;
3000                         }
3001                         /* eventid on non-counting monitors are ignored */
3002                 }
3003
3004                 /*
3005                  * execute write checker, if any
3006                  */
3007                 if (likely(expert_mode == 0 && wr_func)) {
3008                         ret = (*wr_func)(task, ctx, cnum, &value, regs);
3009                         if (ret) goto error;
3010                         ret = -EINVAL;
3011                 }
3012
3013                 /*
3014                  * no error on this register
3015                  */
3016                 PFM_REG_RETFLAG_SET(req->reg_flags, 0);
3017
3018                 /*
3019                  * Now we commit the changes to the software state
3020                  */
3021
3022                 /*
3023                  * update overflow information
3024                  */
3025                 if (is_counting) {
3026                         /*
3027                          * full flag update each time a register is programmed
3028                          */
3029                         ctx->ctx_pmds[cnum].flags = flags;
3030
3031                         ctx->ctx_pmds[cnum].reset_pmds[0] = reset_pmds;
3032                         ctx->ctx_pmds[cnum].smpl_pmds[0]  = smpl_pmds;
3033                         ctx->ctx_pmds[cnum].eventid       = req->reg_smpl_eventid;
3034
3035                         /*
3036                          * Mark all PMDS to be accessed as used.
3037                          *
3038                          * We do not keep track of PMC because we have to
3039                          * systematically restore ALL of them.
3040                          *
3041                          * We do not update the used_monitors mask, because
3042                          * if we have not programmed them, then will be in
3043                          * a quiescent state, therefore we will not need to
3044                          * mask/restore then when context is MASKED.
3045                          */
3046                         CTX_USED_PMD(ctx, reset_pmds);
3047                         CTX_USED_PMD(ctx, smpl_pmds);
3048                         /*
3049                          * make sure we do not try to reset on
3050                          * restart because we have established new values
3051                          */
3052                         if (state == PFM_CTX_MASKED) ctx->ctx_ovfl_regs[0] &= ~1UL << cnum;
3053                 }
3054                 /*
3055                  * Needed in case the user does not initialize the equivalent
3056                  * PMD. Clearing is done indirectly via pfm_reset_pmu_state() so there is no
3057                  * possible leak here.
3058                  */
3059                 CTX_USED_PMD(ctx, pmu_conf->pmc_desc[cnum].dep_pmd[0]);
3060
3061                 /*
3062                  * keep track of the monitor PMC that we are using.
3063                  * we save the value of the pmc in ctx_pmcs[] and if
3064                  * the monitoring is not stopped for the context we also
3065                  * place it in the saved state area so that it will be
3066                  * picked up later by the context switch code.
3067                  *
3068                  * The value in ctx_pmcs[] can only be changed in pfm_write_pmcs().
3069                  *
3070                  * The value in th_pmcs[] may be modified on overflow, i.e.,  when
3071                  * monitoring needs to be stopped.
3072                  */
3073                 if (is_monitor) CTX_USED_MONITOR(ctx, 1UL << cnum);
3074
3075                 /*
3076                  * update context state
3077                  */
3078                 ctx->ctx_pmcs[cnum] = value;
3079
3080                 if (is_loaded) {
3081                         /*
3082                          * write thread state
3083                          */
3084                         if (is_system == 0) ctx->th_pmcs[cnum] = value;
3085
3086                         /*
3087                          * write hardware register if we can
3088                          */
3089                         if (can_access_pmu) {
3090                                 ia64_set_pmc(cnum, value);
3091                         }
3092 #ifdef CONFIG_SMP
3093                         else {
3094                                 /*
3095                                  * per-task SMP only here
3096                                  *
3097                                  * we are guaranteed that the task is not running on the other CPU,
3098                                  * we indicate that this PMD will need to be reloaded if the task
3099                                  * is rescheduled on the CPU it ran last on.
3100                                  */
3101                                 ctx->ctx_reload_pmcs[0] |= 1UL << cnum;
3102                         }
3103 #endif
3104                 }
3105
3106                 DPRINT(("pmc[%u]=0x%lx ld=%d apmu=%d flags=0x%x all_pmcs=0x%lx used_pmds=0x%lx eventid=%ld smpl_pmds=0x%lx reset_pmds=0x%lx reloads_pmcs=0x%lx used_monitors=0x%lx ovfl_regs=0x%lx\n",
3107                           cnum,
3108                           value,
3109                           is_loaded,
3110                           can_access_pmu,
3111                           flags,
3112                           ctx->ctx_all_pmcs[0],
3113                           ctx->ctx_used_pmds[0],
3114                           ctx->ctx_pmds[cnum].eventid,
3115                           smpl_pmds,
3116                           reset_pmds,
3117                           ctx->ctx_reload_pmcs[0],
3118                           ctx->ctx_used_monitors[0],
3119                           ctx->ctx_ovfl_regs[0]));
3120         }
3121
3122         /*
3123          * make sure the changes are visible
3124          */
3125         if (can_access_pmu) ia64_srlz_d();
3126
3127         return 0;
3128 error:
3129         PFM_REG_RETFLAG_SET(req->reg_flags, PFM_REG_RETFL_EINVAL);
3130         return ret;
3131 }
3132
3133 static int
3134 pfm_write_pmds(pfm_context_t *ctx, void *arg, int count, struct pt_regs *regs)
3135 {
3136         struct task_struct *task;
3137         pfarg_reg_t *req = (pfarg_reg_t *)arg;
3138         unsigned long value, hw_value, ovfl_mask;
3139         unsigned int cnum;
3140         int i, can_access_pmu = 0, state;
3141         int is_counting, is_loaded, is_system, expert_mode;
3142         int ret = -EINVAL;
3143         pfm_reg_check_t wr_func;
3144
3145
3146         state     = ctx->ctx_state;
3147         is_loaded = state == PFM_CTX_LOADED ? 1 : 0;
3148         is_system = ctx->ctx_fl_system;
3149         ovfl_mask = pmu_conf->ovfl_val;
3150         task      = ctx->ctx_task;
3151
3152         if (unlikely(state == PFM_CTX_ZOMBIE)) return -EINVAL;
3153
3154         /*
3155          * on both UP and SMP, we can only write to the PMC when the task is
3156          * the owner of the local PMU.
3157          */
3158         if (likely(is_loaded)) {
3159                 /*
3160                  * In system wide and when the context is loaded, access can only happen
3161                  * when the caller is running on the CPU being monitored by the session.
3162                  * It does not have to be the owner (ctx_task) of the context per se.
3163                  */
3164                 if (unlikely(is_system && ctx->ctx_cpu != smp_processor_id())) {
3165                         DPRINT(("should be running on CPU%d\n", ctx->ctx_cpu));
3166                         return -EBUSY;
3167                 }
3168                 can_access_pmu = GET_PMU_OWNER() == task || is_system ? 1 : 0;
3169         }
3170         expert_mode = pfm_sysctl.expert_mode;
3171
3172         for (i = 0; i < count; i++, req++) {
3173
3174                 cnum  = req->reg_num;
3175                 value = req->reg_value;
3176
3177                 if (!PMD_IS_IMPL(cnum)) {
3178                         DPRINT(("pmd[%u] is unimplemented or invalid\n", cnum));
3179                         goto abort_mission;
3180                 }
3181                 is_counting = PMD_IS_COUNTING(cnum);
3182                 wr_func     = pmu_conf->pmd_desc[cnum].write_check;
3183
3184                 /*
3185                  * execute write checker, if any
3186                  */
3187                 if (unlikely(expert_mode == 0 && wr_func)) {
3188                         unsigned long v = value;
3189
3190                         ret = (*wr_func)(task, ctx, cnum, &v, regs);
3191                         if (ret) goto abort_mission;
3192
3193                         value = v;
3194                         ret   = -EINVAL;
3195                 }
3196
3197                 /*
3198                  * no error on this register
3199                  */
3200                 PFM_REG_RETFLAG_SET(req->reg_flags, 0);
3201
3202                 /*
3203                  * now commit changes to software state
3204                  */
3205                 hw_value = value;
3206
3207                 /*
3208                  * update virtualized (64bits) counter
3209                  */
3210                 if (is_counting) {
3211                         /*
3212                          * write context state
3213                          */
3214                         ctx->ctx_pmds[cnum].lval = value;
3215
3216                         /*
3217                          * when context is load we use the split value
3218                          */
3219                         if (is_loaded) {
3220                                 hw_value = value &  ovfl_mask;
3221                                 value    = value & ~ovfl_mask;
3222                         }
3223                 }
3224                 /*
3225                  * update reset values (not just for counters)
3226                  */
3227                 ctx->ctx_pmds[cnum].long_reset  = req->reg_long_reset;
3228                 ctx->ctx_pmds[cnum].short_reset = req->reg_short_reset;
3229
3230                 /*
3231                  * update randomization parameters (not just for counters)
3232                  */
3233                 ctx->ctx_pmds[cnum].seed = req->reg_random_seed;
3234                 ctx->ctx_pmds[cnum].mask = req->reg_random_mask;
3235
3236                 /*
3237                  * update context value
3238                  */
3239                 ctx->ctx_pmds[cnum].val  = value;
3240
3241                 /*
3242                  * Keep track of what we use
3243                  *
3244                  * We do not keep track of PMC because we have to
3245                  * systematically restore ALL of them.
3246                  */
3247                 CTX_USED_PMD(ctx, PMD_PMD_DEP(cnum));
3248
3249                 /*
3250                  * mark this PMD register used as well
3251                  */
3252                 CTX_USED_PMD(ctx, RDEP(cnum));
3253
3254                 /*
3255                  * make sure we do not try to reset on
3256                  * restart because we have established new values
3257                  */
3258                 if (is_counting && state == PFM_CTX_MASKED) {
3259                         ctx->ctx_ovfl_regs[0] &= ~1UL << cnum;
3260                 }
3261
3262                 if (is_loaded) {
3263                         /*
3264                          * write thread state
3265                          */
3266                         if (is_system == 0) ctx->th_pmds[cnum] = hw_value;
3267
3268                         /*
3269                          * write hardware register if we can
3270                          */
3271                         if (can_access_pmu) {
3272                                 ia64_set_pmd(cnum, hw_value);
3273                         } else {
3274 #ifdef CONFIG_SMP
3275                                 /*
3276                                  * we are guaranteed that the task is not running on the other CPU,
3277                                  * we indicate that this PMD will need to be reloaded if the task
3278                                  * is rescheduled on the CPU it ran last on.
3279                                  */
3280                                 ctx->ctx_reload_pmds[0] |= 1UL << cnum;
3281 #endif
3282                         }
3283                 }
3284
3285                 DPRINT(("pmd[%u]=0x%lx ld=%d apmu=%d, hw_value=0x%lx ctx_pmd=0x%lx  short_reset=0x%lx "
3286                           "long_reset=0x%lx notify=%c seed=0x%lx mask=0x%lx used_pmds=0x%lx reset_pmds=0x%lx reload_pmds=0x%lx all_pmds=0x%lx ovfl_regs=0x%lx\n",
3287                         cnum,
3288                         value,
3289                         is_loaded,
3290                         can_access_pmu,
3291                         hw_value,
3292                         ctx->ctx_pmds[cnum].val,
3293                         ctx->ctx_pmds[cnum].short_reset,
3294                         ctx->ctx_pmds[cnum].long_reset,
3295                         PMC_OVFL_NOTIFY(ctx, cnum) ? 'Y':'N',
3296                         ctx->ctx_pmds[cnum].seed,
3297                         ctx->ctx_pmds[cnum].mask,
3298                         ctx->ctx_used_pmds[0],
3299                         ctx->ctx_pmds[cnum].reset_pmds[0],
3300                         ctx->ctx_reload_pmds[0],
3301                         ctx->ctx_all_pmds[0],
3302                         ctx->ctx_ovfl_regs[0]));
3303         }
3304
3305         /*
3306          * make changes visible
3307          */
3308         if (can_access_pmu) ia64_srlz_d();
3309
3310         return 0;
3311
3312 abort_mission:
3313         /*
3314          * for now, we have only one possibility for error
3315          */
3316         PFM_REG_RETFLAG_SET(req->reg_flags, PFM_REG_RETFL_EINVAL);
3317         return ret;
3318 }
3319
3320 /*
3321  * By the way of PROTECT_CONTEXT(), interrupts are masked while we are in this function.
3322  * Therefore we know, we do not have to worry about the PMU overflow interrupt. If an
3323  * interrupt is delivered during the call, it will be kept pending until we leave, making
3324  * it appears as if it had been generated at the UNPROTECT_CONTEXT(). At least we are
3325  * guaranteed to return consistent data to the user, it may simply be old. It is not
3326  * trivial to treat the overflow while inside the call because you may end up in
3327  * some module sampling buffer code causing deadlocks.
3328  */
3329 static int
3330 pfm_read_pmds(pfm_context_t *ctx, void *arg, int count, struct pt_regs *regs)
3331 {
3332         struct task_struct *task;
3333         unsigned long val = 0UL, lval, ovfl_mask, sval;
3334         pfarg_reg_t *req = (pfarg_reg_t *)arg;
3335         unsigned int cnum, reg_flags = 0;
3336         int i, can_access_pmu = 0, state;
3337         int is_loaded, is_system, is_counting, expert_mode;
3338         int ret = -EINVAL;
3339         pfm_reg_check_t rd_func;
3340
3341         /*
3342          * access is possible when loaded only for
3343          * self-monitoring tasks or in UP mode
3344          */
3345
3346         state     = ctx->ctx_state;
3347         is_loaded = state == PFM_CTX_LOADED ? 1 : 0;
3348         is_system = ctx->ctx_fl_system;
3349         ovfl_mask = pmu_conf->ovfl_val;
3350         task      = ctx->ctx_task;
3351
3352         if (state == PFM_CTX_ZOMBIE) return -EINVAL;
3353
3354         if (likely(is_loaded)) {
3355                 /*
3356                  * In system wide and when the context is loaded, access can only happen
3357                  * when the caller is running on the CPU being monitored by the session.
3358                  * It does not have to be the owner (ctx_task) of the context per se.
3359                  */
3360                 if (unlikely(is_system && ctx->ctx_cpu != smp_processor_id())) {
3361                         DPRINT(("should be running on CPU%d\n", ctx->ctx_cpu));
3362                         return -EBUSY;
3363                 }
3364                 /*
3365                  * this can be true when not self-monitoring only in UP
3366                  */
3367                 can_access_pmu = GET_PMU_OWNER() == task || is_system ? 1 : 0;
3368
3369                 if (can_access_pmu) ia64_srlz_d();
3370         }
3371         expert_mode = pfm_sysctl.expert_mode;
3372
3373         DPRINT(("ld=%d apmu=%d ctx_state=%d\n",
3374                 is_loaded,
3375                 can_access_pmu,
3376                 state));
3377
3378         /*
3379          * on both UP and SMP, we can only read the PMD from the hardware register when
3380          * the task is the owner of the local PMU.
3381          */
3382
3383         for (i = 0; i < count; i++, req++) {
3384
3385                 cnum        = req->reg_num;
3386                 reg_flags   = req->reg_flags;
3387
3388                 if (unlikely(!PMD_IS_IMPL(cnum))) goto error;
3389                 /*
3390                  * we can only read the register that we use. That includes
3391                  * the one we explicitly initialize AND the one we want included
3392                  * in the sampling buffer (smpl_regs).
3393                  *
3394                  * Having this restriction allows optimization in the ctxsw routine
3395                  * without compromising security (leaks)
3396                  */
3397                 if (unlikely(!CTX_IS_USED_PMD(ctx, cnum))) goto error;
3398
3399                 sval        = ctx->ctx_pmds[cnum].val;
3400                 lval        = ctx->ctx_pmds[cnum].lval;
3401                 is_counting = PMD_IS_COUNTING(cnum);
3402
3403                 /*
3404                  * If the task is not the current one, then we check if the
3405                  * PMU state is still in the local live register due to lazy ctxsw.
3406                  * If true, then we read directly from the registers.
3407                  */
3408                 if (can_access_pmu){
3409                         val = ia64_get_pmd(cnum);
3410                 } else {
3411                         /*
3412                          * context has been saved
3413                          * if context is zombie, then task does not exist anymore.
3414                          * In this case, we use the full value saved in the context (pfm_flush_regs()).
3415                          */
3416                         val = is_loaded ? ctx->th_pmds[cnum] : 0UL;
3417                 }
3418                 rd_func = pmu_conf->pmd_desc[cnum].read_check;
3419
3420                 if (is_counting) {
3421                         /*
3422                          * XXX: need to check for overflow when loaded
3423                          */
3424                         val &= ovfl_mask;
3425                         val += sval;
3426                 }
3427
3428                 /*
3429                  * execute read checker, if any
3430                  */
3431                 if (unlikely(expert_mode == 0 && rd_func)) {
3432                         unsigned long v = val;
3433                         ret = (*rd_func)(ctx->ctx_task, ctx, cnum, &v, regs);
3434                         if (ret) goto error;
3435                         val = v;
3436                         ret = -EINVAL;
3437                 }
3438
3439                 PFM_REG_RETFLAG_SET(reg_flags, 0);
3440
3441                 DPRINT(("pmd[%u]=0x%lx\n", cnum, val));
3442
3443                 /*
3444                  * update register return value, abort all if problem during copy.
3445                  * we only modify the reg_flags field. no check mode is fine because
3446                  * access has been verified upfront in sys_perfmonctl().
3447                  */
3448                 req->reg_value            = val;
3449                 req->reg_flags            = reg_flags;
3450                 req->reg_last_reset_val   = lval;
3451         }
3452
3453         return 0;
3454
3455 error:
3456         PFM_REG_RETFLAG_SET(req->reg_flags, PFM_REG_RETFL_EINVAL);
3457         return ret;
3458 }
3459
3460 int
3461 pfm_mod_write_pmcs(struct task_struct *task, void *req, unsigned int nreq, struct pt_regs *regs)
3462 {
3463         pfm_context_t *ctx;
3464
3465         if (req == NULL) return -EINVAL;
3466
3467         ctx = GET_PMU_CTX();
3468
3469         if (ctx == NULL) return -EINVAL;
3470
3471         /*
3472          * for now limit to current task, which is enough when calling
3473          * from overflow handler
3474          */
3475         if (task != current && ctx->ctx_fl_system == 0) return -EBUSY;
3476
3477         return pfm_write_pmcs(ctx, req, nreq, regs);
3478 }
3479 EXPORT_SYMBOL(pfm_mod_write_pmcs);
3480
3481 int
3482 pfm_mod_read_pmds(struct task_struct *task, void *req, unsigned int nreq, struct pt_regs *regs)
3483 {
3484         pfm_context_t *ctx;
3485
3486         if (req == NULL) return -EINVAL;
3487
3488         ctx = GET_PMU_CTX();
3489
3490         if (ctx == NULL) return -EINVAL;
3491
3492         /*
3493          * for now limit to current task, which is enough when calling
3494          * from overflow handler
3495          */
3496         if (task != current && ctx->ctx_fl_system == 0) return -EBUSY;
3497
3498         return pfm_read_pmds(ctx, req, nreq, regs);
3499 }
3500 EXPORT_SYMBOL(pfm_mod_read_pmds);
3501
3502 /*
3503  * Only call this function when a process it trying to
3504  * write the debug registers (reading is always allowed)
3505  */
3506 int
3507 pfm_use_debug_registers(struct task_struct *task)
3508 {
3509         pfm_context_t *ctx = task->thread.pfm_context;
3510         unsigned long flags;
3511         int ret = 0;
3512
3513         if (pmu_conf->use_rr_dbregs == 0) return 0;
3514
3515         DPRINT(("called for [%d]\n", task->pid));
3516
3517         /*
3518          * do it only once
3519          */
3520         if (task->thread.flags & IA64_THREAD_DBG_VALID) return 0;
3521
3522         /*
3523          * Even on SMP, we do not need to use an atomic here because
3524          * the only way in is via ptrace() and this is possible only when the
3525          * process is stopped. Even in the case where the ctxsw out is not totally
3526          * completed by the time we come here, there is no way the 'stopped' process
3527          * could be in the middle of fiddling with the pfm_write_ibr_dbr() routine.
3528          * So this is always safe.
3529          */
3530         if (ctx && ctx->ctx_fl_using_dbreg == 1) return -1;
3531
3532         LOCK_PFS(flags);
3533
3534         /*
3535          * We cannot allow setting breakpoints when system wide monitoring
3536          * sessions are using the debug registers.
3537          */
3538         if (pfm_sessions.pfs_sys_use_dbregs> 0)
3539                 ret = -1;
3540         else
3541                 pfm_sessions.pfs_ptrace_use_dbregs++;
3542
3543         DPRINT(("ptrace_use_dbregs=%u  sys_use_dbregs=%u by [%d] ret = %d\n",
3544                   pfm_sessions.pfs_ptrace_use_dbregs,
3545                   pfm_sessions.pfs_sys_use_dbregs,
3546                   task->pid, ret));
3547
3548         UNLOCK_PFS(flags);
3549
3550         return ret;
3551 }
3552
3553 /*
3554  * This function is called for every task that exits with the
3555  * IA64_THREAD_DBG_VALID set. This indicates a task which was
3556  * able to use the debug registers for debugging purposes via
3557  * ptrace(). Therefore we know it was not using them for
3558  * perfmormance monitoring, so we only decrement the number
3559  * of "ptraced" debug register users to keep the count up to date
3560  */
3561 int
3562 pfm_release_debug_registers(struct task_struct *task)
3563 {
3564         unsigned long flags;
3565         int ret;
3566
3567         if (pmu_conf->use_rr_dbregs == 0) return 0;
3568
3569         LOCK_PFS(flags);
3570         if (pfm_sessions.pfs_ptrace_use_dbregs == 0) {
3571                 printk(KERN_ERR "perfmon: invalid release for [%d] ptrace_use_dbregs=0\n", task->pid);
3572                 ret = -1;
3573         }  else {
3574                 pfm_sessions.pfs_ptrace_use_dbregs--;
3575                 ret = 0;
3576         }
3577         UNLOCK_PFS(flags);
3578
3579         return ret;
3580 }
3581
3582 static int
3583 pfm_restart(pfm_context_t *ctx, void *arg, int count, struct pt_regs *regs)
3584 {
3585         struct task_struct *task;
3586         pfm_buffer_fmt_t *fmt;
3587         pfm_ovfl_ctrl_t rst_ctrl;
3588         int state, is_system;
3589         int ret = 0;
3590
3591         state     = ctx->ctx_state;
3592         fmt       = ctx->ctx_buf_fmt;
3593         is_system = ctx->ctx_fl_system;
3594         task      = PFM_CTX_TASK(ctx);
3595
3596         switch(state) {
3597                 case PFM_CTX_MASKED:
3598                         break;
3599                 case PFM_CTX_LOADED:
3600                         if (CTX_HAS_SMPL(ctx) && fmt->fmt_restart_active) break;
3601                         /* fall through */
3602                 case PFM_CTX_UNLOADED:
3603                 case PFM_CTX_ZOMBIE:
3604                         DPRINT(("invalid state=%d\n", state));
3605                         return -EBUSY;
3606                 default:
3607                         DPRINT(("state=%d, cannot operate (no active_restart handler)\n", state));
3608                         return -EINVAL;
3609         }
3610
3611         /*
3612          * In system wide and when the context is loaded, access can only happen
3613          * when the caller is running on the CPU being monitored by the session.
3614          * It does not have to be the owner (ctx_task) of the context per se.
3615          */
3616         if (is_system && ctx->ctx_cpu != smp_processor_id()) {
3617                 DPRINT(("should be running on CPU%d\n", ctx->ctx_cpu));
3618                 return -EBUSY;
3619         }
3620
3621         /* sanity check */
3622         if (unlikely(task == NULL)) {
3623                 printk(KERN_ERR "perfmon: [%d] pfm_restart no task\n", current->pid);
3624                 return -EINVAL;
3625         }
3626
3627         if (task == current || is_system) {
3628
3629                 fmt = ctx->ctx_buf_fmt;
3630
3631                 DPRINT(("restarting self %d ovfl=0x%lx\n",
3632                         task->pid,
3633                         ctx->ctx_ovfl_regs[0]));
3634
3635                 if (CTX_HAS_SMPL(ctx)) {
3636
3637                         prefetch(ctx->ctx_smpl_hdr);
3638
3639                         rst_ctrl.bits.mask_monitoring = 0;
3640                         rst_ctrl.bits.reset_ovfl_pmds = 0;
3641
3642                         if (state == PFM_CTX_LOADED)
3643                                 ret = pfm_buf_fmt_restart_active(fmt, task, &rst_ctrl, ctx->ctx_smpl_hdr, regs);
3644                         else
3645                                 ret = pfm_buf_fmt_restart(fmt, task, &rst_ctrl, ctx->ctx_smpl_hdr, regs);
3646                 } else {
3647                         rst_ctrl.bits.mask_monitoring = 0;
3648                         rst_ctrl.bits.reset_ovfl_pmds = 1;
3649                 }
3650
3651                 if (ret == 0) {
3652                         if (rst_ctrl.bits.reset_ovfl_pmds)
3653                                 pfm_reset_regs(ctx, ctx->ctx_ovfl_regs, PFM_PMD_LONG_RESET);
3654
3655                         if (rst_ctrl.bits.mask_monitoring == 0) {
3656                                 DPRINT(("resuming monitoring for [%d]\n", task->pid));
3657
3658                                 if (state == PFM_CTX_MASKED) pfm_restore_monitoring(task);
3659                         } else {
3660                                 DPRINT(("keeping monitoring stopped for [%d]\n", task->pid));
3661
3662                                 // cannot use pfm_stop_monitoring(task, regs);
3663                         }
3664                 }
3665                 /*
3666                  * clear overflowed PMD mask to remove any stale information
3667                  */
3668                 ctx->ctx_ovfl_regs[0] = 0UL;
3669
3670                 /*
3671                  * back to LOADED state
3672                  */
3673                 ctx->ctx_state = PFM_CTX_LOADED;
3674
3675                 /*
3676                  * XXX: not really useful for self monitoring
3677                  */
3678                 ctx->ctx_fl_can_restart = 0;
3679
3680                 return 0;
3681         }
3682
3683         /*
3684          * restart another task
3685          */
3686
3687         /*
3688          * When PFM_CTX_MASKED, we cannot issue a restart before the previous
3689          * one is seen by the task.
3690          */
3691         if (state == PFM_CTX_MASKED) {
3692                 if (ctx->ctx_fl_can_restart == 0) return -EINVAL;
3693                 /*
3694                  * will prevent subsequent restart before this one is
3695                  * seen by other task
3696                  */
3697                 ctx->ctx_fl_can_restart = 0;
3698         }
3699
3700         /*
3701          * if blocking, then post the semaphore is PFM_CTX_MASKED, i.e.
3702          * the task is blocked or on its way to block. That's the normal
3703          * restart path. If the monitoring is not masked, then the task
3704          * can be actively monitoring and we cannot directly intervene.
3705          * Therefore we use the trap mechanism to catch the task and
3706          * force it to reset the buffer/reset PMDs.
3707          *
3708          * if non-blocking, then we ensure that the task will go into
3709          * pfm_handle_work() before returning to user mode.
3710          *
3711          * We cannot explicitly reset another task, it MUST always
3712          * be done by the task itself. This works for system wide because
3713          * the tool that is controlling the session is logically doing
3714          * "self-monitoring".
3715          */
3716         if (CTX_OVFL_NOBLOCK(ctx) == 0 && state == PFM_CTX_MASKED) {
3717                 DPRINT(("unblocking [%d] \n", task->pid));
3718                 complete(&ctx->ctx_restart_done);
3719         } else {
3720                 DPRINT(("[%d] armed exit trap\n", task->pid));
3721
3722                 ctx->ctx_fl_trap_reason = PFM_TRAP_REASON_RESET;
3723
3724                 PFM_SET_WORK_PENDING(task, 1);
3725
3726                 pfm_set_task_notify(task);
3727
3728                 /*
3729                  * XXX: send reschedule if task runs on another CPU
3730                  */
3731         }
3732         return 0;
3733 }
3734
3735 static int
3736 pfm_debug(pfm_context_t *ctx, void *arg, int count, struct pt_regs *regs)
3737 {
3738         unsigned int m = *(unsigned int *)arg;
3739
3740         pfm_sysctl.debug = m == 0 ? 0 : 1;
3741
3742         printk(KERN_INFO "perfmon debugging %s (timing reset)\n", pfm_sysctl.debug ? "on" : "off");
3743
3744         if (m == 0) {
3745                 memset(pfm_stats, 0, sizeof(pfm_stats));
3746                 for(m=0; m < NR_CPUS; m++) pfm_stats[m].pfm_ovfl_intr_cycles_min = ~0UL;
3747         }
3748         return 0;
3749 }
3750
3751 /*
3752  * arg can be NULL and count can be zero for this function
3753  */
3754 static int
3755 pfm_write_ibr_dbr(int mode, pfm_context_t *ctx, void *arg, int count, struct pt_regs *regs)
3756 {
3757         struct thread_struct *thread = NULL;
3758         struct task_struct *task;
3759         pfarg_dbreg_t *req = (pfarg_dbreg_t *)arg;
3760         unsigned long flags;
3761         dbreg_t dbreg;
3762         unsigned int rnum;
3763         int first_time;
3764         int ret = 0, state;
3765         int i, can_access_pmu = 0;
3766         int is_system, is_loaded;
3767
3768         if (pmu_conf->use_rr_dbregs == 0) return -EINVAL;
3769
3770         state     = ctx->ctx_state;
3771         is_loaded = state == PFM_CTX_LOADED ? 1 : 0;
3772         is_system = ctx->ctx_fl_system;
3773         task      = ctx->ctx_task;
3774
3775         if (state == PFM_CTX_ZOMBIE) return -EINVAL;
3776
3777         /*
3778          * on both UP and SMP, we can only write to the PMC when the task is
3779          * the owner of the local PMU.
3780          */
3781         if (is_loaded) {
3782                 thread = &task->thread;
3783                 /*
3784                  * In system wide and when the context is loaded, access can only happen
3785                  * when the caller is running on the CPU being monitored by the session.
3786                  * It does not have to be the owner (ctx_task) of the context per se.
3787                  */
3788                 if (unlikely(is_system && ctx->ctx_cpu != smp_processor_id())) {
3789                         DPRINT(("should be running on CPU%d\n", ctx->ctx_cpu));
3790                         return -EBUSY;
3791                 }
3792                 can_access_pmu = GET_PMU_OWNER() == task || is_system ? 1 : 0;
3793         }
3794
3795         /*
3796          * we do not need to check for ipsr.db because we do clear ibr.x, dbr.r, and dbr.w
3797          * ensuring that no real breakpoint can be installed via this call.
3798          *
3799          * IMPORTANT: regs can be NULL in this function
3800          */
3801
3802         first_time = ctx->ctx_fl_using_dbreg == 0;
3803
3804         /*
3805          * don't bother if we are loaded and task is being debugged
3806          */
3807         if (is_loaded && (thread->flags & IA64_THREAD_DBG_VALID) != 0) {
3808                 DPRINT(("debug registers already in use for [%d]\n", task->pid));
3809                 return -EBUSY;
3810         }
3811
3812         /*
3813          * check for debug registers in system wide mode
3814          *
3815          * If though a check is done in pfm_context_load(),
3816          * we must repeat it here, in case the registers are
3817          * written after the context is loaded
3818          */
3819         if (is_loaded) {
3820                 LOCK_PFS(flags);
3821
3822                 if (first_time && is_system) {
3823                         if (pfm_sessions.pfs_ptrace_use_dbregs)
3824                                 ret = -EBUSY;
3825                         else
3826                                 pfm_sessions.pfs_sys_use_dbregs++;
3827                 }
3828                 UNLOCK_PFS(flags);
3829         }
3830
3831         if (ret != 0) return ret;
3832
3833         /*
3834          * mark ourself as user of the debug registers for
3835          * perfmon purposes.
3836          */
3837         ctx->ctx_fl_using_dbreg = 1;
3838
3839         /*
3840          * clear hardware registers to make sure we don't
3841          * pick up stale state.
3842          *
3843          * for a system wide session, we do not use
3844          * thread.dbr, thread.ibr because this process
3845          * never leaves the current CPU and the state
3846          * is shared by all processes running on it
3847          */
3848         if (first_time && can_access_pmu) {
3849                 DPRINT(("[%d] clearing ibrs, dbrs\n", task->pid));
3850                 for (i=0; i < pmu_conf->num_ibrs; i++) {
3851                         ia64_set_ibr(i, 0UL);
3852                         ia64_dv_serialize_instruction();
3853                 }
3854                 ia64_srlz_i();
3855                 for (i=0; i < pmu_conf->num_dbrs; i++) {
3856                         ia64_set_dbr(i, 0UL);
3857                         ia64_dv_serialize_data();
3858                 }
3859                 ia64_srlz_d();
3860         }
3861
3862         /*
3863          * Now install the values into the registers
3864          */
3865         for (i = 0; i < count; i++, req++) {
3866
3867                 rnum      = req->dbreg_num;
3868                 dbreg.val = req->dbreg_value;
3869
3870                 ret = -EINVAL;
3871
3872                 if ((mode == PFM_CODE_RR && rnum >= PFM_NUM_IBRS) || ((mode == PFM_DATA_RR) && rnum >= PFM_NUM_DBRS)) {
3873                         DPRINT(("invalid register %u val=0x%lx mode=%d i=%d count=%d\n",
3874                                   rnum, dbreg.val, mode, i, count));
3875
3876                         goto abort_mission;
3877                 }
3878
3879                 /*
3880                  * make sure we do not install enabled breakpoint
3881                  */
3882                 if (rnum & 0x1) {
3883                         if (mode == PFM_CODE_RR)
3884                                 dbreg.ibr.ibr_x = 0;
3885                         else
3886                                 dbreg.dbr.dbr_r = dbreg.dbr.dbr_w = 0;
3887                 }
3888
3889                 PFM_REG_RETFLAG_SET(req->dbreg_flags, 0);
3890
3891                 /*
3892                  * Debug registers, just like PMC, can only be modified
3893                  * by a kernel call. Moreover, perfmon() access to those
3894                  * registers are centralized in this routine. The hardware
3895                  * does not modify the value of these registers, therefore,
3896                  * if we save them as they are written, we can avoid having
3897                  * to save them on context switch out. This is made possible
3898                  * by the fact that when perfmon uses debug registers, ptrace()
3899                  * won't be able to modify them concurrently.
3900                  */
3901                 if (mode == PFM_CODE_RR) {
3902                         CTX_USED_IBR(ctx, rnum);
3903
3904                         if (can_access_pmu) {
3905                                 ia64_set_ibr(rnum, dbreg.val);
3906                                 ia64_dv_serialize_instruction();
3907                         }
3908
3909                         ctx->ctx_ibrs[rnum] = dbreg.val;
3910
3911                         DPRINT(("write ibr%u=0x%lx used_ibrs=0x%x ld=%d apmu=%d\n",
3912                                 rnum, dbreg.val, ctx->ctx_used_ibrs[0], is_loaded, can_access_pmu));
3913                 } else {
3914                         CTX_USED_DBR(ctx, rnum);
3915
3916                         if (can_access_pmu) {
3917                                 ia64_set_dbr(rnum, dbreg.val);
3918                                 ia64_dv_serialize_data();
3919                         }
3920                         ctx->ctx_dbrs[rnum] = dbreg.val;
3921
3922                         DPRINT(("write dbr%u=0x%lx used_dbrs=0x%x ld=%d apmu=%d\n",
3923                                 rnum, dbreg.val, ctx->ctx_used_dbrs[0], is_loaded, can_access_pmu));
3924                 }
3925         }
3926
3927         return 0;
3928
3929 abort_mission:
3930         /*
3931          * in case it was our first attempt, we undo the global modifications
3932          */
3933         if (first_time) {
3934                 LOCK_PFS(flags);
3935                 if (ctx->ctx_fl_system) {
3936                         pfm_sessions.pfs_sys_use_dbregs--;
3937                 }
3938                 UNLOCK_PFS(flags);
3939                 ctx->ctx_fl_using_dbreg = 0;
3940         }
3941         /*
3942          * install error return flag
3943          */
3944         PFM_REG_RETFLAG_SET(req->dbreg_flags, PFM_REG_RETFL_EINVAL);
3945
3946         return ret;
3947 }
3948
3949 static int
3950 pfm_write_ibrs(pfm_context_t *ctx, void *arg, int count, struct pt_regs *regs)
3951 {
3952         return pfm_write_ibr_dbr(PFM_CODE_RR, ctx, arg, count, regs);
3953 }
3954
3955 static int
3956 pfm_write_dbrs(pfm_context_t *ctx, void *arg, int count, struct pt_regs *regs)
3957 {
3958         return pfm_write_ibr_dbr(PFM_DATA_RR, ctx, arg, count, regs);
3959 }
3960
3961 int
3962 pfm_mod_write_ibrs(struct task_struct *task, void *req, unsigned int nreq, struct pt_regs *regs)
3963 {
3964         pfm_context_t *ctx;
3965
3966         if (req == NULL) return -EINVAL;
3967
3968         ctx = GET_PMU_CTX();
3969
3970         if (ctx == NULL) return -EINVAL;
3971
3972         /*
3973          * for now limit to current task, which is enough when calling
3974          * from overflow handler
3975          */
3976         if (task != current && ctx->ctx_fl_system == 0) return -EBUSY;
3977
3978         return pfm_write_ibrs(ctx, req, nreq, regs);
3979 }
3980 EXPORT_SYMBOL(pfm_mod_write_ibrs);
3981
3982 int
3983 pfm_mod_write_dbrs(struct task_struct *task, void *req, unsigned int nreq, struct pt_regs *regs)
3984 {
3985         pfm_context_t *ctx;
3986
3987         if (req == NULL) return -EINVAL;
3988
3989         ctx = GET_PMU_CTX();
3990
3991         if (ctx == NULL) return -EINVAL;
3992
3993         /*
3994          * for now limit to current task, which is enough when calling
3995          * from overflow handler
3996          */
3997         if (task != current && ctx->ctx_fl_system == 0) return -EBUSY;
3998
3999         return pfm_write_dbrs(ctx, req, nreq, regs);
4000 }
4001 EXPORT_SYMBOL(pfm_mod_write_dbrs);
4002
4003
4004 static int
4005 pfm_get_features(pfm_context_t *ctx, void *arg, int count, struct pt_regs *regs)
4006 {
4007         pfarg_features_t *req = (pfarg_features_t *)arg;
4008
4009         req->ft_version = PFM_VERSION;
4010         return 0;
4011 }
4012
4013 static int
4014 pfm_stop(pfm_context_t *ctx, void *arg, int count, struct pt_regs *regs)
4015 {
4016         struct pt_regs *tregs;
4017         struct task_struct *task = PFM_CTX_TASK(ctx);
4018         int state, is_system;
4019
4020         state     = ctx->ctx_state;
4021         is_system = ctx->ctx_fl_system;
4022
4023         /*
4024          * context must be attached to issue the stop command (includes LOADED,MASKED,ZOMBIE)
4025          */
4026         if (state == PFM_CTX_UNLOADED) return -EINVAL;
4027
4028         /*
4029          * In system wide and when the context is loaded, access can only happen
4030          * when the caller is running on the CPU being monitored by the session.
4031          * It does not have to be the owner (ctx_task) of the context per se.
4032          */
4033         if (is_system && ctx->ctx_cpu != smp_processor_id()) {
4034                 DPRINT(("should be running on CPU%d\n", ctx->ctx_cpu));
4035                 return -EBUSY;
4036         }
4037         DPRINT(("task [%d] ctx_state=%d is_system=%d\n",
4038                 PFM_CTX_TASK(ctx)->pid,
4039                 state,
4040                 is_system));
4041         /*
4042          * in system mode, we need to update the PMU directly
4043          * and the user level state of the caller, which may not
4044          * necessarily be the creator of the context.
4045          */
4046         if (is_system) {
4047                 /*
4048                  * Update local PMU first
4049                  *
4050                  * disable dcr pp
4051                  */
4052                 ia64_setreg(_IA64_REG_CR_DCR, ia64_getreg(_IA64_REG_CR_DCR) & ~IA64_DCR_PP);
4053                 ia64_srlz_i();
4054
4055                 /*
4056                  * update local cpuinfo
4057                  */
4058                 PFM_CPUINFO_CLEAR(PFM_CPUINFO_DCR_PP);
4059
4060                 /*
4061                  * stop monitoring, does srlz.i
4062                  */
4063                 pfm_clear_psr_pp();
4064
4065                 /*
4066                  * stop monitoring in the caller
4067                  */
4068                 ia64_psr(regs)->pp = 0;
4069
4070                 return 0;
4071         }
4072         /*
4073          * per-task mode
4074          */
4075
4076         if (task == current) {
4077                 /* stop monitoring  at kernel level */
4078                 pfm_clear_psr_up();
4079
4080                 /*
4081                  * stop monitoring at the user level
4082                  */
4083                 ia64_psr(regs)->up = 0;
4084         } else {
4085                 tregs = task_pt_regs(task);
4086
4087                 /*
4088                  * stop monitoring at the user level
4089                  */
4090                 ia64_psr(tregs)->up = 0;
4091
4092                 /*
4093                  * monitoring disabled in kernel at next reschedule
4094                  */
4095                 ctx->ctx_saved_psr_up = 0;
4096                 DPRINT(("task=[%d]\n", task->pid));
4097         }
4098         return 0;
4099 }
4100
4101
4102 static int
4103 pfm_start(pfm_context_t *ctx, void *arg, int count, struct pt_regs *regs)
4104 {
4105         struct pt_regs *tregs;
4106         int state, is_system;
4107
4108         state     = ctx->ctx_state;
4109         is_system = ctx->ctx_fl_system;
4110
4111         if (state != PFM_CTX_LOADED) return -EINVAL;
4112
4113         /*
4114          * In system wide and when the context is loaded, access can only happen
4115          * when the caller is running on the CPU being monitored by the session.
4116          * It does not have to be the owner (ctx_task) of the context per se.
4117          */
4118         if (is_system && ctx->ctx_cpu != smp_processor_id()) {
4119                 DPRINT(("should be running on CPU%d\n", ctx->ctx_cpu));
4120                 return -EBUSY;
4121         }
4122
4123         /*
4124          * in system mode, we need to update the PMU directly
4125          * and the user level state of the caller, which may not
4126          * necessarily be the creator of the context.
4127          */
4128         if (is_system) {
4129
4130                 /*
4131                  * set user level psr.pp for the caller
4132                  */
4133                 ia64_psr(regs)->pp = 1;
4134
4135                 /*
4136                  * now update the local PMU and cpuinfo
4137                  */
4138                 PFM_CPUINFO_SET(PFM_CPUINFO_DCR_PP);
4139
4140                 /*
4141                  * start monitoring at kernel level
4142                  */
4143                 pfm_set_psr_pp();
4144
4145                 /* enable dcr pp */
4146                 ia64_setreg(_IA64_REG_CR_DCR, ia64_getreg(_IA64_REG_CR_DCR) | IA64_DCR_PP);
4147                 ia64_srlz_i();
4148
4149                 return 0;
4150         }
4151
4152         /*
4153          * per-process mode
4154          */
4155
4156         if (ctx->ctx_task == current) {
4157
4158                 /* start monitoring at kernel level */
4159                 pfm_set_psr_up();
4160
4161                 /*
4162                  * activate monitoring at user level
4163                  */
4164                 ia64_psr(regs)->up = 1;
4165
4166         } else {
4167                 tregs = task_pt_regs(ctx->ctx_task);
4168
4169                 /*
4170                  * start monitoring at the kernel level the next
4171                  * time the task is scheduled
4172                  */
4173                 ctx->ctx_saved_psr_up = IA64_PSR_UP;
4174
4175                 /*
4176                  * activate monitoring at user level
4177                  */
4178                 ia64_psr(tregs)->up = 1;
4179         }
4180         return 0;
4181 }
4182
4183 static int
4184 pfm_get_pmc_reset(pfm_context_t *ctx, void *arg, int count, struct pt_regs *regs)
4185 {
4186         pfarg_reg_t *req = (pfarg_reg_t *)arg;
4187         unsigned int cnum;
4188         int i;
4189         int ret = -EINVAL;
4190
4191         for (i = 0; i < count; i++, req++) {
4192
4193                 cnum = req->reg_num;
4194
4195                 if (!PMC_IS_IMPL(cnum)) goto abort_mission;
4196
4197                 req->reg_value = PMC_DFL_VAL(cnum);
4198
4199                 PFM_REG_RETFLAG_SET(req->reg_flags, 0);
4200
4201                 DPRINT(("pmc_reset_val pmc[%u]=0x%lx\n", cnum, req->reg_value));
4202         }
4203         return 0;
4204
4205 abort_mission:
4206         PFM_REG_RETFLAG_SET(req->reg_flags, PFM_REG_RETFL_EINVAL);
4207         return ret;
4208 }
4209
4210 static int
4211 pfm_check_task_exist(pfm_context_t *ctx)
4212 {
4213         struct task_struct *g, *t;
4214         int ret = -ESRCH;
4215
4216         read_lock(&tasklist_lock);
4217
4218         do_each_thread (g, t) {
4219                 if (t->thread.pfm_context == ctx) {
4220                         ret = 0;
4221                         break;
4222                 }
4223         } while_each_thread (g, t);
4224
4225         read_unlock(&tasklist_lock);
4226
4227         DPRINT(("pfm_check_task_exist: ret=%d ctx=%p\n", ret, ctx));
4228
4229         return ret;
4230 }
4231
4232 static int
4233 pfm_context_load(pfm_context_t *ctx, void *arg, int count, struct pt_regs *regs)
4234 {
4235         struct task_struct *task;
4236         struct thread_struct *thread;
4237         struct pfm_context_t *old;
4238         unsigned long flags;
4239 #ifndef CONFIG_SMP
4240         struct task_struct *owner_task = NULL;
4241 #endif
4242         pfarg_load_t *req = (pfarg_load_t *)arg;
4243         unsigned long *pmcs_source, *pmds_source;
4244         int the_cpu;
4245         int ret = 0;
4246         int state, is_system, set_dbregs = 0;
4247
4248         state     = ctx->ctx_state;
4249         is_system = ctx->ctx_fl_system;
4250         /*
4251          * can only load from unloaded or terminated state
4252          */
4253         if (state != PFM_CTX_UNLOADED) {
4254                 DPRINT(("cannot load to [%d], invalid ctx_state=%d\n",
4255                         req->load_pid,
4256                         ctx->ctx_state));
4257                 return -EBUSY;
4258         }
4259
4260         DPRINT(("load_pid [%d] using_dbreg=%d\n", req->load_pid, ctx->ctx_fl_using_dbreg));
4261
4262         if (CTX_OVFL_NOBLOCK(ctx) == 0 && req->load_pid == current->pid) {
4263                 DPRINT(("cannot use blocking mode on self\n"));
4264                 return -EINVAL;
4265         }
4266
4267         ret = pfm_get_task(ctx, req->load_pid, &task);
4268         if (ret) {
4269                 DPRINT(("load_pid [%d] get_task=%d\n", req->load_pid, ret));
4270                 return ret;
4271         }
4272
4273         ret = -EINVAL;
4274
4275         /*
4276          * system wide is self monitoring only
4277          */
4278         if (is_system && task != current) {
4279                 DPRINT(("system wide is self monitoring only load_pid=%d\n",
4280                         req->load_pid));
4281                 goto error;
4282         }
4283
4284         thread = &task->thread;
4285
4286         ret = 0;
4287         /*
4288          * cannot load a context which is using range restrictions,
4289          * into a task that is being debugged.
4290          */
4291         if (ctx->ctx_fl_using_dbreg) {
4292                 if (thread->flags & IA64_THREAD_DBG_VALID) {
4293                         ret = -EBUSY;
4294                         DPRINT(("load_pid [%d] task is debugged, cannot load range restrictions\n", req->load_pid));
4295                         goto error;
4296                 }
4297                 LOCK_PFS(flags);
4298
4299                 if (is_system) {
4300                         if (pfm_sessions.pfs_ptrace_use_dbregs) {
4301                                 DPRINT(("cannot load [%d] dbregs in use\n", task->pid));
4302                                 ret = -EBUSY;
4303                         } else {
4304                                 pfm_sessions.pfs_sys_use_dbregs++;
4305                                 DPRINT(("load [%d] increased sys_use_dbreg=%u\n", task->pid, pfm_sessions.pfs_sys_use_dbregs));
4306                                 set_dbregs = 1;
4307                         }
4308                 }
4309
4310                 UNLOCK_PFS(flags);
4311
4312                 if (ret) goto error;
4313         }
4314
4315         /*
4316          * SMP system-wide monitoring implies self-monitoring.
4317          *
4318          * The programming model expects the task to
4319          * be pinned on a CPU throughout the session.
4320          * Here we take note of the current CPU at the
4321          * time the context is loaded. No call from
4322          * another CPU will be allowed.
4323          *
4324          * The pinning via shed_setaffinity()
4325          * must be done by the calling task prior
4326          * to this call.
4327          *
4328          * systemwide: keep track of CPU this session is supposed to run on
4329          */
4330         the_cpu = ctx->ctx_cpu = smp_processor_id();
4331
4332         ret = -EBUSY;
4333         /*
4334          * now reserve the session
4335          */
4336         ret = pfm_reserve_session(current, is_system, the_cpu);
4337         if (ret) goto error;
4338
4339         /*
4340          * task is necessarily stopped at this point.
4341          *
4342          * If the previous context was zombie, then it got removed in
4343          * pfm_save_regs(). Therefore we should not see it here.
4344          * If we see a context, then this is an active context
4345          *
4346          * XXX: needs to be atomic
4347          */
4348         DPRINT(("before cmpxchg() old_ctx=%p new_ctx=%p\n",
4349                 thread->pfm_context, ctx));
4350
4351         ret = -EBUSY;
4352         old = ia64_cmpxchg(acq, &thread->pfm_context, NULL, ctx, sizeof(pfm_context_t *));
4353         if (old != NULL) {
4354                 DPRINT(("load_pid [%d] already has a context\n", req->load_pid));
4355                 goto error_unres;
4356         }
4357
4358         pfm_reset_msgq(ctx);
4359
4360         ctx->ctx_state = PFM_CTX_LOADED;
4361
4362         /*
4363          * link context to task
4364          */
4365         ctx->ctx_task = task;
4366
4367         if (is_system) {
4368                 /*
4369                  * we load as stopped
4370                  */
4371                 PFM_CPUINFO_SET(PFM_CPUINFO_SYST_WIDE);
4372                 PFM_CPUINFO_CLEAR(PFM_CPUINFO_DCR_PP);
4373
4374                 if (ctx->ctx_fl_excl_idle) PFM_CPUINFO_SET(PFM_CPUINFO_EXCL_IDLE);
4375         } else {
4376                 thread->flags |= IA64_THREAD_PM_VALID;
4377         }
4378
4379         /*
4380          * propagate into thread-state
4381          */
4382         pfm_copy_pmds(task, ctx);
4383         pfm_copy_pmcs(task, ctx);
4384
4385         pmcs_source = ctx->th_pmcs;
4386         pmds_source = ctx->th_pmds;
4387
4388         /*
4389          * always the case for system-wide
4390          */
4391         if (task == current) {
4392
4393                 if (is_system == 0) {
4394
4395                         /* allow user level control */
4396                         ia64_psr(regs)->sp = 0;
4397                         DPRINT(("clearing psr.sp for [%d]\n", task->pid));
4398
4399                         SET_LAST_CPU(ctx, smp_processor_id());
4400                         INC_ACTIVATION();
4401                         SET_ACTIVATION(ctx);
4402 #ifndef CONFIG_SMP
4403                         /*
4404                          * push the other task out, if any
4405                          */
4406                         owner_task = GET_PMU_OWNER();
4407                         if (owner_task) pfm_lazy_save_regs(owner_task);
4408 #endif
4409                 }
4410                 /*
4411                  * load all PMD from ctx to PMU (as opposed to thread state)
4412                  * restore all PMC from ctx to PMU
4413                  */
4414                 pfm_restore_pmds(pmds_source, ctx->ctx_all_pmds[0]);
4415                 pfm_restore_pmcs(pmcs_source, ctx->ctx_all_pmcs[0]);
4416
4417                 ctx->ctx_reload_pmcs[0] = 0UL;
4418                 ctx->ctx_reload_pmds[0] = 0UL;
4419
4420                 /*
4421                  * guaranteed safe by earlier check against DBG_VALID
4422                  */
4423                 if (ctx->ctx_fl_using_dbreg) {
4424                         pfm_restore_ibrs(ctx->ctx_ibrs, pmu_conf->num_ibrs);
4425                         pfm_restore_dbrs(ctx->ctx_dbrs, pmu_conf->num_dbrs);
4426                 }
4427                 /*
4428                  * set new ownership
4429                  */
4430                 SET_PMU_OWNER(task, ctx);
4431
4432                 DPRINT(("context loaded on PMU for [%d]\n", task->pid));
4433         } else {
4434                 /*
4435                  * when not current, task MUST be stopped, so this is safe
4436                  */
4437                 regs = task_pt_regs(task);
4438
4439                 /* force a full reload */
4440                 ctx->ctx_last_activation = PFM_INVALID_ACTIVATION;
4441                 SET_LAST_CPU(ctx, -1);
4442
4443                 /* initial saved psr (stopped) */
4444                 ctx->ctx_saved_psr_up = 0UL;
4445                 ia64_psr(regs)->up = ia64_psr(regs)->pp = 0;
4446         }
4447
4448         ret = 0;
4449
4450 error_unres:
4451         if (ret) pfm_unreserve_session(ctx, ctx->ctx_fl_system, the_cpu);
4452 error:
4453         /*
4454          * we must undo the dbregs setting (for system-wide)
4455          */
4456         if (ret && set_dbregs) {
4457                 LOCK_PFS(flags);
4458                 pfm_sessions.pfs_sys_use_dbregs--;
4459                 UNLOCK_PFS(flags);
4460         }
4461         /*
4462          * release task, there is now a link with the context
4463          */
4464         if (is_system == 0 && task != current) {
4465                 pfm_put_task(task);
4466
4467                 if (ret == 0) {
4468                         ret = pfm_check_task_exist(ctx);
4469                         if (ret) {
4470                                 ctx->ctx_state = PFM_CTX_UNLOADED;
4471                                 ctx->ctx_task  = NULL;
4472                         }
4473                 }
4474         }
4475         return ret;
4476 }
4477
4478 /*
4479  * in this function, we do not need to increase the use count
4480  * for the task via get_task_struct(), because we hold the
4481  * context lock. If the task were to disappear while having
4482  * a context attached, it would go through pfm_exit_thread()
4483  * which also grabs the context lock  and would therefore be blocked
4484  * until we are here.
4485  */
4486 static void pfm_flush_pmds(struct task_struct *, pfm_context_t *ctx);
4487
4488 static int
4489 pfm_context_unload(pfm_context_t *ctx, void *arg, int count, struct pt_regs *regs)
4490 {
4491         struct task_struct *task = PFM_CTX_TASK(ctx);
4492         struct pt_regs *tregs;
4493         int prev_state, is_system;
4494         int ret;
4495
4496         DPRINT(("ctx_state=%d task [%d]\n", ctx->ctx_state, task ? task->pid : -1));
4497
4498         prev_state = ctx->ctx_state;
4499         is_system  = ctx->ctx_fl_system;
4500
4501         /*
4502          * unload only when necessary
4503          */
4504         if (prev_state == PFM_CTX_UNLOADED) {
4505                 DPRINT(("ctx_state=%d, nothing to do\n", prev_state));
4506                 return 0;
4507         }
4508
4509         /*
4510          * clear psr and dcr bits
4511          */
4512         ret = pfm_stop(ctx, NULL, 0, regs);
4513         if (ret) return ret;
4514
4515         ctx->ctx_state = PFM_CTX_UNLOADED;
4516
4517         /*
4518          * in system mode, we need to update the PMU directly
4519          * and the user level state of the caller, which may not
4520          * necessarily be the creator of the context.
4521          */
4522         if (is_system) {
4523
4524                 /*
4525                  * Update cpuinfo
4526                  *
4527                  * local PMU is taken care of in pfm_stop()
4528                  */
4529                 PFM_CPUINFO_CLEAR(PFM_CPUINFO_SYST_WIDE);
4530                 PFM_CPUINFO_CLEAR(PFM_CPUINFO_EXCL_IDLE);
4531
4532                 /*
4533                  * save PMDs in context
4534                  * release ownership
4535                  */
4536                 pfm_flush_pmds(current, ctx);
4537
4538                 /*
4539                  * at this point we are done with the PMU
4540                  * so we can unreserve the resource.
4541                  */
4542                 if (prev_state != PFM_CTX_ZOMBIE)
4543                         pfm_unreserve_session(ctx, 1 , ctx->ctx_cpu);
4544
4545                 /*
4546                  * disconnect context from task
4547                  */
4548                 task->thread.pfm_context = NULL;
4549                 /*
4550                  * disconnect task from context
4551                  */
4552                 ctx->ctx_task = NULL;
4553
4554                 /*
4555                  * There is nothing more to cleanup here.
4556                  */
4557                 return 0;
4558         }
4559
4560         /*
4561          * per-task mode
4562          */
4563         tregs = task == current ? regs : task_pt_regs(task);
4564
4565         if (task == current) {
4566                 /*
4567                  * cancel user level control
4568                  */
4569                 ia64_psr(regs)->sp = 1;
4570
4571                 DPRINT(("setting psr.sp for [%d]\n", task->pid));
4572         }
4573         /*
4574          * save PMDs to context
4575          * release ownership
4576          */
4577         pfm_flush_pmds(task, ctx);
4578
4579         /*
4580          * at this point we are done with the PMU
4581          * so we can unreserve the resource.
4582          *
4583          * when state was ZOMBIE, we have already unreserved.
4584          */
4585         if (prev_state != PFM_CTX_ZOMBIE)
4586                 pfm_unreserve_session(ctx, 0 , ctx->ctx_cpu);
4587
4588         /*
4589          * reset activation counter and psr
4590          */
4591         ctx->ctx_last_activation = PFM_INVALID_ACTIVATION;
4592         SET_LAST_CPU(ctx, -1);
4593
4594         /*
4595          * PMU state will not be restored
4596          */
4597         task->thread.flags &= ~IA64_THREAD_PM_VALID;
4598
4599         /*
4600          * break links between context and task
4601          */
4602         task->thread.pfm_context  = NULL;
4603         ctx->ctx_task             = NULL;
4604
4605         PFM_SET_WORK_PENDING(task, 0);
4606
4607         ctx->ctx_fl_trap_reason  = PFM_TRAP_REASON_NONE;
4608         ctx->ctx_fl_can_restart  = 0;
4609         ctx->ctx_fl_going_zombie = 0;
4610
4611         DPRINT(("disconnected [%d] from context\n", task->pid));
4612
4613         return 0;
4614 }
4615
4616
4617 /*
4618  * called only from exit_thread(): task == current
4619  * we come here only if current has a context attached (loaded or masked)
4620  */
4621 void
4622 pfm_exit_thread(struct task_struct *task)
4623 {
4624         pfm_context_t *ctx;
4625         unsigned long flags;
4626         struct pt_regs *regs = task_pt_regs(task);
4627         int ret, state;
4628         int free_ok = 0;
4629
4630         ctx = PFM_GET_CTX(task);
4631
4632         PROTECT_CTX(ctx, flags);
4633
4634         DPRINT(("state=%d task [%d]\n", ctx->ctx_state, task->pid));
4635
4636         state = ctx->ctx_state;
4637         switch(state) {
4638                 case PFM_CTX_UNLOADED:
4639                         /*
4640                          * only comes to this function if pfm_context is not NULL, i.e., cannot
4641                          * be in unloaded state
4642                          */
4643                         printk(KERN_ERR "perfmon: pfm_exit_thread [%d] ctx unloaded\n", task->pid);
4644                         break;
4645                 case PFM_CTX_LOADED:
4646                 case PFM_CTX_MASKED:
4647                         ret = pfm_context_unload(ctx, NULL, 0, regs);
4648                         if (ret) {
4649                                 printk(KERN_ERR "perfmon: pfm_exit_thread [%d] state=%d unload failed %d\n", task->pid, state, ret);
4650                         }
4651                         DPRINT(("ctx unloaded for current state was %d\n", state));
4652
4653                         pfm_end_notify_user(ctx);
4654                         break;
4655                 case PFM_CTX_ZOMBIE:
4656                         ret = pfm_context_unload(ctx, NULL, 0, regs);
4657                         if (ret) {
4658                                 printk(KERN_ERR "perfmon: pfm_exit_thread [%d] state=%d unload failed %d\n", task->pid, state, ret);
4659                         }
4660                         free_ok = 1;
4661                         break;
4662                 default:
4663                         printk(KERN_ERR "perfmon: pfm_exit_thread [%d] unexpected state=%d\n", task->pid, state);
4664                         break;
4665         }
4666         UNPROTECT_CTX(ctx, flags);
4667
4668         { u64 psr = pfm_get_psr();
4669           BUG_ON(psr & (IA64_PSR_UP|IA64_PSR_PP));
4670           BUG_ON(GET_PMU_OWNER());
4671           BUG_ON(ia64_psr(regs)->up);
4672           BUG_ON(ia64_psr(regs)->pp);
4673         }
4674
4675         /*
4676          * All memory free operations (especially for vmalloc'ed memory)
4677          * MUST be done with interrupts ENABLED.
4678          */
4679         if (free_ok) pfm_context_free(ctx);
4680 }
4681
4682 /*
4683  * functions MUST be listed in the increasing order of their index (see permfon.h)
4684  */
4685 #define PFM_CMD(name, flags, arg_count, arg_type, getsz) { name, #name, flags, arg_count, sizeof(arg_type), getsz }
4686 #define PFM_CMD_S(name, flags) { name, #name, flags, 0, 0, NULL }
4687 #define PFM_CMD_PCLRWS  (PFM_CMD_FD|PFM_CMD_ARG_RW|PFM_CMD_STOP)
4688 #define PFM_CMD_PCLRW   (PFM_CMD_FD|PFM_CMD_ARG_RW)
4689 #define PFM_CMD_NONE    { NULL, "no-cmd", 0, 0, 0, NULL}
4690
4691 static pfm_cmd_desc_t pfm_cmd_tab[]={
4692 /* 0  */PFM_CMD_NONE,
4693 /* 1  */PFM_CMD(pfm_write_pmcs, PFM_CMD_PCLRWS, PFM_CMD_ARG_MANY, pfarg_reg_t, NULL),
4694 /* 2  */PFM_CMD(pfm_write_pmds, PFM_CMD_PCLRWS, PFM_CMD_ARG_MANY, pfarg_reg_t, NULL),
4695 /* 3  */PFM_CMD(pfm_read_pmds, PFM_CMD_PCLRWS, PFM_CMD_ARG_MANY, pfarg_reg_t, NULL),
4696 /* 4  */PFM_CMD_S(pfm_stop, PFM_CMD_PCLRWS),
4697 /* 5  */PFM_CMD_S(pfm_start, PFM_CMD_PCLRWS),
4698 /* 6  */PFM_CMD_NONE,
4699 /* 7  */PFM_CMD_NONE,
4700 /* 8  */PFM_CMD(pfm_context_create, PFM_CMD_ARG_RW, 1, pfarg_context_t, pfm_ctx_getsize),
4701 /* 9  */PFM_CMD_NONE,
4702 /* 10 */PFM_CMD_S(pfm_restart, PFM_CMD_PCLRW),
4703 /* 11 */PFM_CMD_NONE,
4704 /* 12 */PFM_CMD(pfm_get_features, PFM_CMD_ARG_RW, 1, pfarg_features_t, NULL),
4705 /* 13 */PFM_CMD(pfm_debug, 0, 1, unsigned int, NULL),
4706 /* 14 */PFM_CMD_NONE,
4707 /* 15 */PFM_CMD(pfm_get_pmc_reset, PFM_CMD_ARG_RW, PFM_CMD_ARG_MANY, pfarg_reg_t, NULL),
4708 /* 16 */PFM_CMD(pfm_context_load, PFM_CMD_PCLRWS, 1, pfarg_load_t, NULL),
4709 /* 17 */PFM_CMD_S(pfm_context_unload, PFM_CMD_PCLRWS),
4710 /* 18 */PFM_CMD_NONE,
4711 /* 19 */PFM_CMD_NONE,
4712 /* 20 */PFM_CMD_NONE,
4713 /* 21 */PFM_CMD_NONE,
4714 /* 22 */PFM_CMD_NONE,
4715 /* 23 */PFM_CMD_NONE,
4716 /* 24 */PFM_CMD_NONE,
4717 /* 25 */PFM_CMD_NONE,
4718 /* 26 */PFM_CMD_NONE,
4719 /* 27 */PFM_CMD_NONE,
4720 /* 28 */PFM_CMD_NONE,
4721 /* 29 */PFM_CMD_NONE,
4722 /* 30 */PFM_CMD_NONE,
4723 /* 31 */PFM_CMD_NONE,
4724 /* 32 */PFM_CMD(pfm_write_ibrs, PFM_CMD_PCLRWS, PFM_CMD_ARG_MANY, pfarg_dbreg_t, NULL),
4725 /* 33 */PFM_CMD(pfm_write_dbrs, PFM_CMD_PCLRWS, PFM_CMD_ARG_MANY, pfarg_dbreg_t, NULL)
4726 };
4727 #define PFM_CMD_COUNT   (sizeof(pfm_cmd_tab)/sizeof(pfm_cmd_desc_t))
4728
4729 static int
4730 pfm_check_task_state(pfm_context_t *ctx, int cmd, unsigned long flags)
4731 {
4732         struct task_struct *task;
4733         int state, old_state;
4734
4735 recheck:
4736         state = ctx->ctx_state;
4737         task  = ctx->ctx_task;
4738
4739         if (task == NULL) {
4740                 DPRINT(("context %d no task, state=%d\n", ctx->ctx_fd, state));
4741                 return 0;
4742         }
4743
4744         DPRINT(("context %d state=%d [%d] task_state=%ld must_stop=%d\n",
4745                 ctx->ctx_fd,
4746                 state,
4747                 task->pid,
4748                 task->state, PFM_CMD_STOPPED(cmd)));
4749
4750         /*
4751          * self-monitoring always ok.
4752          *
4753          * for system-wide the caller can either be the creator of the
4754          * context (to one to which the context is attached to) OR
4755          * a task running on the same CPU as the session.
4756          */
4757         if (task == current || ctx->ctx_fl_system) return 0;
4758
4759         /*
4760          * we are monitoring another thread
4761          */
4762         switch(state) {
4763                 case PFM_CTX_UNLOADED:
4764                         /*
4765                          * if context is UNLOADED we are safe to go
4766                          */
4767                         return 0;
4768                 case PFM_CTX_ZOMBIE:
4769                         /*
4770                          * no command can operate on a zombie context
4771                          */
4772                         DPRINT(("cmd %d state zombie cannot operate on context\n", cmd));
4773                         return -EINVAL;
4774                 case PFM_CTX_MASKED:
4775                         /*
4776                          * PMU state has been saved to software even though
4777                          * the thread may still be running.
4778                          */
4779                         if (cmd != PFM_UNLOAD_CONTEXT) return 0;
4780         }
4781
4782         /*
4783          * context is LOADED or MASKED. Some commands may need to have
4784          * the task stopped.
4785          *
4786          * We could lift this restriction for UP but it would mean that
4787          * the user has no guarantee the task would not run between
4788          * two successive calls to perfmonctl(). That's probably OK.
4789          * If this user wants to ensure the task does not run, then
4790          * the task must be stopped.
4791          */
4792         if (PFM_CMD_STOPPED(cmd)) {
4793                 if ((task->state != TASK_STOPPED) && (task->state != TASK_TRACED)) {
4794                         DPRINT(("[%d] task not in stopped state\n", task->pid));
4795                         return -EBUSY;
4796                 }
4797                 /*
4798                  * task is now stopped, wait for ctxsw out
4799                  *
4800                  * This is an interesting point in the code.
4801                  * We need to unprotect the context because
4802                  * the pfm_save_regs() routines needs to grab
4803                  * the same lock. There are danger in doing
4804                  * this because it leaves a window open for
4805                  * another task to get access to the context
4806                  * and possibly change its state. The one thing
4807                  * that is not possible is for the context to disappear
4808                  * because we are protected by the VFS layer, i.e.,
4809                  * get_fd()/put_fd().
4810                  */
4811                 old_state = state;
4812
4813                 UNPROTECT_CTX(ctx, flags);
4814
4815                 wait_task_inactive(task);
4816
4817                 PROTECT_CTX(ctx, flags);
4818
4819                 /*
4820                  * we must recheck to verify if state has changed
4821                  */
4822                 if (ctx->ctx_state != old_state) {
4823                         DPRINT(("old_state=%d new_state=%d\n", old_state, ctx->ctx_state));
4824                         goto recheck;
4825                 }
4826         }
4827         return 0;
4828 }
4829
4830 /*
4831  * system-call entry point (must return long)
4832  */
4833 asmlinkage long
4834 sys_perfmonctl (int fd, int cmd, void __user *arg, int count)
4835 {
4836         struct file *file = NULL;
4837         pfm_context_t *ctx = NULL;
4838         unsigned long flags = 0UL;
4839         void *args_k = NULL;
4840         long ret; /* will expand int return types */
4841         size_t base_sz, sz, xtra_sz = 0;
4842         int narg, completed_args = 0, call_made = 0, cmd_flags;
4843         int (*func)(pfm_context_t *ctx, void *arg, int count, struct pt_regs *regs);
4844         int (*getsize)(void *arg, size_t *sz);
4845 #define PFM_MAX_ARGSIZE 4096
4846
4847         /*
4848          * reject any call if perfmon was disabled at initialization
4849          */
4850         if (unlikely(pmu_conf == NULL)) return -ENOSYS;
4851
4852         if (unlikely(cmd < 0 || cmd >= PFM_CMD_COUNT)) {
4853                 DPRINT(("invalid cmd=%d\n", cmd));
4854                 return -EINVAL;
4855         }
4856
4857         func      = pfm_cmd_tab[cmd].cmd_func;
4858         narg      = pfm_cmd_tab[cmd].cmd_narg;
4859         base_sz   = pfm_cmd_tab[cmd].cmd_argsize;
4860         getsize   = pfm_cmd_tab[cmd].cmd_getsize;
4861         cmd_flags = pfm_cmd_tab[cmd].cmd_flags;
4862
4863         if (unlikely(func == NULL)) {
4864                 DPRINT(("invalid cmd=%d\n", cmd));
4865                 return -EINVAL;
4866         }
4867
4868         DPRINT(("cmd=%s idx=%d narg=0x%x argsz=%lu count=%d\n",
4869                 PFM_CMD_NAME(cmd),
4870                 cmd,
4871                 narg,
4872                 base_sz,
4873                 count));
4874
4875         /*
4876          * check if number of arguments matches what the command expects
4877          */
4878         if (unlikely((narg == PFM_CMD_ARG_MANY && count <= 0) || (narg > 0 && narg != count)))
4879                 return -EINVAL;
4880
4881 restart_args:
4882         sz = xtra_sz + base_sz*count;
4883         /*
4884          * limit abuse to min page size
4885          */
4886         if (unlikely(sz > PFM_MAX_ARGSIZE)) {
4887                 printk(KERN_ERR "perfmon: [%d] argument too big %lu\n", current->pid, sz);
4888                 return -E2BIG;
4889         }
4890
4891         /*
4892          * allocate default-sized argument buffer
4893          */
4894         if (likely(count && args_k == NULL)) {
4895                 args_k = kmalloc(PFM_MAX_ARGSIZE, GFP_KERNEL);
4896                 if (args_k == NULL) return -ENOMEM;
4897         }
4898
4899         ret = -EFAULT;
4900
4901         /*
4902          * copy arguments
4903          *
4904          * assume sz = 0 for command without parameters
4905          */
4906         if (sz && copy_from_user(args_k, arg, sz)) {
4907                 DPRINT(("cannot copy_from_user %lu bytes @%p\n", sz, arg));
4908                 goto error_args;
4909         }
4910
4911         /*
4912          * check if command supports extra parameters
4913          */
4914         if (completed_args == 0 && getsize) {
4915                 /*
4916                  * get extra parameters size (based on main argument)
4917                  */
4918                 ret = (*getsize)(args_k, &xtra_sz);
4919                 if (ret) goto error_args;
4920
4921                 completed_args = 1;
4922
4923                 DPRINT(("restart_args sz=%lu xtra_sz=%lu\n", sz, xtra_sz));
4924
4925                 /* retry if necessary */
4926                 if (likely(xtra_sz)) goto restart_args;
4927         }
4928
4929         if (unlikely((cmd_flags & PFM_CMD_FD) == 0)) goto skip_fd;
4930
4931         ret = -EBADF;
4932
4933         file = fget(fd);
4934         if (unlikely(file == NULL)) {
4935                 DPRINT(("invalid fd %d\n", fd));
4936                 goto error_args;
4937         }
4938         if (unlikely(PFM_IS_FILE(file) == 0)) {
4939                 DPRINT(("fd %d not related to perfmon\n", fd));
4940                 goto error_args;
4941         }
4942
4943         ctx = (pfm_context_t *)file->private_data;
4944         if (unlikely(ctx == NULL)) {
4945                 DPRINT(("no context for fd %d\n", fd));
4946                 goto error_args;
4947         }
4948         prefetch(&ctx->ctx_state);
4949
4950         PROTECT_CTX(ctx, flags);
4951
4952         /*
4953          * check task is stopped
4954          */
4955         ret = pfm_check_task_state(ctx, cmd, flags);
4956         if (unlikely(ret)) goto abort_locked;
4957
4958 skip_fd:
4959         ret = (*func)(ctx, args_k, count, task_pt_regs(current));
4960
4961         call_made = 1;
4962
4963 abort_locked:
4964         if (likely(ctx)) {
4965                 DPRINT(("context unlocked\n"));
4966                 UNPROTECT_CTX(ctx, flags);
4967         }
4968
4969         /* copy argument back to user, if needed */
4970         if (call_made && PFM_CMD_RW_ARG(cmd) && copy_to_user(arg, args_k, base_sz*count)) ret = -EFAULT;
4971
4972 error_args:
4973         if (file)
4974                 fput(file);
4975
4976         kfree(args_k);
4977
4978         DPRINT(("cmd=%s ret=%ld\n", PFM_CMD_NAME(cmd), ret));
4979
4980         return ret;
4981 }
4982
4983 static void
4984 pfm_resume_after_ovfl(pfm_context_t *ctx, unsigned long ovfl_regs, struct pt_regs *regs)
4985 {
4986         pfm_buffer_fmt_t *fmt = ctx->ctx_buf_fmt;
4987         pfm_ovfl_ctrl_t rst_ctrl;
4988         int state;
4989         int ret = 0;
4990
4991         state = ctx->ctx_state;
4992         /*
4993          * Unlock sampling buffer and reset index atomically
4994          * XXX: not really needed when blocking
4995          */
4996         if (CTX_HAS_SMPL(ctx)) {
4997
4998                 rst_ctrl.bits.mask_monitoring = 0;
4999                 rst_ctrl.bits.reset_ovfl_pmds = 0;
5000
5001                 if (state == PFM_CTX_LOADED)
5002                         ret = pfm_buf_fmt_restart_active(fmt, current, &rst_ctrl, ctx->ctx_smpl_hdr, regs);
5003                 else
5004                         ret = pfm_buf_fmt_restart(fmt, current, &rst_ctrl, ctx->ctx_smpl_hdr, regs);
5005         } else {
5006                 rst_ctrl.bits.mask_monitoring = 0;
5007                 rst_ctrl.bits.reset_ovfl_pmds = 1;
5008         }
5009
5010         if (ret == 0) {
5011                 if (rst_ctrl.bits.reset_ovfl_pmds) {
5012                         pfm_reset_regs(ctx, &ovfl_regs, PFM_PMD_LONG_RESET);
5013                 }
5014                 if (rst_ctrl.bits.mask_monitoring == 0) {
5015                         DPRINT(("resuming monitoring\n"));
5016                         if (ctx->ctx_state == PFM_CTX_MASKED) pfm_restore_monitoring(current);
5017                 } else {
5018                         DPRINT(("stopping monitoring\n"));
5019                         //pfm_stop_monitoring(current, regs);
5020                 }
5021                 ctx->ctx_state = PFM_CTX_LOADED;
5022         }
5023 }
5024
5025 /*
5026  * context MUST BE LOCKED when calling
5027  * can only be called for current
5028  */
5029 static void
5030 pfm_context_force_terminate(pfm_context_t *ctx, struct pt_regs *regs)
5031 {
5032         int ret;
5033
5034         DPRINT(("entering for [%d]\n", current->pid));
5035
5036         ret = pfm_context_unload(ctx, NULL, 0, regs);
5037         if (ret) {
5038                 printk(KERN_ERR "pfm_context_force_terminate: [%d] unloaded failed with %d\n", current->pid, ret);
5039         }
5040
5041         /*
5042          * and wakeup controlling task, indicating we are now disconnected
5043          */
5044         wake_up_interruptible(&ctx->ctx_zombieq);
5045
5046         /*
5047          * given that context is still locked, the controlling
5048          * task will only get access when we return from
5049          * pfm_handle_work().
5050          */
5051 }
5052
5053 static int pfm_ovfl_notify_user(pfm_context_t *ctx, unsigned long ovfl_pmds);
5054  /*
5055   * pfm_handle_work() can be called with interrupts enabled
5056   * (TIF_NEED_RESCHED) or disabled. The down_interruptible
5057   * call may sleep, therefore we must re-enable interrupts
5058   * to avoid deadlocks. It is safe to do so because this function
5059   * is called ONLY when returning to user level (PUStk=1), in which case
5060   * there is no risk of kernel stack overflow due to deep
5061   * interrupt nesting.
5062   */
5063 void
5064 pfm_handle_work(void)
5065 {
5066         pfm_context_t *ctx;
5067         struct pt_regs *regs;
5068         unsigned long flags, dummy_flags;
5069         unsigned long ovfl_regs;
5070         unsigned int reason;
5071         int ret;
5072
5073         ctx = PFM_GET_CTX(current);
5074         if (ctx == NULL) {
5075                 printk(KERN_ERR "perfmon: [%d] has no PFM context\n", current->pid);
5076                 return;
5077         }
5078
5079         PROTECT_CTX(ctx, flags);
5080
5081         PFM_SET_WORK_PENDING(current, 0);
5082
5083         pfm_clear_task_notify();
5084
5085         regs = task_pt_regs(current);
5086
5087         /*
5088          * extract reason for being here and clear
5089          */
5090         reason = ctx->ctx_fl_trap_reason;
5091         ctx->ctx_fl_trap_reason = PFM_TRAP_REASON_NONE;
5092         ovfl_regs = ctx->ctx_ovfl_regs[0];
5093
5094         DPRINT(("reason=%d state=%d\n", reason, ctx->ctx_state));
5095
5096         /*
5097          * must be done before we check for simple-reset mode
5098          */
5099         if (ctx->ctx_fl_going_zombie || ctx->ctx_state == PFM_CTX_ZOMBIE) goto do_zombie;
5100
5101
5102         //if (CTX_OVFL_NOBLOCK(ctx)) goto skip_blocking;
5103         if (reason == PFM_TRAP_REASON_RESET) goto skip_blocking;
5104
5105         /*
5106          * restore interrupt mask to what it was on entry.
5107          * Could be enabled/diasbled.
5108          */
5109         UNPROTECT_CTX(ctx, flags);
5110
5111         /*
5112          * force interrupt enable because of down_interruptible()
5113          */
5114         local_irq_enable();
5115
5116         DPRINT(("before block sleeping\n"));
5117
5118         /*
5119          * may go through without blocking on SMP systems
5120          * if restart has been received already by the time we call down()
5121          */
5122         ret = wait_for_completion_interruptible(&ctx->ctx_restart_done);
5123
5124         DPRINT(("after block sleeping ret=%d\n", ret));
5125
5126         /*
5127          * lock context and mask interrupts again
5128          * We save flags into a dummy because we may have
5129          * altered interrupts mask compared to entry in this
5130          * function.
5131          */
5132         PROTECT_CTX(ctx, dummy_flags);
5133
5134         /*
5135          * we need to read the ovfl_regs only after wake-up
5136          * because we may have had pfm_write_pmds() in between
5137          * and that can changed PMD values and therefore
5138          * ovfl_regs is reset for these new PMD values.
5139          */
5140         ovfl_regs = ctx->ctx_ovfl_regs[0];
5141
5142         if (ctx->ctx_fl_going_zombie) {
5143 do_zombie:
5144                 DPRINT(("context is zombie, bailing out\n"));
5145                 pfm_context_force_terminate(ctx, regs);
5146                 goto nothing_to_do;
5147         }
5148         /*
5149          * in case of interruption of down() we don't restart anything
5150          */
5151         if (ret < 0) goto nothing_to_do;
5152
5153 skip_blocking:
5154         pfm_resume_after_ovfl(ctx, ovfl_regs, regs);
5155         ctx->ctx_ovfl_regs[0] = 0UL;
5156
5157 nothing_to_do:
5158         /*
5159          * restore flags as they were upon entry
5160          */
5161         UNPROTECT_CTX(ctx, flags);
5162 }
5163
5164 static int
5165 pfm_notify_user(pfm_context_t *ctx, pfm_msg_t *msg)
5166 {
5167         if (ctx->ctx_state == PFM_CTX_ZOMBIE) {
5168                 DPRINT(("ignoring overflow notification, owner is zombie\n"));
5169                 return 0;
5170         }
5171
5172         DPRINT(("waking up somebody\n"));
5173
5174         if (msg) wake_up_interruptible(&ctx->ctx_msgq_wait);
5175
5176         /*
5177          * safe, we are not in intr handler, nor in ctxsw when
5178          * we come here
5179          */
5180         kill_fasync (&ctx->ctx_async_queue, SIGIO, POLL_IN);
5181
5182         return 0;
5183 }
5184
5185 static int
5186 pfm_ovfl_notify_user(pfm_context_t *ctx, unsigned long ovfl_pmds)
5187 {
5188         pfm_msg_t *msg = NULL;
5189
5190         if (ctx->ctx_fl_no_msg == 0) {
5191                 msg = pfm_get_new_msg(ctx);
5192                 if (msg == NULL) {
5193                         printk(KERN_ERR "perfmon: pfm_ovfl_notify_user no more notification msgs\n");
5194                         return -1;
5195                 }
5196
5197                 msg->pfm_ovfl_msg.msg_type         = PFM_MSG_OVFL;
5198                 msg->pfm_ovfl_msg.msg_ctx_fd       = ctx->ctx_fd;
5199                 msg->pfm_ovfl_msg.msg_active_set   = 0;
5200                 msg->pfm_ovfl_msg.msg_ovfl_pmds[0] = ovfl_pmds;
5201                 msg->pfm_ovfl_msg.msg_ovfl_pmds[1] = 0UL;
5202                 msg->pfm_ovfl_msg.msg_ovfl_pmds[2] = 0UL;
5203                 msg->pfm_ovfl_msg.msg_ovfl_pmds[3] = 0UL;
5204                 msg->pfm_ovfl_msg.msg_tstamp       = 0UL;
5205         }
5206
5207         DPRINT(("ovfl msg: msg=%p no_msg=%d fd=%d ovfl_pmds=0x%lx\n",
5208                 msg,
5209                 ctx->ctx_fl_no_msg,
5210                 ctx->ctx_fd,
5211                 ovfl_pmds));
5212
5213         return pfm_notify_user(ctx, msg);
5214 }
5215
5216 static int
5217 pfm_end_notify_user(pfm_context_t *ctx)
5218 {
5219         pfm_msg_t *msg;
5220
5221         msg = pfm_get_new_msg(ctx);
5222         if (msg == NULL) {
5223                 printk(KERN_ERR "perfmon: pfm_end_notify_user no more notification msgs\n");
5224                 return -1;
5225         }
5226         /* no leak */
5227         memset(msg, 0, sizeof(*msg));
5228
5229         msg->pfm_end_msg.msg_type    = PFM_MSG_END;
5230         msg->pfm_end_msg.msg_ctx_fd  = ctx->ctx_fd;
5231         msg->pfm_ovfl_msg.msg_tstamp = 0UL;
5232
5233         DPRINT(("end msg: msg=%p no_msg=%d ctx_fd=%d\n",
5234                 msg,
5235                 ctx->ctx_fl_no_msg,
5236                 ctx->ctx_fd));
5237
5238         return pfm_notify_user(ctx, msg);
5239 }
5240
5241 /*
5242  * main overflow processing routine.
5243  * it can be called from the interrupt path or explicitly during the context switch code
5244  */
5245 static void
5246 pfm_overflow_handler(struct task_struct *task, pfm_context_t *ctx, u64 pmc0, struct pt_regs *regs)
5247 {
5248         pfm_ovfl_arg_t *ovfl_arg;
5249         unsigned long mask;
5250         unsigned long old_val, ovfl_val, new_val;
5251         unsigned long ovfl_notify = 0UL, ovfl_pmds = 0UL, smpl_pmds = 0UL, reset_pmds;
5252         unsigned long tstamp;
5253         pfm_ovfl_ctrl_t ovfl_ctrl;
5254         unsigned int i, has_smpl;
5255         int must_notify = 0;
5256
5257         if (unlikely(ctx->ctx_state == PFM_CTX_ZOMBIE)) goto stop_monitoring;
5258
5259         /*
5260          * sanity test. Should never happen
5261          */
5262         if (unlikely((pmc0 & 0x1) == 0)) goto sanity_check;
5263
5264         tstamp   = ia64_get_itc();
5265         mask     = pmc0 >> PMU_FIRST_COUNTER;
5266         ovfl_val = pmu_conf->ovfl_val;
5267         has_smpl = CTX_HAS_SMPL(ctx);
5268
5269         DPRINT_ovfl(("pmc0=0x%lx pid=%d iip=0x%lx, %s "
5270                      "used_pmds=0x%lx\n",
5271                         pmc0,
5272                         task ? task->pid: -1,
5273                         (regs ? regs->cr_iip : 0),
5274                         CTX_OVFL_NOBLOCK(ctx) ? "nonblocking" : "blocking",
5275                         ctx->ctx_used_pmds[0]));
5276
5277
5278         /*
5279          * first we update the virtual counters
5280          * assume there was a prior ia64_srlz_d() issued
5281          */
5282         for (i = PMU_FIRST_COUNTER; mask ; i++, mask >>= 1) {
5283
5284                 /* skip pmd which did not overflow */
5285                 if ((mask & 0x1) == 0) continue;
5286
5287                 /*
5288                  * Note that the pmd is not necessarily 0 at this point as qualified events
5289                  * may have happened before the PMU was frozen. The residual count is not
5290                  * taken into consideration here but will be with any read of the pmd via
5291                  * pfm_read_pmds().
5292                  */
5293                 old_val              = new_val = ctx->ctx_pmds[i].val;
5294                 new_val             += 1 + ovfl_val;
5295                 ctx->ctx_pmds[i].val = new_val;
5296
5297                 /*
5298                  * check for overflow condition
5299                  */
5300                 if (likely(old_val > new_val)) {
5301                         ovfl_pmds |= 1UL << i;
5302                         if (PMC_OVFL_NOTIFY(ctx, i)) ovfl_notify |= 1UL << i;
5303                 }
5304
5305                 DPRINT_ovfl(("ctx_pmd[%d].val=0x%lx old_val=0x%lx pmd=0x%lx ovfl_pmds=0x%lx ovfl_notify=0x%lx\n",
5306                         i,
5307                         new_val,
5308                         old_val,
5309                         ia64_get_pmd(i) & ovfl_val,
5310                         ovfl_pmds,
5311                         ovfl_notify));
5312         }
5313
5314         /*
5315          * there was no 64-bit overflow, nothing else to do
5316          */
5317         if (ovfl_pmds == 0UL) return;
5318
5319         /*
5320          * reset all control bits
5321          */
5322         ovfl_ctrl.val = 0;
5323         reset_pmds    = 0UL;
5324
5325         /*
5326          * if a sampling format module exists, then we "cache" the overflow by
5327          * calling the module's handler() routine.
5328          */
5329         if (has_smpl) {
5330                 unsigned long start_cycles, end_cycles;
5331                 unsigned long pmd_mask;
5332                 int j, k, ret = 0;
5333                 int this_cpu = smp_processor_id();
5334
5335                 pmd_mask = ovfl_pmds >> PMU_FIRST_COUNTER;
5336                 ovfl_arg = &ctx->ctx_ovfl_arg;
5337
5338                 prefetch(ctx->ctx_smpl_hdr);
5339
5340                 for(i=PMU_FIRST_COUNTER; pmd_mask && ret == 0; i++, pmd_mask >>=1) {
5341
5342                         mask = 1UL << i;
5343
5344                         if ((pmd_mask & 0x1) == 0) continue;
5345
5346                         ovfl_arg->ovfl_pmd      = (unsigned char )i;
5347                         ovfl_arg->ovfl_notify   = ovfl_notify & mask ? 1 : 0;
5348                         ovfl_arg->active_set    = 0;
5349                         ovfl_arg->ovfl_ctrl.val = 0; /* module must fill in all fields */
5350                         ovfl_arg->smpl_pmds[0]  = smpl_pmds = ctx->ctx_pmds[i].smpl_pmds[0];
5351
5352                         ovfl_arg->pmd_value      = ctx->ctx_pmds[i].val;
5353                         ovfl_arg->pmd_last_reset = ctx->ctx_pmds[i].lval;
5354                         ovfl_arg->pmd_eventid    = ctx->ctx_pmds[i].eventid;
5355
5356                         /*
5357                          * copy values of pmds of interest. Sampling format may copy them
5358                          * into sampling buffer.
5359                          */
5360                         if (smpl_pmds) {
5361                                 for(j=0, k=0; smpl_pmds; j++, smpl_pmds >>=1) {
5362                                         if ((smpl_pmds & 0x1) == 0) continue;
5363                                         ovfl_arg->smpl_pmds_values[k++] = PMD_IS_COUNTING(j) ?  pfm_read_soft_counter(ctx, j) : ia64_get_pmd(j);
5364                                         DPRINT_ovfl(("smpl_pmd[%d]=pmd%u=0x%lx\n", k-1, j, ovfl_arg->smpl_pmds_values[k-1]));
5365                                 }
5366                         }
5367
5368                         pfm_stats[this_cpu].pfm_smpl_handler_calls++;
5369
5370                         start_cycles = ia64_get_itc();
5371
5372                         /*
5373                          * call custom buffer format record (handler) routine
5374                          */
5375                         ret = (*ctx->ctx_buf_fmt->fmt_handler)(task, ctx->ctx_smpl_hdr, ovfl_arg, regs, tstamp);
5376
5377                         end_cycles = ia64_get_itc();
5378
5379                         /*
5380                          * For those controls, we take the union because they have
5381                          * an all or nothing behavior.
5382                          */
5383                         ovfl_ctrl.bits.notify_user     |= ovfl_arg->ovfl_ctrl.bits.notify_user;
5384                         ovfl_ctrl.bits.block_task      |= ovfl_arg->ovfl_ctrl.bits.block_task;
5385                         ovfl_ctrl.bits.mask_monitoring |= ovfl_arg->ovfl_ctrl.bits.mask_monitoring;
5386                         /*
5387                          * build the bitmask of pmds to reset now
5388                          */
5389                         if (ovfl_arg->ovfl_ctrl.bits.reset_ovfl_pmds) reset_pmds |= mask;
5390
5391                         pfm_stats[this_cpu].pfm_smpl_handler_cycles += end_cycles - start_cycles;
5392                 }
5393                 /*
5394                  * when the module cannot handle the rest of the overflows, we abort right here
5395                  */
5396                 if (ret && pmd_mask) {
5397                         DPRINT(("handler aborts leftover ovfl_pmds=0x%lx\n",
5398                                 pmd_mask<<PMU_FIRST_COUNTER));
5399                 }
5400                 /*
5401                  * remove the pmds we reset now from the set of pmds to reset in pfm_restart()
5402                  */
5403                 ovfl_pmds &= ~reset_pmds;
5404         } else {
5405                 /*
5406                  * when no sampling module is used, then the default
5407                  * is to notify on overflow if requested by user
5408                  */
5409                 ovfl_ctrl.bits.notify_user     = ovfl_notify ? 1 : 0;
5410                 ovfl_ctrl.bits.block_task      = ovfl_notify ? 1 : 0;
5411                 ovfl_ctrl.bits.mask_monitoring = ovfl_notify ? 1 : 0; /* XXX: change for saturation */
5412                 ovfl_ctrl.bits.reset_ovfl_pmds = ovfl_notify ? 0 : 1;
5413                 /*
5414                  * if needed, we reset all overflowed pmds
5415                  */
5416                 if (ovfl_notify == 0) reset_pmds = ovfl_pmds;
5417         }
5418
5419         DPRINT_ovfl(("ovfl_pmds=0x%lx reset_pmds=0x%lx\n", ovfl_pmds, reset_pmds));
5420
5421         /*
5422          * reset the requested PMD registers using the short reset values
5423          */
5424         if (reset_pmds) {
5425                 unsigned long bm = reset_pmds;
5426                 pfm_reset_regs(ctx, &bm, PFM_PMD_SHORT_RESET);
5427         }
5428
5429         if (ovfl_notify && ovfl_ctrl.bits.notify_user) {
5430                 /*
5431                  * keep track of what to reset when unblocking
5432                  */
5433                 ctx->ctx_ovfl_regs[0] = ovfl_pmds;
5434
5435                 /*
5436                  * check for blocking context
5437                  */
5438                 if (CTX_OVFL_NOBLOCK(ctx) == 0 && ovfl_ctrl.bits.block_task) {
5439
5440                         ctx->ctx_fl_trap_reason = PFM_TRAP_REASON_BLOCK;
5441
5442                         /*
5443                          * set the perfmon specific checking pending work for the task
5444                          */
5445                         PFM_SET_WORK_PENDING(task, 1);
5446
5447                         /*
5448                          * when coming from ctxsw, current still points to the
5449                          * previous task, therefore we must work with task and not current.
5450                          */
5451                         pfm_set_task_notify(task);
5452                 }
5453                 /*
5454                  * defer until state is changed (shorten spin window). the context is locked
5455                  * anyway, so the signal receiver would come spin for nothing.
5456                  */
5457                 must_notify = 1;
5458         }
5459
5460         DPRINT_ovfl(("owner [%d] pending=%ld reason=%u ovfl_pmds=0x%lx ovfl_notify=0x%lx masked=%d\n",
5461                         GET_PMU_OWNER() ? GET_PMU_OWNER()->pid : -1,
5462                         PFM_GET_WORK_PENDING(task),
5463                         ctx->ctx_fl_trap_reason,
5464                         ovfl_pmds,
5465                         ovfl_notify,
5466                         ovfl_ctrl.bits.mask_monitoring ? 1 : 0));
5467         /*
5468          * in case monitoring must be stopped, we toggle the psr bits
5469          */
5470         if (ovfl_ctrl.bits.mask_monitoring) {
5471                 pfm_mask_monitoring(task);
5472                 ctx->ctx_state = PFM_CTX_MASKED;
5473                 ctx->ctx_fl_can_restart = 1;
5474         }
5475
5476         /*
5477          * send notification now
5478          */
5479         if (must_notify) pfm_ovfl_notify_user(ctx, ovfl_notify);
5480
5481         return;
5482
5483 sanity_check:
5484         printk(KERN_ERR "perfmon: CPU%d overflow handler [%d] pmc0=0x%lx\n",
5485                         smp_processor_id(),
5486                         task ? task->pid : -1,
5487                         pmc0);
5488         return;
5489
5490 stop_monitoring:
5491         /*
5492          * in SMP, zombie context is never restored but reclaimed in pfm_load_regs().
5493          * Moreover, zombies are also reclaimed in pfm_save_regs(). Therefore we can
5494          * come here as zombie only if the task is the current task. In which case, we
5495          * can access the PMU  hardware directly.
5496          *
5497          * Note that zombies do have PM_VALID set. So here we do the minimal.
5498          *
5499          * In case the context was zombified it could not be reclaimed at the time
5500          * the monitoring program exited. At this point, the PMU reservation has been
5501          * returned, the sampiing buffer has been freed. We must convert this call
5502          * into a spurious interrupt. However, we must also avoid infinite overflows
5503          * by stopping monitoring for this task. We can only come here for a per-task
5504          * context. All we need to do is to stop monitoring using the psr bits which
5505          * are always task private. By re-enabling secure montioring, we ensure that
5506          * the monitored task will not be able to re-activate monitoring.
5507          * The task will eventually be context switched out, at which point the context
5508          * will be reclaimed (that includes releasing ownership of the PMU).
5509          *
5510          * So there might be a window of time where the number of per-task session is zero
5511          * yet one PMU might have a owner and get at most one overflow interrupt for a zombie
5512          * context. This is safe because if a per-task session comes in, it will push this one
5513          * out and by the virtue on pfm_save_regs(), this one will disappear. If a system wide
5514          * session is force on that CPU, given that we use task pinning, pfm_save_regs() will
5515          * also push our zombie context out.
5516          *
5517          * Overall pretty hairy stuff....
5518          */
5519         DPRINT(("ctx is zombie for [%d], converted to spurious\n", task ? task->pid: -1));
5520         pfm_clear_psr_up();
5521         ia64_psr(regs)->up = 0;
5522         ia64_psr(regs)->sp = 1;
5523         return;
5524 }
5525
5526 static int
5527 pfm_do_interrupt_handler(int irq, void *arg, struct pt_regs *regs)
5528 {
5529         struct task_struct *task;
5530         pfm_context_t *ctx;
5531         unsigned long flags;
5532         u64 pmc0;
5533         int this_cpu = smp_processor_id();
5534         int retval = 0;
5535
5536         pfm_stats[this_cpu].pfm_ovfl_intr_count++;
5537
5538         /*
5539          * srlz.d done before arriving here
5540          */
5541         pmc0 = ia64_get_pmc(0);
5542
5543         task = GET_PMU_OWNER();
5544         ctx  = GET_PMU_CTX();
5545
5546         /*
5547          * if we have some pending bits set
5548          * assumes : if any PMC0.bit[63-1] is set, then PMC0.fr = 1
5549          */
5550         if (PMC0_HAS_OVFL(pmc0) && task) {
5551                 /*
5552                  * we assume that pmc0.fr is always set here
5553                  */
5554
5555                 /* sanity check */
5556                 if (!ctx) goto report_spurious1;
5557
5558                 if (ctx->ctx_fl_system == 0 && (task->thread.flags & IA64_THREAD_PM_VALID) == 0)
5559                         goto report_spurious2;
5560
5561                 PROTECT_CTX_NOPRINT(ctx, flags);
5562
5563                 pfm_overflow_handler(task, ctx, pmc0, regs);
5564
5565                 UNPROTECT_CTX_NOPRINT(ctx, flags);
5566
5567         } else {
5568                 pfm_stats[this_cpu].pfm_spurious_ovfl_intr_count++;
5569                 retval = -1;
5570         }
5571         /*
5572          * keep it unfrozen at all times
5573          */
5574         pfm_unfreeze_pmu();
5575
5576         return retval;
5577
5578 report_spurious1:
5579         printk(KERN_INFO "perfmon: spurious overflow interrupt on CPU%d: process %d has no PFM context\n",
5580                 this_cpu, task->pid);
5581         pfm_unfreeze_pmu();
5582         return -1;
5583 report_spurious2:
5584         printk(KERN_INFO "perfmon: spurious overflow interrupt on CPU%d: process %d, invalid flag\n",
5585                 this_cpu,
5586                 task->pid);
5587         pfm_unfreeze_pmu();
5588         return -1;
5589 }
5590
5591 static irqreturn_t
5592 pfm_interrupt_handler(int irq, void *arg)
5593 {
5594         unsigned long start_cycles, total_cycles;
5595         unsigned long min, max;
5596         int this_cpu;
5597         int ret;
5598         struct pt_regs *regs = get_irq_regs();
5599
5600         this_cpu = get_cpu();
5601         if (likely(!pfm_alt_intr_handler)) {
5602                 min = pfm_stats[this_cpu].pfm_ovfl_intr_cycles_min;
5603                 max = pfm_stats[this_cpu].pfm_ovfl_intr_cycles_max;
5604
5605                 start_cycles = ia64_get_itc();
5606
5607                 ret = pfm_do_interrupt_handler(irq, arg, regs);
5608
5609                 total_cycles = ia64_get_itc();
5610
5611                 /*
5612                  * don't measure spurious interrupts
5613                  */
5614                 if (likely(ret == 0)) {
5615                         total_cycles -= start_cycles;
5616
5617                         if (total_cycles < min) pfm_stats[this_cpu].pfm_ovfl_intr_cycles_min = total_cycles;
5618                         if (total_cycles > max) pfm_stats[this_cpu].pfm_ovfl_intr_cycles_max = total_cycles;
5619
5620                         pfm_stats[this_cpu].pfm_ovfl_intr_cycles += total_cycles;
5621                 }
5622         }
5623         else {
5624                 (*pfm_alt_intr_handler->handler)(irq, arg, regs);
5625         }
5626
5627         put_cpu_no_resched();
5628         return IRQ_HANDLED;
5629 }
5630
5631 /*
5632  * /proc/perfmon interface, for debug only
5633  */
5634
5635 #define PFM_PROC_SHOW_HEADER    ((void *)NR_CPUS+1)
5636
5637 static void *
5638 pfm_proc_start(struct seq_file *m, loff_t *pos)
5639 {
5640         if (*pos == 0) {
5641                 return PFM_PROC_SHOW_HEADER;
5642         }
5643
5644         while (*pos <= NR_CPUS) {
5645                 if (cpu_online(*pos - 1)) {
5646                         return (void *)*pos;
5647                 }
5648                 ++*pos;
5649         }
5650         return NULL;
5651 }
5652
5653 static void *
5654 pfm_proc_next(struct seq_file *m, void *v, loff_t *pos)
5655 {
5656         ++*pos;
5657         return pfm_proc_start(m, pos);
5658 }
5659
5660 static void
5661 pfm_proc_stop(struct seq_file *m, void *v)
5662 {
5663 }
5664
5665 static void
5666 pfm_proc_show_header(struct seq_file *m)
5667 {
5668         struct list_head * pos;
5669         pfm_buffer_fmt_t * entry;
5670         unsigned long flags;
5671
5672         seq_printf(m,
5673                 "perfmon version           : %u.%u\n"
5674                 "model                     : %s\n"
5675                 "fastctxsw                 : %s\n"
5676                 "expert mode               : %s\n"
5677                 "ovfl_mask                 : 0x%lx\n"
5678                 "PMU flags                 : 0x%x\n",
5679                 PFM_VERSION_MAJ, PFM_VERSION_MIN,
5680                 pmu_conf->pmu_name,
5681                 pfm_sysctl.fastctxsw > 0 ? "Yes": "No",
5682                 pfm_sysctl.expert_mode > 0 ? "Yes": "No",
5683                 pmu_conf->ovfl_val,
5684                 pmu_conf->flags);
5685
5686         LOCK_PFS(flags);
5687
5688         seq_printf(m,
5689                 "proc_sessions             : %u\n"
5690                 "sys_sessions              : %u\n"
5691                 "sys_use_dbregs            : %u\n"
5692                 "ptrace_use_dbregs         : %u\n",
5693                 pfm_sessions.pfs_task_sessions,
5694                 pfm_sessions.pfs_sys_sessions,
5695                 pfm_sessions.pfs_sys_use_dbregs,
5696                 pfm_sessions.pfs_ptrace_use_dbregs);
5697
5698         UNLOCK_PFS(flags);
5699
5700         spin_lock(&pfm_buffer_fmt_lock);
5701
5702         list_for_each(pos, &pfm_buffer_fmt_list) {
5703                 entry = list_entry(pos, pfm_buffer_fmt_t, fmt_list);
5704                 seq_printf(m, "format                    : %02x-%02x-%02x-%02x-%02x-%02x-%02x-%02x-%02x-%02x-%02x-%02x-%02x-%02x-%02x-%02x %s\n",
5705                         entry->fmt_uuid[0],
5706                         entry->fmt_uuid[1],
5707                         entry->fmt_uuid[2],
5708                         entry->fmt_uuid[3],
5709                         entry->fmt_uuid[4],
5710                         entry->fmt_uuid[5],
5711                         entry->fmt_uuid[6],
5712                         entry->fmt_uuid[7],
5713                         entry->fmt_uuid[8],
5714                         entry->fmt_uuid[9],
5715                         entry->fmt_uuid[10],
5716                         entry->fmt_uuid[11],
5717                         entry->fmt_uuid[12],
5718                         entry->fmt_uuid[13],
5719                         entry->fmt_uuid[14],
5720                         entry->fmt_uuid[15],
5721                         entry->fmt_name);
5722         }
5723         spin_unlock(&pfm_buffer_fmt_lock);
5724
5725 }
5726
5727 static int
5728 pfm_proc_show(struct seq_file *m, void *v)
5729 {
5730         unsigned long psr;
5731         unsigned int i;
5732         int cpu;
5733
5734         if (v == PFM_PROC_SHOW_HEADER) {
5735                 pfm_proc_show_header(m);
5736                 return 0;
5737         }
5738
5739         /* show info for CPU (v - 1) */
5740
5741         cpu = (long)v - 1;
5742         seq_printf(m,
5743                 "CPU%-2d overflow intrs      : %lu\n"
5744                 "CPU%-2d overflow cycles     : %lu\n"
5745                 "CPU%-2d overflow min        : %lu\n"
5746                 "CPU%-2d overflow max        : %lu\n"
5747                 "CPU%-2d smpl handler calls  : %lu\n"
5748                 "CPU%-2d smpl handler cycles : %lu\n"
5749                 "CPU%-2d spurious intrs      : %lu\n"
5750                 "CPU%-2d replay   intrs      : %lu\n"
5751                 "CPU%-2d syst_wide           : %d\n"
5752                 "CPU%-2d dcr_pp              : %d\n"
5753                 "CPU%-2d exclude idle        : %d\n"
5754                 "CPU%-2d owner               : %d\n"
5755                 "CPU%-2d context             : %p\n"
5756                 "CPU%-2d activations         : %lu\n",
5757                 cpu, pfm_stats[cpu].pfm_ovfl_intr_count,
5758                 cpu, pfm_stats[cpu].pfm_ovfl_intr_cycles,
5759                 cpu, pfm_stats[cpu].pfm_ovfl_intr_cycles_min,
5760                 cpu, pfm_stats[cpu].pfm_ovfl_intr_cycles_max,
5761                 cpu, pfm_stats[cpu].pfm_smpl_handler_calls,
5762                 cpu, pfm_stats[cpu].pfm_smpl_handler_cycles,
5763                 cpu, pfm_stats[cpu].pfm_spurious_ovfl_intr_count,
5764                 cpu, pfm_stats[cpu].pfm_replay_ovfl_intr_count,
5765                 cpu, pfm_get_cpu_data(pfm_syst_info, cpu) & PFM_CPUINFO_SYST_WIDE ? 1 : 0,
5766                 cpu, pfm_get_cpu_data(pfm_syst_info, cpu) & PFM_CPUINFO_DCR_PP ? 1 : 0,
5767                 cpu, pfm_get_cpu_data(pfm_syst_info, cpu) & PFM_CPUINFO_EXCL_IDLE ? 1 : 0,
5768                 cpu, pfm_get_cpu_data(pmu_owner, cpu) ? pfm_get_cpu_data(pmu_owner, cpu)->pid: -1,
5769                 cpu, pfm_get_cpu_data(pmu_ctx, cpu),
5770                 cpu, pfm_get_cpu_data(pmu_activation_number, cpu));
5771
5772         if (num_online_cpus() == 1 && pfm_sysctl.debug > 0) {
5773
5774                 psr = pfm_get_psr();
5775
5776                 ia64_srlz_d();
5777
5778                 seq_printf(m,
5779                         "CPU%-2d psr                 : 0x%lx\n"
5780                         "CPU%-2d pmc0                : 0x%lx\n",
5781                         cpu, psr,
5782                         cpu, ia64_get_pmc(0));
5783
5784                 for (i=0; PMC_IS_LAST(i) == 0;  i++) {
5785                         if (PMC_IS_COUNTING(i) == 0) continue;
5786                         seq_printf(m,
5787                                 "CPU%-2d pmc%u                : 0x%lx\n"
5788                                 "CPU%-2d pmd%u                : 0x%lx\n",
5789                                 cpu, i, ia64_get_pmc(i),
5790                                 cpu, i, ia64_get_pmd(i));
5791                 }
5792         }
5793         return 0;
5794 }
5795
5796 struct seq_operations pfm_seq_ops = {
5797         .start =        pfm_proc_start,
5798         .next =         pfm_proc_next,
5799         .stop =         pfm_proc_stop,
5800         .show =         pfm_proc_show
5801 };
5802
5803 static int
5804 pfm_proc_open(struct inode *inode, struct file *file)
5805 {
5806         return seq_open(file, &pfm_seq_ops);
5807 }
5808
5809
5810 /*
5811  * we come here as soon as local_cpu_data->pfm_syst_wide is set. this happens
5812  * during pfm_enable() hence before pfm_start(). We cannot assume monitoring
5813  * is active or inactive based on mode. We must rely on the value in
5814  * local_cpu_data->pfm_syst_info
5815  */
5816 void
5817 pfm_syst_wide_update_task(struct task_struct *task, unsigned long info, int is_ctxswin)
5818 {
5819         struct pt_regs *regs;
5820         unsigned long dcr;
5821         unsigned long dcr_pp;
5822
5823         dcr_pp = info & PFM_CPUINFO_DCR_PP ? 1 : 0;
5824
5825         /*
5826          * pid 0 is guaranteed to be the idle task. There is one such task with pid 0
5827          * on every CPU, so we can rely on the pid to identify the idle task.
5828          */
5829         if ((info & PFM_CPUINFO_EXCL_IDLE) == 0 || task->pid) {
5830                 regs = task_pt_regs(task);
5831                 ia64_psr(regs)->pp = is_ctxswin ? dcr_pp : 0;
5832                 return;
5833         }
5834         /*
5835          * if monitoring has started
5836          */
5837         if (dcr_pp) {
5838                 dcr = ia64_getreg(_IA64_REG_CR_DCR);
5839                 /*
5840                  * context switching in?
5841                  */
5842                 if (is_ctxswin) {
5843                         /* mask monitoring for the idle task */
5844                         ia64_setreg(_IA64_REG_CR_DCR, dcr & ~IA64_DCR_PP);
5845                         pfm_clear_psr_pp();
5846                         ia64_srlz_i();
5847                         return;
5848                 }
5849                 /*
5850                  * context switching out
5851                  * restore monitoring for next task
5852                  *
5853                  * Due to inlining this odd if-then-else construction generates
5854                  * better code.
5855                  */
5856                 ia64_setreg(_IA64_REG_CR_DCR, dcr |IA64_DCR_PP);
5857                 pfm_set_psr_pp();
5858                 ia64_srlz_i();
5859         }
5860 }
5861
5862 #ifdef CONFIG_SMP
5863
5864 static void
5865 pfm_force_cleanup(pfm_context_t *ctx, struct pt_regs *regs)
5866 {
5867         struct task_struct *task = ctx->ctx_task;
5868
5869         ia64_psr(regs)->up = 0;
5870         ia64_psr(regs)->sp = 1;
5871
5872         if (GET_PMU_OWNER() == task) {
5873                 DPRINT(("cleared ownership for [%d]\n", ctx->ctx_task->pid));
5874                 SET_PMU_OWNER(NULL, NULL);
5875         }
5876
5877         /*
5878          * disconnect the task from the context and vice-versa
5879          */
5880         PFM_SET_WORK_PENDING(task, 0);
5881
5882         task->thread.pfm_context  = NULL;
5883         task->thread.flags       &= ~IA64_THREAD_PM_VALID;
5884
5885         DPRINT(("force cleanup for [%d]\n",  task->pid));
5886 }
5887
5888
5889 /*
5890  * in 2.6, interrupts are masked when we come here and the runqueue lock is held
5891  */
5892 void
5893 pfm_save_regs(struct task_struct *task)
5894 {
5895         pfm_context_t *ctx;
5896         unsigned long flags;
5897         u64 psr;
5898
5899
5900         ctx = PFM_GET_CTX(task);
5901         if (ctx == NULL) return;
5902
5903         /*
5904          * we always come here with interrupts ALREADY disabled by
5905          * the scheduler. So we simply need to protect against concurrent
5906          * access, not CPU concurrency.
5907          */
5908         flags = pfm_protect_ctx_ctxsw(ctx);
5909
5910         if (ctx->ctx_state == PFM_CTX_ZOMBIE) {
5911                 struct pt_regs *regs = task_pt_regs(task);
5912
5913                 pfm_clear_psr_up();
5914
5915                 pfm_force_cleanup(ctx, regs);
5916
5917                 BUG_ON(ctx->ctx_smpl_hdr);
5918
5919                 pfm_unprotect_ctx_ctxsw(ctx, flags);
5920
5921                 pfm_context_free(ctx);
5922                 return;
5923         }
5924
5925         /*
5926          * save current PSR: needed because we modify it
5927          */
5928         ia64_srlz_d();
5929         psr = pfm_get_psr();
5930
5931         BUG_ON(psr & (IA64_PSR_I));
5932
5933         /*
5934          * stop monitoring:
5935          * This is the last instruction which may generate an overflow
5936          *
5937          * We do not need to set psr.sp because, it is irrelevant in kernel.
5938          * It will be restored from ipsr when going back to user level
5939          */
5940         pfm_clear_psr_up();
5941
5942         /*
5943          * keep a copy of psr.up (for reload)
5944          */
5945         ctx->ctx_saved_psr_up = psr & IA64_PSR_UP;
5946
5947         /*
5948          * release ownership of this PMU.
5949          * PM interrupts are masked, so nothing
5950          * can happen.
5951          */
5952         SET_PMU_OWNER(NULL, NULL);
5953
5954         /*
5955          * we systematically save the PMD as we have no
5956          * guarantee we will be schedule at that same
5957          * CPU again.
5958          */
5959         pfm_save_pmds(ctx->th_pmds, ctx->ctx_used_pmds[0]);
5960
5961         /*
5962          * save pmc0 ia64_srlz_d() done in pfm_save_pmds()
5963          * we will need it on the restore path to check
5964          * for pending overflow.
5965          */
5966         ctx->th_pmcs[0] = ia64_get_pmc(0);
5967
5968         /*
5969          * unfreeze PMU if had pending overflows
5970          */
5971         if (ctx->th_pmcs[0] & ~0x1UL) pfm_unfreeze_pmu();
5972
5973         /*
5974          * finally, allow context access.
5975          * interrupts will still be masked after this call.
5976          */
5977         pfm_unprotect_ctx_ctxsw(ctx, flags);
5978 }
5979
5980 #else /* !CONFIG_SMP */
5981 void
5982 pfm_save_regs(struct task_struct *task)
5983 {
5984         pfm_context_t *ctx;
5985         u64 psr;
5986
5987         ctx = PFM_GET_CTX(task);
5988         if (ctx == NULL) return;
5989
5990         /*
5991          * save current PSR: needed because we modify it
5992          */
5993         psr = pfm_get_psr();
5994
5995         BUG_ON(psr & (IA64_PSR_I));
5996
5997         /*
5998          * stop monitoring:
5999          * This is the last instruction which may generate an overflow
6000          *
6001          * We do not need to set psr.sp because, it is irrelevant in kernel.
6002          * It will be restored from ipsr when going back to user level
6003          */
6004         pfm_clear_psr_up();
6005
6006         /*
6007          * keep a copy of psr.up (for reload)
6008          */
6009         ctx->ctx_saved_psr_up = psr & IA64_PSR_UP;
6010 }
6011
6012 static void
6013 pfm_lazy_save_regs (struct task_struct *task)
6014 {
6015         pfm_context_t *ctx;
6016         unsigned long flags;
6017
6018         { u64 psr  = pfm_get_psr();
6019           BUG_ON(psr & IA64_PSR_UP);
6020         }
6021
6022         ctx = PFM_GET_CTX(task);
6023
6024         /*
6025          * we need to mask PMU overflow here to
6026          * make sure that we maintain pmc0 until
6027          * we save it. overflow interrupts are
6028          * treated as spurious if there is no
6029          * owner.
6030          *
6031          * XXX: I don't think this is necessary
6032          */
6033         PROTECT_CTX(ctx,flags);
6034
6035         /*
6036          * release ownership of this PMU.
6037          * must be done before we save the registers.
6038          *
6039          * after this call any PMU interrupt is treated
6040          * as spurious.
6041          */
6042         SET_PMU_OWNER(NULL, NULL);
6043
6044         /*
6045          * save all the pmds we use
6046          */
6047         pfm_save_pmds(ctx->th_pmds, ctx->ctx_used_pmds[0]);
6048
6049         /*
6050          * save pmc0 ia64_srlz_d() done in pfm_save_pmds()
6051          * it is needed to check for pended overflow
6052          * on the restore path
6053          */
6054         ctx->th_pmcs[0] = ia64_get_pmc(0);
6055
6056         /*
6057          * unfreeze PMU if had pending overflows
6058          */
6059         if (ctx->th_pmcs[0] & ~0x1UL) pfm_unfreeze_pmu();
6060
6061         /*
6062          * now get can unmask PMU interrupts, they will
6063          * be treated as purely spurious and we will not
6064          * lose any information
6065          */
6066         UNPROTECT_CTX(ctx,flags);
6067 }
6068 #endif /* CONFIG_SMP */
6069
6070 #ifdef CONFIG_SMP
6071 /*
6072  * in 2.6, interrupts are masked when we come here and the runqueue lock is held
6073  */
6074 void
6075 pfm_load_regs (struct task_struct *task)
6076 {
6077         pfm_context_t *ctx;
6078         unsigned long pmc_mask = 0UL, pmd_mask = 0UL;
6079         unsigned long flags;
6080         u64 psr, psr_up;
6081         int need_irq_resend;
6082
6083         ctx = PFM_GET_CTX(task);
6084         if (unlikely(ctx == NULL)) return;
6085
6086         BUG_ON(GET_PMU_OWNER());
6087
6088         /*
6089          * possible on unload
6090          */
6091         if (unlikely((task->thread.flags & IA64_THREAD_PM_VALID) == 0)) return;
6092
6093         /*
6094          * we always come here with interrupts ALREADY disabled by
6095          * the scheduler. So we simply need to protect against concurrent
6096          * access, not CPU concurrency.
6097          */
6098         flags = pfm_protect_ctx_ctxsw(ctx);
6099         psr   = pfm_get_psr();
6100
6101         need_irq_resend = pmu_conf->flags & PFM_PMU_IRQ_RESEND;
6102
6103         BUG_ON(psr & (IA64_PSR_UP|IA64_PSR_PP));
6104         BUG_ON(psr & IA64_PSR_I);
6105
6106         if (unlikely(ctx->ctx_state == PFM_CTX_ZOMBIE)) {
6107                 struct pt_regs *regs = task_pt_regs(task);
6108
6109                 BUG_ON(ctx->ctx_smpl_hdr);
6110
6111                 pfm_force_cleanup(ctx, regs);
6112
6113                 pfm_unprotect_ctx_ctxsw(ctx, flags);
6114
6115                 /*
6116                  * this one (kmalloc'ed) is fine with interrupts disabled
6117                  */
6118                 pfm_context_free(ctx);
6119
6120                 return;
6121         }
6122
6123         /*
6124          * we restore ALL the debug registers to avoid picking up
6125          * stale state.
6126          */
6127         if (ctx->ctx_fl_using_dbreg) {
6128                 pfm_restore_ibrs(ctx->ctx_ibrs, pmu_conf->num_ibrs);
6129                 pfm_restore_dbrs(ctx->ctx_dbrs, pmu_conf->num_dbrs);
6130         }
6131         /*
6132          * retrieve saved psr.up
6133          */
6134         psr_up = ctx->ctx_saved_psr_up;
6135
6136         /*
6137          * if we were the last user of the PMU on that CPU,
6138          * then nothing to do except restore psr
6139          */
6140         if (GET_LAST_CPU(ctx) == smp_processor_id() && ctx->ctx_last_activation == GET_ACTIVATION()) {
6141
6142                 /*
6143                  * retrieve partial reload masks (due to user modifications)
6144                  */
6145                 pmc_mask = ctx->ctx_reload_pmcs[0];
6146                 pmd_mask = ctx->ctx_reload_pmds[0];
6147
6148         } else {
6149                 /*
6150                  * To avoid leaking information to the user level when psr.sp=0,
6151                  * we must reload ALL implemented pmds (even the ones we don't use).
6152                  * In the kernel we only allow PFM_READ_PMDS on registers which
6153                  * we initialized or requested (sampling) so there is no risk there.
6154                  */
6155                 pmd_mask = pfm_sysctl.fastctxsw ?  ctx->ctx_used_pmds[0] : ctx->ctx_all_pmds[0];
6156
6157                 /*
6158                  * ALL accessible PMCs are systematically reloaded, unused registers
6159                  * get their default (from pfm_reset_pmu_state()) values to avoid picking
6160                  * up stale configuration.
6161                  *
6162                  * PMC0 is never in the mask. It is always restored separately.
6163                  */
6164                 pmc_mask = ctx->ctx_all_pmcs[0];
6165         }
6166         /*
6167          * when context is MASKED, we will restore PMC with plm=0
6168          * and PMD with stale information, but that's ok, nothing
6169          * will be captured.
6170          *
6171          * XXX: optimize here
6172          */
6173         if (pmd_mask) pfm_restore_pmds(ctx->th_pmds, pmd_mask);
6174         if (pmc_mask) pfm_restore_pmcs(ctx->th_pmcs, pmc_mask);
6175
6176         /*
6177          * check for pending overflow at the time the state
6178          * was saved.
6179          */
6180         if (unlikely(PMC0_HAS_OVFL(ctx->th_pmcs[0]))) {
6181                 /*
6182                  * reload pmc0 with the overflow information
6183                  * On McKinley PMU, this will trigger a PMU interrupt
6184                  */
6185                 ia64_set_pmc(0, ctx->th_pmcs[0]);
6186                 ia64_srlz_d();
6187                 ctx->th_pmcs[0] = 0UL;
6188
6189                 /*
6190                  * will replay the PMU interrupt
6191                  */
6192                 if (need_irq_resend) ia64_resend_irq(IA64_PERFMON_VECTOR);
6193
6194                 pfm_stats[smp_processor_id()].pfm_replay_ovfl_intr_count++;
6195         }
6196
6197         /*
6198          * we just did a reload, so we reset the partial reload fields
6199          */
6200         ctx->ctx_reload_pmcs[0] = 0UL;
6201         ctx->ctx_reload_pmds[0] = 0UL;
6202
6203         SET_LAST_CPU(ctx, smp_processor_id());
6204
6205         /*
6206          * dump activation value for this PMU
6207          */
6208         INC_ACTIVATION();
6209         /*
6210          * record current activation for this context
6211          */
6212         SET_ACTIVATION(ctx);
6213
6214         /*
6215          * establish new ownership.
6216          */
6217         SET_PMU_OWNER(task, ctx);
6218
6219         /*
6220          * restore the psr.up bit. measurement
6221          * is active again.
6222          * no PMU interrupt can happen at this point
6223          * because we still have interrupts disabled.
6224          */
6225         if (likely(psr_up)) pfm_set_psr_up();
6226
6227         /*
6228          * allow concurrent access to context
6229          */
6230         pfm_unprotect_ctx_ctxsw(ctx, flags);
6231 }
6232 #else /*  !CONFIG_SMP */
6233 /*
6234  * reload PMU state for UP kernels
6235  * in 2.5 we come here with interrupts disabled
6236  */
6237 void
6238 pfm_load_regs (struct task_struct *task)
6239 {
6240         pfm_context_t *ctx;
6241         struct task_struct *owner;
6242         unsigned long pmd_mask, pmc_mask;
6243         u64 psr, psr_up;
6244         int need_irq_resend;
6245
6246         owner = GET_PMU_OWNER();
6247         ctx   = PFM_GET_CTX(task);
6248         psr   = pfm_get_psr();
6249
6250         BUG_ON(psr & (IA64_PSR_UP|IA64_PSR_PP));
6251         BUG_ON(psr & IA64_PSR_I);
6252
6253         /*
6254          * we restore ALL the debug registers to avoid picking up
6255          * stale state.
6256          *
6257          * This must be done even when the task is still the owner
6258          * as the registers may have been modified via ptrace()
6259          * (not perfmon) by the previous task.
6260          */
6261         if (ctx->ctx_fl_using_dbreg) {
6262                 pfm_restore_ibrs(ctx->ctx_ibrs, pmu_conf->num_ibrs);
6263                 pfm_restore_dbrs(ctx->ctx_dbrs, pmu_conf->num_dbrs);
6264         }
6265
6266         /*
6267          * retrieved saved psr.up
6268          */
6269         psr_up = ctx->ctx_saved_psr_up;
6270         need_irq_resend = pmu_conf->flags & PFM_PMU_IRQ_RESEND;
6271
6272         /*
6273          * short path, our state is still there, just
6274          * need to restore psr and we go
6275          *
6276          * we do not touch either PMC nor PMD. the psr is not touched
6277          * by the overflow_handler. So we are safe w.r.t. to interrupt
6278          * concurrency even without interrupt masking.
6279          */
6280         if (likely(owner == task)) {
6281                 if (likely(psr_up)) pfm_set_psr_up();
6282                 return;
6283         }
6284
6285         /*
6286          * someone else is still using the PMU, first push it out and
6287          * then we'll be able to install our stuff !
6288          *
6289          * Upon return, there will be no owner for the current PMU
6290          */
6291         if (owner) pfm_lazy_save_regs(owner);
6292
6293         /*
6294          * To avoid leaking information to the user level when psr.sp=0,
6295          * we must reload ALL implemented pmds (even the ones we don't use).
6296          * In the kernel we only allow PFM_READ_PMDS on registers which
6297          * we initialized or requested (sampling) so there is no risk there.
6298          */
6299         pmd_mask = pfm_sysctl.fastctxsw ?  ctx->ctx_used_pmds[0] : ctx->ctx_all_pmds[0];
6300
6301         /*
6302          * ALL accessible PMCs are systematically reloaded, unused registers
6303          * get their default (from pfm_reset_pmu_state()) values to avoid picking
6304          * up stale configuration.
6305          *
6306          * PMC0 is never in the mask. It is always restored separately
6307          */
6308         pmc_mask = ctx->ctx_all_pmcs[0];
6309
6310         pfm_restore_pmds(ctx->th_pmds, pmd_mask);
6311         pfm_restore_pmcs(ctx->th_pmcs, pmc_mask);
6312
6313         /*
6314          * check for pending overflow at the time the state
6315          * was saved.
6316          */
6317         if (unlikely(PMC0_HAS_OVFL(ctx->th_pmcs[0]))) {
6318                 /*
6319                  * reload pmc0 with the overflow information
6320                  * On McKinley PMU, this will trigger a PMU interrupt
6321                  */
6322                 ia64_set_pmc(0, ctx->th_pmcs[0]);
6323                 ia64_srlz_d();
6324
6325                 ctx->th_pmcs[0] = 0UL;
6326
6327                 /*
6328                  * will replay the PMU interrupt
6329                  */
6330                 if (need_irq_resend) ia64_resend_irq(IA64_PERFMON_VECTOR);
6331
6332                 pfm_stats[smp_processor_id()].pfm_replay_ovfl_intr_count++;
6333         }
6334
6335         /*
6336          * establish new ownership.
6337          */
6338         SET_PMU_OWNER(task, ctx);
6339
6340         /*
6341          * restore the psr.up bit. measurement
6342          * is active again.
6343          * no PMU interrupt can happen at this point
6344          * because we still have interrupts disabled.
6345          */
6346         if (likely(psr_up)) pfm_set_psr_up();
6347 }
6348 #endif /* CONFIG_SMP */
6349
6350 /*
6351  * this function assumes monitoring is stopped
6352  */
6353 static void
6354 pfm_flush_pmds(struct task_struct *task, pfm_context_t *ctx)
6355 {
6356         u64 pmc0;
6357         unsigned long mask2, val, pmd_val, ovfl_val;
6358         int i, can_access_pmu = 0;
6359         int is_self;
6360
6361         /*
6362          * is the caller the task being monitored (or which initiated the
6363          * session for system wide measurements)
6364          */
6365         is_self = ctx->ctx_task == task ? 1 : 0;
6366
6367         /*
6368          * can access PMU is task is the owner of the PMU state on the current CPU
6369          * or if we are running on the CPU bound to the context in system-wide mode
6370          * (that is not necessarily the task the context is attached to in this mode).
6371          * In system-wide we always have can_access_pmu true because a task running on an
6372          * invalid processor is flagged earlier in the call stack (see pfm_stop).
6373          */
6374         can_access_pmu = (GET_PMU_OWNER() == task) || (ctx->ctx_fl_system && ctx->ctx_cpu == smp_processor_id());
6375         if (can_access_pmu) {
6376                 /*
6377                  * Mark the PMU as not owned
6378                  * This will cause the interrupt handler to do nothing in case an overflow
6379                  * interrupt was in-flight
6380                  * This also guarantees that pmc0 will contain the final state
6381                  * It virtually gives us full control on overflow processing from that point
6382                  * on.
6383                  */
6384                 SET_PMU_OWNER(NULL, NULL);
6385                 DPRINT(("releasing ownership\n"));
6386
6387                 /*
6388                  * read current overflow status:
6389                  *
6390                  * we are guaranteed to read the final stable state
6391                  */
6392                 ia64_srlz_d();
6393                 pmc0 = ia64_get_pmc(0); /* slow */
6394
6395                 /*
6396                  * reset freeze bit, overflow status information destroyed
6397                  */
6398                 pfm_unfreeze_pmu();
6399         } else {
6400                 pmc0 = ctx->th_pmcs[0];
6401                 /*
6402                  * clear whatever overflow status bits there were
6403                  */
6404                 ctx->th_pmcs[0] = 0;
6405         }
6406         ovfl_val = pmu_conf->ovfl_val;
6407         /*
6408          * we save all the used pmds
6409          * we take care of overflows for counting PMDs
6410          *
6411          * XXX: sampling situation is not taken into account here
6412          */
6413         mask2 = ctx->ctx_used_pmds[0];
6414
6415         DPRINT(("is_self=%d ovfl_val=0x%lx mask2=0x%lx\n", is_self, ovfl_val, mask2));
6416
6417         for (i = 0; mask2; i++, mask2>>=1) {
6418
6419                 /* skip non used pmds */
6420                 if ((mask2 & 0x1) == 0) continue;
6421
6422                 /*
6423                  * can access PMU always true in system wide mode
6424                  */
6425                 val = pmd_val = can_access_pmu ? ia64_get_pmd(i) : ctx->th_pmds[i];
6426
6427                 if (PMD_IS_COUNTING(i)) {
6428                         DPRINT(("[%d] pmd[%d] ctx_pmd=0x%lx hw_pmd=0x%lx\n",
6429                                 task->pid,
6430                                 i,
6431                                 ctx->ctx_pmds[i].val,
6432                                 val & ovfl_val));
6433
6434                         /*
6435                          * we rebuild the full 64 bit value of the counter
6436                          */
6437                         val = ctx->ctx_pmds[i].val + (val & ovfl_val);
6438
6439                         /*
6440                          * now everything is in ctx_pmds[] and we need
6441                          * to clear the saved context from save_regs() such that
6442                          * pfm_read_pmds() gets the correct value
6443                          */
6444                         pmd_val = 0UL;
6445
6446                         /*
6447                          * take care of overflow inline
6448                          */
6449                         if (pmc0 & (1UL << i)) {
6450                                 val += 1 + ovfl_val;
6451                                 DPRINT(("[%d] pmd[%d] overflowed\n", task->pid, i));
6452                         }
6453                 }
6454
6455                 DPRINT(("[%d] ctx_pmd[%d]=0x%lx  pmd_val=0x%lx\n", task->pid, i, val, pmd_val));
6456
6457                 if (is_self) ctx->th_pmds[i] = pmd_val;
6458
6459                 ctx->ctx_pmds[i].val = val;
6460         }
6461 }
6462
6463 static struct irqaction perfmon_irqaction = {
6464         .handler = pfm_interrupt_handler,
6465         .flags   = IRQF_DISABLED,
6466         .name    = "perfmon"
6467 };
6468
6469 static void
6470 pfm_alt_save_pmu_state(void *data)
6471 {
6472         struct pt_regs *regs;
6473
6474         regs = task_pt_regs(current);
6475
6476         DPRINT(("called\n"));
6477
6478         /*
6479          * should not be necessary but
6480          * let's take not risk
6481          */
6482         pfm_clear_psr_up();
6483         pfm_clear_psr_pp();
6484         ia64_psr(regs)->pp = 0;
6485
6486         /*
6487          * This call is required
6488          * May cause a spurious interrupt on some processors
6489          */
6490         pfm_freeze_pmu();
6491
6492         ia64_srlz_d();
6493 }
6494
6495 void
6496 pfm_alt_restore_pmu_state(void *data)
6497 {
6498         struct pt_regs *regs;
6499
6500         regs = task_pt_regs(current);
6501
6502         DPRINT(("called\n"));
6503
6504         /*
6505          * put PMU back in state expected
6506          * by perfmon
6507          */
6508         pfm_clear_psr_up();
6509         pfm_clear_psr_pp();
6510         ia64_psr(regs)->pp = 0;
6511
6512         /*
6513          * perfmon runs with PMU unfrozen at all times
6514          */
6515         pfm_unfreeze_pmu();
6516
6517         ia64_srlz_d();
6518 }
6519
6520 int
6521 pfm_install_alt_pmu_interrupt(pfm_intr_handler_desc_t *hdl)
6522 {
6523         int ret, i;
6524         int reserve_cpu;
6525
6526         /* some sanity checks */
6527         if (hdl == NULL || hdl->handler == NULL) return -EINVAL;
6528
6529         /* do the easy test first */
6530         if (pfm_alt_intr_handler) return -EBUSY;
6531
6532         /* one at a time in the install or remove, just fail the others */
6533         if (!spin_trylock(&pfm_alt_install_check)) {
6534                 return -EBUSY;
6535         }
6536
6537         /* reserve our session */
6538         for_each_online_cpu(reserve_cpu) {
6539                 ret = pfm_reserve_session(NULL, 1, reserve_cpu);
6540                 if (ret) goto cleanup_reserve;
6541         }
6542
6543         /* save the current system wide pmu states */
6544         ret = on_each_cpu(pfm_alt_save_pmu_state, NULL, 0, 1);
6545         if (ret) {
6546                 DPRINT(("on_each_cpu() failed: %d\n", ret));
6547                 goto cleanup_reserve;
6548         }
6549
6550         /* officially change to the alternate interrupt handler */
6551         pfm_alt_intr_handler = hdl;
6552
6553         spin_unlock(&pfm_alt_install_check);
6554
6555         return 0;
6556
6557 cleanup_reserve:
6558         for_each_online_cpu(i) {
6559                 /* don't unreserve more than we reserved */
6560                 if (i >= reserve_cpu) break;
6561
6562                 pfm_unreserve_session(NULL, 1, i);
6563         }
6564
6565         spin_unlock(&pfm_alt_install_check);
6566
6567         return ret;
6568 }
6569 EXPORT_SYMBOL_GPL(pfm_install_alt_pmu_interrupt);
6570
6571 int
6572 pfm_remove_alt_pmu_interrupt(pfm_intr_handler_desc_t *hdl)
6573 {
6574         int i;
6575         int ret;
6576
6577         if (hdl == NULL) return -EINVAL;
6578
6579         /* cannot remove someone else's handler! */
6580         if (pfm_alt_intr_handler != hdl) return -EINVAL;
6581
6582         /* one at a time in the install or remove, just fail the others */
6583         if (!spin_trylock(&pfm_alt_install_check)) {
6584                 return -EBUSY;
6585         }
6586
6587         pfm_alt_intr_handler = NULL;
6588
6589         ret = on_each_cpu(pfm_alt_restore_pmu_state, NULL, 0, 1);
6590         if (ret) {
6591                 DPRINT(("on_each_cpu() failed: %d\n", ret));
6592         }
6593
6594         for_each_online_cpu(i) {
6595                 pfm_unreserve_session(NULL, 1, i);
6596         }
6597
6598         spin_unlock(&pfm_alt_install_check);
6599
6600         return 0;
6601 }
6602 EXPORT_SYMBOL_GPL(pfm_remove_alt_pmu_interrupt);
6603
6604 /*
6605  * perfmon initialization routine, called from the initcall() table
6606  */
6607 static int init_pfm_fs(void);
6608
6609 static int __init
6610 pfm_probe_pmu(void)
6611 {
6612         pmu_config_t **p;
6613         int family;
6614
6615         family = local_cpu_data->family;
6616         p      = pmu_confs;
6617
6618         while(*p) {
6619                 if ((*p)->probe) {
6620                         if ((*p)->probe() == 0) goto found;
6621                 } else if ((*p)->pmu_family == family || (*p)->pmu_family == 0xff) {
6622                         goto found;
6623                 }
6624                 p++;
6625         }
6626         return -1;
6627 found:
6628         pmu_conf = *p;
6629         return 0;
6630 }
6631
6632 static const struct file_operations pfm_proc_fops = {
6633         .open           = pfm_proc_open,
6634         .read           = seq_read,
6635         .llseek         = seq_lseek,
6636         .release        = seq_release,
6637 };
6638
6639 int __init
6640 pfm_init(void)
6641 {
6642         unsigned int n, n_counters, i;
6643
6644         printk("perfmon: version %u.%u IRQ %u\n",
6645                 PFM_VERSION_MAJ,
6646                 PFM_VERSION_MIN,
6647                 IA64_PERFMON_VECTOR);
6648
6649         if (pfm_probe_pmu()) {
6650                 printk(KERN_INFO "perfmon: disabled, there is no support for processor family %d\n",
6651                                 local_cpu_data->family);
6652                 return -ENODEV;
6653         }
6654
6655         /*
6656          * compute the number of implemented PMD/PMC from the
6657          * description tables
6658          */
6659         n = 0;
6660         for (i=0; PMC_IS_LAST(i) == 0;  i++) {
6661                 if (PMC_IS_IMPL(i) == 0) continue;
6662                 pmu_conf->impl_pmcs[i>>6] |= 1UL << (i&63);
6663                 n++;
6664         }
6665         pmu_conf->num_pmcs = n;
6666
6667         n = 0; n_counters = 0;
6668         for (i=0; PMD_IS_LAST(i) == 0;  i++) {
6669                 if (PMD_IS_IMPL(i) == 0) continue;
6670                 pmu_conf->impl_pmds[i>>6] |= 1UL << (i&63);
6671                 n++;
6672                 if (PMD_IS_COUNTING(i)) n_counters++;
6673         }
6674         pmu_conf->num_pmds      = n;
6675         pmu_conf->num_counters  = n_counters;
6676
6677         /*
6678          * sanity checks on the number of debug registers
6679          */
6680         if (pmu_conf->use_rr_dbregs) {
6681                 if (pmu_conf->num_ibrs > IA64_NUM_DBG_REGS) {
6682                         printk(KERN_INFO "perfmon: unsupported number of code debug registers (%u)\n", pmu_conf->num_ibrs);
6683                         pmu_conf = NULL;
6684                         return -1;
6685                 }
6686                 if (pmu_conf->num_dbrs > IA64_NUM_DBG_REGS) {
6687                         printk(KERN_INFO "perfmon: unsupported number of data debug registers (%u)\n", pmu_conf->num_ibrs);
6688                         pmu_conf = NULL;
6689                         return -1;
6690                 }
6691         }
6692
6693         printk("perfmon: %s PMU detected, %u PMCs, %u PMDs, %u counters (%lu bits)\n",
6694                pmu_conf->pmu_name,
6695                pmu_conf->num_pmcs,
6696                pmu_conf->num_pmds,
6697                pmu_conf->num_counters,
6698                ffz(pmu_conf->ovfl_val));
6699
6700         /* sanity check */
6701         if (pmu_conf->num_pmds >= PFM_NUM_PMD_REGS || pmu_conf->num_pmcs >= PFM_NUM_PMC_REGS) {
6702                 printk(KERN_ERR "perfmon: not enough pmc/pmd, perfmon disabled\n");
6703                 pmu_conf = NULL;
6704                 return -1;
6705         }
6706
6707         /*
6708          * create /proc/perfmon (mostly for debugging purposes)
6709          */
6710         perfmon_dir = create_proc_entry("perfmon", S_IRUGO, NULL);
6711         if (perfmon_dir == NULL) {
6712                 printk(KERN_ERR "perfmon: cannot create /proc entry, perfmon disabled\n");
6713                 pmu_conf = NULL;
6714                 return -1;
6715         }
6716         /*
6717          * install customized file operations for /proc/perfmon entry
6718          */
6719         perfmon_dir->proc_fops = &pfm_proc_fops;
6720
6721         /*
6722          * create /proc/sys/kernel/perfmon (for debugging purposes)
6723          */
6724         pfm_sysctl_header = register_sysctl_table(pfm_sysctl_root);
6725
6726         /*
6727          * initialize all our spinlocks
6728          */
6729         spin_lock_init(&pfm_sessions.pfs_lock);
6730         spin_lock_init(&pfm_buffer_fmt_lock);
6731
6732         init_pfm_fs();
6733
6734         for(i=0; i < NR_CPUS; i++) pfm_stats[i].pfm_ovfl_intr_cycles_min = ~0UL;
6735
6736         return 0;
6737 }
6738
6739 __initcall(pfm_init);
6740
6741 /*
6742  * this function is called before pfm_init()
6743  */
6744 void
6745 pfm_init_percpu (void)
6746 {
6747         static int first_time=1;
6748         /*
6749          * make sure no measurement is active
6750          * (may inherit programmed PMCs from EFI).
6751          */
6752         pfm_clear_psr_pp();
6753         pfm_clear_psr_up();
6754
6755         /*
6756          * we run with the PMU not frozen at all times
6757          */
6758         pfm_unfreeze_pmu();
6759
6760         if (first_time) {
6761                 register_percpu_irq(IA64_PERFMON_VECTOR, &perfmon_irqaction);
6762                 first_time=0;
6763         }
6764
6765         ia64_setreg(_IA64_REG_CR_PMV, IA64_PERFMON_VECTOR);
6766         ia64_srlz_d();
6767 }
6768
6769 /*
6770  * used for debug purposes only
6771  */
6772 void
6773 dump_pmu_state(const char *from)
6774 {
6775         struct task_struct *task;
6776         struct pt_regs *regs;
6777         pfm_context_t *ctx;
6778         unsigned long psr, dcr, info, flags;
6779         int i, this_cpu;
6780
6781         local_irq_save(flags);
6782
6783         this_cpu = smp_processor_id();
6784         regs     = task_pt_regs(current);
6785         info     = PFM_CPUINFO_GET();
6786         dcr      = ia64_getreg(_IA64_REG_CR_DCR);
6787
6788         if (info == 0 && ia64_psr(regs)->pp == 0 && (dcr & IA64_DCR_PP) == 0) {
6789                 local_irq_restore(flags);
6790                 return;
6791         }
6792
6793         printk("CPU%d from %s() current [%d] iip=0x%lx %s\n",
6794                 this_cpu,
6795                 from,
6796                 current->pid,
6797                 regs->cr_iip,
6798                 current->comm);
6799
6800         task = GET_PMU_OWNER();
6801         ctx  = GET_PMU_CTX();
6802
6803         printk("->CPU%d owner [%d] ctx=%p\n", this_cpu, task ? task->pid : -1, ctx);
6804
6805         psr = pfm_get_psr();
6806
6807         printk("->CPU%d pmc0=0x%lx psr.pp=%d psr.up=%d dcr.pp=%d syst_info=0x%lx user_psr.up=%d user_psr.pp=%d\n",
6808                 this_cpu,
6809                 ia64_get_pmc(0),
6810                 psr & IA64_PSR_PP ? 1 : 0,
6811                 psr & IA64_PSR_UP ? 1 : 0,
6812                 dcr & IA64_DCR_PP ? 1 : 0,
6813                 info,
6814                 ia64_psr(regs)->up,
6815                 ia64_psr(regs)->pp);
6816
6817         ia64_psr(regs)->up = 0;
6818         ia64_psr(regs)->pp = 0;
6819
6820         for (i=1; PMC_IS_LAST(i) == 0; i++) {
6821                 if (PMC_IS_IMPL(i) == 0) continue;
6822                 printk("->CPU%d pmc[%d]=0x%lx thread_pmc[%d]=0x%lx\n", this_cpu, i, ia64_get_pmc(i), i, ctx->th_pmcs[i]);
6823         }
6824
6825         for (i=1; PMD_IS_LAST(i) == 0; i++) {
6826                 if (PMD_IS_IMPL(i) == 0) continue;
6827                 printk("->CPU%d pmd[%d]=0x%lx thread_pmd[%d]=0x%lx\n", this_cpu, i, ia64_get_pmd(i), i, ctx->th_pmds[i]);
6828         }
6829
6830         if (ctx) {
6831                 printk("->CPU%d ctx_state=%d vaddr=%p addr=%p fd=%d ctx_task=[%d] saved_psr_up=0x%lx\n",
6832                                 this_cpu,
6833                                 ctx->ctx_state,
6834                                 ctx->ctx_smpl_vaddr,
6835                                 ctx->ctx_smpl_hdr,
6836                                 ctx->ctx_msgq_head,
6837                                 ctx->ctx_msgq_tail,
6838                                 ctx->ctx_saved_psr_up);
6839         }
6840         local_irq_restore(flags);
6841 }
6842
6843 /*
6844  * called from process.c:copy_thread(). task is new child.
6845  */
6846 void
6847 pfm_inherit(struct task_struct *task, struct pt_regs *regs)
6848 {
6849         struct thread_struct *thread;
6850
6851         DPRINT(("perfmon: pfm_inherit clearing state for [%d]\n", task->pid));
6852
6853         thread = &task->thread;
6854
6855         /*
6856          * cut links inherited from parent (current)
6857          */
6858         thread->pfm_context = NULL;
6859
6860         PFM_SET_WORK_PENDING(task, 0);
6861
6862         /*
6863          * the psr bits are already set properly in copy_threads()
6864          */
6865 }
6866 #else  /* !CONFIG_PERFMON */
6867 asmlinkage long
6868 sys_perfmonctl (int fd, int cmd, void *arg, int count)
6869 {
6870         return -ENOSYS;
6871 }
6872 #endif /* CONFIG_PERFMON */