drivers/pci/msi.c

   1 /*
   2  * File:        msi.c
   3  * Purpose:     PCI Message Signaled Interrupt (MSI)
   4  *
   5  * Copyright (C) 2003-2004 Intel
   6  * Copyright (C) Tom Long Nguyen (tom.l.nguyen@intel.com)
   7  */
   8
   9 #include <linux/mm.h>
  10 #include <linux/irq.h>
  11 #include <linux/interrupt.h>
  12 #include <linux/init.h>
  13 #include <linux/config.h>
  14 #include <linux/ioport.h>
  15 #include <linux/smp_lock.h>
  16 #include <linux/pci.h>
  17 #include <linux/proc_fs.h>
  18
  19 #include <asm/errno.h>
  20 #include <asm/io.h>
  21 #include <asm/smp.h>
  22
  23 #include "pci.h"
  24 #include "msi.h"
  25
  26 static DEFINE_SPINLOCK(msi_lock);
  27 static struct msi_desc* msi_desc[NR_IRQS] = { [0 ... NR_IRQS-1] = NULL };
  28 static kmem_cache_t* msi_cachep;
  29
  30 static int pci_msi_enable = 1;
  31 static int last_alloc_vector;
  32 static int nr_released_vectors;
  33 static int nr_reserved_vectors = NR_HP_RESERVED_VECTORS;
  34 static int nr_msix_devices;
  35
  36 #ifndef CONFIG_X86_IO_APIC
  37 int vector_irq[NR_VECTORS] = { [0 ... NR_VECTORS - 1] = -1};
  38 #endif
  39
  40 static struct msi_ops *msi_ops;
  41
  42 int
  43 msi_register(struct msi_ops *ops)
  44 {
  45         msi_ops = ops;
  46         return 0;
  47 }
  48
  49 static void msi_cache_ctor(void *p, kmem_cache_t *cache, unsigned long flags)
  50 {
  51         memset(p, 0, NR_IRQS * sizeof(struct msi_desc));
  52 }
  53
  54 static int msi_cache_init(void)
  55 {
  56         msi_cachep = kmem_cache_create("msi_cache",
  57                         NR_IRQS * sizeof(struct msi_desc),
  58                         0, SLAB_HWCACHE_ALIGN, msi_cache_ctor, NULL);
  59         if (!msi_cachep)
  60                 return -ENOMEM;
  61
  62         return 0;
  63 }
  64
  65 static void msi_set_mask_bit(unsigned int vector, int flag)
  66 {
  67         struct msi_desc *entry;
  68
  69         entry = (struct msi_desc *)msi_desc[vector];
  70         if (!entry || !entry->dev || !entry->mask_base)
  71                 return;
  72         switch (entry->msi_attrib.type) {
  73         case PCI_CAP_ID_MSI:
  74         {
  75                 int             pos;
  76                 u32             mask_bits;
  77
  78                 pos = (long)entry->mask_base;
  79                 pci_read_config_dword(entry->dev, pos, &mask_bits);
  80                 mask_bits &= ~(1);
  81                 mask_bits |= flag;
  82                 pci_write_config_dword(entry->dev, pos, mask_bits);
  83                 break;
  84         }
  85         case PCI_CAP_ID_MSIX:
  86         {
  87                 int offset = entry->msi_attrib.entry_nr * PCI_MSIX_ENTRY_SIZE +
  88                         PCI_MSIX_ENTRY_VECTOR_CTRL_OFFSET;
  89                 writel(flag, entry->mask_base + offset);
  90                 break;
  91         }
  92         default:
  93                 break;
  94         }
  95 }
  96
  97 #ifdef CONFIG_SMP
  98 static void set_msi_affinity(unsigned int vector, cpumask_t cpu_mask)
  99 {
 100         struct msi_desc *entry;
 101         u32 address_hi, address_lo;
 102         unsigned int irq = vector;
 103         unsigned int dest_cpu = first_cpu(cpu_mask);
 104
 105         entry = (struct msi_desc *)msi_desc[vector];
 106         if (!entry || !entry->dev)
 107                 return;
 108
 109         switch (entry->msi_attrib.type) {
 110         case PCI_CAP_ID_MSI:
 111         {
 112                 int pos = pci_find_capability(entry->dev, PCI_CAP_ID_MSI);
 113
 114                 if (!pos)
 115                         return;
 116
 117                 pci_read_config_dword(entry->dev, msi_upper_address_reg(pos),
 118                         &address_hi);
 119                 pci_read_config_dword(entry->dev, msi_lower_address_reg(pos),
 120                         &address_lo);
 121
 122                 msi_ops->target(vector, dest_cpu, &address_hi, &address_lo);
 123
 124                 pci_write_config_dword(entry->dev, msi_upper_address_reg(pos),
 125                         address_hi);
 126                 pci_write_config_dword(entry->dev, msi_lower_address_reg(pos),
 127                         address_lo);
 128                 set_native_irq_info(irq, cpu_mask);
 129                 break;
 130         }
 131         case PCI_CAP_ID_MSIX:
 132         {
 133                 int offset_hi =
 134                         entry->msi_attrib.entry_nr * PCI_MSIX_ENTRY_SIZE +
 135                                 PCI_MSIX_ENTRY_UPPER_ADDR_OFFSET;
 136                 int offset_lo =
 137                         entry->msi_attrib.entry_nr * PCI_MSIX_ENTRY_SIZE +
 138                                 PCI_MSIX_ENTRY_LOWER_ADDR_OFFSET;
 139
 140                 address_hi = readl(entry->mask_base + offset_hi);
 141                 address_lo = readl(entry->mask_base + offset_lo);
 142
 143                 msi_ops->target(vector, dest_cpu, &address_hi, &address_lo);
 144
 145                 writel(address_hi, entry->mask_base + offset_hi);
 146                 writel(address_lo, entry->mask_base + offset_lo);
 147                 set_native_irq_info(irq, cpu_mask);
 148                 break;
 149         }
 150         default:
 151                 break;
 152         }
 153 }
 154 #else
 155 #define set_msi_affinity NULL
 156 #endif /* CONFIG_SMP */
 157
 158 static void mask_MSI_irq(unsigned int vector)
 159 {
 160         msi_set_mask_bit(vector, 1);
 161 }
 162
 163 static void unmask_MSI_irq(unsigned int vector)
 164 {
 165         msi_set_mask_bit(vector, 0);
 166 }
 167
 168 static unsigned int startup_msi_irq_wo_maskbit(unsigned int vector)
 169 {
 170         struct msi_desc *entry;
 171         unsigned long flags;
 172
 173         spin_lock_irqsave(&msi_lock, flags);
 174         entry = msi_desc[vector];
 175         if (!entry || !entry->dev) {
 176                 spin_unlock_irqrestore(&msi_lock, flags);
 177                 return 0;
 178         }
 179         entry->msi_attrib.state = 1;    /* Mark it active */
 180         spin_unlock_irqrestore(&msi_lock, flags);
 181
 182         return 0;       /* never anything pending */
 183 }
 184
 185 static unsigned int startup_msi_irq_w_maskbit(unsigned int vector)
 186 {
 187         startup_msi_irq_wo_maskbit(vector);
 188         unmask_MSI_irq(vector);
 189         return 0;       /* never anything pending */
 190 }
 191
 192 static void shutdown_msi_irq(unsigned int vector)
 193 {
 194         struct msi_desc *entry;
 195         unsigned long flags;
 196
 197         spin_lock_irqsave(&msi_lock, flags);
 198         entry = msi_desc[vector];
 199         if (entry && entry->dev)
 200                 entry->msi_attrib.state = 0;    /* Mark it not active */
 201         spin_unlock_irqrestore(&msi_lock, flags);
 202 }
 203
 204 static void end_msi_irq_wo_maskbit(unsigned int vector)
 205 {
 206         move_native_irq(vector);
 207         ack_APIC_irq();
 208 }
 209
 210 static void end_msi_irq_w_maskbit(unsigned int vector)
 211 {
 212         move_native_irq(vector);
 213         unmask_MSI_irq(vector);
 214         ack_APIC_irq();
 215 }
 216
 217 static void do_nothing(unsigned int vector)
 218 {
 219 }
 220
 221 /*
 222  * Interrupt Type for MSI-X PCI/PCI-X/PCI-Express Devices,
 223  * which implement the MSI-X Capability Structure.
 224  */
 225 static struct hw_interrupt_type msix_irq_type = {
 226         .typename       = "PCI-MSI-X",
 227         .startup        = startup_msi_irq_w_maskbit,
 228         .shutdown       = shutdown_msi_irq,
 229         .enable         = unmask_MSI_irq,
 230         .disable        = mask_MSI_irq,
 231         .ack            = mask_MSI_irq,
 232         .end            = end_msi_irq_w_maskbit,
 233         .set_affinity   = set_msi_affinity
 234 };
 235
 236 /*
 237  * Interrupt Type for MSI PCI/PCI-X/PCI-Express Devices,
 238  * which implement the MSI Capability Structure with
 239  * Mask-and-Pending Bits.
 240  */
 241 static struct hw_interrupt_type msi_irq_w_maskbit_type = {
 242         .typename       = "PCI-MSI",
 243         .startup        = startup_msi_irq_w_maskbit,
 244         .shutdown       = shutdown_msi_irq,
 245         .enable         = unmask_MSI_irq,
 246         .disable        = mask_MSI_irq,
 247         .ack            = mask_MSI_irq,
 248         .end            = end_msi_irq_w_maskbit,
 249         .set_affinity   = set_msi_affinity
 250 };
 251
 252 /*
 253  * Interrupt Type for MSI PCI/PCI-X/PCI-Express Devices,
 254  * which implement the MSI Capability Structure without
 255  * Mask-and-Pending Bits.
 256  */
 257 static struct hw_interrupt_type msi_irq_wo_maskbit_type = {
 258         .typename       = "PCI-MSI",
 259         .startup        = startup_msi_irq_wo_maskbit,
 260         .shutdown       = shutdown_msi_irq,
 261         .enable         = do_nothing,
 262         .disable        = do_nothing,
 263         .ack            = do_nothing,
 264         .end            = end_msi_irq_wo_maskbit,
 265         .set_affinity   = set_msi_affinity
 266 };
 267
 268 static int msi_free_vector(struct pci_dev* dev, int vector, int reassign);
 269 static int assign_msi_vector(void)
 270 {
 271         static int new_vector_avail = 1;
 272         int vector;
 273         unsigned long flags;
 274
 275         /*
 276          * msi_lock is provided to ensure that successful allocation of MSI
 277          * vector is assigned unique among drivers.
 278          */
 279         spin_lock_irqsave(&msi_lock, flags);
 280
 281         if (!new_vector_avail) {
 282                 int free_vector = 0;
 283
 284                 /*
 285                  * vector_irq[] = -1 indicates that this specific vector is:
 286                  * - assigned for MSI (since MSI have no associated IRQ) or
 287                  * - assigned for legacy if less than 16, or
 288                  * - having no corresponding 1:1 vector-to-IOxAPIC IRQ mapping
 289                  * vector_irq[] = 0 indicates that this vector, previously
 290                  * assigned for MSI, is freed by hotplug removed operations.
 291                  * This vector will be reused for any subsequent hotplug added
 292                  * operations.
 293                  * vector_irq[] > 0 indicates that this vector is assigned for
 294                  * IOxAPIC IRQs. This vector and its value provides a 1-to-1
 295                  * vector-to-IOxAPIC IRQ mapping.
 296                  */
 297                 for (vector = FIRST_DEVICE_VECTOR; vector < NR_IRQS; vector++) {
 298                         if (vector_irq[vector] != 0)
 299                                 continue;
 300                         free_vector = vector;
 301                         if (!msi_desc[vector])
 302                                 break;
 303                         else
 304                                 continue;
 305                 }
 306                 if (!free_vector) {
 307                         spin_unlock_irqrestore(&msi_lock, flags);
 308                         return -EBUSY;
 309                 }
 310                 vector_irq[free_vector] = -1;
 311                 nr_released_vectors--;
 312                 spin_unlock_irqrestore(&msi_lock, flags);
 313                 if (msi_desc[free_vector] != NULL) {
 314                         struct pci_dev *dev;
 315                         int tail;
 316
 317                         /* free all linked vectors before re-assign */
 318                         do {
 319                                 spin_lock_irqsave(&msi_lock, flags);
 320                                 dev = msi_desc[free_vector]->dev;
 321                                 tail = msi_desc[free_vector]->link.tail;
 322                                 spin_unlock_irqrestore(&msi_lock, flags);
 323                                 msi_free_vector(dev, tail, 1);
 324                         } while (free_vector != tail);
 325                 }
 326
 327                 return free_vector;
 328         }
 329         vector = assign_irq_vector(AUTO_ASSIGN);
 330         last_alloc_vector = vector;
 331         if (vector  == LAST_DEVICE_VECTOR)
 332                 new_vector_avail = 0;
 333
 334         spin_unlock_irqrestore(&msi_lock, flags);
 335         return vector;
 336 }
 337
 338 static int get_new_vector(void)
 339 {
 340         int vector = assign_msi_vector();
 341
 342         if (vector > 0)
 343                 set_intr_gate(vector, interrupt[vector]);
 344
 345         return vector;
 346 }
 347
 348 static int msi_init(void)
 349 {
 350         static int status = -ENOMEM;
 351
 352         if (!status)
 353                 return status;
 354
 355         if (pci_msi_quirk) {
 356                 pci_msi_enable = 0;
 357                 printk(KERN_WARNING "PCI: MSI quirk detected. MSI disabled.\n");
 358                 status = -EINVAL;
 359                 return status;
 360         }
 361
 362         status = msi_arch_init();
 363         if (status < 0) {
 364                 pci_msi_enable = 0;
 365                 printk(KERN_WARNING
 366                        "PCI: MSI arch init failed.  MSI disabled.\n");
 367                 return status;
 368         }
 369
 370         if (! msi_ops) {
 371                 printk(KERN_WARNING
 372                        "PCI: MSI ops not registered. MSI disabled.\n");
 373                 status = -EINVAL;
 374                 return status;
 375         }
 376
 377         last_alloc_vector = assign_irq_vector(AUTO_ASSIGN);
 378         status = msi_cache_init();
 379         if (status < 0) {
 380                 pci_msi_enable = 0;
 381                 printk(KERN_WARNING "PCI: MSI cache init failed\n");
 382                 return status;
 383         }
 384
 385         if (last_alloc_vector < 0) {
 386                 pci_msi_enable = 0;
 387                 printk(KERN_WARNING "PCI: No interrupt vectors available for MSI\n");
 388                 status = -EBUSY;
 389                 return status;
 390         }
 391         vector_irq[last_alloc_vector] = 0;
 392         nr_released_vectors++;
 393
 394         return status;
 395 }
 396
 397 static int get_msi_vector(struct pci_dev *dev)
 398 {
 399         return get_new_vector();
 400 }
 401
 402 static struct msi_desc* alloc_msi_entry(void)
 403 {
 404         struct msi_desc *entry;
 405
 406         entry = kmem_cache_alloc(msi_cachep, SLAB_KERNEL);
 407         if (!entry)
 408                 return NULL;
 409
 410         memset(entry, 0, sizeof(struct msi_desc));
 411         entry->link.tail = entry->link.head = 0;        /* single message */
 412         entry->dev = NULL;
 413
 414         return entry;
 415 }
 416
 417 static void attach_msi_entry(struct msi_desc *entry, int vector)
 418 {
 419         unsigned long flags;
 420
 421         spin_lock_irqsave(&msi_lock, flags);
 422         msi_desc[vector] = entry;
 423         spin_unlock_irqrestore(&msi_lock, flags);
 424 }
 425
 426 static void irq_handler_init(int cap_id, int pos, int mask)
 427 {
 428         unsigned long flags;
 429
 430         spin_lock_irqsave(&irq_desc[pos].lock, flags);
 431         if (cap_id == PCI_CAP_ID_MSIX)
 432                 irq_desc[pos].handler = &msix_irq_type;
 433         else {
 434                 if (!mask)
 435                         irq_desc[pos].handler = &msi_irq_wo_maskbit_type;
 436                 else
 437                         irq_desc[pos].handler = &msi_irq_w_maskbit_type;
 438         }
 439         spin_unlock_irqrestore(&irq_desc[pos].lock, flags);
 440 }
 441
 442 static void enable_msi_mode(struct pci_dev *dev, int pos, int type)
 443 {
 444         u16 control;
 445
 446         pci_read_config_word(dev, msi_control_reg(pos), &control);
 447         if (type == PCI_CAP_ID_MSI) {
 448                 /* Set enabled bits to single MSI & enable MSI_enable bit */
 449                 msi_enable(control, 1);
 450                 pci_write_config_word(dev, msi_control_reg(pos), control);
 451                 dev->msi_enabled = 1;
 452         } else {
 453                 msix_enable(control);
 454                 pci_write_config_word(dev, msi_control_reg(pos), control);
 455                 dev->msix_enabled = 1;
 456         }
 457         if (pci_find_capability(dev, PCI_CAP_ID_EXP)) {
 458                 /* PCI Express Endpoint device detected */
 459                 pci_intx(dev, 0);  /* disable intx */
 460         }
 461 }
 462
 463 void disable_msi_mode(struct pci_dev *dev, int pos, int type)
 464 {
 465         u16 control;
 466
 467         pci_read_config_word(dev, msi_control_reg(pos), &control);
 468         if (type == PCI_CAP_ID_MSI) {
 469                 /* Set enabled bits to single MSI & enable MSI_enable bit */
 470                 msi_disable(control);
 471                 pci_write_config_word(dev, msi_control_reg(pos), control);
 472                 dev->msi_enabled = 0;
 473         } else {
 474                 msix_disable(control);
 475                 pci_write_config_word(dev, msi_control_reg(pos), control);
 476                 dev->msix_enabled = 0;
 477         }
 478         if (pci_find_capability(dev, PCI_CAP_ID_EXP)) {
 479                 /* PCI Express Endpoint device detected */
 480                 pci_intx(dev, 1);  /* enable intx */
 481         }
 482 }
 483
 484 static int msi_lookup_vector(struct pci_dev *dev, int type)
 485 {
 486         int vector;
 487         unsigned long flags;
 488
 489         spin_lock_irqsave(&msi_lock, flags);
 490         for (vector = FIRST_DEVICE_VECTOR; vector < NR_IRQS; vector++) {
 491                 if (!msi_desc[vector] || msi_desc[vector]->dev != dev ||
 492                         msi_desc[vector]->msi_attrib.type != type ||
 493                         msi_desc[vector]->msi_attrib.default_vector != dev->irq)
 494                         continue;
 495                 spin_unlock_irqrestore(&msi_lock, flags);
 496                 /* This pre-assigned MSI vector for this device
 497                    already exits. Override dev->irq with this vector */
 498                 dev->irq = vector;
 499                 return 0;
 500         }
 501         spin_unlock_irqrestore(&msi_lock, flags);
 502
 503         return -EACCES;
 504 }
 505
 506 void pci_scan_msi_device(struct pci_dev *dev)
 507 {
 508         if (!dev)
 509                 return;
 510
 511         if (pci_find_capability(dev, PCI_CAP_ID_MSIX) > 0)
 512                 nr_msix_devices++;
 513         else if (pci_find_capability(dev, PCI_CAP_ID_MSI) > 0)
 514                 nr_reserved_vectors++;
 515 }
 516
 517 #ifdef CONFIG_PM
 518 int pci_save_msi_state(struct pci_dev *dev)
 519 {
 520         int pos, i = 0;
 521         u16 control;
 522         struct pci_cap_saved_state *save_state;
 523         u32 *cap;
 524
 525         pos = pci_find_capability(dev, PCI_CAP_ID_MSI);
 526         if (pos <= 0 || dev->no_msi)
 527                 return 0;
 528
 529         pci_read_config_word(dev, msi_control_reg(pos), &control);
 530         if (!(control & PCI_MSI_FLAGS_ENABLE))
 531                 return 0;
 532
 533         save_state = kzalloc(sizeof(struct pci_cap_saved_state) + sizeof(u32) * 5,
 534                 GFP_KERNEL);
 535         if (!save_state) {
 536                 printk(KERN_ERR "Out of memory in pci_save_msi_state\n");
 537                 return -ENOMEM;
 538         }
 539         cap = &save_state->data[0];
 540
 541         pci_read_config_dword(dev, pos, &cap[i++]);
 542         control = cap[0] >> 16;
 543         pci_read_config_dword(dev, pos + PCI_MSI_ADDRESS_LO, &cap[i++]);
 544         if (control & PCI_MSI_FLAGS_64BIT) {
 545                 pci_read_config_dword(dev, pos + PCI_MSI_ADDRESS_HI, &cap[i++]);
 546                 pci_read_config_dword(dev, pos + PCI_MSI_DATA_64, &cap[i++]);
 547         } else
 548                 pci_read_config_dword(dev, pos + PCI_MSI_DATA_32, &cap[i++]);
 549         if (control & PCI_MSI_FLAGS_MASKBIT)
 550                 pci_read_config_dword(dev, pos + PCI_MSI_MASK_BIT, &cap[i++]);
 551         save_state->cap_nr = PCI_CAP_ID_MSI;
 552         pci_add_saved_cap(dev, save_state);
 553         return 0;
 554 }
 555
 556 void pci_restore_msi_state(struct pci_dev *dev)
 557 {
 558         int i = 0, pos;
 559         u16 control;
 560         struct pci_cap_saved_state *save_state;
 561         u32 *cap;
 562
 563         save_state = pci_find_saved_cap(dev, PCI_CAP_ID_MSI);
 564         pos = pci_find_capability(dev, PCI_CAP_ID_MSI);
 565         if (!save_state || pos <= 0)
 566                 return;
 567         cap = &save_state->data[0];
 568
 569         control = cap[i++] >> 16;
 570         pci_write_config_dword(dev, pos + PCI_MSI_ADDRESS_LO, cap[i++]);
 571         if (control & PCI_MSI_FLAGS_64BIT) {
 572                 pci_write_config_dword(dev, pos + PCI_MSI_ADDRESS_HI, cap[i++]);
 573                 pci_write_config_dword(dev, pos + PCI_MSI_DATA_64, cap[i++]);
 574         } else
 575                 pci_write_config_dword(dev, pos + PCI_MSI_DATA_32, cap[i++]);
 576         if (control & PCI_MSI_FLAGS_MASKBIT)
 577                 pci_write_config_dword(dev, pos + PCI_MSI_MASK_BIT, cap[i++]);
 578         pci_write_config_word(dev, pos + PCI_MSI_FLAGS, control);
 579         enable_msi_mode(dev, pos, PCI_CAP_ID_MSI);
 580         pci_remove_saved_cap(save_state);
 581         kfree(save_state);
 582 }
 583
 584 int pci_save_msix_state(struct pci_dev *dev)
 585 {
 586         int pos;
 587         int temp;
 588         int vector, head, tail = 0;
 589         u16 control;
 590         struct pci_cap_saved_state *save_state;
 591
 592         pos = pci_find_capability(dev, PCI_CAP_ID_MSIX);
 593         if (pos <= 0 || dev->no_msi)
 594                 return 0;
 595
 596         /* save the capability */
 597         pci_read_config_word(dev, msi_control_reg(pos), &control);
 598         if (!(control & PCI_MSIX_FLAGS_ENABLE))
 599                 return 0;
 600         save_state = kzalloc(sizeof(struct pci_cap_saved_state) + sizeof(u16),
 601                 GFP_KERNEL);
 602         if (!save_state) {
 603                 printk(KERN_ERR "Out of memory in pci_save_msix_state\n");
 604                 return -ENOMEM;
 605         }
 606         *((u16 *)&save_state->data[0]) = control;
 607
 608         /* save the table */
 609         temp = dev->irq;
 610         if (msi_lookup_vector(dev, PCI_CAP_ID_MSIX)) {
 611                 kfree(save_state);
 612                 return -EINVAL;
 613         }
 614
 615         vector = head = dev->irq;
 616         while (head != tail) {
 617                 int j;
 618                 void __iomem *base;
 619                 struct msi_desc *entry;
 620
 621                 entry = msi_desc[vector];
 622                 base = entry->mask_base;
 623                 j = entry->msi_attrib.entry_nr;
 624
 625                 entry->address_lo_save =
 626                         readl(base + j * PCI_MSIX_ENTRY_SIZE +
 627                               PCI_MSIX_ENTRY_LOWER_ADDR_OFFSET);
 628                 entry->address_hi_save =
 629                         readl(base + j * PCI_MSIX_ENTRY_SIZE +
 630                               PCI_MSIX_ENTRY_UPPER_ADDR_OFFSET);
 631                 entry->data_save =
 632                         readl(base + j * PCI_MSIX_ENTRY_SIZE +
 633                               PCI_MSIX_ENTRY_DATA_OFFSET);
 634
 635                 tail = msi_desc[vector]->link.tail;
 636                 vector = tail;
 637         }
 638         dev->irq = temp;
 639
 640         save_state->cap_nr = PCI_CAP_ID_MSIX;
 641         pci_add_saved_cap(dev, save_state);
 642         return 0;
 643 }
 644
 645 void pci_restore_msix_state(struct pci_dev *dev)
 646 {
 647         u16 save;
 648         int pos;
 649         int vector, head, tail = 0;
 650         void __iomem *base;
 651         int j;
 652         struct msi_desc *entry;
 653         int temp;
 654         struct pci_cap_saved_state *save_state;
 655
 656         save_state = pci_find_saved_cap(dev, PCI_CAP_ID_MSIX);
 657         if (!save_state)
 658                 return;
 659         save = *((u16 *)&save_state->data[0]);
 660         pci_remove_saved_cap(save_state);
 661         kfree(save_state);
 662
 663         pos = pci_find_capability(dev, PCI_CAP_ID_MSIX);
 664         if (pos <= 0)
 665                 return;
 666
 667         /* route the table */
 668         temp = dev->irq;
 669         if (msi_lookup_vector(dev, PCI_CAP_ID_MSIX))
 670                 return;
 671         vector = head = dev->irq;
 672         while (head != tail) {
 673                 entry = msi_desc[vector];
 674                 base = entry->mask_base;
 675                 j = entry->msi_attrib.entry_nr;
 676
 677                 writel(entry->address_lo_save,
 678                         base + j * PCI_MSIX_ENTRY_SIZE +
 679                         PCI_MSIX_ENTRY_LOWER_ADDR_OFFSET);
 680                 writel(entry->address_hi_save,
 681                         base + j * PCI_MSIX_ENTRY_SIZE +
 682                         PCI_MSIX_ENTRY_UPPER_ADDR_OFFSET);
 683                 writel(entry->data_save,
 684                         base + j * PCI_MSIX_ENTRY_SIZE +
 685                         PCI_MSIX_ENTRY_DATA_OFFSET);
 686
 687                 tail = msi_desc[vector]->link.tail;
 688                 vector = tail;
 689         }
 690         dev->irq = temp;
 691
 692         pci_write_config_word(dev, msi_control_reg(pos), save);
 693         enable_msi_mode(dev, pos, PCI_CAP_ID_MSIX);
 694 }
 695 #endif
 696
 697 static int msi_register_init(struct pci_dev *dev, struct msi_desc *entry)
 698 {
 699         int status;
 700         u32 address_hi;
 701         u32 address_lo;
 702         u32 data;
 703         int pos, vector = dev->irq;
 704         u16 control;
 705
 706         pos = pci_find_capability(dev, PCI_CAP_ID_MSI);
 707         pci_read_config_word(dev, msi_control_reg(pos), &control);
 708
 709         /* Configure MSI capability structure */
 710         status = msi_ops->setup(dev, vector, &address_hi, &address_lo, &data);
 711         if (status < 0)
 712                 return status;
 713
 714         pci_write_config_dword(dev, msi_lower_address_reg(pos), address_lo);
 715         if (is_64bit_address(control)) {
 716                 pci_write_config_dword(dev,
 717                         msi_upper_address_reg(pos), address_hi);
 718                 pci_write_config_word(dev,
 719                         msi_data_reg(pos, 1), data);
 720         } else
 721                 pci_write_config_word(dev,
 722                         msi_data_reg(pos, 0), data);
 723         if (entry->msi_attrib.maskbit) {
 724                 unsigned int maskbits, temp;
 725                 /* All MSIs are unmasked by default, Mask them all */
 726                 pci_read_config_dword(dev,
 727                         msi_mask_bits_reg(pos, is_64bit_address(control)),
 728                         &maskbits);
 729                 temp = (1 << multi_msi_capable(control));
 730                 temp = ((temp - 1) & ~temp);
 731                 maskbits |= temp;
 732                 pci_write_config_dword(dev,
 733                         msi_mask_bits_reg(pos, is_64bit_address(control)),
 734                         maskbits);
 735         }
 736
 737         return 0;
 738 }
 739
 740 /**
 741  * msi_capability_init - configure device's MSI capability structure
 742  * @dev: pointer to the pci_dev data structure of MSI device function
 743  *
 744  * Setup the MSI capability structure of device function with a single
 745  * MSI vector, regardless of device function is capable of handling
 746  * multiple messages. A return of zero indicates the successful setup
 747  * of an entry zero with the new MSI vector or non-zero for otherwise.
 748  **/
 749 static int msi_capability_init(struct pci_dev *dev)
 750 {
 751         int status;
 752         struct msi_desc *entry;
 753         int pos, vector;
 754         u16 control;
 755
 756         pos = pci_find_capability(dev, PCI_CAP_ID_MSI);
 757         pci_read_config_word(dev, msi_control_reg(pos), &control);
 758         /* MSI Entry Initialization */
 759         entry = alloc_msi_entry();
 760         if (!entry)
 761                 return -ENOMEM;
 762
 763         vector = get_msi_vector(dev);
 764         if (vector < 0) {
 765                 kmem_cache_free(msi_cachep, entry);
 766                 return -EBUSY;
 767         }
 768         entry->link.head = vector;
 769         entry->link.tail = vector;
 770         entry->msi_attrib.type = PCI_CAP_ID_MSI;
 771         entry->msi_attrib.state = 0;                    /* Mark it not active */
 772         entry->msi_attrib.entry_nr = 0;
 773         entry->msi_attrib.maskbit = is_mask_bit_support(control);
 774         entry->msi_attrib.default_vector = dev->irq;    /* Save IOAPIC IRQ */
 775         dev->irq = vector;
 776         entry->dev = dev;
 777         if (is_mask_bit_support(control)) {
 778                 entry->mask_base = (void __iomem *)(long)msi_mask_bits_reg(pos,
 779                                 is_64bit_address(control));
 780         }
 781         /* Replace with MSI handler */
 782         irq_handler_init(PCI_CAP_ID_MSI, vector, entry->msi_attrib.maskbit);
 783         /* Configure MSI capability structure */
 784         status = msi_register_init(dev, entry);
 785         if (status != 0) {
 786                 dev->irq = entry->msi_attrib.default_vector;
 787                 kmem_cache_free(msi_cachep, entry);
 788                 return status;
 789         }
 790
 791         attach_msi_entry(entry, vector);
 792         /* Set MSI enabled bits  */
 793         enable_msi_mode(dev, pos, PCI_CAP_ID_MSI);
 794
 795         return 0;
 796 }
 797
 798 /**
 799  * msix_capability_init - configure device's MSI-X capability
 800  * @dev: pointer to the pci_dev data structure of MSI-X device function
 801  * @entries: pointer to an array of struct msix_entry entries
 802  * @nvec: number of @entries
 803  *
 804  * Setup the MSI-X capability structure of device function with a
 805  * single MSI-X vector. A return of zero indicates the successful setup of
 806  * requested MSI-X entries with allocated vectors or non-zero for otherwise.
 807  **/
 808 static int msix_capability_init(struct pci_dev *dev,
 809                                 struct msix_entry *entries, int nvec)
 810 {
 811         struct msi_desc *head = NULL, *tail = NULL, *entry = NULL;
 812         u32 address_hi;
 813         u32 address_lo;
 814         u32 data;
 815         int status;
 816         int vector, pos, i, j, nr_entries, temp = 0;
 817         unsigned long phys_addr;
 818         u32 table_offset;
 819         u16 control;
 820         u8 bir;
 821         void __iomem *base;
 822
 823         pos = pci_find_capability(dev, PCI_CAP_ID_MSIX);
 824         /* Request & Map MSI-X table region */
 825         pci_read_config_word(dev, msi_control_reg(pos), &control);
 826         nr_entries = multi_msix_capable(control);
 827
 828         pci_read_config_dword(dev, msix_table_offset_reg(pos), &table_offset);
 829         bir = (u8)(table_offset & PCI_MSIX_FLAGS_BIRMASK);
 830         table_offset &= ~PCI_MSIX_FLAGS_BIRMASK;
 831         phys_addr = pci_resource_start (dev, bir) + table_offset;
 832         base = ioremap_nocache(phys_addr, nr_entries * PCI_MSIX_ENTRY_SIZE);
 833         if (base == NULL)
 834                 return -ENOMEM;
 835
 836         /* MSI-X Table Initialization */
 837         for (i = 0; i < nvec; i++) {
 838                 entry = alloc_msi_entry();
 839                 if (!entry)
 840                         break;
 841                 vector = get_msi_vector(dev);
 842                 if (vector < 0) {
 843                         kmem_cache_free(msi_cachep, entry);
 844                         break;
 845                 }
 846
 847                 j = entries[i].entry;
 848                 entries[i].vector = vector;
 849                 entry->msi_attrib.type = PCI_CAP_ID_MSIX;
 850                 entry->msi_attrib.state = 0;            /* Mark it not active */
 851                 entry->msi_attrib.entry_nr = j;
 852                 entry->msi_attrib.maskbit = 1;
 853                 entry->msi_attrib.default_vector = dev->irq;
 854                 entry->dev = dev;
 855                 entry->mask_base = base;
 856                 if (!head) {
 857                         entry->link.head = vector;
 858                         entry->link.tail = vector;
 859                         head = entry;
 860                 } else {
 861                         entry->link.head = temp;
 862                         entry->link.tail = tail->link.tail;
 863                         tail->link.tail = vector;
 864                         head->link.head = vector;
 865                 }
 866                 temp = vector;
 867                 tail = entry;
 868                 /* Replace with MSI-X handler */
 869                 irq_handler_init(PCI_CAP_ID_MSIX, vector, 1);
 870                 /* Configure MSI-X capability structure */
 871                 status = msi_ops->setup(dev, vector,
 872                                         &address_hi,
 873                                         &address_lo,
 874                                         &data);
 875                 if (status < 0)
 876                         break;
 877
 878                 writel(address_lo,
 879                         base + j * PCI_MSIX_ENTRY_SIZE +
 880                         PCI_MSIX_ENTRY_LOWER_ADDR_OFFSET);
 881                 writel(address_hi,
 882                         base + j * PCI_MSIX_ENTRY_SIZE +
 883                         PCI_MSIX_ENTRY_UPPER_ADDR_OFFSET);
 884                 writel(data,
 885                         base + j * PCI_MSIX_ENTRY_SIZE +
 886                         PCI_MSIX_ENTRY_DATA_OFFSET);
 887                 attach_msi_entry(entry, vector);
 888         }
 889         if (i != nvec) {
 890                 i--;
 891                 for (; i >= 0; i--) {
 892                         vector = (entries + i)->vector;
 893                         msi_free_vector(dev, vector, 0);
 894                         (entries + i)->vector = 0;
 895                 }
 896                 return -EBUSY;
 897         }
 898         /* Set MSI-X enabled bits */
 899         enable_msi_mode(dev, pos, PCI_CAP_ID_MSIX);
 900
 901         return 0;
 902 }
 903
 904 /**
 905  * pci_enable_msi - configure device's MSI capability structure
 906  * @dev: pointer to the pci_dev data structure of MSI device function
 907  *
 908  * Setup the MSI capability structure of device function with
 909  * a single MSI vector upon its software driver call to request for
 910  * MSI mode enabled on its hardware device function. A return of zero
 911  * indicates the successful setup of an entry zero with the new MSI
 912  * vector or non-zero for otherwise.
 913  **/
 914 int pci_enable_msi(struct pci_dev* dev)
 915 {
 916         struct pci_bus *bus;
 917         int pos, temp, status = -EINVAL;
 918         u16 control;
 919
 920         if (!pci_msi_enable || !dev)
 921                 return status;
 922
 923         if (dev->no_msi)
 924                 return status;
 925
 926         for (bus = dev->bus; bus; bus = bus->parent)
 927                 if (bus->bus_flags & PCI_BUS_FLAGS_NO_MSI)
 928                         return -EINVAL;
 929
 930         temp = dev->irq;
 931
 932         status = msi_init();
 933         if (status < 0)
 934                 return status;
 935
 936         pos = pci_find_capability(dev, PCI_CAP_ID_MSI);
 937         if (!pos)
 938                 return -EINVAL;
 939
 940         if (!msi_lookup_vector(dev, PCI_CAP_ID_MSI)) {
 941                 /* Lookup Sucess */
 942                 unsigned long flags;
 943
 944                 pci_read_config_word(dev, msi_control_reg(pos), &control);
 945                 if (control & PCI_MSI_FLAGS_ENABLE)
 946                         return 0;       /* Already in MSI mode */
 947                 spin_lock_irqsave(&msi_lock, flags);
 948                 if (!vector_irq[dev->irq]) {
 949                         msi_desc[dev->irq]->msi_attrib.state = 0;
 950                         vector_irq[dev->irq] = -1;
 951                         nr_released_vectors--;
 952                         spin_unlock_irqrestore(&msi_lock, flags);
 953                         status = msi_register_init(dev, msi_desc[dev->irq]);
 954                         if (status == 0)
 955                                 enable_msi_mode(dev, pos, PCI_CAP_ID_MSI);
 956                         return status;
 957                 }
 958                 spin_unlock_irqrestore(&msi_lock, flags);
 959                 dev->irq = temp;
 960         }
 961         /* Check whether driver already requested for MSI-X vectors */
 962         pos = pci_find_capability(dev, PCI_CAP_ID_MSIX);
 963         if (pos > 0 && !msi_lookup_vector(dev, PCI_CAP_ID_MSIX)) {
 964                         printk(KERN_INFO "PCI: %s: Can't enable MSI.  "
 965                                "Device already has MSI-X vectors assigned\n",
 966                                pci_name(dev));
 967                         dev->irq = temp;
 968                         return -EINVAL;
 969         }
 970         status = msi_capability_init(dev);
 971         if (!status) {
 972                 if (!pos)
 973                         nr_reserved_vectors--;  /* Only MSI capable */
 974                 else if (nr_msix_devices > 0)
 975                         nr_msix_devices--;      /* Both MSI and MSI-X capable,
 976                                                    but choose enabling MSI */
 977         }
 978
 979         return status;
 980 }
 981
 982 void pci_disable_msi(struct pci_dev* dev)
 983 {
 984         struct msi_desc *entry;
 985         int pos, default_vector;
 986         u16 control;
 987         unsigned long flags;
 988
 989         if (!pci_msi_enable)
 990                 return;
 991         if (!dev)
 992                 return;
 993
 994         pos = pci_find_capability(dev, PCI_CAP_ID_MSI);
 995         if (!pos)
 996                 return;
 997
 998         pci_read_config_word(dev, msi_control_reg(pos), &control);
 999         if (!(control & PCI_MSI_FLAGS_ENABLE))
1000                 return;
1001
1002         spin_lock_irqsave(&msi_lock, flags);
1003         entry = msi_desc[dev->irq];
1004         if (!entry || !entry->dev || entry->msi_attrib.type != PCI_CAP_ID_MSI) {
1005                 spin_unlock_irqrestore(&msi_lock, flags);
1006                 return;
1007         }
1008         if (entry->msi_attrib.state) {
1009                 spin_unlock_irqrestore(&msi_lock, flags);
1010                 printk(KERN_WARNING "PCI: %s: pci_disable_msi() called without "
1011                        "free_irq() on MSI vector %d\n",
1012                        pci_name(dev), dev->irq);
1013                 BUG_ON(entry->msi_attrib.state > 0);
1014         } else {
1015                 vector_irq[dev->irq] = 0; /* free it */
1016                 nr_released_vectors++;
1017                 default_vector = entry->msi_attrib.default_vector;
1018                 spin_unlock_irqrestore(&msi_lock, flags);
1019                 /* Restore dev->irq to its default pin-assertion vector */
1020                 dev->irq = default_vector;
1021                 disable_msi_mode(dev, pci_find_capability(dev, PCI_CAP_ID_MSI),
1022                                         PCI_CAP_ID_MSI);
1023         }
1024 }
1025
1026 static int msi_free_vector(struct pci_dev* dev, int vector, int reassign)
1027 {
1028         struct msi_desc *entry;
1029         int head, entry_nr, type;
1030         void __iomem *base;
1031         unsigned long flags;
1032
1033         msi_ops->teardown(vector);
1034
1035         spin_lock_irqsave(&msi_lock, flags);
1036         entry = msi_desc[vector];
1037         if (!entry || entry->dev != dev) {
1038                 spin_unlock_irqrestore(&msi_lock, flags);
1039                 return -EINVAL;
1040         }
1041         type = entry->msi_attrib.type;
1042         entry_nr = entry->msi_attrib.entry_nr;
1043         head = entry->link.head;
1044         base = entry->mask_base;
1045         msi_desc[entry->link.head]->link.tail = entry->link.tail;
1046         msi_desc[entry->link.tail]->link.head = entry->link.head;
1047         entry->dev = NULL;
1048         if (!reassign) {
1049                 vector_irq[vector] = 0;
1050                 nr_released_vectors++;
1051         }
1052         msi_desc[vector] = NULL;
1053         spin_unlock_irqrestore(&msi_lock, flags);
1054
1055         kmem_cache_free(msi_cachep, entry);
1056
1057         if (type == PCI_CAP_ID_MSIX) {
1058                 if (!reassign)
1059                         writel(1, base +
1060                                 entry_nr * PCI_MSIX_ENTRY_SIZE +
1061                                 PCI_MSIX_ENTRY_VECTOR_CTRL_OFFSET);
1062
1063                 if (head == vector)
1064                         iounmap(base);
1065         }
1066
1067         return 0;
1068 }
1069
1070 static int reroute_msix_table(int head, struct msix_entry *entries, int *nvec)
1071 {
1072         int vector = head, tail = 0;
1073         int i, j = 0, nr_entries = 0;
1074         void __iomem *base;
1075         unsigned long flags;
1076
1077         spin_lock_irqsave(&msi_lock, flags);
1078         while (head != tail) {
1079                 nr_entries++;
1080                 tail = msi_desc[vector]->link.tail;
1081                 if (entries[0].entry == msi_desc[vector]->msi_attrib.entry_nr)
1082                         j = vector;
1083                 vector = tail;
1084         }
1085         if (*nvec > nr_entries) {
1086                 spin_unlock_irqrestore(&msi_lock, flags);
1087                 *nvec = nr_entries;
1088                 return -EINVAL;
1089         }
1090         vector = ((j > 0) ? j : head);
1091         for (i = 0; i < *nvec; i++) {
1092                 j = msi_desc[vector]->msi_attrib.entry_nr;
1093                 msi_desc[vector]->msi_attrib.state = 0; /* Mark it not active */
1094                 vector_irq[vector] = -1;                /* Mark it busy */
1095                 nr_released_vectors--;
1096                 entries[i].vector = vector;
1097                 if (j != (entries + i)->entry) {
1098                         base = msi_desc[vector]->mask_base;
1099                         msi_desc[vector]->msi_attrib.entry_nr =
1100                                 (entries + i)->entry;
1101                         writel( readl(base + j * PCI_MSIX_ENTRY_SIZE +
1102                                 PCI_MSIX_ENTRY_LOWER_ADDR_OFFSET), base +
1103                                 (entries + i)->entry * PCI_MSIX_ENTRY_SIZE +
1104                                 PCI_MSIX_ENTRY_LOWER_ADDR_OFFSET);
1105                         writel( readl(base + j * PCI_MSIX_ENTRY_SIZE +
1106                                 PCI_MSIX_ENTRY_UPPER_ADDR_OFFSET), base +
1107                                 (entries + i)->entry * PCI_MSIX_ENTRY_SIZE +
1108                                 PCI_MSIX_ENTRY_UPPER_ADDR_OFFSET);
1109                         writel( (readl(base + j * PCI_MSIX_ENTRY_SIZE +
1110                                 PCI_MSIX_ENTRY_DATA_OFFSET) & 0xff00) | vector,
1111                                 base + (entries+i)->entry*PCI_MSIX_ENTRY_SIZE +
1112                                 PCI_MSIX_ENTRY_DATA_OFFSET);
1113                 }
1114                 vector = msi_desc[vector]->link.tail;
1115         }
1116         spin_unlock_irqrestore(&msi_lock, flags);
1117
1118         return 0;
1119 }
1120
1121 /**
1122  * pci_enable_msix - configure device's MSI-X capability structure
1123  * @dev: pointer to the pci_dev data structure of MSI-X device function
1124  * @entries: pointer to an array of MSI-X entries
1125  * @nvec: number of MSI-X vectors requested for allocation by device driver
1126  *
1127  * Setup the MSI-X capability structure of device function with the number
1128  * of requested vectors upon its software driver call to request for
1129  * MSI-X mode enabled on its hardware device function. A return of zero
1130  * indicates the successful configuration of MSI-X capability structure
1131  * with new allocated MSI-X vectors. A return of < 0 indicates a failure.
1132  * Or a return of > 0 indicates that driver request is exceeding the number
1133  * of vectors available. Driver should use the returned value to re-send
1134  * its request.
1135  **/
1136 int pci_enable_msix(struct pci_dev* dev, struct msix_entry *entries, int nvec)
1137 {
1138         struct pci_bus *bus;
1139         int status, pos, nr_entries, free_vectors;
1140         int i, j, temp;
1141         u16 control;
1142         unsigned long flags;
1143
1144         if (!pci_msi_enable || !dev || !entries)
1145                 return -EINVAL;
1146
1147         if (dev->no_msi)
1148                 return -EINVAL;
1149
1150         for (bus = dev->bus; bus; bus = bus->parent)
1151                 if (bus->bus_flags & PCI_BUS_FLAGS_NO_MSI)
1152                         return -EINVAL;
1153
1154         status = msi_init();
1155         if (status < 0)
1156                 return status;
1157
1158         pos = pci_find_capability(dev, PCI_CAP_ID_MSIX);
1159         if (!pos)
1160                 return -EINVAL;
1161
1162         pci_read_config_word(dev, msi_control_reg(pos), &control);
1163         if (control & PCI_MSIX_FLAGS_ENABLE)
1164                 return -EINVAL;                 /* Already in MSI-X mode */
1165
1166         nr_entries = multi_msix_capable(control);
1167         if (nvec > nr_entries)
1168                 return -EINVAL;
1169
1170         /* Check for any invalid entries */
1171         for (i = 0; i < nvec; i++) {
1172                 if (entries[i].entry >= nr_entries)
1173                         return -EINVAL;         /* invalid entry */
1174                 for (j = i + 1; j < nvec; j++) {
1175                         if (entries[i].entry == entries[j].entry)
1176                                 return -EINVAL; /* duplicate entry */
1177                 }
1178         }
1179         temp = dev->irq;
1180         if (!msi_lookup_vector(dev, PCI_CAP_ID_MSIX)) {
1181                 /* Lookup Sucess */
1182                 nr_entries = nvec;
1183                 /* Reroute MSI-X table */
1184                 if (reroute_msix_table(dev->irq, entries, &nr_entries)) {
1185                         /* #requested > #previous-assigned */
1186                         dev->irq = temp;
1187                         return nr_entries;
1188                 }
1189                 dev->irq = temp;
1190                 enable_msi_mode(dev, pos, PCI_CAP_ID_MSIX);
1191                 return 0;
1192         }
1193         /* Check whether driver already requested for MSI vector */
1194         if (pci_find_capability(dev, PCI_CAP_ID_MSI) > 0 &&
1195                 !msi_lookup_vector(dev, PCI_CAP_ID_MSI)) {
1196                 printk(KERN_INFO "PCI: %s: Can't enable MSI-X.  "
1197                        "Device already has an MSI vector assigned\n",
1198                        pci_name(dev));
1199                 dev->irq = temp;
1200                 return -EINVAL;
1201         }
1202
1203         spin_lock_irqsave(&msi_lock, flags);
1204         /*
1205          * msi_lock is provided to ensure that enough vectors resources are
1206          * available before granting.
1207          */
1208         free_vectors = pci_vector_resources(last_alloc_vector,
1209                                 nr_released_vectors);
1210         /* Ensure that each MSI/MSI-X device has one vector reserved by
1211            default to avoid any MSI-X driver to take all available
1212            resources */
1213         free_vectors -= nr_reserved_vectors;
1214         /* Find the average of free vectors among MSI-X devices */
1215         if (nr_msix_devices > 0)
1216                 free_vectors /= nr_msix_devices;
1217         spin_unlock_irqrestore(&msi_lock, flags);
1218
1219         if (nvec > free_vectors) {
1220                 if (free_vectors > 0)
1221                         return free_vectors;
1222                 else
1223                         return -EBUSY;
1224         }
1225
1226         status = msix_capability_init(dev, entries, nvec);
1227         if (!status && nr_msix_devices > 0)
1228                 nr_msix_devices--;
1229
1230         return status;
1231 }
1232
1233 void pci_disable_msix(struct pci_dev* dev)
1234 {
1235         int pos, temp;
1236         u16 control;
1237
1238         if (!pci_msi_enable)
1239                 return;
1240         if (!dev)
1241                 return;
1242
1243         pos = pci_find_capability(dev, PCI_CAP_ID_MSIX);
1244         if (!pos)
1245                 return;
1246
1247         pci_read_config_word(dev, msi_control_reg(pos), &control);
1248         if (!(control & PCI_MSIX_FLAGS_ENABLE))
1249                 return;
1250
1251         temp = dev->irq;
1252         if (!msi_lookup_vector(dev, PCI_CAP_ID_MSIX)) {
1253                 int state, vector, head, tail = 0, warning = 0;
1254                 unsigned long flags;
1255
1256                 vector = head = dev->irq;
1257                 spin_lock_irqsave(&msi_lock, flags);
1258                 while (head != tail) {
1259                         state = msi_desc[vector]->msi_attrib.state;
1260                         if (state)
1261                                 warning = 1;
1262                         else {
1263                                 vector_irq[vector] = 0; /* free it */
1264                                 nr_released_vectors++;
1265                         }
1266                         tail = msi_desc[vector]->link.tail;
1267                         vector = tail;
1268                 }
1269                 spin_unlock_irqrestore(&msi_lock, flags);
1270                 if (warning) {
1271                         dev->irq = temp;
1272                         printk(KERN_WARNING "PCI: %s: pci_disable_msix() called without "
1273                                "free_irq() on all MSI-X vectors\n",
1274                                pci_name(dev));
1275                         BUG_ON(warning > 0);
1276                 } else {
1277                         dev->irq = temp;
1278                         disable_msi_mode(dev,
1279                                 pci_find_capability(dev, PCI_CAP_ID_MSIX),
1280                                 PCI_CAP_ID_MSIX);
1281
1282                 }
1283         }
1284 }
1285
1286 /**
1287  * msi_remove_pci_irq_vectors - reclaim MSI(X) vectors to unused state
1288  * @dev: pointer to the pci_dev data structure of MSI(X) device function
1289  *
1290  * Being called during hotplug remove, from which the device function
1291  * is hot-removed. All previous assigned MSI/MSI-X vectors, if
1292  * allocated for this device function, are reclaimed to unused state,
1293  * which may be used later on.
1294  **/
1295 void msi_remove_pci_irq_vectors(struct pci_dev* dev)
1296 {
1297         int state, pos, temp;
1298         unsigned long flags;
1299
1300         if (!pci_msi_enable || !dev)
1301                 return;
1302
1303         temp = dev->irq;                /* Save IOAPIC IRQ */
1304         pos = pci_find_capability(dev, PCI_CAP_ID_MSI);
1305         if (pos > 0 && !msi_lookup_vector(dev, PCI_CAP_ID_MSI)) {
1306                 spin_lock_irqsave(&msi_lock, flags);
1307                 state = msi_desc[dev->irq]->msi_attrib.state;
1308                 spin_unlock_irqrestore(&msi_lock, flags);
1309                 if (state) {
1310                         printk(KERN_WARNING "PCI: %s: msi_remove_pci_irq_vectors() "
1311                                "called without free_irq() on MSI vector %d\n",
1312                                pci_name(dev), dev->irq);
1313                         BUG_ON(state > 0);
1314                 } else /* Release MSI vector assigned to this device */
1315                         msi_free_vector(dev, dev->irq, 0);
1316                 dev->irq = temp;                /* Restore IOAPIC IRQ */
1317         }
1318         pos = pci_find_capability(dev, PCI_CAP_ID_MSIX);
1319         if (pos > 0 && !msi_lookup_vector(dev, PCI_CAP_ID_MSIX)) {
1320                 int vector, head, tail = 0, warning = 0;
1321                 void __iomem *base = NULL;
1322
1323                 vector = head = dev->irq;
1324                 while (head != tail) {
1325                         spin_lock_irqsave(&msi_lock, flags);
1326                         state = msi_desc[vector]->msi_attrib.state;
1327                         tail = msi_desc[vector]->link.tail;
1328                         base = msi_desc[vector]->mask_base;
1329                         spin_unlock_irqrestore(&msi_lock, flags);
1330                         if (state)
1331                                 warning = 1;
1332                         else if (vector != head) /* Release MSI-X vector */
1333                                 msi_free_vector(dev, vector, 0);
1334                         vector = tail;
1335                 }
1336                 msi_free_vector(dev, vector, 0);
1337                 if (warning) {
1338                         iounmap(base);
1339                         printk(KERN_WARNING "PCI: %s: msi_remove_pci_irq_vectors() "
1340                                "called without free_irq() on all MSI-X vectors\n",
1341                                pci_name(dev));
1342                         BUG_ON(warning > 0);
1343                 }
1344                 dev->irq = temp;                /* Restore IOAPIC IRQ */
1345         }
1346 }
1347
1348 void pci_no_msi(void)
1349 {
1350         pci_msi_enable = 0;
1351 }
1352
1353 EXPORT_SYMBOL(pci_enable_msi);
1354 EXPORT_SYMBOL(pci_disable_msi);
1355 EXPORT_SYMBOL(pci_enable_msix);
1356 EXPORT_SYMBOL(pci_disable_msix);