drivers/pci/pci.c

   1 /*
   2  *      $Id: pci.c,v 1.91 1999/01/21 13:34:01 davem Exp $
   3  *
   4  *      PCI Bus Services, see include/linux/pci.h for further explanation.
   5  *
   6  *      Copyright 1993 -- 1997 Drew Eckhardt, Frederic Potter,
   7  *      David Mosberger-Tang
   8  *
   9  *      Copyright 1997 -- 2000 Martin Mares <mj@ucw.cz>
  10  */
  11
  12 #include <linux/kernel.h>
  13 #include <linux/delay.h>
  14 #include <linux/init.h>
  15 #include <linux/pci.h>
  16 #include <linux/module.h>
  17 #include <linux/spinlock.h>
  18 #include <linux/string.h>
  19 #include <asm/dma.h>    /* isa_dma_bridge_buggy */
  20 #include "pci.h"
  21
  22 unsigned int pci_pm_d3_delay = 10;
  23
  24 /**
  25  * pci_bus_max_busnr - returns maximum PCI bus number of given bus' children
  26  * @bus: pointer to PCI bus structure to search
  27  *
  28  * Given a PCI bus, returns the highest PCI bus number present in the set
  29  * including the given PCI bus and its list of child PCI buses.
  30  */
  31 unsigned char __devinit
  32 pci_bus_max_busnr(struct pci_bus* bus)
  33 {
  34         struct list_head *tmp;
  35         unsigned char max, n;
  36
  37         max = bus->subordinate;
  38         list_for_each(tmp, &bus->children) {
  39                 n = pci_bus_max_busnr(pci_bus_b(tmp));
  40                 if(n > max)
  41                         max = n;
  42         }
  43         return max;
  44 }
  45 EXPORT_SYMBOL_GPL(pci_bus_max_busnr);
  46
  47 #if 0
  48 /**
  49  * pci_max_busnr - returns maximum PCI bus number
  50  *
  51  * Returns the highest PCI bus number present in the system global list of
  52  * PCI buses.
  53  */
  54 unsigned char __devinit
  55 pci_max_busnr(void)
  56 {
  57         struct pci_bus *bus = NULL;
  58         unsigned char max, n;
  59
  60         max = 0;
  61         while ((bus = pci_find_next_bus(bus)) != NULL) {
  62                 n = pci_bus_max_busnr(bus);
  63                 if(n > max)
  64                         max = n;
  65         }
  66         return max;
  67 }
  68
  69 #endif  /*  0  */
  70
  71 static int __pci_find_next_cap(struct pci_bus *bus, unsigned int devfn, u8 pos, int cap)
  72 {
  73         u8 id;
  74         int ttl = 48;
  75
  76         while (ttl--) {
  77                 pci_bus_read_config_byte(bus, devfn, pos, &pos);
  78                 if (pos < 0x40)
  79                         break;
  80                 pos &= ~3;
  81                 pci_bus_read_config_byte(bus, devfn, pos + PCI_CAP_LIST_ID,
  82                                          &id);
  83                 if (id == 0xff)
  84                         break;
  85                 if (id == cap)
  86                         return pos;
  87                 pos += PCI_CAP_LIST_NEXT;
  88         }
  89         return 0;
  90 }
  91
  92 int pci_find_next_capability(struct pci_dev *dev, u8 pos, int cap)
  93 {
  94         return __pci_find_next_cap(dev->bus, dev->devfn,
  95                                    pos + PCI_CAP_LIST_NEXT, cap);
  96 }
  97 EXPORT_SYMBOL_GPL(pci_find_next_capability);
  98
  99 static int __pci_bus_find_cap(struct pci_bus *bus, unsigned int devfn, u8 hdr_type, int cap)
 100 {
 101         u16 status;
 102         u8 pos;
 103
 104         pci_bus_read_config_word(bus, devfn, PCI_STATUS, &status);
 105         if (!(status & PCI_STATUS_CAP_LIST))
 106                 return 0;
 107
 108         switch (hdr_type) {
 109         case PCI_HEADER_TYPE_NORMAL:
 110         case PCI_HEADER_TYPE_BRIDGE:
 111                 pos = PCI_CAPABILITY_LIST;
 112                 break;
 113         case PCI_HEADER_TYPE_CARDBUS:
 114                 pos = PCI_CB_CAPABILITY_LIST;
 115                 break;
 116         default:
 117                 return 0;
 118         }
 119         return __pci_find_next_cap(bus, devfn, pos, cap);
 120 }
 121
 122 /**
 123  * pci_find_capability - query for devices' capabilities
 124  * @dev: PCI device to query
 125  * @cap: capability code
 126  *
 127  * Tell if a device supports a given PCI capability.
 128  * Returns the address of the requested capability structure within the
 129  * device's PCI configuration space or 0 in case the device does not
 130  * support it.  Possible values for @cap:
 131  *
 132  *  %PCI_CAP_ID_PM           Power Management
 133  *  %PCI_CAP_ID_AGP          Accelerated Graphics Port
 134  *  %PCI_CAP_ID_VPD          Vital Product Data
 135  *  %PCI_CAP_ID_SLOTID       Slot Identification
 136  *  %PCI_CAP_ID_MSI          Message Signalled Interrupts
 137  *  %PCI_CAP_ID_CHSWP        CompactPCI HotSwap
 138  *  %PCI_CAP_ID_PCIX         PCI-X
 139  *  %PCI_CAP_ID_EXP          PCI Express
 140  */
 141 int pci_find_capability(struct pci_dev *dev, int cap)
 142 {
 143         return __pci_bus_find_cap(dev->bus, dev->devfn, dev->hdr_type, cap);
 144 }
 145
 146 /**
 147  * pci_bus_find_capability - query for devices' capabilities
 148  * @bus:   the PCI bus to query
 149  * @devfn: PCI device to query
 150  * @cap:   capability code
 151  *
 152  * Like pci_find_capability() but works for pci devices that do not have a
 153  * pci_dev structure set up yet.
 154  *
 155  * Returns the address of the requested capability structure within the
 156  * device's PCI configuration space or 0 in case the device does not
 157  * support it.
 158  */
 159 int pci_bus_find_capability(struct pci_bus *bus, unsigned int devfn, int cap)
 160 {
 161         u8 hdr_type;
 162
 163         pci_bus_read_config_byte(bus, devfn, PCI_HEADER_TYPE, &hdr_type);
 164
 165         return __pci_bus_find_cap(bus, devfn, hdr_type & 0x7f, cap);
 166 }
 167
 168 /**
 169  * pci_find_ext_capability - Find an extended capability
 170  * @dev: PCI device to query
 171  * @cap: capability code
 172  *
 173  * Returns the address of the requested extended capability structure
 174  * within the device's PCI configuration space or 0 if the device does
 175  * not support it.  Possible values for @cap:
 176  *
 177  *  %PCI_EXT_CAP_ID_ERR         Advanced Error Reporting
 178  *  %PCI_EXT_CAP_ID_VC          Virtual Channel
 179  *  %PCI_EXT_CAP_ID_DSN         Device Serial Number
 180  *  %PCI_EXT_CAP_ID_PWR         Power Budgeting
 181  */
 182 int pci_find_ext_capability(struct pci_dev *dev, int cap)
 183 {
 184         u32 header;
 185         int ttl = 480; /* 3840 bytes, minimum 8 bytes per capability */
 186         int pos = 0x100;
 187
 188         if (dev->cfg_size <= 256)
 189                 return 0;
 190
 191         if (pci_read_config_dword(dev, pos, &header) != PCIBIOS_SUCCESSFUL)
 192                 return 0;
 193
 194         /*
 195          * If we have no capabilities, this is indicated by cap ID,
 196          * cap version and next pointer all being 0.
 197          */
 198         if (header == 0)
 199                 return 0;
 200
 201         while (ttl-- > 0) {
 202                 if (PCI_EXT_CAP_ID(header) == cap)
 203                         return pos;
 204
 205                 pos = PCI_EXT_CAP_NEXT(header);
 206                 if (pos < 0x100)
 207                         break;
 208
 209                 if (pci_read_config_dword(dev, pos, &header) != PCIBIOS_SUCCESSFUL)
 210                         break;
 211         }
 212
 213         return 0;
 214 }
 215 EXPORT_SYMBOL_GPL(pci_find_ext_capability);
 216
 217 /**
 218  * pci_find_parent_resource - return resource region of parent bus of given region
 219  * @dev: PCI device structure contains resources to be searched
 220  * @res: child resource record for which parent is sought
 221  *
 222  *  For given resource region of given device, return the resource
 223  *  region of parent bus the given region is contained in or where
 224  *  it should be allocated from.
 225  */
 226 struct resource *
 227 pci_find_parent_resource(const struct pci_dev *dev, struct resource *res)
 228 {
 229         const struct pci_bus *bus = dev->bus;
 230         int i;
 231         struct resource *best = NULL;
 232
 233         for(i = 0; i < PCI_BUS_NUM_RESOURCES; i++) {
 234                 struct resource *r = bus->resource[i];
 235                 if (!r)
 236                         continue;
 237                 if (res->start && !(res->start >= r->start && res->end <= r->end))
 238                         continue;       /* Not contained */
 239                 if ((res->flags ^ r->flags) & (IORESOURCE_IO | IORESOURCE_MEM))
 240                         continue;       /* Wrong type */
 241                 if (!((res->flags ^ r->flags) & IORESOURCE_PREFETCH))
 242                         return r;       /* Exact match */
 243                 if ((res->flags & IORESOURCE_PREFETCH) && !(r->flags & IORESOURCE_PREFETCH))
 244                         best = r;       /* Approximating prefetchable by non-prefetchable */
 245         }
 246         return best;
 247 }
 248
 249 /**
 250  * pci_restore_bars - restore a devices BAR values (e.g. after wake-up)
 251  * @dev: PCI device to have its BARs restored
 252  *
 253  * Restore the BAR values for a given device, so as to make it
 254  * accessible by its driver.
 255  */
 256 void
 257 pci_restore_bars(struct pci_dev *dev)
 258 {
 259         int i, numres;
 260
 261         switch (dev->hdr_type) {
 262         case PCI_HEADER_TYPE_NORMAL:
 263                 numres = 6;
 264                 break;
 265         case PCI_HEADER_TYPE_BRIDGE:
 266                 numres = 2;
 267                 break;
 268         case PCI_HEADER_TYPE_CARDBUS:
 269                 numres = 1;
 270                 break;
 271         default:
 272                 /* Should never get here, but just in case... */
 273                 return;
 274         }
 275
 276         for (i = 0; i < numres; i ++)
 277                 pci_update_resource(dev, &dev->resource[i], i);
 278 }
 279
 280 int (*platform_pci_set_power_state)(struct pci_dev *dev, pci_power_t t);
 281
 282 /**
 283  * pci_set_power_state - Set the power state of a PCI device
 284  * @dev: PCI device to be suspended
 285  * @state: PCI power state (D0, D1, D2, D3hot, D3cold) we're entering
 286  *
 287  * Transition a device to a new power state, using the Power Management
 288  * Capabilities in the device's config space.
 289  *
 290  * RETURN VALUE:
 291  * -EINVAL if trying to enter a lower state than we're already in.
 292  * 0 if we're already in the requested state.
 293  * -EIO if device does not support PCI PM.
 294  * 0 if we can successfully change the power state.
 295  */
 296 int
 297 pci_set_power_state(struct pci_dev *dev, pci_power_t state)
 298 {
 299         int pm, need_restore = 0;
 300         u16 pmcsr, pmc;
 301
 302         /* bound the state we're entering */
 303         if (state > PCI_D3hot)
 304                 state = PCI_D3hot;
 305
 306         /* Validate current state:
 307          * Can enter D0 from any state, but if we can only go deeper
 308          * to sleep if we're already in a low power state
 309          */
 310         if (state != PCI_D0 && dev->current_state > state) {
 311                 printk(KERN_ERR "%s(): %s: state=%d, current state=%d\n",
 312                         __FUNCTION__, pci_name(dev), state, dev->current_state);
 313                 return -EINVAL;
 314         } else if (dev->current_state == state)
 315                 return 0;        /* we're already there */
 316
 317         /*
 318          * If the device or the parent bridge can't support PCI PM, ignore
 319          * the request if we're doing anything besides putting it into D0
 320          * (which would only happen on boot).
 321          */
 322         if ((state == PCI_D1 || state == PCI_D2) && pci_no_d1d2(dev))
 323                 return 0;
 324
 325         /* find PCI PM capability in list */
 326         pm = pci_find_capability(dev, PCI_CAP_ID_PM);
 327
 328         /* abort if the device doesn't support PM capabilities */
 329         if (!pm)
 330                 return -EIO;
 331
 332         pci_read_config_word(dev,pm + PCI_PM_PMC,&pmc);
 333         if ((pmc & PCI_PM_CAP_VER_MASK) > 3) {
 334                 printk(KERN_DEBUG
 335                        "PCI: %s has unsupported PM cap regs version (%u)\n",
 336                        pci_name(dev), pmc & PCI_PM_CAP_VER_MASK);
 337                 return -EIO;
 338         }
 339
 340         /* check if this device supports the desired state */
 341         if (state == PCI_D1 && !(pmc & PCI_PM_CAP_D1))
 342                 return -EIO;
 343         else if (state == PCI_D2 && !(pmc & PCI_PM_CAP_D2))
 344                 return -EIO;
 345
 346         pci_read_config_word(dev, pm + PCI_PM_CTRL, &pmcsr);
 347
 348         /* If we're (effectively) in D3, force entire word to 0.
 349          * This doesn't affect PME_Status, disables PME_En, and
 350          * sets PowerState to 0.
 351          */
 352         switch (dev->current_state) {
 353         case PCI_D0:
 354         case PCI_D1:
 355         case PCI_D2:
 356                 pmcsr &= ~PCI_PM_CTRL_STATE_MASK;
 357                 pmcsr |= state;
 358                 break;
 359         case PCI_UNKNOWN: /* Boot-up */
 360                 if ((pmcsr & PCI_PM_CTRL_STATE_MASK) == PCI_D3hot
 361                  && !(pmcsr & PCI_PM_CTRL_NO_SOFT_RESET))
 362                         need_restore = 1;
 363                 /* Fall-through: force to D0 */
 364         default:
 365                 pmcsr = 0;
 366                 break;
 367         }
 368
 369         /* enter specified state */
 370         pci_write_config_word(dev, pm + PCI_PM_CTRL, pmcsr);
 371
 372         /* Mandatory power management transition delays */
 373         /* see PCI PM 1.1 5.6.1 table 18 */
 374         if (state == PCI_D3hot || dev->current_state == PCI_D3hot)
 375                 msleep(pci_pm_d3_delay);
 376         else if (state == PCI_D2 || dev->current_state == PCI_D2)
 377                 udelay(200);
 378
 379         /*
 380          * Give firmware a chance to be called, such as ACPI _PRx, _PSx
 381          * Firmware method after native method ?
 382          */
 383         if (platform_pci_set_power_state)
 384                 platform_pci_set_power_state(dev, state);
 385
 386         dev->current_state = state;
 387
 388         /* According to section 5.4.1 of the "PCI BUS POWER MANAGEMENT
 389          * INTERFACE SPECIFICATION, REV. 1.2", a device transitioning
 390          * from D3hot to D0 _may_ perform an internal reset, thereby
 391          * going to "D0 Uninitialized" rather than "D0 Initialized".
 392          * For example, at least some versions of the 3c905B and the
 393          * 3c556B exhibit this behaviour.
 394          *
 395          * At least some laptop BIOSen (e.g. the Thinkpad T21) leave
 396          * devices in a D3hot state at boot.  Consequently, we need to
 397          * restore at least the BARs so that the device will be
 398          * accessible to its driver.
 399          */
 400         if (need_restore)
 401                 pci_restore_bars(dev);
 402
 403         return 0;
 404 }
 405
 406 int (*platform_pci_choose_state)(struct pci_dev *dev, pm_message_t state);
 407
 408 /**
 409  * pci_choose_state - Choose the power state of a PCI device
 410  * @dev: PCI device to be suspended
 411  * @state: target sleep state for the whole system. This is the value
 412  *      that is passed to suspend() function.
 413  *
 414  * Returns PCI power state suitable for given device and given system
 415  * message.
 416  */
 417
 418 pci_power_t pci_choose_state(struct pci_dev *dev, pm_message_t state)
 419 {
 420         int ret;
 421
 422         if (!pci_find_capability(dev, PCI_CAP_ID_PM))
 423                 return PCI_D0;
 424
 425         if (platform_pci_choose_state) {
 426                 ret = platform_pci_choose_state(dev, state);
 427                 if (ret >= 0)
 428                         state.event = ret;
 429         }
 430
 431         switch (state.event) {
 432         case PM_EVENT_ON:
 433                 return PCI_D0;
 434         case PM_EVENT_FREEZE:
 435         case PM_EVENT_PRETHAW:
 436                 /* REVISIT both freeze and pre-thaw "should" use D0 */
 437         case PM_EVENT_SUSPEND:
 438                 return PCI_D3hot;
 439         default:
 440                 printk("Unrecognized suspend event %d\n", state.event);
 441                 BUG();
 442         }
 443         return PCI_D0;
 444 }
 445
 446 EXPORT_SYMBOL(pci_choose_state);
 447
 448 static int pci_save_pcie_state(struct pci_dev *dev)
 449 {
 450         int pos, i = 0;
 451         struct pci_cap_saved_state *save_state;
 452         u16 *cap;
 453
 454         pos = pci_find_capability(dev, PCI_CAP_ID_EXP);
 455         if (pos <= 0)
 456                 return 0;
 457
 458         save_state = kzalloc(sizeof(*save_state) + sizeof(u16) * 4, GFP_KERNEL);
 459         if (!save_state) {
 460                 dev_err(&dev->dev, "Out of memory in pci_save_pcie_state\n");
 461                 return -ENOMEM;
 462         }
 463         cap = (u16 *)&save_state->data[0];
 464
 465         pci_read_config_word(dev, pos + PCI_EXP_DEVCTL, &cap[i++]);
 466         pci_read_config_word(dev, pos + PCI_EXP_LNKCTL, &cap[i++]);
 467         pci_read_config_word(dev, pos + PCI_EXP_SLTCTL, &cap[i++]);
 468         pci_read_config_word(dev, pos + PCI_EXP_RTCTL, &cap[i++]);
 469         pci_add_saved_cap(dev, save_state);
 470         return 0;
 471 }
 472
 473 static void pci_restore_pcie_state(struct pci_dev *dev)
 474 {
 475         int i = 0, pos;
 476         struct pci_cap_saved_state *save_state;
 477         u16 *cap;
 478
 479         save_state = pci_find_saved_cap(dev, PCI_CAP_ID_EXP);
 480         pos = pci_find_capability(dev, PCI_CAP_ID_EXP);
 481         if (!save_state || pos <= 0)
 482                 return;
 483         cap = (u16 *)&save_state->data[0];
 484
 485         pci_write_config_word(dev, pos + PCI_EXP_DEVCTL, cap[i++]);
 486         pci_write_config_word(dev, pos + PCI_EXP_LNKCTL, cap[i++]);
 487         pci_write_config_word(dev, pos + PCI_EXP_SLTCTL, cap[i++]);
 488         pci_write_config_word(dev, pos + PCI_EXP_RTCTL, cap[i++]);
 489         pci_remove_saved_cap(save_state);
 490         kfree(save_state);
 491 }
 492
 493
 494 static int pci_save_pcix_state(struct pci_dev *dev)
 495 {
 496         int pos, i = 0;
 497         struct pci_cap_saved_state *save_state;
 498         u16 *cap;
 499
 500         pos = pci_find_capability(dev, PCI_CAP_ID_PCIX);
 501         if (pos <= 0)
 502                 return 0;
 503
 504         save_state = kzalloc(sizeof(*save_state) + sizeof(u16), GFP_KERNEL);
 505         if (!save_state) {
 506                 dev_err(&dev->dev, "Out of memory in pci_save_pcie_state\n");
 507                 return -ENOMEM;
 508         }
 509         cap = (u16 *)&save_state->data[0];
 510
 511         pci_read_config_word(dev, pos + PCI_X_CMD, &cap[i++]);
 512         pci_add_saved_cap(dev, save_state);
 513         return 0;
 514 }
 515
 516 static void pci_restore_pcix_state(struct pci_dev *dev)
 517 {
 518         int i = 0, pos;
 519         struct pci_cap_saved_state *save_state;
 520         u16 *cap;
 521
 522         save_state = pci_find_saved_cap(dev, PCI_CAP_ID_PCIX);
 523         pos = pci_find_capability(dev, PCI_CAP_ID_PCIX);
 524         if (!save_state || pos <= 0)
 525                 return;
 526         cap = (u16 *)&save_state->data[0];
 527
 528         pci_write_config_word(dev, pos + PCI_X_CMD, cap[i++]);
 529         pci_remove_saved_cap(save_state);
 530         kfree(save_state);
 531 }
 532
 533
 534 /**
 535  * pci_save_state - save the PCI configuration space of a device before suspending
 536  * @dev: - PCI device that we're dealing with
 537  */
 538 int
 539 pci_save_state(struct pci_dev *dev)
 540 {
 541         int i;
 542         /* XXX: 100% dword access ok here? */
 543         for (i = 0; i < 16; i++)
 544                 pci_read_config_dword(dev, i * 4,&dev->saved_config_space[i]);
 545         if ((i = pci_save_msi_state(dev)) != 0)
 546                 return i;
 547         if ((i = pci_save_msix_state(dev)) != 0)
 548                 return i;
 549         if ((i = pci_save_pcie_state(dev)) != 0)
 550                 return i;
 551         if ((i = pci_save_pcix_state(dev)) != 0)
 552                 return i;
 553         return 0;
 554 }
 555
 556 /**
 557  * pci_restore_state - Restore the saved state of a PCI device
 558  * @dev: - PCI device that we're dealing with
 559  */
 560 int
 561 pci_restore_state(struct pci_dev *dev)
 562 {
 563         int i;
 564         int val;
 565
 566         /* PCI Express register must be restored first */
 567         pci_restore_pcie_state(dev);
 568
 569         /*
 570          * The Base Address register should be programmed before the command
 571          * register(s)
 572          */
 573         for (i = 15; i >= 0; i--) {
 574                 pci_read_config_dword(dev, i * 4, &val);
 575                 if (val != dev->saved_config_space[i]) {
 576                         printk(KERN_DEBUG "PM: Writing back config space on "
 577                                 "device %s at offset %x (was %x, writing %x)\n",
 578                                 pci_name(dev), i,
 579                                 val, (int)dev->saved_config_space[i]);
 580                         pci_write_config_dword(dev,i * 4,
 581                                 dev->saved_config_space[i]);
 582                 }
 583         }
 584         pci_restore_pcix_state(dev);
 585         pci_restore_msi_state(dev);
 586         pci_restore_msix_state(dev);
 587         return 0;
 588 }
 589
 590 /**
 591  * pci_enable_device_bars - Initialize some of a device for use
 592  * @dev: PCI device to be initialized
 593  * @bars: bitmask of BAR's that must be configured
 594  *
 595  *  Initialize device before it's used by a driver. Ask low-level code
 596  *  to enable selected I/O and memory resources. Wake up the device if it
 597  *  was suspended. Beware, this function can fail.
 598  */
 599
 600 int
 601 pci_enable_device_bars(struct pci_dev *dev, int bars)
 602 {
 603         int err;
 604
 605         err = pci_set_power_state(dev, PCI_D0);
 606         if (err < 0 && err != -EIO)
 607                 return err;
 608         err = pcibios_enable_device(dev, bars);
 609         if (err < 0)
 610                 return err;
 611         return 0;
 612 }
 613
 614 /**
 615  * __pci_enable_device - Initialize device before it's used by a driver.
 616  * @dev: PCI device to be initialized
 617  *
 618  *  Initialize device before it's used by a driver. Ask low-level code
 619  *  to enable I/O and memory. Wake up the device if it was suspended.
 620  *  Beware, this function can fail.
 621  *
 622  * Note this function is a backend and is not supposed to be called by
 623  * normal code, use pci_enable_device() instead.
 624  */
 625 int
 626 __pci_enable_device(struct pci_dev *dev)
 627 {
 628         int err;
 629
 630         err = pci_enable_device_bars(dev, (1 << PCI_NUM_RESOURCES) - 1);
 631         if (err)
 632                 return err;
 633         pci_fixup_device(pci_fixup_enable, dev);
 634         return 0;
 635 }
 636
 637 /**
 638  * pci_enable_device - Initialize device before it's used by a driver.
 639  * @dev: PCI device to be initialized
 640  *
 641  *  Initialize device before it's used by a driver. Ask low-level code
 642  *  to enable I/O and memory. Wake up the device if it was suspended.
 643  *  Beware, this function can fail.
 644  *
 645  *  Note we don't actually enable the device many times if we call
 646  *  this function repeatedly (we just increment the count).
 647  */
 648 int pci_enable_device(struct pci_dev *dev)
 649 {
 650         int result;
 651         if (atomic_add_return(1, &dev->enable_cnt) > 1)
 652                 return 0;               /* already enabled */
 653         result = __pci_enable_device(dev);
 654         if (result < 0)
 655                 atomic_dec(&dev->enable_cnt);
 656         return result;
 657 }
 658
 659 /**
 660  * pcibios_disable_device - disable arch specific PCI resources for device dev
 661  * @dev: the PCI device to disable
 662  *
 663  * Disables architecture specific PCI resources for the device. This
 664  * is the default implementation. Architecture implementations can
 665  * override this.
 666  */
 667 void __attribute__ ((weak)) pcibios_disable_device (struct pci_dev *dev) {}
 668
 669 /**
 670  * pci_disable_device - Disable PCI device after use
 671  * @dev: PCI device to be disabled
 672  *
 673  * Signal to the system that the PCI device is not in use by the system
 674  * anymore.  This only involves disabling PCI bus-mastering, if active.
 675  *
 676  * Note we don't actually disable the device until all callers of
 677  * pci_device_enable() have called pci_device_disable().
 678  */
 679 void
 680 pci_disable_device(struct pci_dev *dev)
 681 {
 682         u16 pci_command;
 683
 684         if (atomic_sub_return(1, &dev->enable_cnt) != 0)
 685                 return;
 686
 687         if (dev->msi_enabled)
 688                 disable_msi_mode(dev, pci_find_capability(dev, PCI_CAP_ID_MSI),
 689                         PCI_CAP_ID_MSI);
 690         if (dev->msix_enabled)
 691                 disable_msi_mode(dev, pci_find_capability(dev, PCI_CAP_ID_MSI),
 692                         PCI_CAP_ID_MSIX);
 693
 694         pci_read_config_word(dev, PCI_COMMAND, &pci_command);
 695         if (pci_command & PCI_COMMAND_MASTER) {
 696                 pci_command &= ~PCI_COMMAND_MASTER;
 697                 pci_write_config_word(dev, PCI_COMMAND, pci_command);
 698         }
 699         dev->is_busmaster = 0;
 700
 701         pcibios_disable_device(dev);
 702 }
 703
 704 /**
 705  * pci_enable_wake - enable device to generate PME# when suspended
 706  * @dev: - PCI device to operate on
 707  * @state: - Current state of device.
 708  * @enable: - Flag to enable or disable generation
 709  *
 710  * Set the bits in the device's PM Capabilities to generate PME# when
 711  * the system is suspended.
 712  *
 713  * -EIO is returned if device doesn't have PM Capabilities.
 714  * -EINVAL is returned if device supports it, but can't generate wake events.
 715  * 0 if operation is successful.
 716  *
 717  */
 718 int pci_enable_wake(struct pci_dev *dev, pci_power_t state, int enable)
 719 {
 720         int pm;
 721         u16 value;
 722
 723         /* find PCI PM capability in list */
 724         pm = pci_find_capability(dev, PCI_CAP_ID_PM);
 725
 726         /* If device doesn't support PM Capabilities, but request is to disable
 727          * wake events, it's a nop; otherwise fail */
 728         if (!pm)
 729                 return enable ? -EIO : 0;
 730
 731         /* Check device's ability to generate PME# */
 732         pci_read_config_word(dev,pm+PCI_PM_PMC,&value);
 733
 734         value &= PCI_PM_CAP_PME_MASK;
 735         value >>= ffs(PCI_PM_CAP_PME_MASK) - 1;   /* First bit of mask */
 736
 737         /* Check if it can generate PME# from requested state. */
 738         if (!value || !(value & (1 << state)))
 739                 return enable ? -EINVAL : 0;
 740
 741         pci_read_config_word(dev, pm + PCI_PM_CTRL, &value);
 742
 743         /* Clear PME_Status by writing 1 to it and enable PME# */
 744         value |= PCI_PM_CTRL_PME_STATUS | PCI_PM_CTRL_PME_ENABLE;
 745
 746         if (!enable)
 747                 value &= ~PCI_PM_CTRL_PME_ENABLE;
 748
 749         pci_write_config_word(dev, pm + PCI_PM_CTRL, value);
 750
 751         return 0;
 752 }
 753
 754 int
 755 pci_get_interrupt_pin(struct pci_dev *dev, struct pci_dev **bridge)
 756 {
 757         u8 pin;
 758
 759         pin = dev->pin;
 760         if (!pin)
 761                 return -1;
 762         pin--;
 763         while (dev->bus->self) {
 764                 pin = (pin + PCI_SLOT(dev->devfn)) % 4;
 765                 dev = dev->bus->self;
 766         }
 767         *bridge = dev;
 768         return pin;
 769 }
 770
 771 /**
 772  *      pci_release_region - Release a PCI bar
 773  *      @pdev: PCI device whose resources were previously reserved by pci_request_region
 774  *      @bar: BAR to release
 775  *
 776  *      Releases the PCI I/O and memory resources previously reserved by a
 777  *      successful call to pci_request_region.  Call this function only
 778  *      after all use of the PCI regions has ceased.
 779  */
 780 void pci_release_region(struct pci_dev *pdev, int bar)
 781 {
 782         if (pci_resource_len(pdev, bar) == 0)
 783                 return;
 784         if (pci_resource_flags(pdev, bar) & IORESOURCE_IO)
 785                 release_region(pci_resource_start(pdev, bar),
 786                                 pci_resource_len(pdev, bar));
 787         else if (pci_resource_flags(pdev, bar) & IORESOURCE_MEM)
 788                 release_mem_region(pci_resource_start(pdev, bar),
 789                                 pci_resource_len(pdev, bar));
 790 }
 791
 792 /**
 793  *      pci_request_region - Reserved PCI I/O and memory resource
 794  *      @pdev: PCI device whose resources are to be reserved
 795  *      @bar: BAR to be reserved
 796  *      @res_name: Name to be associated with resource.
 797  *
 798  *      Mark the PCI region associated with PCI device @pdev BR @bar as
 799  *      being reserved by owner @res_name.  Do not access any
 800  *      address inside the PCI regions unless this call returns
 801  *      successfully.
 802  *
 803  *      Returns 0 on success, or %EBUSY on error.  A warning
 804  *      message is also printed on failure.
 805  */
 806 int pci_request_region(struct pci_dev *pdev, int bar, const char *res_name)
 807 {
 808         if (pci_resource_len(pdev, bar) == 0)
 809                 return 0;
 810
 811         if (pci_resource_flags(pdev, bar) & IORESOURCE_IO) {
 812                 if (!request_region(pci_resource_start(pdev, bar),
 813                             pci_resource_len(pdev, bar), res_name))
 814                         goto err_out;
 815         }
 816         else if (pci_resource_flags(pdev, bar) & IORESOURCE_MEM) {
 817                 if (!request_mem_region(pci_resource_start(pdev, bar),
 818                                         pci_resource_len(pdev, bar), res_name))
 819                         goto err_out;
 820         }
 821
 822         return 0;
 823
 824 err_out:
 825         printk (KERN_WARNING "PCI: Unable to reserve %s region #%d:%llx@%llx "
 826                 "for device %s\n",
 827                 pci_resource_flags(pdev, bar) & IORESOURCE_IO ? "I/O" : "mem",
 828                 bar + 1, /* PCI BAR # */
 829                 (unsigned long long)pci_resource_len(pdev, bar),
 830                 (unsigned long long)pci_resource_start(pdev, bar),
 831                 pci_name(pdev));
 832         return -EBUSY;
 833 }
 834
 835
 836 /**
 837  *      pci_release_regions - Release reserved PCI I/O and memory resources
 838  *      @pdev: PCI device whose resources were previously reserved by pci_request_regions
 839  *
 840  *      Releases all PCI I/O and memory resources previously reserved by a
 841  *      successful call to pci_request_regions.  Call this function only
 842  *      after all use of the PCI regions has ceased.
 843  */
 844
 845 void pci_release_regions(struct pci_dev *pdev)
 846 {
 847         int i;
 848
 849         for (i = 0; i < 6; i++)
 850                 pci_release_region(pdev, i);
 851 }
 852
 853 /**
 854  *      pci_request_regions - Reserved PCI I/O and memory resources
 855  *      @pdev: PCI device whose resources are to be reserved
 856  *      @res_name: Name to be associated with resource.
 857  *
 858  *      Mark all PCI regions associated with PCI device @pdev as
 859  *      being reserved by owner @res_name.  Do not access any
 860  *      address inside the PCI regions unless this call returns
 861  *      successfully.
 862  *
 863  *      Returns 0 on success, or %EBUSY on error.  A warning
 864  *      message is also printed on failure.
 865  */
 866 int pci_request_regions(struct pci_dev *pdev, const char *res_name)
 867 {
 868         int i;
 869
 870         for (i = 0; i < 6; i++)
 871                 if(pci_request_region(pdev, i, res_name))
 872                         goto err_out;
 873         return 0;
 874
 875 err_out:
 876         while(--i >= 0)
 877                 pci_release_region(pdev, i);
 878
 879         return -EBUSY;
 880 }
 881
 882 /**
 883  * pci_set_master - enables bus-mastering for device dev
 884  * @dev: the PCI device to enable
 885  *
 886  * Enables bus-mastering on the device and calls pcibios_set_master()
 887  * to do the needed arch specific settings.
 888  */
 889 void
 890 pci_set_master(struct pci_dev *dev)
 891 {
 892         u16 cmd;
 893
 894         pci_read_config_word(dev, PCI_COMMAND, &cmd);
 895         if (! (cmd & PCI_COMMAND_MASTER)) {
 896                 pr_debug("PCI: Enabling bus mastering for device %s\n", pci_name(dev));
 897                 cmd |= PCI_COMMAND_MASTER;
 898                 pci_write_config_word(dev, PCI_COMMAND, cmd);
 899         }
 900         dev->is_busmaster = 1;
 901         pcibios_set_master(dev);
 902 }
 903
 904 #ifdef PCI_DISABLE_MWI
 905 int pci_set_mwi(struct pci_dev *dev)
 906 {
 907         return 0;
 908 }
 909
 910 void pci_clear_mwi(struct pci_dev *dev)
 911 {
 912 }
 913
 914 #else
 915
 916 #ifndef PCI_CACHE_LINE_BYTES
 917 #define PCI_CACHE_LINE_BYTES L1_CACHE_BYTES
 918 #endif
 919
 920 /* This can be overridden by arch code. */
 921 /* Don't forget this is measured in 32-bit words, not bytes */
 922 u8 pci_cache_line_size = PCI_CACHE_LINE_BYTES / 4;
 923
 924 /**
 925  * pci_set_cacheline_size - ensure the CACHE_LINE_SIZE register is programmed
 926  * @dev: the PCI device for which MWI is to be enabled
 927  *
 928  * Helper function for pci_set_mwi.
 929  * Originally copied from drivers/net/acenic.c.
 930  * Copyright 1998-2001 by Jes Sorensen, <jes@trained-monkey.org>.
 931  *
 932  * RETURNS: An appropriate -ERRNO error value on error, or zero for success.
 933  */
 934 static int
 935 pci_set_cacheline_size(struct pci_dev *dev)
 936 {
 937         u8 cacheline_size;
 938
 939         if (!pci_cache_line_size)
 940                 return -EINVAL;         /* The system doesn't support MWI. */
 941
 942         /* Validate current setting: the PCI_CACHE_LINE_SIZE must be
 943            equal to or multiple of the right value. */
 944         pci_read_config_byte(dev, PCI_CACHE_LINE_SIZE, &cacheline_size);
 945         if (cacheline_size >= pci_cache_line_size &&
 946             (cacheline_size % pci_cache_line_size) == 0)
 947                 return 0;
 948
 949         /* Write the correct value. */
 950         pci_write_config_byte(dev, PCI_CACHE_LINE_SIZE, pci_cache_line_size);
 951         /* Read it back. */
 952         pci_read_config_byte(dev, PCI_CACHE_LINE_SIZE, &cacheline_size);
 953         if (cacheline_size == pci_cache_line_size)
 954                 return 0;
 955
 956         printk(KERN_DEBUG "PCI: cache line size of %d is not supported "
 957                "by device %s\n", pci_cache_line_size << 2, pci_name(dev));
 958
 959         return -EINVAL;
 960 }
 961
 962 /**
 963  * pci_set_mwi - enables memory-write-invalidate PCI transaction
 964  * @dev: the PCI device for which MWI is enabled
 965  *
 966  * Enables the Memory-Write-Invalidate transaction in %PCI_COMMAND,
 967  * and then calls @pcibios_set_mwi to do the needed arch specific
 968  * operations or a generic mwi-prep function.
 969  *
 970  * RETURNS: An appropriate -ERRNO error value on error, or zero for success.
 971  */
 972 int
 973 pci_set_mwi(struct pci_dev *dev)
 974 {
 975         int rc;
 976         u16 cmd;
 977
 978         rc = pci_set_cacheline_size(dev);
 979         if (rc)
 980                 return rc;
 981
 982         pci_read_config_word(dev, PCI_COMMAND, &cmd);
 983         if (! (cmd & PCI_COMMAND_INVALIDATE)) {
 984                 pr_debug("PCI: Enabling Mem-Wr-Inval for device %s\n", pci_name(dev));
 985                 cmd |= PCI_COMMAND_INVALIDATE;
 986                 pci_write_config_word(dev, PCI_COMMAND, cmd);
 987         }
 988
 989         return 0;
 990 }
 991
 992 /**
 993  * pci_clear_mwi - disables Memory-Write-Invalidate for device dev
 994  * @dev: the PCI device to disable
 995  *
 996  * Disables PCI Memory-Write-Invalidate transaction on the device
 997  */
 998 void
 999 pci_clear_mwi(struct pci_dev *dev)
1000 {
1001         u16 cmd;
1002
1003         pci_read_config_word(dev, PCI_COMMAND, &cmd);
1004         if (cmd & PCI_COMMAND_INVALIDATE) {
1005                 cmd &= ~PCI_COMMAND_INVALIDATE;
1006                 pci_write_config_word(dev, PCI_COMMAND, cmd);
1007         }
1008 }
1009 #endif /* ! PCI_DISABLE_MWI */
1010
1011 /**
1012  * pci_intx - enables/disables PCI INTx for device dev
1013  * @pdev: the PCI device to operate on
1014  * @enable: boolean: whether to enable or disable PCI INTx
1015  *
1016  * Enables/disables PCI INTx for device dev
1017  */
1018 void
1019 pci_intx(struct pci_dev *pdev, int enable)
1020 {
1021         u16 pci_command, new;
1022
1023         pci_read_config_word(pdev, PCI_COMMAND, &pci_command);
1024
1025         if (enable) {
1026                 new = pci_command & ~PCI_COMMAND_INTX_DISABLE;
1027         } else {
1028                 new = pci_command | PCI_COMMAND_INTX_DISABLE;
1029         }
1030
1031         if (new != pci_command) {
1032                 pci_write_config_word(pdev, PCI_COMMAND, new);
1033         }
1034 }
1035
1036 #ifndef HAVE_ARCH_PCI_SET_DMA_MASK
1037 /*
1038  * These can be overridden by arch-specific implementations
1039  */
1040 int
1041 pci_set_dma_mask(struct pci_dev *dev, u64 mask)
1042 {
1043         if (!pci_dma_supported(dev, mask))
1044                 return -EIO;
1045
1046         dev->dma_mask = mask;
1047
1048         return 0;
1049 }
1050
1051 int
1052 pci_set_consistent_dma_mask(struct pci_dev *dev, u64 mask)
1053 {
1054         if (!pci_dma_supported(dev, mask))
1055                 return -EIO;
1056
1057         dev->dev.coherent_dma_mask = mask;
1058
1059         return 0;
1060 }
1061 #endif
1062
1063 static int __devinit pci_init(void)
1064 {
1065         struct pci_dev *dev = NULL;
1066
1067         while ((dev = pci_get_device(PCI_ANY_ID, PCI_ANY_ID, dev)) != NULL) {
1068                 pci_fixup_device(pci_fixup_final, dev);
1069         }
1070         return 0;
1071 }
1072
1073 static int __devinit pci_setup(char *str)
1074 {
1075         while (str) {
1076                 char *k = strchr(str, ',');
1077                 if (k)
1078                         *k++ = 0;
1079                 if (*str && (str = pcibios_setup(str)) && *str) {
1080                         if (!strcmp(str, "nomsi")) {
1081                                 pci_no_msi();
1082                         } else {
1083                                 printk(KERN_ERR "PCI: Unknown option `%s'\n",
1084                                                 str);
1085                         }
1086                 }
1087                 str = k;
1088         }
1089         return 0;
1090 }
1091 early_param("pci", pci_setup);
1092
1093 device_initcall(pci_init);
1094
1095 #if defined(CONFIG_ISA) || defined(CONFIG_EISA)
1096 /* FIXME: Some boxes have multiple ISA bridges! */
1097 struct pci_dev *isa_bridge;
1098 EXPORT_SYMBOL(isa_bridge);
1099 #endif
1100
1101 EXPORT_SYMBOL_GPL(pci_restore_bars);
1102 EXPORT_SYMBOL(pci_enable_device_bars);
1103 EXPORT_SYMBOL(pci_enable_device);
1104 EXPORT_SYMBOL(pci_disable_device);
1105 EXPORT_SYMBOL(pci_find_capability);
1106 EXPORT_SYMBOL(pci_bus_find_capability);
1107 EXPORT_SYMBOL(pci_release_regions);
1108 EXPORT_SYMBOL(pci_request_regions);
1109 EXPORT_SYMBOL(pci_release_region);
1110 EXPORT_SYMBOL(pci_request_region);
1111 EXPORT_SYMBOL(pci_set_master);
1112 EXPORT_SYMBOL(pci_set_mwi);
1113 EXPORT_SYMBOL(pci_clear_mwi);
1114 EXPORT_SYMBOL_GPL(pci_intx);
1115 EXPORT_SYMBOL(pci_set_dma_mask);
1116 EXPORT_SYMBOL(pci_set_consistent_dma_mask);
1117 EXPORT_SYMBOL(pci_assign_resource);
1118 EXPORT_SYMBOL(pci_find_parent_resource);
1119
1120 EXPORT_SYMBOL(pci_set_power_state);
1121 EXPORT_SYMBOL(pci_save_state);
1122 EXPORT_SYMBOL(pci_restore_state);
1123 EXPORT_SYMBOL(pci_enable_wake);
1124
1125 /* Quirk info */
1126
1127 EXPORT_SYMBOL(isa_dma_bridge_buggy);
1128 EXPORT_SYMBOL(pci_pci_problems);