drivers/pci/probe.c

   1 /*
   2  * probe.c - PCI detection and setup code
   3  */
   4
   5 #include <linux/kernel.h>
   6 #include <linux/delay.h>
   7 #include <linux/init.h>
   8 #include <linux/pci.h>
   9 #include <linux/slab.h>
  10 #include <linux/module.h>
  11 #include <linux/cpumask.h>
  12 #include <linux/pci-aspm.h>
  13 #include "pci.h"
  14
  15 #define CARDBUS_LATENCY_TIMER   176     /* secondary latency timer */
  16 #define CARDBUS_RESERVE_BUSNR   3
  17 #define PCI_CFG_SPACE_SIZE      256
  18 #define PCI_CFG_SPACE_EXP_SIZE  4096
  19
  20 /* Ugh.  Need to stop exporting this to modules. */
  21 LIST_HEAD(pci_root_buses);
  22 EXPORT_SYMBOL(pci_root_buses);
  23
  24
  25 static int find_anything(struct device *dev, void *data)
  26 {
  27         return 1;
  28 }
  29
  30 /*
  31  * Some device drivers need know if pci is initiated.
  32  * Basically, we think pci is not initiated when there
  33  * is no device to be found on the pci_bus_type.
  34  */
  35 int no_pci_devices(void)
  36 {
  37         struct device *dev;
  38         int no_devices;
  39
  40         dev = bus_find_device(&pci_bus_type, NULL, NULL, find_anything);
  41         no_devices = (dev == NULL);
  42         put_device(dev);
  43         return no_devices;
  44 }
  45 EXPORT_SYMBOL(no_pci_devices);
  46
  47 #ifdef HAVE_PCI_LEGACY
  48 /**
  49  * pci_create_legacy_files - create legacy I/O port and memory files
  50  * @b: bus to create files under
  51  *
  52  * Some platforms allow access to legacy I/O port and ISA memory space on
  53  * a per-bus basis.  This routine creates the files and ties them into
  54  * their associated read, write and mmap files from pci-sysfs.c
  55  *
  56  * On error unwind, but don't propogate the error to the caller
  57  * as it is ok to set up the PCI bus without these files.
  58  */
  59 static void pci_create_legacy_files(struct pci_bus *b)
  60 {
  61         int error;
  62
  63         b->legacy_io = kzalloc(sizeof(struct bin_attribute) * 2,
  64                                GFP_ATOMIC);
  65         if (!b->legacy_io)
  66                 goto kzalloc_err;
  67
  68         b->legacy_io->attr.name = "legacy_io";
  69         b->legacy_io->size = 0xffff;
  70         b->legacy_io->attr.mode = S_IRUSR | S_IWUSR;
  71         b->legacy_io->read = pci_read_legacy_io;
  72         b->legacy_io->write = pci_write_legacy_io;
  73         error = device_create_bin_file(&b->dev, b->legacy_io);
  74         if (error)
  75                 goto legacy_io_err;
  76
  77         /* Allocated above after the legacy_io struct */
  78         b->legacy_mem = b->legacy_io + 1;
  79         b->legacy_mem->attr.name = "legacy_mem";
  80         b->legacy_mem->size = 1024*1024;
  81         b->legacy_mem->attr.mode = S_IRUSR | S_IWUSR;
  82         b->legacy_mem->mmap = pci_mmap_legacy_mem;
  83         error = device_create_bin_file(&b->dev, b->legacy_mem);
  84         if (error)
  85                 goto legacy_mem_err;
  86
  87         return;
  88
  89 legacy_mem_err:
  90         device_remove_bin_file(&b->dev, b->legacy_io);
  91 legacy_io_err:
  92         kfree(b->legacy_io);
  93         b->legacy_io = NULL;
  94 kzalloc_err:
  95         printk(KERN_WARNING "pci: warning: could not create legacy I/O port "
  96                "and ISA memory resources to sysfs\n");
  97         return;
  98 }
  99
 100 void pci_remove_legacy_files(struct pci_bus *b)
 101 {
 102         if (b->legacy_io) {
 103                 device_remove_bin_file(&b->dev, b->legacy_io);
 104                 device_remove_bin_file(&b->dev, b->legacy_mem);
 105                 kfree(b->legacy_io); /* both are allocated here */
 106         }
 107 }
 108 #else /* !HAVE_PCI_LEGACY */
 109 static inline void pci_create_legacy_files(struct pci_bus *bus) { return; }
 110 void pci_remove_legacy_files(struct pci_bus *bus) { return; }
 111 #endif /* HAVE_PCI_LEGACY */
 112
 113 /*
 114  * PCI Bus Class Devices
 115  */
 116 static ssize_t pci_bus_show_cpuaffinity(struct device *dev,
 117                                         int type,
 118                                         struct device_attribute *attr,
 119                                         char *buf)
 120 {
 121         int ret;
 122         cpumask_t cpumask;
 123
 124         cpumask = pcibus_to_cpumask(to_pci_bus(dev));
 125         ret = type?
 126                 cpulist_scnprintf(buf, PAGE_SIZE-2, cpumask):
 127                 cpumask_scnprintf(buf, PAGE_SIZE-2, cpumask);
 128         buf[ret++] = '\n';
 129         buf[ret] = '\0';
 130         return ret;
 131 }
 132
 133 static ssize_t inline pci_bus_show_cpumaskaffinity(struct device *dev,
 134                                         struct device_attribute *attr,
 135                                         char *buf)
 136 {
 137         return pci_bus_show_cpuaffinity(dev, 0, attr, buf);
 138 }
 139
 140 static ssize_t inline pci_bus_show_cpulistaffinity(struct device *dev,
 141                                         struct device_attribute *attr,
 142                                         char *buf)
 143 {
 144         return pci_bus_show_cpuaffinity(dev, 1, attr, buf);
 145 }
 146
 147 DEVICE_ATTR(cpuaffinity,     S_IRUGO, pci_bus_show_cpumaskaffinity, NULL);
 148 DEVICE_ATTR(cpulistaffinity, S_IRUGO, pci_bus_show_cpulistaffinity, NULL);
 149
 150 /*
 151  * PCI Bus Class
 152  */
 153 static void release_pcibus_dev(struct device *dev)
 154 {
 155         struct pci_bus *pci_bus = to_pci_bus(dev);
 156
 157         if (pci_bus->bridge)
 158                 put_device(pci_bus->bridge);
 159         kfree(pci_bus);
 160 }
 161
 162 static struct class pcibus_class = {
 163         .name           = "pci_bus",
 164         .dev_release    = &release_pcibus_dev,
 165 };
 166
 167 static int __init pcibus_class_init(void)
 168 {
 169         return class_register(&pcibus_class);
 170 }
 171 postcore_initcall(pcibus_class_init);
 172
 173 /*
 174  * Translate the low bits of the PCI base
 175  * to the resource type
 176  */
 177 static inline unsigned int pci_calc_resource_flags(unsigned int flags)
 178 {
 179         if (flags & PCI_BASE_ADDRESS_SPACE_IO)
 180                 return IORESOURCE_IO;
 181
 182         if (flags & PCI_BASE_ADDRESS_MEM_PREFETCH)
 183                 return IORESOURCE_MEM | IORESOURCE_PREFETCH;
 184
 185         return IORESOURCE_MEM;
 186 }
 187
 188 static u64 pci_size(u64 base, u64 maxbase, u64 mask)
 189 {
 190         u64 size = mask & maxbase;      /* Find the significant bits */
 191         if (!size)
 192                 return 0;
 193
 194         /* Get the lowest of them to find the decode size, and
 195            from that the extent.  */
 196         size = (size & ~(size-1)) - 1;
 197
 198         /* base == maxbase can be valid only if the BAR has
 199            already been programmed with all 1s.  */
 200         if (base == maxbase && ((base | size) & mask) != mask)
 201                 return 0;
 202
 203         return size;
 204 }
 205
 206 enum pci_bar_type {
 207         pci_bar_unknown,        /* Standard PCI BAR probe */
 208         pci_bar_io,             /* An io port BAR */
 209         pci_bar_mem32,          /* A 32-bit memory BAR */
 210         pci_bar_mem64,          /* A 64-bit memory BAR */
 211 };
 212
 213 static inline enum pci_bar_type decode_bar(struct resource *res, u32 bar)
 214 {
 215         if ((bar & PCI_BASE_ADDRESS_SPACE) == PCI_BASE_ADDRESS_SPACE_IO) {
 216                 res->flags = bar & ~PCI_BASE_ADDRESS_IO_MASK;
 217                 return pci_bar_io;
 218         }
 219
 220         res->flags = bar & ~PCI_BASE_ADDRESS_MEM_MASK;
 221
 222         if (res->flags == PCI_BASE_ADDRESS_MEM_TYPE_64)
 223                 return pci_bar_mem64;
 224         return pci_bar_mem32;
 225 }
 226
 227 /*
 228  * If the type is not unknown, we assume that the lowest bit is 'enable'.
 229  * Returns 1 if the BAR was 64-bit and 0 if it was 32-bit.
 230  */
 231 static int __pci_read_base(struct pci_dev *dev, enum pci_bar_type type,
 232                         struct resource *res, unsigned int pos)
 233 {
 234         u32 l, sz, mask;
 235
 236         mask = type ? ~PCI_ROM_ADDRESS_ENABLE : ~0;
 237
 238         res->name = pci_name(dev);
 239
 240         pci_read_config_dword(dev, pos, &l);
 241         pci_write_config_dword(dev, pos, mask);
 242         pci_read_config_dword(dev, pos, &sz);
 243         pci_write_config_dword(dev, pos, l);
 244
 245         /*
 246          * All bits set in sz means the device isn't working properly.
 247          * If the BAR isn't implemented, all bits must be 0.  If it's a
 248          * memory BAR or a ROM, bit 0 must be clear; if it's an io BAR, bit
 249          * 1 must be clear.
 250          */
 251         if (!sz || sz == 0xffffffff)
 252                 goto fail;
 253
 254         /*
 255          * I don't know how l can have all bits set.  Copied from old code.
 256          * Maybe it fixes a bug on some ancient platform.
 257          */
 258         if (l == 0xffffffff)
 259                 l = 0;
 260
 261         if (type == pci_bar_unknown) {
 262                 type = decode_bar(res, l);
 263                 res->flags |= pci_calc_resource_flags(l) | IORESOURCE_SIZEALIGN;
 264                 if (type == pci_bar_io) {
 265                         l &= PCI_BASE_ADDRESS_IO_MASK;
 266                         mask = PCI_BASE_ADDRESS_IO_MASK & 0xffff;
 267                 } else {
 268                         l &= PCI_BASE_ADDRESS_MEM_MASK;
 269                         mask = (u32)PCI_BASE_ADDRESS_MEM_MASK;
 270                 }
 271         } else {
 272                 res->flags |= (l & IORESOURCE_ROM_ENABLE);
 273                 l &= PCI_ROM_ADDRESS_MASK;
 274                 mask = (u32)PCI_ROM_ADDRESS_MASK;
 275         }
 276
 277         if (type == pci_bar_mem64) {
 278                 u64 l64 = l;
 279                 u64 sz64 = sz;
 280                 u64 mask64 = mask | (u64)~0 << 32;
 281
 282                 pci_read_config_dword(dev, pos + 4, &l);
 283                 pci_write_config_dword(dev, pos + 4, ~0);
 284                 pci_read_config_dword(dev, pos + 4, &sz);
 285                 pci_write_config_dword(dev, pos + 4, l);
 286
 287                 l64 |= ((u64)l << 32);
 288                 sz64 |= ((u64)sz << 32);
 289
 290                 sz64 = pci_size(l64, sz64, mask64);
 291
 292                 if (!sz64)
 293                         goto fail;
 294
 295                 if ((sizeof(resource_size_t) < 8) && (sz64 > 0x100000000ULL)) {
 296                         dev_err(&dev->dev, "can't handle 64-bit BAR\n");
 297                         goto fail;
 298                 } else if ((sizeof(resource_size_t) < 8) && l) {
 299                         /* Address above 32-bit boundary; disable the BAR */
 300                         pci_write_config_dword(dev, pos, 0);
 301                         pci_write_config_dword(dev, pos + 4, 0);
 302                         res->start = 0;
 303                         res->end = sz64;
 304                 } else {
 305                         res->start = l64;
 306                         res->end = l64 + sz64;
 307                         printk(KERN_DEBUG "PCI: %s reg %x 64bit mmio: [%llx, %llx]\n",
 308                                 pci_name(dev), pos, (unsigned long long)res->start,
 309                                 (unsigned long long)res->end);
 310                 }
 311         } else {
 312                 sz = pci_size(l, sz, mask);
 313
 314                 if (!sz)
 315                         goto fail;
 316
 317                 res->start = l;
 318                 res->end = l + sz;
 319                 printk(KERN_DEBUG "PCI: %s reg %x %s: [%llx, %llx]\n", pci_name(dev),
 320                         pos, (res->flags & IORESOURCE_IO) ? "io port":"32bit mmio",
 321                         (unsigned long long)res->start, (unsigned long long)res->end);
 322         }
 323
 324  out:
 325         return (type == pci_bar_mem64) ? 1 : 0;
 326  fail:
 327         res->flags = 0;
 328         goto out;
 329 }
 330
 331 static void pci_read_bases(struct pci_dev *dev, unsigned int howmany, int rom)
 332 {
 333         unsigned int pos, reg;
 334
 335         for (pos = 0; pos < howmany; pos++) {
 336                 struct resource *res = &dev->resource[pos];
 337                 reg = PCI_BASE_ADDRESS_0 + (pos << 2);
 338                 pos += __pci_read_base(dev, pci_bar_unknown, res, reg);
 339         }
 340
 341         if (rom) {
 342                 struct resource *res = &dev->resource[PCI_ROM_RESOURCE];
 343                 dev->rom_base_reg = rom;
 344                 res->flags = IORESOURCE_MEM | IORESOURCE_PREFETCH |
 345                                 IORESOURCE_READONLY | IORESOURCE_CACHEABLE |
 346                                 IORESOURCE_SIZEALIGN;
 347                 __pci_read_base(dev, pci_bar_mem32, res, rom);
 348         }
 349 }
 350
 351 void __devinit pci_read_bridge_bases(struct pci_bus *child)
 352 {
 353         struct pci_dev *dev = child->self;
 354         u8 io_base_lo, io_limit_lo;
 355         u16 mem_base_lo, mem_limit_lo;
 356         unsigned long base, limit;
 357         struct resource *res;
 358         int i;
 359
 360         if (!dev)               /* It's a host bus, nothing to read */
 361                 return;
 362
 363         if (dev->transparent) {
 364                 dev_info(&dev->dev, "transparent bridge\n");
 365                 for(i = 3; i < PCI_BUS_NUM_RESOURCES; i++)
 366                         child->resource[i] = child->parent->resource[i - 3];
 367         }
 368
 369         for(i=0; i<3; i++)
 370                 child->resource[i] = &dev->resource[PCI_BRIDGE_RESOURCES+i];
 371
 372         res = child->resource[0];
 373         pci_read_config_byte(dev, PCI_IO_BASE, &io_base_lo);
 374         pci_read_config_byte(dev, PCI_IO_LIMIT, &io_limit_lo);
 375         base = (io_base_lo & PCI_IO_RANGE_MASK) << 8;
 376         limit = (io_limit_lo & PCI_IO_RANGE_MASK) << 8;
 377
 378         if ((io_base_lo & PCI_IO_RANGE_TYPE_MASK) == PCI_IO_RANGE_TYPE_32) {
 379                 u16 io_base_hi, io_limit_hi;
 380                 pci_read_config_word(dev, PCI_IO_BASE_UPPER16, &io_base_hi);
 381                 pci_read_config_word(dev, PCI_IO_LIMIT_UPPER16, &io_limit_hi);
 382                 base |= (io_base_hi << 16);
 383                 limit |= (io_limit_hi << 16);
 384         }
 385
 386         if (base <= limit) {
 387                 res->flags = (io_base_lo & PCI_IO_RANGE_TYPE_MASK) | IORESOURCE_IO;
 388                 if (!res->start)
 389                         res->start = base;
 390                 if (!res->end)
 391                         res->end = limit + 0xfff;
 392                 printk(KERN_DEBUG "PCI: bridge %s io port: [%llx, %llx]\n",
 393                         pci_name(dev), (unsigned long long) res->start,
 394                         (unsigned long long) res->end);
 395         }
 396
 397         res = child->resource[1];
 398         pci_read_config_word(dev, PCI_MEMORY_BASE, &mem_base_lo);
 399         pci_read_config_word(dev, PCI_MEMORY_LIMIT, &mem_limit_lo);
 400         base = (mem_base_lo & PCI_MEMORY_RANGE_MASK) << 16;
 401         limit = (mem_limit_lo & PCI_MEMORY_RANGE_MASK) << 16;
 402         if (base <= limit) {
 403                 res->flags = (mem_base_lo & PCI_MEMORY_RANGE_TYPE_MASK) | IORESOURCE_MEM;
 404                 res->start = base;
 405                 res->end = limit + 0xfffff;
 406                 printk(KERN_DEBUG "PCI: bridge %s 32bit mmio: [%llx, %llx]\n",
 407                         pci_name(dev), (unsigned long long) res->start,
 408                         (unsigned long long) res->end);
 409         }
 410
 411         res = child->resource[2];
 412         pci_read_config_word(dev, PCI_PREF_MEMORY_BASE, &mem_base_lo);
 413         pci_read_config_word(dev, PCI_PREF_MEMORY_LIMIT, &mem_limit_lo);
 414         base = (mem_base_lo & PCI_PREF_RANGE_MASK) << 16;
 415         limit = (mem_limit_lo & PCI_PREF_RANGE_MASK) << 16;
 416
 417         if ((mem_base_lo & PCI_PREF_RANGE_TYPE_MASK) == PCI_PREF_RANGE_TYPE_64) {
 418                 u32 mem_base_hi, mem_limit_hi;
 419                 pci_read_config_dword(dev, PCI_PREF_BASE_UPPER32, &mem_base_hi);
 420                 pci_read_config_dword(dev, PCI_PREF_LIMIT_UPPER32, &mem_limit_hi);
 421
 422                 /*
 423                  * Some bridges set the base > limit by default, and some
 424                  * (broken) BIOSes do not initialize them.  If we find
 425                  * this, just assume they are not being used.
 426                  */
 427                 if (mem_base_hi <= mem_limit_hi) {
 428 #if BITS_PER_LONG == 64
 429                         base |= ((long) mem_base_hi) << 32;
 430                         limit |= ((long) mem_limit_hi) << 32;
 431 #else
 432                         if (mem_base_hi || mem_limit_hi) {
 433                                 dev_err(&dev->dev, "can't handle 64-bit "
 434                                         "address space for bridge\n");
 435                                 return;
 436                         }
 437 #endif
 438                 }
 439         }
 440         if (base <= limit) {
 441                 res->flags = (mem_base_lo & PCI_MEMORY_RANGE_TYPE_MASK) | IORESOURCE_MEM | IORESOURCE_PREFETCH;
 442                 res->start = base;
 443                 res->end = limit + 0xfffff;
 444                 printk(KERN_DEBUG "PCI: bridge %s %sbit mmio pref: [%llx, %llx]\n",
 445                         pci_name(dev), (res->flags & PCI_PREF_RANGE_TYPE_64) ? "64" : "32",
 446                         (unsigned long long) res->start, (unsigned long long) res->end);
 447         }
 448 }
 449
 450 static struct pci_bus * pci_alloc_bus(void)
 451 {
 452         struct pci_bus *b;
 453
 454         b = kzalloc(sizeof(*b), GFP_KERNEL);
 455         if (b) {
 456                 INIT_LIST_HEAD(&b->node);
 457                 INIT_LIST_HEAD(&b->children);
 458                 INIT_LIST_HEAD(&b->devices);
 459                 INIT_LIST_HEAD(&b->slots);
 460         }
 461         return b;
 462 }
 463
 464 static struct pci_bus *pci_alloc_child_bus(struct pci_bus *parent,
 465                                            struct pci_dev *bridge, int busnr)
 466 {
 467         struct pci_bus *child;
 468         int i;
 469
 470         /*
 471          * Allocate a new bus, and inherit stuff from the parent..
 472          */
 473         child = pci_alloc_bus();
 474         if (!child)
 475                 return NULL;
 476
 477         child->self = bridge;
 478         child->parent = parent;
 479         child->ops = parent->ops;
 480         child->sysdata = parent->sysdata;
 481         child->bus_flags = parent->bus_flags;
 482         child->bridge = get_device(&bridge->dev);
 483
 484         /* initialize some portions of the bus device, but don't register it
 485          * now as the parent is not properly set up yet.  This device will get
 486          * registered later in pci_bus_add_devices()
 487          */
 488         child->dev.class = &pcibus_class;
 489         sprintf(child->dev.bus_id, "%04x:%02x", pci_domain_nr(child), busnr);
 490
 491         /*
 492          * Set up the primary, secondary and subordinate
 493          * bus numbers.
 494          */
 495         child->number = child->secondary = busnr;
 496         child->primary = parent->secondary;
 497         child->subordinate = 0xff;
 498
 499         /* Set up default resource pointers and names.. */
 500         for (i = 0; i < 4; i++) {
 501                 child->resource[i] = &bridge->resource[PCI_BRIDGE_RESOURCES+i];
 502                 child->resource[i]->name = child->name;
 503         }
 504         bridge->subordinate = child;
 505
 506         return child;
 507 }
 508
 509 struct pci_bus *__ref pci_add_new_bus(struct pci_bus *parent, struct pci_dev *dev, int busnr)
 510 {
 511         struct pci_bus *child;
 512
 513         child = pci_alloc_child_bus(parent, dev, busnr);
 514         if (child) {
 515                 down_write(&pci_bus_sem);
 516                 list_add_tail(&child->node, &parent->children);
 517                 up_write(&pci_bus_sem);
 518         }
 519         return child;
 520 }
 521
 522 static void pci_fixup_parent_subordinate_busnr(struct pci_bus *child, int max)
 523 {
 524         struct pci_bus *parent = child->parent;
 525
 526         /* Attempts to fix that up are really dangerous unless
 527            we're going to re-assign all bus numbers. */
 528         if (!pcibios_assign_all_busses())
 529                 return;
 530
 531         while (parent->parent && parent->subordinate < max) {
 532                 parent->subordinate = max;
 533                 pci_write_config_byte(parent->self, PCI_SUBORDINATE_BUS, max);
 534                 parent = parent->parent;
 535         }
 536 }
 537
 538 /*
 539  * If it's a bridge, configure it and scan the bus behind it.
 540  * For CardBus bridges, we don't scan behind as the devices will
 541  * be handled by the bridge driver itself.
 542  *
 543  * We need to process bridges in two passes -- first we scan those
 544  * already configured by the BIOS and after we are done with all of
 545  * them, we proceed to assigning numbers to the remaining buses in
 546  * order to avoid overlaps between old and new bus numbers.
 547  */
 548 int __devinit pci_scan_bridge(struct pci_bus *bus, struct pci_dev *dev, int max, int pass)
 549 {
 550         struct pci_bus *child;
 551         int is_cardbus = (dev->hdr_type == PCI_HEADER_TYPE_CARDBUS);
 552         u32 buses, i, j = 0;
 553         u16 bctl;
 554
 555         pci_read_config_dword(dev, PCI_PRIMARY_BUS, &buses);
 556
 557         dev_dbg(&dev->dev, "scanning behind bridge, config %06x, pass %d\n",
 558                 buses & 0xffffff, pass);
 559
 560         /* Disable MasterAbortMode during probing to avoid reporting
 561            of bus errors (in some architectures) */
 562         pci_read_config_word(dev, PCI_BRIDGE_CONTROL, &bctl);
 563         pci_write_config_word(dev, PCI_BRIDGE_CONTROL,
 564                               bctl & ~PCI_BRIDGE_CTL_MASTER_ABORT);
 565
 566         if ((buses & 0xffff00) && !pcibios_assign_all_busses() && !is_cardbus) {
 567                 unsigned int cmax, busnr;
 568                 /*
 569                  * Bus already configured by firmware, process it in the first
 570                  * pass and just note the configuration.
 571                  */
 572                 if (pass)
 573                         goto out;
 574                 busnr = (buses >> 8) & 0xFF;
 575
 576                 /*
 577                  * If we already got to this bus through a different bridge,
 578                  * ignore it.  This can happen with the i450NX chipset.
 579                  */
 580                 if (pci_find_bus(pci_domain_nr(bus), busnr)) {
 581                         dev_info(&dev->dev, "bus %04x:%02x already known\n",
 582                                  pci_domain_nr(bus), busnr);
 583                         goto out;
 584                 }
 585
 586                 child = pci_add_new_bus(bus, dev, busnr);
 587                 if (!child)
 588                         goto out;
 589                 child->primary = buses & 0xFF;
 590                 child->subordinate = (buses >> 16) & 0xFF;
 591                 child->bridge_ctl = bctl;
 592
 593                 cmax = pci_scan_child_bus(child);
 594                 if (cmax > max)
 595                         max = cmax;
 596                 if (child->subordinate > max)
 597                         max = child->subordinate;
 598         } else {
 599                 /*
 600                  * We need to assign a number to this bus which we always
 601                  * do in the second pass.
 602                  */
 603                 if (!pass) {
 604                         if (pcibios_assign_all_busses())
 605                                 /* Temporarily disable forwarding of the
 606                                    configuration cycles on all bridges in
 607                                    this bus segment to avoid possible
 608                                    conflicts in the second pass between two
 609                                    bridges programmed with overlapping
 610                                    bus ranges. */
 611                                 pci_write_config_dword(dev, PCI_PRIMARY_BUS,
 612                                                        buses & ~0xffffff);
 613                         goto out;
 614                 }
 615
 616                 /* Clear errors */
 617                 pci_write_config_word(dev, PCI_STATUS, 0xffff);
 618
 619                 /* Prevent assigning a bus number that already exists.
 620                  * This can happen when a bridge is hot-plugged */
 621                 if (pci_find_bus(pci_domain_nr(bus), max+1))
 622                         goto out;
 623                 child = pci_add_new_bus(bus, dev, ++max);
 624                 buses = (buses & 0xff000000)
 625                       | ((unsigned int)(child->primary)     <<  0)
 626                       | ((unsigned int)(child->secondary)   <<  8)
 627                       | ((unsigned int)(child->subordinate) << 16);
 628
 629                 /*
 630                  * yenta.c forces a secondary latency timer of 176.
 631                  * Copy that behaviour here.
 632                  */
 633                 if (is_cardbus) {
 634                         buses &= ~0xff000000;
 635                         buses |= CARDBUS_LATENCY_TIMER << 24;
 636                 }
 637
 638                 /*
 639                  * We need to blast all three values with a single write.
 640                  */
 641                 pci_write_config_dword(dev, PCI_PRIMARY_BUS, buses);
 642
 643                 if (!is_cardbus) {
 644                         child->bridge_ctl = bctl;
 645                         /*
 646                          * Adjust subordinate busnr in parent buses.
 647                          * We do this before scanning for children because
 648                          * some devices may not be detected if the bios
 649                          * was lazy.
 650                          */
 651                         pci_fixup_parent_subordinate_busnr(child, max);
 652                         /* Now we can scan all subordinate buses... */
 653                         max = pci_scan_child_bus(child);
 654                         /*
 655                          * now fix it up again since we have found
 656                          * the real value of max.
 657                          */
 658                         pci_fixup_parent_subordinate_busnr(child, max);
 659                 } else {
 660                         /*
 661                          * For CardBus bridges, we leave 4 bus numbers
 662                          * as cards with a PCI-to-PCI bridge can be
 663                          * inserted later.
 664                          */
 665                         for (i=0; i<CARDBUS_RESERVE_BUSNR; i++) {
 666                                 struct pci_bus *parent = bus;
 667                                 if (pci_find_bus(pci_domain_nr(bus),
 668                                                         max+i+1))
 669                                         break;
 670                                 while (parent->parent) {
 671                                         if ((!pcibios_assign_all_busses()) &&
 672                                             (parent->subordinate > max) &&
 673                                             (parent->subordinate <= max+i)) {
 674                                                 j = 1;
 675                                         }
 676                                         parent = parent->parent;
 677                                 }
 678                                 if (j) {
 679                                         /*
 680                                          * Often, there are two cardbus bridges
 681                                          * -- try to leave one valid bus number
 682                                          * for each one.
 683                                          */
 684                                         i /= 2;
 685                                         break;
 686                                 }
 687                         }
 688                         max += i;
 689                         pci_fixup_parent_subordinate_busnr(child, max);
 690                 }
 691                 /*
 692                  * Set the subordinate bus number to its real value.
 693                  */
 694                 child->subordinate = max;
 695                 pci_write_config_byte(dev, PCI_SUBORDINATE_BUS, max);
 696         }
 697
 698         sprintf(child->name,
 699                 (is_cardbus ? "PCI CardBus %04x:%02x" : "PCI Bus %04x:%02x"),
 700                 pci_domain_nr(bus), child->number);
 701
 702         /* Has only triggered on CardBus, fixup is in yenta_socket */
 703         while (bus->parent) {
 704                 if ((child->subordinate > bus->subordinate) ||
 705                     (child->number > bus->subordinate) ||
 706                     (child->number < bus->number) ||
 707                     (child->subordinate < bus->number)) {
 708                         pr_debug("PCI: Bus #%02x (-#%02x) is %s "
 709                                 "hidden behind%s bridge #%02x (-#%02x)\n",
 710                                 child->number, child->subordinate,
 711                                 (bus->number > child->subordinate &&
 712                                  bus->subordinate < child->number) ?
 713                                         "wholly" : "partially",
 714                                 bus->self->transparent ? " transparent" : "",
 715                                 bus->number, bus->subordinate);
 716                 }
 717                 bus = bus->parent;
 718         }
 719
 720 out:
 721         pci_write_config_word(dev, PCI_BRIDGE_CONTROL, bctl);
 722
 723         return max;
 724 }
 725
 726 /*
 727  * Read interrupt line and base address registers.
 728  * The architecture-dependent code can tweak these, of course.
 729  */
 730 static void pci_read_irq(struct pci_dev *dev)
 731 {
 732         unsigned char irq;
 733
 734         pci_read_config_byte(dev, PCI_INTERRUPT_PIN, &irq);
 735         dev->pin = irq;
 736         if (irq)
 737                 pci_read_config_byte(dev, PCI_INTERRUPT_LINE, &irq);
 738         dev->irq = irq;
 739 }
 740
 741 #define LEGACY_IO_RESOURCE      (IORESOURCE_IO | IORESOURCE_PCI_FIXED)
 742
 743 /**
 744  * pci_setup_device - fill in class and map information of a device
 745  * @dev: the device structure to fill
 746  *
 747  * Initialize the device structure with information about the device's
 748  * vendor,class,memory and IO-space addresses,IRQ lines etc.
 749  * Called at initialisation of the PCI subsystem and by CardBus services.
 750  * Returns 0 on success and -1 if unknown type of device (not normal, bridge
 751  * or CardBus).
 752  */
 753 static int pci_setup_device(struct pci_dev * dev)
 754 {
 755         u32 class;
 756
 757         dev_set_name(&dev->dev, "%04x:%02x:%02x.%d", pci_domain_nr(dev->bus),
 758                      dev->bus->number, PCI_SLOT(dev->devfn),
 759                      PCI_FUNC(dev->devfn));
 760
 761         pci_read_config_dword(dev, PCI_CLASS_REVISION, &class);
 762         dev->revision = class & 0xff;
 763         class >>= 8;                                /* upper 3 bytes */
 764         dev->class = class;
 765         class >>= 8;
 766
 767         dev_dbg(&dev->dev, "found [%04x/%04x] class %06x header type %02x\n",
 768                  dev->vendor, dev->device, class, dev->hdr_type);
 769
 770         /* "Unknown power state" */
 771         dev->current_state = PCI_UNKNOWN;
 772
 773         /* Early fixups, before probing the BARs */
 774         pci_fixup_device(pci_fixup_early, dev);
 775         class = dev->class >> 8;
 776
 777         switch (dev->hdr_type) {                    /* header type */
 778         case PCI_HEADER_TYPE_NORMAL:                /* standard header */
 779                 if (class == PCI_CLASS_BRIDGE_PCI)
 780                         goto bad;
 781                 pci_read_irq(dev);
 782                 pci_read_bases(dev, 6, PCI_ROM_ADDRESS);
 783                 pci_read_config_word(dev, PCI_SUBSYSTEM_VENDOR_ID, &dev->subsystem_vendor);
 784                 pci_read_config_word(dev, PCI_SUBSYSTEM_ID, &dev->subsystem_device);
 785
 786                 /*
 787                  *      Do the ugly legacy mode stuff here rather than broken chip
 788                  *      quirk code. Legacy mode ATA controllers have fixed
 789                  *      addresses. These are not always echoed in BAR0-3, and
 790                  *      BAR0-3 in a few cases contain junk!
 791                  */
 792                 if (class == PCI_CLASS_STORAGE_IDE) {
 793                         u8 progif;
 794                         pci_read_config_byte(dev, PCI_CLASS_PROG, &progif);
 795                         if ((progif & 1) == 0) {
 796                                 dev->resource[0].start = 0x1F0;
 797                                 dev->resource[0].end = 0x1F7;
 798                                 dev->resource[0].flags = LEGACY_IO_RESOURCE;
 799                                 dev->resource[1].start = 0x3F6;
 800                                 dev->resource[1].end = 0x3F6;
 801                                 dev->resource[1].flags = LEGACY_IO_RESOURCE;
 802                         }
 803                         if ((progif & 4) == 0) {
 804                                 dev->resource[2].start = 0x170;
 805                                 dev->resource[2].end = 0x177;
 806                                 dev->resource[2].flags = LEGACY_IO_RESOURCE;
 807                                 dev->resource[3].start = 0x376;
 808                                 dev->resource[3].end = 0x376;
 809                                 dev->resource[3].flags = LEGACY_IO_RESOURCE;
 810                         }
 811                 }
 812                 break;
 813
 814         case PCI_HEADER_TYPE_BRIDGE:                /* bridge header */
 815                 if (class != PCI_CLASS_BRIDGE_PCI)
 816                         goto bad;
 817                 /* The PCI-to-PCI bridge spec requires that subtractive
 818                    decoding (i.e. transparent) bridge must have programming
 819                    interface code of 0x01. */
 820                 pci_read_irq(dev);
 821                 dev->transparent = ((dev->class & 0xff) == 1);
 822                 pci_read_bases(dev, 2, PCI_ROM_ADDRESS1);
 823                 break;
 824
 825         case PCI_HEADER_TYPE_CARDBUS:               /* CardBus bridge header */
 826                 if (class != PCI_CLASS_BRIDGE_CARDBUS)
 827                         goto bad;
 828                 pci_read_irq(dev);
 829                 pci_read_bases(dev, 1, 0);
 830                 pci_read_config_word(dev, PCI_CB_SUBSYSTEM_VENDOR_ID, &dev->subsystem_vendor);
 831                 pci_read_config_word(dev, PCI_CB_SUBSYSTEM_ID, &dev->subsystem_device);
 832                 break;
 833
 834         default:                                    /* unknown header */
 835                 dev_err(&dev->dev, "unknown header type %02x, "
 836                         "ignoring device\n", dev->hdr_type);
 837                 return -1;
 838
 839         bad:
 840                 dev_err(&dev->dev, "ignoring class %02x (doesn't match header "
 841                         "type %02x)\n", class, dev->hdr_type);
 842                 dev->class = PCI_CLASS_NOT_DEFINED;
 843         }
 844
 845         /* We found a fine healthy device, go go go... */
 846         return 0;
 847 }
 848
 849 /**
 850  * pci_release_dev - free a pci device structure when all users of it are finished.
 851  * @dev: device that's been disconnected
 852  *
 853  * Will be called only by the device core when all users of this pci device are
 854  * done.
 855  */
 856 static void pci_release_dev(struct device *dev)
 857 {
 858         struct pci_dev *pci_dev;
 859
 860         pci_dev = to_pci_dev(dev);
 861         pci_vpd_release(pci_dev);
 862         kfree(pci_dev);
 863 }
 864
 865 static void set_pcie_port_type(struct pci_dev *pdev)
 866 {
 867         int pos;
 868         u16 reg16;
 869
 870         pos = pci_find_capability(pdev, PCI_CAP_ID_EXP);
 871         if (!pos)
 872                 return;
 873         pdev->is_pcie = 1;
 874         pci_read_config_word(pdev, pos + PCI_EXP_FLAGS, &reg16);
 875         pdev->pcie_type = (reg16 & PCI_EXP_FLAGS_TYPE) >> 4;
 876 }
 877
 878 /**
 879  * pci_cfg_space_size - get the configuration space size of the PCI device.
 880  * @dev: PCI device
 881  *
 882  * Regular PCI devices have 256 bytes, but PCI-X 2 and PCI Express devices
 883  * have 4096 bytes.  Even if the device is capable, that doesn't mean we can
 884  * access it.  Maybe we don't have a way to generate extended config space
 885  * accesses, or the device is behind a reverse Express bridge.  So we try
 886  * reading the dword at 0x100 which must either be 0 or a valid extended
 887  * capability header.
 888  */
 889 int pci_cfg_space_size_ext(struct pci_dev *dev)
 890 {
 891         u32 status;
 892
 893         if (pci_read_config_dword(dev, 256, &status) != PCIBIOS_SUCCESSFUL)
 894                 goto fail;
 895         if (status == 0xffffffff)
 896                 goto fail;
 897
 898         return PCI_CFG_SPACE_EXP_SIZE;
 899
 900  fail:
 901         return PCI_CFG_SPACE_SIZE;
 902 }
 903
 904 int pci_cfg_space_size(struct pci_dev *dev)
 905 {
 906         int pos;
 907         u32 status;
 908
 909         pos = pci_find_capability(dev, PCI_CAP_ID_EXP);
 910         if (!pos) {
 911                 pos = pci_find_capability(dev, PCI_CAP_ID_PCIX);
 912                 if (!pos)
 913                         goto fail;
 914
 915                 pci_read_config_dword(dev, pos + PCI_X_STATUS, &status);
 916                 if (!(status & (PCI_X_STATUS_266MHZ | PCI_X_STATUS_533MHZ)))
 917                         goto fail;
 918         }
 919
 920         return pci_cfg_space_size_ext(dev);
 921
 922  fail:
 923         return PCI_CFG_SPACE_SIZE;
 924 }
 925
 926 static void pci_release_bus_bridge_dev(struct device *dev)
 927 {
 928         kfree(dev);
 929 }
 930
 931 struct pci_dev *alloc_pci_dev(void)
 932 {
 933         struct pci_dev *dev;
 934
 935         dev = kzalloc(sizeof(struct pci_dev), GFP_KERNEL);
 936         if (!dev)
 937                 return NULL;
 938
 939         INIT_LIST_HEAD(&dev->bus_list);
 940
 941         pci_msi_init_pci_dev(dev);
 942
 943         return dev;
 944 }
 945 EXPORT_SYMBOL(alloc_pci_dev);
 946
 947 /*
 948  * Read the config data for a PCI device, sanity-check it
 949  * and fill in the dev structure...
 950  */
 951 static struct pci_dev *pci_scan_device(struct pci_bus *bus, int devfn)
 952 {
 953         struct pci_dev *dev;
 954         u32 l;
 955         u8 hdr_type;
 956         int delay = 1;
 957
 958         if (pci_bus_read_config_dword(bus, devfn, PCI_VENDOR_ID, &l))
 959                 return NULL;
 960
 961         /* some broken boards return 0 or ~0 if a slot is empty: */
 962         if (l == 0xffffffff || l == 0x00000000 ||
 963             l == 0x0000ffff || l == 0xffff0000)
 964                 return NULL;
 965
 966         /* Configuration request Retry Status */
 967         while (l == 0xffff0001) {
 968                 msleep(delay);
 969                 delay *= 2;
 970                 if (pci_bus_read_config_dword(bus, devfn, PCI_VENDOR_ID, &l))
 971                         return NULL;
 972                 /* Card hasn't responded in 60 seconds?  Must be stuck. */
 973                 if (delay > 60 * 1000) {
 974                         printk(KERN_WARNING "pci %04x:%02x:%02x.%d: not "
 975                                         "responding\n", pci_domain_nr(bus),
 976                                         bus->number, PCI_SLOT(devfn),
 977                                         PCI_FUNC(devfn));
 978                         return NULL;
 979                 }
 980         }
 981
 982         if (pci_bus_read_config_byte(bus, devfn, PCI_HEADER_TYPE, &hdr_type))
 983                 return NULL;
 984
 985         dev = alloc_pci_dev();
 986         if (!dev)
 987                 return NULL;
 988
 989         dev->bus = bus;
 990         dev->sysdata = bus->sysdata;
 991         dev->dev.parent = bus->bridge;
 992         dev->dev.bus = &pci_bus_type;
 993         dev->devfn = devfn;
 994         dev->hdr_type = hdr_type & 0x7f;
 995         dev->multifunction = !!(hdr_type & 0x80);
 996         dev->vendor = l & 0xffff;
 997         dev->device = (l >> 16) & 0xffff;
 998         dev->cfg_size = pci_cfg_space_size(dev);
 999         dev->error_state = pci_channel_io_normal;
1000         set_pcie_port_type(dev);
1001
1002         /* Assume 32-bit PCI; let 64-bit PCI cards (which are far rarer)
1003            set this higher, assuming the system even supports it.  */
1004         dev->dma_mask = 0xffffffff;
1005         if (pci_setup_device(dev) < 0) {
1006                 kfree(dev);
1007                 return NULL;
1008         }
1009
1010         pci_vpd_pci22_init(dev);
1011
1012         return dev;
1013 }
1014
1015 void pci_device_add(struct pci_dev *dev, struct pci_bus *bus)
1016 {
1017         device_initialize(&dev->dev);
1018         dev->dev.release = pci_release_dev;
1019         pci_dev_get(dev);
1020
1021         dev->dev.dma_mask = &dev->dma_mask;
1022         dev->dev.dma_parms = &dev->dma_parms;
1023         dev->dev.coherent_dma_mask = 0xffffffffull;
1024
1025         pci_set_dma_max_seg_size(dev, 65536);
1026         pci_set_dma_seg_boundary(dev, 0xffffffff);
1027
1028         /* Fix up broken headers */
1029         pci_fixup_device(pci_fixup_header, dev);
1030
1031         /* Initialize power management of the device */
1032         pci_pm_init(dev);
1033
1034         /*
1035          * Add the device to our list of discovered devices
1036          * and the bus list for fixup functions, etc.
1037          */
1038         down_write(&pci_bus_sem);
1039         list_add_tail(&dev->bus_list, &bus->devices);
1040         up_write(&pci_bus_sem);
1041 }
1042
1043 struct pci_dev *__ref pci_scan_single_device(struct pci_bus *bus, int devfn)
1044 {
1045         struct pci_dev *dev;
1046
1047         dev = pci_scan_device(bus, devfn);
1048         if (!dev)
1049                 return NULL;
1050
1051         pci_device_add(dev, bus);
1052
1053         return dev;
1054 }
1055 EXPORT_SYMBOL(pci_scan_single_device);
1056
1057 /**
1058  * pci_scan_slot - scan a PCI slot on a bus for devices.
1059  * @bus: PCI bus to scan
1060  * @devfn: slot number to scan (must have zero function.)
1061  *
1062  * Scan a PCI slot on the specified PCI bus for devices, adding
1063  * discovered devices to the @bus->devices list.  New devices
1064  * will not have is_added set.
1065  */
1066 int pci_scan_slot(struct pci_bus *bus, int devfn)
1067 {
1068         int func, nr = 0;
1069         int scan_all_fns;
1070
1071         scan_all_fns = pcibios_scan_all_fns(bus, devfn);
1072
1073         for (func = 0; func < 8; func++, devfn++) {
1074                 struct pci_dev *dev;
1075
1076                 dev = pci_scan_single_device(bus, devfn);
1077                 if (dev) {
1078                         nr++;
1079
1080                         /*
1081                          * If this is a single function device,
1082                          * don't scan past the first function.
1083                          */
1084                         if (!dev->multifunction) {
1085                                 if (func > 0) {
1086                                         dev->multifunction = 1;
1087                                 } else {
1088                                         break;
1089                                 }
1090                         }
1091                 } else {
1092                         if (func == 0 && !scan_all_fns)
1093                                 break;
1094                 }
1095         }
1096
1097         /* only one slot has pcie device */
1098         if (bus->self && nr)
1099                 pcie_aspm_init_link_state(bus->self);
1100
1101         return nr;
1102 }
1103
1104 unsigned int __devinit pci_scan_child_bus(struct pci_bus *bus)
1105 {
1106         unsigned int devfn, pass, max = bus->secondary;
1107         struct pci_dev *dev;
1108
1109         pr_debug("PCI: Scanning bus %04x:%02x\n", pci_domain_nr(bus), bus->number);
1110
1111         /* Go find them, Rover! */
1112         for (devfn = 0; devfn < 0x100; devfn += 8)
1113                 pci_scan_slot(bus, devfn);
1114
1115         /*
1116          * After performing arch-dependent fixup of the bus, look behind
1117          * all PCI-to-PCI bridges on this bus.
1118          */
1119         pr_debug("PCI: Fixups for bus %04x:%02x\n", pci_domain_nr(bus), bus->number);
1120         pcibios_fixup_bus(bus);
1121         for (pass=0; pass < 2; pass++)
1122                 list_for_each_entry(dev, &bus->devices, bus_list) {
1123                         if (dev->hdr_type == PCI_HEADER_TYPE_BRIDGE ||
1124                             dev->hdr_type == PCI_HEADER_TYPE_CARDBUS)
1125                                 max = pci_scan_bridge(bus, dev, max, pass);
1126                 }
1127
1128         /*
1129          * We've scanned the bus and so we know all about what's on
1130          * the other side of any bridges that may be on this bus plus
1131          * any devices.
1132          *
1133          * Return how far we've got finding sub-buses.
1134          */
1135         pr_debug("PCI: Bus scan for %04x:%02x returning with max=%02x\n",
1136                 pci_domain_nr(bus), bus->number, max);
1137         return max;
1138 }
1139
1140 void __attribute__((weak)) set_pci_bus_resources_arch_default(struct pci_bus *b)
1141 {
1142 }
1143
1144 struct pci_bus * pci_create_bus(struct device *parent,
1145                 int bus, struct pci_ops *ops, void *sysdata)
1146 {
1147         int error;
1148         struct pci_bus *b;
1149         struct device *dev;
1150
1151         b = pci_alloc_bus();
1152         if (!b)
1153                 return NULL;
1154
1155         dev = kmalloc(sizeof(*dev), GFP_KERNEL);
1156         if (!dev){
1157                 kfree(b);
1158                 return NULL;
1159         }
1160
1161         b->sysdata = sysdata;
1162         b->ops = ops;
1163
1164         if (pci_find_bus(pci_domain_nr(b), bus)) {
1165                 /* If we already got to this bus through a different bridge, ignore it */
1166                 pr_debug("PCI: Bus %04x:%02x already known\n", pci_domain_nr(b), bus);
1167                 goto err_out;
1168         }
1169
1170         down_write(&pci_bus_sem);
1171         list_add_tail(&b->node, &pci_root_buses);
1172         up_write(&pci_bus_sem);
1173
1174         memset(dev, 0, sizeof(*dev));
1175         dev->parent = parent;
1176         dev->release = pci_release_bus_bridge_dev;
1177         sprintf(dev->bus_id, "pci%04x:%02x", pci_domain_nr(b), bus);
1178         error = device_register(dev);
1179         if (error)
1180                 goto dev_reg_err;
1181         b->bridge = get_device(dev);
1182
1183         if (!parent)
1184                 set_dev_node(b->bridge, pcibus_to_node(b));
1185
1186         b->dev.class = &pcibus_class;
1187         b->dev.parent = b->bridge;
1188         sprintf(b->dev.bus_id, "%04x:%02x", pci_domain_nr(b), bus);
1189         error = device_register(&b->dev);
1190         if (error)
1191                 goto class_dev_reg_err;
1192         error = device_create_file(&b->dev, &dev_attr_cpuaffinity);
1193         if (error)
1194                 goto dev_create_file_err;
1195
1196         /* Create legacy_io and legacy_mem files for this bus */
1197         pci_create_legacy_files(b);
1198
1199         b->number = b->secondary = bus;
1200         b->resource[0] = &ioport_resource;
1201         b->resource[1] = &iomem_resource;
1202
1203         set_pci_bus_resources_arch_default(b);
1204
1205         return b;
1206
1207 dev_create_file_err:
1208         device_unregister(&b->dev);
1209 class_dev_reg_err:
1210         device_unregister(dev);
1211 dev_reg_err:
1212         down_write(&pci_bus_sem);
1213         list_del(&b->node);
1214         up_write(&pci_bus_sem);
1215 err_out:
1216         kfree(dev);
1217         kfree(b);
1218         return NULL;
1219 }
1220
1221 struct pci_bus * __devinit pci_scan_bus_parented(struct device *parent,
1222                 int bus, struct pci_ops *ops, void *sysdata)
1223 {
1224         struct pci_bus *b;
1225
1226         b = pci_create_bus(parent, bus, ops, sysdata);
1227         if (b)
1228                 b->subordinate = pci_scan_child_bus(b);
1229         return b;
1230 }
1231 EXPORT_SYMBOL(pci_scan_bus_parented);
1232
1233 #ifdef CONFIG_HOTPLUG
1234 EXPORT_SYMBOL(pci_add_new_bus);
1235 EXPORT_SYMBOL(pci_scan_slot);
1236 EXPORT_SYMBOL(pci_scan_bridge);
1237 EXPORT_SYMBOL_GPL(pci_scan_child_bus);
1238 #endif
1239
1240 static int __init pci_sort_bf_cmp(const struct pci_dev *a, const struct pci_dev *b)
1241 {
1242         if      (pci_domain_nr(a->bus) < pci_domain_nr(b->bus)) return -1;
1243         else if (pci_domain_nr(a->bus) > pci_domain_nr(b->bus)) return  1;
1244
1245         if      (a->bus->number < b->bus->number) return -1;
1246         else if (a->bus->number > b->bus->number) return  1;
1247
1248         if      (a->devfn < b->devfn) return -1;
1249         else if (a->devfn > b->devfn) return  1;
1250
1251         return 0;
1252 }
1253
1254 /*
1255  * Yes, this forcably breaks the klist abstraction temporarily.  It
1256  * just wants to sort the klist, not change reference counts and
1257  * take/drop locks rapidly in the process.  It does all this while
1258  * holding the lock for the list, so objects can't otherwise be
1259  * added/removed while we're swizzling.
1260  */
1261 static void __init pci_insertion_sort_klist(struct pci_dev *a, struct list_head *list)
1262 {
1263         struct list_head *pos;
1264         struct klist_node *n;
1265         struct device *dev;
1266         struct pci_dev *b;
1267
1268         list_for_each(pos, list) {
1269                 n = container_of(pos, struct klist_node, n_node);
1270                 dev = container_of(n, struct device, knode_bus);
1271                 b = to_pci_dev(dev);
1272                 if (pci_sort_bf_cmp(a, b) <= 0) {
1273                         list_move_tail(&a->dev.knode_bus.n_node, &b->dev.knode_bus.n_node);
1274                         return;
1275                 }
1276         }
1277         list_move_tail(&a->dev.knode_bus.n_node, list);
1278 }
1279
1280 void __init pci_sort_breadthfirst(void)
1281 {
1282         LIST_HEAD(sorted_devices);
1283         struct list_head *pos, *tmp;
1284         struct klist_node *n;
1285         struct device *dev;
1286         struct pci_dev *pdev;
1287         struct klist *device_klist;
1288
1289         device_klist = bus_get_device_klist(&pci_bus_type);
1290
1291         spin_lock(&device_klist->k_lock);
1292         list_for_each_safe(pos, tmp, &device_klist->k_list) {
1293                 n = container_of(pos, struct klist_node, n_node);
1294                 dev = container_of(n, struct device, knode_bus);
1295                 pdev = to_pci_dev(dev);
1296                 pci_insertion_sort_klist(pdev, &sorted_devices);
1297         }
1298         list_splice(&sorted_devices, &device_klist->k_list);
1299         spin_unlock(&device_klist->k_lock);
1300 }