arch/i386/kernel/time.c

   1 /*
   2  *  linux/arch/i386/kernel/time.c
   3  *
   4  *  Copyright (C) 1991, 1992, 1995  Linus Torvalds
   5  *
   6  * This file contains the PC-specific time handling details:
   7  * reading the RTC at bootup, etc..
   8  * 1994-07-02    Alan Modra
   9  *      fixed set_rtc_mmss, fixed time.year for >= 2000, new mktime
  10  * 1995-03-26    Markus Kuhn
  11  *      fixed 500 ms bug at call to set_rtc_mmss, fixed DS12887
  12  *      precision CMOS clock update
  13  * 1996-05-03    Ingo Molnar
  14  *      fixed time warps in do_[slow|fast]_gettimeoffset()
  15  * 1997-09-10   Updated NTP code according to technical memorandum Jan '96
  16  *              "A Kernel Model for Precision Timekeeping" by Dave Mills
  17  * 1998-09-05    (Various)
  18  *      More robust do_fast_gettimeoffset() algorithm implemented
  19  *      (works with APM, Cyrix 6x86MX and Centaur C6),
  20  *      monotonic gettimeofday() with fast_get_timeoffset(),
  21  *      drift-proof precision TSC calibration on boot
  22  *      (C. Scott Ananian <cananian@alumni.princeton.edu>, Andrew D.
  23  *      Balsa <andrebalsa@altern.org>, Philip Gladstone <philip@raptor.com>;
  24  *      ported from 2.0.35 Jumbo-9 by Michael Krause <m.krause@tu-harburg.de>).
  25  * 1998-12-16    Andrea Arcangeli
  26  *      Fixed Jumbo-9 code in 2.1.131: do_gettimeofday was missing 1 jiffy
  27  *      because was not accounting lost_ticks.
  28  * 1998-12-24 Copyright (C) 1998  Andrea Arcangeli
  29  *      Fixed a xtime SMP race (we need the xtime_lock rw spinlock to
  30  *      serialize accesses to xtime/lost_ticks).
  31  */
  32
  33 #include <linux/errno.h>
  34 #include <linux/sched.h>
  35 #include <linux/kernel.h>
  36 #include <linux/param.h>
  37 #include <linux/string.h>
  38 #include <linux/mm.h>
  39 #include <linux/interrupt.h>
  40 #include <linux/time.h>
  41 #include <linux/delay.h>
  42 #include <linux/init.h>
  43 #include <linux/smp.h>
  44 #include <linux/module.h>
  45 #include <linux/sysdev.h>
  46 #include <linux/bcd.h>
  47 #include <linux/efi.h>
  48 #include <linux/mca.h>
  49
  50 #include <asm/io.h>
  51 #include <asm/smp.h>
  52 #include <asm/irq.h>
  53 #include <asm/msr.h>
  54 #include <asm/delay.h>
  55 #include <asm/mpspec.h>
  56 #include <asm/uaccess.h>
  57 #include <asm/processor.h>
  58 #include <asm/timer.h>
  59
  60 #include "mach_time.h"
  61
  62 #include <linux/timex.h>
  63 #include <linux/config.h>
  64
  65 #include <asm/hpet.h>
  66
  67 #include <asm/arch_hooks.h>
  68
  69 #include "io_ports.h"
  70
  71 #include <asm/i8259.h>
  72
  73 int pit_latch_buggy;              /* extern */
  74
  75 #include "do_timer.h"
  76
  77 unsigned int cpu_khz;   /* Detected as we calibrate the TSC */
  78 EXPORT_SYMBOL(cpu_khz);
  79
  80 extern unsigned long wall_jiffies;
  81
  82 DEFINE_SPINLOCK(rtc_lock);
  83 EXPORT_SYMBOL(rtc_lock);
  84
  85 struct timer_opts *cur_timer __read_mostly = &timer_none;
  86
  87 /*
  88  * This is a special lock that is owned by the CPU and holds the index
  89  * register we are working with.  It is required for NMI access to the
  90  * CMOS/RTC registers.  See include/asm-i386/mc146818rtc.h for details.
  91  */
  92 volatile unsigned long cmos_lock = 0;
  93 EXPORT_SYMBOL(cmos_lock);
  94
  95 /* Routines for accessing the CMOS RAM/RTC. */
  96 unsigned char rtc_cmos_read(unsigned char addr)
  97 {
  98         unsigned char val;
  99         lock_cmos_prefix(addr);
 100         outb_p(addr, RTC_PORT(0));
 101         val = inb_p(RTC_PORT(1));
 102         lock_cmos_suffix(addr);
 103         return val;
 104 }
 105 EXPORT_SYMBOL(rtc_cmos_read);
 106
 107 void rtc_cmos_write(unsigned char val, unsigned char addr)
 108 {
 109         lock_cmos_prefix(addr);
 110         outb_p(addr, RTC_PORT(0));
 111         outb_p(val, RTC_PORT(1));
 112         lock_cmos_suffix(addr);
 113 }
 114 EXPORT_SYMBOL(rtc_cmos_write);
 115
 116 /*
 117  * This version of gettimeofday has microsecond resolution
 118  * and better than microsecond precision on fast x86 machines with TSC.
 119  */
 120 void do_gettimeofday(struct timeval *tv)
 121 {
 122         unsigned long seq;
 123         unsigned long usec, sec;
 124         unsigned long max_ntp_tick;
 125
 126         do {
 127                 unsigned long lost;
 128
 129                 seq = read_seqbegin(&xtime_lock);
 130
 131                 usec = cur_timer->get_offset();
 132                 lost = jiffies - wall_jiffies;
 133
 134                 /*
 135                  * If time_adjust is negative then NTP is slowing the clock
 136                  * so make sure not to go into next possible interval.
 137                  * Better to lose some accuracy than have time go backwards..
 138                  */
 139                 if (unlikely(time_adjust < 0)) {
 140                         max_ntp_tick = (USEC_PER_SEC / HZ) - tickadj;
 141                         usec = min(usec, max_ntp_tick);
 142
 143                         if (lost)
 144                                 usec += lost * max_ntp_tick;
 145                 }
 146                 else if (unlikely(lost))
 147                         usec += lost * (USEC_PER_SEC / HZ);
 148
 149                 sec = xtime.tv_sec;
 150                 usec += (xtime.tv_nsec / 1000);
 151         } while (read_seqretry(&xtime_lock, seq));
 152
 153         while (usec >= 1000000) {
 154                 usec -= 1000000;
 155                 sec++;
 156         }
 157
 158         tv->tv_sec = sec;
 159         tv->tv_usec = usec;
 160 }
 161
 162 EXPORT_SYMBOL(do_gettimeofday);
 163
 164 int do_settimeofday(struct timespec *tv)
 165 {
 166         time_t wtm_sec, sec = tv->tv_sec;
 167         long wtm_nsec, nsec = tv->tv_nsec;
 168
 169         if ((unsigned long)tv->tv_nsec >= NSEC_PER_SEC)
 170                 return -EINVAL;
 171
 172         write_seqlock_irq(&xtime_lock);
 173         /*
 174          * This is revolting. We need to set "xtime" correctly. However, the
 175          * value in this location is the value at the most recent update of
 176          * wall time.  Discover what correction gettimeofday() would have
 177          * made, and then undo it!
 178          */
 179         nsec -= cur_timer->get_offset() * NSEC_PER_USEC;
 180         nsec -= (jiffies - wall_jiffies) * TICK_NSEC;
 181
 182         wtm_sec  = wall_to_monotonic.tv_sec + (xtime.tv_sec - sec);
 183         wtm_nsec = wall_to_monotonic.tv_nsec + (xtime.tv_nsec - nsec);
 184
 185         set_normalized_timespec(&xtime, sec, nsec);
 186         set_normalized_timespec(&wall_to_monotonic, wtm_sec, wtm_nsec);
 187
 188         ntp_clear();
 189         write_sequnlock_irq(&xtime_lock);
 190         clock_was_set();
 191         return 0;
 192 }
 193
 194 EXPORT_SYMBOL(do_settimeofday);
 195
 196 static int set_rtc_mmss(unsigned long nowtime)
 197 {
 198         int retval;
 199
 200         WARN_ON(irqs_disabled());
 201
 202         /* gets recalled with irq locally disabled */
 203         spin_lock_irq(&rtc_lock);
 204         if (efi_enabled)
 205                 retval = efi_set_rtc_mmss(nowtime);
 206         else
 207                 retval = mach_set_rtc_mmss(nowtime);
 208         spin_unlock_irq(&rtc_lock);
 209
 210         return retval;
 211 }
 212
 213
 214 int timer_ack;
 215
 216 /* monotonic_clock(): returns # of nanoseconds passed since time_init()
 217  *              Note: This function is required to return accurate
 218  *              time even in the absence of multiple timer ticks.
 219  */
 220 unsigned long long monotonic_clock(void)
 221 {
 222         return cur_timer->monotonic_clock();
 223 }
 224 EXPORT_SYMBOL(monotonic_clock);
 225
 226 #if defined(CONFIG_SMP) && defined(CONFIG_FRAME_POINTER)
 227 unsigned long profile_pc(struct pt_regs *regs)
 228 {
 229         unsigned long pc = instruction_pointer(regs);
 230
 231         if (in_lock_functions(pc))
 232                 return *(unsigned long *)(regs->ebp + 4);
 233
 234         return pc;
 235 }
 236 EXPORT_SYMBOL(profile_pc);
 237 #endif
 238
 239 /*
 240  * timer_interrupt() needs to keep up the real-time clock,
 241  * as well as call the "do_timer()" routine every clocktick
 242  */
 243 static inline void do_timer_interrupt(int irq, struct pt_regs *regs)
 244 {
 245 #ifdef CONFIG_X86_IO_APIC
 246         if (timer_ack) {
 247                 /*
 248                  * Subtle, when I/O APICs are used we have to ack timer IRQ
 249                  * manually to reset the IRR bit for do_slow_gettimeoffset().
 250                  * This will also deassert NMI lines for the watchdog if run
 251                  * on an 82489DX-based system.
 252                  */
 253                 spin_lock(&i8259A_lock);
 254                 outb(0x0c, PIC_MASTER_OCW3);
 255                 /* Ack the IRQ; AEOI will end it automatically. */
 256                 inb(PIC_MASTER_POLL);
 257                 spin_unlock(&i8259A_lock);
 258         }
 259 #endif
 260
 261         do_timer_interrupt_hook(regs);
 262
 263
 264         if (MCA_bus) {
 265                 /* The PS/2 uses level-triggered interrupts.  You can't
 266                 turn them off, nor would you want to (any attempt to
 267                 enable edge-triggered interrupts usually gets intercepted by a
 268                 special hardware circuit).  Hence we have to acknowledge
 269                 the timer interrupt.  Through some incredibly stupid
 270                 design idea, the reset for IRQ 0 is done by setting the
 271                 high bit of the PPI port B (0x61).  Note that some PS/2s,
 272                 notably the 55SX, work fine if this is removed.  */
 273
 274                 irq = inb_p( 0x61 );    /* read the current state */
 275                 outb_p( irq|0x80, 0x61 );       /* reset the IRQ */
 276         }
 277 }
 278
 279 /*
 280  * This is the same as the above, except we _also_ save the current
 281  * Time Stamp Counter value at the time of the timer interrupt, so that
 282  * we later on can estimate the time of day more exactly.
 283  */
 284 irqreturn_t timer_interrupt(int irq, void *dev_id, struct pt_regs *regs)
 285 {
 286         /*
 287          * Here we are in the timer irq handler. We just have irqs locally
 288          * disabled but we don't know if the timer_bh is running on the other
 289          * CPU. We need to avoid to SMP race with it. NOTE: we don' t need
 290          * the irq version of write_lock because as just said we have irq
 291          * locally disabled. -arca
 292          */
 293         write_seqlock(&xtime_lock);
 294
 295         cur_timer->mark_offset();
 296
 297         do_timer_interrupt(irq, regs);
 298
 299         write_sequnlock(&xtime_lock);
 300
 301 #ifdef CONFIG_X86_LOCAL_APIC
 302         if (using_apic_timer)
 303                 smp_send_timer_broadcast_ipi(regs);
 304 #endif
 305
 306         return IRQ_HANDLED;
 307 }
 308
 309 /* not static: needed by APM */
 310 unsigned long get_cmos_time(void)
 311 {
 312         unsigned long retval;
 313
 314         spin_lock(&rtc_lock);
 315
 316         if (efi_enabled)
 317                 retval = efi_get_time();
 318         else
 319                 retval = mach_get_cmos_time();
 320
 321         spin_unlock(&rtc_lock);
 322
 323         return retval;
 324 }
 325 EXPORT_SYMBOL(get_cmos_time);
 326
 327 static void sync_cmos_clock(unsigned long dummy);
 328
 329 static DEFINE_TIMER(sync_cmos_timer, sync_cmos_clock, 0, 0);
 330
 331 static void sync_cmos_clock(unsigned long dummy)
 332 {
 333         struct timeval now, next;
 334         int fail = 1;
 335
 336         /*
 337          * If we have an externally synchronized Linux clock, then update
 338          * CMOS clock accordingly every ~11 minutes. Set_rtc_mmss() has to be
 339          * called as close as possible to 500 ms before the new second starts.
 340          * This code is run on a timer.  If the clock is set, that timer
 341          * may not expire at the correct time.  Thus, we adjust...
 342          */
 343         if (!ntp_synced())
 344                 /*
 345                  * Not synced, exit, do not restart a timer (if one is
 346                  * running, let it run out).
 347                  */
 348                 return;
 349
 350         do_gettimeofday(&now);
 351         if (now.tv_usec >= USEC_AFTER - ((unsigned) TICK_SIZE) / 2 &&
 352             now.tv_usec <= USEC_BEFORE + ((unsigned) TICK_SIZE) / 2)
 353                 fail = set_rtc_mmss(now.tv_sec);
 354
 355         next.tv_usec = USEC_AFTER - now.tv_usec;
 356         if (next.tv_usec <= 0)
 357                 next.tv_usec += USEC_PER_SEC;
 358
 359         if (!fail)
 360                 next.tv_sec = 659;
 361         else
 362                 next.tv_sec = 0;
 363
 364         if (next.tv_usec >= USEC_PER_SEC) {
 365                 next.tv_sec++;
 366                 next.tv_usec -= USEC_PER_SEC;
 367         }
 368         mod_timer(&sync_cmos_timer, jiffies + timeval_to_jiffies(&next));
 369 }
 370
 371 void notify_arch_cmos_timer(void)
 372 {
 373         mod_timer(&sync_cmos_timer, jiffies + 1);
 374 }
 375
 376 static long clock_cmos_diff, sleep_start;
 377
 378 static struct timer_opts *last_timer;
 379 static int timer_suspend(struct sys_device *dev, pm_message_t state)
 380 {
 381         /*
 382          * Estimate time zone so that set_time can update the clock
 383          */
 384         clock_cmos_diff = -get_cmos_time();
 385         clock_cmos_diff += get_seconds();
 386         sleep_start = get_cmos_time();
 387         last_timer = cur_timer;
 388         cur_timer = &timer_none;
 389         if (last_timer->suspend)
 390                 last_timer->suspend(state);
 391         return 0;
 392 }
 393
 394 static int timer_resume(struct sys_device *dev)
 395 {
 396         unsigned long flags;
 397         unsigned long sec;
 398         unsigned long sleep_length;
 399
 400 #ifdef CONFIG_HPET_TIMER
 401         if (is_hpet_enabled())
 402                 hpet_reenable();
 403 #endif
 404         setup_pit_timer();
 405         sec = get_cmos_time() + clock_cmos_diff;
 406         sleep_length = (get_cmos_time() - sleep_start) * HZ;
 407         write_seqlock_irqsave(&xtime_lock, flags);
 408         xtime.tv_sec = sec;
 409         xtime.tv_nsec = 0;
 410         jiffies_64 += sleep_length;
 411         wall_jiffies += sleep_length;
 412         write_sequnlock_irqrestore(&xtime_lock, flags);
 413         if (last_timer->resume)
 414                 last_timer->resume();
 415         cur_timer = last_timer;
 416         last_timer = NULL;
 417         touch_softlockup_watchdog();
 418         return 0;
 419 }
 420
 421 static struct sysdev_class timer_sysclass = {
 422         .resume = timer_resume,
 423         .suspend = timer_suspend,
 424         set_kset_name("timer"),
 425 };
 426
 427
 428 /* XXX this driverfs stuff should probably go elsewhere later -john */
 429 static struct sys_device device_timer = {
 430         .id     = 0,
 431         .cls    = &timer_sysclass,
 432 };
 433
 434 static int time_init_device(void)
 435 {
 436         int error = sysdev_class_register(&timer_sysclass);
 437         if (!error)
 438                 error = sysdev_register(&device_timer);
 439         return error;
 440 }
 441
 442 device_initcall(time_init_device);
 443
 444 #ifdef CONFIG_HPET_TIMER
 445 extern void (*late_time_init)(void);
 446 /* Duplicate of time_init() below, with hpet_enable part added */
 447 static void __init hpet_time_init(void)
 448 {
 449         xtime.tv_sec = get_cmos_time();
 450         xtime.tv_nsec = (INITIAL_JIFFIES % HZ) * (NSEC_PER_SEC / HZ);
 451         set_normalized_timespec(&wall_to_monotonic,
 452                 -xtime.tv_sec, -xtime.tv_nsec);
 453
 454         if ((hpet_enable() >= 0) && hpet_use_timer) {
 455                 printk("Using HPET for base-timer\n");
 456         }
 457
 458         cur_timer = select_timer();
 459         printk(KERN_INFO "Using %s for high-res timesource\n",cur_timer->name);
 460
 461         time_init_hook();
 462 }
 463 #endif
 464
 465 void __init time_init(void)
 466 {
 467 #ifdef CONFIG_HPET_TIMER
 468         if (is_hpet_capable()) {
 469                 /*
 470                  * HPET initialization needs to do memory-mapped io. So, let
 471                  * us do a late initialization after mem_init().
 472                  */
 473                 late_time_init = hpet_time_init;
 474                 return;
 475         }
 476 #endif
 477         xtime.tv_sec = get_cmos_time();
 478         xtime.tv_nsec = (INITIAL_JIFFIES % HZ) * (NSEC_PER_SEC / HZ);
 479         set_normalized_timespec(&wall_to_monotonic,
 480                 -xtime.tv_sec, -xtime.tv_nsec);
 481
 482         cur_timer = select_timer();
 483         printk(KERN_INFO "Using %s for high-res timesource\n",cur_timer->name);
 484
 485         time_init_hook();
 486 }