include/asm-x86/pgalloc.h

   1 #ifndef _ASM_X86_PGALLOC_H
   2 #define _ASM_X86_PGALLOC_H
   3
   4 #include <linux/threads.h>
   5 #include <linux/mm.h>           /* for struct page */
   6 #include <linux/pagemap.h>
   7
   8 #ifdef CONFIG_PARAVIRT
   9 #include <asm/paravirt.h>
  10 #else
  11 #define paravirt_alloc_pte(mm, pfn) do { } while (0)
  12 #define paravirt_alloc_pmd(mm, pfn) do { } while (0)
  13 #define paravirt_alloc_pmd_clone(pfn, clonepfn, start, count) do { } while (0)
  14 #define paravirt_alloc_pud(mm, pfn) do { } while (0)
  15 #define paravirt_release_pte(pfn) do { } while (0)
  16 #define paravirt_release_pmd(pfn) do { } while (0)
  17 #define paravirt_release_pud(pfn) do { } while (0)
  18 #endif
  19
  20 /*
  21  * Allocate and free page tables.
  22  */
  23 extern pgd_t *pgd_alloc(struct mm_struct *);
  24 extern void pgd_free(struct mm_struct *mm, pgd_t *pgd);
  25
  26 extern pte_t *pte_alloc_one_kernel(struct mm_struct *, unsigned long);
  27 extern pgtable_t pte_alloc_one(struct mm_struct *, unsigned long);
  28
  29 /* Should really implement gc for free page table pages. This could be
  30    done with a reference count in struct page. */
  31
  32 static inline void pte_free_kernel(struct mm_struct *mm, pte_t *pte)
  33 {
  34         BUG_ON((unsigned long)pte & (PAGE_SIZE-1));
  35         free_page((unsigned long)pte);
  36 }
  37
  38 static inline void pte_free(struct mm_struct *mm, struct page *pte)
  39 {
  40         __free_page(pte);
  41 }
  42
  43 extern void __pte_free_tlb(struct mmu_gather *tlb, struct page *pte);
  44
  45 static inline void pmd_populate_kernel(struct mm_struct *mm,
  46                                        pmd_t *pmd, pte_t *pte)
  47 {
  48         paravirt_alloc_pte(mm, __pa(pte) >> PAGE_SHIFT);
  49         set_pmd(pmd, __pmd(__pa(pte) | _PAGE_TABLE));
  50 }
  51
  52 static inline void pmd_populate(struct mm_struct *mm, pmd_t *pmd,
  53                                 struct page *pte)
  54 {
  55         unsigned long pfn = page_to_pfn(pte);
  56
  57         paravirt_alloc_pte(mm, pfn);
  58         set_pmd(pmd, __pmd(((pteval_t)pfn << PAGE_SHIFT) | _PAGE_TABLE));
  59 }
  60
  61 #define pmd_pgtable(pmd) pmd_page(pmd)
  62
  63 #if PAGETABLE_LEVELS > 2
  64 static inline pmd_t *pmd_alloc_one(struct mm_struct *mm, unsigned long addr)
  65 {
  66         return (pmd_t *)get_zeroed_page(GFP_KERNEL|__GFP_REPEAT);
  67 }
  68
  69 static inline void pmd_free(struct mm_struct *mm, pmd_t *pmd)
  70 {
  71         BUG_ON((unsigned long)pmd & (PAGE_SIZE-1));
  72         free_page((unsigned long)pmd);
  73 }
  74
  75 extern void __pmd_free_tlb(struct mmu_gather *tlb, pmd_t *pmd);
  76
  77 #ifdef CONFIG_X86_PAE
  78 extern void pud_populate(struct mm_struct *mm, pud_t *pudp, pmd_t *pmd);
  79 #else   /* !CONFIG_X86_PAE */
  80 static inline void pud_populate(struct mm_struct *mm, pud_t *pud, pmd_t *pmd)
  81 {
  82         paravirt_alloc_pmd(mm, __pa(pmd) >> PAGE_SHIFT);
  83         set_pud(pud, __pud(_PAGE_TABLE | __pa(pmd)));
  84 }
  85 #endif  /* CONFIG_X86_PAE */
  86
  87 #if PAGETABLE_LEVELS > 3
  88 static inline void pgd_populate(struct mm_struct *mm, pgd_t *pgd, pud_t *pud)
  89 {
  90         paravirt_alloc_pud(mm, __pa(pud) >> PAGE_SHIFT);
  91         set_pgd(pgd, __pgd(_PAGE_TABLE | __pa(pud)));
  92 }
  93
  94 static inline pud_t *pud_alloc_one(struct mm_struct *mm, unsigned long addr)
  95 {
  96         return (pud_t *)get_zeroed_page(GFP_KERNEL|__GFP_REPEAT);
  97 }
  98
  99 static inline void pud_free(struct mm_struct *mm, pud_t *pud)
 100 {
 101         BUG_ON((unsigned long)pud & (PAGE_SIZE-1));
 102         free_page((unsigned long)pud);
 103 }
 104
 105 extern void __pud_free_tlb(struct mmu_gather *tlb, pud_t *pud);
 106 #endif  /* PAGETABLE_LEVELS > 3 */
 107 #endif  /* PAGETABLE_LEVELS > 2 */
 108
 109 #endif  /* _ASM_X86_PGALLOC_H */