[NTOSKRNL/FREELDR/NDK]
[reactos.git] / reactos / ntoskrnl / include / internal / amd64 / mm.h
index 3beea74..5cdb0dd 100644 (file)
@@ -6,7 +6,6 @@
 #define _MI_PAGING_LEVELS                   4
 
 /* Memory layout base addresses */
-#define MI_LOWEST_VAD_ADDRESS           (PVOID)0x0000000000010000ULL
 #define MI_USER_PROBE_ADDRESS           (PVOID)0x000007FFFFFF0000ULL
 #define MI_DEFAULT_SYSTEM_RANGE_START   (PVOID)0xFFFF080000000000ULL
 #define MI_REAL_SYSTEM_RANGE_START             0xFFFF800000000000ULL
 #define MI_SESSION_SPACE_END                   0xFFFFF97FFFFFFFFFULL
 #define MM_SYSTEM_SPACE_START                  0xFFFFF98000000000ULL
 #define MI_PFN_DATABASE                        0xFFFFFA8000000000ULL
+#define MI_DEBUG_MAPPING                (PVOID)0xFFFFFFFF80000000ULL // FIXME
 #define MI_NONPAGED_POOL_END            (PVOID)0xFFFFFFFFFFBFFFFFULL
 #define MI_HIGHEST_SYSTEM_ADDRESS       (PVOID)0xFFFFFFFFFFFFFFFFULL
+#define MmSystemRangeStart              ((PVOID)MI_REAL_SYSTEM_RANGE_START)
 
 /* WOW64 address definitions */
 #define MM_HIGHEST_USER_ADDRESS_WOW64   0x7FFEFFFF
 #define MM_SYSTEM_RANGE_START_WOW64     0x80000000
 
-#define MI_DEBUG_MAPPING                (PVOID)0xFFFFFFFF80000000ULL // FIXME
-#define MI_NON_PAGED_SYSTEM_START_MIN   MM_SYSTEM_SPACE_START // FIXME
-#define MI_SYSTEM_PTE_START             MM_SYSTEM_SPACE_START
-#define MI_SYSTEM_PTE_END               (MI_SYSTEM_PTE_START + MI_NUMBER_SYSTEM_PTES * PAGE_SIZE - 1)
+/* Misc address definitions */
+//#define MI_NON_PAGED_SYSTEM_START_MIN   MM_SYSTEM_SPACE_START // FIXME
+//#define MI_SYSTEM_PTE_START             MM_SYSTEM_SPACE_START
+//#define MI_SYSTEM_PTE_END               (MI_SYSTEM_PTE_START + MI_NUMBER_SYSTEM_PTES * PAGE_SIZE - 1)
 #define MI_SYSTEM_PTE_BASE              (PVOID)MiAddressToPte(KSEG0_BASE)
 #define MM_HIGHEST_VAD_ADDRESS          (PVOID)((ULONG_PTR)MM_HIGHEST_USER_ADDRESS - (16 * PAGE_SIZE))
 #define MI_MAPPING_RANGE_START          HYPER_SPACE
 #define MI_WORKING_SET_LIST                 (MI_VAD_BITMAP + PAGE_SIZE)
 
 /* Memory sizes */
-#define MI_MIN_PAGES_FOR_NONPAGED_POOL_TUNING ((255*1024*1024) >> PAGE_SHIFT)
-#define MI_MIN_PAGES_FOR_SYSPTE_TUNING        ((19*1024*1024) >> PAGE_SHIFT)
-#define MI_MIN_PAGES_FOR_SYSPTE_BOOST         ((32*1024*1024) >> PAGE_SHIFT)
-#define MI_MIN_PAGES_FOR_SYSPTE_BOOST_BOOST   ((256*1024*1024) >> PAGE_SHIFT)
-#define MI_MIN_INIT_PAGED_POOLSIZE            (32 * 1024 * 1024)
-#define MI_MAX_INIT_NONPAGED_POOL_SIZE        (128ULL * 1024 * 1024 * 1024)
-#define MI_MAX_NONPAGED_POOL_SIZE             (128ULL * 1024 * 1024 * 1024)
-#define MI_SYSTEM_VIEW_SIZE                   (16 * 1024 * 1024)
-#define MI_MIN_SECONDARY_COLORS               8
-#define MI_SECONDARY_COLORS                   64
-#define MI_MAX_SECONDARY_COLORS               1024
-#define MI_MIN_ALLOCATION_FRAGMENT            (4 * _1KB)
-#define MI_ALLOCATION_FRAGMENT                (64 * _1KB)
-#define MI_MAX_ALLOCATION_FRAGMENT            (2  * _1MB)
-#define MI_SESSION_WORKING_SET_SIZE           (4 * 1024 * 1024)
-#define MI_SESSION_VIEW_SIZE                  (20 * 1024 * 1024)
-#define MI_SESSION_POOL_SIZE                  (16 * 1024 * 1024)
-#define MI_SESSION_IMAGE_SIZE                 (8 * 1024 * 1024)
-#define MI_SESSION_SIZE                       (MI_SESSION_VIEW_SIZE + \
-                                               MI_SESSION_POOL_SIZE + \
-                                               MI_SESSION_IMAGE_SIZE + \
-                                               MI_SESSION_WORKING_SET_SIZE)
-
-#define MmSystemRangeStart ((PVOID)MI_REAL_SYSTEM_RANGE_START)
+#define MI_MIN_PAGES_FOR_NONPAGED_POOL_TUNING   ((255 * _1MB) >> PAGE_SHIFT)
+#define MI_MIN_PAGES_FOR_SYSPTE_TUNING          ((19 * _1MB) >> PAGE_SHIFT)
+#define MI_MIN_PAGES_FOR_SYSPTE_BOOST           ((32 * _1MB) >> PAGE_SHIFT)
+#define MI_MIN_PAGES_FOR_SYSPTE_BOOST_BOOST     ((256 * _1MB) >> PAGE_SHIFT)
+#define MI_MIN_INIT_PAGED_POOLSIZE              (32 * _1MB)
+#define MI_MAX_INIT_NONPAGED_POOL_SIZE          (128ULL * 1024 * 1024 * 1024)
+#define MI_MAX_NONPAGED_POOL_SIZE               (128ULL * 1024 * 1024 * 1024)
+#define MI_SYSTEM_VIEW_SIZE                     (16 * _1MB)
+#define MI_SESSION_VIEW_SIZE                    (20 * _1MB)
+#define MI_SESSION_POOL_SIZE                    (16 * _1MB)
+#define MI_SESSION_IMAGE_SIZE                   (8 * _1MB)
+#define MI_SESSION_WORKING_SET_SIZE             (4 * _1MB)
+#define MI_SESSION_SIZE                         (MI_SESSION_VIEW_SIZE + \
+                                                 MI_SESSION_POOL_SIZE + \
+                                                 MI_SESSION_IMAGE_SIZE + \
+                                                 MI_SESSION_WORKING_SET_SIZE)
+#define MI_MIN_ALLOCATION_FRAGMENT              (4 * _1KB)
+#define MI_ALLOCATION_FRAGMENT                  (64 * _1KB)
+#define MI_MAX_ALLOCATION_FRAGMENT              (2  * _1MB)
 
 /* Misc constants */
-#define MI_NUMBER_SYSTEM_PTES               22000
-#define MI_MAX_FREE_PAGE_LISTS              4
-#define MI_HYPERSPACE_PTES                  (256 - 1)
-#define MI_ZERO_PTES                        (32)
-/* FIXME - different architectures have different cache line sizes... */
-#define MI_MAX_ZERO_BITS                    53
-
-/* Helper macros */
-#define IS_ALIGNED(addr, align) (((ULONG64)(addr) & (align - 1)) == 0)
-#define IS_PAGE_ALIGNED(addr) IS_ALIGNED(addr, PAGE_SIZE)
-
-#define MiIsPteOnPdeBoundary(PointerPte) \
-    ((((ULONG_PTR)PointerPte) & (PAGE_SIZE - 1)) == 0)
-#define MiIsPteOnPpeBoundary(PointerPte) \
-    ((((ULONG_PTR)PointerPte) & (PDE_PER_PAGE * PAGE_SIZE - 1)) == 0)
-#define MiIsPteOnPxeBoundary(PointerPte) \
-    ((((ULONG_PTR)PointerPte) & (PPE_PER_PAGE * PDE_PER_PAGE * PAGE_SIZE - 1)) == 0)
+#define MM_PTE_SOFTWARE_PROTECTION_BITS         5
+#define MI_MIN_SECONDARY_COLORS                 8
+#define MI_SECONDARY_COLORS                     64
+#define MI_MAX_SECONDARY_COLORS                 1024
+#define MI_NUMBER_SYSTEM_PTES                   22000
+#define MI_MAX_FREE_PAGE_LISTS                  4
+#define MI_HYPERSPACE_PTES                     (256 - 1)
+#define MI_ZERO_PTES                           (32)
+#define MI_MAX_ZERO_BITS                        53
+#define SESSION_POOL_LOOKASIDES                 21
 
 /* MMPTE related defines */
 #define MM_EMPTY_PTE_LIST  ((ULONG64)0xFFFFFFFF)
 #define MM_EMPTY_LIST  ((ULONG_PTR)-1)
 
-#define ADDR_TO_PAGE_TABLE(v) ((ULONG)(((ULONG_PTR)(v)) / (512 * PAGE_SIZE)))
-#define ADDR_TO_PDE_OFFSET(v) ((ULONG)((((ULONG_PTR)(v)) / (512 * PAGE_SIZE))))
-#define ADDR_TO_PTE_OFFSET(v)  ((ULONG)((((ULONG_PTR)(v)) % (512 * PAGE_SIZE)) / PAGE_SIZE))
-
-#define MiGetPdeOffset ADDR_TO_PDE_OFFSET
-
-#define VAtoPXI(va) ((((ULONG64)va) >> PXI_SHIFT) & 0x1FF)
-#define VAtoPPI(va) ((((ULONG64)va) >> PPI_SHIFT) & 0x1FF)
-#define VAtoPDI(va) ((((ULONG64)va) >> PDI_SHIFT) & 0x1FF)
-#define VAtoPTI(va) ((((ULONG64)va) >> PTI_SHIFT) & 0x1FF)
 
 /* Easy accessing PFN in PTE */
 #define PFN_FROM_PTE(v) ((v)->u.Hard.PageFrameNumber)
 #define PFN_FROM_PPE(v) ((v)->u.Hard.PageFrameNumber)
 #define PFN_FROM_PXE(v) ((v)->u.Hard.PageFrameNumber)
 
-// FIXME, only copied from x86
+/* Macros for portable PTE modification */
 #define MI_MAKE_LOCAL_PAGE(x)      ((x)->u.Hard.Global = 0)
 #define MI_MAKE_DIRTY_PAGE(x)      ((x)->u.Hard.Dirty = 1)
 #define MI_MAKE_ACCESSED_PAGE(x)   ((x)->u.Hard.Accessed = 1)
 #endif
 
 /* On x64, these are the same */
-#define MMPDE MMPTE
-#define PMMPDE PMMPTE
-#define MMPPE MMPTE
-#define PMMPPE PMMPTE
-#define MMPXE MMPTE
-#define PMMPXE PMMPTE
 #define MI_WRITE_VALID_PPE MI_WRITE_VALID_PTE
-
 #define ValidKernelPpe ValidKernelPde
 
+/* Convert an address to a corresponding PTE */
 PMMPTE
 FORCEINLINE
-MiAddressToPxe(PVOID Address)
-{
-    ULONG64 Offset = (ULONG64)Address >> (PXI_SHIFT - 3);
-    Offset &= PXI_MASK << 3;
-    return (PMMPTE)(PXE_BASE + Offset);
-}
-
-PMMPTE
-FORCEINLINE
-MiAddressToPpe(PVOID Address)
+_MiAddressToPte(PVOID Address)
 {
-    ULONG64 Offset = (ULONG64)Address >> (PPI_SHIFT - 3);
-    Offset &= 0x3FFFF << 3;
-    return (PMMPTE)(PPE_BASE + Offset);
+    ULONG64 Offset = (ULONG64)Address >> (PTI_SHIFT - 3);
+    Offset &= 0xFFFFFFFFFULL << 3;
+    return (PMMPTE)(PTE_BASE + Offset);
 }
+#define MiAddressToPte(x) _MiAddressToPte((PVOID)(x))
 
+/* Convert an address to a corresponding PDE */
 PMMPTE
 FORCEINLINE
 _MiAddressToPde(PVOID Address)
@@ -166,16 +132,27 @@ _MiAddressToPde(PVOID Address)
 }
 #define MiAddressToPde(x) _MiAddressToPde((PVOID)(x))
 
+/* Convert an address to a corresponding PPE */
 PMMPTE
 FORCEINLINE
-_MiAddressToPte(PVOID Address)
+MiAddressToPpe(PVOID Address)
 {
-    ULONG64 Offset = (ULONG64)Address >> (PTI_SHIFT - 3);
-    Offset &= 0xFFFFFFFFFULL << 3;
-    return (PMMPTE)(PTE_BASE + Offset);
+    ULONG64 Offset = (ULONG64)Address >> (PPI_SHIFT - 3);
+    Offset &= 0x3FFFF << 3;
+    return (PMMPTE)(PPE_BASE + Offset);
 }
-#define MiAddressToPte(x) _MiAddressToPte((PVOID)(x))
 
+/* Convert an address to a corresponding PXE */
+PMMPTE
+FORCEINLINE
+MiAddressToPxe(PVOID Address)
+{
+    ULONG64 Offset = (ULONG64)Address >> (PXI_SHIFT - 3);
+    Offset &= PXI_MASK << 3;
+    return (PMMPTE)(PXE_BASE + Offset);
+}
+
+/* Convert an address to a corresponding PTE offset/index */
 ULONG
 FORCEINLINE
 MiAddressToPti(PVOID Address)
@@ -184,6 +161,17 @@ MiAddressToPti(PVOID Address)
 }
 #define MiAddressToPteOffset(x) MiAddressToPti(x) // FIXME: bad name
 
+/* Convert an address to a corresponding PDE offset/index */
+ULONG
+FORCEINLINE
+MiAddressToPdi(PVOID Address)
+{
+    return ((((ULONG64)Address) >> PDI_SHIFT) & 0x1FF);
+}
+#define MiAddressToPdeOffset(x) MiAddressToPdi(x)
+#define MiGetPdeOffset(x) MiAddressToPdi(x)
+
+/* Convert an address to a corresponding PXE offset/index */
 ULONG
 FORCEINLINE
 MiAddressToPxi(PVOID Address)
@@ -191,7 +179,6 @@ MiAddressToPxi(PVOID Address)
     return ((((ULONG64)Address) >> PXI_SHIFT) & 0x1FF);
 }
 
-
 /* Convert a PTE into a corresponding address */
 PVOID
 FORCEINLINE
@@ -201,6 +188,7 @@ MiPteToAddress(PMMPTE PointerPte)
     return (PVOID)(((LONG64)PointerPte << 25) >> 16);
 }
 
+/* Convert a PDE into a corresponding address */
 PVOID
 FORCEINLINE
 MiPdeToAddress(PMMPTE PointerPde)
@@ -209,6 +197,7 @@ MiPdeToAddress(PMMPTE PointerPde)
     return (PVOID)(((LONG64)PointerPde << 34) >> 16);
 }
 
+/* Convert a PPE into a corresponding address */
 PVOID
 FORCEINLINE
 MiPpeToAddress(PMMPTE PointerPpe)
@@ -217,6 +206,7 @@ MiPpeToAddress(PMMPTE PointerPpe)
     return (PVOID)(((LONG64)PointerPpe << 43) >> 16);
 }
 
+/* Convert a PXE into a corresponding address */
 PVOID
 FORCEINLINE
 MiPxeToAddress(PMMPTE PointerPxe)
@@ -225,21 +215,24 @@ MiPxeToAddress(PMMPTE PointerPxe)
     return (PVOID)(((LONG64)PointerPxe << 52) >> 16);
 }
 
-BOOLEAN
-FORCEINLINE
-MiIsPdeForAddressValid(PVOID Address)
-{
-    return ((MiAddressToPxe(Address)->u.Hard.Valid) &&
-            (MiAddressToPpe(Address)->u.Hard.Valid) &&
-            (MiAddressToPde(Address)->u.Hard.Valid));
-}
+/* Translate between P*Es */
+#define MiPdeToPte(_Pde) ((PMMPTE)MiPteToAddress(_Pde))
+#define MiPteToPde(_Pte) ((PMMPDE)MiAddressToPte(_Pte))
+#define MiPdeToPpe(_Pde) ((PMMPPE)MiAddressToPte(_Pde))
 
-#define MiPdeToPte(PDE) ((PMMPTE)MiPteToAddress(PDE))
-#define MiPteToPde(PTE) ((PMMPDE)MiAddressToPte(PTE))
-#define MiPdeToPpe(Pde) ((PMMPPE)MiAddressToPte(Pde))
+/* Check P*E boundaries */
+#define MiIsPteOnPdeBoundary(PointerPte) \
+    ((((ULONG_PTR)PointerPte) & (PAGE_SIZE - 1)) == 0)
+#define MiIsPteOnPpeBoundary(PointerPte) \
+    ((((ULONG_PTR)PointerPte) & (PDE_PER_PAGE * PAGE_SIZE - 1)) == 0)
+#define MiIsPteOnPxeBoundary(PointerPte) \
+    ((((ULONG_PTR)PointerPte) & (PPE_PER_PAGE * PDE_PER_PAGE * PAGE_SIZE - 1)) == 0)
 
-/* Sign extend 48 bits */
-#define MiProtoPteToPte(x) (PMMPTE)(((LONG64)(x)->u.Long) >> 16)
+//
+// Decodes a Prototype PTE into the underlying PTE
+//
+#define MiProtoPteToPte(x)                  \
+    (PMMPTE)(((LONG64)(x)->u.Long) >> 16) /* Sign extend 48 bits */
 
 //
 // Decodes a Prototype PTE into the underlying PTE
@@ -285,3 +278,12 @@ MmInitGlobalKernelPageDirectory(VOID)
     /* Nothing to do */
 }
 
+BOOLEAN
+FORCEINLINE
+MiIsPdeForAddressValid(PVOID Address)
+{
+    return ((MiAddressToPxe(Address)->u.Hard.Valid) &&
+            (MiAddressToPpe(Address)->u.Hard.Valid) &&
+            (MiAddressToPde(Address)->u.Hard.Valid));
+}
+