[NTOS:KE]
[reactos.git] / reactos / ntoskrnl / ke / i386 / traphdlr.c
index d98109a..4dccea4 100644 (file)
 #define NDEBUG
 #include <debug.h>
 
+VOID __cdecl KiFastCallEntry(VOID);
+VOID __cdecl KiFastCallEntryWithSingleStep(VOID);
+
+extern PVOID FrRestore;
+VOID FASTCALL Ke386LoadFpuState(IN PFX_SAVE_AREA SaveArea);
+
 /* GLOBALS ********************************************************************/
 
 UCHAR KiTrapPrefixTable[] =
@@ -46,11 +52,11 @@ UCHAR KiTrapIoTable[] =
 };
 
 PFAST_SYSTEM_CALL_EXIT KiFastCallExitHandler;
-#if DBG && !defined(_WINKD_)
+#if DBG && defined(_M_IX86) && !defined(_WINKD_)
 PKDBG_PRESERVICEHOOK KeWin32PreServiceHook = NULL;
 PKDBG_POSTSERVICEHOOK KeWin32PostServiceHook = NULL;
 #endif
-#if TRAP_DEBUG
+#if DBG
 BOOLEAN StopChecking = FALSE;
 #endif
 
@@ -144,13 +150,13 @@ KiServiceExit(IN PKTRAP_FRAME TrapFrame,
 {
     ASSERT((TrapFrame->EFlags & EFLAGS_V86_MASK) == 0);
     ASSERT(!KiIsFrameEdited(TrapFrame));
-    
+
     /* Copy the status into EAX */
     TrapFrame->Eax = Status;
-    
+
     /* Common trap exit code */
     KiCommonExit(TrapFrame, FALSE);
-    
+
     /* Restore previous mode */
     KeGetCurrentThread()->PreviousMode = (CCHAR)TrapFrame->PreviousPreviousMode;
 
@@ -167,6 +173,7 @@ KiServiceExit(IN PKTRAP_FRAME TrapFrame,
         {
             /* We can use the sysexit handler */
             KiFastCallExitHandler(TrapFrame);
+            UNREACHABLE;
         }
     }
 
@@ -181,10 +188,10 @@ KiServiceExit2(IN PKTRAP_FRAME TrapFrame)
 {
     /* Common trap exit code */
     KiCommonExit(TrapFrame, FALSE);
-    
+
     /* Restore previous mode */
     KeGetCurrentThread()->PreviousMode = (CCHAR)TrapFrame->PreviousPreviousMode;
-    
+
     /* Check if this was a V8086 trap */
     if (TrapFrame->EFlags & EFLAGS_V86_MASK) KiTrapReturnNoSegments(TrapFrame);
 
@@ -220,6 +227,7 @@ KiDebugHandler(IN PKTRAP_FRAME TrapFrame,
 
     /* Dispatch the exception  */
     KiDispatchExceptionFromTrapFrame(STATUS_BREAKPOINT,
+                                     0,
                                      TrapFrame->Eip - 1,
                                      3,
                                      Parameter1,
@@ -247,16 +255,16 @@ KiNpxHandler(IN PKTRAP_FRAME TrapFrame,
         SaveArea->Cr0NpxState |= CR0_TS;
 
         /* Only valid if it happened during a restore */
-        //if ((PVOID)TrapFrame->Eip == FrRestore)
+        if ((PVOID)TrapFrame->Eip == FrRestore)
         {
             /* It did, so just skip the instruction */
-            //TrapFrame->Eip += 3; /* sizeof(FRSTOR) */
-            //KiEoiHelper(TrapFrame);
+            TrapFrame->Eip += 3; /* Size of FRSTOR instruction */
+            KiEoiHelper(TrapFrame);
         }
     }
 
-    /* User or kernel trap -- get ready to issue an exception */
-    //if (Thread->NpxState == NPX_STATE_NOT_LOADED)
+    /* User or kernel trap -- check if we need to unload the current state */
+    if (Thread->NpxState == NPX_STATE_LOADED)
     {
         /* Update CR0 */
         Cr0 = __readcr0();
@@ -279,14 +287,14 @@ KiNpxHandler(IN PKTRAP_FRAME TrapFrame,
     /* Clear the TS bit and re-enable interrupts */
     SaveArea->Cr0NpxState &= ~CR0_TS;
     _enable();
-    
+
     /* Check if we should get the FN or FX error */
     if (KeI386FxsrPresent)
     {
         /* Get it from FX */
         Mask = SaveArea->U.FxArea.ControlWord;
         Error = SaveArea->U.FxArea.StatusWord;
-        
+
         /* Get the FPU exception address too */
         ErrorOffset = SaveArea->U.FxArea.ErrorOffset;
         DataOffset = SaveArea->U.FxArea.DataOffset;
@@ -296,15 +304,13 @@ KiNpxHandler(IN PKTRAP_FRAME TrapFrame,
         /* Get it from FN */
         Mask = SaveArea->U.FnArea.ControlWord;
         Error = SaveArea->U.FnArea.StatusWord;
-        
+
         /* Get the FPU exception address too */
         ErrorOffset = SaveArea->U.FnArea.ErrorOffset;
         DataOffset = SaveArea->U.FnArea.DataOffset;
     }
 
     /* Get legal exceptions that software should handle */
-    /* We do this by first masking off from the Mask the bits we need, */
-    /* This is done so we can keep the FSW_STACK_FAULT bit in Error. */
     Mask &= (FSW_INVALID_OPERATION |
              FSW_DENORMAL |
              FSW_ZERO_DIVIDE |
@@ -316,9 +322,10 @@ KiNpxHandler(IN PKTRAP_FRAME TrapFrame,
     /* Check for invalid operation */
     if (Error & FSW_INVALID_OPERATION)
     {
-        /* NOTE: Stack fault is handled differently than any other case. */
-        /* 1. It's only raised for invalid operation. */
-        /* 2. It's only raised if invalid operation is not masked. */
+        /*
+         * Now check if this is actually a Stack Fault. This is needed because
+         * on x86 the Invalid Operation error is set for Stack Check faults as well.
+         */
         if (Error & FSW_STACK_FAULT)
         {
             /* Issue stack check fault */
@@ -328,14 +335,16 @@ KiNpxHandler(IN PKTRAP_FRAME TrapFrame,
                                      DataOffset,
                                      TrapFrame);
         }
-
-        /* Issue fault */
-        KiDispatchException1Args(STATUS_FLOAT_INVALID_OPERATION,
-                                 ErrorOffset,
-                                 0,
-                                 TrapFrame);
+        else
+        {
+            /* This is an invalid operation fault after all, so raise that instead */
+            KiDispatchException1Args(STATUS_FLOAT_INVALID_OPERATION,
+                                     ErrorOffset,
+                                     0,
+                                     TrapFrame);
+        }
     }
-    
+
     /* Check for divide by zero */
     if (Error & FSW_ZERO_DIVIDE)
     {
@@ -345,7 +354,7 @@ KiNpxHandler(IN PKTRAP_FRAME TrapFrame,
                                  0,
                                  TrapFrame);
     }
-    
+
     /* Check for denormal */
     if (Error & FSW_DENORMAL)
     {
@@ -355,7 +364,7 @@ KiNpxHandler(IN PKTRAP_FRAME TrapFrame,
                                  0,
                                  TrapFrame);
     }
-    
+
     /* Check for overflow */
     if (Error & FSW_OVERFLOW)
     {
@@ -365,7 +374,7 @@ KiNpxHandler(IN PKTRAP_FRAME TrapFrame,
                                  0,
                                  TrapFrame);
     }
-    
+
     /* Check for underflow */
     if (Error & FSW_UNDERFLOW)
     {
@@ -385,7 +394,7 @@ KiNpxHandler(IN PKTRAP_FRAME TrapFrame,
                                  0,
                                  TrapFrame);
     }
-    
+
     /* Unknown FPU fault */
     KeBugCheckWithTf(TRAP_CAUSE_UNKNOWN, 1, Error, 0, 0, TrapFrame);
 }
@@ -397,13 +406,13 @@ KiTrap00Handler(IN PKTRAP_FRAME TrapFrame)
 {
     /* Save trap frame */
     KiEnterTrap(TrapFrame);
-    
+
     /* Check for VDM trap */
     ASSERT((KiVdmTrap(TrapFrame)) == FALSE);
 
     /*  Enable interrupts */
     _enable();
-    
+
     /* Dispatch the exception */
     KiDispatchException0Args(STATUS_INTEGER_DIVIDE_BY_ZERO,
                              TrapFrame->Eip,
@@ -417,13 +426,26 @@ KiTrap01Handler(IN PKTRAP_FRAME TrapFrame)
 {
     /* Save trap frame */
     KiEnterTrap(TrapFrame);
-    
+
     /* Check for VDM trap */
     ASSERT((KiVdmTrap(TrapFrame)) == FALSE);
 
+    /* Check if this was a single step after sysenter */
+    if (TrapFrame->Eip == (ULONG)KiFastCallEntry)
+    {
+        /* Disable single stepping */
+        TrapFrame->EFlags &= ~EFLAGS_TF;
+
+        /* Re-enter at the alternative sysenter entry point */
+        TrapFrame->Eip = (ULONG)KiFastCallEntryWithSingleStep;
+
+        /* End this trap */
+        KiEoiHelper(TrapFrame);
+    }
+
     /* Enable interrupts if the trap came from user-mode */
     if (KiUserTrap(TrapFrame)) _enable();
-    
+
     /*  Mask out trap flag and dispatch the exception */
     TrapFrame->EFlags &= ~EFLAGS_TF;
     KiDispatchException0Args(STATUS_SINGLE_STEP,
@@ -442,7 +464,7 @@ KiTrap02(VOID)
     PKGDTENTRY TssGdt;
     KTRAP_FRAME TrapFrame;
     KIRQL OldIrql;
-    
+
     //
     // In some sort of strange recursion case, we might end up here with the IF
     // flag incorrectly on the interrupt frame -- during a normal NMI this would
@@ -459,14 +481,14 @@ KiTrap02(VOID)
     Tss = PCR->TSS;
     Thread = ((PKIPCR)PCR)->PrcbData.CurrentThread;
     Process = Thread->ApcState.Process;
-    
+
     //
     // Save data usually not in the TSS
     //
     Tss->CR3 = Process->DirectoryTableBase[0];
     Tss->IoMapBase = Process->IopmOffset;
     Tss->LDT = Process->LdtDescriptor.LimitLow ? KGDT_LDT : 0;
-    
+
     //
     // Now get the base address of the NMI TSS
     //
@@ -474,7 +496,7 @@ KiTrap02(VOID)
     NmiTss = (PKTSS)(ULONG_PTR)(TssGdt->BaseLow |
                                 TssGdt->HighWord.Bytes.BaseMid << 16 |
                                 TssGdt->HighWord.Bytes.BaseHi << 24);
-                    
+
     //
     // Switch to it and activate it, masking off the nested flag
     //
@@ -486,7 +508,7 @@ KiTrap02(VOID)
     TssGdt->HighWord.Bits.Dpl = 0;
     TssGdt->HighWord.Bits.Pres = 1;
     TssGdt->HighWord.Bits.Type = I386_TSS;
-    
+
     //
     // Now build the trap frame based on the original TSS
     //
@@ -507,7 +529,7 @@ KiTrap02(VOID)
     TrapFrame.Edi = Tss->Edi;
     TrapFrame.SegFs = Tss->Fs;
     TrapFrame.ExceptionList = PCR->NtTib.ExceptionList;
-    TrapFrame.PreviousPreviousMode = -1;
+    TrapFrame.PreviousPreviousMode = (ULONG)-1;
     TrapFrame.Eax = Tss->Eax;
     TrapFrame.Ecx = Tss->Ecx;
     TrapFrame.Edx = Tss->Edx;
@@ -516,12 +538,12 @@ KiTrap02(VOID)
     TrapFrame.SegGs = Tss->Gs;
     TrapFrame.DbgEip = Tss->Eip;
     TrapFrame.DbgEbp = Tss->Ebp;
-    
+
     //
     // Store the trap frame in the KPRCB
     //
     KiSaveProcessorState(&TrapFrame, NULL);
-    
+
     //
     // Call any registered NMI handlers and see if they handled it or not
     //
@@ -553,25 +575,25 @@ KiTrap02(VOID)
         // Restore original TSS
         //
         PCR->TSS = Tss;
-        
+
         //
         // Set it back to busy
         //
         TssGdt->HighWord.Bits.Dpl = 0;
         TssGdt->HighWord.Bits.Pres = 1;
         TssGdt->HighWord.Bits.Type = I386_ACTIVE_TSS;
-        
+
         //
         // Restore nested flag
         //
         __writeeflags(__readeflags() | EFLAGS_NESTED_TASK);
-        
+
         //
         // Handled, return from interrupt
         //
         KiIret();
     }
-    
+
     //
     // Unhandled: crash the system
     //
@@ -585,7 +607,7 @@ KiTrap03Handler(IN PKTRAP_FRAME TrapFrame)
 {
     /* Save trap frame */
     KiEnterTrap(TrapFrame);
-    
+
     /* Continue with the common handler */
     KiDebugHandler(TrapFrame, BREAKPOINT_BREAK, 0, 0);
 }
@@ -597,13 +619,13 @@ KiTrap04Handler(IN PKTRAP_FRAME TrapFrame)
 {
     /* Save trap frame */
     KiEnterTrap(TrapFrame);
-    
+
     /* Check for VDM trap */
     ASSERT((KiVdmTrap(TrapFrame)) == FALSE);
 
      /* Enable interrupts */
     _enable();
-    
+
     /* Dispatch the exception */
     KiDispatchException0Args(STATUS_INTEGER_OVERFLOW,
                              TrapFrame->Eip - 1,
@@ -617,16 +639,16 @@ KiTrap05Handler(IN PKTRAP_FRAME TrapFrame)
 {
     /* Save trap frame */
     KiEnterTrap(TrapFrame);
-    
+
     /* Check for VDM trap */
     ASSERT((KiVdmTrap(TrapFrame)) == FALSE);
-    
+
     /* Check for kernel-mode fault */
     if (!KiUserTrap(TrapFrame)) KiSystemFatalException(EXCEPTION_BOUND_CHECK, TrapFrame);
 
     /* Enable interrupts */
     _enable();
-    
+
     /* Dispatch the exception */
     KiDispatchException0Args(STATUS_ARRAY_BOUNDS_EXCEEDED,
                              TrapFrame->Eip,
@@ -641,56 +663,56 @@ KiTrap06Handler(IN PKTRAP_FRAME TrapFrame)
     PUCHAR Instruction;
     ULONG i;
     KIRQL OldIrql;
-    
+
     /* Check for V86 GPF */
     if (__builtin_expect(KiV86Trap(TrapFrame), 1))
     {
         /* Enter V86 trap */
         KiEnterV86Trap(TrapFrame);
-        
+
         /* Must be a VDM process */
         if (__builtin_expect(!PsGetCurrentProcess()->VdmObjects, 0))
         {
             /* Enable interrupts */
             _enable();
-            
+
             /* Setup illegal instruction fault */
             KiDispatchException0Args(STATUS_ILLEGAL_INSTRUCTION,
                                      TrapFrame->Eip,
                                      TrapFrame);
         }
-        
+
         /* Go to APC level */
-        OldIrql = KfRaiseIrql(APC_LEVEL);
+        KeRaiseIrql(APC_LEVEL, &OldIrql);
         _enable();
-        
+
         /* Check for BOP */
         if (!VdmDispatchBop(TrapFrame))
         {
             /* Should only happen in VDM mode */
             UNIMPLEMENTED_FATAL();
         }
-        
+
         /* Bring IRQL back */
-        KfLowerIrql(OldIrql);
+        KeLowerIrql(OldIrql);
         _disable();
-        
+
         /* Do a quick V86 exit if possible */
         KiExitV86Trap(TrapFrame);
     }
 
     /* Save trap frame */
     KiEnterTrap(TrapFrame);
-    
+
     /* Enable interrupts */
     Instruction = (PUCHAR)TrapFrame->Eip;
     _enable();
-        
+
     /* Check for user trap */
     if (KiUserTrap(TrapFrame))
     {
         /* FIXME: Use SEH */
-        
+
         /* Scan next 4 opcodes */
         for (i = 0; i < 4; i++)
         {
@@ -703,15 +725,15 @@ KiTrap06Handler(IN PKTRAP_FRAME TrapFrame)
                                          TrapFrame);
             }
         }
-        
+
         /* FIXME: SEH ends here */
     }
-    
+
     /* Kernel-mode or user-mode fault (but not LOCK) */
     KiDispatchException0Args(STATUS_ILLEGAL_INSTRUCTION,
                              TrapFrame->Eip,
                              TrapFrame);
-    
+
 }
 
 DECLSPEC_NORETURN
@@ -722,12 +744,12 @@ KiTrap07Handler(IN PKTRAP_FRAME TrapFrame)
     PKTHREAD Thread, NpxThread;
     PFX_SAVE_AREA SaveArea, NpxSaveArea;
     ULONG Cr0;
-    
+
     /* Save trap frame */
     KiEnterTrap(TrapFrame);
 
     /* Try to handle NPX delay load */
-    while (TRUE)
+    for (;;)
     {
         /* Get the current thread */
         Thread = KeGetCurrentThread();
@@ -741,7 +763,7 @@ KiTrap07Handler(IN PKTRAP_FRAME TrapFrame)
             /* Not implemented */
             UNIMPLEMENTED_FATAL();
         }
-    
+
         /* Save CR0 and check NPX state */
         Cr0 = __readcr0();
         if (Thread->NpxState != NPX_STATE_LOADED)
@@ -749,47 +771,46 @@ KiTrap07Handler(IN PKTRAP_FRAME TrapFrame)
             /* Update CR0 */
             Cr0 &= ~(CR0_MP | CR0_EM | CR0_TS);
             __writecr0(Cr0);
-        
+
             /* Get the NPX thread */
             NpxThread = KeGetCurrentPrcb()->NpxThread;
             if (NpxThread)
             {
                 /* Get the NPX frame */
                 NpxSaveArea = KiGetThreadNpxArea(NpxThread);
-                
+
                 /* Save FPU state */
-                DPRINT("FIXME: Save FPU state: %p\n", NpxSaveArea);
-                //Ke386SaveFpuState(NpxSaveArea);
+                Ke386SaveFpuState(NpxSaveArea);
 
                 /* Update NPX state */
                 NpxThread->NpxState = NPX_STATE_NOT_LOADED;
            }
-       
+
             /* Load FPU state */
-            //Ke386LoadFpuState(SaveArea);
-        
+            Ke386LoadFpuState(SaveArea);
+
             /* Update NPX state */
             Thread->NpxState = NPX_STATE_LOADED;
             KeGetCurrentPrcb()->NpxThread = Thread;
-        
+
             /* Enable interrupts */
             _enable();
-        
+
             /* Check if CR0 needs to be reloaded due to context switch */
             if (!SaveArea->Cr0NpxState) KiEoiHelper(TrapFrame);
-        
+
             /* Otherwise, we need to reload CR0, disable interrupts */
             _disable();
-        
+
             /* Reload CR0 */
             Cr0 = __readcr0();
             Cr0 |= SaveArea->Cr0NpxState;
             __writecr0(Cr0);
-        
+
             /* Now restore interrupts and check for TS */
             _enable();
             if (Cr0 & CR0_TS) KiEoiHelper(TrapFrame);
-        
+
             /* We're still here -- clear TS and try again */
             __writecr0(__readcr0() &~ CR0_TS);
             _disable();
@@ -800,13 +821,13 @@ KiTrap07Handler(IN PKTRAP_FRAME TrapFrame)
             break;
         }
     }
-    
+
     /* TS should not be set */
     if (Cr0 & CR0_TS)
     {
         /*
          * If it's incorrectly set, then maybe the state is actually still valid
-         * but we could've lock track of that due to a BIOS call.
+         * but we could have lost track of that due to a BIOS call.
          * Make sure MP is still set, which should verify the theory.
          */
         if (Cr0 & CR0_MP)
@@ -815,11 +836,11 @@ KiTrap07Handler(IN PKTRAP_FRAME TrapFrame)
             __writecr0(__readcr0() &~ CR0_TS);
             KiEoiHelper(TrapFrame);
         }
-        
+
         /* Otherwise, something strange is going on */
         KeBugCheckWithTf(TRAP_CAUSE_UNKNOWN, 2, Cr0, 0, 0, TrapFrame);
     }
-    
+
     /* It's not a delayed load, so process this trap as an NPX fault */
     KiNpxHandler(TrapFrame, Thread, SaveArea);
 }
@@ -897,44 +918,44 @@ KiTrap0DHandler(IN PKTRAP_FRAME TrapFrame)
     PUCHAR Instructions;
     UCHAR Instruction = 0;
     KIRQL OldIrql;
-    
+
     /* Check for V86 GPF */
     if (__builtin_expect(KiV86Trap(TrapFrame), 1))
     {
         /* Enter V86 trap */
         KiEnterV86Trap(TrapFrame);
-        
+
         /* Must be a VDM process */
         if (__builtin_expect(!PsGetCurrentProcess()->VdmObjects, 0))
         {
             /* Enable interrupts */
             _enable();
-            
+
             /* Setup illegal instruction fault */
             KiDispatchException0Args(STATUS_ILLEGAL_INSTRUCTION,
                                      TrapFrame->Eip,
                                      TrapFrame);
         }
-        
+
         /* Go to APC level */
-        OldIrql = KfRaiseIrql(APC_LEVEL);
+        KeRaiseIrql(APC_LEVEL, &OldIrql);
         _enable();
-        
+
         /* Handle the V86 opcode */
         if (__builtin_expect(Ki386HandleOpcodeV86(TrapFrame) == 0xFF, 0))
         {
             /* Should only happen in VDM mode */
             UNIMPLEMENTED_FATAL();
         }
-        
+
         /* Bring IRQL back */
-        KfLowerIrql(OldIrql);
+        KeLowerIrql(OldIrql);
         _disable();
-        
+
         /* Do a quick V86 exit if possible */
         KiExitV86Trap(TrapFrame);
     }
-    
+
     /* Save trap frame */
     KiEnterTrap(TrapFrame);
 
@@ -943,14 +964,14 @@ KiTrap0DHandler(IN PKTRAP_FRAME TrapFrame)
     {
         /* Should not be VDM */
         ASSERT(KiVdmTrap(TrapFrame) == FALSE);
-        
+
         /* Enable interrupts and check error code */
         _enable();
         if (!TrapFrame->ErrCode)
         {
             /* FIXME: Use SEH */
             Instructions = (PUCHAR)TrapFrame->Eip;
-            
+
             /* Scan next 15 bytes */
             for (i = 0; i < 15; i++)
             {
@@ -964,7 +985,7 @@ KiTrap0DHandler(IN PKTRAP_FRAME TrapFrame)
                         break;
                     }
                 }
-                
+
                 /* Is this NOT any prefix instruction? */
                 if (j == sizeof(KiTrapPrefixTable))
                 {
@@ -973,7 +994,7 @@ KiTrap0DHandler(IN PKTRAP_FRAME TrapFrame)
                     break;
                 }
             }
-            
+
             /* If all we found was prefixes, then this instruction is too long */
             if (i == 15)
             {
@@ -982,7 +1003,7 @@ KiTrap0DHandler(IN PKTRAP_FRAME TrapFrame)
                                          TrapFrame->Eip,
                                          TrapFrame);
             }
-            
+
             /* Check for privileged instructions */
             DPRINT("Instruction (%lu) at fault: %lx %lx %lx %lx\n",
                     i,
@@ -1049,7 +1070,7 @@ KiTrap0DHandler(IN PKTRAP_FRAME TrapFrame)
                     }
                 }
             }
-            
+
             /* So now... was the instruction privileged or not? */
             if (Privileged)
             {
@@ -1059,7 +1080,7 @@ KiTrap0DHandler(IN PKTRAP_FRAME TrapFrame)
                                          TrapFrame);
             }
         }
-            
+
         /* If we got here, send an access violation */
         KiDispatchException2Args(STATUS_ACCESS_VIOLATION,
                                  TrapFrame->Eip,
@@ -1107,7 +1128,7 @@ KiTrap0DHandler(IN PKTRAP_FRAME TrapFrame)
      * when the user is purposedly trying to create one from kernel-mode, so
      * we should probably table this for now since it's not a "real" issue.
      */
-     
+
     /*
      * NOTE2: Another scenario is the IRET during a V8086 restore (BIOS Call)
      * which will cause a GPF since the trap frame is a total mess (on purpose)
@@ -1137,7 +1158,7 @@ KiTrap0DHandler(IN PKTRAP_FRAME TrapFrame)
             UNIMPLEMENTED_FATAL();
         }
     }
-     
+
      /* So since we're not dealing with the above case, check for RDMSR/WRMSR */
     if ((Instructions[0] == 0xF) &&            // 2-byte opcode
         ((Instructions[1] == 0x32) ||        // RDMSR
@@ -1165,7 +1186,7 @@ KiTrap0DHandler(IN PKTRAP_FRAME TrapFrame)
         /* Whatever it is, we can't handle it */
         KiSystemFatalException(EXCEPTION_GP_FAULT, TrapFrame);
     }
-    
+
     /* Return to where we came from */
     KiTrapReturn(TrapFrame);
 }
@@ -1176,6 +1197,8 @@ FASTCALL
 KiTrap0EHandler(IN PKTRAP_FRAME TrapFrame)
 {
     PKTHREAD Thread;
+    BOOLEAN Present;
+    BOOLEAN StoreInstruction;
     ULONG_PTR Cr2;
     NTSTATUS Status;
 
@@ -1198,17 +1221,21 @@ KiTrap0EHandler(IN PKTRAP_FRAME TrapFrame)
     /* Save CR2 */
     Cr2 = __readcr2();
 
-    /* Enable interupts */
+    /* Enable interrupts */
     _enable();
 
+    /* Interpret the error code */
+    Present = (TrapFrame->ErrCode & 1) != 0;
+    StoreInstruction = (TrapFrame->ErrCode & 2) != 0;
+
     /* Check if we came in with interrupts disabled */
     if (!(TrapFrame->EFlags & EFLAGS_INTERRUPT_MASK))
     {
         /* This is completely illegal, bugcheck the system */
         KeBugCheckWithTf(IRQL_NOT_LESS_OR_EQUAL,
                          Cr2,
-                         -1,
-                         TrapFrame->ErrCode & 2 ? TRUE : FALSE,
+                         (ULONG_PTR)-1,
+                         StoreInstruction,
                          TrapFrame->Eip,
                          TrapFrame);
     }
@@ -1246,7 +1273,7 @@ KiTrap0EHandler(IN PKTRAP_FRAME TrapFrame)
             /* Do what windows does and issue an invalid access violation */
             KiDispatchException2Args(KI_EXCEPTION_ACCESS_VIOLATION,
                                      TrapFrame->Eip,
-                                     TrapFrame->ErrCode & 2 ? TRUE : FALSE,
+                                     StoreInstruction,
                                      Cr2,
                                      TrapFrame);
 #endif
@@ -1254,11 +1281,19 @@ KiTrap0EHandler(IN PKTRAP_FRAME TrapFrame)
     }
 
     /* Call the access fault handler */
-    Status = MmAccessFault(TrapFrame->ErrCode & 1,
+    Status = MmAccessFault(Present,
                            (PVOID)Cr2,
                            KiUserTrap(TrapFrame),
                            TrapFrame);
-    if (NT_SUCCESS(Status)) KiEoiHelper(TrapFrame);
+    if (NT_SUCCESS(Status))
+    {
+#ifdef _WINKD_
+        /* Check whether the kernel debugger has owed breakpoints to be inserted */
+        KdSetOwedBreakpoints();
+#endif
+        /* We succeeded, return */
+        KiEoiHelper(TrapFrame);
+    }
 
     /* Check for syscall fault */
 #if 0
@@ -1271,14 +1306,14 @@ KiTrap0EHandler(IN PKTRAP_FRAME TrapFrame)
 #endif
     /* Check for VDM trap */
     ASSERT((KiVdmTrap(TrapFrame)) == FALSE);
-    
+
     /* Either kernel or user trap (non VDM) so dispatch exception */
     if (Status == STATUS_ACCESS_VIOLATION)
     {
         /* This status code is repurposed so we can recognize it later */
         KiDispatchException2Args(KI_EXCEPTION_ACCESS_VIOLATION,
                                  TrapFrame->Eip,
-                                 TrapFrame->ErrCode & 2 ? TRUE : FALSE,
+                                 StoreInstruction,
                                  Cr2,
                                  TrapFrame);
     }
@@ -1288,16 +1323,17 @@ KiTrap0EHandler(IN PKTRAP_FRAME TrapFrame)
         /* These faults only have two parameters */
         KiDispatchException2Args(Status,
                                  TrapFrame->Eip,
-                                 TrapFrame->ErrCode & 2 ? TRUE : FALSE,
+                                 StoreInstruction,
                                  Cr2,
                                  TrapFrame);
     }
-    
+
     /* Only other choice is an in-page error, with 3 parameters */
     KiDispatchExceptionFromTrapFrame(STATUS_IN_PAGE_ERROR,
+                                     0,
                                      TrapFrame->Eip,
                                      3,
-                                     TrapFrame->ErrCode & 2 ? TRUE : FALSE,
+                                     StoreInstruction,
                                      Cr2,
                                      Status,
                                      TrapFrame);
@@ -1323,7 +1359,7 @@ KiTrap10Handler(IN PKTRAP_FRAME TrapFrame)
 {
     PKTHREAD Thread;
     PFX_SAVE_AREA SaveArea;
-    
+
     /* Save trap frame */
     KiEnterTrap(TrapFrame);
 
@@ -1335,11 +1371,11 @@ KiTrap10Handler(IN PKTRAP_FRAME TrapFrame)
         /* It isn't, enable interrupts and set delayed error */
         _enable();
         SaveArea->Cr0NpxState |= CR0_TS;
-        
+
         /* End trap */
         KiEoiHelper(TrapFrame);
     }
-    
+
     /* Otherwise, proceed with NPX fault handling */
     KiNpxHandler(TrapFrame, Thread, SaveArea);
 }
@@ -1365,7 +1401,7 @@ KiTrap13Handler(IN PKTRAP_FRAME TrapFrame)
     PKTHREAD Thread;
     PFX_SAVE_AREA SaveArea;
     ULONG Cr0, MxCsrMask, Error;
-    
+
     /* Save trap frame */
     KiEnterTrap(TrapFrame);
 
@@ -1389,31 +1425,31 @@ KiTrap13Handler(IN PKTRAP_FRAME TrapFrame)
         /* Kernel should not fault on XMMI */
         KeBugCheckWithTf(TRAP_CAUSE_UNKNOWN, 13, 0, 0, 2, TrapFrame);
     }
-    
+
     /* Update CR0 */
     Cr0 = __readcr0();
     Cr0 &= ~(CR0_MP | CR0_EM | CR0_TS);
     __writecr0(Cr0);
-    
+
     /* Save FPU state */
     Ke386SaveFpuState(SaveArea);
-    
+
     /* Mark CR0 state dirty */
     Cr0 |= NPX_STATE_NOT_LOADED;
     Cr0 |= SaveArea->Cr0NpxState;
      __writecr0(Cr0);
-    
+
     /* Update NPX state */
     Thread->NpxState = NPX_STATE_NOT_LOADED;
     KeGetCurrentPrcb()->NpxThread = NULL;
-    
+
     /* Clear the TS bit and re-enable interrupts */
     SaveArea->Cr0NpxState &= ~CR0_TS;
     _enable();
 
     /* Now look at MxCsr to get the mask of errors we should care about */
     MxCsrMask = ~((USHORT)SaveArea->U.FxArea.MXCsr >> 7);
-    
+
     /* Get legal exceptions that software should handle */
     Error = (USHORT)SaveArea->U.FxArea.MXCsr & (FSW_INVALID_OPERATION |
                                                 FSW_DENORMAL |
@@ -1437,26 +1473,90 @@ KiTrap13Handler(IN PKTRAP_FRAME TrapFrame)
                                  0,
                                  TrapFrame);
     }
-    
+
     /* Unknown XMMI fault */
     KeBugCheckWithTf(TRAP_CAUSE_UNKNOWN, 13, 0, 0, 1, TrapFrame);
 }
 
 /* SOFTWARE SERVICES **********************************************************/
 
+VOID
+FASTCALL
+KiRaiseSecurityCheckFailureHandler(IN PKTRAP_FRAME TrapFrame)
+{
+    /* Save trap frame */
+    KiEnterTrap(TrapFrame);
+
+    /* Decrement EIP to point to the INT29 instruction (2 bytes, not 1 like INT3) */
+    TrapFrame->Eip -= 2;
+
+    /* Check if this is a user trap */
+    if (KiUserTrap(TrapFrame))
+    {
+        /* Dispatch exception to user mode */
+        KiDispatchExceptionFromTrapFrame(STATUS_STACK_BUFFER_OVERRUN,
+                                         EXCEPTION_NONCONTINUABLE,
+                                         TrapFrame->Eip,
+                                         1,
+                                         TrapFrame->Ecx,
+                                         0,
+                                         0,
+                                         TrapFrame);
+    }
+    else
+    {
+        EXCEPTION_RECORD ExceptionRecord;
+
+        /* Bugcheck the system */
+        ExceptionRecord.ExceptionCode = STATUS_STACK_BUFFER_OVERRUN;
+        ExceptionRecord.ExceptionFlags = EXCEPTION_NONCONTINUABLE;
+        ExceptionRecord.ExceptionRecord = NULL;
+        ExceptionRecord.ExceptionAddress = (PVOID)TrapFrame->Eip;
+        ExceptionRecord.NumberParameters = 1;
+        ExceptionRecord.ExceptionInformation[0] = TrapFrame->Ecx;
+
+        KeBugCheckWithTf(KERNEL_SECURITY_CHECK_FAILURE,
+                         TrapFrame->Ecx,
+                         (ULONG_PTR)TrapFrame,
+                         (ULONG_PTR)&ExceptionRecord,
+                         0,
+                         TrapFrame);
+    }
+}
+
 VOID
 FASTCALL
 KiGetTickCountHandler(IN PKTRAP_FRAME TrapFrame)
 {
-    UNIMPLEMENTED_DBGBREAK();
+    /* Save trap frame */
+    KiEnterTrap(TrapFrame);
+
+    /*
+     * Just fail the request
+     */
+    DbgPrint("INT 0x2A attempted, returning 0 tick count\n");
+    TrapFrame->Eax = 0;
+
+    /* Exit the trap */
+    KiEoiHelper(TrapFrame);
 }
 
 VOID
 FASTCALL
 KiCallbackReturnHandler(IN PKTRAP_FRAME TrapFrame)
 {
+    PKTHREAD Thread;
     NTSTATUS Status;
 
+    /* Save the SEH chain, NtCallbackReturn will restore this */
+    TrapFrame->ExceptionList = KeGetPcr()->NtTib.ExceptionList;
+
+    /* Set thread fields */
+    Thread = KeGetCurrentThread();
+    Thread->TrapFrame = TrapFrame;
+    Thread->PreviousMode = KiUserTrap(TrapFrame);
+    ASSERT(Thread->PreviousMode != KernelMode);
+
     /* Pass the register parameters to NtCallbackReturn.
        Result pointer is in ecx, result length in edx, status in eax */
     Status = NtCallbackReturn((PVOID)TrapFrame->Ecx,
@@ -1491,10 +1591,10 @@ KiDebugServiceHandler(IN PKTRAP_FRAME TrapFrame)
 {
     /* Save trap frame */
     KiEnterTrap(TrapFrame);
-    
+
     /* Increment EIP to skip the INT3 instruction */
     TrapFrame->Eip++;
-    
+
     /* Continue with the common handler */
     KiDebugHandler(TrapFrame, TrapFrame->Eax, TrapFrame->Ecx, TrapFrame->Edx);
 }
@@ -1521,18 +1621,19 @@ KiDbgPostServiceHook(ULONG SystemCallNumber, ULONG_PTR Result)
     return Result;
 }
 
-FORCEINLINE
 DECLSPEC_NORETURN
 VOID
-KiSystemCall(IN PKTRAP_FRAME TrapFrame,
-             IN PVOID Arguments)
+FASTCALL
+KiSystemServiceHandler(IN PKTRAP_FRAME TrapFrame,
+                       IN PVOID Arguments)
 {
     PKTHREAD Thread;
     PKSERVICE_TABLE_DESCRIPTOR DescriptorTable;
-    ULONG Id, Offset, StackBytes, Result;
+    ULONG Id, Offset, StackBytes;
+    NTSTATUS Status;
     PVOID Handler;
     ULONG SystemCallNumber = TrapFrame->Eax;
-    
+
     /* Get the current thread */
     Thread = KeGetCurrentThread();
 
@@ -1587,21 +1688,20 @@ KiSystemCall(IN PKTRAP_FRAME TrapFrame,
         if (!(Offset & SERVICE_TABLE_TEST))
         {
             /* Fail the call */
-            Result = STATUS_INVALID_SYSTEM_SERVICE;
+            Status = STATUS_INVALID_SYSTEM_SERVICE;
             goto ExitCall;
         }
 
         /* Convert us to a GUI thread -- must wrap in ASM to get new EBP */
-        Result = KiConvertToGuiThread();
+        Status = KiConvertToGuiThread();
 
         /* Reload trap frame and descriptor table pointer from new stack */
         TrapFrame = *(volatile PVOID*)&Thread->TrapFrame;
         DescriptorTable = (PVOID)(*(volatile ULONG_PTR*)&Thread->ServiceTable + Offset);
 
-        if (!NT_SUCCESS(Result))
+        if (!NT_SUCCESS(Status))
         {
             /* Set the last error and fail */
-            //SetLastWin32Error(RtlNtStatusToDosError(Result));
             goto ExitCall;
         }
 
@@ -1609,85 +1709,60 @@ KiSystemCall(IN PKTRAP_FRAME TrapFrame,
         if (Id >= DescriptorTable->Limit)
         {
             /* Fail the call */
-            Result = STATUS_INVALID_SYSTEM_SERVICE;
+            Status = STATUS_INVALID_SYSTEM_SERVICE;
             goto ExitCall;
         }
     }
-    
+
     /* Check if this is a GUI call */
     if (__builtin_expect(Offset & SERVICE_TABLE_TEST, 0))
     {
         /* Get the batch count and flush if necessary */
         if (NtCurrentTeb()->GdiBatchCount) KeGdiFlushUserBatch();
     }
-    
+
     /* Increase system call count */
     KeGetCurrentPrcb()->KeSystemCalls++;
-    
+
     /* FIXME: Increase individual counts on debug systems */
     //KiIncreaseSystemCallCount(DescriptorTable, Id);
-    
+
     /* Get stack bytes */
     StackBytes = DescriptorTable->Number[Id];
-    
+
     /* Probe caller stack */
     if (__builtin_expect((Arguments < (PVOID)MmUserProbeAddress) && !(KiUserTrap(TrapFrame)), 0))
     {
         /* Access violation */
         UNIMPLEMENTED_FATAL();
     }
-    
+
     /* Call pre-service debug hook */
     KiDbgPreServiceHook(SystemCallNumber, Arguments);
 
     /* Get the handler and make the system call */
     Handler = (PVOID)DescriptorTable->Base[Id];
-    Result = KiSystemCallTrampoline(Handler, Arguments, StackBytes);
-    
+    Status = KiSystemCallTrampoline(Handler, Arguments, StackBytes);
+
     /* Call post-service debug hook */
-    Result = KiDbgPostServiceHook(SystemCallNumber, Result);
+    Status = KiDbgPostServiceHook(SystemCallNumber, Status);
 
     /* Make sure we're exiting correctly */
     KiExitSystemCallDebugChecks(Id, TrapFrame);
-    
+
     /* Restore the old trap frame */
 ExitCall:
     Thread->TrapFrame = (PKTRAP_FRAME)TrapFrame->Edx;
 
     /* Exit from system call */
-    KiServiceExit(TrapFrame, Result);
-}
-
-DECLSPEC_NORETURN
-VOID
-FASTCALL
-KiSystemServiceHandler(IN PKTRAP_FRAME TrapFrame,
-                       IN PVOID Arguments)
-{
-    /* Call the shared handler (inline) */
-    KiSystemCall(TrapFrame, Arguments);
+    KiServiceExit(TrapFrame, Status);
 }
 
-DECLSPEC_NORETURN
 VOID
 FASTCALL
-KiFastCallEntryHandler(IN PKTRAP_FRAME TrapFrame,
-                       IN PVOID Arguments)
+KiCheckForSListAddress(IN PKTRAP_FRAME TrapFrame)
 {
-    /* Set up a fake INT Stack and enable interrupts */
-    TrapFrame->HardwareSegSs = KGDT_R3_DATA | RPL_MASK;
-    TrapFrame->HardwareEsp = (ULONG_PTR)Arguments;
-    TrapFrame->EFlags = __readeflags() | EFLAGS_INTERRUPT_MASK;
-    TrapFrame->SegCs = KGDT_R3_CODE | RPL_MASK;
-    TrapFrame->Eip = SharedUserData->SystemCallReturn;
-    TrapFrame->SegFs = KGDT_R3_TEB | RPL_MASK;
-    __writeeflags(0x2);
-    
-    /* Arguments are actually 2 frames down (because of the double indirection) */
-    Arguments = (PVOID)(TrapFrame->HardwareEsp + 8);
-
-    /* Call the shared handler (inline) */
-    KiSystemCall(TrapFrame, Arguments);
+    UNIMPLEMENTED;
 }
 
 /*
@@ -1698,7 +1773,7 @@ NTAPI
 Kei386EoiHelper(VOID)
 {
     /* We should never see this call happening */
-    ERROR_FATAL("Mismatched NT/HAL version");
+    KeBugCheck(MISMATCHED_HAL);
 }
 
 /* EOF */