[project @ 2004-01-08 10:45:33 by simonmar]
[ghc-hetmet.git] / ghc / compiler / compMan / CompManager.lhs
index 449801c..c4c1913 100644 (file)
@@ -6,11 +6,11 @@
 \begin{code}
 {-# OPTIONS -fvia-C #-}
 module CompManager ( 
-    ModuleGraph, 
+    ModuleGraph, ModSummary(..),
 
-    CmState, emptyCmState,  -- abstract
+    CmState,           -- abstract
 
-    cmInit,       -- :: GhciMode -> IO CmState
+    cmInit,       -- :: GhciMode -> DynFlags -> IO CmState
 
     cmDepAnal,    -- :: CmState -> DynFlags -> [FilePath] -> IO ModuleGraph
 
@@ -43,74 +43,61 @@ module CompManager (
     cmCompileExpr, -- :: CmState -> DynFlags -> String 
                   --   -> IO (CmState, Maybe HValue)
 
-    cmGetModuleGraph,          -- :: CmState -> ModuleGraph
-    cmGetLinkables,            -- :: CmState -> [Linkable]
+    cmGetModInfo,              -- :: CmState -> (ModuleGraph, HomePackageTable)
 
+    cmSetDFlags,
     cmGetBindings,     -- :: CmState -> [TyThing]
     cmGetPrintUnqual,  -- :: CmState -> PrintUnqualified
 #endif
-
-    -- utils
-    showModMsg,                -- 
   )
 where
 
 #include "HsVersions.h"
 
-import MkIface --tmp
-import HsSyn   -- tmp
-
-import CmLink
-import CmTypes
-import DriverPipeline
-import DriverState     ( v_Output_file )
+import DriverPipeline  ( CompResult(..), preprocess, compile, link )
+import HscMain         ( newHscEnv )
+import DriverState     ( v_Output_file, v_NoHsMain, v_MainModIs )
 import DriverPhases
-import DriverUtil
 import Finder
-#ifdef GHCI
-import HscMain         ( initPersistentCompilerState, hscThing, 
-                         hscModuleContents )
-#else
-import HscMain         ( initPersistentCompilerState )
-#endif
-import HscTypes hiding ( moduleNameToModule )
-import Name            ( Name, NamedThing(..), nameRdrName, nameModule,
-                         isHomePackageName, isExternalName )
-import NameEnv
+import HscTypes
 import PrelNames        ( gHC_PRIM_Name )
-import Rename          ( mkGlobalContext )
-import RdrName         ( emptyRdrEnv )
-import Module
+import Module          ( Module, ModuleName, moduleName, mkModuleName, isHomeModule,
+                         ModuleEnv, lookupModuleEnvByName, mkModuleEnv, moduleEnvElts,
+                         extendModuleEnvList, extendModuleEnv,
+                         moduleNameUserString,
+                         ModLocation(..) )
 import GetImports
 import UniqFM
-import Unique          ( Uniquable )
 import Digraph         ( SCC(..), stronglyConnComp, flattenSCC, flattenSCCs )
 import ErrUtils                ( showPass )
 import SysTools                ( cleanTempFilesExcept )
+import BasicTypes      ( SuccessFlag(..), succeeded, failed )
 import Util
 import Outputable
 import Panic
 import CmdLineOpts     ( DynFlags(..), getDynFlags )
-import Maybes          ( expectJust )
+import Maybes          ( expectJust, orElse, mapCatMaybes )
 
-import IOExts
+import DATA_IOREF      ( readIORef )
 
 #ifdef GHCI
-import RdrName         ( lookupRdrEnv )
-import Id              ( idType, idName )
+import HscMain         ( hscThing, hscStmt, hscTcExpr )
+import TcRnDriver      ( mkExportEnv, getModuleContents )
+import IfaceSyn                ( IfaceDecl )
+import RdrName         ( GlobalRdrEnv, plusGlobalRdrEnv )
+import Name            ( Name )
+import NameEnv
+import Id              ( idType )
 import Type            ( tidyType )
 import VarEnv          ( emptyTidyEnv )
-import BasicTypes      ( Fixity, defaultFixity )
-import Interpreter     ( HValue )
-import HscMain         ( hscStmt )
-import GlaExts         ( unsafeCoerce# )
+import BasicTypes      ( Fixity )
+import Linker          ( HValue, unload, extendLinkEnv )
+import GHC.Exts                ( unsafeCoerce# )
 import Foreign
-import CForeign
-import Exception       ( Exception, try )
+import Control.Exception as Exception ( Exception, try )
 #endif
 
--- lang
-import Exception       ( throwDyn )
+import EXCEPTION       ( throwDyn )
 
 -- std
 import Directory        ( getModificationTime, doesFileExist )
@@ -118,6 +105,7 @@ import IO
 import Monad
 import List            ( nub )
 import Maybe
+import Time            ( ClockTime )
 \end{code}
 
 
@@ -125,232 +113,163 @@ import Maybe
 -- Persistent state for the entire system
 data CmState
    = CmState {
-        hst   :: HomeSymbolTable,    -- home symbol table
-        hit   :: HomeIfaceTable,     -- home interface table
-        ui    :: UnlinkedImage,      -- the unlinked images
-        mg    :: ModuleGraph,        -- the module graph
-        gmode :: GhciMode,           -- NEVER CHANGES
-       ic    :: InteractiveContext, -- command-line binding info
-
-        pcs    :: PersistentCompilerState, -- compile's persistent state
-        pls    :: PersistentLinkerState    -- link's persistent state
+       cm_hsc :: HscEnv,               -- Includes the home-package table
+       cm_mg  :: ModuleGraph,          -- The module graph
+       cm_ic  :: InteractiveContext    -- Command-line binding info
      }
 
-emptyCmState :: GhciMode -> IO CmState
-emptyCmState gmode
-    = do pcs     <- initPersistentCompilerState
-         pls     <- emptyPLS
-         return (CmState { hst    = emptySymbolTable,
-                           hit    = emptyIfaceTable,
-                           ui     = emptyUI,
-                           mg     = emptyMG, 
-                           gmode  = gmode,
-                          ic     = emptyInteractiveContext,
-                           pcs    = pcs,
-                           pls    = pls })
-
-emptyInteractiveContext
-  = InteractiveContext { ic_toplev_scope = [],
-                        ic_exports = [],
-                        ic_rn_gbl_env = emptyRdrEnv,
-                        ic_print_unqual = alwaysQualify,
-                        ic_rn_local_env = emptyRdrEnv,
-                        ic_type_env = emptyTypeEnv }
-
--- CM internal types
-type UnlinkedImage = [Linkable]        -- the unlinked images (should be a set, really)
-emptyUI :: UnlinkedImage
-emptyUI = []
-
-type ModuleGraph = [ModSummary]  -- the module graph, topologically sorted
-emptyMG :: ModuleGraph
-emptyMG = []
+#ifdef GHCI
+cmGetModInfo    cmstate = (cm_mg cmstate, hsc_HPT (cm_hsc cmstate))
+cmGetBindings    cmstate = nameEnvElts (ic_type_env (cm_ic cmstate))
+cmGetPrintUnqual cmstate = icPrintUnqual (cm_ic cmstate)
+cmHPT           cmstate = hsc_HPT (cm_hsc cmstate)
+#endif
 
------------------------------------------------------------------------------
--- Produce an initial CmState.
+cmInit :: GhciMode -> DynFlags -> IO CmState
+cmInit ghci_mode dflags
+   = do { hsc_env <- newHscEnv ghci_mode dflags
+       ; return (CmState { cm_hsc = hsc_env,
+                           cm_mg  = emptyMG, 
+                           cm_ic  = emptyInteractiveContext })}
+
+discardCMInfo :: CmState -> CmState
+-- Forget the compilation manager's state, including the home package table
+-- but retain the persistent info in HscEnv
+discardCMInfo cm_state
+  = cm_state { cm_mg = emptyMG, cm_ic = emptyInteractiveContext,
+              cm_hsc = (cm_hsc cm_state) { hsc_HPT = emptyHomePackageTable } }
+
+-------------------------------------------------------------------
+--                     The unlinked image
+-- 
+-- The compilation manager keeps a list of compiled, but as-yet unlinked
+-- binaries (byte code or object code).  Even when it links bytecode
+-- it keeps the unlinked version so it can re-link it later without
+-- recompiling.
 
-cmInit :: GhciMode -> IO CmState
-cmInit mode = emptyCmState mode
+type UnlinkedImage = [Linkable]        -- the unlinked images (should be a set, really)
 
------------------------------------------------------------------------------
--- Grab information from the CmState
+findModuleLinkable_maybe :: [Linkable] -> ModuleName -> Maybe Linkable
+findModuleLinkable_maybe lis mod
+   = case [LM time nm us | LM time nm us <- lis, nm == mod] of
+        []   -> Nothing
+        [li] -> Just li
+        many -> pprPanic "findModuleLinkable" (ppr mod)
+\end{code}
 
-cmGetModuleGraph        = mg
-cmGetLinkables          = ui
 
-cmGetBindings cmstate = nameEnvElts (ic_type_env (ic cmstate))
-cmGetPrintUnqual cmstate = ic_print_unqual (ic cmstate)
+%************************************************************************
+%*                                                                     *
+       GHCI stuff
+%*                                                                     *
+%************************************************************************
 
+\begin{code}
+#ifdef GHCI
 -----------------------------------------------------------------------------
 -- Setting the context doesn't throw away any bindings; the bindings
 -- we've built up in the InteractiveContext simply move to the new
 -- module.  They always shadow anything in scope in the current context.
 
 cmSetContext
-       :: CmState -> DynFlags
+       :: CmState
        -> [String]             -- take the top-level scopes of these modules
        -> [String]             -- and the just the exports from these
        -> IO CmState
-cmSetContext cmstate dflags toplevs exports = do 
-  let CmState{ hit=hit, hst=hst, pcs=pcs, ic=old_ic } = cmstate
-
-  toplev_mods <- mapM (getTopLevModule hit)    (map mkModuleName toplevs)
-  export_mods <- mapM (moduleNameToModule hit) (map mkModuleName exports)
-
-  (new_pcs, print_unqual, maybe_env)
-      <- mkGlobalContext dflags hit hst pcs toplev_mods export_mods
-
-  case maybe_env of 
-    Nothing -> return cmstate
-    Just env -> return cmstate{ pcs = new_pcs,
-                               ic = old_ic{ ic_toplev_scope = toplev_mods,
-                                            ic_exports = export_mods,
-                                            ic_rn_gbl_env = env,
-                                            ic_print_unqual = print_unqual } }
-
-getTopLevModule hit mn =
-  case lookupModuleEnvByName hit mn of
-    Just iface
-      | Just _ <- mi_globals iface -> return (mi_module iface)
-    _other -> throwDyn (CmdLineError (
-         "cannot enter the top-level scope of a compiled module (module `" ++
-          moduleNameUserString mn ++ "')"))
-
-moduleNameToModule :: HomeIfaceTable -> ModuleName -> IO Module
-moduleNameToModule hit mn = do
-  case lookupModuleEnvByName hit mn of
-    Just iface -> return (mi_module iface)
-    _not_a_home_module -> do
-         maybe_stuff <- findModule mn
-         case maybe_stuff of
-           Nothing -> throwDyn (CmdLineError ("can't find module `"
-                                   ++ moduleNameUserString mn ++ "'"))
-           Just (m,_) -> return m
+cmSetContext cmstate toplevs exports = do 
+  let old_ic  = cm_ic cmstate
+      hsc_env = cm_hsc cmstate
+      hpt     = hsc_HPT hsc_env
+
+  export_env  <- mkExportEnv hsc_env (map mkModuleName exports)
+  toplev_envs <- mapM (mkTopLevEnv hpt) toplevs
+
+  let all_env = foldr plusGlobalRdrEnv export_env toplev_envs
+  return cmstate{ cm_ic = old_ic { ic_toplev_scope = toplevs,
+                                  ic_exports      = exports,
+                                  ic_rn_gbl_env   = all_env } }
+
+mkTopLevEnv :: HomePackageTable -> String -> IO GlobalRdrEnv
+mkTopLevEnv hpt mod
+ = case lookupModuleEnvByName hpt (mkModuleName mod) of
+      Nothing      -> throwDyn (ProgramError ("mkTopLevEnv: not a home module " ++ mod))
+      Just details -> case hm_globals details of
+                       Nothing  -> throwDyn (ProgramError ("mkTopLevEnv: not interpreted " ++ mod))
+                       Just env -> return env
 
 cmGetContext :: CmState -> IO ([String],[String])
-cmGetContext CmState{ic=ic} = 
-  return (map moduleUserString (ic_toplev_scope ic), 
-         map moduleUserString (ic_exports ic))
+cmGetContext CmState{cm_ic=ic} = 
+  return (ic_toplev_scope ic, ic_exports ic)
 
 cmModuleIsInterpreted :: CmState -> String -> IO Bool
 cmModuleIsInterpreted cmstate str 
- = case lookupModuleEnvByName (hit cmstate) (mkModuleName str) of
-      Just iface         -> return (not (isNothing (mi_globals iface)))
+ = case lookupModuleEnvByName (cmHPT cmstate) (mkModuleName str) of
+      Just details       -> return (isJust (hm_globals details))
       _not_a_home_module -> return False
 
 -----------------------------------------------------------------------------
+cmSetDFlags :: CmState -> DynFlags -> CmState
+cmSetDFlags cm_state dflags 
+  = cm_state { cm_hsc = (cm_hsc cm_state) { hsc_dflags = dflags } }
+
+-----------------------------------------------------------------------------
 -- cmInfoThing: convert a String to a TyThing
 
 -- A string may refer to more than one TyThing (eg. a constructor,
 -- and type constructor), so we return a list of all the possible TyThings.
 
-#ifdef GHCI
-cmInfoThing :: CmState -> DynFlags -> String -> IO (CmState, [(TyThing,Fixity)])
-cmInfoThing cmstate dflags id
-   = do (new_pcs, things) <- hscThing dflags hst hit pcs icontext id
-       let pairs = map (\x -> (x, getFixity new_pcs (getName x))) things
-       return (cmstate{ pcs=new_pcs }, pairs)
-   where
-     CmState{ hst=hst, hit=hit, pcs=pcs, pls=pls, ic=icontext } = cmstate
-
-     getFixity :: PersistentCompilerState -> Name -> Fixity
-     getFixity pcs name
-       | isExternalName name,
-         Just iface  <- lookupModuleEnv iface_table (nameModule name),
-         Just fixity <- lookupNameEnv (mi_fixities iface) name
-         = fixity
-       | otherwise
-         = defaultFixity
-       where iface_table | isHomePackageName name = hit
-                         | otherwise              = pcs_PIT pcs
-#endif
+cmInfoThing :: CmState -> String -> IO [(IfaceDecl,Fixity)]
+cmInfoThing cmstate id
+   = hscThing (cm_hsc cmstate) (cm_ic cmstate) id
 
 -- ---------------------------------------------------------------------------
 -- cmBrowseModule: get all the TyThings defined in a module
 
-#ifdef GHCI
-cmBrowseModule :: CmState -> DynFlags -> String -> Bool 
-       -> IO (CmState, [TyThing])
-cmBrowseModule cmstate dflags str exports_only = do
-  let mn = mkModuleName str
-  mod <- moduleNameToModule hit mn
-  (pcs1, maybe_ty_things) 
-       <- hscModuleContents dflags hst hit pcs mod exports_only
-  case maybe_ty_things of
-       Nothing -> return (cmstate{pcs=pcs1}, [])
-       Just ty_things -> return (cmstate{pcs=pcs1}, ty_things)
-  where
-     CmState{ hst=hst, hit=hit, pcs=pcs, pls=pls, ic=icontext } = cmstate
-#endif
+cmBrowseModule :: CmState -> String -> Bool -> IO [IfaceDecl]
+cmBrowseModule cmstate str exports_only
+  = do { mb_decls <- getModuleContents (cm_hsc cmstate) (cm_ic cmstate) 
+                                      (mkModuleName str) exports_only
+       ; case mb_decls of
+          Nothing -> return []         -- An error of some kind
+          Just ds -> return ds
+   }
+
 
 -----------------------------------------------------------------------------
 -- cmRunStmt:  Run a statement/expr.
 
-#ifdef GHCI
 data CmRunResult
   = CmRunOk [Name]             -- names bound by this evaluation
   | CmRunFailed 
   | CmRunException Exception   -- statement raised an exception
 
-cmRunStmt :: CmState -> DynFlags -> String -> IO (CmState, CmRunResult)                
-cmRunStmt cmstate@CmState{ hst=hst, hit=hit, pcs=pcs, pls=pls, ic=icontext }
-          dflags expr
+cmRunStmt :: CmState -> String -> IO (CmState, CmRunResult)            
+cmRunStmt cmstate@CmState{ cm_hsc=hsc_env, cm_ic=icontext } expr
    = do 
-       let InteractiveContext { 
-               ic_rn_local_env = rn_env, 
-               ic_type_env     = type_env } = icontext
-
-        (new_pcs, maybe_stuff) 
-           <- hscStmt dflags hst hit pcs icontext expr False{-stmt-}
+        maybe_stuff <- hscStmt hsc_env icontext expr
 
         case maybe_stuff of
-          Nothing -> return (cmstate{ pcs=new_pcs }, CmRunFailed)
-          Just (ids, _, bcos) -> do
-
-               -- update the interactive context
-               let 
-                   names = map idName ids
-
-                   -- these names have just been shadowed
-                   shadowed = [ n | r <- map nameRdrName names,
-                                    Just n <- [lookupRdrEnv rn_env r] ]
-                   
-                   new_rn_env   = extendLocalRdrEnv rn_env names
-
-                   -- remove any shadowed bindings from the type_env
-                   filtered_type_env = delListFromNameEnv type_env shadowed
-
-                   new_type_env = extendNameEnvList filtered_type_env  
-                                       [ (getName id, AnId id) | id <- ids]
-
-                   new_ic = icontext { ic_rn_local_env = new_rn_env, 
-                                       ic_type_env     = new_type_env }
-
-               -- link it
-               hval <- linkExpr pls bcos
+          Nothing -> return (cmstate, CmRunFailed)
+          Just (new_ic, names, hval) -> do
 
-               -- run it!
                let thing_to_run = unsafeCoerce# hval :: IO [HValue]
                either_hvals <- sandboxIO thing_to_run
+
                case either_hvals of
-                  Left err
-                       -> do hPutStrLn stderr ("unknown failure, code " ++ show err)
-                             return ( cmstate{ pcs=new_pcs, ic=new_ic }, CmRunFailed )
-
-                  Right maybe_hvals ->
-                    case maybe_hvals of
-                       Left e -> 
-                           return ( cmstate{ pcs=new_pcs, ic=new_ic }, 
-                                    CmRunException e )
-                       Right hvals -> do
-                            -- Get the newly bound things, and bind them.  
-                            -- Don't forget to delete any shadowed bindings from the
-                            -- closure_env, lest we end up with a space leak.
-                            pls <- delListFromClosureEnv pls shadowed
-                            new_pls <- addListToClosureEnv pls (zip names hvals)
-            
-                            return (cmstate{ pcs=new_pcs, pls=new_pls, ic=new_ic }, 
-                                    CmRunOk names)
+                   Left e -> do
+                       -- on error, keep the *old* interactive context,
+                       -- so that 'it' is not bound to something
+                       -- that doesn't exist.
+                       return ( cmstate, CmRunException e )
+
+                   Right hvals -> do
+                       -- Get the newly bound things, and bind them.  
+                       -- Don't need to delete any shadowed bindings;
+                       -- the new ones override the old ones. 
+                       extendLinkEnv (zip names hvals)
+                       
+                       return (cmstate{ cm_ic=new_ic }, 
+                               CmRunOk names)
 
 
 -- We run the statement in a "sandbox" to protect the rest of the
@@ -358,10 +277,8 @@ cmRunStmt cmstate@CmState{ hst=hst, hit=hit, pcs=pcs, pls=pls, ic=icontext }
 -- consists of just wrapping it in an exception handler, but see below
 -- for another version.
 
-sandboxIO :: IO a -> IO (Either Int (Either Exception a))
-sandboxIO thing = do
-  r <- Exception.try thing
-  return (Right r)
+sandboxIO :: IO a -> IO (Either Exception a)
+sandboxIO thing = Exception.try thing
 
 {-
 -- This version of sandboxIO runs the expression in a completely new
@@ -369,6 +286,8 @@ sandboxIO thing = do
 -- won't be delivered to the new thread, instead they'll be delivered
 -- to the (blocked) GHCi main thread.
 
+-- SLPJ: when re-enabling this, reflect a wrong-stat error as an exception
+
 sandboxIO :: IO a -> IO (Either Int (Either Exception a))
 sandboxIO thing = do
   st_thing <- newStablePtr (Exception.try thing)
@@ -387,143 +306,148 @@ foreign import "rts_evalStableIO"  {- safe -}
   rts_evalStableIO :: StablePtr (IO a) -> Ptr (StablePtr a) -> IO CInt
   -- more informative than the C type!
 -}
-#endif
 
 -----------------------------------------------------------------------------
 -- cmTypeOfExpr: returns a string representing the type of an expression
 
-#ifdef GHCI
-cmTypeOfExpr :: CmState -> DynFlags -> String -> IO (CmState, Maybe String)
-cmTypeOfExpr cmstate dflags expr
-   = do (new_pcs, maybe_stuff) 
-         <- hscStmt dflags hst hit pcs ic expr True{-just an expr-}
-
-       let new_cmstate = cmstate{pcs = new_pcs}
+cmTypeOfExpr :: CmState -> String -> IO (Maybe String)
+cmTypeOfExpr cmstate expr
+   = do maybe_stuff <- hscTcExpr (cm_hsc cmstate) (cm_ic cmstate) expr
 
        case maybe_stuff of
-          Nothing -> return (new_cmstate, Nothing)
-          Just (_, ty, _) -> return (new_cmstate, Just str)
+          Nothing -> return Nothing
+          Just ty -> return (Just str)
             where 
-               str = showSDocForUser unqual (ppr tidy_ty)
-               unqual  = ic_print_unqual ic
+               str     = showSDocForUser unqual (text expr <+> dcolon <+> ppr tidy_ty)
+               unqual  = icPrintUnqual (cm_ic cmstate)
                tidy_ty = tidyType emptyTidyEnv ty
-   where
-       CmState{ hst=hst, hit=hit, pcs=pcs, ic=ic } = cmstate
-#endif
+
 
 -----------------------------------------------------------------------------
 -- cmTypeOfName: returns a string representing the type of a name.
 
-#ifdef GHCI
 cmTypeOfName :: CmState -> Name -> IO (Maybe String)
-cmTypeOfName CmState{ hit=hit, pcs=pcs, ic=ic } name
- = case lookupNameEnv (ic_type_env ic) name of
-       Nothing -> return Nothing
+cmTypeOfName CmState{ cm_ic=ic } name
+ = do 
+    hPutStrLn stderr ("cmTypeOfName: " ++ showSDoc (ppr name))
+    case lookupNameEnv (ic_type_env ic) name of
+       Nothing        -> return Nothing
        Just (AnId id) -> return (Just str)
           where
-            unqual = ic_print_unqual ic
+            unqual = icPrintUnqual ic
             ty = tidyType emptyTidyEnv (idType id)
             str = showSDocForUser unqual (ppr ty)
 
        _ -> panic "cmTypeOfName"
-#endif
 
 -----------------------------------------------------------------------------
 -- cmCompileExpr: compile an expression and deliver an HValue
 
-#ifdef GHCI
-cmCompileExpr :: CmState -> DynFlags -> String -> IO (CmState, Maybe HValue)
-cmCompileExpr cmstate dflags expr
+cmCompileExpr :: CmState -> String -> IO (Maybe HValue)
+cmCompileExpr cmstate expr
    = do 
-       let InteractiveContext { 
-               ic_rn_local_env = rn_env, 
-               ic_type_env     = type_env } = icontext
-
-        (new_pcs, maybe_stuff) 
-           <- hscStmt dflags hst hit pcs icontext 
-                 ("let __cmCompileExpr = "++expr) False{-stmt-}
+        maybe_stuff 
+           <- hscStmt (cm_hsc cmstate) (cm_ic cmstate)
+                      ("let __cmCompileExpr = "++expr)
 
         case maybe_stuff of
-          Nothing -> return (cmstate{ pcs=new_pcs }, Nothing)
-          Just (ids, _, bcos) -> do
+          Nothing -> return Nothing
+          Just (new_ic, names, hval) -> do
 
-               -- link it
-               hval <- linkExpr pls bcos
+                       -- Run it!
+               hvals <- (unsafeCoerce# hval) :: IO [HValue]
 
-               -- run it!
-               let thing_to_run = unsafeCoerce# hval :: IO [HValue]
-               hvals <- thing_to_run
+               case (names,hvals) of
+                 ([n],[hv]) -> return (Just hv)
+                 _          -> panic "cmCompileExpr"
 
-               case (ids,hvals) of
-                 ([id],[hv]) -> return (cmstate{ pcs=new_pcs }, Just hv)
-                 _ -> panic "cmCompileExpr"
+#endif /* GHCI */
+\end{code}
 
-   where
-       CmState{ hst=hst, hit=hit, pcs=pcs, pls=pls, ic=icontext } = cmstate
-#endif
 
+%************************************************************************
+%*                                                                     *
+       Loading and unloading
+%*                                                                     *
+%************************************************************************
+
+\begin{code}
 -----------------------------------------------------------------------------
 -- Unload the compilation manager's state: everything it knows about the
 -- current collection of modules in the Home package.
 
-cmUnload :: CmState -> DynFlags -> IO CmState
-cmUnload state@CmState{ gmode=mode, pls=pls, pcs=pcs } dflags
+cmUnload :: CmState -> IO CmState
+cmUnload state@CmState{ cm_hsc = hsc_env }
  = do -- Throw away the old home dir cache
-      emptyHomeDirCache
+      flushFinderCache
 
       -- Unload everything the linker knows about
-      new_pls <- CmLink.unload mode dflags [] pls 
+      cm_unload hsc_env []
 
       -- Start with a fresh CmState, but keep the PersistentCompilerState
-      new_state <- cmInit mode
-      return new_state{ pcs=pcs, pls=new_pls }
+      return (discardCMInfo state)
 
+cm_unload hsc_env linkables
+  = case hsc_mode hsc_env of
+       Batch -> return ()
+#ifdef GHCI
+       Interactive -> Linker.unload (hsc_dflags hsc_env) linkables
+#else
+       Interactive -> panic "unload: no interpreter"
+#endif
+    
 
 -----------------------------------------------------------------------------
 -- Trace dependency graph
 
 -- This is a seperate pass so that the caller can back off and keep
--- the current state if the downsweep fails.
-
-cmDepAnal :: CmState -> DynFlags -> [FilePath] -> IO ModuleGraph
-cmDepAnal cmstate dflags rootnames
+-- the current state if the downsweep fails.  Typically the caller
+-- might go    cmDepAnal
+--             cmUnload
+--             cmLoadModules
+-- He wants to do the dependency analysis before the unload, so that
+-- if the former fails he can use the later
+
+cmDepAnal :: CmState -> [FilePath] -> IO ModuleGraph
+cmDepAnal cmstate rootnames
   = do showPass dflags "Chasing dependencies"
-       when (verbosity dflags >= 1 && gmode cmstate == Batch) $
+       when (verbosity dflags >= 1 && gmode == Batch) $
            hPutStrLn stderr (showSDoc (hcat [
-            text progName, text ": chasing modules from: ",
+            text "Chasing modules from: ",
             hcat (punctuate comma (map text rootnames))]))
-       downsweep rootnames (mg cmstate)
+       downsweep rootnames (cm_mg cmstate)
+  where
+    hsc_env = cm_hsc cmstate
+    dflags  = hsc_dflags hsc_env
+    gmode   = hsc_mode hsc_env
 
 -----------------------------------------------------------------------------
 -- The real business of the compilation manager: given a system state and
 -- a module name, try and bring the module up to date, probably changing
 -- the system state at the same time.
 
-cmLoadModules :: CmState 
-            -> DynFlags
-             -> ModuleGraph
-             -> IO (CmState,           -- new state
-                   Bool,               -- was successful
-                   [String])           -- list of modules loaded
+cmLoadModules :: CmState               -- The HPT may not be as up to date
+              -> ModuleGraph           -- Bang up to date
+              -> IO (CmState,          -- new state
+                    SuccessFlag,       -- was successful
+                    [String])          -- list of modules loaded
 
-cmLoadModules cmstate1 dflags mg2unsorted
+cmLoadModules cmstate1 mg2unsorted
    = do -- version 1's are the original, before downsweep
-        let pls1      = pls    cmstate1
-        let pcs1      = pcs    cmstate1
-        let hst1      = hst    cmstate1
-        let hit1      = hit    cmstate1
-       -- similarly, ui1 is the (complete) set of linkables from
-       -- the previous pass, if any.
-        let ui1       = ui     cmstate1
-
-        let ghci_mode = gmode cmstate1 -- this never changes
+       let hsc_env   = cm_hsc cmstate1
+        let hpt1      = hsc_HPT hsc_env
+        let ghci_mode = hsc_mode   hsc_env -- this never changes
+        let dflags    = hsc_dflags hsc_env -- this never changes
 
         -- Do the downsweep to reestablish the module graph
         let verb = verbosity dflags
 
        -- Find out if we have a Main module
-        let a_root_is_Main 
-               = any ((=="Main").moduleNameUserString.modSummaryName) 
+       mb_main_mod <- readIORef v_MainModIs
+        let 
+           main_mod = mb_main_mod `orElse` "Main"
+           a_root_is_Main 
+               = any ((==main_mod).moduleNameUserString.modSummaryName) 
                      mg2unsorted
 
         let mg2unsorted_names = map modSummaryName mg2unsorted
@@ -536,20 +460,21 @@ cmLoadModules cmstate1 dflags mg2unsorted
         let mg2 = topological_sort False mg2unsorted
         -- ... whereas this takes them into account.  Used for
         -- backing out partially complete cycles following a failed
-        -- upsweep, and for removing from hst/hit all the modules
+        -- upsweep, and for removing from hpt all the modules
         -- not in strict downwards closure, during calls to compile.
         let mg2_with_srcimps = topological_sort True mg2unsorted
 
        -- Sort out which linkables we wish to keep in the unlinked image.
        -- See getValidLinkables below for details.
        (valid_old_linkables, new_linkables)
-           <- getValidLinkables ghci_mode ui1 
+           <- getValidLinkables ghci_mode (hptLinkables hpt1)
                  mg2unsorted_names mg2_with_srcimps
 
        -- putStrLn (showSDoc (vcat [ppr valid_old_linkables, ppr new_linkables]))
 
-               -- uniq of ModuleName is the same as Module, fortunately...
-       let hit2 = delListFromUFM hit1 (map linkableModName new_linkables)
+               -- Uniq of ModuleName is the same as Module, fortunately...
+       let hpt2 = delListFromUFM hpt1 (map linkableModName new_linkables)
+            hsc_env2 = hsc_env { hsc_HPT = hpt2 }
 
        -- When (verb >= 2) $
         --    putStrLn (showSDoc (text "Valid linkables:" 
@@ -576,12 +501,12 @@ cmLoadModules cmstate1 dflags mg2unsorted
                    valid_old_linkables
 
         when (verb >= 2) $
-           putStrLn (showSDoc (text "Stable modules:" 
+           hPutStrLn stderr (showSDoc (text "Stable modules:" 
                                <+> sep (map (text.moduleNameUserString) stable_mods)))
 
-       -- unload any modules which are going to be re-linked this
+       -- Unload any modules which are going to be re-linked this
        -- time around.
-       pls2 <- CmLink.unload ghci_mode dflags stable_linkables pls1
+       cm_unload hsc_env2 stable_linkables
 
        -- we can now glom together our linkable sets
        let valid_linkables = valid_old_linkables ++ new_linkables
@@ -606,25 +531,20 @@ cmLoadModules cmstate1 dflags mg2unsorted
         -- Now do the upsweep, calling compile for each module in
         -- turn.  Final result is version 3 of everything.
 
-        let threaded2 = CmThreaded pcs1 hst1 hit2
-
        -- clean up between compilations
        let cleanup = cleanTempFilesExcept verb 
-                         (ppFilesFromSummaries (flattenSCCs upsweep_these))
-
-        (upsweep_complete_success, threaded3, modsUpswept, newLis)
-           <- upsweep_mods ghci_mode dflags valid_linkables reachable_from 
-                           threaded2 cleanup upsweep_these
+                         (ppFilesFromSummaries (flattenSCCs mg2))
 
-        let ui3 = add_to_ui valid_linkables newLis
-        let (CmThreaded pcs3 hst3 hit3) = threaded3
+        (upsweep_ok, hsc_env3, modsUpswept)
+           <- upsweep_mods hsc_env2 valid_linkables reachable_from 
+                           cleanup upsweep_these
 
         -- At this point, modsUpswept and newLis should have the same
         -- length, so there is one new (or old) linkable for each 
         -- mod which was processed (passed to compile).
 
        -- Make modsDone be the summaries for each home module now
-       -- available; this should equal the domains of hst3 and hit3.
+       -- available; this should equal the domain of hpt3.
        -- (NOT STRICTLY TRUE if an interactive session was started
        --  with some object on disk ???)
         -- Get in in a roughly top .. bottom order (hence reverse).
@@ -634,7 +554,7 @@ cmLoadModules cmstate1 dflags mg2unsorted
         -- Try and do linking in some form, depending on whether the
         -- upsweep was completely or only partially successful.
 
-        if upsweep_complete_success
+        if succeeded upsweep_ok
 
          then 
            -- Easy; just relink it all.
@@ -644,18 +564,25 @@ cmLoadModules cmstate1 dflags mg2unsorted
              -- clean up after ourselves
              cleanTempFilesExcept verb (ppFilesFromSummaries modsDone)
 
-             -- issue a warning for the confusing case where the user said '-o foo'
-             -- but we're not going to do any linking.
              ofile <- readIORef v_Output_file
-             when (ghci_mode == Batch && isJust ofile && not a_root_is_Main
+             no_hs_main <- readIORef v_NoHsMain
+
+             -- Issue a warning for the confusing case where the user
+             -- said '-o foo' but we're not going to do any linking.
+             -- We attempt linking if either (a) one of the modules is
+             -- called Main, or (b) the user said -no-hs-main, indicating
+             -- that main() is going to come from somewhere else.
+             --
+             let do_linking = a_root_is_Main || no_hs_main
+             when (ghci_mode == Batch && isJust ofile && not do_linking
                     && verb > 0) $
-                hPutStrLn stderr "Warning: output was redirected with -o, but no output will be generated\nbecause there is no Main module."
+                hPutStrLn stderr ("Warning: output was redirected with -o, but no output will be generated\nbecause there is no " ++ main_mod ++ " module.")
 
              -- link everything together
-              linkresult <- link ghci_mode dflags a_root_is_Main ui3 pls2
+              linkresult <- link ghci_mode dflags do_linking (hsc_HPT hsc_env3)
 
-             cmLoadFinish True linkresult 
-                       hst3 hit3 ui3 modsDone ghci_mode pcs3
+             let cmstate3 = cmstate1 { cm_mg = modsDone, cm_hsc = hsc_env3 }
+             cmLoadFinish Succeeded linkresult cmstate3
 
          else 
            -- Tricky.  We need to back out the effects of compiling any
@@ -673,51 +600,41 @@ cmLoadModules cmstate1 dflags mg2unsorted
                      = filter ((`notElem` mods_to_zap_names).modSummaryName) 
                          modsDone
 
-              let (hst4, hit4, ui4)
-                     = retainInTopLevelEnvs (map modSummaryName mods_to_keep) 
-                                            (hst3,hit3,ui3)
+              let hpt4 = retainInTopLevelEnvs (map modSummaryName mods_to_keep) 
+                                             (hsc_HPT hsc_env3)
 
-             -- clean up after ourselves
+             -- Clean up after ourselves
              cleanTempFilesExcept verb (ppFilesFromSummaries mods_to_keep)
 
-             -- link everything together
-              linkresult <- link ghci_mode dflags False ui4 pls2
+             -- Link everything together
+              linkresult <- link ghci_mode dflags False hpt4
 
-             cmLoadFinish False linkresult 
-                   hst4 hit4 ui4 mods_to_keep ghci_mode pcs3
+             let cmstate3 = cmstate1 { cm_mg = mods_to_keep,
+                                       cm_hsc = hsc_env3 { hsc_HPT = hpt4 } }
+             cmLoadFinish Failed linkresult cmstate3
 
 
 -- Finish up after a cmLoad.
 
 -- If the link failed, unload everything and return.
-cmLoadFinish ok (LinkFailed pls) hst hit ui mods ghci_mode pcs = do
-  dflags <- getDynFlags
-  new_pls <- CmLink.unload ghci_mode dflags [] pls 
-  new_state <- cmInit ghci_mode
-  return (new_state{ pcs=pcs, pls=new_pls }, False, [])
+cmLoadFinish ok Failed cmstate
+  = do cm_unload (cm_hsc cmstate) []
+       return (discardCMInfo cmstate, Failed, [])
 
 -- Empty the interactive context and set the module context to the topmost
 -- newly loaded module, or the Prelude if none were loaded.
-cmLoadFinish ok (LinkOK pls) hst hit ui mods ghci_mode pcs
-  = do let new_cmstate = CmState{ hst=hst, hit=hit, ui=ui, mg=mods,
-                                  gmode=ghci_mode, pcs=pcs, pls=pls,
-                                 ic = emptyInteractiveContext }
-           mods_loaded = map (moduleNameUserString.modSummaryName) mods
+cmLoadFinish ok Succeeded cmstate
+  = do let new_cmstate = cmstate { cm_ic = emptyInteractiveContext }
+           mods_loaded = map (moduleNameUserString.modSummaryName) 
+                            (cm_mg cmstate)
 
        return (new_cmstate, ok, mods_loaded)
 
--- used to fish out the preprocess output files for the purposes
--- of cleaning up.
+-- used to fish out the preprocess output files for the purposes of
+-- cleaning up.  The preprocessed file *might* be the same as the
+-- source file, but that doesn't do any harm.
 ppFilesFromSummaries summaries
-  = [ fn | Just fn <- map toPpFile summaries ]
-  where
-   toPpFile sum
-     | hspp /= ml_hs_file loc = hspp
-     | otherwise              = Nothing
-    where
-      loc  = ms_location sum
-      hspp = ml_hspp_file loc
-
+  = [ fn | Just fn <- map (ml_hspp_file.ms_location) summaries ]
 
 -----------------------------------------------------------------------------
 -- getValidLinkables
@@ -796,17 +713,21 @@ getValidLinkablesSCC mode old_linkables all_home_mods new_linkables scc0
 
 getValidLinkable :: [Linkable] -> Bool -> [(Linkable,Bool)] -> ModSummary 
        -> IO [(Linkable,Bool)]
-       -- True <=> linkable is new
+       -- True <=> linkable is new; i.e. freshly discovered on the disk
+       --                                presumably generated 'on the side'
+       --                                by a separate GHC run
 getValidLinkable old_linkables objects_allowed new_linkables summary 
+       -- 'objects_allowed' says whether we permit this module to
+       -- have a .o-file linkable.  We only permit it if all the
+       -- modules it depends on also have .o files; a .o file can't
+       -- link to a bytecode module
    = do let mod_name = modSummaryName summary
 
        maybe_disk_linkable
           <- if (not objects_allowed)
                then return Nothing
 
-               else case ml_obj_file (ms_location summary) of
-                       Just obj_fn -> maybe_getFileLinkable mod_name obj_fn
-                       Nothing     -> return Nothing
+               else findLinkable mod_name (ms_location summary)
 
        let old_linkable = findModuleLinkable_maybe old_linkables mod_name
 
@@ -850,19 +771,10 @@ getValidLinkable old_linkables objects_allowed new_linkables summary
        return (new_linkables' ++ new_linkables)
 
 
-maybe_getFileLinkable :: ModuleName -> FilePath -> IO (Maybe Linkable)
-maybe_getFileLinkable mod obj_fn
-   = do obj_exist <- doesFileExist obj_fn
-        if not obj_exist 
-         then return Nothing 
-         else 
-         do let stub_fn = case splitFilename3 obj_fn of
-                             (dir, base, ext) -> dir ++ "/" ++ base ++ ".stub_o"
-            stub_exist <- doesFileExist stub_fn
-            obj_time <- getModificationTime obj_fn
-            if stub_exist
-             then return (Just (LM obj_time mod [DotO obj_fn, DotO stub_fn]))
-             else return (Just (LM obj_time mod [DotO obj_fn]))
+hptLinkables :: HomePackageTable -> [Linkable]
+-- Get all the linkables from the home package table, one for each module
+-- Once the HPT is up to date, these are the ones we should link
+hptLinkables hpt = map hm_linkable (moduleEnvElts hpt)
 
 
 -----------------------------------------------------------------------------
@@ -872,7 +784,7 @@ maybe_getFileLinkable mod obj_fn
 -- a stable module:
 --     * has a valid linkable (see getValidLinkables above)
 --     * depends only on stable modules
---     * has an interface in the HIT (interactive mode only)
+--     * has an interface in the HPT (interactive mode only)
 
 preUpsweep :: [Linkable]       -- new valid linkables
            -> [ModuleName]     -- names of all mods encountered in downsweep
@@ -941,150 +853,117 @@ findPartiallyCompletedCycles modsDone theGraph
              else chewed_rest
 
 
--- Add the given (LM-form) Linkables to the UI, overwriting previous
--- versions if they exist.
-add_to_ui :: UnlinkedImage -> [Linkable] -> UnlinkedImage
-add_to_ui ui lis
-   = filter (not_in lis) ui ++ lis
-     where
-        not_in :: [Linkable] -> Linkable -> Bool
-        not_in lis li
-           = all (\l -> linkableModName l /= mod) lis
-           where mod = linkableModName li
-                                  
-
-data CmThreaded  -- stuff threaded through individual module compilations
-   = CmThreaded PersistentCompilerState HomeSymbolTable HomeIfaceTable
-
-
 -- Compile multiple modules, stopping as soon as an error appears.
 -- There better had not be any cyclic groups here -- we check for them.
-upsweep_mods :: GhciMode
-            -> DynFlags
-             -> UnlinkedImage         -- valid linkables
+upsweep_mods :: HscEnv                 -- Includes up-to-date HPT
+             -> [Linkable]             -- Valid linkables
              -> (ModuleName -> [ModuleName])  -- to construct downward closures
-             -> CmThreaded            -- PCS & HST & HIT
             -> IO ()                 -- how to clean up unwanted tmp files
              -> [SCC ModSummary]      -- mods to do (the worklist)
                                       -- ...... RETURNING ......
-             -> IO (Bool{-complete success?-},
-                    CmThreaded,
-                    [ModSummary],     -- mods which succeeded
-                    [Linkable])       -- new linkables
+             -> IO (SuccessFlag,
+                    HscEnv,            -- With an updated HPT
+                    [ModSummary])      -- Mods which succeeded
 
-upsweep_mods ghci_mode dflags oldUI reachable_from threaded cleanup
+upsweep_mods hsc_env oldUI reachable_from cleanup
      []
-   = return (True, threaded, [], [])
+   = return (Succeeded, hsc_env, [])
 
-upsweep_mods ghci_mode dflags oldUI reachable_from threaded cleanup
+upsweep_mods hsc_env oldUI reachable_from cleanup
      ((CyclicSCC ms):_)
    = do hPutStrLn stderr ("Module imports form a cycle for modules:\n\t" ++
                           unwords (map (moduleNameUserString.modSummaryName) ms))
-        return (False, threaded, [], [])
+        return (Failed, hsc_env, [])
 
-upsweep_mods ghci_mode dflags oldUI reachable_from threaded cleanup
+upsweep_mods hsc_env oldUI reachable_from cleanup
      ((AcyclicSCC mod):mods)
-   = do --case threaded of
-        --   CmThreaded pcsz hstz hitz
-        --      -> putStrLn ("UPSWEEP_MOD: hit = " ++ show (map (moduleNameUserString.moduleName.mi_module) (eltsUFM hitz)))
+   = do -- putStrLn ("UPSWEEP_MOD: hpt = " ++ 
+       --           show (map (moduleNameUserString.moduleName.mi_module.hm_iface) (eltsUFM (hsc_HPT hsc_env)))
 
-        (threaded1, maybe_linkable) 
-           <- upsweep_mod ghci_mode dflags oldUI threaded mod 
-                          (reachable_from (modSummaryName mod))
+        (ok_flag, hsc_env1) <- upsweep_mod hsc_env oldUI mod 
+                                           (reachable_from (modSummaryName mod))
 
-       -- remove unwanted tmp files between compilations
-       cleanup
+       cleanup         -- Remove unwanted tmp files between compilations
 
-        case maybe_linkable of
-           Just linkable 
-              -> -- No errors; do the rest
-                 do (restOK, threaded2, modOKs, linkables) 
-                       <- upsweep_mods ghci_mode dflags oldUI reachable_from 
-                                       threaded1 cleanup mods
-                    return (restOK, threaded2, mod:modOKs, linkable:linkables)
-           Nothing -- we got a compilation error; give up now
-              -> return (False, threaded1, [], [])
+        if failed ok_flag then
+            return (Failed, hsc_env1, [])
+         else do 
+            (restOK, hsc_env2, modOKs) 
+                       <- upsweep_mods hsc_env1 oldUI reachable_from cleanup mods
+             return (restOK, hsc_env2, mod:modOKs)
 
 
 -- Compile a single module.  Always produce a Linkable for it if 
 -- successful.  If no compilation happened, return the old Linkable.
-upsweep_mod :: GhciMode 
-           -> DynFlags
+upsweep_mod :: HscEnv
             -> UnlinkedImage
-            -> CmThreaded
             -> ModSummary
             -> [ModuleName]
-            -> IO (CmThreaded, Maybe Linkable)
+            -> IO (SuccessFlag, 
+                  HscEnv)              -- With updated HPT
 
-upsweep_mod ghci_mode dflags oldUI threaded1 summary1 reachable_inc_me
+upsweep_mod hsc_env oldUI summary1 reachable_inc_me
    = do 
-        let mod_name = modSummaryName summary1
+        let this_mod = ms_mod summary1
+           location = ms_location summary1
+           mod_name = moduleName this_mod
+           hpt1     = hsc_HPT hsc_env
 
-        let (CmThreaded pcs1 hst1 hit1) = threaded1
-        let old_iface = lookupUFM hit1 mod_name
+        let mb_old_iface = case lookupModuleEnvByName hpt1 mod_name of
+                            Just mod_info -> Just (hm_iface mod_info)
+                            Nothing       -> Nothing
 
         let maybe_old_linkable = findModuleLinkable_maybe oldUI mod_name
+            source_unchanged   = isJust maybe_old_linkable
 
-            source_unchanged = isJust maybe_old_linkable
+           reachable_only = filter (/= mod_name) reachable_inc_me
 
-           reachable_only = filter (/= (modSummaryName summary1)) 
-                               reachable_inc_me
-
-          -- in interactive mode, all home modules below us *must* have an
-          -- interface in the HIT.  We never demand-load home interfaces in
+          -- In interactive mode, all home modules below us *must* have an
+          -- interface in the HPT.  We never demand-load home interfaces in
           -- interactive mode.
-            (hst1_strictDC, hit1_strictDC, [])
-               = ASSERT(ghci_mode == Batch || 
-                       all (`elemUFM` hit1) reachable_only)
-                retainInTopLevelEnvs reachable_only (hst1,hit1,[])
+            hpt1_strictDC
+               = ASSERT(hsc_mode hsc_env == Batch || all (`elemUFM` hpt1) reachable_only)
+                retainInTopLevelEnvs reachable_only hpt1
+           hsc_env_strictDC = hsc_env { hsc_HPT = hpt1_strictDC }
 
-            old_linkable 
-               = expectJust "upsweep_mod:old_linkable" maybe_old_linkable
+            old_linkable = expectJust "upsweep_mod:old_linkable" maybe_old_linkable
 
            have_object 
               | Just l <- maybe_old_linkable, isObjectLinkable l = True
               | otherwise = False
 
-        compresult <- compile ghci_mode summary1 source_unchanged
-                        have_object old_iface hst1_strictDC hit1_strictDC pcs1
+        compresult <- compile hsc_env_strictDC this_mod location 
+                             source_unchanged have_object mb_old_iface
 
         case compresult of
 
            -- Compilation "succeeded", and may or may not have returned a new
            -- linkable (depending on whether compilation was actually performed
           -- or not).
-           CompOK pcs2 new_details new_iface maybe_new_linkable
-              -> do let hst2      = addToUFM hst1 mod_name new_details
-                        hit2      = addToUFM hit1 mod_name new_iface
-                        threaded2 = CmThreaded pcs2 hst2 hit2
-
-                    return (threaded2, if isJust maybe_new_linkable
-                                         then maybe_new_linkable
-                                         else Just old_linkable)
-
-           -- Compilation failed.  compile may still have updated
-           -- the PCS, tho.
-           CompErrs pcs2
-             -> do let threaded2 = CmThreaded pcs2 hst1 hit1
-                    return (threaded2, Nothing)
-
--- Filter modules in the top level envs (HST, HIT, UI).
-retainInTopLevelEnvs :: [ModuleName]
-                        -> (HomeSymbolTable, HomeIfaceTable, UnlinkedImage)
-                        -> (HomeSymbolTable, HomeIfaceTable, UnlinkedImage)
-retainInTopLevelEnvs keep_these (hst, hit, ui)
-   = (retainInUFM hst keep_these,
-      retainInUFM hit keep_these,
-      filterModuleLinkables (`elem` keep_these) ui
-     )
-     where
-        retainInUFM :: Uniquable key => UniqFM elt -> [key] -> UniqFM elt
-        retainInUFM ufm keys_to_keep
-           = listToUFM (concatMap (maybeLookupUFM ufm) keys_to_keep)
-        maybeLookupUFM ufm u 
-           = case lookupUFM ufm u of Nothing -> []; Just val -> [(u, val)] 
+           CompOK new_details new_globals new_iface maybe_new_linkable
+              -> do let 
+                       new_linkable = maybe_new_linkable `orElse` old_linkable
+                       new_info = HomeModInfo { hm_iface = new_iface,
+                                                hm_globals = new_globals,
+                                                hm_details = new_details,
+                                                hm_linkable = new_linkable }
+                       hpt2      = extendModuleEnv hpt1 this_mod new_info
+
+                    return (Succeeded, hsc_env { hsc_HPT = hpt2 })
+
+           -- Compilation failed.  Compile may still have updated the PCS, tho.
+           CompErrs -> return (Failed, hsc_env)
+
+-- Filter modules in the HPT
+retainInTopLevelEnvs :: [ModuleName] -> HomePackageTable -> HomePackageTable
+retainInTopLevelEnvs keep_these hpt
+   = listToUFM (concatMap (maybeLookupUFM hpt) keep_these)
+   where
+     maybeLookupUFM ufm u  = case lookupUFM ufm u of 
+                               Nothing  -> []
+                               Just val -> [(u, val)] 
 
--- Needed to clean up HIT and HST so that we don't get duplicates in inst env
+-- Needed to clean up HPT so that we don't get duplicates in inst env
 downwards_closure_of_module :: [ModSummary] -> ModuleName -> [ModuleName]
 downwards_closure_of_module summaries root
    = let toEdge :: ModSummary -> (ModuleName,[ModuleName])
@@ -1127,7 +1006,7 @@ topological_sort include_source_imports summaries
                  Nothing -> panic "reverse_topological_sort"
                  Just mk -> (summ, mk, 
                                 -- ignore imports not from the home package
-                                catMaybes (map (flip lookup key_map) m_imports))
+                             mapCatMaybes (flip lookup key_map) m_imports)
 
          edges     = map toEdge summaries
          key_map   = zip [nm | (s,nm,imps) <- edges] [1 ..] :: [(ModuleName,Int)]
@@ -1151,6 +1030,7 @@ topological_sort include_source_imports summaries
 downsweep :: [FilePath] -> [ModSummary] -> IO [ModSummary]
 downsweep roots old_summaries
    = do rootSummaries <- mapM getRootSummary roots
+       checkDuplicates rootSummaries
         all_summaries
            <- loop (concat (map (\ m -> zip (repeat (fromMaybe "<unknown>" (ml_hs_file (ms_location m))))
                                            (ms_imps m)) rootSummaries))
@@ -1161,7 +1041,7 @@ downsweep roots old_summaries
      where
        getRootSummary :: FilePath -> IO ModSummary
        getRootSummary file
-          | haskellish_src_file file
+          | isHaskellSrcFilename file
           = do exists <- doesFileExist file
                if exists then summariseFile file else do
                throwDyn (CmdLineError ("can't find file `" ++ file ++ "'"))    
@@ -1179,19 +1059,33 @@ downsweep roots old_summaries
                 hs_file = file ++ ".hs"
                 lhs_file = file ++ ".lhs"
 
+       -- In a root module, the filename is allowed to diverge from the module
+       -- name, so we have to check that there aren't multiple root files
+       -- defining the same module (otherwise the duplicates will be silently
+       -- ignored, leading to confusing behaviour).
+       checkDuplicates :: [ModSummary] -> IO ()
+       checkDuplicates summaries = mapM_ check summaries
+         where check summ = 
+                 case dups of
+                       []     -> return ()
+                       [_one] -> return ()
+                       many   -> multiRootsErr modl many
+                  where modl = ms_mod summ
+                        dups = 
+                          [ fromJust (ml_hs_file (ms_location summ'))
+                          | summ' <- summaries, ms_mod summ' == modl ]
+
         getSummary :: (FilePath,ModuleName) -> IO (Maybe ModSummary)
         getSummary (currentMod,nm)
            = do found <- findModule nm
                case found of
-                  Just (mod, location) -> do
+                  Right (mod, location) -> do
                        let old_summary = findModInSummaries old_summaries mod
                        summarise mod location old_summary
 
-                  Nothing -> 
-                       throwDyn (CmdLineError 
-                                   ("can't find module `" 
-                                     ++ showSDoc (ppr nm) ++ "' (while processing " 
-                                    ++ show currentMod ++ ")"))
+                  Left files -> do
+                       dflags <- getDynFlags
+                       throwDyn (noModError dflags currentMod nm files)
 
         -- loop invariant: env doesn't contain package modules
         loop :: [(FilePath,ModuleName)] -> ModuleEnv ModSummary -> IO [ModSummary]
@@ -1212,6 +1106,18 @@ downsweep roots old_summaries
                 loop new_imps (extendModuleEnvList env 
                                [ (ms_mod s, s) | s <- new_home_summaries ])
 
+-- ToDo: we don't have a proper line number for this error
+noModError dflags loc mod_nm files = ProgramError (showSDoc (
+  hang (text loc <> colon) 4 $
+    (text "Can't find module" <+> quotes (ppr mod_nm) $$ extra)
+  ))
+  where
+   extra
+    | verbosity dflags < 3 =
+        text "(use -v to see a list of the files searched for)"
+    | otherwise =
+        hang (ptext SLIT("locations searched:")) 4 (vcat (map text files))
+
 -----------------------------------------------------------------------------
 -- Summarising modules
 
@@ -1230,24 +1136,23 @@ summariseFile file
    = do hspp_fn <- preprocess file
         (srcimps,imps,mod_name) <- getImportsFromFile hspp_fn
 
-        let (path, basename, _ext) = splitFilename3 file
-            -- GHC.Prim doesn't exist physically, so don't go looking for it.
+        let -- GHC.Prim doesn't exist physically, so don't go looking for it.
             the_imps = filter (/= gHC_PRIM_Name) imps
 
-       (mod, location)
-          <- mkHomeModuleLocn mod_name (path ++ '/':basename) file
+       (mod, location) <- mkHomeModLocation mod_name file
 
         src_timestamp
            <- case ml_hs_file location of 
                  Nothing     -> noHsFileErr mod_name
                  Just src_fn -> getModificationTime src_fn
 
-        return (ModSummary mod
-                           location{ml_hspp_file=Just hspp_fn}
-                           srcimps the_imps src_timestamp)
+        return (ModSummary { ms_mod = mod, 
+                             ms_location = location{ml_hspp_file=Just hspp_fn},
+                             ms_srcimps = srcimps, ms_imps = the_imps,
+                            ms_hs_date = src_timestamp })
 
 -- Summarise a module, and pick up source and timestamp.
-summarise :: Module -> ModuleLocation -> Maybe ModSummary
+summarise :: Module -> ModLocation -> Maybe ModSummary
         -> IO (Maybe ModSummary)
 summarise mod location old_summary
    | not (isHomeModule mod) = return Nothing
@@ -1290,4 +1195,56 @@ packageModErr mod
   = throwDyn (CmdLineError (showSDoc (text "module" <+>
                                   quotes (ppr mod) <+>
                                   text "is a package module")))
+
+multiRootsErr mod files
+  = throwDyn (ProgramError (showSDoc (
+       text "module" <+> quotes (ppr mod) <+> 
+       text "is defined in multiple files:" <+>
+       sep (map text files))))
+\end{code}
+
+
+%************************************************************************
+%*                                                                     *
+               The ModSummary Type
+%*                                                                     *
+%************************************************************************
+
+\begin{code}
+-- The ModLocation contains both the original source filename and the
+-- filename of the cleaned-up source file after all preprocessing has been
+-- done.  The point is that the summariser will have to cpp/unlit/whatever
+-- all files anyway, and there's no point in doing this twice -- just 
+-- park the result in a temp file, put the name of it in the location,
+-- and let @compile@ read from that file on the way back up.
+
+
+type ModuleGraph = [ModSummary]  -- the module graph, topologically sorted
+
+emptyMG :: ModuleGraph
+emptyMG = []
+
+data ModSummary
+   = ModSummary {
+        ms_mod      :: Module,                 -- name, package
+        ms_location :: ModLocation,            -- location
+        ms_srcimps  :: [ModuleName],           -- source imports
+        ms_imps     :: [ModuleName],           -- non-source imports
+        ms_hs_date  :: ClockTime               -- timestamp of summarised file
+     }
+
+instance Outputable ModSummary where
+   ppr ms
+      = sep [text "ModSummary {",
+             nest 3 (sep [text "ms_hs_date = " <> text (show (ms_hs_date ms)),
+                          text "ms_mod =" <+> ppr (ms_mod ms) <> comma,
+                          text "ms_imps =" <+> ppr (ms_imps ms),
+                          text "ms_srcimps =" <+> ppr (ms_srcimps ms)]),
+             char '}'
+            ]
+
+ms_allimps ms = ms_srcimps ms ++ ms_imps ms
+
+modSummaryName :: ModSummary -> ModuleName
+modSummaryName = moduleName . ms_mod
 \end{code}