[project @ 2002-02-12 15:17:13 by simonmar]
[ghc-hetmet.git] / ghc / compiler / compMan / CompManager.lhs
index 553dfab..2e56d37 100644 (file)
 %
-% (c) The University of Glasgow, 2000
+% (c) The University of Glasgow, 2002
+%
+% The Compilation Manager
 %
-\section[CompManager]{The Compilation Manager}
-
 \begin{code}
-module CompManager ( cmInit, cmLoadModule, cmUnload,
+{-# OPTIONS -fvia-C #-}
+module CompManager ( 
+    ModuleGraph, 
+
+    CmState, emptyCmState,  -- abstract
+
+    cmInit,       -- :: GhciMode -> IO CmState
+
+    cmDepAnal,    -- :: CmState -> DynFlags -> [FilePath] -> IO ModuleGraph
+
+    cmLoadModules, -- :: CmState -> DynFlags -> ModuleGraph
+                  --    -> IO (CmState, [String])
+
+    cmUnload,     -- :: CmState -> DynFlags -> IO CmState
+
 #ifdef GHCI
-                     cmGetExpr, cmRunExpr,
+    cmModuleIsInterpreted, -- :: CmState -> String -> IO Bool
+
+    cmSetContext,  -- :: CmState -> DynFlags -> [String] -> [String] -> IO CmState
+    cmGetContext,  -- :: CmState -> IO ([String],[String])
+
+    cmInfoThing,   -- :: CmState -> DynFlags -> String
+                  --   -> IO (CmState, [(TyThing,Fixity)])
+
+    cmBrowseModule, -- :: CmState -> IO [TyThing]
+
+    CmRunResult(..),
+    cmRunStmt,    -- :: CmState -> DynFlags -> String
+                  --    -> IO (CmState, CmRunResult)
+
+    cmTypeOfExpr,  -- :: CmState -> DynFlags -> String
+                  --   -> IO (CmState, Maybe String)
+
+    cmTypeOfName,  -- :: CmState -> Name -> IO (Maybe String)
+
+    HValue,
+    cmCompileExpr, -- :: CmState -> DynFlags -> String 
+                  --   -> IO (CmState, Maybe HValue)
+
+    cmGetModuleGraph,          -- :: CmState -> ModuleGraph
+    cmGetLinkables,            -- :: CmState -> [Linkable]
+
+    cmGetBindings,     -- :: CmState -> [TyThing]
+    cmGetPrintUnqual,  -- :: CmState -> PrintUnqualified
 #endif
-                     CmState, emptyCmState  -- abstract
-                   )
+
+    -- utils
+    showModMsg,                -- 
+  )
 where
 
 #include "HsVersions.h"
 
+import MkIface --tmp
+import HsSyn   -- tmp
+
 import CmLink
 import CmTypes
-import HscTypes
-import Module          ( ModuleName, moduleName,
-                         isHomeModule, moduleEnvElts,
-                         moduleNameUserString )
-import CmStaticInfo    ( GhciMode(..) )
 import DriverPipeline
-import GetImports
-import HscTypes                ( HomeSymbolTable, HomeIfaceTable, 
-                         PersistentCompilerState, ModDetails(..) )
-import Name            ( lookupNameEnv )
-import Module
-import PrelNames       ( mainName )
-import HscMain         ( initPersistentCompilerState )
+import DriverState     ( v_Output_file )
+import DriverPhases
+import DriverUtil
 import Finder
-import UniqFM          ( emptyUFM, lookupUFM, addToUFM, delListFromUFM,
-                         UniqFM, listToUFM, eltsUFM )
+#ifdef GHCI
+import HscMain         ( initPersistentCompilerState, hscThing, 
+                         hscModuleContents )
+#else
+import HscMain         ( initPersistentCompilerState )
+#endif
+import HscTypes
+import Name            ( Name, NamedThing(..), nameRdrName, nameModule,
+                         isHomePackageName, isGlobalName )
+import NameEnv
+import Rename          ( mkGlobalContext )
+import RdrName         ( emptyRdrEnv )
+import Module
+import GetImports
+import UniqFM
 import Unique          ( Uniquable )
-import Digraph         ( SCC(..), stronglyConnComp, flattenSCC )
-import DriverFlags     ( getDynFlags )
-import DriverPhases
-import DriverUtil      ( BarfKind(..), splitFilename3 )
+import Digraph         ( SCC(..), stronglyConnComp, flattenSCC, flattenSCCs )
 import ErrUtils                ( showPass )
+import SysTools                ( cleanTempFilesExcept )
 import Util
-import DriverUtil
 import Outputable
-import Panic           ( panic )
-import CmdLineOpts     ( DynFlags(..) )
+import Panic
+import CmdLineOpts     ( DynFlags(..), getDynFlags )
+
+import IOExts
 
 #ifdef GHCI
+import RdrName         ( lookupRdrEnv )
+import Id              ( idType, idName )
+import Type            ( tidyType )
+import VarEnv          ( emptyTidyEnv )
+import BasicTypes      ( Fixity, defaultFixity )
 import Interpreter     ( HValue )
-import HscMain         ( hscExpr )
-import Type            ( Type )
-import PrelGHC         ( unsafeCoerce# )
+import HscMain         ( hscStmt )
+import GlaExts         ( unsafeCoerce# )
+import Foreign
+import CForeign
+import Exception       ( Exception, try )
 #endif
 
 -- lang
 import Exception       ( throwDyn )
 
 -- std
-import Time             ( ClockTime )
 import Directory        ( getModificationTime, doesFileExist )
 import IO
 import Monad
 import List            ( nub )
-import Maybe           ( catMaybes, fromMaybe, isJust, maybeToList )
+import Maybe
 \end{code}
 
 
 \begin{code}
-cmInit :: GhciMode -> IO CmState
-cmInit gmode
-   = emptyCmState gmode
-
-#ifdef GHCI
-cmGetExpr :: CmState
-         -> DynFlags
-          -> ModuleName
-          -> String
-          -> IO (CmState, Maybe (HValue, PrintUnqualified, Type))
-cmGetExpr cmstate dflags modname expr
-   = do (new_pcs, maybe_stuff) <- 
-          hscExpr dflags hst hit pcs (mkHomeModule modname) expr
-        case maybe_stuff of
-          Nothing     -> return (cmstate{ pcs=new_pcs }, Nothing)
-          Just (uiexpr, print_unqual, ty) -> do
-               hValue <- linkExpr pls uiexpr
-               return (cmstate{ pcs=new_pcs }, 
-                       Just (hValue, print_unqual, ty))
-
-   -- ToDo: check that the module we passed in is sane/exists?
-   where
-       CmState{ pcs=pcs, pcms=pcms, pls=pls } = cmstate
-       PersistentCMState{ hst=hst, hit=hit } = pcms
-
--- The HValue should represent a value of type IO () (Perhaps IO a?)
-cmRunExpr :: HValue -> IO ()
-cmRunExpr hval
-   = do unsafeCoerce# hval :: IO ()
-       -- putStrLn "done."
-#endif
-
--- Persistent state just for CM, excluding link & compile subsystems
-data PersistentCMState
-   = PersistentCMState {
+-- Persistent state for the entire system
+data CmState
+   = CmState {
         hst   :: HomeSymbolTable,    -- home symbol table
         hit   :: HomeIfaceTable,     -- home interface table
         ui    :: UnlinkedImage,      -- the unlinked images
         mg    :: ModuleGraph,        -- the module graph
-        gmode :: GhciMode            -- NEVER CHANGES
-     }
-
-emptyPCMS :: GhciMode -> PersistentCMState
-emptyPCMS gmode
-  = PersistentCMState { hst = emptyHST, hit = emptyHIT,
-                        ui  = emptyUI,  mg  = emptyMG, 
-                        gmode = gmode }
-
-emptyHIT :: HomeIfaceTable
-emptyHIT = emptyUFM
-emptyHST :: HomeSymbolTable
-emptyHST = emptyUFM
-
+        gmode :: GhciMode,           -- NEVER CHANGES
+       ic    :: InteractiveContext, -- command-line binding info
 
-
--- Persistent state for the entire system
-data CmState
-   = CmState {
-        pcms   :: PersistentCMState,       -- CM's persistent state
         pcs    :: PersistentCompilerState, -- compile's persistent state
         pls    :: PersistentLinkerState    -- link's persistent state
      }
 
 emptyCmState :: GhciMode -> IO CmState
 emptyCmState gmode
-    = do let pcms = emptyPCMS gmode
-         pcs     <- initPersistentCompilerState
+    = do pcs     <- initPersistentCompilerState
          pls     <- emptyPLS
-         return (CmState { pcms   = pcms,
+         return (CmState { hst    = emptySymbolTable,
+                           hit    = emptyIfaceTable,
+                           ui     = emptyUI,
+                           mg     = emptyMG, 
+                           gmode  = gmode,
+                          ic     = emptyInteractiveContext,
                            pcs    = pcs,
                            pls    = pls })
 
+emptyInteractiveContext
+  = InteractiveContext { ic_toplev_scope = [],
+                        ic_exports = [],
+                        ic_rn_gbl_env = emptyRdrEnv,
+                        ic_print_unqual = alwaysQualify,
+                        ic_rn_local_env = emptyRdrEnv,
+                        ic_type_env = emptyTypeEnv }
+
 -- CM internal types
 type UnlinkedImage = [Linkable]        -- the unlinked images (should be a set, really)
 emptyUI :: UnlinkedImage
@@ -146,69 +164,372 @@ type ModuleGraph = [ModSummary]  -- the module graph, topologically sorted
 emptyMG :: ModuleGraph
 emptyMG = []
 
-\end{code}
+-----------------------------------------------------------------------------
+-- Produce an initial CmState.
 
-Unload the compilation manager's state: everything it knows about the
-current collection of modules in the Home package.
+cmInit :: GhciMode -> IO CmState
+cmInit mode = emptyCmState mode
 
-\begin{code}
-cmUnload :: CmState -> IO CmState
-cmUnload state 
+-----------------------------------------------------------------------------
+-- Grab information from the CmState
+
+cmGetModuleGraph        = mg
+cmGetLinkables          = ui
+
+cmGetBindings cmstate = nameEnvElts (ic_type_env (ic cmstate))
+cmGetPrintUnqual cmstate = ic_print_unqual (ic cmstate)
+
+-----------------------------------------------------------------------------
+-- Setting the context doesn't throw away any bindings; the bindings
+-- we've built up in the InteractiveContext simply move to the new
+-- module.  They always shadow anything in scope in the current context.
+
+cmSetContext
+       :: CmState -> DynFlags
+       -> [String]             -- take the top-level scopes of these modules
+       -> [String]             -- and the just the exports from these
+       -> IO CmState
+cmSetContext cmstate dflags toplevs exports = do 
+  let CmState{ hit=hit, hst=hst, pcs=pcs, ic=old_ic } = cmstate
+
+  toplev_mods <- mapM (getTopLevModule hit)    (map mkModuleName toplevs)
+  export_mods <- mapM (moduleNameToModule hit) (map mkModuleName exports)
+
+  (new_pcs, print_unqual, maybe_env)
+      <- mkGlobalContext dflags hit hst pcs toplev_mods export_mods
+
+  case maybe_env of 
+    Nothing -> return cmstate
+    Just env -> return cmstate{ pcs = new_pcs,
+                               ic = old_ic{ ic_toplev_scope = toplev_mods,
+                                            ic_exports = export_mods,
+                                            ic_rn_gbl_env = env,
+                                            ic_print_unqual = print_unqual } }
+
+getTopLevModule hit mn =
+  case lookupModuleEnvByName hit mn of
+    Just iface
+      | Just _ <- mi_globals iface -> return (mi_module iface)
+    _other -> throwDyn (CmdLineError (
+         "cannot enter the top-level scope of a compiled module (module `" ++
+          moduleNameUserString mn ++ "')"))
+
+moduleNameToModule :: HomeIfaceTable -> ModuleName -> IO Module
+moduleNameToModule hit mn = do
+  case lookupModuleEnvByName hit mn of
+    Just iface -> return (mi_module iface)
+    _not_a_home_module -> do
+         maybe_stuff <- findModule mn
+         case maybe_stuff of
+           Nothing -> throwDyn (CmdLineError ("can't find module `"
+                                   ++ moduleNameUserString mn ++ "'"))
+           Just (m,_) -> return m
+
+cmGetContext :: CmState -> IO ([String],[String])
+cmGetContext CmState{ic=ic} = 
+  return (map moduleUserString (ic_toplev_scope ic), 
+         map moduleUserString (ic_exports ic))
+
+cmModuleIsInterpreted :: CmState -> String -> IO Bool
+cmModuleIsInterpreted cmstate str 
+ = case lookupModuleEnvByName (hit cmstate) (mkModuleName str) of
+      Just iface         -> return (not (isNothing (mi_globals iface)))
+      _not_a_home_module -> return False
+
+-----------------------------------------------------------------------------
+-- cmInfoThing: convert a String to a TyThing
+
+-- A string may refer to more than one TyThing (eg. a constructor,
+-- and type constructor), so we return a list of all the possible TyThings.
+
+#ifdef GHCI
+cmInfoThing :: CmState -> DynFlags -> String -> IO (CmState, [(TyThing,Fixity)])
+cmInfoThing cmstate dflags id
+   = do (new_pcs, things) <- hscThing dflags hst hit pcs icontext id
+       let pairs = map (\x -> (x, getFixity new_pcs (getName x))) things
+       return (cmstate{ pcs=new_pcs }, pairs)
+   where
+     CmState{ hst=hst, hit=hit, pcs=pcs, pls=pls, ic=icontext } = cmstate
+
+     getFixity :: PersistentCompilerState -> Name -> Fixity
+     getFixity pcs name
+       | isGlobalName name,
+         Just iface  <- lookupModuleEnv iface_table (nameModule name),
+         Just fixity <- lookupNameEnv (mi_fixities iface) name
+         = fixity
+       | otherwise
+         = defaultFixity
+       where iface_table | isHomePackageName name = hit
+                         | otherwise              = pcs_PIT pcs
+#endif
+
+-- ---------------------------------------------------------------------------
+-- cmBrowseModule: get all the TyThings defined in a module
+
+#ifdef GHCI
+cmBrowseModule :: CmState -> DynFlags -> String -> Bool 
+       -> IO (CmState, [TyThing])
+cmBrowseModule cmstate dflags str exports_only = do
+  let mn = mkModuleName str
+  mod <- moduleNameToModule hit mn
+  (pcs1, maybe_ty_things) 
+       <- hscModuleContents dflags hst hit pcs mod exports_only
+  case maybe_ty_things of
+       Nothing -> return (cmstate{pcs=pcs1}, [])
+       Just ty_things -> return (cmstate{pcs=pcs1}, ty_things)
+  where
+     CmState{ hst=hst, hit=hit, pcs=pcs, pls=pls, ic=icontext } = cmstate
+#endif
+
+-----------------------------------------------------------------------------
+-- cmRunStmt:  Run a statement/expr.
+
+#ifdef GHCI
+data CmRunResult
+  = CmRunOk [Name]             -- names bound by this evaluation
+  | CmRunFailed 
+  | CmRunException Exception   -- statement raised an exception
+
+cmRunStmt :: CmState -> DynFlags -> String -> IO (CmState, CmRunResult)                
+cmRunStmt cmstate@CmState{ hst=hst, hit=hit, pcs=pcs, pls=pls, ic=icontext }
+          dflags expr
+   = do 
+       let InteractiveContext { 
+               ic_rn_local_env = rn_env, 
+               ic_type_env     = type_env } = icontext
+
+        (new_pcs, maybe_stuff) 
+           <- hscStmt dflags hst hit pcs icontext expr False{-stmt-}
+
+        case maybe_stuff of
+          Nothing -> return (cmstate{ pcs=new_pcs }, CmRunFailed)
+          Just (ids, _, bcos) -> do
+
+               -- update the interactive context
+               let 
+                   names = map idName ids
+
+                   -- these names have just been shadowed
+                   shadowed = [ n | r <- map nameRdrName names,
+                                    Just n <- [lookupRdrEnv rn_env r] ]
+                   
+                   new_rn_env   = extendLocalRdrEnv rn_env names
+
+                   -- remove any shadowed bindings from the type_env
+                   filtered_type_env = delListFromNameEnv type_env shadowed
+
+                   new_type_env = extendNameEnvList filtered_type_env  
+                                       [ (getName id, AnId id) | id <- ids]
+
+                   new_ic = icontext { ic_rn_local_env = new_rn_env, 
+                                       ic_type_env     = new_type_env }
+
+               -- link it
+               hval <- linkExpr pls bcos
+
+               -- run it!
+               let thing_to_run = unsafeCoerce# hval :: IO [HValue]
+               either_hvals <- sandboxIO thing_to_run
+               case either_hvals of
+                  Left err
+                       -> do hPutStrLn stderr ("unknown failure, code " ++ show err)
+                             return ( cmstate{ pcs=new_pcs, ic=new_ic }, CmRunFailed )
+
+                  Right maybe_hvals ->
+                    case maybe_hvals of
+                       Left e -> 
+                           return ( cmstate{ pcs=new_pcs, ic=new_ic }, 
+                                    CmRunException e )
+                       Right hvals -> do
+                            -- Get the newly bound things, and bind them.  
+                            -- Don't forget to delete any shadowed bindings from the
+                            -- closure_env, lest we end up with a space leak.
+                            pls <- delListFromClosureEnv pls shadowed
+                            new_pls <- addListToClosureEnv pls (zip names hvals)
+            
+                            return (cmstate{ pcs=new_pcs, pls=new_pls, ic=new_ic }, 
+                                    CmRunOk names)
+
+
+-- We run the statement in a "sandbox" to protect the rest of the
+-- system from anything the expression might do.  For now, this
+-- consists of just wrapping it in an exception handler, but see below
+-- for another version.
+
+sandboxIO :: IO a -> IO (Either Int (Either Exception a))
+sandboxIO thing = do
+  r <- Exception.try thing
+  return (Right r)
+
+{-
+-- This version of sandboxIO runs the expression in a completely new
+-- RTS main thread.  It is disabled for now because ^C exceptions
+-- won't be delivered to the new thread, instead they'll be delivered
+-- to the (blocked) GHCi main thread.
+
+sandboxIO :: IO a -> IO (Either Int (Either Exception a))
+sandboxIO thing = do
+  st_thing <- newStablePtr (Exception.try thing)
+  alloca $ \ p_st_result -> do
+    stat <- rts_evalStableIO st_thing p_st_result
+    freeStablePtr st_thing
+    if stat == 1
+       then do st_result <- peek p_st_result
+               result <- deRefStablePtr st_result
+               freeStablePtr st_result
+               return (Right result)
+       else do
+               return (Left (fromIntegral stat))
+
+foreign import "rts_evalStableIO"  {- safe -}
+  rts_evalStableIO :: StablePtr (IO a) -> Ptr (StablePtr a) -> IO CInt
+  -- more informative than the C type!
+-}
+#endif
+
+-----------------------------------------------------------------------------
+-- cmTypeOfExpr: returns a string representing the type of an expression
+
+#ifdef GHCI
+cmTypeOfExpr :: CmState -> DynFlags -> String -> IO (CmState, Maybe String)
+cmTypeOfExpr cmstate dflags expr
+   = do (new_pcs, maybe_stuff) 
+         <- hscStmt dflags hst hit pcs ic expr True{-just an expr-}
+
+       let new_cmstate = cmstate{pcs = new_pcs}
+
+       case maybe_stuff of
+          Nothing -> return (new_cmstate, Nothing)
+          Just (_, ty, _) -> return (new_cmstate, Just str)
+            where 
+               str = showSDocForUser unqual (ppr tidy_ty)
+               unqual  = ic_print_unqual ic
+               tidy_ty = tidyType emptyTidyEnv ty
+   where
+       CmState{ hst=hst, hit=hit, pcs=pcs, ic=ic } = cmstate
+#endif
+
+-----------------------------------------------------------------------------
+-- cmTypeOfName: returns a string representing the type of a name.
+
+#ifdef GHCI
+cmTypeOfName :: CmState -> Name -> IO (Maybe String)
+cmTypeOfName CmState{ hit=hit, pcs=pcs, ic=ic } name
+ = case lookupNameEnv (ic_type_env ic) name of
+       Nothing -> return Nothing
+       Just (AnId id) -> return (Just str)
+          where
+            unqual = ic_print_unqual ic
+            ty = tidyType emptyTidyEnv (idType id)
+            str = showSDocForUser unqual (ppr ty)
+
+       _ -> panic "cmTypeOfName"
+#endif
+
+-----------------------------------------------------------------------------
+-- cmCompileExpr: compile an expression and deliver an HValue
+
+#ifdef GHCI
+cmCompileExpr :: CmState -> DynFlags -> String -> IO (CmState, Maybe HValue)
+cmCompileExpr cmstate dflags expr
+   = do 
+       let InteractiveContext { 
+               ic_rn_local_env = rn_env, 
+               ic_type_env     = type_env } = icontext
+
+        (new_pcs, maybe_stuff) 
+           <- hscStmt dflags hst hit pcs icontext 
+                 ("let __cmCompileExpr = "++expr) False{-stmt-}
+
+        case maybe_stuff of
+          Nothing -> return (cmstate{ pcs=new_pcs }, Nothing)
+          Just (ids, _, bcos) -> do
+
+               -- link it
+               hval <- linkExpr pls bcos
+
+               -- run it!
+               let thing_to_run = unsafeCoerce# hval :: IO [HValue]
+               hvals <- thing_to_run
+
+               case (ids,hvals) of
+                 ([id],[hv]) -> return (cmstate{ pcs=new_pcs }, Just hv)
+                 _ -> panic "cmCompileExpr"
+
+   where
+       CmState{ hst=hst, hit=hit, pcs=pcs, pls=pls, ic=icontext } = cmstate
+#endif
+
+-----------------------------------------------------------------------------
+-- Unload the compilation manager's state: everything it knows about the
+-- current collection of modules in the Home package.
+
+cmUnload :: CmState -> DynFlags -> IO CmState
+cmUnload state@CmState{ gmode=mode, pls=pls, pcs=pcs } dflags
  = do -- Throw away the old home dir cache
       emptyHomeDirCache
-      -- Throw away the HIT and the HST
-      return state{ pcms=pcms{ hst=new_hst, hit=new_hit } }
-   where
-     CmState{ pcms=pcms } = state
-     PersistentCMState{ hst=hst, hit=hit } = pcms
-     (new_hst, new_hit,[]) = retainInTopLevelEnvs [] (hst,hit,[])
-\end{code}
 
-The real business of the compilation manager: given a system state and
-a module name, try and bring the module up to date, probably changing
-the system state at the same time.
+      -- Unload everything the linker knows about
+      new_pls <- CmLink.unload mode dflags [] pls 
 
-\begin{code}
-cmLoadModule :: CmState 
-             -> FilePath
+      -- Start with a fresh CmState, but keep the PersistentCompilerState
+      new_state <- cmInit mode
+      return new_state{ pcs=pcs, pls=new_pls }
+
+
+-----------------------------------------------------------------------------
+-- Trace dependency graph
+
+-- This is a seperate pass so that the caller can back off and keep
+-- the current state if the downsweep fails.
+
+cmDepAnal :: CmState -> DynFlags -> [FilePath] -> IO ModuleGraph
+cmDepAnal cmstate dflags rootnames
+  = do showPass dflags "Chasing dependencies"
+       when (verbosity dflags >= 1 && gmode cmstate == Batch) $
+           hPutStrLn stderr (showSDoc (hcat [
+            text progName, text ": chasing modules from: ",
+            hcat (punctuate comma (map text rootnames))]))
+       downsweep rootnames (mg cmstate)
+
+-----------------------------------------------------------------------------
+-- The real business of the compilation manager: given a system state and
+-- a module name, try and bring the module up to date, probably changing
+-- the system state at the same time.
+
+cmLoadModules :: CmState 
+            -> DynFlags
+             -> ModuleGraph
              -> IO (CmState,           -- new state
                    Bool,               -- was successful
-                   [ModuleName])       -- list of modules loaded
+                   [String])           -- list of modules loaded
 
-cmLoadModule cmstate1 rootname
+cmLoadModules cmstate1 dflags mg2unsorted
    = do -- version 1's are the original, before downsweep
-        let pcms1     = pcms   cmstate1
         let pls1      = pls    cmstate1
         let pcs1      = pcs    cmstate1
-       -- mg1 is the complete (home) set of summaries from the
-        -- previous pass of cmLoadModule, if there was one.
-        let mg1       = mg     pcms1
-        let hst1      = hst    pcms1
-        let hit1      = hit    pcms1
+        let hst1      = hst    cmstate1
+        let hit1      = hit    cmstate1
        -- similarly, ui1 is the (complete) set of linkables from
        -- the previous pass, if any.
-        let ui1       = ui     pcms1
-   
-        let ghci_mode = gmode pcms1 -- this never changes
+        let ui1       = ui     cmstate1
 
-        -- Do the downsweep to reestablish the module graph
-        -- then generate version 2's by retaining in HIT,HST,UI a
-        -- stable set S of modules, as defined below.
+        let ghci_mode = gmode cmstate1 -- this never changes
 
-       dflags <- getDynFlags
+        -- Do the downsweep to reestablish the module graph
         let verb = verbosity dflags
 
-       showPass dflags "Chasing dependencies"
-        when (verb >= 1 && ghci_mode == Batch) $
-           hPutStrLn stderr (prog_name ++ ": chasing modules from: " ++ rootname)
+       -- Find out if we have a Main module
+        let a_root_is_Main 
+               = any ((=="Main").moduleNameUserString.modSummaryName) 
+                     mg2unsorted
 
-        (mg2unsorted, a_root_is_Main) <- downsweep [rootname]
-        let mg2unsorted_names = map name_of_summary mg2unsorted
+        let mg2unsorted_names = map modSummaryName mg2unsorted
 
         -- reachable_from follows source as well as normal imports
         let reachable_from :: ModuleName -> [ModuleName]
             reachable_from = downwards_closure_of_module mg2unsorted
-
         -- should be cycle free; ignores 'import source's
         let mg2 = topological_sort False mg2unsorted
         -- ... whereas this takes them into account.  Used for
@@ -217,6 +538,20 @@ cmLoadModule cmstate1 rootname
         -- not in strict downwards closure, during calls to compile.
         let mg2_with_srcimps = topological_sort True mg2unsorted
 
+       -- Sort out which linkables we wish to keep in the unlinked image.
+       -- See getValidLinkables below for details.
+       (valid_old_linkables, new_linkables)
+           <- getValidLinkables ui1 mg2unsorted_names mg2_with_srcimps
+
+       -- putStrLn (showSDoc (vcat [ppr valid_old_linkables, ppr new_linkables]))
+
+               -- uniq of ModuleName is the same as Module, fortunately...
+       let hit2 = delListFromUFM hit1 (map linkableModName new_linkables)
+
+       -- When (verb >= 2) $
+        --    putStrLn (showSDoc (text "Valid linkables:" 
+        --                      <+> ppr valid_linkables))
+
         -- Figure out a stable set of modules which can be retained
         -- the top level envs, to avoid upsweeping them.  Goes to a
         -- bit of trouble to avoid upsweeping module cycles.
@@ -225,37 +560,36 @@ cmLoadModule cmstate1 rootname
         -- Travel upwards, over the sccified graph.  For each scc
         -- of modules ms, add ms to S only if:
         -- 1.  All home imports of ms are either in ms or S
-        -- 2.  All m <- ms satisfy P, where
-        --      P | interactive = have old summary for m and it indicates
-        --                        that the source is unchanged
-        --        | batch = linkable exists on disk, and is younger 
-        --                  than source.
+        -- 2.  A valid old linkable exists for each module in ms
 
-        (stable_mods, linkables_for_stable_mods)
-           <- preUpsweep ghci_mode ui1 mg1 mg2unsorted_names [] [] mg2_with_srcimps
-        let stable_old_summaries
-               = concatMap (findInSummaries mg1) stable_mods
+        stable_mods <- preUpsweep valid_old_linkables
+                                 mg2unsorted_names [] mg2_with_srcimps
+
+        let stable_summaries
+               = concatMap (findInSummaries mg2unsorted) stable_mods
+
+           stable_linkables
+              = filter (\m -> linkableModName m `elem` stable_mods) 
+                   valid_old_linkables
 
         when (verb >= 2) $
-           putStrLn (showSDoc (text "STABLE MODULES:" 
+           putStrLn (showSDoc (text "Stable modules:" 
                                <+> sep (map (text.moduleNameUserString) stable_mods)))
 
+       -- unload any modules which are going to be re-linked this
+       -- time around.
+       pls2 <- CmLink.unload ghci_mode dflags stable_linkables pls1
 
-        let (hst2, hit2, [])
-               = retainInTopLevelEnvs stable_mods (hst1, hit1, [])
-            ui2 
-               = linkables_for_stable_mods
-
-       -- Now hst2, hit2, ui2 now hold the 'reduced system', just the set of
-       -- modules which are stable.
+       -- we can now glom together our linkable sets
+       let valid_linkables = valid_old_linkables ++ new_linkables
 
         -- We could at this point detect cycles which aren't broken by
-        -- a source-import, and complain immediately, but it seems better 
-        -- to let upsweep_mods do this, so at least some useful work gets 
+        -- a source-import, and complain immediately, but it seems better
+        -- to let upsweep_mods do this, so at least some useful work gets
         -- done before the upsweep is abandoned.
         let upsweep_these
                = filter (\scc -> any (`notElem` stable_mods) 
-                                     (map name_of_summary (flattenSCC scc)))
+                                     (map modSummaryName (flattenSCC scc)))
                         mg2
 
         --hPutStrLn stderr "after tsort:\n"
@@ -269,13 +603,17 @@ cmLoadModule cmstate1 rootname
         -- Now do the upsweep, calling compile for each module in
         -- turn.  Final result is version 3 of everything.
 
-        let threaded2 = CmThreaded pcs1 hst2 hit2
+        let threaded2 = CmThreaded pcs1 hst1 hit2
+
+       -- clean up between compilations
+       let cleanup = cleanTempFilesExcept verb 
+                         (ppFilesFromSummaries (flattenSCCs upsweep_these))
 
         (upsweep_complete_success, threaded3, modsUpswept, newLis)
-           <- upsweep_mods ghci_mode dflags ui2 reachable_from 
-                           threaded2 upsweep_these
+           <- upsweep_mods ghci_mode dflags valid_linkables reachable_from 
+                           threaded2 cleanup upsweep_these
 
-        let ui3 = add_to_ui ui2 newLis
+        let ui3 = add_to_ui valid_linkables newLis
         let (CmThreaded pcs3 hst3 hit3) = threaded3
 
         -- At this point, modsUpswept and newLis should have the same
@@ -288,7 +626,7 @@ cmLoadModule cmstate1 rootname
        --  with some object on disk ???)
         -- Get in in a roughly top .. bottom order (hence reverse).
 
-        let modsDone = reverse modsUpswept ++ stable_old_summaries
+        let modsDone = reverse modsUpswept ++ stable_summaries
 
         -- Try and do linking in some form, depending on whether the
         -- upsweep was completely or only partially successful.
@@ -299,19 +637,22 @@ cmLoadModule cmstate1 rootname
            -- Easy; just relink it all.
            do when (verb >= 2) $ 
                 hPutStrLn stderr "Upsweep completely successful."
-              linkresult 
-                 <- link ghci_mode dflags a_root_is_Main ui3 pls1
-              case linkresult of
-                 LinkErrs _ _
-                    -> panic "cmLoadModule: link failed (1)"
-                 LinkOK pls3 
-                    -> do let pcms3 = PersistentCMState { hst=hst3, hit=hit3, 
-                                                          ui=ui3, mg=modsDone, 
-                                                          gmode=ghci_mode }
-                          let cmstate3 
-                                 = CmState { pcms=pcms3, pcs=pcs3, pls=pls3 }
-                          return (cmstate3, True, 
-                                  map name_of_summary modsDone)
+
+             -- clean up after ourselves
+             cleanTempFilesExcept verb (ppFilesFromSummaries modsDone)
+
+             -- issue a warning for the confusing case where the user said '-o foo'
+             -- but we're not going to do any linking.
+             ofile <- readIORef v_Output_file
+             when (ghci_mode == Batch && isJust ofile && not a_root_is_Main
+                    && verb > 0) $
+                hPutStrLn stderr "Warning: output was redirected with -o, but no output will be generated\nbecause there is no Main module."
+
+             -- link everything together
+              linkresult <- link ghci_mode dflags a_root_is_Main ui3 pls2
+
+             cmLoadFinish True linkresult 
+                       hst3 hit3 ui3 modsDone ghci_mode pcs3
 
          else 
            -- Tricky.  We need to back out the effects of compiling any
@@ -321,56 +662,220 @@ cmLoadModule cmstate1 rootname
                hPutStrLn stderr "Upsweep partially successful."
 
               let modsDone_names
-                     = map name_of_summary modsDone
+                     = map modSummaryName modsDone
               let mods_to_zap_names 
-                     = findPartiallyCompletedCycles modsDone_names mg2_with_srcimps
-              let (hst4, hit4, ui4) 
-                     = removeFromTopLevelEnvs mods_to_zap_names (hst3,hit3,ui3)
+                     = findPartiallyCompletedCycles modsDone_names 
+                         mg2_with_srcimps
               let mods_to_keep
-                     = filter ((`notElem` mods_to_zap_names).name_of_summary) modsDone
-              let mods_to_keep_names 
-                     = map name_of_summary mods_to_keep
-              -- we could get the relevant linkables by filtering newLis, but
-              -- it seems easier to drag them out of the updated, cleaned-up UI
-              let linkables_to_link 
-                     = map (unJust "linkables_to_link" . findModuleLinkable_maybe ui4)
-                           mods_to_keep_names
-
-              linkresult <- link ghci_mode dflags False linkables_to_link pls1
-              case linkresult of
-                 LinkErrs _ _
-                    -> panic "cmLoadModule: link failed (2)"
-                 LinkOK pls4
-                    -> do let pcms4 = PersistentCMState { hst=hst4, hit=hit4, 
-                                                          ui=ui4, mg=mods_to_keep,
-                                                          gmode=ghci_mode }
-                          let cmstate4 
-                                 = CmState { pcms=pcms4, pcs=pcs3, pls=pls4 }
-                          return (cmstate4, False, 
-                                  mods_to_keep_names)
+                     = filter ((`notElem` mods_to_zap_names).modSummaryName) 
+                         modsDone
+
+              let (hst4, hit4, ui4)
+                     = retainInTopLevelEnvs (map modSummaryName mods_to_keep) 
+                                            (hst3,hit3,ui3)
+
+             -- clean up after ourselves
+             cleanTempFilesExcept verb (ppFilesFromSummaries mods_to_keep)
+
+             -- link everything together
+              linkresult <- link ghci_mode dflags False ui4 pls2
+
+             cmLoadFinish False linkresult 
+                   hst4 hit4 ui4 mods_to_keep ghci_mode pcs3
+
+
+-- Finish up after a cmLoad.
 
+-- If the link failed, unload everything and return.
+cmLoadFinish ok (LinkFailed pls) hst hit ui mods ghci_mode pcs = do
+  dflags <- getDynFlags
+  new_pls <- CmLink.unload ghci_mode dflags [] pls 
+  new_state <- cmInit ghci_mode
+  return (new_state{ pcs=pcs, pls=new_pls }, False, [])
 
+-- Empty the interactive context and set the module context to the topmost
+-- newly loaded module, or the Prelude if none were loaded.
+cmLoadFinish ok (LinkOK pls) hst hit ui mods ghci_mode pcs
+  = do let new_cmstate = CmState{ hst=hst, hit=hit, ui=ui, mg=mods,
+                                  gmode=ghci_mode, pcs=pcs, pls=pls,
+                                 ic = emptyInteractiveContext }
+           mods_loaded = map (moduleNameUserString.modSummaryName) mods
 
+       return (new_cmstate, ok, mods_loaded)
+
+-- used to fish out the preprocess output files for the purposes
+-- of cleaning up.
+ppFilesFromSummaries summaries
+  = [ fn | Just fn <- map toPpFile summaries ]
+  where
+   toPpFile sum
+     | hspp /= ml_hs_file loc = hspp
+     | otherwise              = Nothing
+    where
+      loc  = ms_location sum
+      hspp = ml_hspp_file loc
+
+
+-----------------------------------------------------------------------------
+-- getValidLin
+
+-- For each module (or SCC of modules), we take:
+--
+--     - an on-disk linkable, if this is the first time around and one
+--       is available.
+--
+--     - the old linkable, otherwise (and if one is available).
+--
+-- and we throw away the linkable if it is older than the source
+-- file.  We ignore the on-disk linkables unless all of the dependents
+-- of this SCC also have on-disk linkables.
+--
+-- If a module has a valid linkable, then it may be STABLE (see below),
+-- and it is classified as SOURCE UNCHANGED for the purposes of calling
+-- compile.
+--
+-- ToDo: this pass could be merged with the preUpsweep.
+
+getValidLinkables
+       :: [Linkable]           -- old linkables
+       -> [ModuleName]         -- all home modules
+       -> [SCC ModSummary]     -- all modules in the program, dependency order
+       -> IO ( [Linkable],     -- still-valid linkables 
+               [Linkable]      -- new linkables we just found
+             )
+
+getValidLinkables old_linkables all_home_mods module_graph = do
+  ls <- foldM (getValidLinkablesSCC old_linkables all_home_mods) 
+               [] module_graph
+  return (partition_it ls [] [])
+ where
+  partition_it []         valid new = (valid,new)
+  partition_it ((l,b):ls) valid new 
+       | b         = partition_it ls valid (l:new)
+       | otherwise = partition_it ls (l:valid) new
+
+
+getValidLinkablesSCC old_linkables all_home_mods new_linkables scc0
+   = let 
+         scc             = flattenSCC scc0
+          scc_names       = map modSummaryName scc
+         home_module m   = m `elem` all_home_mods && m `notElem` scc_names
+          scc_allhomeimps = nub (filter home_module (concatMap ms_imps scc))
+               -- NB. ms_imps, not ms_allimps above.  We don't want to
+               -- force a module's SOURCE imports to be already compiled for
+               -- its object linkable to be valid.
+
+         has_object m = 
+               case findModuleLinkable_maybe (map fst new_linkables) m of
+                   Nothing -> False
+                   Just l  -> isObjectLinkable l
+
+          objects_allowed = all has_object scc_allhomeimps
+     in do
+
+     new_linkables'
+       <- foldM (getValidLinkable old_linkables objects_allowed) [] scc
+
+       -- since an scc can contain only all objects or no objects at all,
+       -- we have to check whether we got all objects or not, and re-do
+       -- the linkable check if not.
+     new_linkables' <- 
+        if objects_allowed
+            && not (all isObjectLinkable (map fst new_linkables'))
+         then foldM (getValidLinkable old_linkables False) [] scc
+         else return new_linkables'
+
+     return (new_linkables ++ new_linkables')
+
+
+getValidLinkable :: [Linkable] -> Bool -> [(Linkable,Bool)] -> ModSummary 
+       -> IO [(Linkable,Bool)]
+       -- True <=> linkable is new
+getValidLinkable old_linkables objects_allowed new_linkables summary 
+   = do let mod_name = modSummaryName summary
+
+       maybe_disk_linkable
+          <- if (not objects_allowed)
+               then return Nothing
+
+               else case ml_obj_file (ms_location summary) of
+                       Just obj_fn -> maybe_getFileLinkable mod_name obj_fn
+                       Nothing     -> return Nothing
+
+       let old_linkable = findModuleLinkable_maybe old_linkables mod_name
+
+           new_linkables' = 
+            case (old_linkable, maybe_disk_linkable) of
+               (Nothing, Nothing)                      -> []
+
+               -- new object linkable just appeared
+               (Nothing, Just l)                       -> up_to_date l True
+
+               (Just l,  Nothing)
+                 | isObjectLinkable l                  -> []
+                   -- object linkable disappeared!  In case we need to
+                   -- relink the module, disregard the old linkable and
+                   -- just interpret the module from now on.
+                 | otherwise                           -> up_to_date l False
+                   -- old byte code linkable
+
+               (Just l, Just l') 
+                 | not (isObjectLinkable l)            -> up_to_date l  False
+                   -- if the previous linkable was interpreted, then we
+                   -- ignore a newly compiled version, because the version
+                   -- numbers in the interface file will be out-of-sync with
+                   -- our internal ones.
+                 | linkableTime l' >  linkableTime l   -> up_to_date l' True
+                 | linkableTime l' == linkableTime l   -> up_to_date l  False
+                 | otherwise                           -> []
+                   -- on-disk linkable has been replaced by an older one!
+                   -- again, disregard the previous one.
+
+           up_to_date l b
+               | linkableTime l < ms_hs_date summary = []
+               | otherwise = [(l,b)]
+               -- why '<' rather than '<=' above?  If the filesystem stores
+               -- times to the nearset second, we may occasionally find that
+               -- the object & source have the same modification time, 
+               -- especially if the source was automatically generated
+               -- and compiled.  Using >= is slightly unsafe, but it matches
+               -- make's behaviour.
+
+       return (new_linkables' ++ new_linkables)
+
+
+maybe_getFileLinkable :: ModuleName -> FilePath -> IO (Maybe Linkable)
+maybe_getFileLinkable mod obj_fn
+   = do obj_exist <- doesFileExist obj_fn
+        if not obj_exist 
+         then return Nothing 
+         else 
+         do let stub_fn = case splitFilename3 obj_fn of
+                             (dir, base, ext) -> dir ++ "/" ++ base ++ ".stub_o"
+            stub_exist <- doesFileExist stub_fn
+            obj_time <- getModificationTime obj_fn
+            if stub_exist
+             then return (Just (LM obj_time mod [DotO obj_fn, DotO stub_fn]))
+             else return (Just (LM obj_time mod [DotO obj_fn]))
+
+
+-----------------------------------------------------------------------------
 -- Do a pre-upsweep without use of "compile", to establish a 
--- (downward-closed) set of stable modules which can be retained
--- in the top-level environments.  Also return linkables for those 
--- modules determined to be stable, since (in Batch mode, at least)
--- there's no other way for them to get into UI.
-preUpsweep :: GhciMode
-           -> [Linkable]       -- linkables from previous cmLoadModule pass
-                               -- should be [] in batch mode
-           -> [ModSummary]      -- summaries from previous cmLoadModule pass
-                               -- should be [] in batch mode
-           -> [ModuleName]      -- names of all mods encountered in downsweep
-           -> [ModuleName]      -- accumulating stable modules
-           -> [Linkable]        -- their linkables, in batch mode
+-- (downward-closed) set of stable modules for which we won't call compile.
+
+-- a stable module:
+--     * has a valid linkable (see getValidLinkables above)
+--     * depends only on stable modules
+--     * has an interface in the HIT (interactive mode only)
+
+preUpsweep :: [Linkable]       -- new valid linkables
+           -> [ModuleName]     -- names of all mods encountered in downsweep
+           -> [ModuleName]     -- accumulating stable modules
            -> [SCC ModSummary]  -- scc-ified mod graph, including src imps
-           -> IO ([ModuleName], [Linkable])
-                               -- stable modules and their linkables
+           -> IO [ModuleName]  -- stable modules
 
-preUpsweep ghci_mode old_lis old_summaries all_home_mods stable lis [] 
-   = return (stable, lis)
-preUpsweep ghci_mode old_lis old_summaries all_home_mods stable lis (scc0:sccs)
+preUpsweep valid_lis all_home_mods stable []  = return stable
+preUpsweep valid_lis all_home_mods stable (scc0:sccs)
    = do let scc = flattenSCC scc0
             scc_allhomeimps :: [ModuleName]
             scc_allhomeimps 
@@ -378,24 +883,22 @@ preUpsweep ghci_mode old_lis old_summaries all_home_mods stable lis (scc0:sccs)
             all_imports_in_scc_or_stable
                = all in_stable_or_scc scc_allhomeimps
             scc_names
-               = map name_of_summary scc
+               = map modSummaryName scc
             in_stable_or_scc m
-               = --trace (showSDoc (text "ISOS" <+> ppr m <+> ppr scc_names <+> ppr stable)) (
-                 m `elem` scc_names || m `elem` stable
-                 --)
-        (all_scc_stable, more_lis)
-           <- if   not all_imports_in_scc_or_stable
-               then do --putStrLn ("PART1 fail " ++ showSDoc (ppr scc_allhomeimps <+> ppr (filter (not.in_stable_or_scc) scc_allhomeimps)))
-                       return (False, [])
-               else do bools_n_lis 
-                          <- mapM (is_stable ghci_mode old_lis old_summaries) scc
-                       let (bools, liss) = unzip bools_n_lis
-                       --when (not (and bools)) (putStrLn ("PART2 fail: " ++ showSDoc (ppr scc_names)))
-                       return (and bools, concat liss)
-        if not all_scc_stable
-         then preUpsweep ghci_mode old_lis old_summaries all_home_mods stable lis sccs
-         else preUpsweep ghci_mode old_lis old_summaries all_home_mods 
-                         (scc_names++stable) (more_lis++lis) sccs
+               = m `elem` scc_names || m `elem` stable
+
+           -- now we check for valid linkables: each module in the SCC must 
+           -- have a valid linkable (see getValidLinkables above).
+           has_valid_linkable new_summary
+             = isJust (findModuleLinkable_maybe valid_lis modname)
+              where modname = modSummaryName new_summary
+
+           scc_is_stable = all_imports_in_scc_or_stable
+                         && all has_valid_linkable scc
+
+        if scc_is_stable
+         then preUpsweep valid_lis all_home_mods (scc_names++stable) sccs
+         else preUpsweep valid_lis all_home_mods stable sccs
 
 
 -- Helper for preUpsweep.  Assuming that new_summary's imports are all
@@ -403,45 +906,13 @@ preUpsweep ghci_mode old_lis old_summaries all_home_mods stable lis (scc0:sccs)
 -- stable, and, if so, in batch mode, return its linkable.
 findInSummaries :: [ModSummary] -> ModuleName -> [ModSummary]
 findInSummaries old_summaries mod_name
-   = [s | s <- old_summaries, name_of_summary s == mod_name]
-
-is_stable :: GhciMode 
-          -> [Linkable] -> [ModSummary] -- OLD lis and summs, in Interactive mode
-          -> ModSummary                        -- this module
-          -> IO (Bool, [Linkable])
-
-is_stable Interactive old_lis old_summaries new_summary
-   -- Only true if the old summary exists and
-   -- the new source date matches the old one.
-   = case found_old_summarys of
-        [] -> return (False, old_linkable)
-        (old_summary:_)
-           -> case (ms_hs_date new_summary, ms_hs_date old_summary) of
-                 (Just d1, Just d2) -> return (d1 == d2, old_linkable)
-                 (_,       _      ) -> return (False, old_linkable)
-     where
-        old_linkable
-           = maybeToList
-                (findModuleLinkable_maybe old_lis (name_of_summary new_summary))
-        found_old_summarys
-           = findInSummaries old_summaries (name_of_summary new_summary)
-
-is_stable Batch [] [] new_summary
-   -- Only true if we can find a linkable, and it is younger than
-   -- the source time.
-   = case ms_hs_date new_summary of
-        Nothing -> return (False, [])  -- no source date (?!)
-        Just hs_time 
-         -> case ml_obj_file (ms_location new_summary) of
-               Nothing -> return (False, [])  -- no obj filename
-               Just fn 
-                -> do maybe_li <- maybe_getFileLinkable
-                                     (moduleName (ms_mod new_summary)) fn
-                      case maybe_li of
-                         Nothing -> return (False, []) -- no object file on disk
-                         Just li -> return (linkableTime li >= hs_time, [li])
-
+   = [s | s <- old_summaries, modSummaryName s == mod_name]
 
+findModInSummaries :: [ModSummary] -> Module -> Maybe ModSummary
+findModInSummaries old_summaries mod
+   = case [s | s <- old_summaries, ms_mod s == mod] of
+        [] -> Nothing
+        (s:_) -> Just s
 
 -- Return (names of) all those in modsDone who are part of a cycle
 -- as defined by theGraph.
@@ -452,7 +923,7 @@ findPartiallyCompletedCycles modsDone theGraph
         chew [] = []
         chew ((AcyclicSCC v):rest) = chew rest    -- acyclic?  not interesting.
         chew ((CyclicSCC vs):rest)
-           = let names_in_this_cycle = nub (map name_of_summary vs)
+           = let names_in_this_cycle = nub (map modSummaryName vs)
                  mods_in_this_cycle  
                     = nub ([done | done <- modsDone, 
                                    done `elem` names_in_this_cycle])
@@ -464,27 +935,16 @@ findPartiallyCompletedCycles modsDone theGraph
              else chewed_rest
 
 
--- Does this ModDetails export Main.main?
---exports_main :: ModDetails -> Bool
---exports_main md
---   = isJust (lookupNameEnv (md_types md) mainName)
-
-
 -- Add the given (LM-form) Linkables to the UI, overwriting previous
 -- versions if they exist.
 add_to_ui :: UnlinkedImage -> [Linkable] -> UnlinkedImage
 add_to_ui ui lis
-   = foldr add1 ui lis
+   = filter (not_in lis) ui ++ lis
      where
-        add1 :: Linkable -> UnlinkedImage -> UnlinkedImage
-        add1 li ui
-           = li : filter (\li2 -> not (for_same_module li li2)) ui
-
-        for_same_module :: Linkable -> Linkable -> Bool
-        for_same_module li1 li2 
-           = not (is_package_linkable li1)
-             && not (is_package_linkable li2)
-             && modname_of_linkable li1 == modname_of_linkable li2
+        not_in :: [Linkable] -> Linkable -> Bool
+        not_in lis li
+           = all (\l -> linkableModName l /= mod) lis
+           where mod = linkableModName li
                                   
 
 data CmThreaded  -- stuff threaded through individual module compilations
@@ -495,9 +955,10 @@ data CmThreaded  -- stuff threaded through individual module compilations
 -- There better had not be any cyclic groups here -- we check for them.
 upsweep_mods :: GhciMode
             -> DynFlags
-             -> UnlinkedImage         -- old linkables
+             -> UnlinkedImage         -- valid linkables
              -> (ModuleName -> [ModuleName])  -- to construct downward closures
              -> CmThreaded            -- PCS & HST & HIT
+            -> IO ()                 -- how to clean up unwanted tmp files
              -> [SCC ModSummary]      -- mods to do (the worklist)
                                       -- ...... RETURNING ......
              -> IO (Bool{-complete success?-},
@@ -505,17 +966,17 @@ upsweep_mods :: GhciMode
                     [ModSummary],     -- mods which succeeded
                     [Linkable])       -- new linkables
 
-upsweep_mods ghci_mode dflags oldUI reachable_from threaded 
+upsweep_mods ghci_mode dflags oldUI reachable_from threaded cleanup
      []
    = return (True, threaded, [], [])
 
-upsweep_mods ghci_mode dflags oldUI reachable_from threaded 
+upsweep_mods ghci_mode dflags oldUI reachable_from threaded cleanup
      ((CyclicSCC ms):_)
    = do hPutStrLn stderr ("Module imports form a cycle for modules:\n\t" ++
-                          unwords (map (moduleNameUserString.name_of_summary) ms))
+                          unwords (map (moduleNameUserString.modSummaryName) ms))
         return (False, threaded, [], [])
 
-upsweep_mods ghci_mode dflags oldUI reachable_from threaded 
+upsweep_mods ghci_mode dflags oldUI reachable_from threaded cleanup
      ((AcyclicSCC mod):mods)
    = do --case threaded of
         --   CmThreaded pcsz hstz hitz
@@ -523,13 +984,17 @@ upsweep_mods ghci_mode dflags oldUI reachable_from threaded
 
         (threaded1, maybe_linkable) 
            <- upsweep_mod ghci_mode dflags oldUI threaded mod 
-                          (reachable_from (name_of_summary mod))
+                          (reachable_from (modSummaryName mod))
+
+       -- remove unwanted tmp files between compilations
+       cleanup
+
         case maybe_linkable of
            Just linkable 
               -> -- No errors; do the rest
                  do (restOK, threaded2, modOKs, linkables) 
                        <- upsweep_mods ghci_mode dflags oldUI reachable_from 
-                                       threaded1 mods
+                                       threaded1 cleanup mods
                     return (restOK, threaded2, mod:modOKs, linkable:linkables)
            Nothing -- we got a compilation error; give up now
               -> return (False, threaded1, [], [])
@@ -537,21 +1002,6 @@ upsweep_mods ghci_mode dflags oldUI reachable_from threaded
 
 -- Compile a single module.  Always produce a Linkable for it if 
 -- successful.  If no compilation happened, return the old Linkable.
-maybe_getFileLinkable :: ModuleName -> FilePath -> IO (Maybe Linkable)
-maybe_getFileLinkable mod_name obj_fn
-   = do obj_exist <- doesFileExist obj_fn
-        if not obj_exist 
-         then return Nothing 
-         else 
-         do let stub_fn = case splitFilename3 obj_fn of
-                             (dir, base, ext) -> dir ++ "/" ++ base ++ ".stub_o"
-            stub_exist <- doesFileExist stub_fn
-            obj_time <- getModificationTime obj_fn
-            if stub_exist
-             then return (Just (LM obj_time mod_name [DotO obj_fn, DotO stub_fn]))
-             else return (Just (LM obj_time mod_name [DotO obj_fn]))
-
-
 upsweep_mod :: GhciMode 
            -> DynFlags
             -> UnlinkedImage
@@ -560,114 +1010,59 @@ upsweep_mod :: GhciMode
             -> [ModuleName]
             -> IO (CmThreaded, Maybe Linkable)
 
-upsweep_mod ghci_mode dflags oldUI threaded1 summary1 reachable_from_here
+upsweep_mod ghci_mode dflags oldUI threaded1 summary1 reachable_inc_me
    = do 
-        let mod_name = name_of_summary summary1
-       let verb = verbosity dflags
-
-        when (verb == 1) $
-          if (ghci_mode == Batch)
-               then hPutStr stderr (prog_name ++ ": module " 
-                               ++ moduleNameUserString mod_name
-                       ++ ": ")
-               else hPutStr stderr ("Compiling "
-                       ++ moduleNameUserString mod_name
-                       ++ " ... ")
+        let mod_name = modSummaryName summary1
 
         let (CmThreaded pcs1 hst1 hit1) = threaded1
         let old_iface = lookupUFM hit1 mod_name
 
-        let maybe_oldUI_linkable = findModuleLinkable_maybe oldUI mod_name
-        maybe_oldDisk_linkable
-           <- case ml_obj_file (ms_location summary1) of
-                 Nothing -> return Nothing
-                 Just obj_fn -> maybe_getFileLinkable mod_name obj_fn
-
-        -- The most recent of the old UI linkable or whatever we could
-        -- find on disk.  Is returned as the linkable if compile
-        -- doesn't think we need to recompile.        
-        let maybe_old_linkable
-               = case (maybe_oldUI_linkable, maybe_oldDisk_linkable) of
-                    (Nothing, Nothing) -> Nothing
-                    (Nothing, Just di) -> Just di
-                    (Just ui, Nothing) -> Just ui
-                    (Just ui, Just di)
-                       | linkableTime ui >= linkableTime di -> Just ui
-                       | otherwise                          -> Just di
-
-        let compilation_mandatory
-               = case maybe_old_linkable of
-                    Nothing -> True
-                    Just li -> case ms_hs_date summary1 of
-                                  Nothing -> panic "compilation_mandatory:no src date"
-                                  Just src_date -> src_date >= linkableTime li
-            source_unchanged
-               = not compilation_mandatory
+        let maybe_old_linkable = findModuleLinkable_maybe oldUI mod_name
+
+            source_unchanged = isJust maybe_old_linkable
+
+           reachable_only = filter (/= (modSummaryName summary1)) 
+                               reachable_inc_me
 
+          -- in interactive mode, all home modules below us *must* have an
+          -- interface in the HIT.  We never demand-load home interfaces in
+          -- interactive mode.
             (hst1_strictDC, hit1_strictDC, [])
-               = retainInTopLevelEnvs 
-                    (filter (/= (name_of_summary summary1)) reachable_from_here)
-                    (hst1,hit1,[])
+               = ASSERT(ghci_mode == Batch || 
+                       all (`elemUFM` hit1) reachable_only)
+                retainInTopLevelEnvs reachable_only (hst1,hit1,[])
 
             old_linkable 
                = unJust "upsweep_mod:old_linkable" maybe_old_linkable
 
+           have_object 
+              | Just l <- maybe_old_linkable, isObjectLinkable l = True
+              | otherwise = False
+
         compresult <- compile ghci_mode summary1 source_unchanged
-                         old_iface hst1_strictDC hit1_strictDC pcs1
+                        have_object old_iface hst1_strictDC hit1_strictDC pcs1
 
         case compresult of
 
-           -- Compilation "succeeded", but didn't return a new
-           -- linkable, meaning that compilation wasn't needed, and the
-           -- new details were manufactured from the old iface.
-           CompOK pcs2 new_details new_iface Nothing
-              -> do let hst2         = addToUFM hst1 mod_name new_details
-                        hit2         = addToUFM hit1 mod_name new_iface
-                        threaded2    = CmThreaded pcs2 hst2 hit2
-
-                   if ghci_mode == Interactive && verb >= 1 then
-                     -- if we're using an object file, tell the user
-                     case maybe_old_linkable of
-                       Just (LM _ _ objs@(DotO _:_))
-                          -> do hPutStr stderr (showSDoc (space <> 
-                                  parens (hsep (text "using": 
-                                       punctuate comma 
-                                         [ text o | DotO o <- objs ]))))
-                                when (verb > 1) $ hPutStrLn stderr ""
-                       _ -> return ()
-                     else
-                       return ()
-
-                   when (verb == 1) $ hPutStrLn stderr ""
-                    return (threaded2, Just old_linkable)
-
-           -- Compilation really did happen, and succeeded.  A new
-           -- details, iface and linkable are returned.
-           CompOK pcs2 new_details new_iface (Just new_linkable)
+           -- Compilation "succeeded", and may or may not have returned a new
+           -- linkable (depending on whether compilation was actually performed
+          -- or not).
+           CompOK pcs2 new_details new_iface maybe_new_linkable
               -> do let hst2      = addToUFM hst1 mod_name new_details
                         hit2      = addToUFM hit1 mod_name new_iface
                         threaded2 = CmThreaded pcs2 hst2 hit2
 
-                   when (verb == 1) $ hPutStrLn stderr ""
-                   return (threaded2, Just new_linkable)
+                    return (threaded2, if isJust maybe_new_linkable
+                                         then maybe_new_linkable
+                                         else Just old_linkable)
 
            -- Compilation failed.  compile may still have updated
            -- the PCS, tho.
            CompErrs pcs2
              -> do let threaded2 = CmThreaded pcs2 hst1 hit1
-                   when (verb == 1) $ hPutStrLn stderr ""
                     return (threaded2, Nothing)
 
--- Remove unwanted modules from the top level envs (HST, HIT, UI).
-removeFromTopLevelEnvs :: [ModuleName]
-                       -> (HomeSymbolTable, HomeIfaceTable, UnlinkedImage)
-                       -> (HomeSymbolTable, HomeIfaceTable, UnlinkedImage)
-removeFromTopLevelEnvs zap_these (hst, hit, ui)
-   = (delListFromUFM hst zap_these,
-      delListFromUFM hit zap_these,
-      filterModuleLinkables (`notElem` zap_these) ui
-     )
-
+-- Filter modules in the top level envs (HST, HIT, UI).
 retainInTopLevelEnvs :: [ModuleName]
                         -> (HomeSymbolTable, HomeIfaceTable, UnlinkedImage)
                         -> (HomeSymbolTable, HomeIfaceTable, UnlinkedImage)
@@ -687,13 +1082,16 @@ retainInTopLevelEnvs keep_these (hst, hit, ui)
 downwards_closure_of_module :: [ModSummary] -> ModuleName -> [ModuleName]
 downwards_closure_of_module summaries root
    = let toEdge :: ModSummary -> (ModuleName,[ModuleName])
-         toEdge summ = (name_of_summary summ, ms_allimps summ)
-         res = simple_transitive_closure (map toEdge summaries) [root]             
+         toEdge summ = (modSummaryName summ, 
+                       filter (`elem` all_mods) (ms_allimps summ))
+
+        all_mods = map modSummaryName summaries
+
+         res = simple_transitive_closure (map toEdge summaries) [root]
      in
-         --trace (showSDoc (text "DC of mod" <+> ppr root
-         --                 <+> text "=" <+> ppr res)) (
+--         trace (showSDoc (text "DC of mod" <+> ppr root
+--                          <+> text "=" <+> ppr res)) $
          res
-         --)
 
 -- Calculate transitive closures from a set of roots given an adjacency list
 simple_transitive_closure :: Eq a => [(a,[a])] -> [a] -> [a]
@@ -713,7 +1111,7 @@ topological_sort include_source_imports summaries
    = let 
          toEdge :: ModSummary -> (ModSummary,ModuleName,[ModuleName])
          toEdge summ
-             = (summ, name_of_summary summ, 
+             = (summ, modSummaryName summ, 
                       (if include_source_imports 
                        then ms_srcimps summ else []) ++ ms_imps summ)
         
@@ -733,76 +1131,84 @@ topological_sort include_source_imports summaries
          sccs
 
 
+-----------------------------------------------------------------------------
+-- Downsweep (dependency analysis)
+
 -- Chase downwards from the specified root set, returning summaries
 -- for all home modules encountered.  Only follow source-import
--- links.  Also returns a Bool to indicate whether any of the roots
--- are module Main.
-downsweep :: [FilePath] -> IO ([ModSummary], Bool)
-downsweep rootNm
-   = do rootSummaries <- mapM getRootSummary rootNm
-        let a_root_is_Main 
-               = any ((=="Main").moduleNameUserString.name_of_summary) 
-                     rootSummaries
+-- links.
+
+-- We pass in the previous collection of summaries, which is used as a
+-- cache to avoid recalculating a module summary if the source is
+-- unchanged.
+
+downsweep :: [FilePath] -> [ModSummary] -> IO [ModSummary]
+downsweep roots old_summaries
+   = do rootSummaries <- mapM getRootSummary roots
         all_summaries
-           <- loop (filter (isHomeModule.ms_mod) rootSummaries)
-        return (all_summaries, a_root_is_Main)
+           <- loop (concat (map ms_imps rootSummaries))
+               (mkModuleEnv [ (mod, s) | s <- rootSummaries, 
+                                         let mod = ms_mod s, isHomeModule mod 
+                            ])
+        return all_summaries
      where
        getRootSummary :: FilePath -> IO ModSummary
        getRootSummary file
-          | haskellish_file file
+          | haskellish_src_file file
           = do exists <- doesFileExist file
                if exists then summariseFile file else do
-               throwDyn (OtherError ("can't find file `" ++ file ++ "'"))      
+               throwDyn (CmdLineError ("can't find file `" ++ file ++ "'"))    
           | otherwise
           = do exists <- doesFileExist hs_file
                if exists then summariseFile hs_file else do
                exists <- doesFileExist lhs_file
                if exists then summariseFile lhs_file else do
-               getSummary (mkModuleName file)
+               let mod_name = mkModuleName file
+               maybe_summary <- getSummary mod_name
+               case maybe_summary of
+                  Nothing -> packageModErr mod_name
+                  Just s  -> return s
            where 
                 hs_file = file ++ ".hs"
                 lhs_file = file ++ ".lhs"
 
-        getSummary :: ModuleName -> IO ModSummary
+        getSummary :: ModuleName -> IO (Maybe ModSummary)
         getSummary nm
-           -- | trace ("getSummary: "++ showSDoc (ppr nm)) True
            = do found <- findModule nm
                case found of
-                   -- Be sure not to use the mod and location passed in to 
-                   -- summarise for any other purpose -- summarise may change
-                   -- the module names in them if name of module /= name of file,
-                   -- and put the changed versions in the returned summary.
-                   -- These will then conflict with the passed-in versions.
-                  Just (mod, location) -> summarise mod location
-                  Nothing -> throwDyn (OtherError 
+                  Just (mod, location) -> do
+                       let old_summary = findModInSummaries old_summaries mod
+                       summarise mod location old_summary
+
+                  Nothing -> throwDyn (CmdLineError 
                                    ("can't find module `" 
                                      ++ showSDoc (ppr nm) ++ "'"))
-                                 
-        -- loop invariant: homeSummaries doesn't contain package modules
-        loop :: [ModSummary] -> IO [ModSummary]
-        loop homeSummaries
-           = do let allImps :: [ModuleName]
-                    allImps = (nub . concatMap ms_imps) homeSummaries
-                let allHome   -- all modules currently in homeSummaries
-                       = map (moduleName.ms_mod) homeSummaries
-                let neededImps
-                       = filter (`notElem` allHome) allImps
-                neededSummaries
-                       <- mapM getSummary neededImps
-                let newHomeSummaries
-                       = filter (isHomeModule.ms_mod) neededSummaries
-                if null newHomeSummaries
-                 then return homeSummaries
-                 else loop (newHomeSummaries ++ homeSummaries)
 
+        -- loop invariant: env doesn't contain package modules
+        loop :: [ModuleName] -> ModuleEnv ModSummary -> IO [ModSummary]
+       loop [] env = return (moduleEnvElts env)
+        loop imps env
+           = do -- imports for modules we don't already have
+                let needed_imps = nub (filter (not . (`elemUFM` env)) imps)
+
+               -- summarise them
+                needed_summaries <- mapM getSummary needed_imps
+
+               -- get just the "home" modules
+                let new_home_summaries = [ s | Just s <- needed_summaries ]
+
+               -- loop, checking the new imports
+               let new_imps = concat (map ms_imps new_home_summaries)
+                loop new_imps (extendModuleEnvList env 
+                               [ (ms_mod s, s) | s <- new_home_summaries ])
 
 -----------------------------------------------------------------------------
 -- Summarising modules
 
 -- We have two types of summarisation:
 --
---    * Summarise a file.  This is used for the root module passed to
---     cmLoadModule.  The file is read, and used to determine the root
+--    * Summarise a file.  This is used for the root module(s) passed to
+--     cmLoadModules.  The file is read, and used to determine the root
 --     module name.  The module name may differ from the filename.
 --
 --    * Summarise a module.  We are given a module name, and must provide
@@ -812,56 +1218,61 @@ downsweep rootNm
 summariseFile :: FilePath -> IO ModSummary
 summariseFile file
    = do hspp_fn <- preprocess file
-        modsrc <- readFile hspp_fn
+        (srcimps,imps,mod_name) <- getImportsFromFile hspp_fn
 
-        let (srcimps,imps,mod_name) = getImports modsrc
-           (path, basename, ext) = splitFilename3 file
+        let (path, basename, _ext) = splitFilename3 file
 
-       Just (mod, location)
+       (mod, location)
           <- mkHomeModuleLocn mod_name (path ++ '/':basename) file
-          
-        maybe_src_timestamp
+
+        src_timestamp
            <- case ml_hs_file location of 
-                 Nothing     -> return Nothing
-                 Just src_fn -> maybe_getModificationTime src_fn
+                 Nothing     -> noHsFileErr mod_name
+                 Just src_fn -> getModificationTime src_fn
 
         return (ModSummary mod
                            location{ml_hspp_file=Just hspp_fn}
-                           srcimps imps
-                           maybe_src_timestamp)
+                           srcimps imps src_timestamp)
 
--- Summarise a module, and pick up source and interface timestamps.
-summarise :: Module -> ModuleLocation -> IO ModSummary
-summarise mod location
-   | isHomeModule mod
+-- Summarise a module, and pick up source and timestamp.
+summarise :: Module -> ModuleLocation -> Maybe ModSummary
+        -> IO (Maybe ModSummary)
+summarise mod location old_summary
+   | not (isHomeModule mod) = return Nothing
+   | otherwise
    = do let hs_fn = unJust "summarise" (ml_hs_file location)
+
+        case ml_hs_file location of {
+           Nothing -> noHsFileErr mod;
+           Just src_fn -> do
+
+        src_timestamp <- getModificationTime src_fn
+
+       -- return the cached summary if the source didn't change
+       case old_summary of {
+          Just s | ms_hs_date s == src_timestamp -> return (Just s);
+          _ -> do
+
         hspp_fn <- preprocess hs_fn
-        modsrc <- readFile hspp_fn
-        let (srcimps,imps,mod_name) = getImports modsrc
+        (srcimps,imps,mod_name) <- getImportsFromFile hspp_fn
 
-        maybe_src_timestamp
-           <- case ml_hs_file location of 
-                 Nothing     -> return Nothing
-                 Just src_fn -> maybe_getModificationTime src_fn
+       when (mod_name /= moduleName mod) $
+               throwDyn (ProgramError 
+                  (showSDoc (text hs_fn
+                             <>  text ": file name does not match module name"
+                             <+> quotes (ppr (moduleName mod)))))
 
-       if mod_name == moduleName mod
-               then return ()
-               else throwDyn (OtherError 
-                       (showSDoc (text "file name does not match module name: "
-                          <+> ppr (moduleName mod) <+> text "vs" 
-                          <+> ppr mod_name)))
+        return (Just (ModSummary mod location{ml_hspp_file=Just hspp_fn} 
+                                 srcimps imps src_timestamp))
+        }
+      }
 
-        return (ModSummary mod location{ml_hspp_file=Just hspp_fn} 
-                               srcimps imps
-                               maybe_src_timestamp)
 
-   | otherwise
-   = return (ModSummary mod location [] [] Nothing)
-
-maybe_getModificationTime :: FilePath -> IO (Maybe ClockTime)
-maybe_getModificationTime fn
-   = (do time <- getModificationTime fn
-         return (Just time)) 
-     `catch`
-     (\err -> return Nothing)
+noHsFileErr mod
+  = throwDyn (CmdLineError (showSDoc (text "no source file for module" <+> quotes (ppr mod))))
+
+packageModErr mod
+  = throwDyn (CmdLineError (showSDoc (text "module" <+>
+                                  quotes (ppr mod) <+>
+                                  text "is a package module")))
 \end{code}