[project @ 2000-11-20 16:28:29 by simonmar]
[ghc-hetmet.git] / ghc / compiler / compMan / CompManager.lhs
index dfc863a..7f0885a 100644 (file)
 \section[CompManager]{The Compilation Manager}
 
 \begin{code}
-module CompManager ( cmInit, cmLoadModule, 
+module CompManager ( cmInit, cmLoadModule,
+#ifdef GHCI
                      cmGetExpr, cmRunExpr,
+#endif
                      CmState, emptyCmState  -- abstract
                    )
 where
 
 #include "HsVersions.h"
 
-import List            ( nub )
-import Maybe           ( catMaybes, maybeToList, fromMaybe )
+import CmLink
+import CmTypes
+import HscTypes
+import Module          ( ModuleName, moduleName,
+                         isModuleInThisPackage, moduleEnvElts,
+                         moduleNameUserString )
+import CmStaticInfo    ( PackageConfigInfo, GhciMode(..) )
+import DriverPipeline
+import GetImports
+import HscTypes                ( HomeSymbolTable, HomeIfaceTable, 
+                         PersistentCompilerState, ModDetails(..) )
+import Name            ( lookupNameEnv )
+import Module
+import PrelNames       ( mainName )
+import HscMain         ( initPersistentCompilerState )
+import Finder
+import UniqFM          ( emptyUFM, lookupUFM, addToUFM, delListFromUFM,
+                         UniqFM, listToUFM )
+import Unique          ( Uniquable )
+import Digraph         ( SCC(..), stronglyConnComp )
+import DriverPhases
+import DriverUtil      ( BarfKind(..), splitFilename3 )
+import Util
 import Outputable
-import FiniteMap       ( emptyFM, filterFM, lookupFM, addToFM )
-import Digraph         ( SCC(..), stronglyConnComp, flattenSCC, flattenSCCs )
 import Panic           ( panic )
 
-import CmLink          ( PersistentLinkerState, emptyPLS, Linkable(..), 
-                         link, LinkResult(..), 
-                         filterModuleLinkables, modname_of_linkable,
-                         is_package_linkable )
-import InterpSyn       ( HValue )
-import CmSummarise     ( summarise, ModSummary(..), 
-                         name_of_summary, deps_of_summary,
-                         mimp_name, ms_get_imports )
-import Module          ( ModuleName, moduleName, packageOfModule, 
-                         isModuleInThisPackage, PackageName )
-import CmStaticInfo    ( Package(..), PackageConfigInfo )
-import DriverPipeline  ( compile, CompResult(..) )
-import HscTypes                ( HomeSymbolTable, HomeIfaceTable, 
-                         PersistentCompilerState )
-import HscMain         ( initPersistentCompilerState )
-import Finder          ( findModule, emptyHomeDirCache )
+#ifdef GHCI
+import CmdLineOpts     ( DynFlags )
+import Interpreter     ( HValue )
+import HscMain         ( hscExpr )
+import RdrName
+import PrelGHC         ( unsafeCoerce# )
+#endif
+
+-- lang
+import Exception       ( throwDyn )
+
+-- std
+import Time             ( ClockTime )
+import Directory        ( getModificationTime, doesFileExist )
+import IO
+import List            ( nub )
+import Maybe           ( catMaybes, fromMaybe, isJust )
 \end{code}
 
 
-
 \begin{code}
-cmInit :: PackageConfigInfo -> IO CmState
-cmInit raw_package_info
-   = emptyCmState raw_package_info
+cmInit :: PackageConfigInfo -> GhciMode -> IO CmState
+cmInit raw_package_info gmode
+   = emptyCmState raw_package_info gmode
 
+#ifdef GHCI
 cmGetExpr :: CmState
-          -> ModHandle
+         -> DynFlags
+          -> ModuleName
           -> String
-          -> IO (CmState, Either [SDoc] HValue)
-cmGetExpr cmstate modhdl expr
-   = return (panic "cmGetExpr:unimp")
-
+          -> IO (CmState, Maybe HValue)
+cmGetExpr cmstate dflags modname expr
+   = do (new_pcs, maybe_unlinked_iexpr) <- 
+          hscExpr dflags hst hit pcs (mkModuleInThisPackage modname) expr
+        case maybe_unlinked_iexpr of
+          Nothing     -> return (cmstate{ pcs=new_pcs }, Nothing)
+          Just uiexpr -> do
+               hValue <- linkExpr pls uiexpr
+               return (cmstate{ pcs=new_pcs }, Just hValue)
+
+   -- ToDo: check that the module we passed in is sane/exists?
+   where
+       CmState{ pcs=pcs, pcms=pcms, pls=pls } = cmstate
+       PersistentCMState{ hst=hst, hit=hit } = pcms
+
+-- The HValue should represent a value of type IO () (Perhaps IO a?)
 cmRunExpr :: HValue -> IO ()
 cmRunExpr hval
-   = return (panic "cmRunExpr:unimp")
-
-type ModHandle = String   -- ToDo: do better?
-
+   = do unsafeCoerce# hval :: IO ()
+       -- putStrLn "done."
+#endif
 
 -- Persistent state just for CM, excluding link & compile subsystems
 data PersistentCMState
    = PersistentCMState {
-        hst :: HomeSymbolTable,    -- home symbol table
-        hit :: HomeIfaceTable,     -- home interface table
-        ui  :: UnlinkedImage,      -- the unlinked images
-        mg  :: ModuleGraph,        -- the module graph
-        pci :: PackageConfigInfo   -- NEVER CHANGES
+        hst   :: HomeSymbolTable,    -- home symbol table
+        hit   :: HomeIfaceTable,     -- home interface table
+        ui    :: UnlinkedImage,      -- the unlinked images
+        mg    :: ModuleGraph,        -- the module graph
+        pci   :: PackageConfigInfo,  -- NEVER CHANGES
+        gmode :: GhciMode            -- NEVER CHANGES
      }
 
-emptyPCMS :: PackageConfigInfo -> PersistentCMState
-emptyPCMS pci 
+emptyPCMS :: PackageConfigInfo -> GhciMode -> PersistentCMState
+emptyPCMS pci gmode
   = PersistentCMState { hst = emptyHST, hit = emptyHIT,
-                        ui  = emptyUI,  mg  = emptyMG, pci = pci }
+                        ui  = emptyUI,  mg  = emptyMG, 
+                        pci = pci, gmode = gmode }
 
 emptyHIT :: HomeIfaceTable
-emptyHIT = emptyFM
+emptyHIT = emptyUFM
 emptyHST :: HomeSymbolTable
-emptyHST = emptyFM
+emptyHST = emptyUFM
 
 
 
@@ -88,9 +124,9 @@ data CmState
         pls    :: PersistentLinkerState    -- link's persistent state
      }
 
-emptyCmState :: PackageConfigInfo -> IO CmState
-emptyCmState pci
-    = do let pcms = emptyPCMS pci
+emptyCmState :: PackageConfigInfo -> GhciMode -> IO CmState
+emptyCmState pci gmode
+    = do let pcms = emptyPCMS pci gmode
          pcs     <- initPersistentCompilerState
          pls     <- emptyPLS
          return (CmState { pcms   = pcms,
@@ -102,7 +138,7 @@ type UnlinkedImage = [Linkable]     -- the unlinked images (should be a set, really)
 emptyUI :: UnlinkedImage
 emptyUI = []
 
-type ModuleGraph = [SCC ModSummary]  -- the module graph, topologically sorted
+type ModuleGraph = [ModSummary]  -- the module graph, topologically sorted
 emptyMG :: ModuleGraph
 emptyMG = []
 
@@ -114,212 +150,156 @@ the system state at the same time.
 
 \begin{code}
 cmLoadModule :: CmState 
-             -> ModuleName
-             -> IO (CmState, Either [SDoc] ModHandle)
+             -> FilePath
+             -> IO (CmState,           -- new state
+                   Bool,               -- was successful
+                   [ModuleName])       -- list of modules loaded
 
-cmLoadModule cmstate1 modname
+cmLoadModule cmstate1 rootname
    = do -- version 1's are the original, before downsweep
-        let pcms1   = pcms   cmstate1
-        let pls1    = pls    cmstate1
-        let pcs1    = pcs    cmstate1
-        let mg1     = mg     pcms1
-        let hst1    = hst    pcms1
-        let hit1    = hit    pcms1
-        let ui1     = ui     pcms1
-
-        -- do the downsweep to reestablish the module graph
+        let pcms1     = pcms   cmstate1
+        let pls1      = pls    cmstate1
+        let pcs1      = pcs    cmstate1
+        let mg1       = mg     pcms1
+        let hst1      = hst    pcms1
+        let hit1      = hit    pcms1
+        let ui1       = ui     pcms1
+   
+        let pcii      = pci   pcms1 -- this never changes
+        let ghci_mode = gmode pcms1 -- ToDo: fix!
+
+        -- Do the downsweep to reestablish the module graph
         -- then generate version 2's by removing from HIT,HST,UI any
         -- modules in the old MG which are not in the new one.
 
         -- Throw away the old home dir cache
         emptyHomeDirCache
 
-        putStr "cmLoadModule: downsweep begins\n"
-        mg2unsorted <- downsweep modname
-        putStrLn (showSDoc (vcat (map ppr mg2unsorted)))
+        hPutStr stderr "cmLoadModule: downsweep begins\n"
+        mg2unsorted <- downsweep [rootname]
 
-        let modnames1   = map name_of_summary (flattenSCCs mg1)
+        let modnames1   = map name_of_summary mg1
         let modnames2   = map name_of_summary mg2unsorted
         let mods_to_zap = filter (`notElem` modnames2) modnames1
 
         let (hst2, hit2, ui2)
-               = filterTopLevelEnvs (`notElem` mods_to_zap) 
-                                    (hst1, hit1, ui1)
-
-        let mg2 = topological_sort mg2unsorted
-
-        putStrLn "after tsort:\n"
-        putStrLn (showSDoc (vcat (map ppr (flattenSCCs mg2))))
+               = removeFromTopLevelEnvs mods_to_zap (hst1, hit1, ui1)
+        -- should be cycle free; ignores 'import source's
+        let mg2 = topological_sort False mg2unsorted
+        -- ... whereas this takes them into account.  Used for
+        -- backing out partially complete cycles following a failed
+        -- upsweep, and for removing from hst/hit all the modules
+        -- not in strict downwards closure, during calls to compile.
+        let mg2_with_srcimps = topological_sort True mg2unsorted
+      
+        let reachable_from :: ModuleName -> [ModuleName]
+            reachable_from = downwards_closure_of_module mg2unsorted
+
+        hPutStrLn stderr "after tsort:\n"
+        hPutStrLn stderr (showSDoc (vcat (map ppr mg2)))
+
+        -- Because we don't take into account source imports when doing
+        -- the topological sort, there shouldn't be any cycles in mg2.
+        -- If there is, we complain and give up -- the user needs to
+        -- break the cycle using a boot file.
 
         -- Now do the upsweep, calling compile for each module in
         -- turn.  Final result is version 3 of everything.
 
-        let threaded2 = ModThreaded pcs1 hst2 hit2
+        let threaded2 = CmThreaded pcs1 hst2 hit2
 
-        (upsweepOK, threaded3, sccOKs, newLis)
-           <- upsweep_sccs threaded2 [] [] mg2
+        (upsweep_complete_success, threaded3, modsDone, newLis)
+           <- upsweep_mods ghci_mode ui2 reachable_from threaded2 mg2
 
         let ui3 = add_to_ui ui2 newLis
-        let (ModThreaded pcs3 hst3 hit3) = threaded3
+        let (CmThreaded pcs3 hst3 hit3) = threaded3
+
+        -- At this point, modsDone and newLis should have the same
+        -- length, so there is one new (or old) linkable for each 
+        -- mod which was processed (passed to compile).
 
         -- Try and do linking in some form, depending on whether the
         -- upsweep was completely or only partially successful.
 
-        if upsweepOK
+        if upsweep_complete_success
 
          then 
-           do let mods_to_relink = upwards_closure mg2 
-                                      (map modname_of_linkable newLis)
-              pkg_linkables <- find_pkg_linkables_for (pci (pcms cmstate1))
-                                                       mg2 mods_to_relink
-              putStrLn ("needed package modules =\n" 
-                        ++ showSDoc (vcat (map ppr pkg_linkables)))
-              let sccs_to_relink = group_uis ui3 mg2 mods_to_relink
-              let all_to_relink  = map AcyclicSCC pkg_linkables 
-                                   ++ sccs_to_relink
-              linkresult <- link all_to_relink pls1
+           -- Easy; just relink it all.
+           do hPutStrLn stderr "UPSWEEP COMPLETELY SUCCESSFUL"
+              linkresult 
+                 <- link ghci_mode (any exports_main (moduleEnvElts hst3)) 
+                         newLis pls1
               case linkresult of
                  LinkErrs _ _
                     -> panic "cmLoadModule: link failed (1)"
                  LinkOK pls3 
-                    -> do let pcms3 
-                                 = PersistentCMState 
-                                       { hst=hst3, hit=hit3, ui=ui3, mg=mg2 }
+                    -> do let pcms3 = PersistentCMState { hst=hst3, hit=hit3, 
+                                                          ui=ui3, mg=modsDone, 
+                                                          pci=pcii, gmode=ghci_mode }
                           let cmstate3 
                                  = CmState { pcms=pcms3, pcs=pcs3, pls=pls3 }
-                          return (cmstate3, Just modname)
+                          return (cmstate3, True, map name_of_summary modsDone)
 
          else 
-           do let mods_to_relink = downwards_closure mg2 
-                                      (map name_of_summary (flattenSCCs sccOKs))
-              pkg_linkables <- find_pkg_linkables_for (pci (pcms cmstate1))
-                                                      mg2 mods_to_relink
-              let sccs_to_relink = group_uis ui3 mg2 mods_to_relink
-              let all_to_relink  = map AcyclicSCC pkg_linkables 
-                                   ++ sccs_to_relink
-              linkresult <- link all_to_relink pls1
+           -- Tricky.  We need to back out the effects of compiling any
+           -- half-done cycles, both so as to clean up the top level envs
+           -- and to avoid telling the interactive linker to link them.
+           do hPutStrLn stderr "UPSWEEP PARTIALLY SUCCESSFUL"
+
+              let modsDone_names
+                     = map name_of_summary modsDone
+              let mods_to_zap_names 
+                     = findPartiallyCompletedCycles modsDone_names mg2_with_srcimps
               let (hst4, hit4, ui4) 
-                     = filterTopLevelEnvs (`notElem` mods_to_relink)
-                                          (hst3,hit3,ui3)
+                     = removeFromTopLevelEnvs mods_to_zap_names (hst3,hit3,ui3)
+              let mods_to_keep
+                     = filter ((`notElem` mods_to_zap_names).name_of_summary) modsDone
+              let mods_to_keep_names 
+                     = map name_of_summary mods_to_keep
+              -- we could get the relevant linkables by filtering newLis, but
+              -- it seems easier to drag them out of the updated, cleaned-up UI
+              let linkables_to_link 
+                     = map (unJust "linkables_to_link" . findModuleLinkable_maybe ui4)
+                           mods_to_keep_names
+
+              linkresult <- link ghci_mode False linkables_to_link pls1
               case linkresult of
                  LinkErrs _ _
                     -> panic "cmLoadModule: link failed (2)"
                  LinkOK pls4
-                    -> do let pcms4 
-                                 = PersistentCMState
-                                      { hst=hst4, hit=hit4, ui=ui4, mg=mg2 }
+                    -> do let pcms4 = PersistentCMState { hst=hst4, hit=hit4, 
+                                                          ui=ui4, mg=mods_to_keep,
+                                                          pci=pcii, gmode=ghci_mode }
                           let cmstate4 
                                  = CmState { pcms=pcms4, pcs=pcs3, pls=pls4 }
-                          return (cmstate4, Just modname)
-
-
--- Given a (home) module graph and a bunch of names of (home) modules
--- within that graph, return the names of any packages needed by the
--- named modules.  Do this by looking at their imports.  Assumes, and
--- checks, that all of "mods" are mentioned in "mg".
--- 
--- Then, having found the packages directly needed by "mods",
--- (1) round up, by looking in "pci", all packages they directly or
--- indirectly depend on, and (2) put these packages in topological
--- order, since that's important for some linkers.  Since cycles in
--- the package dependency graph aren't allowed, we can just return
--- the list of (package) linkables, rather than a list of SCCs.
-find_pkg_linkables_for :: PackageConfigInfo -> [SCC ModSummary] -> [ModuleName]
-                       -> IO [Linkable]
-find_pkg_linkables_for pcii mg mods
-   = let mg_summaries = flattenSCCs mg
-         mg_names     = map name_of_summary mg_summaries
-     in
-     -- Assert that the modules for which we seek the required packages
-     -- are all in the module graph, i.e. are all home modules.
-     if   not (all (`elem` mg_names) mods)
-     then panic "find_pkg_linkables_for"
-     else 
-     do let all_imports
-               = concat 
-                    [deps_of_summary summ
-                    | summ <- mg_summaries, name_of_summary summ `elem` mods]
-        let imports_not_in_home  -- imports which must be from packages
-               = nub (filter (`notElem` mg_names) all_imports)
-
-        -- Figure out the packages directly imported by the home modules
-        maybe_locs_n_mods <- sequence (mapM findModule imports_not_in_home)
-        let home_pkgs_needed
-               = nub (concatMap get_pkg maybe_locs_n_mods)
-                 where get_pkg Nothing = []
-                       get_pkg (Just (mod, loc))
-                          = case packageOfModule mod of 
-                               Just p -> [p]; _ -> []
-
-        -- Discover the package dependency graph, and use it to find the
-        -- transitive closure of all the needed packages
-        let pkg_depend_graph :: [(PackageName,[PackageName])]
-            pkg_depend_graph = map (\pkg -> (name pkg, package_deps pkg)) pcii
-
-        let all_pkgs_needed = simple_transitive_closure 
-                                 pkg_depend_graph home_pkgs_needed
-
-        -- Make a graph, in the style which Digraph.stronglyConnComp expects,
-        -- containing entries only for the needed packages.
-        let needed_graph
-               = concat
-                   [if srcP `elem` all_pkgs_needed
-                     then [(srcP, srcP, dstsP)] 
-                     else []
-                    | (srcP, dstsP) <- pkg_depend_graph]
-            tsorted = flattenSCCs (stronglyConnComp needed_graph)
-        
-        return (map LP tsorted)
-
-
-simple_transitive_closure :: Eq a => [(a,[a])] -> [a] -> [a]
-simple_transitive_closure graph set
-   = let set2      = nub (concatMap dsts set ++ set)
-         dsts node = fromMaybe [] (lookup node graph)
-     in
-         if   length set == length set2 
-         then set 
-         else simple_transitive_closure graph set2
+                          return (cmstate4, False, mods_to_keep_names)
 
 
--- For each module in mods_to_group, extract the relevant linkable
--- out of "ui", and arrange these linkables in SCCs as defined by modGraph.
--- All this is so that we can pass SCCified Linkable groups to the
--- linker.  A constraint that should be recorded somewhere is that
--- all sccs should either be all-interpreted or all-object, not a mixture.
-group_uis :: UnlinkedImage -> [SCC ModSummary] -> [ModuleName] -> [SCC Linkable]
-group_uis ui modGraph mods_to_group
-   = map extract (cleanup (fishOut modGraph mods_to_group))
+-- Return (names of) all those in modsDone who are part of a cycle
+-- as defined by theGraph.
+findPartiallyCompletedCycles :: [ModuleName] -> [SCC ModSummary] -> [ModuleName]
+findPartiallyCompletedCycles modsDone theGraph
+   = chew theGraph
      where
-        fishOut :: [SCC ModSummary] -> [ModuleName] -> [(Bool,[ModuleName])]
-        fishOut [] unused
-           | null unused = []
-           | otherwise   = panic "group_uis: modnames not in modgraph"
-        fishOut ((AcyclicSCC ms):sccs) unused
-           = case split (== (name_of_summary ms)) unused of
-                (eq, not_eq) -> (False, eq) : fishOut sccs not_eq
-        fishOut ((CyclicSCC mss):sccs) unused
-           = case split (`elem` (map name_of_summary mss)) unused of
-                (eq, not_eq) -> (True, eq) : fishOut sccs not_eq
-
-        cleanup :: [(Bool,[ModuleName])] -> [SCC ModuleName]
-        cleanup [] = []
-        cleanup ((isRec,names):rest)
-           | null names = cleanup rest
-           | isRec      = CyclicSCC names : cleanup rest
-           | not isRec  = case names of [name] -> AcyclicSCC name : cleanup rest
-                                        other  -> panic "group_uis(cleanup)"
-
-        extract :: SCC ModuleName -> SCC Linkable
-        extract (AcyclicSCC nm) = AcyclicSCC (getLi nm)
-        extract (CyclicSCC nms) = CyclicSCC (map getLi nms)
-
-        getLi nm = case [li | li <- ui, not (is_package_linkable li),
-                                        nm == modname_of_linkable li] of
-                      [li]  -> li
-                      other -> panic "group_uis:getLi"
-
-        split f xs = (filter f xs, filter (not.f) xs)
+        chew [] = []
+        chew ((AcyclicSCC v):rest) = chew rest    -- acyclic?  not interesting.
+        chew ((CyclicSCC vs):rest)
+           = let names_in_this_cycle = nub (map name_of_summary vs)
+                 mods_in_this_cycle  
+                    = nub ([done | done <- modsDone, 
+                                   done `elem` names_in_this_cycle])
+                 chewed_rest = chew rest
+             in 
+             if   not (null mods_in_this_cycle) 
+                  && length mods_in_this_cycle < length names_in_this_cycle
+             then mods_in_this_cycle ++ chewed_rest
+             else chewed_rest
+
+
+-- Does this ModDetails export Main.main?
+exports_main :: ModDetails -> Bool
+exports_main md
+   = isJust (lookupNameEnv (md_types md) mainName)
 
 
 -- Add the given (LM-form) Linkables to the UI, overwriting previous
@@ -339,97 +319,124 @@ add_to_ui ui lis
              && modname_of_linkable li1 == modname_of_linkable li2
                                   
 
--- Compute upwards and downwards closures in the (home-) module graph.
-downwards_closure,
- upwards_closure :: [SCC ModSummary] -> [ModuleName] -> [ModuleName]
-
-upwards_closure   = up_down_closure True
-downwards_closure = up_down_closure False
-
-up_down_closure :: Bool -> [SCC ModSummary] -> [ModuleName] -> [ModuleName]
-up_down_closure up modGraph roots
-   = let mgFlat = flattenSCCs modGraph
-         nodes  = map name_of_summary mgFlat
-
-         fwdEdges, backEdges  :: [(ModuleName, [ModuleName])] 
-                   -- have an entry for each mod in mgFlat, and do not
-                   -- mention edges leading out of the home package
-         fwdEdges 
-            = map mkEdge mgFlat
-         backEdges -- Only calculated if needed, which is just as well!
-            = [(n, [m | (m, m_imports) <- fwdEdges, n `elem` m_imports])
-               | (n, n_imports) <- fwdEdges]
-
-         mkEdge summ
-            = (name_of_summary summ, 
-               -- ignore imports not from the home package
-               filter (`elem` nodes) (deps_of_summary summ))
-     in
-         simple_transitive_closure
-            (if up then backEdges else fwdEdges) (nub roots)
-
-
+data CmThreaded  -- stuff threaded through individual module compilations
+   = CmThreaded PersistentCompilerState HomeSymbolTable HomeIfaceTable
 
-data ModThreaded  -- stuff threaded through individual module compilations
-   = ModThreaded PersistentCompilerState HomeSymbolTable HomeIfaceTable
 
--- Compile multiple SCCs, stopping as soon as an error appears
-upsweep_sccs :: ModThreaded           -- PCS & HST & HIT
-             -> [SCC ModSummary]      -- accum: SCCs which succeeded
-             -> [Linkable]            -- accum: new Linkables
-             -> [SCC ModSummary]      -- SCCs to do (the worklist)
+-- Compile multiple modules, stopping as soon as an error appears.
+-- There better had not be any cyclic groups here -- we check for them.
+upsweep_mods :: GhciMode
+             -> UnlinkedImage         -- old linkables
+             -> (ModuleName -> [ModuleName])  -- to construct downward closures
+             -> CmThreaded            -- PCS & HST & HIT
+             -> [SCC ModSummary]      -- mods to do (the worklist)
                                       -- ...... RETURNING ......
-             -> IO (Bool{-success?-},
-                    ModThreaded,
-                    [SCC ModSummary], -- SCCs which succeeded
+             -> IO (Bool{-complete success?-},
+                    CmThreaded,
+                    [ModSummary],     -- mods which succeeded
                     [Linkable])       -- new linkables
 
-upsweep_sccs threaded sccOKs newLis []
-   = -- No more SCCs to do.
-     return (True, threaded, sccOKs, newLis)
-
-upsweep_sccs threaded sccOKs newLis (scc:sccs)
-   = -- Start work on a new SCC.
-     do (sccOK, threaded2, lisSCC) 
-           <- upsweep_scc threaded (flattenSCC scc)
-        if    sccOK
-         then -- all the modules in the scc were ok
-              -- move on to the next SCC
-              upsweep_sccs threaded2 
-                           (scc:sccOKs) (lisSCC++newLis) sccs
-         else -- we got a compilation error; give up now
-              return
-                 (False, threaded2, sccOKs, lisSCC++newLis)
-
-
--- Compile multiple modules (one SCC), stopping as soon as an error appears
-upsweep_scc :: ModThreaded
-             -> [ModSummary]
-             -> IO (Bool{-success?-}, ModThreaded, [Linkable])
-upsweep_scc threaded []
-   = return (True, threaded, [])
-upsweep_scc threaded (mod:mods)
-   = do (moduleOK, threaded1, maybe_linkable) 
-           <- upsweep_mod threaded mod
-        if moduleOK
-         then -- No errors; get contribs from the rest
-              do (restOK, threaded2, linkables)
-                    <- upsweep_scc threaded1 mods
-                 return
-                    (restOK, maybeToList maybe_linkable ++ linkables)
-         else -- Errors; give up _now_
-              return (False, threaded1, [])
-
--- Compile a single module.
-upsweep_mod :: ModThreaded
+upsweep_mods ghci_mode oldUI reachable_from threaded 
+     []
+   = return (True, threaded, [], [])
+
+upsweep_mods ghci_mode oldUI reachable_from threaded 
+     ((CyclicSCC ms):_)
+   = do hPutStrLn stderr ("ghc: module imports form a cycle for modules:\n\t" ++
+                          unwords (map (moduleNameUserString.name_of_summary) ms))
+        return (False, threaded, [], [])
+
+upsweep_mods ghci_mode oldUI reachable_from threaded 
+     ((AcyclicSCC mod):mods)
+   = do (threaded1, maybe_linkable) 
+           <- upsweep_mod ghci_mode oldUI threaded mod 
+                          (reachable_from (name_of_summary mod)) 
+        case maybe_linkable of
+           Just linkable 
+              -> -- No errors; do the rest
+                 do (restOK, threaded2, modOKs, linkables) 
+                       <- upsweep_mods ghci_mode oldUI reachable_from 
+                                       threaded1 mods
+                    return (restOK, threaded2, mod:modOKs, linkable:linkables)
+           Nothing -- we got a compilation error; give up now
+              -> return (False, threaded1, [], [])
+
+
+-- Compile a single module.  Always produce a Linkable for it if 
+-- successful.  If no compilation happened, return the old Linkable.
+maybe_getFileLinkable :: ModuleName -> FilePath -> IO (Maybe Linkable)
+maybe_getFileLinkable mod_name obj_fn
+   = do obj_exist <- doesFileExist obj_fn
+        if not obj_exist 
+         then return Nothing 
+         else 
+         do let stub_fn = case splitFilename3 obj_fn of
+                             (dir, base, ext) -> dir ++ "/" ++ base ++ ".stub_o"
+            stub_exist <- doesFileExist stub_fn
+            obj_time <- getModificationTime obj_fn
+            if stub_exist
+             then return (Just (LM obj_time mod_name [DotO obj_fn, DotO stub_fn]))
+             else return (Just (LM obj_time mod_name [DotO obj_fn]))
+
+
+upsweep_mod :: GhciMode 
+            -> UnlinkedImage
+            -> CmThreaded
             -> ModSummary
-            -> IO (Bool{-success?-}, ModThreaded, Maybe Linkable)
+            -> [ModuleName]
+            -> IO (CmThreaded, Maybe Linkable)
 
-upsweep_mod threaded1 summary1
+upsweep_mod ghci_mode oldUI threaded1 summary1 reachable_from_here
    = do let mod_name = name_of_summary summary1
-        let (ModThreaded pcs1 hst1 hit1) = threaded1
-        let old_iface = lookupFM hit1 (name_of_summary summary1)
-        compresult <- compile summary1 old_iface hst1 pcs1
+        let (CmThreaded pcs1 hst1 hit1) = threaded1
+        let old_iface = lookupUFM hit1 (name_of_summary summary1)
+
+        -- We *have* to compile it if we're in batch mode and we can't see
+        -- a previous linkable for it on disk.
+        compilation_mandatory 
+           <- if ghci_mode /= Batch then return False 
+              else case ml_obj_file (ms_location summary1) of
+                      Nothing     -> do --putStrLn "cmcm: object?!"
+                                        return True
+                      Just obj_fn -> do --putStrLn ("cmcm: old obj " ++ obj_fn)
+                                        b <- doesFileExist obj_fn
+                                        return (not b)
+
+        let maybe_oldUI_linkable = findModuleLinkable_maybe oldUI mod_name
+        maybe_oldDisk_linkable
+           <- case ml_obj_file (ms_location summary1) of
+                 Nothing -> return Nothing
+                 Just obj_fn -> maybe_getFileLinkable mod_name obj_fn
+
+        -- The most recent of the old UI linkable or whatever we could
+        -- find on disk.  Is returned as the linkable if compile
+        -- doesn't think we need to recompile.        
+        let maybe_old_linkable
+               = case (maybe_oldUI_linkable, maybe_oldDisk_linkable) of
+                    (Nothing, Nothing) -> Nothing
+                    (Nothing, Just di) -> Just di
+                    (Just ui, Nothing) -> Just ui
+                    (Just ui, Just di)
+                       | linkableTime ui >= linkableTime di -> Just ui
+                       | otherwise                          -> Just di
+
+        let compilation_mandatory
+               = case maybe_old_linkable of
+                    Nothing -> True
+                    Just li -> case ms_hs_date summary1 of
+                                  Nothing -> panic "compilation_mandatory:no src date"
+                                  Just src_date -> src_date >= linkableTime li
+            source_unchanged
+               = not compilation_mandatory
+
+            (hst1_strictDC, hit1_strictDC)
+               = retainInTopLevelEnvs reachable_from_here (hst1,hit1)
+
+            old_linkable 
+               = unJust "upsweep_mod:old_linkable" maybe_old_linkable
+
+        compresult <- compile ghci_mode summary1 source_unchanged
+                         old_iface hst1_strictDC hit1_strictDC pcs1
 
         case compresult of
 
@@ -437,42 +444,85 @@ upsweep_mod threaded1 summary1
            -- linkable, meaning that compilation wasn't needed, and the
            -- new details were manufactured from the old iface.
            CompOK details Nothing pcs2
-              -> let hst2      = addToFM hst1 mod_name details
-                     hit2      = hit1
-                     threaded2 = ModThreaded pcs2 hst2 hit2
-                 in  return (True, threaded2, Nothing)
+              -> let hst2         = addToUFM hst1 mod_name details
+                     hit2         = hit1
+                     threaded2    = CmThreaded pcs2 hst2 hit2
+                 in  return (threaded2, Just old_linkable)
 
            -- Compilation really did happen, and succeeded.  A new
            -- details, iface and linkable are returned.
            CompOK details (Just (new_iface, new_linkable)) pcs2
-              -> let hst2      = addToFM hst1 mod_name details
-                     hit2      = addToFM hit1 mod_name new_iface
-                     threaded2 = ModThreaded pcs2 hst2 hit2
-                 in  return (True, threaded2, Just new_linkable)
+              -> let hst2      = addToUFM hst1 mod_name details
+                     hit2      = addToUFM hit1 mod_name new_iface
+                     threaded2 = CmThreaded pcs2 hst2 hit2
+                 in  return (threaded2, Just new_linkable)
 
            -- Compilation failed.  compile may still have updated
            -- the PCS, tho.
            CompErrs pcs2
-              -> let threaded2 = ModThreaded pcs2 hst1 hit1
-                 in  return (False, threaded2, Nothing)
-
+              -> let threaded2 = CmThreaded pcs2 hst1 hit1
+                 in  return (threaded2, Nothing)
+
+
+-- Remove unwanted modules from the top level envs (HST, HIT, UI).
+removeFromTopLevelEnvs :: [ModuleName]
+                       -> (HomeSymbolTable, HomeIfaceTable, UnlinkedImage)
+                       -> (HomeSymbolTable, HomeIfaceTable, UnlinkedImage)
+removeFromTopLevelEnvs zap_these (hst, hit, ui)
+   = (delListFromUFM hst zap_these,
+      delListFromUFM hit zap_these,
+      filterModuleLinkables (`notElem` zap_these) ui
+     )
 
-filterTopLevelEnvs :: (ModuleName -> Bool) 
-                   -> (HomeSymbolTable, HomeIfaceTable, UnlinkedImage)
-                   -> (HomeSymbolTable, HomeIfaceTable, UnlinkedImage)
-filterTopLevelEnvs p (hst, hit, ui)
-   = (filterFM (\k v -> p k) hst,
-      filterFM (\k v -> p k) hit,
-      filterModuleLinkables p ui
+retainInTopLevelEnvs :: [ModuleName]
+                        -> (HomeSymbolTable, HomeIfaceTable)
+                        -> (HomeSymbolTable, HomeIfaceTable)
+retainInTopLevelEnvs keep_these (hst, hit)
+   = (retainInUFM hst keep_these,
+      retainInUFM hit keep_these
      )
+     where
+        retainInUFM :: Uniquable key => UniqFM elt -> [key] -> UniqFM elt
+        retainInUFM ufm keys_to_keep
+           = listToUFM (concatMap (maybeLookupUFM ufm) keys_to_keep)
+        maybeLookupUFM ufm u 
+           = case lookupUFM ufm u of Nothing -> []; Just val -> [(u, val)] 
+
+-- Needed to clean up HIT and HST so that we don't get duplicates in inst env
+downwards_closure_of_module :: [ModSummary] -> ModuleName -> [ModuleName]
+downwards_closure_of_module summaries root
+   = let toEdge :: ModSummary -> (ModuleName,[ModuleName])
+         toEdge summ
+             = (name_of_summary summ, ms_srcimps summ ++ ms_imps summ)
+         res = simple_transitive_closure (map toEdge summaries) [root]             
+     in
+         trace (showSDoc (text "DC of mod" <+> ppr root
+                          <+> text "=" <+> ppr res)) (
+         res
+         )
+
+-- Calculate transitive closures from a set of roots given an adjacency list
+simple_transitive_closure :: Eq a => [(a,[a])] -> [a] -> [a]
+simple_transitive_closure graph set 
+   = let set2      = nub (concatMap dsts set ++ set)
+         dsts node = fromMaybe [] (lookup node graph)
+     in
+         if   length set == length set2
+         then set
+         else simple_transitive_closure graph set2
+
 
-topological_sort :: [ModSummary] -> [SCC ModSummary]
-topological_sort summaries
+-- Calculate SCCs of the module graph, with or without taking into
+-- account source imports.
+topological_sort :: Bool -> [ModSummary] -> [SCC ModSummary]
+topological_sort include_source_imports summaries
    = let 
          toEdge :: ModSummary -> (ModSummary,ModuleName,[ModuleName])
          toEdge summ
-             = (summ, name_of_summary summ, deps_of_summary summ)
-         
+             = (summ, name_of_summary summ, 
+                      (if include_source_imports 
+                       then ms_srcimps summ else []) ++ ms_imps summ)
+        
          mash_edge :: (ModSummary,ModuleName,[ModuleName]) -> (ModSummary,Int,[Int])
          mash_edge (summ, m, m_imports)
             = case lookup m key_map of
@@ -488,27 +538,45 @@ topological_sort summaries
      in
          sccs
 
-downsweep :: ModuleName          -- module to chase from
-          -> IO [ModSummary]
+
+-- Chase downwards from the specified root set, returning summaries
+-- for all home modules encountered.  Only follow source-import
+-- links.
+downsweep :: [FilePath] -> IO [ModSummary]
 downsweep rootNm
-   = do rootLoc <- getSummary rootNm
-        loop [rootLoc]
+   = do rootSummaries <- mapM getRootSummary rootNm
+        loop (filter (isModuleInThisPackage.ms_mod) rootSummaries)
      where
+       getRootSummary :: FilePath -> IO ModSummary
+       getRootSummary file
+          | haskellish_file file
+           = do exists <- doesFileExist file
+               if exists then summariseFile file
+                         else getSummary (mkModuleName file)
+               -- ToDo: should check import paths
+          | otherwise
+          = getSummary (mkModuleName file)
+
         getSummary :: ModuleName -> IO ModSummary
         getSummary nm
+           | trace ("getSummary: "++ showSDoc (ppr nm)) True
            = do found <- findModule nm
                case found of
+                   -- Be sure not to use the mod and location passed in to 
+                   -- summarise for any other purpose -- summarise may change
+                   -- the module names in them if name of module /= name of file,
+                   -- and put the changed versions in the returned summary.
+                   -- These will then conflict with the passed-in versions.
                   Just (mod, location) -> summarise mod location
-                  Nothing -> panic ("CompManager: can't find module `" ++ 
-                                       showSDoc (ppr nm) ++ "'")
-
+                  Nothing -> throwDyn (OtherError 
+                                   ("no signs of life for module `" 
+                                     ++ showSDoc (ppr nm) ++ "'"))
+                                 
         -- loop invariant: homeSummaries doesn't contain package modules
         loop :: [ModSummary] -> IO [ModSummary]
         loop homeSummaries
            = do let allImps :: [ModuleName]
-                    allImps   -- all imports
-                       = (nub . map mimp_name . concat . map ms_get_imports)
-                         homeSummaries
+                    allImps = (nub . concatMap ms_imps) homeSummaries
                 let allHome   -- all modules currently in homeSummaries
                        = map (moduleName.ms_mod) homeSummaries
                 let neededImps
@@ -520,4 +588,74 @@ downsweep rootNm
                 if null newHomeSummaries
                  then return homeSummaries
                  else loop (newHomeSummaries ++ homeSummaries)
+
+
+-----------------------------------------------------------------------------
+-- Summarising modules
+
+-- We have two types of summarisation:
+--
+--    * Summarise a file.  This is used for the root module passed to
+--     cmLoadModule.  The file is read, and used to determine the root
+--     module name.  The module name may differ from the filename.
+--
+--    * Summarise a module.  We are given a module name, and must provide
+--     a summary.  The finder is used to locate the file in which the module
+--     resides.
+
+summariseFile :: FilePath -> IO ModSummary
+summariseFile file
+   = do hspp_fn <- preprocess file
+        modsrc <- readFile hspp_fn
+
+        let (srcimps,imps,mod_name) = getImports modsrc
+           (path, basename, ext) = splitFilename3 file
+
+       Just (mod, location)
+          <- mkHomeModuleLocn mod_name (path ++ '/':basename) file
+          
+        maybe_src_timestamp
+           <- case ml_hs_file location of 
+                 Nothing     -> return Nothing
+                 Just src_fn -> maybe_getModificationTime src_fn
+
+        return (ModSummary mod
+                           location{ml_hspp_file=Just hspp_fn}
+                           srcimps imps
+                           maybe_src_timestamp)
+
+-- Summarise a module, and pick up source and interface timestamps.
+summarise :: Module -> ModuleLocation -> IO ModSummary
+summarise mod location
+   | isModuleInThisPackage mod
+   = do let hs_fn = unJust "summarise" (ml_hs_file location)
+        hspp_fn <- preprocess hs_fn
+        modsrc <- readFile hspp_fn
+        let (srcimps,imps,mod_name) = getImports modsrc
+
+        maybe_src_timestamp
+           <- case ml_hs_file location of 
+                 Nothing     -> return Nothing
+                 Just src_fn -> maybe_getModificationTime src_fn
+
+       if mod_name == moduleName mod
+               then return ()
+               else throwDyn (OtherError 
+                       (showSDoc (text "file name does not match module name: "
+                          <+> ppr (moduleName mod) <+> text "vs" 
+                          <+> ppr mod_name)))
+
+        return (ModSummary mod location{ml_hspp_file=Just hspp_fn} 
+                               srcimps imps
+                               maybe_src_timestamp)
+
+   | otherwise
+   = return (ModSummary mod location [] [] Nothing)
+
+maybe_getModificationTime :: FilePath -> IO (Maybe ClockTime)
+maybe_getModificationTime fn
+   = (do time <- getModificationTime fn
+         return (Just time)) 
+     `catch`
+     (\err -> return Nothing)
 \end{code}