[project @ 2003-07-18 13:18:06 by simonmar]
[ghc-hetmet.git] / ghc / compiler / main / DriverPipeline.hs
index c69f5ba..81ef08d 100644 (file)
@@ -2,7 +2,7 @@
 --
 -- GHC Driver
 --
--- (c) Simon Marlow 2000
+-- (c) The University of Glasgow 2002
 --
 -----------------------------------------------------------------------------
 
 
 module DriverPipeline (
 
-       -- interfaces for the batch-mode driver
-   GhcMode(..), getGhcMode, v_GhcMode,
-   genPipeline, runPipeline, pipeLoop,
+       -- Interfaces for the batch-mode driver
+   runPipeline, staticLink,
 
-       -- interfaces for the compilation manager (interpreted/batch-mode)
-   preprocess, compile, CompResult(..),
+       -- Interfaces for the compilation manager (interpreted/batch-mode)
+   preprocess, 
+   compile, CompResult(..), 
+   link, 
 
-       -- batch-mode linking interface
-   doLink,
         -- DLL building
    doMkDLL
   ) where
@@ -26,14 +25,13 @@ module DriverPipeline (
 #include "HsVersions.h"
 
 import Packages
-import CmTypes
 import GetImports
 import DriverState
 import DriverUtil
 import DriverMkDepend
 import DriverPhases
 import DriverFlags
-import SysTools                ( newTempName, addFilesToClean, getSysMan, unDosifyPath )
+import SysTools                ( newTempName, addFilesToClean, getSysMan, copy )
 import qualified SysTools      
 import HscMain
 import Finder
@@ -45,302 +43,437 @@ import CmdLineOpts
 import Config
 import Panic
 import Util
+import BasicTypes      ( SuccessFlag(..) )
+import Maybes          ( expectJust )
 
+import ParserCoreUtils ( getCoreModuleName )
+
+import EXCEPTION
+import DATA_IOREF      ( readIORef, writeIORef )
+
+#ifdef GHCI
 import Time            ( getClockTime )
+#endif
 import Directory
 import System
-import IOExts
-import Exception
-
 import IO
 import Monad
 import Maybe
 
-import PackedString
-import MatchPS
 
------------------------------------------------------------------------------
--- GHC modes of operation
-
-modeFlag :: String -> Maybe GhcMode
-modeFlag "-M"           = Just $ DoMkDependHS
-modeFlag "--mk-dll"      = Just $ DoMkDLL
-modeFlag "-E"           = Just $ StopBefore Hsc
-modeFlag "-C"           = Just $ StopBefore HCc
-modeFlag "-S"           = Just $ StopBefore As
-modeFlag "-c"           = Just $ StopBefore Ln
-modeFlag "--make"        = Just $ DoMake
-modeFlag "--interactive" = Just $ DoInteractive
-modeFlag _               = Nothing
-
-getGhcMode :: [String]
-        -> IO ( [String]   -- rest of command line
-              , GhcMode
-              , String     -- "GhcMode" flag
-              )
-getGhcMode flags 
-  = case my_partition modeFlag flags of
-       ([]   , rest) -> return (rest, DoLink,  "") -- default is to do linking
-       ([(flag,one)], rest) -> return (rest, one, flag)
-       (_    , _   ) -> 
-         throwDyn (UsageError 
-               "only one of the flags -M, -E, -C, -S, -c, --make, --interactive, -mk-dll is allowed")
+-- ---------------------------------------------------------------------------
+-- Pre-process
 
------------------------------------------------------------------------------
--- genPipeline
+-- Just preprocess a file, put the result in a temp. file (used by the
+-- compilation manager during the summary phase).
+
+preprocess :: FilePath -> IO FilePath
+preprocess filename =
+  ASSERT(haskellish_src_file filename) 
+  do restoreDynFlags   -- Restore to state of last save
+     runPipeline (StopBefore Hsc) ("preprocess") 
+       False{-temporary output file-}
+       Nothing{-no specific output file-}
+       filename
+       Nothing{-no ModLocation-}
+
+-- ---------------------------------------------------------------------------
+-- Compile
+
+-- Compile a single module, under the control of the compilation manager.
 --
--- Herein is all the magic about which phases to run in which order, whether
--- the intermediate files should be in TMPDIR or in the current directory,
--- what the suffix of the intermediate files should be, etc.
-
--- The following compilation pipeline algorithm is fairly hacky.  A
--- better way to do this would be to express the whole compilation as a
--- data flow DAG, where the nodes are the intermediate files and the
--- edges are the compilation phases.  This framework would also work
--- nicely if a haskell dependency generator was included in the
--- driver.
-
--- It would also deal much more cleanly with compilation phases that
--- generate multiple intermediates, (eg. hsc generates .hc, .hi, and
--- possibly stub files), where some of the output files need to be
--- processed further (eg. the stub files need to be compiled by the C
--- compiler).
-
--- A cool thing to do would then be to execute the data flow graph
--- concurrently, automatically taking advantage of extra processors on
--- the host machine.  For example, when compiling two Haskell files
--- where one depends on the other, the data flow graph would determine
--- that the C compiler from the first compilation can be overlapped
--- with the hsc compilation for the second file.
-
-data IntermediateFileType
-  = Temporary
-  | Persistent
-  deriving (Eq, Show)
-
-genPipeline
-   :: GhcMode           -- when to stop
-   -> String            -- "stop after" flag (for error messages)
-   -> Bool              -- True => output is persistent
-   -> HscLang           -- preferred output language for hsc
-   -> (FilePath, String) -- original filename & its suffix 
-   -> IO [             -- list of phases to run for this file
-            (Phase,
-             IntermediateFileType,  -- keep the output from this phase?
-             String)                -- output file suffix
-         ]     
-
-genPipeline todo stop_flag persistent_output lang (filename,suffix)
- = do
-   split      <- readIORef v_Split_object_files
-   mangle     <- readIORef v_Do_asm_mangling
-   keep_hc    <- readIORef v_Keep_hc_files
-   keep_raw_s <- readIORef v_Keep_raw_s_files
-   keep_s     <- readIORef v_Keep_s_files
-   osuf       <- readIORef v_Object_suf
-   hcsuf      <- readIORef v_HC_suf
+-- This is the interface between the compilation manager and the
+-- compiler proper (hsc), where we deal with tedious details like
+-- reading the OPTIONS pragma from the source file, and passing the
+-- output of hsc through the C compiler.
 
-   let
-   ----------- -----  ----   ---   --   --  -  -  -
-    start = startPhase suffix
+-- The driver sits between 'compile' and 'hscMain', translating calls
+-- to the former into calls to the latter, and results from the latter
+-- into results from the former.  It does things like preprocessing
+-- the .hs file if necessary, and compiling up the .stub_c files to
+-- generate Linkables.
+
+-- NB.  No old interface can also mean that the source has changed.
+
+compile :: GhciMode                -- distinguish batch from interactive
+       -> Module
+       -> ModLocation
+       -> Bool                    -- True <=> source unchanged
+       -> Bool                    -- True <=> have object
+        -> Maybe ModIface          -- old interface, if available
+        -> HomePackageTable        -- For home-module stuff
+        -> PersistentCompilerState -- persistent compiler state
+        -> IO CompResult
+
+data CompResult
+   = CompOK   PersistentCompilerState  -- Updated PCS
+              ModDetails               -- New details
+              ModIface                 -- New iface
+              (Maybe Linkable) -- New code; Nothing => compilation was not reqd
+                               --                      (old code is still valid)
 
-      -- special case for mkdependHS: .hspp files go through MkDependHS
-    start_phase | todo == DoMkDependHS && start == Hsc  = MkDependHS
-               | otherwise = start
+   | CompErrs PersistentCompilerState  -- Updated PCS
 
-    haskellish = haskellish_suffix suffix
-    cish = cish_suffix suffix
 
-       -- for a .hc file we need to force lang to HscC
-    real_lang | start_phase == HCc || start_phase == Mangle = HscC
-             | otherwise                                   = lang
+compile ghci_mode this_mod location
+       source_unchanged have_object 
+       old_iface hpt pcs = do 
 
-   let
-   ----------- -----  ----   ---   --   --  -  -  -
-    pipeline
-      | todo == DoMkDependHS = [ Unlit, Cpp, MkDependHS ]
-
-      | haskellish = 
-       case real_lang of
-       HscC    | split && mangle -> [ Unlit, Cpp, Hsc, HCc, Mangle, 
-                                       SplitMangle, SplitAs ]
-               | mangle          -> [ Unlit, Cpp, Hsc, HCc, Mangle, As ]
-               | split           -> not_valid
-               | otherwise       -> [ Unlit, Cpp, Hsc, HCc, As ]
-
-       HscAsm  | split           -> [ Unlit, Cpp, Hsc, SplitMangle, SplitAs ]
-               | otherwise       -> [ Unlit, Cpp, Hsc, As ]
-
-       HscJava | split           -> not_valid
-               | otherwise       -> error "not implemented: compiling via Java"
-#ifdef ILX
-       HscILX  | split           -> not_valid
-               | otherwise       -> [ Unlit, Cpp, Hsc, Ilx2Il, Ilasm ]
+   dyn_flags <- restoreDynFlags                -- Restore to the state of the last save
+
+   showPass dyn_flags 
+       (showSDoc (text "Compiling" <+> ppr this_mod))
+
+   let verb      = verbosity dyn_flags
+   let input_fn   = expectJust "compile:hs" (ml_hs_file location) 
+   let input_fnpp = expectJust "compile:hspp" (ml_hspp_file location)
+   let mod_name   = moduleName this_mod
+
+   when (verb >= 2) (hPutStrLn stderr ("compile: input file " ++ input_fnpp))
+
+   opts <- getOptionsFromSource input_fnpp
+   processArgs dynamic_flags opts []
+   dyn_flags <- getDynFlags
+
+   let (basename, _) = splitFilename input_fn
+       
+   -- figure out what lang we're generating
+   hsc_lang <- hscMaybeAdjustLang (hscLang dyn_flags)
+   -- figure out what the next phase should be
+   next_phase <- hscNextPhase hsc_lang
+   -- figure out what file to generate the output into
+   get_output_fn <- genOutputFilenameFunc False Nothing next_phase basename
+   output_fn <- get_output_fn next_phase (Just location)
+
+   let dyn_flags' = dyn_flags { hscLang = hsc_lang,
+                               hscOutName = output_fn,
+                               hscStubCOutName = basename ++ "_stub.c",
+                               hscStubHOutName = basename ++ "_stub.h",
+                               extCoreName = basename ++ ".hcr" }
+
+   -- -no-recomp should also work with --make
+   do_recomp <- readIORef v_Recomp
+   let source_unchanged' = source_unchanged && do_recomp
+       hsc_env = HscEnv { hsc_mode = ghci_mode,
+                         hsc_dflags = dyn_flags',
+                         hsc_HPT    = hpt }
+
+   -- run the compiler
+   hsc_result <- hscMain hsc_env pcs this_mod location
+                        source_unchanged' have_object old_iface
+
+   case hsc_result of
+      HscFail pcs -> return (CompErrs pcs)
+
+      HscNoRecomp pcs details iface -> return (CompOK pcs details iface Nothing)
+
+      HscRecomp pcs details iface
+       stub_h_exists stub_c_exists maybe_interpreted_code -> do
+          let 
+          maybe_stub_o <- compileStub dyn_flags' stub_c_exists
+          let stub_unlinked = case maybe_stub_o of
+                                 Nothing -> []
+                                 Just stub_o -> [ DotO stub_o ]
+
+          (hs_unlinked, unlinked_time) <-
+            case hsc_lang of
+
+               -- in interpreted mode, just return the compiled code
+               -- as our "unlinked" object.
+               HscInterpreted -> 
+                   case maybe_interpreted_code of
+#ifdef GHCI
+                      Just comp_bc -> do tm <- getClockTime 
+                                          return ([BCOs comp_bc], tm)
 #endif
-       HscNothing                -> [ Unlit, Cpp, Hsc ]
+                      Nothing -> panic "compile: no interpreted code"
 
-      | cish      = [ Cc, As ]
+               -- we're in batch mode: finish the compilation pipeline.
+               _other -> do
+                  let object_filename = ml_obj_file location
+                      object_dir = directoryOf object_filename
 
-      | otherwise = [ ]  -- just pass this file through to the linker
+                  -- create the object dir if it doesn't exist
+                  createDirectoryHierarchy object_dir
 
-       -- ToDo: this is somewhat cryptic
-    not_valid = throwDyn (UsageError ("invalid option combination"))
+                  runPipeline (StopBefore Ln) ""
+                       True Nothing output_fn (Just location)
+                       -- the object filename comes from the ModLocation
 
-    stop_phase = case todo of 
-                       StopBefore As | split -> SplitAs
-                       StopBefore phase      -> phase
-                       DoMkDependHS          -> Ln
-                       DoLink                -> Ln
-   ----------- -----  ----   ---   --   --  -  -  -
+                  o_time <- getModificationTime object_filename
+                  return ([DotO object_filename], o_time)
 
-       -- this shouldn't happen.
-   if start_phase /= Ln && start_phase `notElem` pipeline
-       then throwDyn (CmdLineError ("can't find starting phase for "
-                                    ++ filename))
-       else do
+          let linkable = LM unlinked_time mod_name
+                            (hs_unlinked ++ stub_unlinked)
 
-       -- if we can't find the phase we're supposed to stop before,
-       -- something has gone wrong.  This test carefully avoids the
-       -- case where we aren't supposed to do any compilation, because the file
-       -- is already in linkable form (for example).
-   if start_phase `elem` pipeline && 
-       (stop_phase /= Ln && stop_phase `notElem` pipeline)
-      then throwDyn (UsageError 
-               ("flag " ++ stop_flag
-                ++ " is incompatible with source file `" ++ filename ++ "'"))
-      else do
+          return (CompOK pcs details iface (Just linkable))
 
-   let
-       -- .o and .hc suffixes can be overriden by command-line options:
-      myPhaseInputExt Ln  | Just s <- osuf  = s
-      myPhaseInputExt HCc | Just s <- hcsuf = s
-      myPhaseInputExt other                 = phaseInputExt other
-
-      annotatePipeline
-        :: [Phase]             -- raw pipeline
-        -> Phase               -- phase to stop before
-        -> [(Phase, IntermediateFileType, String{-file extension-})]
-      annotatePipeline []     _    = []
-      annotatePipeline (Ln:_) _    = []
-      annotatePipeline (phase:next_phase:ps) stop = 
-         (phase, keep_this_output, myPhaseInputExt next_phase)
-            : annotatePipeline (next_phase:ps) stop
-         where
-               keep_this_output
-                    | next_phase == stop 
-                     = if persistent_output then Persistent else Temporary
-                    | otherwise
-                    = case next_phase of
-                            Ln -> Persistent
-                            Mangle | keep_raw_s -> Persistent
-                            As     | keep_s     -> Persistent
-                            HCc    | keep_hc    -> Persistent
-                            _other              -> Temporary
+-----------------------------------------------------------------------------
+-- stub .h and .c files (for foreign export support)
+
+compileStub dflags stub_c_exists
+  | not stub_c_exists = return Nothing
+  | stub_c_exists = do
+       -- compile the _stub.c file w/ gcc
+       let stub_c = hscStubCOutName dflags
+       stub_o <- runPipeline (StopBefore Ln) "stub-compile"
+                       True{-persistent output-} 
+                       Nothing{-no specific output file-}
+                       stub_c
+                       Nothing{-no ModLocation-}
+       return (Just stub_o)
+
+
+-- ---------------------------------------------------------------------------
+-- Link
+
+link :: GhciMode               -- interactive or batch
+     -> DynFlags               -- dynamic flags
+     -> Bool                   -- attempt linking in batch mode?
+     -> HomePackageTable       -- what to link
+     -> IO SuccessFlag
+
+-- For the moment, in the batch linker, we don't bother to tell doLink
+-- which packages to link -- it just tries all that are available.
+-- batch_attempt_linking should only be *looked at* in batch mode.  It
+-- should only be True if the upsweep was successful and someone
+-- exports main, i.e., we have good reason to believe that linking
+-- will succeed.
+
+#ifdef GHCI
+link Interactive dflags batch_attempt_linking hpt
+    = do -- Not Linking...(demand linker will do the job)
+        return Succeeded
+#endif
+
+link Batch dflags batch_attempt_linking hpt
+   | batch_attempt_linking
+   = do 
+       let 
+           home_mod_infos = moduleEnvElts hpt
+
+           -- the packages we depend on
+           pkg_deps  = concatMap (dep_pkgs . mi_deps . hm_iface) home_mod_infos
+
+           -- the linkables to link
+           linkables = map hm_linkable home_mod_infos
 
-       -- add information about output files to the pipeline
-       -- the suffix on an output file is determined by the next phase
-       -- in the pipeline, so we add linking to the end of the pipeline
-       -- to force the output from the final phase to be a .o file.
+        when (verb >= 3) $ do
+            hPutStrLn stderr "link: linkables are ..."
+             hPutStrLn stderr (showSDoc (vcat (map ppr linkables)))
 
-      annotated_pipeline = annotatePipeline (pipeline ++ [Ln]) stop_phase
+       -- check for the -no-link flag
+       omit_linking <- readIORef v_NoLink
+       if omit_linking 
+         then do when (verb >= 3) $
+                   hPutStrLn stderr "link(batch): linking omitted (-no-link flag given)."
+                 return Succeeded
+         else do
 
-      phase_ne p (p1,_,_) = (p1 /= p)
-   ----------- -----  ----   ---   --   --  -  -  -
+       when (verb >= 1) $
+             hPutStrLn stderr "Linking ..."
 
-   return (
-     takeWhile (phase_ne stop_phase ) $
-     dropWhile (phase_ne start_phase) $
-     annotated_pipeline
-    )
+       let getOfiles (LM _ _ us) = map nameOfObject (filter isObject us)
+           obj_files = concatMap getOfiles linkables
 
+       -- Don't showPass in Batch mode; doLink will do that for us.
+        staticLink obj_files pkg_deps
+
+        when (verb >= 3) (hPutStrLn stderr "link: done")
+
+       -- staticLink only returns if it succeeds
+        return Succeeded
+
+   | otherwise
+   = do when (verb >= 3) $ do
+           hPutStrLn stderr "link(batch): upsweep (partially) failed OR"
+            hPutStrLn stderr "   Main.main not exported; not linking."
+        return Succeeded
+   where
+      verb = verbosity dflags
+      
+-- ---------------------------------------------------------------------------
+-- Run a compilation pipeline, consisting of multiple phases.
 
 runPipeline
-  :: [ (Phase, IntermediateFileType, String) ] -- phases to run
-  -> (String,String)           -- input file
-  -> Bool                      -- doing linking afterward?
-  -> Bool                      -- take into account -o when generating output?
-  -> IO (String, String)       -- return final filename
-
-runPipeline pipeline (input_fn,suffix) do_linking use_ofile
-  = pipeLoop pipeline (input_fn,suffix) do_linking use_ofile basename suffix
-  where (basename, _) = splitFilename input_fn
-
-pipeLoop [] input_fn _ _ _ _ = return input_fn
-pipeLoop (all_phases@((phase, keep, o_suffix):phases))
-       (input_fn,real_suff) do_linking use_ofile orig_basename orig_suffix
+  :: GhcMode           -- when to stop
+  -> String            -- "stop after" flag
+  -> Bool              -- final output is persistent?
+  -> Maybe FilePath    -- where to put the output, optionally
+  -> FilePath          -- input filename
+  -> Maybe ModLocation  -- a ModLocation for this module, if we have one
+  -> IO FilePath       -- output filename
+
+runPipeline todo stop_flag keep_output maybe_output_filename input_fn maybe_loc
   = do
+  split <- readIORef v_Split_object_files
+  let (basename, suffix) = splitFilename input_fn
+      start_phase = startPhase suffix
+
+      stop_phase = case todo of 
+                       StopBefore As | split -> SplitAs
+                       StopBefore phase      -> phase
+                       DoMkDependHS          -> Ln
+                       DoLink                -> Ln
+                       DoMkDLL               -> Ln
+
+  -- We want to catch cases of "you can't get there from here" before
+  -- we start the pipeline, because otherwise it will just run off the
+  -- end.
+  --
+  -- There is a partial ordering on phases, where A < B iff A occurs
+  -- before B in a normal compilation pipeline.
+  --
+  when (not (start_phase `happensBefore` stop_phase)) $
+       throwDyn (UsageError 
+                   ("flag `" ++ stop_flag
+                    ++ "' is incompatible with source file `"
+                    ++ input_fn ++ "'"))
+
+  -- generate a function which will be used to calculate output file names
+  -- as we go along.
+  get_output_fn <- genOutputFilenameFunc keep_output maybe_output_filename
+                       stop_phase basename
+
+  -- and execute the pipeline...
+  (output_fn, maybe_loc) <- 
+       pipeLoop start_phase stop_phase input_fn basename suffix 
+                get_output_fn maybe_loc
+
+  -- sometimes, a compilation phase doesn't actually generate any output
+  -- (eg. the CPP phase when -fcpp is not turned on).  If we end on this
+  -- stage, but we wanted to keep the output, then we have to explicitly
+  -- copy the file.
+  if keep_output
+       then do final_fn <- get_output_fn stop_phase maybe_loc
+               when (final_fn /= output_fn) $
+                 copy ("Copying `" ++ output_fn ++ "' to `" ++ final_fn
+                       ++ "'") output_fn final_fn
+               return final_fn
+       else
+            return output_fn
+
+
+pipeLoop :: Phase -> Phase -> FilePath -> String -> Suffix
+  -> (Phase -> Maybe ModLocation -> IO FilePath)
+  -> Maybe ModLocation -> IO (FilePath, Maybe ModLocation)
+
+pipeLoop phase stop_phase input_fn orig_basename orig_suff 
+       get_output_fn maybe_loc
+
+  | phase == stop_phase  =  return (input_fn, maybe_loc)  -- all done
+
+  | not (phase `happensBefore` stop_phase)  = 
+       -- Something has gone wrong.  We'll try to cover all the cases when
+       -- this could happen, so if we reach here it is a panic.
+       -- eg. it might happen if the -C flag is used on a source file that
+       -- has {-# OPTIONS -fasm #-}.
+       panic ("pipeLoop: at phase " ++ show phase ++ 
+               " but I wanted to stop at phase " ++ show stop_phase)
+
+  | otherwise = do
+       maybe_next_phase <- runPhase phase orig_basename orig_suff input_fn
+                               get_output_fn maybe_loc
+       case maybe_next_phase of
+         (Nothing, maybe_loc, output_fn) -> do
+               -- we stopped early, but return the *final* filename
+               -- (it presumably already exists)
+               final_fn <- get_output_fn stop_phase maybe_loc
+               return (final_fn, maybe_loc)
+         (Just next_phase, maybe_loc, output_fn) ->
+               pipeLoop next_phase stop_phase output_fn
+                       orig_basename orig_suff get_output_fn maybe_loc
+
+  
+genOutputFilenameFunc :: Bool -> Maybe FilePath -> Phase -> String
+  -> IO (Phase{-next phase-} -> Maybe ModLocation -> IO FilePath)
+genOutputFilenameFunc keep_output maybe_output_filename stop_phase basename
+ = do
+   hcsuf      <- readIORef v_HC_suf
+   odir       <- readIORef v_Output_dir
+   osuf       <- readIORef v_Object_suf
+   keep_hc    <- readIORef v_Keep_hc_files
+#ifdef ILX
+   keep_il    <- readIORef v_Keep_il_files
+   keep_ilx   <- readIORef v_Keep_ilx_files
+#endif
+   keep_raw_s <- readIORef v_Keep_raw_s_files
+   keep_s     <- readIORef v_Keep_s_files
+   let
+        myPhaseInputExt HCc | Just s <- hcsuf = s
+        myPhaseInputExt Ln    = osuf
+        myPhaseInputExt other = phaseInputExt other
+
+       func next_phase maybe_location
+               | next_phase == stop_phase
+                     = case maybe_output_filename of
+                            Just file -> return file
+                            Nothing
+                                | Ln <- next_phase -> return odir_persistent
+                                | keep_output      -> return persistent
+                                | otherwise        -> newTempName suffix
+                       -- sometimes, we keep output from intermediate stages
+               | otherwise
+                    = case next_phase of
+                            Ln                  -> return odir_persistent
+                            Mangle | keep_raw_s -> return persistent
+                            As     | keep_s     -> return persistent
+                            HCc    | keep_hc    -> return persistent
+                            _other              -> newTempName suffix
+          where
+               suffix = myPhaseInputExt next_phase
+               persistent = basename ++ '.':suffix
+
+               odir_persistent
+                  | Just loc <- maybe_location = ml_obj_file loc
+                  | Just d <- odir = replaceFilenameDirectory persistent d
+                  | otherwise      = persistent
+
+   return func
+
+
+-- -----------------------------------------------------------------------------
+-- Each phase in the pipeline returns the next phase to execute, and the
+-- name of the file in which the output was placed.
+--
+-- We must do things dynamically this way, because we often don't know
+-- what the rest of the phases will be until part-way through the
+-- compilation: for example, an {-# OPTIONS -fasm #-} at the beginning
+-- of a source file can change the latter stages of the pipeline from
+-- taking the via-C route to using the native code generator.
+
+runPhase :: Phase
+         -> String     -- basename of original input source
+         -> String     -- its extension
+         -> FilePath   -- name of file which contains the input to this phase.
+         -> (Phase -> Maybe ModLocation -> IO FilePath)
+                       -- how to calculate the output filename
+         -> Maybe ModLocation          -- the ModLocation, if we have one
+         -> IO (Maybe Phase,           -- next phase
+                Maybe ModLocation,     -- the ModLocation, if we have one
+                FilePath)              -- output filename
 
-     output_fn <- outputFileName (null phases) keep o_suffix
-
-     mbCarryOn <- run_phase phase orig_basename orig_suffix input_fn output_fn 
-       -- sometimes we bail out early, eg. when the compiler's recompilation
-       -- checker has determined that recompilation isn't necessary.
-     case mbCarryOn of
-       Nothing -> do
-             let (_,keep,final_suffix) = last all_phases
-             ofile <- outputFileName True keep final_suffix
-             return (ofile, final_suffix)
-          -- carry on ...
-       Just fn -> 
-              {-
-              Notice that in order to keep the invariant that we can
-              determine a compilation pipeline's 'start phase' just
-              by looking at the input filename, the input filename
-              to the next stage/phase is associated here with the suffix
-              of the output file, *even* if it does not have that
-              suffix in reality.
-              
-              Why is this important? Because we may run a compilation
-              pipeline in stages (cf. Main.main.compileFile's two stages),
-              so when generating the next stage we need to be precise
-              about what kind of file (=> suffix) is given as input.
-
-              [Not having to generate a pipeline in stages seems like
-               the right way to go, but I've punted on this for now --sof]
-              
-             -}
-              pipeLoop phases (fn, o_suffix) do_linking use_ofile
-                               orig_basename orig_suffix
-  where
-     outputFileName last_phase keep suffix
-       = do o_file <- readIORef v_Output_file
-            if last_phase && not do_linking && use_ofile && isJust o_file
-              then case o_file of 
-                      Just s  -> return s
-                      Nothing -> error "outputFileName"
-              else if keep == Persistent
-                          then odir_ify (orig_basename ++ '.':suffix)
-                          else newTempName suffix
-
-run_phase :: Phase
-         -> String                -- basename of original input source
-         -> String                -- its extension
-         -> FilePath              -- name of file which contains the input to this phase.
-         -> FilePath              -- where to stick the result.
-         -> IO (Maybe FilePath)
-                 -- Nothing => stop the compilation pipeline
-                 -- Just fn => the result of this phase can be found in 'fn'
-                 --            (this can either be 'input_fn' or 'output_fn').
 -------------------------------------------------------------------------------
 -- Unlit phase 
 
-run_phase Unlit _basename _suff input_fn output_fn
+runPhase Unlit _basename _suff input_fn get_output_fn maybe_loc
   = do unlit_flags <- getOpts opt_L
-       -- The -h option passes the file name for unlit to put in a #line directive;
-       -- we undosify it so that it doesn't contain backslashes in Windows, which
-       -- would disappear in error messages
+       -- The -h option passes the file name for unlit to put in a #line directive
+       output_fn <- get_output_fn Cpp maybe_loc
+
        SysTools.runUnlit (map SysTools.Option unlit_flags ++
                                  [ SysTools.Option     "-h"
                          , SysTools.Option     input_fn
                          , SysTools.FileOption "" input_fn
                          , SysTools.FileOption "" output_fn
                          ])
-       return (Just output_fn)
+
+       return (Just Cpp, maybe_loc, output_fn)
 
 -------------------------------------------------------------------------------
 -- Cpp phase 
 
-run_phase Cpp basename suff input_fn output_fn
+runPhase Cpp basename suff input_fn get_output_fn maybe_loc
   = do src_opts <- getOptionsFromSource input_fn
        unhandled_flags <- processArgs dynamic_flags src_opts []
        checkProcessArgsResult unhandled_flags basename suff
@@ -349,19 +482,22 @@ run_phase Cpp basename suff input_fn output_fn
        if not do_cpp then
            -- no need to preprocess CPP, just pass input file along
           -- to the next phase of the pipeline.
-          return (Just input_fn)
+          return (Just HsPp, maybe_loc, input_fn)
        else do
            hscpp_opts      <- getOpts opt_P
                    hs_src_cpp_opts <- readIORef v_Hs_source_cpp_opts
 
            cmdline_include_paths <- readIORef v_Include_paths
-           pkg_include_dirs <- getPackageIncludePath
+
+           pkg_include_dirs <- getPackageIncludePath []
            let include_paths = foldr (\ x xs -> "-I" : x : xs) []
                                  (cmdline_include_paths ++ pkg_include_dirs)
 
            verb <- getVerbFlag
            (md_c_flags, _) <- machdepCCOpts
 
+           output_fn <- get_output_fn HsPp maybe_loc
+
            SysTools.runCpp ([SysTools.Option verb]
                            ++ map SysTools.Option include_paths
                            ++ map SysTools.Option hs_src_cpp_opts
@@ -369,109 +505,78 @@ run_phase Cpp basename suff input_fn output_fn
                            ++ map SysTools.Option md_c_flags
                            ++ [ SysTools.Option     "-x"
                               , SysTools.Option     "c"
-                              , SysTools.FileOption "" input_fn
+                              , SysTools.Option     input_fn
+       -- We hackily use Option instead of FileOption here, so that the file
+       -- name is not back-slashed on Windows.  cpp is capable of
+       -- dealing with / in filenames, so it works fine.  Furthermore
+       -- if we put in backslashes, cpp outputs #line directives
+       -- with *double* backslashes.   And that in turn means that
+       -- our error messages get double backslashes in them.
+       -- In due course we should arrange that the lexer deals
+       -- with these \\ escapes properly.
                               , SysTools.Option     "-o"
                               , SysTools.FileOption "" output_fn
                               ])
-           return (Just output_fn)
 
------------------------------------------------------------------------------
--- MkDependHS phase
-
-run_phase MkDependHS basename suff input_fn output_fn = do 
-   src <- readFile input_fn
-   let (import_sources, import_normals, _) = getImports src
-
-   let orig_fn = basename ++ '.':suff
-   deps_sources <- mapM (findDependency True  orig_fn) import_sources
-   deps_normals <- mapM (findDependency False orig_fn) import_normals
-   let deps = deps_sources ++ deps_normals
-
-   osuf_opt <- readIORef v_Object_suf
-   let osuf = case osuf_opt of
-                       Nothing -> phaseInputExt Ln
-                       Just s  -> s
-
-   extra_suffixes <- readIORef v_Dep_suffixes
-   let suffixes = osuf : map (++ ('_':osuf)) extra_suffixes
-       ofiles = map (\suf -> basename ++ '.':suf) suffixes
-          
-   objs <- mapM odir_ify ofiles
-   
-       -- Handle for file that accumulates dependencies 
-   hdl <- readIORef v_Dep_tmp_hdl
-
-       -- std dependency of the object(s) on the source file
-   hPutStrLn hdl (unwords objs ++ " : " ++ basename ++ '.':suff)
-
-   let genDep (dep, False {- not an hi file -}) = 
-         hPutStrLn hdl (unwords objs ++ " : " ++ dep)
-       genDep (dep, True  {- is an hi file -}) = do
-         hisuf <- readIORef v_Hi_suf
-         let dep_base = remove_suffix '.' dep
-             deps = (dep_base ++ hisuf)
-                    : map (\suf -> dep_base ++ suf ++ '_':hisuf) extra_suffixes
-                 -- length objs should be == length deps
-         sequence_ (zipWith (\o d -> hPutStrLn hdl (o ++ " : " ++ d)) objs deps)
-
-   mapM genDep [ d | Just d <- deps ]
-
-   return (Just output_fn)
-
--- add the lines to dep_makefile:
-          -- always:
-                  -- this.o : this.hs
-
-          -- if the dependency is on something other than a .hi file:
-                  -- this.o this.p_o ... : dep
-          -- otherwise
-                  -- if the import is {-# SOURCE #-}
-                          -- this.o this.p_o ... : dep.hi-boot[-$vers]
-                          
-                  -- else
-                          -- this.o ...   : dep.hi
-                          -- this.p_o ... : dep.p_hi
-                          -- ...
-   
-          -- (where .o is $osuf, and the other suffixes come from
-          -- the cmdline -s options).
-   
+           return (Just HsPp, maybe_loc, output_fn)
+
+-------------------------------------------------------------------------------
+-- HsPp phase 
+
+runPhase HsPp basename suff input_fn get_output_fn maybe_loc
+  = do do_pp   <- dynFlag ppFlag
+       if not do_pp then
+           -- no need to preprocess, just pass input file along
+          -- to the next phase of the pipeline.
+          return (Just Hsc, maybe_loc, input_fn)
+       else do
+           hspp_opts      <- getOpts opt_F
+                   hs_src_pp_opts <- readIORef v_Hs_source_pp_opts
+           let orig_fn = basename ++ '.':suff
+           output_fn <- get_output_fn Hsc maybe_loc
+           SysTools.runPp ( [ SysTools.Option     orig_fn
+                            , SysTools.Option     input_fn
+                            , SysTools.FileOption "" output_fn
+                            ] ++
+                            map SysTools.Option hs_src_pp_opts ++
+                            map SysTools.Option hspp_opts
+                          )
+           return (Just Hsc, maybe_loc, output_fn)
+
 -----------------------------------------------------------------------------
 -- Hsc phase
 
 -- Compilation of a single module, in "legacy" mode (_not_ under
 -- the direction of the compilation manager).
-run_phase Hsc basename suff input_fn output_fn
-  = do
-       
+runPhase Hsc basename suff input_fn get_output_fn _maybe_loc = do
+  todo <- readIORef v_GhcMode
+  if todo == DoMkDependHS then do
+       locn <- doMkDependHSPhase basename suff input_fn
+       return (Nothing, Just locn, input_fn)  -- Ln is a dummy stop phase 
+
+   else do
+      -- normal Hsc mode, not mkdependHS
+
   -- we add the current directory (i.e. the directory in which
   -- the .hs files resides) to the import path, since this is
   -- what gcc does, and it's probably what you want.
-       let current_dir = getdir basename
+       let current_dir = directoryOf basename
        
        paths <- readIORef v_Include_paths
        writeIORef v_Include_paths (current_dir : paths)
        
-  -- figure out which header files to #include in a generated .hc file
-       c_includes <- getPackageCIncludes
-       cmdline_includes <- dynFlag cmdlineHcIncludes -- -#include options
-
-       let cc_injects = unlines (map mk_include 
-                                (c_includes ++ reverse cmdline_includes))
-           mk_include h_file = 
-               case h_file of 
-                  '"':_{-"-} -> "#include "++h_file
-                  '<':_      -> "#include "++h_file
-                  _          -> "#include \""++h_file++"\""
-
-       writeIORef v_HCHeader cc_injects
-
   -- gather the imports and module name
-        (srcimps,imps,mod_name) <- getImportsFromFile input_fn
-
-  -- build a ModuleLocation to pass to hscMain.
-       (mod, location')
-          <- mkHomeModuleLocn mod_name basename (basename ++ '.':suff)
+        (_,_,mod_name) <- 
+            if extcoreish_suffix suff
+            then do
+               -- no explicit imports in ExtCore input.
+              m <- getCoreModuleName input_fn
+              return ([], [], mkModuleName m)
+            else 
+              getImportsFromFile input_fn
+
+  -- build a ModLocation to pass to hscMain.
+       (mod, location') <- mkHomeModLocation mod_name (basename ++ '.':suff)
 
   -- take -ohi into account if present
        ohi <- readIORef v_Output_hi
@@ -488,12 +593,14 @@ run_phase Hsc basename suff input_fn output_fn
   -- Setting source_unchanged to False tells the compiler that M.o is out of
   -- date wrt M.hs (or M.o doesn't exist) so we must recompile regardless.
        do_recomp   <- readIORef v_Recomp
-       todo        <- readIORef v_GhcMode
        expl_o_file <- readIORef v_Output_file
-        let o_file = 
-               case expl_o_file of
-                 Nothing -> unJust "source_unchanged" (ml_obj_file location)
-                 Just x  -> x
+
+       let o_file -- if the -o option is given and IT IS THE OBJECT FILE FOR
+                  -- THIS COMPILATION, then use that to determine if the 
+                  -- source is unchanged.
+               | Just x <- expl_o_file, todo == StopBefore Ln  =  x
+               | otherwise = ml_obj_file location
+
        source_unchanged <- 
           if not (do_recomp && ( todo == DoLink || todo == StopBefore Ln ))
             then return False
@@ -508,43 +615,47 @@ run_phase Hsc basename suff input_fn output_fn
 
   -- get the DynFlags
         dyn_flags <- getDynFlags
+       hsc_lang <- hscMaybeAdjustLang (hscLang dyn_flags)
+       next_phase <- hscNextPhase hsc_lang
+       output_fn <- get_output_fn next_phase (Just location)
 
-        let dyn_flags' = dyn_flags { hscOutName = output_fn,
+        let dyn_flags' = dyn_flags { hscLang = hsc_lang,
+                                    hscOutName = output_fn,
                                     hscStubCOutName = basename ++ "_stub.c",
                                     hscStubHOutName = basename ++ "_stub.h",
-                                    extCoreName = basename ++ ".core" }
+                                    extCoreName = basename ++ ".hcr" }
+           hsc_env = HscEnv { hsc_mode = OneShot,
+                              hsc_dflags = dyn_flags',
+                              hsc_HPT    = emptyHomePackageTable }
+                       
 
   -- run the compiler!
         pcs <- initPersistentCompilerState
-       result <- hscMain OneShot
-                          dyn_flags' mod
+       result <- hscMain hsc_env pcs mod
                          location{ ml_hspp_file=Just input_fn }
                          source_unchanged
                          False
                          Nothing        -- no iface
-                         emptyModuleEnv -- HomeSymbolTable
-                         emptyModuleEnv -- HomeIfaceTable
-                         pcs
 
-       case result of {
+       case result of
 
-           HscFail pcs -> throwDyn (PhaseFailed "hsc" (ExitFailure 1));
+           HscFail pcs -> throwDyn (PhaseFailed "hsc" (ExitFailure 1))
 
-            HscNoRecomp pcs details iface -> do { SysTools.touch "Touching object file" o_file
-                                               ; return Nothing } ;
+            HscNoRecomp pcs details iface -> do
+               SysTools.touch "Touching object file" o_file
+               return (Nothing, Just location, output_fn)
 
-           HscRecomp pcs details iface stub_h_exists stub_c_exists
+           HscRecomp _pcs _details _iface stub_h_exists stub_c_exists
                      _maybe_interpreted_code -> do
 
-                           -- deal with stubs
-                           maybe_stub_o <- compileStub dyn_flags' stub_c_exists
-                           case maybe_stub_o of
-                             Nothing -> return ()
-                             Just stub_o -> add v_Ld_inputs stub_o
-                           case hscLang dyn_flags of
-                              HscNothing -> return Nothing
-                             _ -> return (Just output_fn)
-    }
+               -- deal with stubs
+               maybe_stub_o <- compileStub dyn_flags' stub_c_exists
+               case maybe_stub_o of
+                     Nothing -> return ()
+                     Just stub_o -> add v_Ld_inputs stub_o
+               case hscLang dyn_flags of
+                      HscNothing -> return (Nothing, Just location, output_fn)
+                     _ -> return (Just next_phase, Just location, output_fn)
 
 -----------------------------------------------------------------------------
 -- Cc phase
@@ -552,17 +663,29 @@ run_phase Hsc basename suff input_fn output_fn
 -- we don't support preprocessing .c files (with -E) now.  Doing so introduces
 -- way too many hacks, and I can't say I've ever used it anyway.
 
-run_phase cc_phase basename suff input_fn output_fn
+runPhase cc_phase basename suff input_fn get_output_fn maybe_loc
    | cc_phase == Cc || cc_phase == HCc
-   = do        cc_opts              <- getOpts opt_c
+   = do        cc_opts <- getOpts opt_c
                cmdline_include_paths <- readIORef v_Include_paths
 
+       split  <- readIORef v_Split_object_files
+       mangle <- readIORef v_Do_asm_mangling
+
         let hcc = cc_phase == HCc
 
-               -- add package include paths even if we're just compiling
-               -- .c files; this is the Value Add(TM) that using
-               -- ghc instead of gcc gives you :)
-        pkg_include_dirs <- getPackageIncludePath
+           next_phase
+               | hcc && mangle     = Mangle
+               | otherwise         = As
+
+       output_fn <- get_output_fn next_phase maybe_loc
+
+       -- HC files have the dependent packages stamped into them
+       pkgs <- if hcc then getHCFilePackages input_fn else return []
+
+       -- add package include paths even if we're just compiling .c
+       -- files; this is the Value Add(TM) that using ghc instead of
+       -- gcc gives you :)
+        pkg_include_dirs <- getPackageIncludePath pkgs
         let include_paths = foldr (\ x xs -> "-I" : x : xs) []
                              (cmdline_include_paths ++ pkg_include_dirs)
 
@@ -575,15 +698,22 @@ run_phase cc_phase basename suff input_fn output_fn
        let opt_flag | o2        = "-O2"
                     | otherwise = "-O"
 
-       pkg_extra_cc_opts <- getPackageExtraCcOpts
+       pkg_extra_cc_opts <- getPackageExtraCcOpts pkgs
 
        split_objs <- readIORef v_Split_object_files
        let split_opt | hcc && split_objs = [ "-DUSE_SPLIT_MARKERS" ]
                      | otherwise         = [ ]
 
        excessPrecision <- readIORef v_Excess_precision
-       SysTools.runCc ([ SysTools.Option "-x", SysTools.Option "c"
-                       , SysTools.FileOption "" input_fn
+
+       -- force the C compiler to interpret this file as C when
+       -- compiling .hc files, by adding the -x c option.
+       let langopt
+               | cc_phase == HCc = [ SysTools.Option "-x", SysTools.Option "c"]
+               | otherwise       = [ ]
+
+       SysTools.runCc (langopt ++
+                       [ SysTools.FileOption "" input_fn
                        , SysTools.Option "-o"
                        , SysTools.FileOption "" output_fn
                        ]
@@ -600,31 +730,39 @@ run_phase cc_phase basename suff input_fn output_fn
                       ++ include_paths
                       ++ pkg_extra_cc_opts
                       ))
-       return (Just output_fn)
+
+       return (Just next_phase, maybe_loc, output_fn)
 
        -- ToDo: postprocess the output from gcc
 
 -----------------------------------------------------------------------------
 -- Mangle phase
 
-run_phase Mangle _basename _suff input_fn output_fn
-  = do mangler_opts <- getOpts opt_m
-       machdep_opts <- if (prefixMatch "i386" cTARGETPLATFORM)
-                      then do n_regs <- dynFlag stolen_x86_regs
-                              return [ show n_regs ]
-                      else return []
+runPhase Mangle _basename _suff input_fn get_output_fn maybe_loc
+   = do mangler_opts <- getOpts opt_m
+        machdep_opts <- if (prefixMatch "i386" cTARGETPLATFORM)
+                         then do n_regs <- dynFlag stolen_x86_regs
+                                 return [ show n_regs ]
+                         else return []
 
-       SysTools.runMangle (map SysTools.Option mangler_opts
+       split <- readIORef v_Split_object_files
+       let next_phase
+               | split = SplitMangle
+               | otherwise = As
+       output_fn <- get_output_fn next_phase maybe_loc
+
+       SysTools.runMangle (map SysTools.Option mangler_opts
                          ++ [ SysTools.FileOption "" input_fn
                             , SysTools.FileOption "" output_fn
                             ]
                          ++ map SysTools.Option machdep_opts)
-       return (Just output_fn)
+
+       return (Just next_phase, maybe_loc, output_fn)
 
 -----------------------------------------------------------------------------
 -- Splitting phase
 
-run_phase SplitMangle _basename _suff input_fn output_fn
+runPhase SplitMangle _basename _suff input_fn get_output_fn maybe_loc
   = do  -- tmp_pfx is the prefix used for the split .s files
        -- We also use it as the file to contain the no. of split .s files (sigh)
        split_s_prefix <- SysTools.newTempName "split"
@@ -644,15 +782,18 @@ run_phase SplitMangle _basename _suff input_fn output_fn
        addFilesToClean [ split_s_prefix ++ "__" ++ show n ++ ".s"
                        | n <- [1..n_files]]
 
-       return (Just output_fn)
+       return (Just SplitAs, maybe_loc, "**splitmangle**")
+         -- we don't use the filename
 
 -----------------------------------------------------------------------------
 -- As phase
 
-run_phase As _basename _suff input_fn output_fn
+runPhase As _basename _suff input_fn get_output_fn maybe_loc
   = do as_opts               <- getOpts opt_a
         cmdline_include_paths <- readIORef v_Include_paths
 
+       output_fn <- get_output_fn Ln maybe_loc
+
        SysTools.runAs (map SysTools.Option as_opts
                       ++ [ SysTools.Option ("-I" ++ p) | p <- cmdline_include_paths ]
                       ++ [ SysTools.Option "-c"
@@ -660,22 +801,25 @@ run_phase As _basename _suff input_fn output_fn
                          , SysTools.Option "-o"
                          , SysTools.FileOption "" output_fn
                          ])
-       return (Just output_fn)
 
-run_phase SplitAs basename _suff _input_fn output_fn
+       return (Just Ln, maybe_loc, output_fn)
+
+
+runPhase SplitAs basename _suff _input_fn get_output_fn maybe_loc
   = do  as_opts <- getOpts opt_a
 
        (split_s_prefix, n) <- readIORef v_Split_info
 
        odir <- readIORef v_Output_dir
        let real_odir = case odir of
-                               Nothing -> basename
+                               Nothing -> basename ++ "_split"
                                Just d  -> d
 
        let assemble_file n
              = do  let input_s  = split_s_prefix ++ "__" ++ show n ++ ".s"
-                   let output_o = newdir real_odir 
+                   let output_o = replaceFilenameDirectory
                                        (basename ++ "__" ++ show n ++ ".o")
+                                        real_odir
                    real_o <- osuf_ify output_o
                    SysTools.runAs (map SysTools.Option as_opts ++
                                    [ SysTools.Option "-c"
@@ -685,14 +829,16 @@ run_phase SplitAs basename _suff _input_fn output_fn
                                    ])
        
        mapM_ assemble_file [1..n]
-       return (Just output_fn)
+
+       output_fn <- get_output_fn Ln maybe_loc
+       return (Just Ln, maybe_loc, output_fn)
 
 #ifdef ILX
 -----------------------------------------------------------------------------
 -- Ilx2Il phase
 -- Run ilx2il over the ILX output, getting an IL file
 
-run_phase Ilx2Il _basename _suff input_fn output_fn
+runPhase Ilx2Il _basename _suff input_fn get_output_fn maybe_loc
   = do ilx2il_opts <- getOpts opt_I
         SysTools.runIlx2il (map SysTools.Option ilx2il_opts
                            ++ [ SysTools.Option "--no-add-suffix-to-assembly",
@@ -700,22 +846,22 @@ run_phase Ilx2Il _basename _suff input_fn output_fn
                                SysTools.Option "-o",
                                SysTools.FileOption "" output_fn,
                                SysTools.FileOption "" input_fn ])
-       return (Just output_fn)
+       return True
 
 -----------------------------------------------------------------------------
 -- Ilasm phase
 -- Run ilasm over the IL, getting a DLL
 
-run_phase Ilasm _basename _suff input_fn output_fn
+runPhase Ilasm _basename _suff input_fn get_output_fn maybe_loc
   = do ilasm_opts <- getOpts opt_i
         SysTools.runIlasm (map SysTools.Option ilasm_opts
                           ++ [ SysTools.Option "/QUIET",
                                SysTools.Option "/DLL",
                                SysTools.FileOption "/OUT=" output_fn,
                                SysTools.FileOption "" input_fn ])
-       return (Just output_fn)
+       return True
 
-#endif -- ILX
+#endif /* ILX */
 
 -----------------------------------------------------------------------------
 -- MoveBinary sort-of-phase
@@ -723,12 +869,12 @@ run_phase Ilasm _basename _suff input_fn output_fn
 -- wrapper script calling the binary. Currently, we need this only in 
 -- a parallel way (i.e. in GUM), because PVM expects the binary in a
 -- central directory.
--- This is called from doLink below, after linking. I haven't made it
+-- This is called from staticLink below, after linking. I haven't made it
 -- a separate phase to minimise interfering with other modules, and
 -- we don't need the generality of a phase (MoveBinary is always
 -- done after linking and makes only sense in a parallel setup)   -- HWL
 
-run_phase_MoveBinary input_fn
+runPhase_MoveBinary input_fn
   = do 
         sysMan   <- getSysMan
         pvm_root <- getEnv "PVM_ROOT"
@@ -805,51 +951,86 @@ mk_pvm_wrapper_script pvm_executable pvm_executable_base sysMan = unlines $
 -- Complain about non-dynamic flags in OPTIONS pragmas
 
 checkProcessArgsResult flags basename suff
-  = do when (not (null flags)) (throwDyn (ProgramError (
-           basename ++ "." ++ suff 
-           ++ ": static flags are not allowed in {-# OPTIONS #-} pragmas:\n\t" 
-           ++ unwords flags)) (ExitFailure 1))
+  = do when (notNull flags) (throwDyn (ProgramError (
+         showSDoc (hang (text basename <> text ('.':suff) <> char ':')
+                     4 (text "unknown flags in  {-# OPTIONS #-} pragma:" <+>
+                         hsep (map text flags)))
+       )))
+
+-----------------------------------------------------------------------------
+-- Look for the /* GHC_PACKAGES ... */ comment at the top of a .hc file
+
+getHCFilePackages :: FilePath -> IO [PackageName]
+getHCFilePackages filename =
+  EXCEPTION.bracket (openFile filename ReadMode) hClose $ \h -> do
+    l <- hGetLine h
+    case l of
+      '/':'*':' ':'G':'H':'C':'_':'P':'A':'C':'K':'A':'G':'E':'S':rest ->
+         return (map mkPackageName (words rest))
+      _other ->
+         return []
 
 -----------------------------------------------------------------------------
--- Linking
+-- Static linking, of .o files
 
-doLink :: [String] -> IO ()
-doLink o_files = do
+-- The list of packages passed to link is the list of packages on
+-- which this program depends, as discovered by the compilation
+-- manager.  It is combined with the list of packages that the user
+-- specifies on the command line with -package flags.  
+--
+-- In one-shot linking mode, we can't discover the package
+-- dependencies (because we haven't actually done any compilation or
+-- read any interface files), so the user must explicitly specify all
+-- the packages.
+
+staticLink :: [FilePath] -> [PackageName] -> IO ()
+staticLink o_files dep_packages = do
     verb       <- getVerbFlag
     static     <- readIORef v_Static
     no_hs_main <- readIORef v_NoHsMain
 
+    -- get the full list of packages to link with, by combining the
+    -- explicit packages with the auto packages and all of their
+    -- dependencies, and eliminating duplicates.
+
     o_file <- readIORef v_Output_file
     let output_fn = case o_file of { Just s -> s; Nothing -> "a.out"; }
 
-    pkg_lib_paths <- getPackageLibraryPath
+    pkg_lib_paths <- getPackageLibraryPath dep_packages
     let pkg_lib_path_opts = map ("-L"++) pkg_lib_paths
 
     lib_paths <- readIORef v_Library_paths
     let lib_path_opts = map ("-L"++) lib_paths
 
-    pkg_libs <- getPackageLibraries
-    let imp         = if static then "" else "_imp"
-        pkg_lib_opts = map (\lib -> "-l" ++ lib ++ imp) pkg_libs
+    pkg_link_opts <- getPackageLinkOpts dep_packages
 
-    libs <- readIORef v_Cmdline_libraries
-    let lib_opts = map ("-l"++) (reverse libs)
-        -- reverse because they're added in reverse order from the cmd line
+#ifdef darwin_TARGET_OS
+    pkg_framework_paths <- getPackageFrameworkPath dep_packages
+    let pkg_framework_path_opts = map ("-F"++) pkg_framework_paths
+
+    framework_paths <- readIORef v_Framework_paths
+    let framework_path_opts = map ("-F"++) framework_paths
 
-    pkg_extra_ld_opts <- getPackageExtraLdOpts
+    pkg_frameworks <- getPackageFrameworks dep_packages
+    let pkg_framework_opts = concat [ ["-framework", fw] | fw <- pkg_frameworks ]
+
+    frameworks <- readIORef v_Cmdline_frameworks
+    let framework_opts = concat [ ["-framework", fw] | fw <- reverse frameworks ]
+        -- reverse because they're added in reverse order from the cmd line
+#endif
 
        -- probably _stub.o files
     extra_ld_inputs <- readIORef v_Ld_inputs
 
-       -- opts from -optl-<blah>
+       -- opts from -optl-<blah> (including -l<blah> options)
     extra_ld_opts <- getStaticOpts v_Opt_l
 
-    rts_pkg <- getPackageDetails ["rts"]
-    std_pkg <- getPackageDetails ["std"]
+    [rts_pkg, std_pkg] <- getPackageDetails [rtsPackage, basePackage]
+
     let extra_os = if static || no_hs_main
                    then []
-                   else [ head (library_dirs (head rts_pkg)) ++ "/Main.dll_o",
-                          head (library_dirs (head std_pkg)) ++ "/PrelMain.dll_o" ]
+                   else [ head (library_dirs rts_pkg) ++ "/Main.dll_o",
+                          head (library_dirs std_pkg) ++ "/PrelMain.dll_o" ]
 
     (md_c_flags, _) <- machdepCCOpts
     SysTools.runLink ( [ SysTools.Option verb
@@ -862,28 +1043,33 @@ doLink o_files = do
                      ++ extra_os
                      ++ extra_ld_inputs
                      ++ lib_path_opts
-                     ++ lib_opts
-                     ++ pkg_lib_path_opts
-                     ++ pkg_lib_opts
-                     ++ pkg_extra_ld_opts
                      ++ extra_ld_opts
+#ifdef darwin_TARGET_OS
+                     ++ framework_path_opts
+                     ++ framework_opts
+#endif
+                     ++ pkg_lib_path_opts
+                     ++ pkg_link_opts
+#ifdef darwin_TARGET_OS
+                     ++ pkg_framework_path_opts
+                     ++ pkg_framework_opts
+#endif
                      ++ if static && not no_hs_main then
-                           [ "-u", prefixUnderscore "PrelMain_mainIO_closure" ,
-                             "-u", prefixUnderscore "__init_PrelMain"] 
+                           [ "-u", prefixUnderscore "Main_zdmain_closure"] 
                         else []))
 
     -- parallel only: move binary to another dir -- HWL
     ways_ <- readIORef v_Ways
     when (WayPar `elem` ways_)
-        (do success <- run_phase_MoveBinary output_fn
+        (do success <- runPhase_MoveBinary output_fn
              if success then return ()
                         else throwDyn (InstallationError ("cannot move binary to PVM dir")))
 
 -----------------------------------------------------------------------------
 -- Making a DLL (only for Win32)
 
-doMkDLL :: [String] -> IO ()
-doMkDLL o_files = do
+doMkDLL :: [String] -> [PackageName] -> IO ()
+doMkDLL o_files dep_packages = do
     verb       <- getVerbFlag
     static     <- readIORef v_Static
     no_hs_main <- readIORef v_NoHsMain
@@ -891,21 +1077,13 @@ doMkDLL o_files = do
     o_file <- readIORef v_Output_file
     let output_fn = case o_file of { Just s -> s; Nothing -> "HSdll.dll"; }
 
-    pkg_lib_paths <- getPackageLibraryPath
+    pkg_lib_paths <- getPackageLibraryPath dep_packages
     let pkg_lib_path_opts = map ("-L"++) pkg_lib_paths
 
     lib_paths <- readIORef v_Library_paths
     let lib_path_opts = map ("-L"++) lib_paths
 
-    pkg_libs <- getPackageLibraries
-    let imp = if static then "" else "_imp"
-        pkg_lib_opts = map (\lib -> "-l" ++ lib ++ imp) pkg_libs
-
-    libs <- readIORef v_Cmdline_libraries
-    let lib_opts = map ("-l"++) (reverse libs)
-        -- reverse because they're added in reverse order from the cmd line
-
-    pkg_extra_ld_opts <- getPackageExtraLdOpts
+    pkg_link_opts <- getPackageLinkOpts dep_packages
 
        -- probably _stub.o files
     extra_ld_inputs <- readIORef v_Ld_inputs
@@ -913,13 +1091,12 @@ doMkDLL o_files = do
        -- opts from -optdll-<blah>
     extra_ld_opts <- getStaticOpts v_Opt_dll
 
-    rts_pkg <- getPackageDetails ["rts"]
-    std_pkg <- getPackageDetails ["std"]
+    [rts_pkg, std_pkg] <- getPackageDetails [rtsPackage, basePackage]
 
     let extra_os = if static || no_hs_main
                    then []
-                   else [ head (library_dirs (head rts_pkg)) ++ "/Main.dll_o",
-                          head (library_dirs (head std_pkg)) ++ "/PrelMain.dll_o" ]
+                   else [ head (library_dirs rts_pkg) ++ "/Main.dll_o",
+                          head (library_dirs std_pkg) ++ "/PrelMain.dll_o" ]
 
     (md_c_flags, _) <- machdepCCOpts
     SysTools.runMkDLL
@@ -934,189 +1111,40 @@ doMkDLL o_files = do
         ++ [ "--target=i386-mingw32" ]
         ++ extra_ld_inputs
         ++ lib_path_opts
-        ++ lib_opts
-        ++ pkg_lib_path_opts
-        ++ pkg_lib_opts
-        ++ pkg_extra_ld_opts
-         ++ (case findPS (packString (concat extra_ld_opts)) (packString "--def") of
-               Nothing -> [ "--export-all" ]
-              Just _  -> [ "" ])
         ++ extra_ld_opts
+        ++ pkg_lib_path_opts
+        ++ pkg_link_opts
+         ++ (if "--def" `elem` (concatMap words extra_ld_opts)
+              then [ "" ]
+               else [ "--export-all" ])
        ))
 
------------------------------------------------------------------------------
--- Just preprocess a file, put the result in a temp. file (used by the
--- compilation manager during the summary phase).
-
-preprocess :: FilePath -> IO FilePath
-preprocess filename =
-  ASSERT(haskellish_src_file filename) 
-  do restoreDynFlags   -- Restore to state of last save
-     pipeline <- genPipeline (StopBefore Hsc) ("preprocess") False 
-                            defaultHscLang (filename, getFileSuffix filename)
-     (fn,_)   <- runPipeline pipeline (filename,getFileSuffix filename)
-                            False{-no linking-} False{-no -o flag-}
-     return fn
-
------------------------------------------------------------------------------
--- Compile a single module, under the control of the compilation manager.
---
--- This is the interface between the compilation manager and the
--- compiler proper (hsc), where we deal with tedious details like
--- reading the OPTIONS pragma from the source file, and passing the
--- output of hsc through the C compiler.
-
--- The driver sits between 'compile' and 'hscMain', translating calls
--- to the former into calls to the latter, and results from the latter
--- into results from the former.  It does things like preprocessing
--- the .hs file if necessary, and compiling up the .stub_c files to
--- generate Linkables.
-
--- NB.  No old interface can also mean that the source has changed.
-
-compile :: GhciMode                -- distinguish batch from interactive
-        -> ModSummary              -- summary, including source
-       -> Bool                    -- True <=> source unchanged
-       -> Bool                    -- True <=> have object
-        -> Maybe ModIface          -- old interface, if available
-        -> HomeSymbolTable         -- for home module ModDetails
-       -> HomeIfaceTable          -- for home module Ifaces
-        -> PersistentCompilerState -- persistent compiler state
-        -> IO CompResult
-
-data CompResult
-   = CompOK   PersistentCompilerState  -- updated PCS
-              ModDetails  -- new details (HST additions)
-              ModIface    -- new iface   (HIT additions)
-              (Maybe Linkable)
-                       -- new code; Nothing => compilation was not reqd
-                       -- (old code is still valid)
-
-   | CompErrs PersistentCompilerState  -- updated PCS
-
-
-compile ghci_mode summary source_unchanged have_object 
-       old_iface hst hit pcs = do 
-   dyn_flags <- restoreDynFlags                -- Restore to the state of the last save
-
-
-   showPass dyn_flags 
-       (showSDoc (text "Compiling" <+> ppr (name_of_summary summary)))
-
-   let verb      = verbosity dyn_flags
-   let location   = ms_location summary
-   let input_fn   = unJust "compile:hs" (ml_hs_file location) 
-   let input_fnpp = unJust "compile:hspp" (ml_hspp_file location)
-
-   when (verb >= 2) (hPutStrLn stderr ("compile: input file " ++ input_fnpp))
-
-   opts <- getOptionsFromSource input_fnpp
-   processArgs dynamic_flags opts []
-   dyn_flags <- getDynFlags
-
-   let hsc_lang      = hscLang dyn_flags
-       (basename, _) = splitFilename input_fn
-       
-   keep_hc <- readIORef v_Keep_hc_files
-   keep_s  <- readIORef v_Keep_s_files
-
-   output_fn <- 
-       case hsc_lang of
-          HscAsm  | keep_s    -> return (basename ++ '.':phaseInputExt As)
-                  | otherwise -> newTempName (phaseInputExt As)
-          HscC    | keep_hc   -> return (basename ++ '.':phaseInputExt HCc)
-                  | otherwise -> newTempName (phaseInputExt HCc)
-           HscJava             -> newTempName "java" -- ToDo
-#ifdef ILX
-          HscILX              -> return (phaseInputExt Ilx2Il)         
-#endif
-          HscInterpreted      -> return (error "no output file")
-           HscNothing         -> return (error "no output file")
-
-   let dyn_flags' = dyn_flags { hscOutName = output_fn,
-                               hscStubCOutName = basename ++ "_stub.c",
-                               hscStubHOutName = basename ++ "_stub.h",
-                               extCoreName = basename ++ ".core" }
-
-   -- figure out which header files to #include in a generated .hc file
-   c_includes <- getPackageCIncludes
-   cmdline_includes <- dynFlag cmdlineHcIncludes -- -#include options
-
-   let cc_injects = unlines (map mk_include 
-                                 (c_includes ++ reverse cmdline_includes))
-       mk_include h_file = 
-       case h_file of 
-           '"':_{-"-} -> "#include "++h_file
-           '<':_      -> "#include "++h_file
-           _          -> "#include \""++h_file++"\""
-
-   writeIORef v_HCHeader cc_injects
-
-   -- -no-recomp should also work with --make
-   do_recomp <- readIORef v_Recomp
-   let source_unchanged' = source_unchanged && do_recomp
-
-   -- run the compiler
-   hsc_result <- hscMain ghci_mode dyn_flags'
-                        (ms_mod summary) location
-                        source_unchanged' have_object old_iface hst hit pcs
-
-   case hsc_result of
-      HscFail pcs -> return (CompErrs pcs)
-
-      HscNoRecomp pcs details iface -> return (CompOK pcs details iface Nothing)
-
-      HscRecomp pcs details iface
-       stub_h_exists stub_c_exists maybe_interpreted_code -> do
-          
-          let 
-          maybe_stub_o <- compileStub dyn_flags' stub_c_exists
-          let stub_unlinked = case maybe_stub_o of
-                                 Nothing -> []
-                                 Just stub_o -> [ DotO stub_o ]
-
-          (hs_unlinked, unlinked_time) <-
-            case hsc_lang of
-
-               -- in interpreted mode, just return the compiled code
-               -- as our "unlinked" object.
-               HscInterpreted -> 
-                   case maybe_interpreted_code of
-#ifdef GHCI
-                      Just (bcos,itbl_env) -> do tm <- getClockTime 
-                                                  return ([BCOs bcos itbl_env], tm)
-#endif
-                      Nothing -> panic "compile: no interpreted code"
-
-               -- we're in batch mode: finish the compilation pipeline.
-               _other -> do pipe <- genPipeline (StopBefore Ln) "" True 
-                                       hsc_lang (output_fn, getFileSuffix output_fn)
-                             -- runPipeline takes input_fn so it can split off 
-                             -- the base name and use it as the base of 
-                             -- the output object file.
-                             let (basename, suffix) = splitFilename input_fn
-                            (o_file,_) <- 
-                                pipeLoop pipe (output_fn, getFileSuffix output_fn)
-                                              False False 
-                                               basename suffix
-                             o_time <- getModificationTime o_file
-                            return ([DotO o_file], o_time)
-
-          let linkable = LM unlinked_time (moduleName (ms_mod summary)) 
-                            (hs_unlinked ++ stub_unlinked)
-
-          return (CompOK pcs details iface (Just linkable))
-
-
------------------------------------------------------------------------------
--- stub .h and .c files (for foreign export support)
-
-compileStub dflags stub_c_exists
-  | not stub_c_exists = return Nothing
-  | stub_c_exists = do
-       -- compile the _stub.c file w/ gcc
-       let stub_c = hscStubCOutName dflags
-       pipeline   <- genPipeline (StopBefore Ln) "" True defaultHscLang (stub_c,"c")
-       (stub_o,_) <- runPipeline pipeline (stub_c,"c") False{-no linking-} 
-                                 False{-no -o option-}
-       return (Just stub_o)
+-- -----------------------------------------------------------------------------
+-- Misc.
+
+hscNextPhase :: HscLang -> IO Phase
+hscNextPhase hsc_lang = do
+  split <- readIORef v_Split_object_files
+  return (case hsc_lang of
+               HscC -> HCc
+               HscAsm | split -> SplitMangle
+                      | otherwise -> As
+               HscNothing     -> HCc  -- dummy (no output will be generated)
+               HscInterpreted -> HCc  -- "" ""
+               _other         -> HCc  -- "" ""
+       )
+
+hscMaybeAdjustLang :: HscLang -> IO HscLang
+hscMaybeAdjustLang current_hsc_lang = do
+  todo    <- readIORef v_GhcMode
+  keep_hc <- readIORef v_Keep_hc_files
+  let hsc_lang
+       -- don't change the lang if we're interpreting
+        | current_hsc_lang == HscInterpreted = current_hsc_lang
+       -- force -fvia-C if we are being asked for a .hc file
+        | todo == StopBefore HCc  || keep_hc = HscC
+       -- force -fvia-C when profiling or ticky-ticky is on
+        | opt_SccProfilingOn || opt_DoTickyProfiling = HscC
+       -- otherwise, stick to the plan
+        | otherwise = current_hsc_lang
+  return hsc_lang