remove empty dir
[ghc-hetmet.git] / ghc / compiler / typecheck / TcDeriv.lhs
index 52b02ca..472ce6b 100644 (file)
@@ -10,53 +10,50 @@ module TcDeriv ( tcDeriving ) where
 
 #include "HsVersions.h"
 
-import HsSyn           ( HsBinds(..), TyClDecl(..),
-                         andMonoBindList, collectMonoBinders )
-import RdrHsSyn                ( RdrNameMonoBinds )
-import RnHsSyn         ( RenamedHsBinds, RenamedTyClDecl, RenamedHsPred )
-import CmdLineOpts     ( DynFlag(..) )
+import HsSyn
+import DynFlags        ( DynFlag(..) )
 
+import Generics                ( mkTyConGenericBinds )
 import TcRnMonad
-import TcEnv           ( tcExtendTempInstEnv, newDFunName, 
-                         InstInfo(..), pprInstInfo, InstBindings(..),
-                         pprInstInfoDetails, tcLookupTyCon, tcExtendTyVarEnv
+import TcEnv           ( newDFunName, pprInstInfoDetails, 
+                         InstInfo(..), InstBindings(..), simpleInstInfoClsTy,
+                         tcLookupClass, tcLookupTyCon, tcExtendTyVarEnv
                        )
 import TcGenDeriv      -- Deriv stuff
-import InstEnv         ( simpleDFunClassTyCon )
-import TcMonoType      ( tcHsPred )
+import InstEnv         ( Instance, OverlapFlag, mkLocalInstance, instanceHead, extendInstEnvList )
+import Inst            ( getOverlapFlag )
+import TcHsType                ( tcHsDeriv )
 import TcSimplify      ( tcSimplifyDeriv )
 
-import RnBinds         ( rnMethodBinds, rnTopMonoBinds )
-import RnEnv           ( bindLocalsFV, extendTyVarEnvFVRn )
-import TcRnMonad       ( thenM, returnM, mapAndUnzipM )
-import HscTypes                ( DFunId )
+import RnBinds         ( rnMethodBinds, rnTopBinds )
+import RnEnv           ( bindLocalNames )
+import HscTypes                ( FixityEnv )
 
-import BasicTypes      ( NewOrData(..) )
 import Class           ( className, classArity, classKey, classTyVars, classSCTheta, Class )
-import Subst           ( mkTyVarSubst, substTheta )
+import Type            ( zipOpenTvSubst, substTheta )
 import ErrUtils                ( dumpIfSet_dyn )
 import MkId            ( mkDictFunId )
-import DataCon         ( dataConOrigArgTys, isNullaryDataCon, isExistentialDataCon )
-import Maybes          ( maybeToBool, catMaybes )
-import Name            ( Name, getSrcLoc )
-import Unique          ( Unique, getUnique )
-import NameSet
+import DataCon         ( isNullarySrcDataCon, isVanillaDataCon, dataConOrigArgTys )
+import Maybes          ( catMaybes )
 import RdrName         ( RdrName )
-
-import TyCon           ( tyConTyVars, tyConDataCons, tyConArity, 
-                         tyConTheta, isProductTyCon, isDataTyCon,
+import Name            ( Name, getSrcLoc )
+import NameSet         ( duDefs )
+import Kind            ( splitKindFunTys )
+import TyCon           ( tyConTyVars, tyConDataCons, tyConArity, tyConHasGenerics,
+                         tyConStupidTheta, isProductTyCon, isDataTyCon, newTyConRhs,
                          isEnumerationTyCon, isRecursiveTyCon, TyCon
                        )
-import TcType          ( TcType, ThetaType, mkTyVarTy, mkTyVarTys, mkTyConApp, 
-                         getClassPredTys_maybe,
-                         isUnLiftedType, mkClassPred, tyVarsOfTypes, tcSplitFunTys, isTypeKind,
-                         tcEqTypes, tcSplitAppTys, mkAppTys, tcSplitDFunTy )
-import Var             ( TyVar, tyVarKind, idType, varName )
+import TcType          ( TcType, ThetaType, mkTyVarTys, mkTyConApp, tcTyConAppTyCon,
+                         isUnLiftedType, mkClassPred, tyVarsOfTypes, isArgTypeKind,
+                         tcEqTypes, tcSplitAppTys, mkAppTys )
+import Var             ( TyVar, tyVarKind, varName )
 import VarSet          ( mkVarSet, subVarSet )
 import PrelNames
-import Util            ( zipWithEqual, sortLt, notNull )
-import ListSetOps      ( removeDups,  assoc )
+import SrcLoc          ( srcLocSpan, Located(..) )
+import Util            ( zipWithEqual, sortLe, notNull )
+import ListSetOps      ( removeDups,  assocMaybe )
 import Outputable
+import Bag
 \end{code}
 
 %************************************************************************
@@ -184,6 +181,20 @@ pattern matching against a constructor from a data type with a context
 gives rise to the constraints for that context -- or at least the thinned
 version.  So now all classes are "offending".
 
+[Newtype deriving]
+~~~~~~~~~~~~~~~~~~
+Consider this:
+    class C a b
+    instance C [a] Char
+    newtype T = T Char deriving( C [a] )
+
+Notice the free 'a' in the deriving.  We have to fill this out to 
+    newtype T = T Char deriving( forall a. C [a] )
+
+And then translate it to:
+    instance C [a] Char => C [a] T where ...
+    
+       
 
 
 %************************************************************************
@@ -193,87 +204,90 @@ version.  So now all classes are "offending".
 %************************************************************************
 
 \begin{code}
-tcDeriving  :: [RenamedTyClDecl]       -- All type constructors
-           -> TcM ([InstInfo],         -- The generated "instance decls".
-                   RenamedHsBinds,     -- Extra generated bindings
-                   FreeVars)           -- These are free in the generated bindings
+tcDeriving  :: [LTyClDecl Name]        -- All type constructors
+           -> TcM ([InstInfo],         -- The generated "instance decls"
+                   HsValBinds Name)    -- Extra generated top-level bindings
 
 tcDeriving tycl_decls
-  = recoverM (returnM ([], EmptyBinds, emptyFVs)) $
-    getDOpts                   `thenM` \ dflags ->
-
-       -- Fish the "deriving"-related information out of the TcEnv
-       -- and make the necessary "equations".
-    makeDerivEqns tycl_decls                           `thenM` \ (ordinary_eqns, newtype_inst_info) ->
-    tcExtendTempInstEnv (map iDFunId newtype_inst_info)        $
-       -- Add the newtype-derived instances to the inst env
-       -- before tacking the "ordinary" ones
+  = recoverM (returnM ([], emptyValBindsOut)) $
+    do {       -- Fish the "deriving"-related information out of the TcEnv
+               -- and make the necessary "equations".
+         overlap_flag <- getOverlapFlag
+       ; (ordinary_eqns, newtype_inst_info) <- makeDerivEqns overlap_flag tycl_decls
+
+       ; (ordinary_inst_info, deriv_binds) 
+               <- extendLocalInstEnv (map iSpec newtype_inst_info)  $
+                  deriveOrdinaryStuff overlap_flag ordinary_eqns
+               -- Add the newtype-derived instances to the inst env
+               -- before tacking the "ordinary" ones
+
+       ; let inst_info = newtype_inst_info ++ ordinary_inst_info
+
+       -- If we are compiling a hs-boot file, 
+       -- don't generate any derived bindings
+       ; is_boot <- tcIsHsBoot
+       ; if is_boot then
+               return (inst_info, emptyValBindsOut)
+         else do
+       {
+
+       -- Generate the generic to/from functions from each type declaration
+       ; gen_binds <- mkGenericBinds tycl_decls
+
+       -- Rename these extra bindings, discarding warnings about unused bindings etc
+       -- Set -fglasgow exts so that we can have type signatures in patterns,
+       -- which is used in the generic binds
+       ; rn_binds
+               <- discardWarnings $ setOptM Opt_GlasgowExts $ do
+                       { (rn_deriv, _dus1) <- rnTopBinds (ValBindsIn deriv_binds [])
+                       ; (rn_gen, dus_gen) <- rnTopBinds (ValBindsIn gen_binds   [])
+                       ; keepAliveSetTc (duDefs dus_gen)       -- Mark these guys to
+                                                               -- be kept alive
+                       ; return (rn_deriv `plusHsValBinds` rn_gen) }
+
+
+       ; dflags <- getDOpts
+       ; ioToTcRn (dumpIfSet_dyn dflags Opt_D_dump_deriv "Derived instances" 
+                  (ddump_deriving inst_info rn_binds))
+
+       ; returnM (inst_info, rn_binds)
+       }}
+  where
+    ddump_deriving :: [InstInfo] -> HsValBinds Name -> SDoc
+    ddump_deriving inst_infos extra_binds
+      = vcat (map pprInstInfoDetails inst_infos) $$ ppr extra_binds
 
-    deriveOrdinaryStuff ordinary_eqns                  `thenM` \ (ordinary_inst_info, binds, fvs) ->
-    let
-       inst_info  = newtype_inst_info ++ ordinary_inst_info
-    in
+-----------------------------------------
+deriveOrdinaryStuff overlap_flag []    -- Short cut
+  = returnM ([], emptyLHsBinds)
 
-    ioToTcRn (dumpIfSet_dyn dflags Opt_D_dump_deriv "Derived instances" 
-            (ddump_deriving inst_info binds))          `thenM_`
+deriveOrdinaryStuff overlap_flag eqns
+  = do {       -- Take the equation list and solve it, to deliver a list of
+               -- solutions, a.k.a. the contexts for the instance decls
+               -- required for the corresponding equations.
+         inst_specs <- solveDerivEqns overlap_flag eqns
 
-    returnM (inst_info, binds, fvs)
+       -- Generate the InstInfo for each dfun, 
+       -- plus any auxiliary bindings it needs
+       ; (inst_infos, aux_binds_s) <- mapAndUnzipM genInst inst_specs
 
-  where
-    ddump_deriving :: [InstInfo] -> RenamedHsBinds -> SDoc
-    ddump_deriving inst_infos extra_binds
-      = vcat (map ppr_info inst_infos) $$ ppr extra_binds
+       -- Generate any extra not-one-inst-decl-specific binds, 
+       -- notably "con2tag" and/or "tag2con" functions.  
+       ; extra_binds <- genTaggeryBinds inst_infos
 
-    ppr_info inst_info = pprInstInfo inst_info $$ 
-                        nest 4 (pprInstInfoDetails inst_info)
-       -- pprInstInfo doesn't print much: only the type
+       -- Done
+       ; returnM (inst_infos, unionManyBags (extra_binds : aux_binds_s))
+   }
 
 -----------------------------------------
-deriveOrdinaryStuff [] -- Short cut
-  = returnM ([], EmptyBinds, emptyFVs)
-
-deriveOrdinaryStuff eqns
-  =    -- Take the equation list and solve it, to deliver a list of
-       -- solutions, a.k.a. the contexts for the instance decls
-       -- required for the corresponding equations.
-    solveDerivEqns eqns                        `thenM` \ new_dfuns ->
-
-       -- Now augment the InstInfos, adding in the rather boring
-       -- actual-code-to-do-the-methods binds.  We may also need to
-       -- generate extra not-one-inst-decl-specific binds, notably
-       -- "con2tag" and/or "tag2con" functions.  We do these
-       -- separately.
-    gen_taggery_Names new_dfuns                `thenM` \ nm_alist_etc ->
-
-    let
-       extra_mbind_list = map gen_tag_n_con_monobind nm_alist_etc
-       extra_mbinds     = andMonoBindList extra_mbind_list
-       mbinders         = collectMonoBinders extra_mbinds
-    in
-    mappM gen_bind new_dfuns           `thenM` \ rdr_name_inst_infos ->
-       
-    traceTc (text "tcDeriv" <+> vcat (map ppr rdr_name_inst_infos))    `thenM_`
-    getModule                          `thenM` \ this_mod ->
-    initRn (InterfaceMode this_mod) (
-       -- Rename to get RenamedBinds.
-       -- The only tricky bit is that the extra_binds must scope 
-       -- over the method bindings for the instances.
-       bindLocalsFV (ptext (SLIT("deriving"))) mbinders        $ \ _ ->
-       rnTopMonoBinds extra_mbinds []                  `thenM` \ (rn_extra_binds, dus) ->
-       mapAndUnzipM rn_inst_info rdr_name_inst_infos   `thenM` \ (rn_inst_infos, fvs_s) ->
-       returnM ((rn_inst_infos, rn_extra_binds), 
-                 duUses dus `plusFV` plusFVs fvs_s)
-    )                          `thenM` \ ((rn_inst_infos, rn_extra_binds), fvs) ->
-   returnM (rn_inst_infos, rn_extra_binds, fvs)
-
-  where
-    rn_inst_info (dfun, binds) 
-       = extendTyVarEnvFVRn (map varName tyvars)       $
-               -- Bring the right type variables into scope
-         rnMethodBinds (className cls) [] binds        `thenM` \ (rn_binds, fvs) ->
-         return (InstInfo { iDFunId = dfun, iBinds = VanillaInst rn_binds [] }, fvs)
-       where
-         (tyvars, _, cls, _) = tcSplitDFunTy (idType dfun)
+mkGenericBinds tycl_decls
+  = do { tcs <- mapM tcLookupTyCon 
+                       [ tc_name | 
+                         L _ (TyData { tcdLName = L _ tc_name }) <- tycl_decls]
+               -- We are only interested in the data type declarations
+       ; return (unionManyBags [ mkTyConGenericBinds tc | 
+                                 tc <- tcs, tyConHasGenerics tc ]) }
+               -- And then only in the ones whose 'has-generics' flag is on
 \end{code}
 
 
@@ -299,81 +313,58 @@ or} has just one data constructor (e.g., tuples).
 all those.
 
 \begin{code}
-makeDerivEqns :: [RenamedTyClDecl] 
+makeDerivEqns :: OverlapFlag
+             -> [LTyClDecl Name] 
              -> TcM ([DerivEqn],       -- Ordinary derivings
                      [InstInfo])       -- Special newtype derivings
 
-makeDerivEqns tycl_decls
+makeDerivEqns overlap_flag tycl_decls
   = mapAndUnzipM mk_eqn derive_these           `thenM` \ (maybe_ordinaries, maybe_newtypes) ->
     returnM (catMaybes maybe_ordinaries, catMaybes maybe_newtypes)
   where
     ------------------------------------------------------------------
-    derive_these :: [(NewOrData, Name, RenamedHsPred)]
+    derive_these :: [(NewOrData, Name, LHsType Name)]
        -- Find the (nd, TyCon, Pred) pairs that must be `derived'
-       -- NB: only source-language decls have deriving, no imported ones do
     derive_these = [ (nd, tycon, pred) 
-                  | TyData {tcdND = nd, tcdName = tycon, tcdDerivs = Just preds} <- tycl_decls,
+                  | L _ (TyData { tcdND = nd, tcdLName = L _ tycon, 
+                                 tcdDerivs = Just preds }) <- tycl_decls,
                     pred <- preds ]
 
     ------------------------------------------------------------------
-    mk_eqn :: (NewOrData, Name, RenamedHsPred) -> TcM (Maybe DerivEqn, Maybe InstInfo)
+    mk_eqn :: (NewOrData, Name, LHsType Name) -> TcM (Maybe DerivEqn, Maybe InstInfo)
        -- We swizzle the tyvars and datacons out of the tycon
        -- to make the rest of the equation
+       --
+       -- The "deriv_ty" is a LHsType to take account of the fact that for newtype derivign
+       -- we allow deriving (forall a. C [a]).
 
-    mk_eqn (new_or_data, tycon_name, pred)
+    mk_eqn (new_or_data, tycon_name, hs_deriv_ty)
       = tcLookupTyCon tycon_name               `thenM` \ tycon ->
-       addSrcLoc (getSrcLoc tycon)             $
+       setSrcSpan (srcLocSpan (getSrcLoc tycon))               $
         addErrCtxt (derivCtxt Nothing tycon)   $
        tcExtendTyVarEnv (tyConTyVars tycon)    $       -- Deriving preds may (now) mention
                                                        -- the type variables for the type constructor
-        tcHsPred pred                          `thenM` \ pred' ->
-       case getClassPredTys_maybe pred' of
-          Nothing          -> bale_out (malformedPredErr tycon pred)
-          Just (clas, tys) -> doptM Opt_GlasgowExts                    `thenM` \ gla_exts ->
-                              mk_eqn_help gla_exts new_or_data tycon clas tys
+       tcHsDeriv hs_deriv_ty                   `thenM` \ (deriv_tvs, clas, tys) ->
+       doptM Opt_GlasgowExts                   `thenM` \ gla_exts ->
+        mk_eqn_help gla_exts new_or_data tycon deriv_tvs clas tys
 
     ------------------------------------------------------------------
-    mk_eqn_help gla_exts DataType tycon clas tys
-      | Just err <- checkSideConditions gla_exts clas tycon tys
-      = bale_out (derivingThingErr clas tys tycon tyvars err)
+    mk_eqn_help gla_exts DataType tycon deriv_tvs clas tys
+      | Just err <- checkSideConditions gla_exts tycon deriv_tvs clas tys
+      = bale_out (derivingThingErr clas tys tycon (tyConTyVars tycon) err)
       | otherwise 
-      = new_dfun_name clas tycon        `thenM` \ dfun_name ->
-       returnM (Just (dfun_name, clas, tycon, tyvars, constraints), Nothing)
-      where
-       tyvars    = tyConTyVars tycon
-       data_cons = tyConDataCons tycon
-       constraints = extra_constraints ++ ordinary_constraints
-                -- "extra_constraints": see note [Data decl contexts] above
-       extra_constraints = tyConTheta tycon
-
-       ordinary_constraints
-         | clas `hasKey` typeableClassKey      -- For the Typeable class, the constraints
-                                               -- don't involve the constructor ags, only 
-                                               -- the tycon tyvars
-                                               -- e.g.   data T a b = ...
-                                               -- we want
-                                               --      instance (Typeable a, Typable b)
-                                               --               => Typeable (T a b) where
-         = [mkClassPred clas [mkTyVarTy tv] | tv <- tyvars]
-         | otherwise
-         = [ mkClassPred clas [arg_ty] 
-           | data_con <- tyConDataCons tycon,
-             arg_ty   <- dataConOrigArgTys data_con,
-                       -- Use the same type variables
-                       -- as the type constructor,
-                       -- hence no need to instantiate
-             not (isUnLiftedType arg_ty)       -- No constraints for unlifted types?
-           ]
-
-    mk_eqn_help gla_exts NewType tycon clas tys
-      | can_derive_via_isomorphism && (gla_exts || standard_class gla_exts clas)
+      = do { eqn <- mkDataTypeEqn tycon clas
+          ; returnM (Just eqn, Nothing) }
+
+    mk_eqn_help gla_exts NewType tycon deriv_tvs clas tys
+      | can_derive_via_isomorphism && (gla_exts || std_class_via_iso clas)
       =                -- Go ahead and use the isomorphism
           traceTc (text "newtype deriving:" <+> ppr tycon <+> ppr rep_tys)     `thenM_`
                   new_dfun_name clas tycon             `thenM` \ dfun_name ->
-          returnM (Nothing, Just (InstInfo { iDFunId = mk_dfun dfun_name,
+          returnM (Nothing, Just (InstInfo { iSpec  = mk_inst_spec dfun_name,
                                              iBinds = NewTypeDerived rep_tys }))
-      | standard_class gla_exts clas
-      = mk_eqn_help gla_exts DataType tycon clas tys   -- Go via bale-out route
+      | std_class gla_exts clas
+      = mk_eqn_help gla_exts DataType tycon deriv_tvs clas tys -- Go via bale-out route
 
       | otherwise                              -- Non-standard instance
       = bale_out (if gla_exts then     
@@ -383,43 +374,46 @@ makeDerivEqns tycl_decls
       where
        -- Here is the plan for newtype derivings.  We see
        --        newtype T a1...an = T (t ak...an) deriving (.., C s1 .. sm, ...)
-       -- where aj...an do not occur free in t, and the (C s1 ... sm) is a 
-       -- *partial applications* of class C with the last parameter missing
+       -- where t is a type,
+       --       ak...an is a suffix of a1..an
+       --       ak...an do not occur free in t, 
+       --       (C s1 ... sm) is a  *partial applications* of class C 
+       --                      with the last parameter missing
        --
        -- We generate the instances
-       --       instance C s1 .. sm (t ak...aj) => C s1 .. sm (T a1...aj)
-       -- where T a1...aj is the partial application of the LHS of the correct kind
+       --       instance C s1 .. sm (t ak...ap) => C s1 .. sm (T a1...ap)
+       -- where T a1...ap is the partial application of the LHS of the correct kind
+       -- and p >= k
        --
        -- Running example: newtype T s a = MkT (ST s a) deriving( Monad )
        --      instance Monad (ST s) => Monad (T s) where 
        --        fail = coerce ... (fail @ ST s)
+       -- (Actually we don't need the coerce, because non-rec newtypes are transparent
 
        clas_tyvars = classTyVars clas
        kind = tyVarKind (last clas_tyvars)
                -- Kind of the thing we want to instance
                --   e.g. argument kind of Monad, *->*
 
-       (arg_kinds, _) = tcSplitFunTys kind
+       (arg_kinds, _) = splitKindFunTys kind
        n_args_to_drop = length arg_kinds       
                -- Want to drop 1 arg from (T s a) and (ST s a)
                -- to get       instance Monad (ST s) => Monad (T s)
 
        -- Note [newtype representation]
-       -- We must not use newTyConRep to get the representation 
-       -- type, because that looks through all intermediate newtypes
-       -- To get the RHS of *this* newtype, just look at the data
-       -- constructor.  For example
+       -- Need newTyConRhs *not* newTyConRep to get the representation 
+       -- type, because the latter looks through all intermediate newtypes
+       -- For example
        --      newtype B = MkB Int
        --      newtype A = MkA B deriving( Num )
        -- We want the Num instance of B, *not* the Num instance of Int,
        -- when making the Num instance of A!
-       tyvars                = tyConTyVars tycon
-        rep_ty                       = head (dataConOrigArgTys (head (tyConDataCons tycon)))
+        (tc_tvs, rep_ty)      = newTyConRhs tycon
        (rep_fn, rep_ty_args) = tcSplitAppTys rep_ty
 
        n_tyvars_to_keep = tyConArity tycon  - n_args_to_drop
-       tyvars_to_drop   = drop n_tyvars_to_keep tyvars
-       tyvars_to_keep   = take n_tyvars_to_keep tyvars
+       tyvars_to_drop   = drop n_tyvars_to_keep tc_tvs
+       tyvars_to_keep   = take n_tyvars_to_keep tc_tvs
 
        n_args_to_keep = length rep_ty_args - n_args_to_drop
        args_to_drop   = drop n_args_to_keep rep_ty_args
@@ -450,16 +444,20 @@ makeDerivEqns tycl_decls
                -- There's no 'corece' needed because after the type checker newtypes
                -- are transparent.
 
-       sc_theta = substTheta (mkTyVarSubst clas_tyvars inst_tys)
+       sc_theta = substTheta (zipOpenTvSubst clas_tyvars inst_tys)
                              (classSCTheta clas)
 
                -- If there are no tyvars, there's no need
                -- to abstract over the dictionaries we need
-       dict_args | null tyvars = []
-                 | otherwise   = rep_pred : sc_theta
+       dict_tvs = deriv_tvs ++ tc_tvs
+       dict_args | null dict_tvs = []
+                 | otherwise     = rep_pred : sc_theta
 
                -- Finally! Here's where we build the dictionary Id
-       mk_dfun dfun_name = mkDictFunId dfun_name tyvars dict_args clas inst_tys
+       mk_inst_spec dfun_name 
+         = mkLocalInstance dfun overlap_flag
+         where
+           dfun = mkDictFunId dfun_name dict_tvs dict_args clas inst_tys
 
        -------------------------------------------------------------------
        --  Figuring out whether we can only do this newtype-deriving thing
@@ -482,6 +480,14 @@ makeDerivEqns tycl_decls
                                                --      newtype A = MkA [A]
                                                -- Don't want
                                                --      instance Eq [A] => Eq A !!
+                       -- Here's a recursive newtype that's actually OK
+                       --      newtype S1 = S1 [T1 ()]
+                       --      newtype T1 a = T1 (StateT S1 IO a ) deriving( Monad )
+                       -- It's currently rejected.  Oh well.
+                       -- In fact we generate an instance decl that has method of form
+                       --      meth @ instTy = meth @ repTy
+                       -- (no coerce's).  We'd need a coerce if we wanted to handle
+                       -- recursive newtypes too
 
        -- Check that eta reduction is OK
        --      (a) the dropped-off args are identical
@@ -512,12 +518,18 @@ makeDerivEqns tycl_decls
                                       ptext SLIT("Try -fglasgow-exts for GHC's newtype-deriving extension")])
 
     bale_out err = addErrTc err `thenM_` returnM (Nothing, Nothing) 
-    standard_class gla_exts clas =  key `elem` derivableClassKeys
-                                || (gla_exts && (key == typeableClassKey || key == dataClassKey))
-       where
-         key = classKey clas
-
 
+std_class gla_exts clas 
+  =  key `elem` derivableClassKeys
+  || (gla_exts && (key == typeableClassKey || key == dataClassKey))
+  where
+     key = classKey clas
+    
+std_class_via_iso clas -- These standard classes can be derived for a newtype
+                       -- using the isomorphism trick *even if no -fglasgow-exts*
+  = classKey clas `elem`  [eqClassKey, ordClassKey, ixClassKey, boundedClassKey]
+       -- Not Read/Show because they respect the type
+       -- Not Enum, becuase newtypes are never in Enum
 
 
 new_dfun_name clas tycon       -- Just a simple wrapper
@@ -525,14 +537,47 @@ new_dfun_name clas tycon  -- Just a simple wrapper
        -- The type passed to newDFunName is only used to generate
        -- a suitable string; hence the empty type arg list
 
+------------------------------------------------------------------
+mkDataTypeEqn :: TyCon -> Class -> TcM DerivEqn
+mkDataTypeEqn tycon clas
+  | clas `hasKey` typeableClassKey
+  =    -- The Typeable class is special in several ways
+       --        data T a b = ... deriving( Typeable )
+       -- gives
+       --        instance Typeable2 T where ...
+       -- Notice that:
+       -- 1. There are no constraints in the instance
+       -- 2. There are no type variables either
+       -- 3. The actual class we want to generate isn't necessarily
+       --      Typeable; it depends on the arity of the type
+    do { real_clas <- tcLookupClass (typeableClassNames !! tyConArity tycon)
+       ; dfun_name <- new_dfun_name real_clas tycon
+       ; return (dfun_name, real_clas, tycon, [], []) }
+
+  | otherwise
+  = do { dfun_name <- new_dfun_name clas tycon
+       ; return (dfun_name, clas, tycon, tyvars, constraints) }
+  where
+    tyvars            = tyConTyVars tycon
+    constraints       = extra_constraints ++ ordinary_constraints
+    extra_constraints = tyConStupidTheta tycon
+        -- "extra_constraints": see note [Data decl contexts] above
+
+    ordinary_constraints
+      = [ mkClassPred clas [arg_ty] 
+        | data_con <- tyConDataCons tycon,
+          arg_ty   <- dataConOrigArgTys data_con,
+          not (isUnLiftedType arg_ty)  -- No constraints for unlifted types?
+        ]
+
 
 ------------------------------------------------------------------
 -- Check side conditions that dis-allow derivability for particular classes
 -- This is *apart* from the newtype-deriving mechanism
 
-checkSideConditions :: Bool -> Class -> TyCon -> [TcType] -> Maybe SDoc
-checkSideConditions gla_exts clas tycon tys
-  | notNull tys        
+checkSideConditions :: Bool -> TyCon -> [TyVar] -> Class -> [TcType] -> Maybe SDoc
+checkSideConditions gla_exts tycon deriv_tvs clas tys
+  | notNull deriv_tvs || notNull tys   
   = Just ty_args_why   -- e.g. deriving( Foo s )
   | otherwise
   = case [cond | (key,cond) <- sideConditions, key == getUnique clas] of
@@ -540,7 +585,7 @@ checkSideConditions gla_exts clas tycon tys
        [cond] -> cond (gla_exts, tycon)
        other  -> pprPanic "checkSideConditions" (ppr clas)
   where
-    ty_args_why             = quotes (ppr (mkClassPred clas tys)) <+> ptext SLIT("is not a class")
+    ty_args_why        = quotes (ppr (mkClassPred clas tys)) <+> ptext SLIT("is not a class")
 
 non_std_why clas = quotes (ppr clas) <+> ptext SLIT("is not a derivable class")
 
@@ -553,7 +598,7 @@ sideConditions
        (enumClassKey,     cond_std `andCond` cond_isEnumeration),
        (ixClassKey,       cond_std `andCond` (cond_isEnumeration `orCond` cond_isProduct)),
        (boundedClassKey,  cond_std `andCond` (cond_isEnumeration `orCond` cond_isProduct)),
-       (typeableClassKey, cond_glaExts `andCond` cond_allTypeKind),
+       (typeableClassKey, cond_glaExts `andCond` cond_typeableOK),
        (dataClassKey,     cond_glaExts `andCond` cond_std)
     ]
 
@@ -574,13 +619,13 @@ andCond c1 c2 tc = case c1 tc of
 
 cond_std :: Condition
 cond_std (gla_exts, tycon)
-  | any isExistentialDataCon data_cons         = Just existential_why     
-  | null data_cons                     = Just no_cons_why
-  | otherwise                          = Nothing
+  | any (not . isVanillaDataCon) data_cons = Just existential_why     
+  | null data_cons                        = Just no_cons_why
+  | otherwise                             = Nothing
   where
     data_cons       = tyConDataCons tycon
     no_cons_why            = quotes (ppr tycon) <+> ptext SLIT("has no data constructors")
-    existential_why = quotes (ppr tycon) <+> ptext SLIT("has existentially-quantified constructor(s)")
+    existential_why = quotes (ppr tycon) <+> ptext SLIT("has non-Haskell-98 constructor(s)")
   
 cond_isEnumeration :: Condition
 cond_isEnumeration (gla_exts, tycon)
@@ -596,12 +641,17 @@ cond_isProduct (gla_exts, tycon)
   where
     why = quotes (ppr tycon) <+> ptext SLIT("has more than one constructor")
 
-cond_allTypeKind :: Condition
-cond_allTypeKind (gla_exts, tycon)
-  | all (isTypeKind . tyVarKind) (tyConTyVars tycon) = Nothing
-  | otherwise                                       = Just why
+cond_typeableOK :: Condition
+-- OK for Typeable class
+-- Currently: (a) args all of kind *
+--           (b) 7 or fewer args
+cond_typeableOK (gla_exts, tycon)
+  | tyConArity tycon > 7                                     = Just too_many
+  | not (all (isArgTypeKind . tyVarKind) (tyConTyVars tycon)) = Just bad_kind
+  | otherwise                                                = Nothing
   where
-    why  = quotes (ppr tycon) <+> ptext SLIT("is parameterised over arguments of kind other than `*'")
+    too_many = quotes (ppr tycon) <+> ptext SLIT("has too many arguments")
+    bad_kind = quotes (ppr tycon) <+> ptext SLIT("has arguments of kind other than `*'")
 
 cond_glaExts :: Condition
 cond_glaExts (gla_exts, tycon) | gla_exts  = Nothing
@@ -631,11 +681,12 @@ ordered by sorting on type varible, tv, (major key) and then class, k,
 \end{itemize}
 
 \begin{code}
-solveDerivEqns :: [DerivEqn]
-              -> TcM [DFunId]  -- Solns in same order as eqns.
+solveDerivEqns :: OverlapFlag
+              -> [DerivEqn]
+              -> TcM [Instance]-- Solns in same order as eqns.
                                -- This bunch is Absolutely minimal...
 
-solveDerivEqns orig_eqns
+solveDerivEqns overlap_flag orig_eqns
   = iterateDeriv 1 initial_solutions
   where
        -- The initial solutions for the equations claim that each
@@ -649,7 +700,7 @@ solveDerivEqns orig_eqns
        -- compares it with the current one; finishes if they are the
        -- same, otherwise recurses with the new solutions.
        -- It fails if any iteration fails
-    iterateDeriv :: Int -> [DerivSoln] ->TcM [DFunId]
+    iterateDeriv :: Int -> [DerivSoln] -> TcM [Instance]
     iterateDeriv n current_solns
       | n > 20         -- Looks as if we are in an infinite loop
                -- This can happen if we have -fallow-undecidable-instances
@@ -658,30 +709,42 @@ solveDerivEqns orig_eqns
                 (vcat (map pprDerivEqn orig_eqns) $$ ppr current_solns)
       | otherwise
       =        let 
-           dfuns = zipWithEqual "add_solns" mk_deriv_dfun orig_eqns current_solns
+           inst_specs = zipWithEqual "add_solns" mk_inst_spec 
+                                     orig_eqns current_solns
         in
         checkNoErrs (
                  -- Extend the inst info from the explicit instance decls
                  -- with the current set of solutions, and simplify each RHS
-           tcExtendTempInstEnv dfuns $
+           extendLocalInstEnv inst_specs $
            mappM gen_soln orig_eqns
        )                               `thenM` \ new_solns ->
        if (current_solns == new_solns) then
-           returnM dfuns
+           returnM inst_specs
        else
            iterateDeriv (n+1) new_solns
 
     ------------------------------------------------------------------
-
     gen_soln (_, clas, tc,tyvars,deriv_rhs)
-      = addSrcLoc (getSrcLoc tc)               $
+      = setSrcSpan (srcLocSpan (getSrcLoc tc))         $
        addErrCtxt (derivCtxt (Just clas) tc)   $
-       tcSimplifyDeriv tyvars deriv_rhs        `thenM` \ theta ->
-       returnM (sortLt (<) theta)      -- Canonicalise before returning the soluction
+       tcSimplifyDeriv tc tyvars deriv_rhs     `thenM` \ theta ->
+       returnM (sortLe (<=) theta)     -- Canonicalise before returning the soluction
 
-mk_deriv_dfun (dfun_name, clas, tycon, tyvars, _) theta
-  = mkDictFunId dfun_name tyvars theta
-               clas [mkTyConApp tycon (mkTyVarTys tyvars)] 
+    ------------------------------------------------------------------
+    mk_inst_spec (dfun_name, clas, tycon, tyvars, _) theta
+       = mkLocalInstance dfun overlap_flag
+       where
+         dfun = mkDictFunId dfun_name tyvars theta clas
+                            [mkTyConApp tycon (mkTyVarTys tyvars)]
+
+extendLocalInstEnv :: [Instance] -> TcM a -> TcM a
+-- Add new locally-defined instances; don't bother to check
+-- for functional dependency errors -- that'll happen in TcInstDcls
+extendLocalInstEnv dfuns thing_inside
+ = do { env <- getGblEnv
+      ; let  inst_env' = extendInstEnvList (tcg_inst_env env) dfuns 
+            env'      = env { tcg_inst_env = inst_env' }
+      ; setGblEnv env' thing_inside }
 \end{code}
 
 %************************************************************************
@@ -739,37 +802,64 @@ Much less often (really just for deriving @Ix@), we use a
 
 \item
 We use the renamer!!!  Reason: we're supposed to be
-producing @RenamedMonoBinds@ for the methods, but that means
+producing @LHsBinds Name@ for the methods, but that means
 producing correctly-uniquified code on the fly.  This is entirely
 possible (the @TcM@ monad has a @UniqueSupply@), but it is painful.
-So, instead, we produce @RdrNameMonoBinds@ then heave 'em through
+So, instead, we produce @MonoBinds RdrName@ then heave 'em through
 the renamer.  What a great hack!
 \end{itemize}
 
 \begin{code}
--- Generate the method bindings for the required instance
--- (paired with DFunId, as we need that when renaming
---  the method binds)
-gen_bind :: DFunId -> TcM (DFunId, RdrNameMonoBinds)
-gen_bind dfun
-  = getFixityEnv               `thenM` \ fix_env -> 
-    let
-        (clas, tycon) = simpleDFunClassTyCon dfun
-       gen_binds_fn  = assoc "gen_bind:bad derived class"
-                             gen_list (getUnique clas)
-    
-       gen_list = [(eqClassKey,      gen_Eq_binds)
-                  ,(ordClassKey,     gen_Ord_binds)
-                  ,(enumClassKey,    gen_Enum_binds)
-                  ,(boundedClassKey, gen_Bounded_binds)
-                  ,(ixClassKey,      gen_Ix_binds)
-                  ,(showClassKey,    gen_Show_binds fix_env)
-                  ,(readClassKey,    gen_Read_binds fix_env)
-                  ,(typeableClassKey,gen_Typeable_binds)
-                  ,(dataClassKey,    gen_Data_binds)
-                  ]
-    in
-    returnM (dfun, gen_binds_fn tycon)
+-- Generate the InstInfo for the required instance,
+-- plus any auxiliary bindings required
+genInst :: Instance -> TcM (InstInfo, LHsBinds RdrName)
+genInst spec
+  = do { fix_env <- getFixityEnv
+       ; let
+           (tyvars,_,clas,[ty])    = instanceHead spec
+           clas_nm                 = className clas
+           tycon                   = tcTyConAppTyCon ty 
+           (meth_binds, aux_binds) = genDerivBinds clas fix_env tycon
+
+       -- Bring the right type variables into 
+       -- scope, and rename the method binds
+       -- It's a bit yukky that we return *renamed* InstInfo, but
+       -- *non-renamed* auxiliary bindings
+       ; (rn_meth_binds, _fvs) <- discardWarnings $ 
+                                  bindLocalNames (map varName tyvars)  $
+                                  rnMethodBinds clas_nm [] meth_binds
+
+       -- Build the InstInfo
+       ; return (InstInfo { iSpec = spec, 
+                            iBinds = VanillaInst rn_meth_binds [] }, 
+                 aux_binds)
+       }
+
+genDerivBinds clas fix_env tycon
+  | className clas `elem` typeableClassNames
+  = (gen_Typeable_binds tycon, emptyLHsBinds)
+
+  | otherwise
+  = case assocMaybe gen_list (getUnique clas) of
+       Just gen_fn -> gen_fn fix_env tycon
+       Nothing     -> pprPanic "genDerivBinds: bad derived class" (ppr clas)
+  where
+    gen_list :: [(Unique, FixityEnv -> TyCon -> (LHsBinds RdrName, LHsBinds RdrName))]
+    gen_list = [(eqClassKey,      no_aux_binds (ignore_fix_env gen_Eq_binds))
+              ,(ordClassKey,     no_aux_binds (ignore_fix_env gen_Ord_binds))
+              ,(enumClassKey,    no_aux_binds (ignore_fix_env gen_Enum_binds))
+              ,(boundedClassKey, no_aux_binds (ignore_fix_env gen_Bounded_binds))
+              ,(ixClassKey,      no_aux_binds (ignore_fix_env gen_Ix_binds))
+              ,(typeableClassKey,no_aux_binds (ignore_fix_env gen_Typeable_binds))
+              ,(showClassKey,    no_aux_binds gen_Show_binds)
+              ,(readClassKey,    no_aux_binds gen_Read_binds)
+              ,(dataClassKey,    gen_Data_binds)
+              ]
+
+      -- no_aux_binds is used for generators that don't 
+      -- need to produce any auxiliary bindings
+    no_aux_binds f fix_env tc = (f fix_env tc, emptyLHsBinds)
+    ignore_fix_env f fix_env tc = f tc
 \end{code}
 
 
@@ -806,23 +896,22 @@ We're deriving @Enum@, or @Ix@ (enum type only???)
 If we have a @tag2con@ function, we also generate a @maxtag@ constant.
 
 \begin{code}
-gen_taggery_Names :: [DFunId]
-                 -> TcM [(RdrName,     -- for an assoc list
-                          TyCon,       -- related tycon
-                          TagThingWanted)]
-
-gen_taggery_Names dfuns
-  = foldlM do_con2tag []           tycons_of_interest `thenM` \ names_so_far ->
-    foldlM do_tag2con names_so_far tycons_of_interest
+genTaggeryBinds :: [InstInfo] -> TcM (LHsBinds RdrName)
+genTaggeryBinds infos
+  = do { names_so_far <- foldlM do_con2tag []           tycons_of_interest
+       ; nm_alist_etc <- foldlM do_tag2con names_so_far tycons_of_interest
+       ; return (listToBag (map gen_tag_n_con_monobind nm_alist_etc)) }
   where
-    all_CTs = map simpleDFunClassTyCon dfuns
+    all_CTs = [ (cls, tcTyConAppTyCon ty)
+             | info <- infos, 
+               let (cls,ty) = simpleInstInfoClsTy info ]
     all_tycons             = map snd all_CTs
     (tycons_of_interest, _) = removeDups compare all_tycons
     
     do_con2tag acc_Names tycon
       | isDataTyCon tycon &&
         ((we_are_deriving eqClassKey tycon
-           && any isNullaryDataCon (tyConDataCons tycon))
+           && any isNullarySrcDataCon (tyConDataCons tycon))
         || (we_are_deriving ordClassKey  tycon
            && not (isProductTyCon tycon))
         || (we_are_deriving enumClassKey tycon)
@@ -860,8 +949,6 @@ derivingThingErr clas tys tycon tyvars why
   where
     pred = mkClassPred clas (tys ++ [mkTyConApp tycon (mkTyVarTys tyvars)])
 
-malformedPredErr tycon pred = ptext SLIT("Illegal deriving item") <+> ppr pred
-
 derivCtxt :: Maybe Class -> TyCon -> SDoc
 derivCtxt maybe_cls tycon
   = ptext SLIT("When deriving") <+> cls <+> ptext SLIT("for type") <+> quotes (ppr tycon)