[project @ 2003-07-24 14:41:48 by simonpj]
[ghc-hetmet.git] / ghc / compiler / typecheck / TcDeriv.lhs
index de7b2b3..9ea0190 100644 (file)
@@ -10,53 +10,53 @@ module TcDeriv ( tcDeriving ) where
 
 #include "HsVersions.h"
 
-import HsSyn           ( HsBinds(..), MonoBinds(..), TyClDecl(..),
-                         collectLocatedMonoBinders )
+import HsSyn           ( HsBinds(..), TyClDecl(..), MonoBinds(..),
+                         andMonoBindList, collectMonoBinders )
 import RdrHsSyn                ( RdrNameMonoBinds )
-import RnHsSyn         ( RenamedHsBinds, RenamedMonoBinds, RenamedTyClDecl, RenamedHsPred )
-import CmdLineOpts     ( DynFlag(..), DynFlags )
+import RnHsSyn         ( RenamedHsBinds, RenamedTyClDecl, RenamedHsPred )
+import CmdLineOpts     ( DynFlag(..) )
 
-import TcMonad
-import TcEnv           ( tcSetInstEnv, newDFunName, InstInfo(..), pprInstInfo,
-                         tcLookupClass, tcLookupTyCon, tcExtendTyVarEnv
+import TcRnMonad
+import TcEnv           ( tcExtendTempInstEnv, newDFunName, 
+                         InstInfo(..), pprInstInfo, InstBindings(..),
+                         pprInstInfoDetails, tcLookupTyCon, tcExtendTyVarEnv
                        )
 import TcGenDeriv      -- Deriv stuff
-import InstEnv         ( InstEnv, simpleDFunClassTyCon, extendInstEnv )
+import InstEnv         ( simpleDFunClassTyCon )
 import TcMonoType      ( tcHsPred )
 import TcSimplify      ( tcSimplifyDeriv )
 
 import RnBinds         ( rnMethodBinds, rnTopMonoBinds )
-import RnEnv           ( bindLocatedLocalsRn )
-import RnMonad         ( renameDerivedCode, thenRn, mapRn, returnRn )
-import HscTypes                ( DFunId, PersistentRenamerState )
-
-import BasicTypes      ( Fixity, NewOrData(..) )
-import Class           ( className, classKey, classTyVars, Class )
-import ErrUtils                ( dumpIfSet_dyn, Message )
+import RnEnv           ( bindLocalsFV, extendTyVarEnvFVRn )
+import TcRnMonad       ( thenM, returnM, mapAndUnzipM )
+import HscTypes                ( DFunId )
+
+import BasicTypes      ( NewOrData(..) )
+import Class           ( className, classArity, classKey, classTyVars, classSCTheta, Class )
+import Subst           ( mkTyVarSubst, substTheta )
+import ErrUtils                ( dumpIfSet_dyn )
 import MkId            ( mkDictFunId )
-import DataCon         ( dataConRepArgTys, isNullaryDataCon, isExistentialDataCon )
-import PrelInfo                ( needsDataDeclCtxtClassKeys )
+import DataCon         ( dataConOrigArgTys, isNullaryDataCon, isExistentialDataCon )
 import Maybes          ( maybeToBool, catMaybes )
-import Module          ( Module )
-import Name            ( Name, getSrcLoc, nameUnique )
+import Name            ( Name, getSrcLoc )
+import Unique          ( Unique, getUnique )
+import NameSet
 import RdrName         ( RdrName )
 
-import TyCon           ( tyConTyVars, tyConDataCons, tyConArity, newTyConRep,
-                         tyConTheta, maybeTyConSingleCon, isDataTyCon,
-                         isEnumerationTyCon, TyCon
+import TyCon           ( tyConTyVars, tyConDataCons, tyConArity, 
+                         tyConTheta, isProductTyCon, isDataTyCon,
+                         isEnumerationTyCon, isRecursiveTyCon, TyCon
                        )
-import TcType          ( TcType, ThetaType, mkTyVarTys, mkTyConApp, getClassPredTys_maybe,
-                         isUnLiftedType, mkClassPred, tyVarsOfTypes, tcSplitFunTys, 
-                         tcSplitTyConApp_maybe, tcEqTypes, tyVarsOfTheta )
-import Var             ( TyVar, tyVarKind )
+import TcType          ( TcType, ThetaType, mkTyVarTy, mkTyVarTys, mkTyConApp, 
+                         getClassPredTys_maybe,
+                         isUnLiftedType, mkClassPred, tyVarsOfTypes, tcSplitFunTys, isTypeKind,
+                         tcEqTypes, tcSplitAppTys, mkAppTys, tcSplitDFunTy )
+import Var             ( TyVar, tyVarKind, idType, varName )
 import VarSet          ( mkVarSet, subVarSet )
 import PrelNames
-import Util            ( zipWithEqual, sortLt, eqListBy )
+import Util            ( zipWithEqual, sortLt, notNull )
 import ListSetOps      ( removeDups,  assoc )
 import Outputable
-import Maybe           ( isJust )
-import List            ( nub )
-import FastString      ( FastString )
 \end{code}
 
 %************************************************************************
@@ -148,13 +148,16 @@ type DerivEqn = (Name, Class, TyCon, [TyVar], DerivRhs)
                -- The Name is the name for the DFun we'll build
                -- The tyvars bind all the variables in the RHS
 
+pprDerivEqn (n,c,tc,tvs,rhs)
+  = parens (hsep [ppr n, ppr c, ppr tc, ppr tvs] <+> equals <+> ppr rhs)
+
 type DerivRhs  = ThetaType
 type DerivSoln = DerivRhs
 \end{code}
 
 
-A note about contexts on data decls
-~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
+[Data decl contexts] A note about contexts on data decls
+~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
 Consider
 
        data (RealFloat a) => Complex a = !a :+ !a deriving( Read )
@@ -176,6 +179,12 @@ context to the instance decl.  The "offending classes" are
 
        Read, Enum?
 
+FURTHER NOTE ADDED March 2002.  In fact, Haskell98 now requires that
+pattern matching against a constructor from a data type with a context
+gives rise to the constraints for that context -- or at least the thinned
+version.  So now all classes are "offending".
+
+
 
 %************************************************************************
 %*                                                                     *
@@ -184,91 +193,101 @@ context to the instance decl.  The "offending classes" are
 %************************************************************************
 
 \begin{code}
-tcDeriving  :: PersistentRenamerState
-           -> Module                   -- name of module under scrutiny
-           -> InstEnv                  -- What we already know about instances
-           -> (Name -> Maybe Fixity)   -- used in deriving Show and Read
-           -> [RenamedTyClDecl]        -- All type constructors
+tcDeriving  :: [RenamedTyClDecl]       -- All type constructors
            -> TcM ([InstInfo],         -- The generated "instance decls".
-                   RenamedHsBinds)     -- Extra generated bindings
+                   RenamedHsBinds,     -- Extra generated bindings
+                   FreeVars)           -- These are free in the generated bindings
 
-tcDeriving prs mod inst_env get_fixity tycl_decls
-  = recoverTc (returnTc ([], EmptyBinds)) $
-    getDOptsTc                           `thenNF_Tc` \ dflags ->
+tcDeriving tycl_decls
+  = recoverM (returnM ([], EmptyBinds, emptyFVs)) $
+    getDOpts                   `thenM` \ dflags ->
 
        -- Fish the "deriving"-related information out of the TcEnv
        -- and make the necessary "equations".
-    makeDerivEqns tycl_decls                           `thenTc` \ (ordinary_eqns, newtype_inst_info) ->
-    let
+    makeDerivEqns tycl_decls                           `thenM` \ (ordinary_eqns, newtype_inst_info) ->
+    tcExtendTempInstEnv (map iDFunId newtype_inst_info)        $
        -- Add the newtype-derived instances to the inst env
        -- before tacking the "ordinary" ones
-       inst_env1 = extend_inst_env dflags inst_env 
-                                   (map iDFunId newtype_inst_info)
-    in    
-    deriveOrdinaryStuff mod prs inst_env1 get_fixity 
-                       ordinary_eqns                   `thenTc` \ (ordinary_inst_info, binds) ->
+
+    deriveOrdinaryStuff ordinary_eqns                  `thenM` \ (ordinary_inst_info, binds, fvs) ->
     let
        inst_info  = newtype_inst_info ++ ordinary_inst_info
     in
 
-    ioToTc (dumpIfSet_dyn dflags Opt_D_dump_deriv "Derived instances" 
-                         (ddump_deriving inst_info binds))     `thenTc_`
+    ioToTcRn (dumpIfSet_dyn dflags Opt_D_dump_deriv "Derived instances" 
+            (ddump_deriving inst_info binds))          `thenM_`
 
-    returnTc (inst_info, binds)
+    returnM (inst_info, binds, fvs)
 
   where
     ddump_deriving :: [InstInfo] -> RenamedHsBinds -> SDoc
     ddump_deriving inst_infos extra_binds
-      = vcat (map pprInstInfo inst_infos) $$ ppr extra_binds
+      = vcat (map ppr_info inst_infos) $$ ppr extra_binds
 
+    ppr_info inst_info = pprInstInfo inst_info $$ 
+                        nest 4 (pprInstInfoDetails inst_info)
+       -- pprInstInfo doesn't print much: only the type
 
 -----------------------------------------
-deriveOrdinaryStuff mod prs inst_env_in get_fixity []  -- Short cut
-  = returnTc ([], EmptyBinds)
+deriveOrdinaryStuff [] -- Short cut
+  = returnM ([], EmptyBinds, emptyFVs)
 
-deriveOrdinaryStuff mod prs inst_env_in get_fixity eqns
+deriveOrdinaryStuff eqns
   =    -- Take the equation list and solve it, to deliver a list of
        -- solutions, a.k.a. the contexts for the instance decls
        -- required for the corresponding equations.
-    solveDerivEqns inst_env_in eqns            `thenTc` \ new_dfuns ->
+    solveDerivEqns eqns                        `thenM` \ new_dfuns ->
 
        -- Now augment the InstInfos, adding in the rather boring
        -- actual-code-to-do-the-methods binds.  We may also need to
        -- generate extra not-one-inst-decl-specific binds, notably
        -- "con2tag" and/or "tag2con" functions.  We do these
        -- separately.
-    gen_taggery_Names new_dfuns                        `thenTc` \ nm_alist_etc ->
+    gen_taggery_Names new_dfuns                `thenM` \ nm_alist_etc ->
 
-    tcGetEnv                                   `thenNF_Tc` \ env ->
-    getDOptsTc                                 `thenNF_Tc` \ dflags ->
     let
        extra_mbind_list = map gen_tag_n_con_monobind nm_alist_etc
-       extra_mbinds     = foldr AndMonoBinds EmptyMonoBinds extra_mbind_list
-       method_binds_s   = map (gen_bind get_fixity) new_dfuns
-       mbinders         = collectLocatedMonoBinders extra_mbinds
+       extra_mbinds     = andMonoBindList extra_mbind_list
+       mbinders         = collectMonoBinders extra_mbinds
+    in
+    mappM gen_bind new_dfuns           `thenM` \ rdr_name_inst_infos ->
        
+    traceTc (text "tcDeriv" <+> vcat (map ppr rdr_name_inst_infos))    `thenM_`
+    getModule                          `thenM` \ this_mod ->
+    initRn (InterfaceMode this_mod) (
        -- Rename to get RenamedBinds.
-       -- The only tricky bit is that the extra_binds must scope over the
-       -- method bindings for the instances.
-       (rn_method_binds_s, rn_extra_binds)
-               = renameDerivedCode dflags mod prs (
-                       bindLocatedLocalsRn (ptext (SLIT("deriving"))) mbinders $ \ _ ->
-                       rnTopMonoBinds extra_mbinds []          `thenRn` \ (rn_extra_binds, _) ->
-                       mapRn rn_meths method_binds_s           `thenRn` \ rn_method_binds_s ->
-                       returnRn (rn_method_binds_s, rn_extra_binds)
-                 )
-       new_inst_infos = zipWith gen_inst_info new_dfuns rn_method_binds_s
-    in
-    returnTc (new_inst_infos, rn_extra_binds)
+       -- The only tricky bit is that the extra_binds must scope 
+       -- over the method bindings for the instances.
+       bindLocalsFV (ptext (SLIT("deriving"))) mbinders        $ \ _ ->
+       rnTopMonoBinds extra_mbinds []                  `thenM` \ (rn_extra_binds, dus) ->
+
+       mapAndUnzipM rn_inst_info rdr_name_inst_infos   `thenM` \ (pairs, fvs_s) ->
+
+       let
+          (rn_inst_infos, aux_binds_s) = unzip pairs
+          all_binds = rn_extra_binds `ThenBinds` foldr ThenBinds EmptyBinds aux_binds_s
+       in
+       returnM ((rn_inst_infos, all_binds),
+                duUses dus `plusFV` plusFVs fvs_s)
+    )                          `thenM` \ ((rn_inst_infos, rn_extra_binds), fvs) ->
+   returnM (rn_inst_infos, rn_extra_binds, fvs)
 
   where
-       -- Make a Real dfun instead of the dummy one we have so far
-    gen_inst_info :: DFunId -> RenamedMonoBinds -> InstInfo
-    gen_inst_info dfun binds
-      = InstInfo { iDFunId = dfun, iBinds = binds, iPrags = [] }
-
-    rn_meths (cls, meths) = rnMethodBinds cls [] meths `thenRn` \ (meths', _) -> 
-                           returnRn meths'     -- Ignore the free vars returned
+    rn_inst_info (dfun, (meth_binds, aux_binds)) 
+       =       -- Rename the auxiliary bindings
+         bindLocalsFV (ptext (SLIT("deriving"))) mbinders      $ \ _ ->
+         rnTopMonoBinds aux_binds []                   `thenM` \ (rn_aux_binds, dus) ->
+
+               -- Bring the right type variables into scope
+         extendTyVarEnvFVRn (map varName tyvars)       $
+         rnMethodBinds (className cls) [] meth_binds   `thenM` \ (rn_meth_binds, fvs) ->
+
+         return ((InstInfo { iDFunId = dfun, iBinds = VanillaInst rn_meth_binds [] }, 
+                  rn_aux_binds), 
+                 duUses dus `plusFV` fvs)
+       where
+         mbinders = collectMonoBinders aux_binds
+         (tyvars, _, cls, _) = tcSplitDFunTy (idType dfun)
 \end{code}
 
 
@@ -299,8 +318,8 @@ makeDerivEqns :: [RenamedTyClDecl]
                      [InstInfo])       -- Special newtype derivings
 
 makeDerivEqns tycl_decls
-  = mapAndUnzipTc mk_eqn derive_these          `thenTc` \ (maybe_ordinaries, maybe_newtypes) ->
-    returnTc (catMaybes maybe_ordinaries, catMaybes maybe_newtypes)
+  = mapAndUnzipM mk_eqn derive_these           `thenM` \ (maybe_ordinaries, maybe_newtypes) ->
+    returnM (catMaybes maybe_ordinaries, catMaybes maybe_newtypes)
   where
     ------------------------------------------------------------------
     derive_these :: [(NewOrData, Name, RenamedHsPred)]
@@ -311,73 +330,86 @@ makeDerivEqns tycl_decls
                     pred <- preds ]
 
     ------------------------------------------------------------------
-    mk_eqn :: (NewOrData, Name, RenamedHsPred) -> NF_TcM (Maybe DerivEqn, Maybe InstInfo)
+    mk_eqn :: (NewOrData, Name, RenamedHsPred) -> TcM (Maybe DerivEqn, Maybe InstInfo)
        -- We swizzle the tyvars and datacons out of the tycon
        -- to make the rest of the equation
 
     mk_eqn (new_or_data, tycon_name, pred)
-      = tcLookupTyCon tycon_name               `thenNF_Tc` \ tycon ->
-       tcAddSrcLoc (getSrcLoc tycon)           $
-        tcAddErrCtxt (derivCtxt Nothing tycon) $
+      = tcLookupTyCon tycon_name               `thenM` \ tycon ->
+       addSrcLoc (getSrcLoc tycon)             $
+        addErrCtxt (derivCtxt Nothing tycon)   $
        tcExtendTyVarEnv (tyConTyVars tycon)    $       -- Deriving preds may (now) mention
                                                        -- the type variables for the type constructor
-        tcHsPred pred                          `thenTc` \ pred' ->
+        tcHsPred pred                          `thenM` \ pred' ->
        case getClassPredTys_maybe pred' of
           Nothing          -> bale_out (malformedPredErr tycon pred)
-          Just (clas, tys) -> mk_eqn_help new_or_data tycon clas tys
+          Just (clas, tys) -> doptM Opt_GlasgowExts                    `thenM` \ gla_exts ->
+                              mk_eqn_help gla_exts new_or_data tycon clas tys
 
     ------------------------------------------------------------------
-    mk_eqn_help DataType tycon clas tys
-      | Just err <- chk_out clas tycon tys
+    mk_eqn_help gla_exts DataType tycon clas tys
+      | Just err <- checkSideConditions gla_exts clas tycon tys
       = bale_out (derivingThingErr clas tys tycon tyvars err)
       | otherwise 
-      = new_dfun_name clas tycon        `thenNF_Tc` \ dfun_name ->
-       returnNF_Tc (Just (dfun_name, clas, tycon, tyvars, constraints), Nothing)
+      = new_dfun_name clas tycon        `thenM` \ dfun_name ->
+       returnM (Just (dfun_name, clas, tycon, tyvars, constraints), Nothing)
       where
        tyvars    = tyConTyVars tycon
        data_cons = tyConDataCons tycon
-       constraints = extra_constraints ++ 
-                     [ mkClassPred clas [arg_ty] 
-                     | data_con <- tyConDataCons tycon,
-                       arg_ty   <- dataConRepArgTys data_con,  
-                               -- Use the same type variables
-                               -- as the type constructor,
-                               -- hence no need to instantiate
-                       not (isUnLiftedType arg_ty)     -- No constraints for unlifted types?
-                     ]
-
-       
-        -- "extra_constraints": see notes above about contexts on data decls
-       extra_constraints | offensive_class = tyConTheta tycon
-                         | otherwise       = []
-       
-       offensive_class = classKey clas `elem` needsDataDeclCtxtClassKeys
-
-
-    mk_eqn_help NewType tycon clas tys
-      =        doptsTc Opt_GlasgowExts                 `thenTc` \ gla_exts ->
-        if can_derive_via_isomorphism && (gla_exts || standard_instance) then
-               -- Go ahead and use the isomorphism
-                  new_dfun_name clas tycon             `thenNF_Tc` \ dfun_name ->
-          returnTc (Nothing, Just (NewTypeDerived (mk_dfun dfun_name)))
-       else
-          if standard_instance then
-               mk_eqn_help DataType tycon clas []      -- Go via bale-out route
-          else
-               bale_out cant_derive_err
+       constraints = extra_constraints ++ ordinary_constraints
+                -- "extra_constraints": see note [Data decl contexts] above
+       extra_constraints = tyConTheta tycon
+
+       ordinary_constraints
+         | clas `hasKey` typeableClassKey      -- For the Typeable class, the constraints
+                                               -- don't involve the constructor ags, only 
+                                               -- the tycon tyvars
+                                               -- e.g.   data T a b = ...
+                                               -- we want
+                                               --      instance (Typeable a, Typable b)
+                                               --               => Typeable (T a b) where
+         = [mkClassPred clas [mkTyVarTy tv] | tv <- tyvars]
+         | otherwise
+         = [ mkClassPred clas [arg_ty] 
+           | data_con <- tyConDataCons tycon,
+             arg_ty   <- dataConOrigArgTys data_con,
+                       -- Use the same type variables
+                       -- as the type constructor,
+                       -- hence no need to instantiate
+             not (isUnLiftedType arg_ty)       -- No constraints for unlifted types?
+           ]
+
+    mk_eqn_help gla_exts NewType tycon clas tys
+      | can_derive_via_isomorphism && (gla_exts || standard_class gla_exts clas)
+      =                -- Go ahead and use the isomorphism
+          traceTc (text "newtype deriving:" <+> ppr tycon <+> ppr rep_tys)     `thenM_`
+                  new_dfun_name clas tycon             `thenM` \ dfun_name ->
+          returnM (Nothing, Just (InstInfo { iDFunId = mk_dfun dfun_name,
+                                             iBinds = NewTypeDerived rep_tys }))
+      | standard_class gla_exts clas
+      = mk_eqn_help gla_exts DataType tycon clas tys   -- Go via bale-out route
+
+      | otherwise                              -- Non-standard instance
+      = bale_out (if gla_exts then     
+                       cant_derive_err -- Too hard
+                 else
+                       non_std_err)    -- Just complain about being a non-std instance
       where
        -- Here is the plan for newtype derivings.  We see
-       --        newtype T a1...an = T (t ak...an) deriving (C1...Cm)
-       -- where aj...an do not occur free in t, and the Ci are *partial applications* of
-       -- classes with the last parameter missing
+       --        newtype T a1...an = T (t ak...an) deriving (.., C s1 .. sm, ...)
+       -- where aj...an do not occur free in t, and the (C s1 ... sm) is a 
+       -- *partial applications* of class C with the last parameter missing
        --
        -- We generate the instances
-       --       instance Ci (t ak...aj) => Ci (T a1...aj)
+       --       instance C s1 .. sm (t ak...aj) => C s1 .. sm (T a1...aj)
        -- where T a1...aj is the partial application of the LHS of the correct kind
        --
        -- Running example: newtype T s a = MkT (ST s a) deriving( Monad )
+       --      instance Monad (ST s) => Monad (T s) where 
+       --        fail = coerce ... (fail @ ST s)
 
-       kind = tyVarKind (last (classTyVars clas))
+       clas_tyvars = classTyVars clas
+       kind = tyVarKind (last clas_tyvars)
                -- Kind of the thing we want to instance
                --   e.g. argument kind of Monad, *->*
 
@@ -386,36 +418,84 @@ makeDerivEqns tycl_decls
                -- Want to drop 1 arg from (T s a) and (ST s a)
                -- to get       instance Monad (ST s) => Monad (T s)
 
-       (tyvars, rep_ty)           = newTyConRep tycon
-       maybe_rep_app              = tcSplitTyConApp_maybe rep_ty       
-       Just (rep_tc, rep_ty_args) = maybe_rep_app
+       -- Note [newtype representation]
+       -- We must not use newTyConRep to get the representation 
+       -- type, because that looks through all intermediate newtypes
+       -- To get the RHS of *this* newtype, just look at the data
+       -- constructor.  For example
+       --      newtype B = MkB Int
+       --      newtype A = MkA B deriving( Num )
+       -- We want the Num instance of B, *not* the Num instance of Int,
+       -- when making the Num instance of A!
+       tyvars                = tyConTyVars tycon
+        rep_ty                       = head (dataConOrigArgTys (head (tyConDataCons tycon)))
+       (rep_fn, rep_ty_args) = tcSplitAppTys rep_ty
 
        n_tyvars_to_keep = tyConArity tycon  - n_args_to_drop
        tyvars_to_drop   = drop n_tyvars_to_keep tyvars
        tyvars_to_keep   = take n_tyvars_to_keep tyvars
 
-       n_args_to_keep = tyConArity rep_tc - n_args_to_drop
+       n_args_to_keep = length rep_ty_args - n_args_to_drop
        args_to_drop   = drop n_args_to_keep rep_ty_args
        args_to_keep   = take n_args_to_keep rep_ty_args
 
-       ctxt_pred = mkClassPred clas (tys ++ [mkTyConApp rep_tc args_to_keep])
-
-       mk_dfun dfun_name = mkDictFunId dfun_name clas tyvars 
-                                                 (tys ++ [mkTyConApp tycon (mkTyVarTys tyvars_to_keep)] )
-                                                 [ctxt_pred]
-
-       -- We can only do this newtype deriving thing if:
-       standard_instance = null tys && classKey clas `elem` derivableClassKeys
-
+       rep_tys  = tys ++ [mkAppTys rep_fn args_to_keep]
+       rep_pred = mkClassPred clas rep_tys
+               -- rep_pred is the representation dictionary, from where
+               -- we are gong to get all the methods for the newtype dictionary
+
+       inst_tys = (tys ++ [mkTyConApp tycon (mkTyVarTys tyvars_to_keep)])
+               -- The 'tys' here come from the partial application
+               -- in the deriving clause. The last arg is the new
+               -- instance type.
+
+               -- We must pass the superclasses; the newtype might be an instance
+               -- of them in a different way than the representation type
+               -- E.g.         newtype Foo a = Foo a deriving( Show, Num, Eq )
+               -- Then the Show instance is not done via isomprphism; it shows
+               --      Foo 3 as "Foo 3"
+               -- The Num instance is derived via isomorphism, but the Show superclass
+               -- dictionary must the Show instance for Foo, *not* the Show dictionary
+               -- gotten from the Num dictionary. So we must build a whole new dictionary
+               -- not just use the Num one.  The instance we want is something like:
+               --      instance (Num a, Show (Foo a), Eq (Foo a)) => Num (Foo a) where
+               --              (+) = ((+)@a)
+               --              ...etc...
+               -- There's no 'corece' needed because after the type checker newtypes
+               -- are transparent.
+
+       sc_theta = substTheta (mkTyVarSubst clas_tyvars inst_tys)
+                             (classSCTheta clas)
+
+               -- If there are no tyvars, there's no need
+               -- to abstract over the dictionaries we need
+       dict_args | null tyvars = []
+                 | otherwise   = rep_pred : sc_theta
+
+               -- Finally! Here's where we build the dictionary Id
+       mk_dfun dfun_name = mkDictFunId dfun_name tyvars dict_args clas inst_tys
+
+       -------------------------------------------------------------------
+       --  Figuring out whether we can only do this newtype-deriving thing
+
+       right_arity = length tys + 1 == classArity clas
+
+               -- Never derive Read,Show,Typeable,Data this way 
+       non_iso_classes = [readClassKey, showClassKey, typeableClassKey, dataClassKey]
        can_derive_via_isomorphism
-          =  not (clas `hasKey` readClassKey)  -- Never derive Read,Show this way
-          && not (clas `hasKey` showClassKey)
-          && n_tyvars_to_keep >= 0             -- Well kinded; 
+          =  not (getUnique clas `elem` non_iso_classes)
+          && right_arity                       -- Well kinded;
+                                               -- eg not: newtype T ... deriving( ST )
+                                               --      because ST needs *2* type params
+          && n_tyvars_to_keep >= 0             -- Type constructor has right kind:
                                                -- eg not: newtype T = T Int deriving( Monad )
-          && isJust maybe_rep_app              -- The rep type is a type constructor app
-          && n_args_to_keep   >= 0             -- Well kinded: 
+          && n_args_to_keep   >= 0             -- Rep type has right kind: 
                                                -- eg not: newtype T a = T Int deriving( Monad )
           && eta_ok                            -- Eta reduction works
+          && not (isRecursiveTyCon tycon)      -- Does not work for recursive tycons:
+                                               --      newtype A = MkA [A]
+                                               -- Don't want
+                                               --      instance Eq [A] => Eq A !!
 
        -- Check that eta reduction is OK
        --      (a) the dropped-off args are identical
@@ -425,38 +505,123 @@ makeDerivEqns tycl_decls
              && (tyVarsOfTypes args_to_keep `subVarSet` mkVarSet tyvars_to_keep) 
 
        cant_derive_err = derivingThingErr clas tys tycon tyvars_to_keep
-                                          SLIT("too hard for cunning newtype deriving")
-
+                               (vcat [ptext SLIT("even with cunning newtype deriving:"),
+                                       if isRecursiveTyCon tycon then
+                                         ptext SLIT("the newtype is recursive")
+                                       else empty,
+                                       if not right_arity then 
+                                         quotes (ppr (mkClassPred clas tys)) <+> ptext SLIT("does not have arity 1")
+                                       else empty,
+                                       if not (n_tyvars_to_keep >= 0) then 
+                                         ptext SLIT("the type constructor has wrong kind")
+                                       else if not (n_args_to_keep >= 0) then
+                                         ptext SLIT("the representation type has wrong kind")
+                                       else if not eta_ok then 
+                                         ptext SLIT("the eta-reduction property does not hold")
+                                       else empty
+                                     ])
+
+       non_std_err = derivingThingErr clas tys tycon tyvars_to_keep
+                               (vcat [non_std_why clas,
+                                      ptext SLIT("Try -fglasgow-exts for GHC's newtype-deriving extension")])
+
+    bale_out err = addErrTc err `thenM_` returnM (Nothing, Nothing) 
+    standard_class gla_exts clas =  key `elem` derivableClassKeys
+                                || (gla_exts && (key == typeableClassKey || key == dataClassKey))
+       where
+         key = classKey clas
 
-    bale_out err = addErrTc err `thenNF_Tc_` returnNF_Tc (Nothing, Nothing) 
 
-    ------------------------------------------------------------------
-    chk_out :: Class -> TyCon -> [TcType] -> Maybe FastString
-    chk_out clas tycon tys
-       | not (null tys)                                                = Just non_std_why
-       | not (getUnique clas `elem` derivableClassKeys)                = Just non_std_why
-       | clas `hasKey` enumClassKey    && not is_enumeration           = Just nullary_why
-       | clas `hasKey` boundedClassKey && not is_enumeration_or_single = Just single_nullary_why
-       | clas `hasKey` ixClassKey      && not is_enumeration_or_single = Just single_nullary_why
-       | null data_cons                                                = Just no_cons_why
-       | any isExistentialDataCon data_cons                            = Just existential_why     
-       | otherwise                                                     = Nothing
-       where
-           data_cons = tyConDataCons tycon
-           is_enumeration = isEnumerationTyCon tycon
-           is_single_con  = maybeToBool (maybeTyConSingleCon tycon)
-           is_enumeration_or_single = is_enumeration || is_single_con
 
-    single_nullary_why = SLIT("one constructor data type or type with all nullary constructors expected")
-    nullary_why        = SLIT("data type with all nullary constructors expected")
-    no_cons_why               = SLIT("type has no data constructors")
-    non_std_why               = SLIT("not a derivable class")
-    existential_why    = SLIT("it has existentially-quantified constructor(s)")
 
 new_dfun_name clas tycon       -- Just a simple wrapper
   = newDFunName clas [mkTyConApp tycon []] (getSrcLoc tycon)
        -- The type passed to newDFunName is only used to generate
        -- a suitable string; hence the empty type arg list
+
+
+------------------------------------------------------------------
+-- Check side conditions that dis-allow derivability for particular classes
+-- This is *apart* from the newtype-deriving mechanism
+
+checkSideConditions :: Bool -> Class -> TyCon -> [TcType] -> Maybe SDoc
+checkSideConditions gla_exts clas tycon tys
+  | notNull tys        
+  = Just ty_args_why   -- e.g. deriving( Foo s )
+  | otherwise
+  = case [cond | (key,cond) <- sideConditions, key == getUnique clas] of
+       []     -> Just (non_std_why clas)
+       [cond] -> cond (gla_exts, tycon)
+       other  -> pprPanic "checkSideConditions" (ppr clas)
+  where
+    ty_args_why             = quotes (ppr (mkClassPred clas tys)) <+> ptext SLIT("is not a class")
+
+non_std_why clas = quotes (ppr clas) <+> ptext SLIT("is not a derivable class")
+
+sideConditions :: [(Unique, Condition)]
+sideConditions
+  = [  (eqClassKey,       cond_std),
+       (ordClassKey,      cond_std),
+       (readClassKey,     cond_std),
+       (showClassKey,     cond_std),
+       (enumClassKey,     cond_std `andCond` cond_isEnumeration),
+       (ixClassKey,       cond_std `andCond` (cond_isEnumeration `orCond` cond_isProduct)),
+       (boundedClassKey,  cond_std `andCond` (cond_isEnumeration `orCond` cond_isProduct)),
+       (typeableClassKey, cond_glaExts `andCond` cond_allTypeKind),
+       (dataClassKey,     cond_glaExts `andCond` cond_std)
+    ]
+
+type Condition = (Bool, TyCon) -> Maybe SDoc   -- Nothing => OK
+
+orCond :: Condition -> Condition -> Condition
+orCond c1 c2 tc 
+  = case c1 tc of
+       Nothing -> Nothing              -- c1 succeeds
+       Just x  -> case c2 tc of        -- c1 fails
+                    Nothing -> Nothing
+                    Just y  -> Just (x $$ ptext SLIT("  and") $$ y)
+                                       -- Both fail
+
+andCond c1 c2 tc = case c1 tc of
+                    Nothing -> c2 tc   -- c1 succeeds
+                    Just x  -> Just x  -- c1 fails
+
+cond_std :: Condition
+cond_std (gla_exts, tycon)
+  | any isExistentialDataCon data_cons         = Just existential_why     
+  | null data_cons                     = Just no_cons_why
+  | otherwise                          = Nothing
+  where
+    data_cons       = tyConDataCons tycon
+    no_cons_why            = quotes (ppr tycon) <+> ptext SLIT("has no data constructors")
+    existential_why = quotes (ppr tycon) <+> ptext SLIT("has existentially-quantified constructor(s)")
+  
+cond_isEnumeration :: Condition
+cond_isEnumeration (gla_exts, tycon)
+  | isEnumerationTyCon tycon = Nothing
+  | otherwise               = Just why
+  where
+    why = quotes (ppr tycon) <+> ptext SLIT("has non-nullary constructors")
+
+cond_isProduct :: Condition
+cond_isProduct (gla_exts, tycon)
+  | isProductTyCon tycon = Nothing
+  | otherwise           = Just why
+  where
+    why = quotes (ppr tycon) <+> ptext SLIT("has more than one constructor")
+
+cond_allTypeKind :: Condition
+cond_allTypeKind (gla_exts, tycon)
+  | all (isTypeKind . tyVarKind) (tyConTyVars tycon) = Nothing
+  | otherwise                                       = Just why
+  where
+    why  = quotes (ppr tycon) <+> ptext SLIT("is parameterised over arguments of kind other than `*'")
+
+cond_glaExts :: Condition
+cond_glaExts (gla_exts, tycon) | gla_exts  = Nothing
+                              | otherwise = Just why
+  where
+    why  = ptext SLIT("You need -fglasgow-exts to derive an instance for this class")
 \end{code}
 
 %************************************************************************
@@ -480,13 +645,12 @@ ordered by sorting on type varible, tv, (major key) and then class, k,
 \end{itemize}
 
 \begin{code}
-solveDerivEqns :: InstEnv
-              -> [DerivEqn]
+solveDerivEqns :: [DerivEqn]
               -> TcM [DFunId]  -- Solns in same order as eqns.
                                -- This bunch is Absolutely minimal...
 
-solveDerivEqns inst_env_in orig_eqns
-  = iterateDeriv initial_solutions
+solveDerivEqns orig_eqns
+  = iterateDeriv 1 initial_solutions
   where
        -- The initial solutions for the equations claim that each
        -- instance has an empty context; this solution is certainly
@@ -499,46 +663,39 @@ solveDerivEqns inst_env_in orig_eqns
        -- compares it with the current one; finishes if they are the
        -- same, otherwise recurses with the new solutions.
        -- It fails if any iteration fails
-    iterateDeriv :: [DerivSoln] ->TcM [DFunId]
-    iterateDeriv current_solns
-      =        getDOptsTc                              `thenNF_Tc` \ dflags ->
-        let 
-           dfuns    = zipWithEqual "add_solns" mk_deriv_dfun orig_eqns current_solns
-           inst_env = extend_inst_env dflags inst_env_in dfuns
+    iterateDeriv :: Int -> [DerivSoln] ->TcM [DFunId]
+    iterateDeriv n current_solns
+      | n > 20         -- Looks as if we are in an infinite loop
+               -- This can happen if we have -fallow-undecidable-instances
+               -- (See TcSimplify.tcSimplifyDeriv.)
+      = pprPanic "solveDerivEqns: probable loop" 
+                (vcat (map pprDerivEqn orig_eqns) $$ ppr current_solns)
+      | otherwise
+      =        let 
+           dfuns = zipWithEqual "add_solns" mk_deriv_dfun orig_eqns current_solns
         in
-        checkNoErrsTc (
+        checkNoErrs (
                  -- Extend the inst info from the explicit instance decls
                  -- with the current set of solutions, and simplify each RHS
-           tcSetInstEnv inst_env $
-           mapTc gen_soln orig_eqns
-       )                               `thenTc` \ new_solns ->
+           tcExtendTempInstEnv dfuns $
+           mappM gen_soln orig_eqns
+       )                               `thenM` \ new_solns ->
        if (current_solns == new_solns) then
-           returnTc dfuns
+           returnM dfuns
        else
-           iterateDeriv new_solns
+           iterateDeriv (n+1) new_solns
 
     ------------------------------------------------------------------
 
     gen_soln (_, clas, tc,tyvars,deriv_rhs)
-      = tcAddSrcLoc (getSrcLoc tc)             $
-       tcAddErrCtxt (derivCtxt (Just clas) tc) $
-       tcSimplifyDeriv tyvars deriv_rhs        `thenTc` \ theta ->
-       returnTc (sortLt (<) theta)     -- Canonicalise before returning the soluction
-\end{code}
-
-\begin{code}
-extend_inst_env dflags inst_env new_dfuns
-  = new_inst_env
-  where
-    (new_inst_env, _errs) = extendInstEnv dflags inst_env new_dfuns
-       -- Ignore the errors about duplicate instances.
-       -- We don't want repeated error messages
-       -- They'll appear later, when we do the top-level extendInstEnvs
+      = addSrcLoc (getSrcLoc tc)               $
+       addErrCtxt (derivCtxt (Just clas) tc)   $
+       tcSimplifyDeriv tyvars deriv_rhs        `thenM` \ theta ->
+       returnM (sortLt (<) theta)      -- Canonicalise before returning the soluction
 
 mk_deriv_dfun (dfun_name, clas, tycon, tyvars, _) theta
-  = mkDictFunId dfun_name clas tyvars 
-               [mkTyConApp tycon (mkTyVarTys tyvars)] 
-               theta
+  = mkDictFunId dfun_name tyvars theta
+               clas [mkTyConApp tycon (mkTyVarTys tyvars)] 
 \end{code}
 
 %************************************************************************
@@ -605,26 +762,32 @@ the renamer.  What a great hack!
 
 \begin{code}
 -- Generate the method bindings for the required instance
--- (paired with class name, as we need that when renaming
+-- (paired with DFunId, as we need that when renaming
 --  the method binds)
-gen_bind :: (Name -> Maybe Fixity) -> DFunId -> (Name, RdrNameMonoBinds)
-gen_bind get_fixity dfun
-  = (cls_nm, binds)
-  where
-    cls_nm       = className clas
-    (clas, tycon) = simpleDFunClassTyCon dfun
-
-    binds = assoc "gen_bind:bad derived class" gen_list 
-                 (nameUnique cls_nm) tycon
-
-    gen_list = [(eqClassKey,      gen_Eq_binds)
-              ,(ordClassKey,     gen_Ord_binds)
-              ,(enumClassKey,    gen_Enum_binds)
-              ,(boundedClassKey, gen_Bounded_binds)
-              ,(ixClassKey,      gen_Ix_binds)
-              ,(showClassKey,    gen_Show_binds get_fixity)
-              ,(readClassKey,    gen_Read_binds get_fixity)
-              ]
+gen_bind :: DFunId -> TcM (DFunId, (RdrNameMonoBinds, RdrNameMonoBinds))
+gen_bind dfun
+  = getFixityEnv               `thenM` \ fix_env -> 
+    let
+        (clas, tycon) = simpleDFunClassTyCon dfun
+       gen_binds_fn  = assoc "gen_bind:bad derived class"
+                             gen_list (getUnique clas)
+    
+       gen_list = [(eqClassKey,      no_aux_binds gen_Eq_binds)
+                  ,(ordClassKey,     no_aux_binds gen_Ord_binds)
+                  ,(enumClassKey,    no_aux_binds gen_Enum_binds)
+                  ,(boundedClassKey, no_aux_binds gen_Bounded_binds)
+                  ,(ixClassKey,      no_aux_binds gen_Ix_binds)
+                  ,(showClassKey,    no_aux_binds (gen_Show_binds fix_env))
+                  ,(readClassKey,    no_aux_binds (gen_Read_binds fix_env))
+                  ,(typeableClassKey,no_aux_binds gen_Typeable_binds)
+                  ,(dataClassKey,    gen_Data_binds fix_env)
+                  ]
+
+               -- Used for generators that don't need to produce       
+               -- any auxiliary bindings
+       no_aux_binds f tc = (f tc, EmptyMonoBinds)
+    in
+    returnM (dfun, gen_binds_fn tycon)
 \end{code}
 
 
@@ -667,8 +830,8 @@ gen_taggery_Names :: [DFunId]
                           TagThingWanted)]
 
 gen_taggery_Names dfuns
-  = foldlTc do_con2tag []           tycons_of_interest `thenTc` \ names_so_far ->
-    foldlTc do_tag2con names_so_far tycons_of_interest
+  = foldlM do_con2tag []           tycons_of_interest `thenM` \ names_so_far ->
+    foldlM do_tag2con names_so_far tycons_of_interest
   where
     all_CTs = map simpleDFunClassTyCon dfuns
     all_tycons             = map snd all_CTs
@@ -679,25 +842,25 @@ gen_taggery_Names dfuns
         ((we_are_deriving eqClassKey tycon
            && any isNullaryDataCon (tyConDataCons tycon))
         || (we_are_deriving ordClassKey  tycon
-           && not (maybeToBool (maybeTyConSingleCon tycon)))
+           && not (isProductTyCon tycon))
         || (we_are_deriving enumClassKey tycon)
         || (we_are_deriving ixClassKey   tycon))
        
-      = returnTc ((con2tag_RDR tycon, tycon, GenCon2Tag)
+      = returnM ((con2tag_RDR tycon, tycon, GenCon2Tag)
                   : acc_Names)
       | otherwise
-      = returnTc acc_Names
+      = returnM acc_Names
 
     do_tag2con acc_Names tycon
       | isDataTyCon tycon &&
          (we_are_deriving enumClassKey tycon ||
          we_are_deriving ixClassKey   tycon
          && isEnumerationTyCon tycon)
-      = returnTc ( (tag2con_RDR tycon, tycon, GenTag2Con)
+      = returnM ( (tag2con_RDR tycon, tycon, GenTag2Con)
                 : (maxtag_RDR  tycon, tycon, GenMaxTag)
                 : acc_Names)
       | otherwise
-      = returnTc acc_Names
+      = returnM acc_Names
 
     we_are_deriving clas_key tycon
       = is_in_eqns clas_key tycon all_CTs
@@ -711,7 +874,7 @@ gen_taggery_Names dfuns
 \begin{code}
 derivingThingErr clas tys tycon tyvars why
   = sep [hsep [ptext SLIT("Can't make a derived instance of"), quotes (ppr pred)],
-        parens (ptext why)]
+        parens why]
   where
     pred = mkClassPred clas (tys ++ [mkTyConApp tycon (mkTyVarTys tyvars)])