compiler/specialise/Specialise.lhs

   1 %
   2 % (c) The GRASP/AQUA Project, Glasgow University, 1993-1998
   3 %
   4 \section[Specialise]{Stamping out overloading, and (optionally) polymorphism}
   5
   6 \begin{code}
   7 -- The above warning supression flag is a temporary kludge.
   8 -- While working on this module you are encouraged to remove it and fix
   9 -- any warnings in the module. See
  10 --     http://hackage.haskell.org/trac/ghc/wiki/Commentary/CodingStyle#Warnings
  11 -- for details
  12
  13 module Specialise ( specProgram ) where
  14
  15 #include "HsVersions.h"
  16
  17 import Id
  18 import TcType
  19 import CoreSubst
  20 import CoreUnfold       ( mkUnfolding, mkInlineRule )
  21 import VarSet
  22 import VarEnv
  23 import CoreSyn
  24 import Rules
  25 import CoreUtils        ( exprIsTrivial, applyTypeToArgs, mkPiTypes )
  26 import CoreFVs          ( exprFreeVars, exprsFreeVars, idFreeVars )
  27 import UniqSupply       ( UniqSupply, UniqSM, initUs_, MonadUnique(..) )
  28 import Name
  29 import MkId             ( voidArgId, realWorldPrimId )
  30 import FiniteMap
  31 import Maybes           ( catMaybes, isJust )
  32 import BasicTypes       ( isNeverActive, inlinePragmaActivation )
  33 import Bag
  34 import Util
  35 import Outputable
  36 import FastString
  37
  38 \end{code}
  39
  40 %************************************************************************
  41 %*                                                                      *
  42 \subsection[notes-Specialise]{Implementation notes [SLPJ, Aug 18 1993]}
  43 %*                                                                      *
  44 %************************************************************************
  45
  46 These notes describe how we implement specialisation to eliminate
  47 overloading.
  48
  49 The specialisation pass works on Core
  50 syntax, complete with all the explicit dictionary application,
  51 abstraction and construction as added by the type checker.  The
  52 existing type checker remains largely as it is.
  53
  54 One important thought: the {\em types} passed to an overloaded
  55 function, and the {\em dictionaries} passed are mutually redundant.
  56 If the same function is applied to the same type(s) then it is sure to
  57 be applied to the same dictionary(s)---or rather to the same {\em
  58 values}.  (The arguments might look different but they will evaluate
  59 to the same value.)
  60
  61 Second important thought: we know that we can make progress by
  62 treating dictionary arguments as static and worth specialising on.  So
  63 we can do without binding-time analysis, and instead specialise on
  64 dictionary arguments and no others.
  65
  66 The basic idea
  67 ~~~~~~~~~~~~~~
  68 Suppose we have
  69
  70         let f = <f_rhs>
  71         in <body>
  72
  73 and suppose f is overloaded.
  74
  75 STEP 1: CALL-INSTANCE COLLECTION
  76
  77 We traverse <body>, accumulating all applications of f to types and
  78 dictionaries.
  79
  80 (Might there be partial applications, to just some of its types and
  81 dictionaries?  In principle yes, but in practice the type checker only
  82 builds applications of f to all its types and dictionaries, so partial
  83 applications could only arise as a result of transformation, and even
  84 then I think it's unlikely.  In any case, we simply don't accumulate such
  85 partial applications.)
  86
  87
  88 STEP 2: EQUIVALENCES
  89
  90 So now we have a collection of calls to f:
  91         f t1 t2 d1 d2
  92         f t3 t4 d3 d4
  93         ...
  94 Notice that f may take several type arguments.  To avoid ambiguity, we
  95 say that f is called at type t1/t2 and t3/t4.
  96
  97 We take equivalence classes using equality of the *types* (ignoring
  98 the dictionary args, which as mentioned previously are redundant).
  99
 100 STEP 3: SPECIALISATION
 101
 102 For each equivalence class, choose a representative (f t1 t2 d1 d2),
 103 and create a local instance of f, defined thus:
 104
 105         f@t1/t2 = <f_rhs> t1 t2 d1 d2
 106
 107 f_rhs presumably has some big lambdas and dictionary lambdas, so lots
 108 of simplification will now result.  However we don't actually *do* that
 109 simplification.  Rather, we leave it for the simplifier to do.  If we
 110 *did* do it, though, we'd get more call instances from the specialised
 111 RHS.  We can work out what they are by instantiating the call-instance
 112 set from f's RHS with the types t1, t2.
 113
 114 Add this new id to f's IdInfo, to record that f has a specialised version.
 115
 116 Before doing any of this, check that f's IdInfo doesn't already
 117 tell us about an existing instance of f at the required type/s.
 118 (This might happen if specialisation was applied more than once, or
 119 it might arise from user SPECIALIZE pragmas.)
 120
 121 Recursion
 122 ~~~~~~~~~
 123 Wait a minute!  What if f is recursive?  Then we can't just plug in
 124 its right-hand side, can we?
 125
 126 But it's ok.  The type checker *always* creates non-recursive definitions
 127 for overloaded recursive functions.  For example:
 128
 129         f x = f (x+x)           -- Yes I know its silly
 130
 131 becomes
 132
 133         f a (d::Num a) = let p = +.sel a d
 134                          in
 135                          letrec fl (y::a) = fl (p y y)
 136                          in
 137                          fl
 138
 139 We still have recusion for non-overloaded functions which we
 140 speciailise, but the recursive call should get specialised to the
 141 same recursive version.
 142
 143
 144 Polymorphism 1
 145 ~~~~~~~~~~~~~~
 146
 147 All this is crystal clear when the function is applied to *constant
 148 types*; that is, types which have no type variables inside.  But what if
 149 it is applied to non-constant types?  Suppose we find a call of f at type
 150 t1/t2.  There are two possibilities:
 151
 152 (a) The free type variables of t1, t2 are in scope at the definition point
 153 of f.  In this case there's no problem, we proceed just as before.  A common
 154 example is as follows.  Here's the Haskell:
 155
 156         g y = let f x = x+x
 157               in f y + f y
 158
 159 After typechecking we have
 160
 161         g a (d::Num a) (y::a) = let f b (d'::Num b) (x::b) = +.sel b d' x x
 162                                 in +.sel a d (f a d y) (f a d y)
 163
 164 Notice that the call to f is at type type "a"; a non-constant type.
 165 Both calls to f are at the same type, so we can specialise to give:
 166
 167         g a (d::Num a) (y::a) = let f@a (x::a) = +.sel a d x x
 168                                 in +.sel a d (f@a y) (f@a y)
 169
 170
 171 (b) The other case is when the type variables in the instance types
 172 are *not* in scope at the definition point of f.  The example we are
 173 working with above is a good case.  There are two instances of (+.sel a d),
 174 but "a" is not in scope at the definition of +.sel.  Can we do anything?
 175 Yes, we can "common them up", a sort of limited common sub-expression deal.
 176 This would give:
 177
 178         g a (d::Num a) (y::a) = let +.sel@a = +.sel a d
 179                                     f@a (x::a) = +.sel@a x x
 180                                 in +.sel@a (f@a y) (f@a y)
 181
 182 This can save work, and can't be spotted by the type checker, because
 183 the two instances of +.sel weren't originally at the same type.
 184
 185 Further notes on (b)
 186
 187 * There are quite a few variations here.  For example, the defn of
 188   +.sel could be floated ouside the \y, to attempt to gain laziness.
 189   It certainly mustn't be floated outside the \d because the d has to
 190   be in scope too.
 191
 192 * We don't want to inline f_rhs in this case, because
 193 that will duplicate code.  Just commoning up the call is the point.
 194
 195 * Nothing gets added to +.sel's IdInfo.
 196
 197 * Don't bother unless the equivalence class has more than one item!
 198
 199 Not clear whether this is all worth it.  It is of course OK to
 200 simply discard call-instances when passing a big lambda.
 201
 202 Polymorphism 2 -- Overloading
 203 ~~~~~~~~~~~~~~
 204 Consider a function whose most general type is
 205
 206         f :: forall a b. Ord a => [a] -> b -> b
 207
 208 There is really no point in making a version of g at Int/Int and another
 209 at Int/Bool, because it's only instancing the type variable "a" which
 210 buys us any efficiency. Since g is completely polymorphic in b there
 211 ain't much point in making separate versions of g for the different
 212 b types.
 213
 214 That suggests that we should identify which of g's type variables
 215 are constrained (like "a") and which are unconstrained (like "b").
 216 Then when taking equivalence classes in STEP 2, we ignore the type args
 217 corresponding to unconstrained type variable.  In STEP 3 we make
 218 polymorphic versions.  Thus:
 219
 220         f@t1/ = /\b -> <f_rhs> t1 b d1 d2
 221
 222 We do this.
 223
 224
 225 Dictionary floating
 226 ~~~~~~~~~~~~~~~~~~~
 227 Consider this
 228
 229         f a (d::Num a) = let g = ...
 230                          in
 231                          ...(let d1::Ord a = Num.Ord.sel a d in g a d1)...
 232
 233 Here, g is only called at one type, but the dictionary isn't in scope at the
 234 definition point for g.  Usually the type checker would build a
 235 definition for d1 which enclosed g, but the transformation system
 236 might have moved d1's defn inward.  Solution: float dictionary bindings
 237 outwards along with call instances.
 238
 239 Consider
 240
 241         f x = let g p q = p==q
 242                   h r s = (r+s, g r s)
 243               in
 244               h x x
 245
 246
 247 Before specialisation, leaving out type abstractions we have
 248
 249         f df x = let g :: Eq a => a -> a -> Bool
 250                      g dg p q = == dg p q
 251                      h :: Num a => a -> a -> (a, Bool)
 252                      h dh r s = let deq = eqFromNum dh
 253                                 in (+ dh r s, g deq r s)
 254               in
 255               h df x x
 256
 257 After specialising h we get a specialised version of h, like this:
 258
 259                     h' r s = let deq = eqFromNum df
 260                              in (+ df r s, g deq r s)
 261
 262 But we can't naively make an instance for g from this, because deq is not in scope
 263 at the defn of g.  Instead, we have to float out the (new) defn of deq
 264 to widen its scope.  Notice that this floating can't be done in advance -- it only
 265 shows up when specialisation is done.
 266
 267 User SPECIALIZE pragmas
 268 ~~~~~~~~~~~~~~~~~~~~~~~
 269 Specialisation pragmas can be digested by the type checker, and implemented
 270 by adding extra definitions along with that of f, in the same way as before
 271
 272         f@t1/t2 = <f_rhs> t1 t2 d1 d2
 273
 274 Indeed the pragmas *have* to be dealt with by the type checker, because
 275 only it knows how to build the dictionaries d1 and d2!  For example
 276
 277         g :: Ord a => [a] -> [a]
 278         {-# SPECIALIZE f :: [Tree Int] -> [Tree Int] #-}
 279
 280 Here, the specialised version of g is an application of g's rhs to the
 281 Ord dictionary for (Tree Int), which only the type checker can conjure
 282 up.  There might not even *be* one, if (Tree Int) is not an instance of
 283 Ord!  (All the other specialision has suitable dictionaries to hand
 284 from actual calls.)
 285
 286 Problem.  The type checker doesn't have to hand a convenient <f_rhs>, because
 287 it is buried in a complex (as-yet-un-desugared) binding group.
 288 Maybe we should say
 289
 290         f@t1/t2 = f* t1 t2 d1 d2
 291
 292 where f* is the Id f with an IdInfo which says "inline me regardless!".
 293 Indeed all the specialisation could be done in this way.
 294 That in turn means that the simplifier has to be prepared to inline absolutely
 295 any in-scope let-bound thing.
 296
 297
 298 Again, the pragma should permit polymorphism in unconstrained variables:
 299
 300         h :: Ord a => [a] -> b -> b
 301         {-# SPECIALIZE h :: [Int] -> b -> b #-}
 302
 303 We *insist* that all overloaded type variables are specialised to ground types,
 304 (and hence there can be no context inside a SPECIALIZE pragma).
 305 We *permit* unconstrained type variables to be specialised to
 306         - a ground type
 307         - or left as a polymorphic type variable
 308 but nothing in between.  So
 309
 310         {-# SPECIALIZE h :: [Int] -> [c] -> [c] #-}
 311
 312 is *illegal*.  (It can be handled, but it adds complication, and gains the
 313 programmer nothing.)
 314
 315
 316 SPECIALISING INSTANCE DECLARATIONS
 317 ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
 318 Consider
 319
 320         instance Foo a => Foo [a] where
 321                 ...
 322         {-# SPECIALIZE instance Foo [Int] #-}
 323
 324 The original instance decl creates a dictionary-function
 325 definition:
 326
 327         dfun.Foo.List :: forall a. Foo a -> Foo [a]
 328
 329 The SPECIALIZE pragma just makes a specialised copy, just as for
 330 ordinary function definitions:
 331
 332         dfun.Foo.List@Int :: Foo [Int]
 333         dfun.Foo.List@Int = dfun.Foo.List Int dFooInt
 334
 335 The information about what instance of the dfun exist gets added to
 336 the dfun's IdInfo in the same way as a user-defined function too.
 337
 338
 339 Automatic instance decl specialisation?
 340 ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
 341 Can instance decls be specialised automatically?  It's tricky.
 342 We could collect call-instance information for each dfun, but
 343 then when we specialised their bodies we'd get new call-instances
 344 for ordinary functions; and when we specialised their bodies, we might get
 345 new call-instances of the dfuns, and so on.  This all arises because of
 346 the unrestricted mutual recursion between instance decls and value decls.
 347
 348 Still, there's no actual problem; it just means that we may not do all
 349 the specialisation we could theoretically do.
 350
 351 Furthermore, instance decls are usually exported and used non-locally,
 352 so we'll want to compile enough to get those specialisations done.
 353
 354 Lastly, there's no such thing as a local instance decl, so we can
 355 survive solely by spitting out *usage* information, and then reading that
 356 back in as a pragma when next compiling the file.  So for now,
 357 we only specialise instance decls in response to pragmas.
 358
 359
 360 SPITTING OUT USAGE INFORMATION
 361 ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
 362
 363 To spit out usage information we need to traverse the code collecting
 364 call-instance information for all imported (non-prelude?) functions
 365 and data types. Then we equivalence-class it and spit it out.
 366
 367 This is done at the top-level when all the call instances which escape
 368 must be for imported functions and data types.
 369
 370 *** Not currently done ***
 371
 372
 373 Partial specialisation by pragmas
 374 ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
 375 What about partial specialisation:
 376
 377         k :: (Ord a, Eq b) => [a] -> b -> b -> [a]
 378         {-# SPECIALIZE k :: Eq b => [Int] -> b -> b -> [a] #-}
 379
 380 or even
 381
 382         {-# SPECIALIZE k :: Eq b => [Int] -> [b] -> [b] -> [a] #-}
 383
 384 Seems quite reasonable.  Similar things could be done with instance decls:
 385
 386         instance (Foo a, Foo b) => Foo (a,b) where
 387                 ...
 388         {-# SPECIALIZE instance Foo a => Foo (a,Int) #-}
 389         {-# SPECIALIZE instance Foo b => Foo (Int,b) #-}
 390
 391 Ho hum.  Things are complex enough without this.  I pass.
 392
 393
 394 Requirements for the simplifer
 395 ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
 396 The simplifier has to be able to take advantage of the specialisation.
 397
 398 * When the simplifier finds an application of a polymorphic f, it looks in
 399 f's IdInfo in case there is a suitable instance to call instead.  This converts
 400
 401         f t1 t2 d1 d2   ===>   f_t1_t2
 402
 403 Note that the dictionaries get eaten up too!
 404
 405 * Dictionary selection operations on constant dictionaries must be
 406   short-circuited:
 407
 408         +.sel Int d     ===>  +Int
 409
 410 The obvious way to do this is in the same way as other specialised
 411 calls: +.sel has inside it some IdInfo which tells that if it's applied
 412 to the type Int then it should eat a dictionary and transform to +Int.
 413
 414 In short, dictionary selectors need IdInfo inside them for constant
 415 methods.
 416
 417 * Exactly the same applies if a superclass dictionary is being
 418   extracted:
 419
 420         Eq.sel Int d   ===>   dEqInt
 421
 422 * Something similar applies to dictionary construction too.  Suppose
 423 dfun.Eq.List is the function taking a dictionary for (Eq a) to
 424 one for (Eq [a]).  Then we want
 425
 426         dfun.Eq.List Int d      ===> dEq.List_Int
 427
 428 Where does the Eq [Int] dictionary come from?  It is built in
 429 response to a SPECIALIZE pragma on the Eq [a] instance decl.
 430
 431 In short, dfun Ids need IdInfo with a specialisation for each
 432 constant instance of their instance declaration.
 433
 434 All this uses a single mechanism: the SpecEnv inside an Id
 435
 436
 437 What does the specialisation IdInfo look like?
 438 ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
 439
 440 The SpecEnv of an Id maps a list of types (the template) to an expression
 441
 442         [Type]  |->  Expr
 443
 444 For example, if f has this SpecInfo:
 445
 446         [Int, a]  ->  \d:Ord Int. f' a
 447
 448 it means that we can replace the call
 449
 450         f Int t  ===>  (\d. f' t)
 451
 452 This chucks one dictionary away and proceeds with the
 453 specialised version of f, namely f'.
 454
 455
 456 What can't be done this way?
 457 ~~~~~~~~~~~~~~~~~~~~~~~~~~~~
 458 There is no way, post-typechecker, to get a dictionary for (say)
 459 Eq a from a dictionary for Eq [a].  So if we find
 460
 461         ==.sel [t] d
 462
 463 we can't transform to
 464
 465         eqList (==.sel t d')
 466
 467 where
 468         eqList :: (a->a->Bool) -> [a] -> [a] -> Bool
 469
 470 Of course, we currently have no way to automatically derive
 471 eqList, nor to connect it to the Eq [a] instance decl, but you
 472 can imagine that it might somehow be possible.  Taking advantage
 473 of this is permanently ruled out.
 474
 475 Still, this is no great hardship, because we intend to eliminate
 476 overloading altogether anyway!
 477
 478 A note about non-tyvar dictionaries
 479 ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
 480 Some Ids have types like
 481
 482         forall a,b,c. Eq a -> Ord [a] -> tau
 483
 484 This seems curious at first, because we usually only have dictionary
 485 args whose types are of the form (C a) where a is a type variable.
 486 But this doesn't hold for the functions arising from instance decls,
 487 which sometimes get arguements with types of form (C (T a)) for some
 488 type constructor T.
 489
 490 Should we specialise wrt this compound-type dictionary?  We used to say
 491 "no", saying:
 492         "This is a heuristic judgement, as indeed is the fact that we
 493         specialise wrt only dictionaries.  We choose *not* to specialise
 494         wrt compound dictionaries because at the moment the only place
 495         they show up is in instance decls, where they are simply plugged
 496         into a returned dictionary.  So nothing is gained by specialising
 497         wrt them."
 498
 499 But it is simpler and more uniform to specialise wrt these dicts too;
 500 and in future GHC is likely to support full fledged type signatures
 501 like
 502         f :: Eq [(a,b)] => ...
 503
 504
 505 %************************************************************************
 506 %*                                                                      *
 507 \subsubsection{The new specialiser}
 508 %*                                                                      *
 509 %************************************************************************
 510
 511 Our basic game plan is this.  For let(rec) bound function
 512         f :: (C a, D c) => (a,b,c,d) -> Bool
 513
 514 * Find any specialised calls of f, (f ts ds), where
 515   ts are the type arguments t1 .. t4, and
 516   ds are the dictionary arguments d1 .. d2.
 517
 518 * Add a new definition for f1 (say):
 519
 520         f1 = /\ b d -> (..body of f..) t1 b t3 d d1 d2
 521
 522   Note that we abstract over the unconstrained type arguments.
 523
 524 * Add the mapping
 525
 526         [t1,b,t3,d]  |->  \d1 d2 -> f1 b d
 527
 528   to the specialisations of f.  This will be used by the
 529   simplifier to replace calls
 530                 (f t1 t2 t3 t4) da db
 531   by
 532                 (\d1 d1 -> f1 t2 t4) da db
 533
 534   All the stuff about how many dictionaries to discard, and what types
 535   to apply the specialised function to, are handled by the fact that the
 536   SpecEnv contains a template for the result of the specialisation.
 537
 538 We don't build *partial* specialisations for f.  For example:
 539
 540   f :: Eq a => a -> a -> Bool
 541   {-# SPECIALISE f :: (Eq b, Eq c) => (b,c) -> (b,c) -> Bool #-}
 542
 543 Here, little is gained by making a specialised copy of f.
 544 There's a distinct danger that the specialised version would
 545 first build a dictionary for (Eq b, Eq c), and then select the (==)
 546 method from it!  Even if it didn't, not a great deal is saved.
 547
 548 We do, however, generate polymorphic, but not overloaded, specialisations:
 549
 550   f :: Eq a => [a] -> b -> b -> b
 551   {#- SPECIALISE f :: [Int] -> b -> b -> b #-}
 552
 553 Hence, the invariant is this:
 554
 555         *** no specialised version is overloaded ***
 556
 557
 558 %************************************************************************
 559 %*                                                                      *
 560 \subsubsection{The exported function}
 561 %*                                                                      *
 562 %************************************************************************
 563
 564 \begin{code}
 565 specProgram :: UniqSupply -> [CoreBind] -> [CoreBind]
 566 specProgram us binds = initSM us $
 567                        do { (binds', uds') <- go binds
 568                           ; return (wrapDictBinds (ud_binds uds') binds') }
 569   where
 570         -- We need to start with a Subst that knows all the things
 571         -- that are in scope, so that the substitution engine doesn't
 572         -- accidentally re-use a unique that's already in use
 573         -- Easiest thing is to do it all at once, as if all the top-level
 574         -- decls were mutually recursive
 575     top_subst       = mkEmptySubst (mkInScopeSet (mkVarSet (bindersOfBinds binds)))
 576
 577     go []           = return ([], emptyUDs)
 578     go (bind:binds) = do (binds', uds) <- go binds
 579                          (bind', uds') <- specBind top_subst bind uds
 580                          return (bind' ++ binds', uds')
 581 \end{code}
 582
 583 %************************************************************************
 584 %*                                                                      *
 585 \subsubsection{@specExpr@: the main function}
 586 %*                                                                      *
 587 %************************************************************************
 588
 589 \begin{code}
 590 specVar :: Subst -> Id -> CoreExpr
 591 specVar subst v = lookupIdSubst (text "specVar") subst v
 592
 593 specExpr :: Subst -> CoreExpr -> SpecM (CoreExpr, UsageDetails)
 594 -- We carry a substitution down:
 595 --      a) we must clone any binding that might float outwards,
 596 --         to avoid name clashes
 597 --      b) we carry a type substitution to use when analysing
 598 --         the RHS of specialised bindings (no type-let!)
 599
 600 ---------------- First the easy cases --------------------
 601 specExpr subst (Type ty) = return (Type (CoreSubst.substTy subst ty), emptyUDs)
 602 specExpr subst (Var v)   = return (specVar subst v,         emptyUDs)
 603 specExpr _     (Lit lit) = return (Lit lit,                 emptyUDs)
 604 specExpr subst (Cast e co) = do
 605     (e', uds) <- specExpr subst e
 606     return ((Cast e' (CoreSubst.substTy subst co)), uds)
 607 specExpr subst (Note note body) = do
 608     (body', uds) <- specExpr subst body
 609     return (Note (specNote subst note) body', uds)
 610
 611
 612 ---------------- Applications might generate a call instance --------------------
 613 specExpr subst expr@(App {})
 614   = go expr []
 615   where
 616     go (App fun arg) args = do (arg', uds_arg) <- specExpr subst arg
 617                                (fun', uds_app) <- go fun (arg':args)
 618                                return (App fun' arg', uds_arg `plusUDs` uds_app)
 619
 620     go (Var f)       args = case specVar subst f of
 621                                 Var f' -> return (Var f', mkCallUDs f' args)
 622                                 e'     -> return (e', emptyUDs) -- I don't expect this!
 623     go other         _    = specExpr subst other
 624
 625 ---------------- Lambda/case require dumping of usage details --------------------
 626 specExpr subst e@(Lam _ _) = do
 627     (body', uds) <- specExpr subst' body
 628     let (free_uds, dumped_dbs) = dumpUDs bndrs' uds
 629     return (mkLams bndrs' (wrapDictBindsE dumped_dbs body'), free_uds)
 630   where
 631     (bndrs, body) = collectBinders e
 632     (subst', bndrs') = substBndrs subst bndrs
 633         -- More efficient to collect a group of binders together all at once
 634         -- and we don't want to split a lambda group with dumped bindings
 635
 636 specExpr subst (Case scrut case_bndr ty alts) = do
 637     (scrut', uds_scrut) <- specExpr subst scrut
 638     (alts', uds_alts) <- mapAndCombineSM spec_alt alts
 639     return (Case scrut' case_bndr' (CoreSubst.substTy subst ty) alts',
 640             uds_scrut `plusUDs` uds_alts)
 641   where
 642     (subst_alt, case_bndr') = substBndr subst case_bndr
 643         -- No need to clone case binder; it can't float like a let(rec)
 644
 645     spec_alt (con, args, rhs) = do
 646           (rhs', uds) <- specExpr subst_rhs rhs
 647           let (free_uds, dumped_dbs) = dumpUDs args' uds
 648           return ((con, args', wrapDictBindsE dumped_dbs rhs'), free_uds)
 649         where
 650           (subst_rhs, args') = substBndrs subst_alt args
 651
 652 ---------------- Finally, let is the interesting case --------------------
 653 specExpr subst (Let bind body) = do
 654         -- Clone binders
 655     (rhs_subst, body_subst, bind') <- cloneBindSM subst bind
 656
 657         -- Deal with the body
 658     (body', body_uds) <- specExpr body_subst body
 659
 660         -- Deal with the bindings
 661     (binds', uds) <- specBind rhs_subst bind' body_uds
 662
 663         -- All done
 664     return (foldr Let body' binds', uds)
 665
 666 -- Must apply the type substitution to coerceions
 667 specNote :: Subst -> Note -> Note
 668 specNote _ note = note
 669 \end{code}
 670
 671 %************************************************************************
 672 %*                                                                      *
 673 \subsubsection{Dealing with a binding}
 674 %*                                                                      *
 675 %************************************************************************
 676
 677 \begin{code}
 678 specBind :: Subst                       -- Use this for RHSs
 679          -> CoreBind
 680          -> UsageDetails                -- Info on how the scope of the binding
 681          -> SpecM ([CoreBind],          -- New bindings
 682                    UsageDetails)        -- And info to pass upstream
 683
 684 -- Returned UsageDetails:
 685 --    No calls for binders of this bind
 686 specBind rhs_subst (NonRec fn rhs) body_uds
 687   = do { (rhs', rhs_uds) <- specExpr rhs_subst rhs
 688        ; (fn', spec_defns, body_uds1) <- specDefn rhs_subst body_uds fn rhs
 689
 690        ; let pairs = spec_defns ++ [(fn', rhs')]
 691                         -- fn' mentions the spec_defns in its rules,
 692                         -- so put the latter first
 693
 694              combined_uds = body_uds1 `plusUDs` rhs_uds
 695                 -- This way round a call in rhs_uds of a function f
 696                 -- at type T will override a call of f at T in body_uds1; and
 697                 -- that is good because it'll tend to keep "earlier" calls
 698                 -- See Note [Specialisation of dictionary functions]
 699
 700              (free_uds, dump_dbs, float_all) = dumpBindUDs [fn] combined_uds
 701                 -- See Note [From non-recursive to recursive]
 702
 703              final_binds | isEmptyBag dump_dbs = [NonRec b r | (b,r) <- pairs]
 704                          | otherwise = [Rec (flattenDictBinds dump_dbs pairs)]
 705
 706          ; if float_all then
 707              -- Rather than discard the calls mentioning the bound variables
 708              -- we float this binding along with the others
 709               return ([], free_uds `snocDictBinds` final_binds)
 710            else
 711              -- No call in final_uds mentions bound variables,
 712              -- so we can just leave the binding here
 713               return (final_binds, free_uds) }
 714
 715
 716 specBind rhs_subst (Rec pairs) body_uds
 717        -- Note [Specialising a recursive group]
 718   = do { let (bndrs,rhss) = unzip pairs
 719        ; (rhss', rhs_uds) <- mapAndCombineSM (specExpr rhs_subst) rhss
 720        ; let scope_uds = body_uds `plusUDs` rhs_uds
 721                        -- Includes binds and calls arising from rhss
 722
 723        ; (bndrs1, spec_defns1, uds1) <- specDefns rhs_subst scope_uds pairs
 724
 725        ; (bndrs3, spec_defns3, uds3)
 726              <- if null spec_defns1  -- Common case: no specialisation
 727                 then return (bndrs1, [], uds1)
 728                 else do {            -- Specialisation occurred; do it again
 729                           (bndrs2, spec_defns2, uds2)
 730                               <- specDefns rhs_subst uds1 (bndrs1 `zip` rhss)
 731                         ; return (bndrs2, spec_defns2 ++ spec_defns1, uds2) }
 732
 733        ; let (final_uds, dumped_dbs, float_all) = dumpBindUDs bndrs uds3
 734              bind = Rec (flattenDictBinds dumped_dbs $
 735                          spec_defns3 ++ zip bndrs3 rhss')
 736
 737        ; if float_all then
 738               return ([], final_uds `snocDictBind` bind)
 739            else
 740               return ([bind], final_uds) }
 741
 742
 743 ---------------------------
 744 specDefns :: Subst
 745           -> UsageDetails               -- Info on how it is used in its scope
 746           -> [(Id,CoreExpr)]            -- The things being bound and their un-processed RHS
 747           -> SpecM ([Id],               -- Original Ids with RULES added
 748                     [(Id,CoreExpr)],    -- Extra, specialised bindings
 749                     UsageDetails)       -- Stuff to fling upwards from the specialised versions
 750
 751 -- Specialise a list of bindings (the contents of a Rec), but flowing usages
 752 -- upwards binding by binding.  Example: { f = ...g ...; g = ...f .... }
 753 -- Then if the input CallDetails has a specialised call for 'g', whose specialisation
 754 -- in turn generates a specialised call for 'f', we catch that in this one sweep.
 755 -- But not vice versa (it's a fixpoint problem).
 756
 757 specDefns _subst uds []
 758   = return ([], [], uds)
 759 specDefns subst uds ((bndr,rhs):pairs)
 760   = do { (bndrs1, spec_defns1, uds1) <- specDefns subst uds pairs
 761        ; (bndr1, spec_defns2, uds2)  <- specDefn subst uds1 bndr rhs
 762        ; return (bndr1 : bndrs1, spec_defns1 ++ spec_defns2, uds2) }
 763
 764 ---------------------------
 765 specDefn :: Subst
 766          -> UsageDetails                -- Info on how it is used in its scope
 767          -> Id -> CoreExpr              -- The thing being bound and its un-processed RHS
 768          -> SpecM (Id,                  -- Original Id with added RULES
 769                    [(Id,CoreExpr)],     -- Extra, specialised bindings
 770                    UsageDetails)        -- Stuff to fling upwards from the specialised versions
 771
 772 specDefn subst body_uds fn rhs
 773         -- The first case is the interesting one
 774   |  rhs_tyvars `lengthIs`     n_tyvars -- Rhs of fn's defn has right number of big lambdas
 775   && rhs_ids    `lengthAtLeast` n_dicts -- and enough dict args
 776   && notNull calls_for_me               -- And there are some calls to specialise
 777   && not (isNeverActive (idInlineActivation fn))
 778         -- Don't specialise NOINLINE things
 779         -- See Note [Auto-specialisation and RULES]
 780
 781 --   && not (certainlyWillInline (idUnfolding fn))      -- And it's not small
 782 --      See Note [Inline specialisation] for why we do not
 783 --      switch off specialisation for inline functions
 784
 785   = do {       -- Make a specialised version for each call in calls_for_me
 786          stuff <- mapM spec_call calls_for_me
 787        ; let (spec_defns, spec_uds, spec_rules) = unzip3 (catMaybes stuff)
 788              fn' = addIdSpecialisations fn spec_rules
 789              final_uds = body_uds_without_me `plusUDs` plusUDList spec_uds
 790                 -- It's important that the `plusUDs` is this way
 791                 -- round, because body_uds_without_me may bind
 792                 -- dictionaries that are used in calls_for_me passed
 793                 -- to specDefn.  So the dictionary bindings in
 794                 -- spec_uds may mention dictionaries bound in
 795                 -- body_uds_without_me
 796
 797        ; return (fn', spec_defns, final_uds) }
 798
 799   | otherwise   -- No calls or RHS doesn't fit our preconceptions
 800   = WARN( notNull calls_for_me, ptext (sLit "Missed specialisation opportunity for") <+> ppr fn )
 801           -- Note [Specialisation shape]
 802     return (fn, [], body_uds_without_me)
 803
 804   where
 805     fn_type            = idType fn
 806     fn_arity           = idArity fn
 807     fn_unf             = realIdUnfolding fn     -- Ignore loop-breaker-ness here
 808     (tyvars, theta, _) = tcSplitSigmaTy fn_type
 809     n_tyvars           = length tyvars
 810     n_dicts            = length theta
 811     inl_act            = inlinePragmaActivation (idInlinePragma fn)
 812
 813         -- Figure out whether the function has an INLINE pragma
 814         -- See Note [Inline specialisations]
 815     fn_has_inline_rule :: Maybe Bool    -- Derive sat-flag from existing thing
 816     fn_has_inline_rule = case isInlineRule_maybe fn_unf of
 817                            Just (_,sat) -> Just sat
 818                            Nothing      -> Nothing
 819
 820     spec_arity = unfoldingArity fn_unf - n_dicts  -- Arity of the *specialised* inline rule
 821
 822     (rhs_tyvars, rhs_ids, rhs_body) = collectTyAndValBinders rhs
 823
 824     (body_uds_without_me, calls_for_me) = callsForMe fn body_uds
 825
 826     rhs_dict_ids = take n_dicts rhs_ids
 827     body         = mkLams (drop n_dicts rhs_ids) rhs_body
 828                 -- Glue back on the non-dict lambdas
 829
 830     already_covered :: [CoreExpr] -> Bool
 831     already_covered args          -- Note [Specialisations already covered]
 832        = isJust (lookupRule (const True) realIdUnfolding
 833                             (substInScope subst)
 834                             fn args (idCoreRules fn))
 835
 836     mk_ty_args :: [Maybe Type] -> [CoreExpr]
 837     mk_ty_args call_ts = zipWithEqual "spec_call" mk_ty_arg rhs_tyvars call_ts
 838                where
 839                   mk_ty_arg rhs_tyvar Nothing   = Type (mkTyVarTy rhs_tyvar)
 840                   mk_ty_arg _         (Just ty) = Type ty
 841
 842     ----------------------------------------------------------
 843         -- Specialise to one particular call pattern
 844     spec_call :: CallInfo                         -- Call instance
 845               -> SpecM (Maybe ((Id,CoreExpr),     -- Specialised definition
 846                                UsageDetails,      -- Usage details from specialised body
 847                                CoreRule))         -- Info for the Id's SpecEnv
 848     spec_call (CallKey call_ts, (call_ds, _))
 849       = ASSERT( call_ts `lengthIs` n_tyvars  && call_ds `lengthIs` n_dicts )
 850
 851         -- Suppose f's defn is  f = /\ a b c -> \ d1 d2 -> rhs
 852         -- Supppose the call is for f [Just t1, Nothing, Just t3] [dx1, dx2]
 853
 854         -- Construct the new binding
 855         --      f1 = SUBST[a->t1,c->t3, d1->d1', d2->d2'] (/\ b -> rhs)
 856         -- PLUS the usage-details
 857         --      { d1' = dx1; d2' = dx2 }
 858         -- where d1', d2' are cloned versions of d1,d2, with the type substitution
 859         -- applied.  These auxiliary bindings just avoid duplication of dx1, dx2
 860         --
 861         -- Note that the substitution is applied to the whole thing.
 862         -- This is convenient, but just slightly fragile.  Notably:
 863         --      * There had better be no name clashes in a/b/c
 864         do { let
 865                 -- poly_tyvars = [b] in the example above
 866                 -- spec_tyvars = [a,c]
 867                 -- ty_args     = [t1,b,t3]
 868                 poly_tyvars   = [tv | (tv, Nothing) <- rhs_tyvars `zip` call_ts]
 869                 spec_tv_binds = [(tv,ty) | (tv, Just ty) <- rhs_tyvars `zip` call_ts]
 870                 spec_ty_args  = map snd spec_tv_binds
 871                 ty_args       = mk_ty_args call_ts
 872                 rhs_subst     = CoreSubst.extendTvSubstList subst spec_tv_binds
 873
 874            ; (rhs_subst1, inst_dict_ids) <- cloneDictBndrs rhs_subst rhs_dict_ids
 875                           -- Clone rhs_dicts, including instantiating their types
 876
 877            ; let (rhs_subst2, dx_binds) = bindAuxiliaryDicts rhs_subst1 $
 878                                           (my_zipEqual rhs_dict_ids inst_dict_ids call_ds)
 879                  inst_args = ty_args ++ map Var inst_dict_ids
 880
 881            ; if already_covered inst_args then
 882                 return Nothing
 883              else do
 884            {    -- Figure out the type of the specialised function
 885              let body_ty = applyTypeToArgs rhs fn_type inst_args
 886                  (lam_args, app_args)           -- Add a dummy argument if body_ty is unlifted
 887                    | isUnLiftedType body_ty     -- C.f. WwLib.mkWorkerArgs
 888                    = (poly_tyvars ++ [voidArgId], poly_tyvars ++ [realWorldPrimId])
 889                    | otherwise = (poly_tyvars, poly_tyvars)
 890                  spec_id_ty = mkPiTypes lam_args body_ty
 891
 892            ; spec_f <- newSpecIdSM fn spec_id_ty
 893            ; (spec_rhs, rhs_uds) <- specExpr rhs_subst2 (mkLams lam_args body)
 894            ; let
 895                 -- The rule to put in the function's specialisation is:
 896                 --      forall b, d1',d2'.  f t1 b t3 d1' d2' = f1 b
 897                 rule_name = mkFastString ("SPEC " ++ showSDoc (ppr fn <+> ppr spec_ty_args))
 898                 spec_env_rule = mkLocalRule
 899                                   rule_name
 900                                   inl_act       -- Note [Auto-specialisation and RULES]
 901                                   (idName fn)
 902                                   (poly_tyvars ++ inst_dict_ids)
 903                                   inst_args
 904                                   (mkVarApps (Var spec_f) app_args)
 905
 906                 -- Add the { d1' = dx1; d2' = dx2 } usage stuff
 907                 final_uds = foldr consDictBind rhs_uds dx_binds
 908
 909                 -- Adding arity information just propagates it a bit faster
 910                 --      See Note [Arity decrease] in Simplify
 911                 -- Copy InlinePragma information from the parent Id.
 912                 -- So if f has INLINE[1] so does spec_f
 913                 spec_f_w_arity = spec_f `setIdArity`          max 0 (fn_arity - n_dicts)
 914                                         `setInlineActivation` inl_act
 915
 916                 -- Add an InlineRule if the parent has one
 917                 -- See Note [Inline specialisations]
 918                 final_spec_f
 919                   | Just sat <- fn_has_inline_rule
 920                   = let
 921                        mb_spec_arity = if sat then Just spec_arity else Nothing
 922                     in
 923                     spec_f_w_arity `setIdUnfolding` mkInlineRule spec_rhs mb_spec_arity
 924                   | otherwise
 925                   = spec_f_w_arity
 926
 927            ; return (Just ((final_spec_f, spec_rhs), final_uds, spec_env_rule)) } }
 928       where
 929         my_zipEqual xs ys zs
 930          | debugIsOn && not (equalLength xs ys && equalLength ys zs)
 931              = pprPanic "my_zipEqual" (vcat [ ppr xs, ppr ys
 932                                             , ppr fn <+> ppr call_ts
 933                                             , ppr (idType fn), ppr theta
 934                                             , ppr n_dicts, ppr rhs_dict_ids
 935                                             , ppr rhs])
 936          | otherwise = zip3 xs ys zs
 937
 938 bindAuxiliaryDicts
 939         :: Subst
 940         -> [(DictId,DictId,CoreExpr)]   -- (orig_dict, inst_dict, dx)
 941         -> (Subst,                      -- Substitute for all orig_dicts
 942             [CoreBind])                 -- Auxiliary bindings
 943 -- Bind any dictionary arguments to fresh names, to preserve sharing
 944 -- Substitution already substitutes orig_dict -> inst_dict
 945 bindAuxiliaryDicts subst triples = go subst [] triples
 946   where
 947     go subst binds []    = (subst, binds)
 948     go subst binds ((d, dx_id, dx) : pairs)
 949       | exprIsTrivial dx = go (extendIdSubst subst d dx) binds pairs
 950              -- No auxiliary binding necessary
 951       | otherwise        = go subst_w_unf (NonRec dx_id dx : binds) pairs
 952       where
 953         dx_id1 = dx_id `setIdUnfolding` mkUnfolding False False dx
 954         subst_w_unf = extendIdSubst subst d (Var dx_id1)
 955              -- Important!  We're going to substitute dx_id1 for d
 956              -- and we want it to look "interesting", else we won't gather *any*
 957              -- consequential calls. E.g.
 958              --     f d = ...g d....
 959              -- If we specialise f for a call (f (dfun dNumInt)), we'll get
 960              -- a consequent call (g d') with an auxiliary definition
 961              --     d' = df dNumInt
 962              -- We want that consequent call to look interesting
 963 \end{code}
 964
 965 Note [From non-recursive to recursive]
 966 ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
 967 Even in the non-recursive case, if any dict-binds depend on 'fn' we might
 968 have built a recursive knot
 969
 970       f a d x = <blah>
 971       MkUD { ud_binds = d7 = MkD ..f..
 972            , ud_calls = ...(f T d7)... }
 973
 974 The we generate
 975
 976       Rec { fs x = <blah>[T/a, d7/d]
 977             f a d x = <blah>
 978                RULE f T _ = fs
 979             d7 = ...f... }
 980
 981 Here the recursion is only through the RULE.
 982
 983
 984 Note [Specialisation of dictionary functions]
 985 ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
 986 Here is a nasty example that bit us badly: see Trac #3591
 987
 988      dfun a d = MkD a d (meth d)
 989      d4 = <blah>
 990      d2 = dfun T d4
 991      d1 = $p1 d2
 992      d3 = dfun T d1
 993
 994 None of these definitions is recursive. What happened was that we
 995 generated a specialisation:
 996
 997      RULE forall d. dfun T d = dT
 998      dT = (MkD a d (meth d)) [T/a, d1/d]
 999         = MkD T d1 (meth d1)
1000
1001 But now we use the RULE on the RHS of d2, to get
1002
1003     d2 = dT = MkD d1 (meth d1)
1004     d1 = $p1 d2
1005
1006 and now d1 is bottom!  The problem is that when specialising 'dfun' we
1007 should first dump "below" the binding all floated dictionary bindings
1008 that mention 'dfun' itself.  So d2 and d3 (and hence d1) must be
1009 placed below 'dfun', and thus unavailable to it when specialising
1010 'dfun'.  That in turn means that the call (dfun T d1) must be
1011 discarded.  On the other hand, the call (dfun T d4) is fine, assuming
1012 d4 doesn't mention dfun.
1013
1014 But look at this:
1015
1016   class C a where { foo,bar :: [a] -> [a] }
1017
1018   instance C Int where
1019      foo x = r_bar x
1020      bar xs = reverse xs
1021
1022   r_bar :: C a => [a] -> [a]
1023   r_bar xs = bar (xs ++ xs)
1024
1025 That translates to:
1026
1027     r_bar a (c::C a) (xs::[a]) = bar a d (xs ++ xs)
1028
1029     Rec { $fCInt :: C Int = MkC foo_help reverse
1030           foo_help (xs::[Int]) = r_bar Int $fCInt xs }
1031
1032 The call (r_bar $fCInt) mentions $fCInt,
1033                         which mentions foo_help,
1034                         which mentions r_bar
1035 But we DO want to specialise r_bar at Int:
1036
1037     Rec { $fCInt :: C Int = MkC foo_help reverse
1038           foo_help (xs::[Int]) = r_bar Int $fCInt xs
1039
1040           r_bar a (c::C a) (xs::[a]) = bar a d (xs ++ xs)
1041             RULE r_bar Int _ = r_bar_Int
1042
1043           r_bar_Int xs = bar Int $fCInt (xs ++ xs)
1044            }
1045
1046 Note that, because of its RULE, r_bar joins the recursive
1047 group.  (In this case it'll unravel a short moment later.)
1048
1049
1050 Conclusion: we catch the nasty case using filter_dfuns in
1051 callsForMe To be honest I'm not 100% certain that this is 100%
1052 right, but it works.  Sigh.
1053
1054
1055 Note [Specialising a recursive group]
1056 ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
1057 Consider
1058     let rec { f x = ...g x'...
1059             ; g y = ...f y'.... }
1060     in f 'a'
1061 Here we specialise 'f' at Char; but that is very likely to lead to
1062 a specialisation of 'g' at Char.  We must do the latter, else the
1063 whole point of specialisation is lost.
1064
1065 But we do not want to keep iterating to a fixpoint, because in the
1066 presence of polymorphic recursion we might generate an infinite number
1067 of specialisations.
1068
1069 So we use the following heuristic:
1070   * Arrange the rec block in dependency order, so far as possible
1071     (the occurrence analyser already does this)
1072
1073   * Specialise it much like a sequence of lets
1074
1075   * Then go through the block a second time, feeding call-info from
1076     the RHSs back in the bottom, as it were
1077
1078 In effect, the ordering maxmimises the effectiveness of each sweep,
1079 and we do just two sweeps.   This should catch almost every case of
1080 monomorphic recursion -- the exception could be a very knotted-up
1081 recursion with multiple cycles tied up together.
1082
1083 This plan is implemented in the Rec case of specBindItself.
1084
1085 Note [Specialisations already covered]
1086 ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
1087 We obviously don't want to generate two specialisations for the same
1088 argument pattern.  There are two wrinkles
1089
1090 1. We do the already-covered test in specDefn, not when we generate
1091 the CallInfo in mkCallUDs.  We used to test in the latter place, but
1092 we now iterate the specialiser somewhat, and the Id at the call site
1093 might therefore not have all the RULES that we can see in specDefn
1094
1095 2. What about two specialisations where the second is an *instance*
1096 of the first?  If the more specific one shows up first, we'll generate
1097 specialisations for both.  If the *less* specific one shows up first,
1098 we *don't* currently generate a specialisation for the more specific
1099 one.  (See the call to lookupRule in already_covered.)  Reasons:
1100   (a) lookupRule doesn't say which matches are exact (bad reason)
1101   (b) if the earlier specialisation is user-provided, it's
1102       far from clear that we should auto-specialise further
1103
1104 Note [Auto-specialisation and RULES]
1105 ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
1106 Consider:
1107    g :: Num a => a -> a
1108    g = ...
1109
1110    f :: (Int -> Int) -> Int
1111    f w = ...
1112    {-# RULE f g = 0 #-}
1113
1114 Suppose that auto-specialisation makes a specialised version of
1115 g::Int->Int That version won't appear in the LHS of the RULE for f.
1116 So if the specialisation rule fires too early, the rule for f may
1117 never fire.
1118
1119 It might be possible to add new rules, to "complete" the rewrite system.
1120 Thus when adding
1121         RULE forall d. g Int d = g_spec
1122 also add
1123         RULE f g_spec = 0
1124
1125 But that's a bit complicated.  For now we ask the programmer's help,
1126 by *copying the INLINE activation pragma* to the auto-specialised
1127 rule.  So if g says {-# NOINLINE[2] g #-}, then the auto-spec rule
1128 will also not be active until phase 2.  And that's what programmers
1129 should jolly well do anyway, even aside from specialisation, to ensure
1130 that g doesn't inline too early.
1131
1132 This in turn means that the RULE would never fire for a NOINLINE
1133 thing so not much point in generating a specialisation at all.
1134
1135 Note [Specialisation shape]
1136 ~~~~~~~~~~~~~~~~~~~~~~~~~~~
1137 We only specialise a function if it has visible top-level lambdas
1138 corresponding to its overloading.  E.g. if
1139         f :: forall a. Eq a => ....
1140 then its body must look like
1141         f = /\a. \d. ...
1142
1143 Reason: when specialising the body for a call (f ty dexp), we want to
1144 substitute dexp for d, and pick up specialised calls in the body of f.
1145
1146 This doesn't always work.  One example I came across was this:
1147         newtype Gen a = MkGen{ unGen :: Int -> a }
1148
1149         choose :: Eq a => a -> Gen a
1150         choose n = MkGen (\r -> n)
1151
1152         oneof = choose (1::Int)
1153
1154 It's a silly exapmle, but we get
1155         choose = /\a. g `cast` co
1156 where choose doesn't have any dict arguments.  Thus far I have not
1157 tried to fix this (wait till there's a real example).
1158
1159 Note [Inline specialisations]
1160 ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
1161 We transfer to the specialised function any INLINE stuff from the
1162 original.  This means
1163    (a) the Activation for its inlining (from its InlinePragma)
1164    (b) any InlineRule
1165
1166 This is a change (Jun06).  Previously the idea is that the point of
1167 inlining was precisely to specialise the function at its call site,
1168 and that's not so important for the specialised copies.  But
1169 *pragma-directed* specialisation now takes place in the
1170 typechecker/desugarer, with manually specified INLINEs.  The
1171 specialiation here is automatic.  It'd be very odd if a function
1172 marked INLINE was specialised (because of some local use), and then
1173 forever after (including importing modules) the specialised version
1174 wasn't INLINEd.  After all, the programmer said INLINE!
1175
1176 You might wonder why we don't just not specialise INLINE functions.
1177 It's because even INLINE functions are sometimes not inlined, when
1178 they aren't applied to interesting arguments.  But perhaps the type
1179 arguments alone are enough to specialise (even though the args are too
1180 boring to trigger inlining), and it's certainly better to call the
1181 specialised version.
1182
1183
1184 %************************************************************************
1185 %*                                                                      *
1186 \subsubsection{UsageDetails and suchlike}
1187 %*                                                                      *
1188 %************************************************************************
1189
1190 \begin{code}
1191 data UsageDetails
1192   = MkUD {
1193         ud_binds :: !(Bag DictBind),
1194                         -- Floated dictionary bindings
1195                         -- The order is important;
1196                         -- in ds1 `union` ds2, bindings in ds2 can depend on those in ds1
1197                         -- (Remember, Bags preserve order in GHC.)
1198
1199         ud_calls :: !CallDetails
1200
1201         -- INVARIANT: suppose bs = bindersOf ud_binds
1202         -- Then 'calls' may *mention* 'bs',
1203         -- but there should be no calls *for* bs
1204     }
1205
1206 instance Outputable UsageDetails where
1207   ppr (MkUD { ud_binds = dbs, ud_calls = calls })
1208         = ptext (sLit "MkUD") <+> braces (sep (punctuate comma
1209                 [ptext (sLit "binds") <+> equals <+> ppr dbs,
1210                  ptext (sLit "calls") <+> equals <+> ppr calls]))
1211
1212 type DictBind = (CoreBind, VarSet)
1213         -- The set is the free vars of the binding
1214         -- both tyvars and dicts
1215
1216 type DictExpr = CoreExpr
1217
1218 emptyUDs :: UsageDetails
1219 emptyUDs = MkUD { ud_binds = emptyBag, ud_calls = emptyVarEnv }
1220
1221 ------------------------------------------------------------
1222 type CallDetails  = IdEnv CallInfoSet
1223 newtype CallKey   = CallKey [Maybe Type]                        -- Nothing => unconstrained type argument
1224
1225 -- CallInfo uses a FiniteMap, thereby ensuring that
1226 -- we record only one call instance for any key
1227 --
1228 -- The list of types and dictionaries is guaranteed to
1229 -- match the type of f
1230 type CallInfoSet = FiniteMap CallKey ([DictExpr], VarSet)
1231                         -- Range is dict args and the vars of the whole
1232                         -- call (including tyvars)
1233                         -- [*not* include the main id itself, of course]
1234
1235 type CallInfo = (CallKey, ([DictExpr], VarSet))
1236
1237 instance Outputable CallKey where
1238   ppr (CallKey ts) = ppr ts
1239
1240 -- Type isn't an instance of Ord, so that we can control which
1241 -- instance we use.  That's tiresome here.  Oh well
1242 instance Eq CallKey where
1243   k1 == k2 = case k1 `compare` k2 of { EQ -> True; _ -> False }
1244
1245 instance Ord CallKey where
1246   compare (CallKey k1) (CallKey k2) = cmpList cmp k1 k2
1247                 where
1248                   cmp Nothing   Nothing   = EQ
1249                   cmp Nothing   (Just _)  = LT
1250                   cmp (Just _)  Nothing   = GT
1251                   cmp (Just t1) (Just t2) = tcCmpType t1 t2
1252
1253 unionCalls :: CallDetails -> CallDetails -> CallDetails
1254 unionCalls c1 c2 = plusVarEnv_C plusFM c1 c2
1255
1256 -- plusCalls :: UsageDetails -> CallDetails -> UsageDetails
1257 -- plusCalls uds call_ds = uds { ud_calls = ud_calls uds `unionCalls` call_ds }
1258
1259 callDetailsFVs :: CallDetails -> VarSet
1260 callDetailsFVs calls = foldVarEnv (unionVarSet . callInfoFVs) emptyVarSet calls
1261
1262 callInfoFVs :: CallInfoSet -> VarSet
1263 callInfoFVs call_info = foldFM (\_ (_,fv) vs -> unionVarSet fv vs) emptyVarSet call_info
1264
1265 ------------------------------------------------------------
1266 singleCall :: Id -> [Maybe Type] -> [DictExpr] -> UsageDetails
1267 singleCall id tys dicts
1268   = MkUD {ud_binds = emptyBag,
1269           ud_calls = unitVarEnv id (unitFM (CallKey tys) (dicts, call_fvs)) }
1270   where
1271     call_fvs = exprsFreeVars dicts `unionVarSet` tys_fvs
1272     tys_fvs  = tyVarsOfTypes (catMaybes tys)
1273         -- The type args (tys) are guaranteed to be part of the dictionary
1274         -- types, because they are just the constrained types,
1275         -- and the dictionary is therefore sure to be bound
1276         -- inside the binding for any type variables free in the type;
1277         -- hence it's safe to neglect tyvars free in tys when making
1278         -- the free-var set for this call
1279         -- BUT I don't trust this reasoning; play safe and include tys_fvs
1280         --
1281         -- We don't include the 'id' itself.
1282
1283 mkCallUDs :: Id -> [CoreExpr] -> UsageDetails
1284 mkCallUDs f args
1285   | not (isLocalId f)   -- Imported from elsewhere
1286   || null theta         -- Not overloaded
1287   || not (all isClassPred theta)
1288         -- Only specialise if all overloading is on class params.
1289         -- In ptic, with implicit params, the type args
1290         --  *don't* say what the value of the implicit param is!
1291   || not (spec_tys `lengthIs` n_tyvars)
1292   || not ( dicts   `lengthIs` n_dicts)
1293   || not (any interestingDict dicts)    -- Note [Interesting dictionary arguments]
1294   -- See also Note [Specialisations already covered]
1295   = -- pprTrace "mkCallUDs: discarding" (vcat [ppr f, ppr args, ppr n_tyvars, ppr n_dicts, ppr (map interestingDict dicts)])
1296     emptyUDs    -- Not overloaded, or no specialisation wanted
1297
1298   | otherwise
1299   = -- pprTrace "mkCallUDs: keeping" (vcat [ppr f, ppr args, ppr n_tyvars, ppr n_dicts, ppr (map interestingDict dicts)])
1300     singleCall f spec_tys dicts
1301   where
1302     (tyvars, theta, _) = tcSplitSigmaTy (idType f)
1303     constrained_tyvars = tyVarsOfTheta theta
1304     n_tyvars           = length tyvars
1305     n_dicts            = length theta
1306
1307     spec_tys = [mk_spec_ty tv ty | (tv, Type ty) <- tyvars `zip` args]
1308     dicts    = [dict_expr | (_, dict_expr) <- theta `zip` (drop n_tyvars args)]
1309
1310     mk_spec_ty tyvar ty
1311         | tyvar `elemVarSet` constrained_tyvars = Just ty
1312         | otherwise                             = Nothing
1313 \end{code}
1314
1315 Note [Interesting dictionary arguments]
1316 ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
1317 Consider this
1318          \a.\d:Eq a.  let f = ... in ...(f d)...
1319 There really is not much point in specialising f wrt the dictionary d,
1320 because the code for the specialised f is not improved at all, because
1321 d is lambda-bound.  We simply get junk specialisations.
1322
1323 What is "interesting"?  Just that it has *some* structure.
1324
1325 \begin{code}
1326 interestingDict :: CoreExpr -> Bool
1327 -- A dictionary argument is interesting if it has *some* structure
1328 interestingDict (Var v) =  hasSomeUnfolding (idUnfolding v)
1329                         || isDataConWorkId v
1330 interestingDict (Type _)          = False
1331 interestingDict (App fn (Type _)) = interestingDict fn
1332 interestingDict (Note _ a)        = interestingDict a
1333 interestingDict (Cast e _)        = interestingDict e
1334 interestingDict _                 = True
1335 \end{code}
1336
1337 \begin{code}
1338 plusUDs :: UsageDetails -> UsageDetails -> UsageDetails
1339 plusUDs (MkUD {ud_binds = db1, ud_calls = calls1})
1340         (MkUD {ud_binds = db2, ud_calls = calls2})
1341   = MkUD { ud_binds = db1    `unionBags`   db2
1342          , ud_calls = calls1 `unionCalls`  calls2 }
1343
1344 plusUDList :: [UsageDetails] -> UsageDetails
1345 plusUDList = foldr plusUDs emptyUDs
1346
1347 -----------------------------
1348 _dictBindBndrs :: Bag DictBind -> [Id]
1349 _dictBindBndrs dbs = foldrBag ((++) . bindersOf . fst) [] dbs
1350
1351 mkDB :: CoreBind -> DictBind
1352 mkDB bind = (bind, bind_fvs bind)
1353
1354 bind_fvs :: CoreBind -> VarSet
1355 bind_fvs (NonRec bndr rhs) = pair_fvs (bndr,rhs)
1356 bind_fvs (Rec prs)         = foldl delVarSet rhs_fvs bndrs
1357                            where
1358                              bndrs = map fst prs
1359                              rhs_fvs = unionVarSets (map pair_fvs prs)
1360
1361 pair_fvs :: (Id, CoreExpr) -> VarSet
1362 pair_fvs (bndr, rhs) = exprFreeVars rhs `unionVarSet` idFreeVars bndr
1363         -- Don't forget variables mentioned in the
1364         -- rules of the bndr.  C.f. OccAnal.addRuleUsage
1365         -- Also tyvars mentioned in its type; they may not appear in the RHS
1366         --      type T a = Int
1367         --      x :: T a = 3
1368
1369 flattenDictBinds :: Bag DictBind -> [(Id,CoreExpr)] -> [(Id,CoreExpr)]
1370 flattenDictBinds dbs pairs
1371   = foldrBag add pairs dbs
1372   where
1373     add (NonRec b r,_) pairs = (b,r) : pairs
1374     add (Rec prs1, _)  pairs = prs1 ++ pairs
1375
1376 snocDictBinds :: UsageDetails -> [CoreBind] -> UsageDetails
1377 -- Add ud_binds to the tail end of the bindings in uds
1378 snocDictBinds uds dbs
1379   = uds { ud_binds = ud_binds uds `unionBags`
1380                      foldr (consBag . mkDB) emptyBag dbs }
1381
1382 consDictBind :: CoreBind -> UsageDetails -> UsageDetails
1383 consDictBind bind uds = uds { ud_binds = mkDB bind `consBag` ud_binds uds }
1384
1385 snocDictBind :: UsageDetails -> CoreBind -> UsageDetails
1386 snocDictBind uds bind = uds { ud_binds = ud_binds uds `snocBag` mkDB bind }
1387
1388 wrapDictBinds :: Bag DictBind -> [CoreBind] -> [CoreBind]
1389 wrapDictBinds dbs binds
1390   = foldrBag add binds dbs
1391   where
1392     add (bind,_) binds = bind : binds
1393
1394 wrapDictBindsE :: Bag DictBind -> CoreExpr -> CoreExpr
1395 wrapDictBindsE dbs expr
1396   = foldrBag add expr dbs
1397   where
1398     add (bind,_) expr = Let bind expr
1399
1400 ----------------------
1401 dumpUDs :: [CoreBndr] -> UsageDetails -> (UsageDetails, Bag DictBind)
1402 -- Used at a lambda or case binder; just dump anything mentioning the binder
1403 dumpUDs bndrs uds@(MkUD { ud_binds = orig_dbs, ud_calls = orig_calls })
1404   | null bndrs = (uds, emptyBag)  -- Common in case alternatives
1405   | otherwise  = (free_uds, dump_dbs)
1406   where
1407     free_uds = MkUD { ud_binds = free_dbs, ud_calls = free_calls }
1408     bndr_set = mkVarSet bndrs
1409     (free_dbs, dump_dbs, dump_set) = splitDictBinds orig_dbs bndr_set
1410     free_calls = deleteCallsMentioning dump_set $   -- Drop calls mentioning bndr_set on the floor
1411                  deleteCallsFor bndrs orig_calls    -- Discard calls for bndr_set; there should be
1412                                                     -- no calls for any of the dicts in dump_dbs
1413
1414 dumpBindUDs :: [CoreBndr] -> UsageDetails -> (UsageDetails, Bag DictBind, Bool)
1415 -- Used at a lambda or case binder; just dump anything mentioning the binder
1416 dumpBindUDs bndrs (MkUD { ud_binds = orig_dbs, ud_calls = orig_calls })
1417   = (free_uds, dump_dbs, float_all)
1418   where
1419     free_uds = MkUD { ud_binds = free_dbs, ud_calls = free_calls }
1420     bndr_set = mkVarSet bndrs
1421     (free_dbs, dump_dbs, dump_set) = splitDictBinds orig_dbs bndr_set
1422     free_calls = deleteCallsFor bndrs orig_calls
1423     float_all = dump_set `intersectsVarSet` callDetailsFVs free_calls
1424
1425 callsForMe :: Id -> UsageDetails -> (UsageDetails, [CallInfo])
1426 callsForMe fn (MkUD { ud_binds = orig_dbs, ud_calls = orig_calls })
1427   = -- pprTrace ("callsForMe")
1428     --         (vcat [ppr fn,
1429     --                text "Orig dbs ="     <+> ppr (_dictBindBndrs orig_dbs),
1430     --                text "Orig calls ="   <+> ppr orig_calls,
1431     --                text "Dep set ="      <+> ppr dep_set,
1432     --                text "Calls for me =" <+> ppr calls_for_me]) $
1433     (uds_without_me, calls_for_me)
1434   where
1435     uds_without_me = MkUD { ud_binds = orig_dbs, ud_calls = delVarEnv orig_calls fn }
1436     calls_for_me = case lookupVarEnv orig_calls fn of
1437                         Nothing -> []
1438                         Just cs -> filter_dfuns (fmToList cs)
1439
1440     dep_set = foldlBag go (unitVarSet fn) orig_dbs
1441     go dep_set (db,fvs) | fvs `intersectsVarSet` dep_set
1442                         = extendVarSetList dep_set (bindersOf db)
1443                         | otherwise = fvs
1444
1445         -- Note [Specialisation of dictionary functions]
1446     filter_dfuns | isDFunId fn = filter ok_call
1447                  | otherwise   = \cs -> cs
1448
1449     ok_call (_, (_,fvs)) = not (fvs `intersectsVarSet` dep_set)
1450
1451 ----------------------
1452 splitDictBinds :: Bag DictBind -> IdSet -> (Bag DictBind, Bag DictBind, IdSet)
1453 -- Returns (free_dbs, dump_dbs, dump_set)
1454 splitDictBinds dbs bndr_set
1455    = foldlBag split_db (emptyBag, emptyBag, bndr_set) dbs
1456                 -- Important that it's foldl not foldr;
1457                 -- we're accumulating the set of dumped ids in dump_set
1458    where
1459     split_db (free_dbs, dump_dbs, dump_idset) db@(bind, fvs)
1460         | dump_idset `intersectsVarSet` fvs     -- Dump it
1461         = (free_dbs, dump_dbs `snocBag` db,
1462            extendVarSetList dump_idset (bindersOf bind))
1463
1464         | otherwise     -- Don't dump it
1465         = (free_dbs `snocBag` db, dump_dbs, dump_idset)
1466
1467
1468 ----------------------
1469 deleteCallsMentioning :: VarSet -> CallDetails -> CallDetails
1470 -- Remove calls *mentioning* bs
1471 deleteCallsMentioning bs calls
1472   = mapVarEnv filter_calls calls
1473   where
1474     filter_calls :: CallInfoSet -> CallInfoSet
1475     filter_calls = filterFM (\_ (_, fvs) -> not (fvs `intersectsVarSet` bs))
1476
1477 deleteCallsFor :: [Id] -> CallDetails -> CallDetails
1478 -- Remove calls *for* bs
1479 deleteCallsFor bs calls = delVarEnvList calls bs
1480 \end{code}
1481
1482
1483 %************************************************************************
1484 %*                                                                      *
1485 \subsubsection{Boring helper functions}
1486 %*                                                                      *
1487 %************************************************************************
1488
1489 \begin{code}
1490 type SpecM a = UniqSM a
1491
1492 initSM :: UniqSupply -> SpecM a -> a
1493 initSM    = initUs_
1494
1495 mapAndCombineSM :: (a -> SpecM (b, UsageDetails)) -> [a] -> SpecM ([b], UsageDetails)
1496 mapAndCombineSM _ []     = return ([], emptyUDs)
1497 mapAndCombineSM f (x:xs) = do (y, uds1) <- f x
1498                               (ys, uds2) <- mapAndCombineSM f xs
1499                               return (y:ys, uds1 `plusUDs` uds2)
1500
1501 cloneBindSM :: Subst -> CoreBind -> SpecM (Subst, Subst, CoreBind)
1502 -- Clone the binders of the bind; return new bind with the cloned binders
1503 -- Return the substitution to use for RHSs, and the one to use for the body
1504 cloneBindSM subst (NonRec bndr rhs) = do
1505     us <- getUniqueSupplyM
1506     let (subst', bndr') = cloneIdBndr subst us bndr
1507     return (subst, subst', NonRec bndr' rhs)
1508
1509 cloneBindSM subst (Rec pairs) = do
1510     us <- getUniqueSupplyM
1511     let (subst', bndrs') = cloneRecIdBndrs subst us (map fst pairs)
1512     return (subst', subst', Rec (bndrs' `zip` map snd pairs))
1513
1514 cloneDictBndrs :: Subst -> [CoreBndr] -> SpecM (Subst, [CoreBndr])
1515 cloneDictBndrs subst bndrs
1516   = do { us <- getUniqueSupplyM
1517        ; return (cloneIdBndrs subst us bndrs) }
1518
1519 newSpecIdSM :: Id -> Type -> SpecM Id
1520     -- Give the new Id a similar occurrence name to the old one
1521 newSpecIdSM old_id new_ty
1522   = do  { uniq <- getUniqueM
1523         ; let
1524             name    = idName old_id
1525             new_occ = mkSpecOcc (nameOccName name)
1526             new_id  = mkUserLocal new_occ uniq new_ty (getSrcSpan name)
1527         ; return new_id }
1528 \end{code}
1529
1530
1531                 Old (but interesting) stuff about unboxed bindings
1532                 ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
1533
1534 What should we do when a value is specialised to a *strict* unboxed value?
1535
1536         map_*_* f (x:xs) = let h = f x
1537                                t = map f xs
1538                            in h:t
1539
1540 Could convert let to case:
1541
1542         map_*_Int# f (x:xs) = case f x of h# ->
1543                               let t = map f xs
1544                               in h#:t
1545
1546 This may be undesirable since it forces evaluation here, but the value
1547 may not be used in all branches of the body. In the general case this
1548 transformation is impossible since the mutual recursion in a letrec
1549 cannot be expressed as a case.
1550
1551 There is also a problem with top-level unboxed values, since our
1552 implementation cannot handle unboxed values at the top level.
1553
1554 Solution: Lift the binding of the unboxed value and extract it when it
1555 is used:
1556
1557         map_*_Int# f (x:xs) = let h = case (f x) of h# -> _Lift h#
1558                                   t = map f xs
1559                               in case h of
1560                                  _Lift h# -> h#:t
1561
1562 Now give it to the simplifier and the _Lifting will be optimised away.
1563
1564 The benfit is that we have given the specialised "unboxed" values a
1565 very simplep lifted semantics and then leave it up to the simplifier to
1566 optimise it --- knowing that the overheads will be removed in nearly
1567 all cases.
1568
1569 In particular, the value will only be evaluted in the branches of the
1570 program which use it, rather than being forced at the point where the
1571 value is bound. For example:
1572
1573         filtermap_*_* p f (x:xs)
1574           = let h = f x
1575                 t = ...
1576             in case p x of
1577                 True  -> h:t
1578                 False -> t
1579    ==>
1580         filtermap_*_Int# p f (x:xs)
1581           = let h = case (f x) of h# -> _Lift h#
1582                 t = ...
1583             in case p x of
1584                 True  -> case h of _Lift h#
1585                            -> h#:t
1586                 False -> t
1587
1588 The binding for h can still be inlined in the one branch and the
1589 _Lifting eliminated.
1590
1591
1592 Question: When won't the _Lifting be eliminated?
1593
1594 Answer: When they at the top-level (where it is necessary) or when
1595 inlining would duplicate work (or possibly code depending on
1596 options). However, the _Lifting will still be eliminated if the
1597 strictness analyser deems the lifted binding strict.
1598