compiler/specialise/Specialise.lhs

   1 %
   2 % (c) The GRASP/AQUA Project, Glasgow University, 1993-1998
   3 %
   4 \section[Specialise]{Stamping out overloading, and (optionally) polymorphism}
   5
   6 \begin{code}
   7 -- The above warning supression flag is a temporary kludge.
   8 -- While working on this module you are encouraged to remove it and fix
   9 -- any warnings in the module. See
  10 --     http://hackage.haskell.org/trac/ghc/wiki/Commentary/CodingStyle#Warnings
  11 -- for details
  12
  13 module Specialise ( specProgram ) where
  14
  15 #include "HsVersions.h"
  16
  17 import Id
  18 import TcType
  19 import CoreSubst
  20 import CoreUnfold       ( mkUnfolding, mkInlineRule )
  21 import VarSet
  22 import VarEnv
  23 import CoreSyn
  24 import Rules
  25 import CoreUtils        ( exprIsTrivial, applyTypeToArgs, mkPiTypes )
  26 import CoreFVs          ( exprFreeVars, exprsFreeVars, idFreeVars )
  27 import UniqSupply       ( UniqSupply, UniqSM, initUs_, MonadUnique(..) )
  28 import Name
  29 import MkId             ( voidArgId, realWorldPrimId )
  30 import FiniteMap
  31 import Maybes           ( catMaybes, isJust )
  32 import BasicTypes       ( Arity )
  33 import Bag
  34 import Util
  35 import Outputable
  36 import FastString
  37
  38 \end{code}
  39
  40 %************************************************************************
  41 %*                                                                      *
  42 \subsection[notes-Specialise]{Implementation notes [SLPJ, Aug 18 1993]}
  43 %*                                                                      *
  44 %************************************************************************
  45
  46 These notes describe how we implement specialisation to eliminate
  47 overloading.
  48
  49 The specialisation pass works on Core
  50 syntax, complete with all the explicit dictionary application,
  51 abstraction and construction as added by the type checker.  The
  52 existing type checker remains largely as it is.
  53
  54 One important thought: the {\em types} passed to an overloaded
  55 function, and the {\em dictionaries} passed are mutually redundant.
  56 If the same function is applied to the same type(s) then it is sure to
  57 be applied to the same dictionary(s)---or rather to the same {\em
  58 values}.  (The arguments might look different but they will evaluate
  59 to the same value.)
  60
  61 Second important thought: we know that we can make progress by
  62 treating dictionary arguments as static and worth specialising on.  So
  63 we can do without binding-time analysis, and instead specialise on
  64 dictionary arguments and no others.
  65
  66 The basic idea
  67 ~~~~~~~~~~~~~~
  68 Suppose we have
  69
  70         let f = <f_rhs>
  71         in <body>
  72
  73 and suppose f is overloaded.
  74
  75 STEP 1: CALL-INSTANCE COLLECTION
  76
  77 We traverse <body>, accumulating all applications of f to types and
  78 dictionaries.
  79
  80 (Might there be partial applications, to just some of its types and
  81 dictionaries?  In principle yes, but in practice the type checker only
  82 builds applications of f to all its types and dictionaries, so partial
  83 applications could only arise as a result of transformation, and even
  84 then I think it's unlikely.  In any case, we simply don't accumulate such
  85 partial applications.)
  86
  87
  88 STEP 2: EQUIVALENCES
  89
  90 So now we have a collection of calls to f:
  91         f t1 t2 d1 d2
  92         f t3 t4 d3 d4
  93         ...
  94 Notice that f may take several type arguments.  To avoid ambiguity, we
  95 say that f is called at type t1/t2 and t3/t4.
  96
  97 We take equivalence classes using equality of the *types* (ignoring
  98 the dictionary args, which as mentioned previously are redundant).
  99
 100 STEP 3: SPECIALISATION
 101
 102 For each equivalence class, choose a representative (f t1 t2 d1 d2),
 103 and create a local instance of f, defined thus:
 104
 105         f@t1/t2 = <f_rhs> t1 t2 d1 d2
 106
 107 f_rhs presumably has some big lambdas and dictionary lambdas, so lots
 108 of simplification will now result.  However we don't actually *do* that
 109 simplification.  Rather, we leave it for the simplifier to do.  If we
 110 *did* do it, though, we'd get more call instances from the specialised
 111 RHS.  We can work out what they are by instantiating the call-instance
 112 set from f's RHS with the types t1, t2.
 113
 114 Add this new id to f's IdInfo, to record that f has a specialised version.
 115
 116 Before doing any of this, check that f's IdInfo doesn't already
 117 tell us about an existing instance of f at the required type/s.
 118 (This might happen if specialisation was applied more than once, or
 119 it might arise from user SPECIALIZE pragmas.)
 120
 121 Recursion
 122 ~~~~~~~~~
 123 Wait a minute!  What if f is recursive?  Then we can't just plug in
 124 its right-hand side, can we?
 125
 126 But it's ok.  The type checker *always* creates non-recursive definitions
 127 for overloaded recursive functions.  For example:
 128
 129         f x = f (x+x)           -- Yes I know its silly
 130
 131 becomes
 132
 133         f a (d::Num a) = let p = +.sel a d
 134                          in
 135                          letrec fl (y::a) = fl (p y y)
 136                          in
 137                          fl
 138
 139 We still have recusion for non-overloaded functions which we
 140 speciailise, but the recursive call should get specialised to the
 141 same recursive version.
 142
 143
 144 Polymorphism 1
 145 ~~~~~~~~~~~~~~
 146
 147 All this is crystal clear when the function is applied to *constant
 148 types*; that is, types which have no type variables inside.  But what if
 149 it is applied to non-constant types?  Suppose we find a call of f at type
 150 t1/t2.  There are two possibilities:
 151
 152 (a) The free type variables of t1, t2 are in scope at the definition point
 153 of f.  In this case there's no problem, we proceed just as before.  A common
 154 example is as follows.  Here's the Haskell:
 155
 156         g y = let f x = x+x
 157               in f y + f y
 158
 159 After typechecking we have
 160
 161         g a (d::Num a) (y::a) = let f b (d'::Num b) (x::b) = +.sel b d' x x
 162                                 in +.sel a d (f a d y) (f a d y)
 163
 164 Notice that the call to f is at type type "a"; a non-constant type.
 165 Both calls to f are at the same type, so we can specialise to give:
 166
 167         g a (d::Num a) (y::a) = let f@a (x::a) = +.sel a d x x
 168                                 in +.sel a d (f@a y) (f@a y)
 169
 170
 171 (b) The other case is when the type variables in the instance types
 172 are *not* in scope at the definition point of f.  The example we are
 173 working with above is a good case.  There are two instances of (+.sel a d),
 174 but "a" is not in scope at the definition of +.sel.  Can we do anything?
 175 Yes, we can "common them up", a sort of limited common sub-expression deal.
 176 This would give:
 177
 178         g a (d::Num a) (y::a) = let +.sel@a = +.sel a d
 179                                     f@a (x::a) = +.sel@a x x
 180                                 in +.sel@a (f@a y) (f@a y)
 181
 182 This can save work, and can't be spotted by the type checker, because
 183 the two instances of +.sel weren't originally at the same type.
 184
 185 Further notes on (b)
 186
 187 * There are quite a few variations here.  For example, the defn of
 188   +.sel could be floated ouside the \y, to attempt to gain laziness.
 189   It certainly mustn't be floated outside the \d because the d has to
 190   be in scope too.
 191
 192 * We don't want to inline f_rhs in this case, because
 193 that will duplicate code.  Just commoning up the call is the point.
 194
 195 * Nothing gets added to +.sel's IdInfo.
 196
 197 * Don't bother unless the equivalence class has more than one item!
 198
 199 Not clear whether this is all worth it.  It is of course OK to
 200 simply discard call-instances when passing a big lambda.
 201
 202 Polymorphism 2 -- Overloading
 203 ~~~~~~~~~~~~~~
 204 Consider a function whose most general type is
 205
 206         f :: forall a b. Ord a => [a] -> b -> b
 207
 208 There is really no point in making a version of g at Int/Int and another
 209 at Int/Bool, because it's only instancing the type variable "a" which
 210 buys us any efficiency. Since g is completely polymorphic in b there
 211 ain't much point in making separate versions of g for the different
 212 b types.
 213
 214 That suggests that we should identify which of g's type variables
 215 are constrained (like "a") and which are unconstrained (like "b").
 216 Then when taking equivalence classes in STEP 2, we ignore the type args
 217 corresponding to unconstrained type variable.  In STEP 3 we make
 218 polymorphic versions.  Thus:
 219
 220         f@t1/ = /\b -> <f_rhs> t1 b d1 d2
 221
 222 We do this.
 223
 224
 225 Dictionary floating
 226 ~~~~~~~~~~~~~~~~~~~
 227 Consider this
 228
 229         f a (d::Num a) = let g = ...
 230                          in
 231                          ...(let d1::Ord a = Num.Ord.sel a d in g a d1)...
 232
 233 Here, g is only called at one type, but the dictionary isn't in scope at the
 234 definition point for g.  Usually the type checker would build a
 235 definition for d1 which enclosed g, but the transformation system
 236 might have moved d1's defn inward.  Solution: float dictionary bindings
 237 outwards along with call instances.
 238
 239 Consider
 240
 241         f x = let g p q = p==q
 242                   h r s = (r+s, g r s)
 243               in
 244               h x x
 245
 246
 247 Before specialisation, leaving out type abstractions we have
 248
 249         f df x = let g :: Eq a => a -> a -> Bool
 250                      g dg p q = == dg p q
 251                      h :: Num a => a -> a -> (a, Bool)
 252                      h dh r s = let deq = eqFromNum dh
 253                                 in (+ dh r s, g deq r s)
 254               in
 255               h df x x
 256
 257 After specialising h we get a specialised version of h, like this:
 258
 259                     h' r s = let deq = eqFromNum df
 260                              in (+ df r s, g deq r s)
 261
 262 But we can't naively make an instance for g from this, because deq is not in scope
 263 at the defn of g.  Instead, we have to float out the (new) defn of deq
 264 to widen its scope.  Notice that this floating can't be done in advance -- it only
 265 shows up when specialisation is done.
 266
 267 User SPECIALIZE pragmas
 268 ~~~~~~~~~~~~~~~~~~~~~~~
 269 Specialisation pragmas can be digested by the type checker, and implemented
 270 by adding extra definitions along with that of f, in the same way as before
 271
 272         f@t1/t2 = <f_rhs> t1 t2 d1 d2
 273
 274 Indeed the pragmas *have* to be dealt with by the type checker, because
 275 only it knows how to build the dictionaries d1 and d2!  For example
 276
 277         g :: Ord a => [a] -> [a]
 278         {-# SPECIALIZE f :: [Tree Int] -> [Tree Int] #-}
 279
 280 Here, the specialised version of g is an application of g's rhs to the
 281 Ord dictionary for (Tree Int), which only the type checker can conjure
 282 up.  There might not even *be* one, if (Tree Int) is not an instance of
 283 Ord!  (All the other specialision has suitable dictionaries to hand
 284 from actual calls.)
 285
 286 Problem.  The type checker doesn't have to hand a convenient <f_rhs>, because
 287 it is buried in a complex (as-yet-un-desugared) binding group.
 288 Maybe we should say
 289
 290         f@t1/t2 = f* t1 t2 d1 d2
 291
 292 where f* is the Id f with an IdInfo which says "inline me regardless!".
 293 Indeed all the specialisation could be done in this way.
 294 That in turn means that the simplifier has to be prepared to inline absolutely
 295 any in-scope let-bound thing.
 296
 297
 298 Again, the pragma should permit polymorphism in unconstrained variables:
 299
 300         h :: Ord a => [a] -> b -> b
 301         {-# SPECIALIZE h :: [Int] -> b -> b #-}
 302
 303 We *insist* that all overloaded type variables are specialised to ground types,
 304 (and hence there can be no context inside a SPECIALIZE pragma).
 305 We *permit* unconstrained type variables to be specialised to
 306         - a ground type
 307         - or left as a polymorphic type variable
 308 but nothing in between.  So
 309
 310         {-# SPECIALIZE h :: [Int] -> [c] -> [c] #-}
 311
 312 is *illegal*.  (It can be handled, but it adds complication, and gains the
 313 programmer nothing.)
 314
 315
 316 SPECIALISING INSTANCE DECLARATIONS
 317 ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
 318 Consider
 319
 320         instance Foo a => Foo [a] where
 321                 ...
 322         {-# SPECIALIZE instance Foo [Int] #-}
 323
 324 The original instance decl creates a dictionary-function
 325 definition:
 326
 327         dfun.Foo.List :: forall a. Foo a -> Foo [a]
 328
 329 The SPECIALIZE pragma just makes a specialised copy, just as for
 330 ordinary function definitions:
 331
 332         dfun.Foo.List@Int :: Foo [Int]
 333         dfun.Foo.List@Int = dfun.Foo.List Int dFooInt
 334
 335 The information about what instance of the dfun exist gets added to
 336 the dfun's IdInfo in the same way as a user-defined function too.
 337
 338
 339 Automatic instance decl specialisation?
 340 ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
 341 Can instance decls be specialised automatically?  It's tricky.
 342 We could collect call-instance information for each dfun, but
 343 then when we specialised their bodies we'd get new call-instances
 344 for ordinary functions; and when we specialised their bodies, we might get
 345 new call-instances of the dfuns, and so on.  This all arises because of
 346 the unrestricted mutual recursion between instance decls and value decls.
 347
 348 Still, there's no actual problem; it just means that we may not do all
 349 the specialisation we could theoretically do.
 350
 351 Furthermore, instance decls are usually exported and used non-locally,
 352 so we'll want to compile enough to get those specialisations done.
 353
 354 Lastly, there's no such thing as a local instance decl, so we can
 355 survive solely by spitting out *usage* information, and then reading that
 356 back in as a pragma when next compiling the file.  So for now,
 357 we only specialise instance decls in response to pragmas.
 358
 359
 360 SPITTING OUT USAGE INFORMATION
 361 ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
 362
 363 To spit out usage information we need to traverse the code collecting
 364 call-instance information for all imported (non-prelude?) functions
 365 and data types. Then we equivalence-class it and spit it out.
 366
 367 This is done at the top-level when all the call instances which escape
 368 must be for imported functions and data types.
 369
 370 *** Not currently done ***
 371
 372
 373 Partial specialisation by pragmas
 374 ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
 375 What about partial specialisation:
 376
 377         k :: (Ord a, Eq b) => [a] -> b -> b -> [a]
 378         {-# SPECIALIZE k :: Eq b => [Int] -> b -> b -> [a] #-}
 379
 380 or even
 381
 382         {-# SPECIALIZE k :: Eq b => [Int] -> [b] -> [b] -> [a] #-}
 383
 384 Seems quite reasonable.  Similar things could be done with instance decls:
 385
 386         instance (Foo a, Foo b) => Foo (a,b) where
 387                 ...
 388         {-# SPECIALIZE instance Foo a => Foo (a,Int) #-}
 389         {-# SPECIALIZE instance Foo b => Foo (Int,b) #-}
 390
 391 Ho hum.  Things are complex enough without this.  I pass.
 392
 393
 394 Requirements for the simplifer
 395 ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
 396 The simplifier has to be able to take advantage of the specialisation.
 397
 398 * When the simplifier finds an application of a polymorphic f, it looks in
 399 f's IdInfo in case there is a suitable instance to call instead.  This converts
 400
 401         f t1 t2 d1 d2   ===>   f_t1_t2
 402
 403 Note that the dictionaries get eaten up too!
 404
 405 * Dictionary selection operations on constant dictionaries must be
 406   short-circuited:
 407
 408         +.sel Int d     ===>  +Int
 409
 410 The obvious way to do this is in the same way as other specialised
 411 calls: +.sel has inside it some IdInfo which tells that if it's applied
 412 to the type Int then it should eat a dictionary and transform to +Int.
 413
 414 In short, dictionary selectors need IdInfo inside them for constant
 415 methods.
 416
 417 * Exactly the same applies if a superclass dictionary is being
 418   extracted:
 419
 420         Eq.sel Int d   ===>   dEqInt
 421
 422 * Something similar applies to dictionary construction too.  Suppose
 423 dfun.Eq.List is the function taking a dictionary for (Eq a) to
 424 one for (Eq [a]).  Then we want
 425
 426         dfun.Eq.List Int d      ===> dEq.List_Int
 427
 428 Where does the Eq [Int] dictionary come from?  It is built in
 429 response to a SPECIALIZE pragma on the Eq [a] instance decl.
 430
 431 In short, dfun Ids need IdInfo with a specialisation for each
 432 constant instance of their instance declaration.
 433
 434 All this uses a single mechanism: the SpecEnv inside an Id
 435
 436
 437 What does the specialisation IdInfo look like?
 438 ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
 439
 440 The SpecEnv of an Id maps a list of types (the template) to an expression
 441
 442         [Type]  |->  Expr
 443
 444 For example, if f has this SpecInfo:
 445
 446         [Int, a]  ->  \d:Ord Int. f' a
 447
 448 it means that we can replace the call
 449
 450         f Int t  ===>  (\d. f' t)
 451
 452 This chucks one dictionary away and proceeds with the
 453 specialised version of f, namely f'.
 454
 455
 456 What can't be done this way?
 457 ~~~~~~~~~~~~~~~~~~~~~~~~~~~~
 458 There is no way, post-typechecker, to get a dictionary for (say)
 459 Eq a from a dictionary for Eq [a].  So if we find
 460
 461         ==.sel [t] d
 462
 463 we can't transform to
 464
 465         eqList (==.sel t d')
 466
 467 where
 468         eqList :: (a->a->Bool) -> [a] -> [a] -> Bool
 469
 470 Of course, we currently have no way to automatically derive
 471 eqList, nor to connect it to the Eq [a] instance decl, but you
 472 can imagine that it might somehow be possible.  Taking advantage
 473 of this is permanently ruled out.
 474
 475 Still, this is no great hardship, because we intend to eliminate
 476 overloading altogether anyway!
 477
 478 A note about non-tyvar dictionaries
 479 ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
 480 Some Ids have types like
 481
 482         forall a,b,c. Eq a -> Ord [a] -> tau
 483
 484 This seems curious at first, because we usually only have dictionary
 485 args whose types are of the form (C a) where a is a type variable.
 486 But this doesn't hold for the functions arising from instance decls,
 487 which sometimes get arguements with types of form (C (T a)) for some
 488 type constructor T.
 489
 490 Should we specialise wrt this compound-type dictionary?  We used to say
 491 "no", saying:
 492         "This is a heuristic judgement, as indeed is the fact that we
 493         specialise wrt only dictionaries.  We choose *not* to specialise
 494         wrt compound dictionaries because at the moment the only place
 495         they show up is in instance decls, where they are simply plugged
 496         into a returned dictionary.  So nothing is gained by specialising
 497         wrt them."
 498
 499 But it is simpler and more uniform to specialise wrt these dicts too;
 500 and in future GHC is likely to support full fledged type signatures
 501 like
 502         f :: Eq [(a,b)] => ...
 503
 504
 505 %************************************************************************
 506 %*                                                                      *
 507 \subsubsection{The new specialiser}
 508 %*                                                                      *
 509 %************************************************************************
 510
 511 Our basic game plan is this.  For let(rec) bound function
 512         f :: (C a, D c) => (a,b,c,d) -> Bool
 513
 514 * Find any specialised calls of f, (f ts ds), where
 515   ts are the type arguments t1 .. t4, and
 516   ds are the dictionary arguments d1 .. d2.
 517
 518 * Add a new definition for f1 (say):
 519
 520         f1 = /\ b d -> (..body of f..) t1 b t3 d d1 d2
 521
 522   Note that we abstract over the unconstrained type arguments.
 523
 524 * Add the mapping
 525
 526         [t1,b,t3,d]  |->  \d1 d2 -> f1 b d
 527
 528   to the specialisations of f.  This will be used by the
 529   simplifier to replace calls
 530                 (f t1 t2 t3 t4) da db
 531   by
 532                 (\d1 d1 -> f1 t2 t4) da db
 533
 534   All the stuff about how many dictionaries to discard, and what types
 535   to apply the specialised function to, are handled by the fact that the
 536   SpecEnv contains a template for the result of the specialisation.
 537
 538 We don't build *partial* specialisations for f.  For example:
 539
 540   f :: Eq a => a -> a -> Bool
 541   {-# SPECIALISE f :: (Eq b, Eq c) => (b,c) -> (b,c) -> Bool #-}
 542
 543 Here, little is gained by making a specialised copy of f.
 544 There's a distinct danger that the specialised version would
 545 first build a dictionary for (Eq b, Eq c), and then select the (==)
 546 method from it!  Even if it didn't, not a great deal is saved.
 547
 548 We do, however, generate polymorphic, but not overloaded, specialisations:
 549
 550   f :: Eq a => [a] -> b -> b -> b
 551   {#- SPECIALISE f :: [Int] -> b -> b -> b #-}
 552
 553 Hence, the invariant is this:
 554
 555         *** no specialised version is overloaded ***
 556
 557
 558 %************************************************************************
 559 %*                                                                      *
 560 \subsubsection{The exported function}
 561 %*                                                                      *
 562 %************************************************************************
 563
 564 \begin{code}
 565 specProgram :: UniqSupply -> [CoreBind] -> [CoreBind]
 566 specProgram us binds = initSM us $
 567                        do { (binds', uds') <- go binds
 568                           ; return (wrapDictBinds (ud_binds uds') binds') }
 569   where
 570         -- We need to start with a Subst that knows all the things
 571         -- that are in scope, so that the substitution engine doesn't
 572         -- accidentally re-use a unique that's already in use
 573         -- Easiest thing is to do it all at once, as if all the top-level
 574         -- decls were mutually recursive
 575     top_subst       = mkEmptySubst (mkInScopeSet (mkVarSet (bindersOfBinds binds)))
 576
 577     go []           = return ([], emptyUDs)
 578     go (bind:binds) = do (binds', uds) <- go binds
 579                          (bind', uds') <- specBind top_subst bind uds
 580                          return (bind' ++ binds', uds')
 581 \end{code}
 582
 583 %************************************************************************
 584 %*                                                                      *
 585 \subsubsection{@specExpr@: the main function}
 586 %*                                                                      *
 587 %************************************************************************
 588
 589 \begin{code}
 590 specVar :: Subst -> Id -> CoreExpr
 591 specVar subst v = lookupIdSubst subst v
 592
 593 specExpr :: Subst -> CoreExpr -> SpecM (CoreExpr, UsageDetails)
 594 -- We carry a substitution down:
 595 --      a) we must clone any binding that might float outwards,
 596 --         to avoid name clashes
 597 --      b) we carry a type substitution to use when analysing
 598 --         the RHS of specialised bindings (no type-let!)
 599
 600 ---------------- First the easy cases --------------------
 601 specExpr subst (Type ty) = return (Type (CoreSubst.substTy subst ty), emptyUDs)
 602 specExpr subst (Var v)   = return (specVar subst v,         emptyUDs)
 603 specExpr _     (Lit lit) = return (Lit lit,                 emptyUDs)
 604 specExpr subst (Cast e co) = do
 605     (e', uds) <- specExpr subst e
 606     return ((Cast e' (CoreSubst.substTy subst co)), uds)
 607 specExpr subst (Note note body) = do
 608     (body', uds) <- specExpr subst body
 609     return (Note (specNote subst note) body', uds)
 610
 611
 612 ---------------- Applications might generate a call instance --------------------
 613 specExpr subst expr@(App {})
 614   = go expr []
 615   where
 616     go (App fun arg) args = do (arg', uds_arg) <- specExpr subst arg
 617                                (fun', uds_app) <- go fun (arg':args)
 618                                return (App fun' arg', uds_arg `plusUDs` uds_app)
 619
 620     go (Var f)       args = case specVar subst f of
 621                                 Var f' -> return (Var f', mkCallUDs f' args)
 622                                 e'     -> return (e', emptyUDs) -- I don't expect this!
 623     go other         _    = specExpr subst other
 624
 625 ---------------- Lambda/case require dumping of usage details --------------------
 626 specExpr subst e@(Lam _ _) = do
 627     (body', uds) <- specExpr subst' body
 628     let (free_uds, dumped_dbs) = dumpUDs bndrs' uds
 629     return (mkLams bndrs' (wrapDictBindsE dumped_dbs body'), free_uds)
 630   where
 631     (bndrs, body) = collectBinders e
 632     (subst', bndrs') = substBndrs subst bndrs
 633         -- More efficient to collect a group of binders together all at once
 634         -- and we don't want to split a lambda group with dumped bindings
 635
 636 specExpr subst (Case scrut case_bndr ty alts) = do
 637     (scrut', uds_scrut) <- specExpr subst scrut
 638     (alts', uds_alts) <- mapAndCombineSM spec_alt alts
 639     return (Case scrut' case_bndr' (CoreSubst.substTy subst ty) alts',
 640             uds_scrut `plusUDs` uds_alts)
 641   where
 642     (subst_alt, case_bndr') = substBndr subst case_bndr
 643         -- No need to clone case binder; it can't float like a let(rec)
 644
 645     spec_alt (con, args, rhs) = do
 646           (rhs', uds) <- specExpr subst_rhs rhs
 647           let (free_uds, dumped_dbs) = dumpUDs args' uds
 648           return ((con, args', wrapDictBindsE dumped_dbs rhs'), free_uds)
 649         where
 650           (subst_rhs, args') = substBndrs subst_alt args
 651
 652 ---------------- Finally, let is the interesting case --------------------
 653 specExpr subst (Let bind body) = do
 654         -- Clone binders
 655     (rhs_subst, body_subst, bind') <- cloneBindSM subst bind
 656
 657         -- Deal with the body
 658     (body', body_uds) <- specExpr body_subst body
 659
 660         -- Deal with the bindings
 661     (binds', uds) <- specBind rhs_subst bind' body_uds
 662
 663         -- All done
 664     return (foldr Let body' binds', uds)
 665
 666 -- Must apply the type substitution to coerceions
 667 specNote :: Subst -> Note -> Note
 668 specNote _ note = note
 669 \end{code}
 670
 671 %************************************************************************
 672 %*                                                                      *
 673 \subsubsection{Dealing with a binding}
 674 %*                                                                      *
 675 %************************************************************************
 676
 677 \begin{code}
 678 specBind :: Subst                       -- Use this for RHSs
 679          -> CoreBind
 680          -> UsageDetails                -- Info on how the scope of the binding
 681          -> SpecM ([CoreBind],          -- New bindings
 682                    UsageDetails)        -- And info to pass upstream
 683
 684 -- Returned UsageDetails:
 685 --    No calls for binders of this bind
 686 specBind rhs_subst (NonRec fn rhs) body_uds
 687   = do { (rhs', rhs_uds) <- specExpr rhs_subst rhs
 688        ; (fn', spec_defns, body_uds1) <- specDefn rhs_subst body_uds fn rhs
 689
 690        ; let pairs = spec_defns ++ [(fn', rhs')]
 691                         -- fn' mentions the spec_defns in its rules,
 692                         -- so put the latter first
 693
 694              combined_uds = body_uds1 `plusUDs` rhs_uds
 695                 -- This way round a call in rhs_uds of a function f
 696                 -- at type T will override a call of f at T in body_uds1; and
 697                 -- that is good because it'll tend to keep "earlier" calls
 698                 -- See Note [Specialisation of dictionary functions]
 699
 700              (free_uds, dump_dbs, float_all) = dumpBindUDs [fn] combined_uds
 701                 -- See Note [From non-recursive to recursive]
 702
 703              final_binds | isEmptyBag dump_dbs = [NonRec b r | (b,r) <- pairs]
 704                          | otherwise = [Rec (flattenDictBinds dump_dbs pairs)]
 705
 706          ; if float_all then
 707              -- Rather than discard the calls mentioning the bound variables
 708              -- we float this binding along with the others
 709               return ([], free_uds `snocDictBinds` final_binds)
 710            else
 711              -- No call in final_uds mentions bound variables,
 712              -- so we can just leave the binding here
 713               return (final_binds, free_uds) }
 714
 715
 716 specBind rhs_subst (Rec pairs) body_uds
 717        -- Note [Specialising a recursive group]
 718   = do { let (bndrs,rhss) = unzip pairs
 719        ; (rhss', rhs_uds) <- mapAndCombineSM (specExpr rhs_subst) rhss
 720        ; let scope_uds = body_uds `plusUDs` rhs_uds
 721                        -- Includes binds and calls arising from rhss
 722
 723        ; (bndrs1, spec_defns1, uds1) <- specDefns rhs_subst scope_uds pairs
 724
 725        ; (bndrs3, spec_defns3, uds3)
 726              <- if null spec_defns1  -- Common case: no specialisation
 727                 then return (bndrs1, [], uds1)
 728                 else do {            -- Specialisation occurred; do it again
 729                           (bndrs2, spec_defns2, uds2)
 730                               <- specDefns rhs_subst uds1 (bndrs1 `zip` rhss)
 731                         ; return (bndrs2, spec_defns2 ++ spec_defns1, uds2) }
 732
 733        ; let (final_uds, dumped_dbs, float_all) = dumpBindUDs bndrs uds3
 734              bind = Rec (flattenDictBinds dumped_dbs $
 735                          spec_defns3 ++ zip bndrs3 rhss')
 736
 737        ; if float_all then
 738               return ([], final_uds `snocDictBind` bind)
 739            else
 740               return ([bind], final_uds) }
 741
 742
 743 ---------------------------
 744 specDefns :: Subst
 745           -> UsageDetails               -- Info on how it is used in its scope
 746           -> [(Id,CoreExpr)]            -- The things being bound and their un-processed RHS
 747           -> SpecM ([Id],               -- Original Ids with RULES added
 748                     [(Id,CoreExpr)],    -- Extra, specialised bindings
 749                     UsageDetails)       -- Stuff to fling upwards from the specialised versions
 750
 751 -- Specialise a list of bindings (the contents of a Rec), but flowing usages
 752 -- upwards binding by binding.  Example: { f = ...g ...; g = ...f .... }
 753 -- Then if the input CallDetails has a specialised call for 'g', whose specialisation
 754 -- in turn generates a specialised call for 'f', we catch that in this one sweep.
 755 -- But not vice versa (it's a fixpoint problem).
 756
 757 specDefns _subst uds []
 758   = return ([], [], uds)
 759 specDefns subst uds ((bndr,rhs):pairs)
 760   = do { (bndrs1, spec_defns1, uds1) <- specDefns subst uds pairs
 761        ; (bndr1, spec_defns2, uds2)  <- specDefn subst uds1 bndr rhs
 762        ; return (bndr1 : bndrs1, spec_defns1 ++ spec_defns2, uds2) }
 763
 764 ---------------------------
 765 specDefn :: Subst
 766          -> UsageDetails                -- Info on how it is used in its scope
 767          -> Id -> CoreExpr              -- The thing being bound and its un-processed RHS
 768          -> SpecM (Id,                  -- Original Id with added RULES
 769                    [(Id,CoreExpr)],     -- Extra, specialised bindings
 770                    UsageDetails)        -- Stuff to fling upwards from the specialised versions
 771
 772 specDefn subst body_uds fn rhs
 773         -- The first case is the interesting one
 774   |  rhs_tyvars `lengthIs`     n_tyvars -- Rhs of fn's defn has right number of big lambdas
 775   && rhs_ids    `lengthAtLeast` n_dicts -- and enough dict args
 776   && notNull calls_for_me               -- And there are some calls to specialise
 777
 778 --   && not (certainlyWillInline (idUnfolding fn))      -- And it's not small
 779 --      See Note [Inline specialisation] for why we do not
 780 --      switch off specialisation for inline functions
 781
 782   = do {       -- Make a specialised version for each call in calls_for_me
 783          stuff <- mapM spec_call calls_for_me
 784        ; let (spec_defns, spec_uds, spec_rules) = unzip3 (catMaybes stuff)
 785              fn' = addIdSpecialisations fn spec_rules
 786              final_uds = body_uds_without_me `plusUDs` plusUDList spec_uds
 787                 -- It's important that the `plusUDs` is this way
 788                 -- round, because body_uds_without_me may bind
 789                 -- dictionaries that are used in calls_for_me passed
 790                 -- to specDefn.  So the dictionary bindings in
 791                 -- spec_uds may mention dictionaries bound in
 792                 -- body_uds_without_me
 793
 794        ; return (fn', spec_defns, final_uds) }
 795
 796   | otherwise   -- No calls or RHS doesn't fit our preconceptions
 797   = WARN( notNull calls_for_me, ptext (sLit "Missed specialisation opportunity for") <+> ppr fn )
 798           -- Note [Specialisation shape]
 799     return (fn, [], body_uds_without_me)
 800
 801   where
 802     fn_type            = idType fn
 803     fn_arity           = idArity fn
 804     fn_unf             = idUnfolding fn
 805     (tyvars, theta, _) = tcSplitSigmaTy fn_type
 806     n_tyvars           = length tyvars
 807     n_dicts            = length theta
 808     inline_act         = idInlineActivation fn
 809
 810         -- Figure out whether the function has an INLINE pragma
 811         -- See Note [Inline specialisations]
 812     fn_has_inline_rule :: Maybe (InlineRuleInfo, Arity)  -- Gives arity of the *specialised* inline rule
 813     fn_has_inline_rule
 814       | Just inl <- isInlineRule_maybe fn_unf
 815       = case inl of
 816            InlWrapper _ -> Just (InlUnSat, spec_arity)
 817            _            -> Just (inl,      spec_arity)
 818       | otherwise = Nothing
 819       where
 820         spec_arity = unfoldingArity fn_unf - n_dicts
 821
 822     (rhs_tyvars, rhs_ids, rhs_body) = collectTyAndValBinders rhs
 823
 824     (body_uds_without_me, calls_for_me) = callsForMe fn body_uds
 825
 826     rhs_dict_ids = take n_dicts rhs_ids
 827     body         = mkLams (drop n_dicts rhs_ids) rhs_body
 828                 -- Glue back on the non-dict lambdas
 829
 830     already_covered :: [CoreExpr] -> Bool
 831     already_covered args          -- Note [Specialisations already covered]
 832        = isJust (lookupRule (const True) (substInScope subst)
 833                             fn args (idCoreRules fn))
 834
 835     mk_ty_args :: [Maybe Type] -> [CoreExpr]
 836     mk_ty_args call_ts = zipWithEqual "spec_call" mk_ty_arg rhs_tyvars call_ts
 837                where
 838                   mk_ty_arg rhs_tyvar Nothing   = Type (mkTyVarTy rhs_tyvar)
 839                   mk_ty_arg _         (Just ty) = Type ty
 840
 841     ----------------------------------------------------------
 842         -- Specialise to one particular call pattern
 843     spec_call :: CallInfo                         -- Call instance
 844               -> SpecM (Maybe ((Id,CoreExpr),     -- Specialised definition
 845                                UsageDetails,      -- Usage details from specialised body
 846                                CoreRule))         -- Info for the Id's SpecEnv
 847     spec_call (CallKey call_ts, (call_ds, _))
 848       = ASSERT( call_ts `lengthIs` n_tyvars  && call_ds `lengthIs` n_dicts )
 849
 850         -- Suppose f's defn is  f = /\ a b c -> \ d1 d2 -> rhs
 851         -- Supppose the call is for f [Just t1, Nothing, Just t3] [dx1, dx2]
 852
 853         -- Construct the new binding
 854         --      f1 = SUBST[a->t1,c->t3, d1->d1', d2->d2'] (/\ b -> rhs)
 855         -- PLUS the usage-details
 856         --      { d1' = dx1; d2' = dx2 }
 857         -- where d1', d2' are cloned versions of d1,d2, with the type substitution
 858         -- applied.  These auxiliary bindings just avoid duplication of dx1, dx2
 859         --
 860         -- Note that the substitution is applied to the whole thing.
 861         -- This is convenient, but just slightly fragile.  Notably:
 862         --      * There had better be no name clashes in a/b/c
 863         do { let
 864                 -- poly_tyvars = [b] in the example above
 865                 -- spec_tyvars = [a,c]
 866                 -- ty_args     = [t1,b,t3]
 867                 poly_tyvars   = [tv | (tv, Nothing) <- rhs_tyvars `zip` call_ts]
 868                 spec_tv_binds = [(tv,ty) | (tv, Just ty) <- rhs_tyvars `zip` call_ts]
 869                 spec_ty_args  = map snd spec_tv_binds
 870                 ty_args       = mk_ty_args call_ts
 871                 rhs_subst     = CoreSubst.extendTvSubstList subst spec_tv_binds
 872
 873            ; (rhs_subst1, inst_dict_ids) <- cloneDictBndrs rhs_subst rhs_dict_ids
 874                           -- Clone rhs_dicts, including instantiating their types
 875
 876            ; let (rhs_subst2, dx_binds) = bindAuxiliaryDicts rhs_subst1 $
 877                                           (my_zipEqual rhs_dict_ids inst_dict_ids call_ds)
 878                  inst_args = ty_args ++ map Var inst_dict_ids
 879
 880            ; if already_covered inst_args then
 881                 return Nothing
 882              else do
 883            {    -- Figure out the type of the specialised function
 884              let body_ty = applyTypeToArgs rhs fn_type inst_args
 885                  (lam_args, app_args)           -- Add a dummy argument if body_ty is unlifted
 886                    | isUnLiftedType body_ty     -- C.f. WwLib.mkWorkerArgs
 887                    = (poly_tyvars ++ [voidArgId], poly_tyvars ++ [realWorldPrimId])
 888                    | otherwise = (poly_tyvars, poly_tyvars)
 889                  spec_id_ty = mkPiTypes lam_args body_ty
 890
 891            ; spec_f <- newSpecIdSM fn spec_id_ty
 892            ; let spec_f_w_arity = setIdArity spec_f (max 0 (fn_arity - n_dicts))
 893                 -- Adding arity information just propagates it a bit faster
 894                 -- See Note [Arity decrease] in Simplify
 895
 896            ; (spec_rhs, rhs_uds) <- specExpr rhs_subst2 (mkLams lam_args body)
 897            ; let
 898                 -- The rule to put in the function's specialisation is:
 899                 --      forall b, d1',d2'.  f t1 b t3 d1' d2' = f1 b
 900                 rule_name = mkFastString ("SPEC " ++ showSDoc (ppr fn <+> ppr spec_ty_args))
 901                 spec_env_rule = mkLocalRule
 902                                   rule_name
 903                                   inline_act    -- Note [Auto-specialisation and RULES]
 904                                   (idName fn)
 905                                   (poly_tyvars ++ inst_dict_ids)
 906                                   inst_args
 907                                   (mkVarApps (Var spec_f_w_arity) app_args)
 908
 909                 -- Add the { d1' = dx1; d2' = dx2 } usage stuff
 910                 final_uds = foldr consDictBind rhs_uds dx_binds
 911
 912                 -- See Note [Inline specialisations]
 913                 final_spec_f | Just (inl, spec_arity) <- fn_has_inline_rule
 914                              = spec_f_w_arity `setInlineActivation` inline_act
 915                                               `setIdUnfolding` mkInlineRule inl spec_rhs spec_arity
 916                                                 -- I'm not sure this should be unconditionally InlSat
 917                              | otherwise
 918                              = spec_f_w_arity
 919            ; return (Just ((final_spec_f, spec_rhs), final_uds, spec_env_rule)) } }
 920       where
 921         my_zipEqual xs ys zs
 922          | debugIsOn && not (equalLength xs ys && equalLength ys zs)
 923              = pprPanic "my_zipEqual" (vcat [ ppr xs, ppr ys
 924                                             , ppr fn <+> ppr call_ts
 925                                             , ppr (idType fn), ppr theta
 926                                             , ppr n_dicts, ppr rhs_dict_ids
 927                                             , ppr rhs])
 928          | otherwise = zip3 xs ys zs
 929
 930 bindAuxiliaryDicts
 931         :: Subst
 932         -> [(DictId,DictId,CoreExpr)]   -- (orig_dict, inst_dict, dx)
 933         -> (Subst,                      -- Substitute for all orig_dicts
 934             [CoreBind])                 -- Auxiliary bindings
 935 -- Bind any dictionary arguments to fresh names, to preserve sharing
 936 -- Substitution already substitutes orig_dict -> inst_dict
 937 bindAuxiliaryDicts subst triples = go subst [] triples
 938   where
 939     go subst binds []    = (subst, binds)
 940     go subst binds ((d, dx_id, dx) : pairs)
 941       | exprIsTrivial dx = go (extendIdSubst subst d dx) binds pairs
 942              -- No auxiliary binding necessary
 943       | otherwise        = go subst_w_unf (NonRec dx_id dx : binds) pairs
 944       where
 945         dx_id1 = dx_id `setIdUnfolding` mkUnfolding False dx
 946         subst_w_unf = extendIdSubst subst d (Var dx_id1)
 947              -- Important!  We're going to substitute dx_id1 for d
 948              -- and we want it to look "interesting", else we won't gather *any*
 949              -- consequential calls. E.g.
 950              --     f d = ...g d....
 951              -- If we specialise f for a call (f (dfun dNumInt)), we'll get
 952              -- a consequent call (g d') with an auxiliary definition
 953              --     d' = df dNumInt
 954              -- We want that consequent call to look interesting
 955 \end{code}
 956
 957 Note [From non-recursive to recursive]
 958 ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
 959 Even in the non-recursive case, if any dict-binds depend on 'fn' we might
 960 have built a recursive knot
 961
 962       f a d x = <blah>
 963       MkUD { ud_binds = d7 = MkD ..f..
 964            , ud_calls = ...(f T d7)... }
 965
 966 The we generate
 967
 968       Rec { fs x = <blah>[T/a, d7/d]
 969             f a d x = <blah>
 970                RULE f T _ = fs
 971             d7 = ...f... }
 972
 973 Here the recursion is only through the RULE.
 974
 975
 976 Note [Specialisation of dictionary functions]
 977 ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
 978 Here is a nasty example that bit us badly: see Trac #3591
 979
 980      dfun a d = MkD a d (meth d)
 981      d4 = <blah>
 982      d2 = dfun T d4
 983      d1 = $p1 d2
 984      d3 = dfun T d1
 985
 986 None of these definitions is recursive. What happened was that we
 987 generated a specialisation:
 988
 989      RULE forall d. dfun T d = dT
 990      dT = (MkD a d (meth d)) [T/a, d1/d]
 991         = MkD T d1 (meth d1)
 992
 993 But now we use the RULE on the RHS of d2, to get
 994
 995     d2 = dT = MkD d1 (meth d1)
 996     d1 = $p1 d2
 997
 998 and now d1 is bottom!  The problem is that when specialising 'dfun' we
 999 should first dump "below" the binding all floated dictionary bindings
1000 that mention 'dfun' itself.  So d2 and d3 (and hence d1) must be
1001 placed below 'dfun', and thus unavailable to it when specialising
1002 'dfun'.  That in turn means that the call (dfun T d1) must be
1003 discarded.  On the other hand, the call (dfun T d4) is fine, assuming
1004 d4 doesn't mention dfun.
1005
1006 But look at this:
1007
1008   class C a where { foo,bar :: [a] -> [a] }
1009
1010   instance C Int where
1011      foo x = r_bar x
1012      bar xs = reverse xs
1013
1014   r_bar :: C a => [a] -> [a]
1015   r_bar xs = bar (xs ++ xs)
1016
1017 That translates to:
1018
1019     r_bar a (c::C a) (xs::[a]) = bar a d (xs ++ xs)
1020
1021     Rec { $fCInt :: C Int = MkC foo_help reverse
1022           foo_help (xs::[Int]) = r_bar Int $fCInt xs }
1023
1024 The call (r_bar $fCInt) mentions $fCInt,
1025                         which mentions foo_help,
1026                         which mentions r_bar
1027 But we DO want to specialise r_bar at Int:
1028
1029     Rec { $fCInt :: C Int = MkC foo_help reverse
1030           foo_help (xs::[Int]) = r_bar Int $fCInt xs
1031
1032           r_bar a (c::C a) (xs::[a]) = bar a d (xs ++ xs)
1033             RULE r_bar Int _ = r_bar_Int
1034
1035           r_bar_Int xs = bar Int $fCInt (xs ++ xs)
1036            }
1037
1038 Note that, because of its RULE, r_bar joins the recursive
1039 group.  (In this case it'll unravel a short moment later.)
1040
1041
1042 Conclusion: we catch the nasty case using filter_dfuns in
1043 callsForMe To be honest I'm not 100% certain that this is 100%
1044 right, but it works.  Sigh.
1045
1046
1047 Note [Specialising a recursive group]
1048 ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
1049 Consider
1050     let rec { f x = ...g x'...
1051             ; g y = ...f y'.... }
1052     in f 'a'
1053 Here we specialise 'f' at Char; but that is very likely to lead to
1054 a specialisation of 'g' at Char.  We must do the latter, else the
1055 whole point of specialisation is lost.
1056
1057 But we do not want to keep iterating to a fixpoint, because in the
1058 presence of polymorphic recursion we might generate an infinite number
1059 of specialisations.
1060
1061 So we use the following heuristic:
1062   * Arrange the rec block in dependency order, so far as possible
1063     (the occurrence analyser already does this)
1064
1065   * Specialise it much like a sequence of lets
1066
1067   * Then go through the block a second time, feeding call-info from
1068     the RHSs back in the bottom, as it were
1069
1070 In effect, the ordering maxmimises the effectiveness of each sweep,
1071 and we do just two sweeps.   This should catch almost every case of
1072 monomorphic recursion -- the exception could be a very knotted-up
1073 recursion with multiple cycles tied up together.
1074
1075 This plan is implemented in the Rec case of specBindItself.
1076
1077 Note [Specialisations already covered]
1078 ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
1079 We obviously don't want to generate two specialisations for the same
1080 argument pattern.  There are two wrinkles
1081
1082 1. We do the already-covered test in specDefn, not when we generate
1083 the CallInfo in mkCallUDs.  We used to test in the latter place, but
1084 we now iterate the specialiser somewhat, and the Id at the call site
1085 might therefore not have all the RULES that we can see in specDefn
1086
1087 2. What about two specialisations where the second is an *instance*
1088 of the first?  If the more specific one shows up first, we'll generate
1089 specialisations for both.  If the *less* specific one shows up first,
1090 we *don't* currently generate a specialisation for the more specific
1091 one.  (See the call to lookupRule in already_covered.)  Reasons:
1092   (a) lookupRule doesn't say which matches are exact (bad reason)
1093   (b) if the earlier specialisation is user-provided, it's
1094       far from clear that we should auto-specialise further
1095
1096 Note [Auto-specialisation and RULES]
1097 ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
1098 Consider:
1099    g :: Num a => a -> a
1100    g = ...
1101
1102    f :: (Int -> Int) -> Int
1103    f w = ...
1104    {-# RULE f g = 0 #-}
1105
1106 Suppose that auto-specialisation makes a specialised version of
1107 g::Int->Int That version won't appear in the LHS of the RULE for f.
1108 So if the specialisation rule fires too early, the rule for f may
1109 never fire.
1110
1111 It might be possible to add new rules, to "complete" the rewrite system.
1112 Thus when adding
1113         RULE forall d. g Int d = g_spec
1114 also add
1115         RULE f g_spec = 0
1116
1117 But that's a bit complicated.  For now we ask the programmer's help,
1118 by *copying the INLINE activation pragma* to the auto-specialised rule.
1119 So if g says {-# NOINLINE[2] g #-}, then the auto-spec rule will also
1120 not be active until phase 2.
1121
1122
1123 Note [Specialisation shape]
1124 ~~~~~~~~~~~~~~~~~~~~~~~~~~~
1125 We only specialise a function if it has visible top-level lambdas
1126 corresponding to its overloading.  E.g. if
1127         f :: forall a. Eq a => ....
1128 then its body must look like
1129         f = /\a. \d. ...
1130
1131 Reason: when specialising the body for a call (f ty dexp), we want to
1132 substitute dexp for d, and pick up specialised calls in the body of f.
1133
1134 This doesn't always work.  One example I came across was this:
1135         newtype Gen a = MkGen{ unGen :: Int -> a }
1136
1137         choose :: Eq a => a -> Gen a
1138         choose n = MkGen (\r -> n)
1139
1140         oneof = choose (1::Int)
1141
1142 It's a silly exapmle, but we get
1143         choose = /\a. g `cast` co
1144 where choose doesn't have any dict arguments.  Thus far I have not
1145 tried to fix this (wait till there's a real example).
1146
1147
1148 Note [Inline specialisations]
1149 ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
1150 We transfer to the specialised function any INLINE stuff from the
1151 original.  This means (a) the Activation in the IdInfo, and (b) any
1152 InlineMe on the RHS.  We do not, however, transfer the RuleMatchInfo
1153 since we do not expect the specialisation to occur in rewrite rules.
1154
1155 This is a change (Jun06).  Previously the idea is that the point of
1156 inlining was precisely to specialise the function at its call site,
1157 and that's not so important for the specialised copies.  But
1158 *pragma-directed* specialisation now takes place in the
1159 typechecker/desugarer, with manually specified INLINEs.  The
1160 specialiation here is automatic.  It'd be very odd if a function
1161 marked INLINE was specialised (because of some local use), and then
1162 forever after (including importing modules) the specialised version
1163 wasn't INLINEd.  After all, the programmer said INLINE!
1164
1165 You might wonder why we don't just not specialise INLINE functions.
1166 It's because even INLINE functions are sometimes not inlined, when
1167 they aren't applied to interesting arguments.  But perhaps the type
1168 arguments alone are enough to specialise (even though the args are too
1169 boring to trigger inlining), and it's certainly better to call the
1170 specialised version.
1171
1172 A case in point is dictionary functions, which are current marked
1173 INLINE, but which are worth specialising.
1174
1175
1176 %************************************************************************
1177 %*                                                                      *
1178 \subsubsection{UsageDetails and suchlike}
1179 %*                                                                      *
1180 %************************************************************************
1181
1182 \begin{code}
1183 data UsageDetails
1184   = MkUD {
1185         ud_binds :: !(Bag DictBind),
1186                         -- Floated dictionary bindings
1187                         -- The order is important;
1188                         -- in ds1 `union` ds2, bindings in ds2 can depend on those in ds1
1189                         -- (Remember, Bags preserve order in GHC.)
1190
1191         ud_calls :: !CallDetails
1192
1193         -- INVARIANT: suppose bs = bindersOf ud_binds
1194         -- Then 'calls' may *mention* 'bs',
1195         -- but there should be no calls *for* bs
1196     }
1197
1198 instance Outputable UsageDetails where
1199   ppr (MkUD { ud_binds = dbs, ud_calls = calls })
1200         = ptext (sLit "MkUD") <+> braces (sep (punctuate comma
1201                 [ptext (sLit "binds") <+> equals <+> ppr dbs,
1202                  ptext (sLit "calls") <+> equals <+> ppr calls]))
1203
1204 type DictBind = (CoreBind, VarSet)
1205         -- The set is the free vars of the binding
1206         -- both tyvars and dicts
1207
1208 type DictExpr = CoreExpr
1209
1210 emptyUDs :: UsageDetails
1211 emptyUDs = MkUD { ud_binds = emptyBag, ud_calls = emptyVarEnv }
1212
1213 ------------------------------------------------------------
1214 type CallDetails  = IdEnv CallInfoSet
1215 newtype CallKey   = CallKey [Maybe Type]                        -- Nothing => unconstrained type argument
1216
1217 -- CallInfo uses a FiniteMap, thereby ensuring that
1218 -- we record only one call instance for any key
1219 --
1220 -- The list of types and dictionaries is guaranteed to
1221 -- match the type of f
1222 type CallInfoSet = FiniteMap CallKey ([DictExpr], VarSet)
1223                         -- Range is dict args and the vars of the whole
1224                         -- call (including tyvars)
1225                         -- [*not* include the main id itself, of course]
1226
1227 type CallInfo = (CallKey, ([DictExpr], VarSet))
1228
1229 instance Outputable CallKey where
1230   ppr (CallKey ts) = ppr ts
1231
1232 -- Type isn't an instance of Ord, so that we can control which
1233 -- instance we use.  That's tiresome here.  Oh well
1234 instance Eq CallKey where
1235   k1 == k2 = case k1 `compare` k2 of { EQ -> True; _ -> False }
1236
1237 instance Ord CallKey where
1238   compare (CallKey k1) (CallKey k2) = cmpList cmp k1 k2
1239                 where
1240                   cmp Nothing   Nothing   = EQ
1241                   cmp Nothing   (Just _)  = LT
1242                   cmp (Just _)  Nothing   = GT
1243                   cmp (Just t1) (Just t2) = tcCmpType t1 t2
1244
1245 unionCalls :: CallDetails -> CallDetails -> CallDetails
1246 unionCalls c1 c2 = plusVarEnv_C plusFM c1 c2
1247
1248 -- plusCalls :: UsageDetails -> CallDetails -> UsageDetails
1249 -- plusCalls uds call_ds = uds { ud_calls = ud_calls uds `unionCalls` call_ds }
1250
1251 callDetailsFVs :: CallDetails -> VarSet
1252 callDetailsFVs calls = foldVarEnv (unionVarSet . callInfoFVs) emptyVarSet calls
1253
1254 callInfoFVs :: CallInfoSet -> VarSet
1255 callInfoFVs call_info = foldFM (\_ (_,fv) vs -> unionVarSet fv vs) emptyVarSet call_info
1256
1257 ------------------------------------------------------------
1258 singleCall :: Id -> [Maybe Type] -> [DictExpr] -> UsageDetails
1259 singleCall id tys dicts
1260   = MkUD {ud_binds = emptyBag,
1261           ud_calls = unitVarEnv id (unitFM (CallKey tys) (dicts, call_fvs)) }
1262   where
1263     call_fvs = exprsFreeVars dicts `unionVarSet` tys_fvs
1264     tys_fvs  = tyVarsOfTypes (catMaybes tys)
1265         -- The type args (tys) are guaranteed to be part of the dictionary
1266         -- types, because they are just the constrained types,
1267         -- and the dictionary is therefore sure to be bound
1268         -- inside the binding for any type variables free in the type;
1269         -- hence it's safe to neglect tyvars free in tys when making
1270         -- the free-var set for this call
1271         -- BUT I don't trust this reasoning; play safe and include tys_fvs
1272         --
1273         -- We don't include the 'id' itself.
1274
1275 mkCallUDs :: Id -> [CoreExpr] -> UsageDetails
1276 mkCallUDs f args
1277   | not (isLocalId f)   -- Imported from elsewhere
1278   || null theta         -- Not overloaded
1279   || not (all isClassPred theta)
1280         -- Only specialise if all overloading is on class params.
1281         -- In ptic, with implicit params, the type args
1282         --  *don't* say what the value of the implicit param is!
1283   || not (spec_tys `lengthIs` n_tyvars)
1284   || not ( dicts   `lengthIs` n_dicts)
1285   || not (any interestingDict dicts)    -- Note [Interesting dictionary arguments]
1286   -- See also Note [Specialisations already covered]
1287   = -- pprTrace "mkCallUDs: discarding" (vcat [ppr f, ppr args, ppr n_tyvars, ppr n_dicts, ppr (map interestingDict dicts)])
1288     emptyUDs    -- Not overloaded, or no specialisation wanted
1289
1290   | otherwise
1291   = -- pprTrace "mkCallUDs: keeping" (vcat [ppr f, ppr args, ppr n_tyvars, ppr n_dicts, ppr (map interestingDict dicts)])
1292     singleCall f spec_tys dicts
1293   where
1294     (tyvars, theta, _) = tcSplitSigmaTy (idType f)
1295     constrained_tyvars = tyVarsOfTheta theta
1296     n_tyvars           = length tyvars
1297     n_dicts            = length theta
1298
1299     spec_tys = [mk_spec_ty tv ty | (tv, Type ty) <- tyvars `zip` args]
1300     dicts    = [dict_expr | (_, dict_expr) <- theta `zip` (drop n_tyvars args)]
1301
1302     mk_spec_ty tyvar ty
1303         | tyvar `elemVarSet` constrained_tyvars = Just ty
1304         | otherwise                             = Nothing
1305 \end{code}
1306
1307 Note [Interesting dictionary arguments]
1308 ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
1309 Consider this
1310          \a.\d:Eq a.  let f = ... in ...(f d)...
1311 There really is not much point in specialising f wrt the dictionary d,
1312 because the code for the specialised f is not improved at all, because
1313 d is lambda-bound.  We simply get junk specialisations.
1314
1315 What is "interesting"?  Just that it has *some* structure.
1316
1317 \begin{code}
1318 interestingDict :: CoreExpr -> Bool
1319 -- A dictionary argument is interesting if it has *some* structure
1320 interestingDict (Var v) =  hasSomeUnfolding (idUnfolding v)
1321                         || isDataConWorkId v
1322 interestingDict (Type _)          = False
1323 interestingDict (App fn (Type _)) = interestingDict fn
1324 interestingDict (Note _ a)        = interestingDict a
1325 interestingDict (Cast e _)        = interestingDict e
1326 interestingDict _                 = True
1327 \end{code}
1328
1329 \begin{code}
1330 plusUDs :: UsageDetails -> UsageDetails -> UsageDetails
1331 plusUDs (MkUD {ud_binds = db1, ud_calls = calls1})
1332         (MkUD {ud_binds = db2, ud_calls = calls2})
1333   = MkUD { ud_binds = db1    `unionBags`   db2
1334          , ud_calls = calls1 `unionCalls`  calls2 }
1335
1336 plusUDList :: [UsageDetails] -> UsageDetails
1337 plusUDList = foldr plusUDs emptyUDs
1338
1339 -----------------------------
1340 _dictBindBndrs :: Bag DictBind -> [Id]
1341 _dictBindBndrs dbs = foldrBag ((++) . bindersOf . fst) [] dbs
1342
1343 mkDB :: CoreBind -> DictBind
1344 mkDB bind = (bind, bind_fvs bind)
1345
1346 bind_fvs :: CoreBind -> VarSet
1347 bind_fvs (NonRec bndr rhs) = pair_fvs (bndr,rhs)
1348 bind_fvs (Rec prs)         = foldl delVarSet rhs_fvs bndrs
1349                            where
1350                              bndrs = map fst prs
1351                              rhs_fvs = unionVarSets (map pair_fvs prs)
1352
1353 pair_fvs :: (Id, CoreExpr) -> VarSet
1354 pair_fvs (bndr, rhs) = exprFreeVars rhs `unionVarSet` idFreeVars bndr
1355         -- Don't forget variables mentioned in the
1356         -- rules of the bndr.  C.f. OccAnal.addRuleUsage
1357         -- Also tyvars mentioned in its type; they may not appear in the RHS
1358         --      type T a = Int
1359         --      x :: T a = 3
1360
1361 flattenDictBinds :: Bag DictBind -> [(Id,CoreExpr)] -> [(Id,CoreExpr)]
1362 flattenDictBinds dbs pairs
1363   = foldrBag add pairs dbs
1364   where
1365     add (NonRec b r,_) pairs = (b,r) : pairs
1366     add (Rec prs1, _)  pairs = prs1 ++ pairs
1367
1368 snocDictBinds :: UsageDetails -> [CoreBind] -> UsageDetails
1369 -- Add ud_binds to the tail end of the bindings in uds
1370 snocDictBinds uds dbs
1371   = uds { ud_binds = ud_binds uds `unionBags`
1372                      foldr (consBag . mkDB) emptyBag dbs }
1373
1374 consDictBind :: CoreBind -> UsageDetails -> UsageDetails
1375 consDictBind bind uds = uds { ud_binds = mkDB bind `consBag` ud_binds uds }
1376
1377 snocDictBind :: UsageDetails -> CoreBind -> UsageDetails
1378 snocDictBind uds bind = uds { ud_binds = ud_binds uds `snocBag` mkDB bind }
1379
1380 wrapDictBinds :: Bag DictBind -> [CoreBind] -> [CoreBind]
1381 wrapDictBinds dbs binds
1382   = foldrBag add binds dbs
1383   where
1384     add (bind,_) binds = bind : binds
1385
1386 wrapDictBindsE :: Bag DictBind -> CoreExpr -> CoreExpr
1387 wrapDictBindsE dbs expr
1388   = foldrBag add expr dbs
1389   where
1390     add (bind,_) expr = Let bind expr
1391
1392 ----------------------
1393 dumpUDs :: [CoreBndr] -> UsageDetails -> (UsageDetails, Bag DictBind)
1394 -- Used at a lambda or case binder; just dump anything mentioning the binder
1395 dumpUDs bndrs uds@(MkUD { ud_binds = orig_dbs, ud_calls = orig_calls })
1396   | null bndrs = (uds, emptyBag)  -- Common in case alternatives
1397   | otherwise  = (free_uds, dump_dbs)
1398   where
1399     free_uds = MkUD { ud_binds = free_dbs, ud_calls = free_calls }
1400     bndr_set = mkVarSet bndrs
1401     (free_dbs, dump_dbs, dump_set) = splitDictBinds orig_dbs bndr_set
1402     free_calls = deleteCallsMentioning dump_set $   -- Drop calls mentioning bndr_set on the floor
1403                  deleteCallsFor bndrs orig_calls    -- Discard calls for bndr_set; there should be
1404                                                     -- no calls for any of the dicts in dump_dbs
1405
1406 dumpBindUDs :: [CoreBndr] -> UsageDetails -> (UsageDetails, Bag DictBind, Bool)
1407 -- Used at a lambda or case binder; just dump anything mentioning the binder
1408 dumpBindUDs bndrs (MkUD { ud_binds = orig_dbs, ud_calls = orig_calls })
1409   = (free_uds, dump_dbs, float_all)
1410   where
1411     free_uds = MkUD { ud_binds = free_dbs, ud_calls = free_calls }
1412     bndr_set = mkVarSet bndrs
1413     (free_dbs, dump_dbs, dump_set) = splitDictBinds orig_dbs bndr_set
1414     free_calls = deleteCallsFor bndrs orig_calls
1415     float_all = dump_set `intersectsVarSet` callDetailsFVs free_calls
1416
1417 callsForMe :: Id -> UsageDetails -> (UsageDetails, [CallInfo])
1418 callsForMe fn (MkUD { ud_binds = orig_dbs, ud_calls = orig_calls })
1419   = -- pprTrace ("callsForMe")
1420     --         (vcat [ppr fn,
1421     --                text "Orig dbs ="     <+> ppr (_dictBindBndrs orig_dbs),
1422     --                text "Orig calls ="   <+> ppr orig_calls,
1423     --                text "Dep set ="      <+> ppr dep_set,
1424     --                text "Calls for me =" <+> ppr calls_for_me]) $
1425     (uds_without_me, calls_for_me)
1426   where
1427     uds_without_me = MkUD { ud_binds = orig_dbs, ud_calls = delVarEnv orig_calls fn }
1428     calls_for_me = case lookupVarEnv orig_calls fn of
1429                         Nothing -> []
1430                         Just cs -> filter_dfuns (fmToList cs)
1431
1432     dep_set = foldlBag go (unitVarSet fn) orig_dbs
1433     go dep_set (db,fvs) | fvs `intersectsVarSet` dep_set
1434                         = extendVarSetList dep_set (bindersOf db)
1435                         | otherwise = fvs
1436
1437         -- Note [Specialisation of dictionary functions]
1438     filter_dfuns | isDFunId fn = filter ok_call
1439                  | otherwise   = \cs -> cs
1440
1441     ok_call (_, (_,fvs)) = not (fvs `intersectsVarSet` dep_set)
1442
1443 ----------------------
1444 splitDictBinds :: Bag DictBind -> IdSet -> (Bag DictBind, Bag DictBind, IdSet)
1445 -- Returns (free_dbs, dump_dbs, dump_set)
1446 splitDictBinds dbs bndr_set
1447    = foldlBag split_db (emptyBag, emptyBag, bndr_set) dbs
1448                 -- Important that it's foldl not foldr;
1449                 -- we're accumulating the set of dumped ids in dump_set
1450    where
1451     split_db (free_dbs, dump_dbs, dump_idset) db@(bind, fvs)
1452         | dump_idset `intersectsVarSet` fvs     -- Dump it
1453         = (free_dbs, dump_dbs `snocBag` db,
1454            extendVarSetList dump_idset (bindersOf bind))
1455
1456         | otherwise     -- Don't dump it
1457         = (free_dbs `snocBag` db, dump_dbs, dump_idset)
1458
1459
1460 ----------------------
1461 deleteCallsMentioning :: VarSet -> CallDetails -> CallDetails
1462 -- Remove calls *mentioning* bs
1463 deleteCallsMentioning bs calls
1464   = mapVarEnv filter_calls calls
1465   where
1466     filter_calls :: CallInfoSet -> CallInfoSet
1467     filter_calls = filterFM (\_ (_, fvs) -> not (fvs `intersectsVarSet` bs))
1468
1469 deleteCallsFor :: [Id] -> CallDetails -> CallDetails
1470 -- Remove calls *for* bs
1471 deleteCallsFor bs calls = delVarEnvList calls bs
1472 \end{code}
1473
1474
1475 %************************************************************************
1476 %*                                                                      *
1477 \subsubsection{Boring helper functions}
1478 %*                                                                      *
1479 %************************************************************************
1480
1481 \begin{code}
1482 type SpecM a = UniqSM a
1483
1484 initSM :: UniqSupply -> SpecM a -> a
1485 initSM    = initUs_
1486
1487 mapAndCombineSM :: (a -> SpecM (b, UsageDetails)) -> [a] -> SpecM ([b], UsageDetails)
1488 mapAndCombineSM _ []     = return ([], emptyUDs)
1489 mapAndCombineSM f (x:xs) = do (y, uds1) <- f x
1490                               (ys, uds2) <- mapAndCombineSM f xs
1491                               return (y:ys, uds1 `plusUDs` uds2)
1492
1493 cloneBindSM :: Subst -> CoreBind -> SpecM (Subst, Subst, CoreBind)
1494 -- Clone the binders of the bind; return new bind with the cloned binders
1495 -- Return the substitution to use for RHSs, and the one to use for the body
1496 cloneBindSM subst (NonRec bndr rhs) = do
1497     us <- getUniqueSupplyM
1498     let (subst', bndr') = cloneIdBndr subst us bndr
1499     return (subst, subst', NonRec bndr' rhs)
1500
1501 cloneBindSM subst (Rec pairs) = do
1502     us <- getUniqueSupplyM
1503     let (subst', bndrs') = cloneRecIdBndrs subst us (map fst pairs)
1504     return (subst', subst', Rec (bndrs' `zip` map snd pairs))
1505
1506 cloneDictBndrs :: Subst -> [CoreBndr] -> SpecM (Subst, [CoreBndr])
1507 cloneDictBndrs subst bndrs
1508   = do { us <- getUniqueSupplyM
1509        ; return (cloneIdBndrs subst us bndrs) }
1510
1511 newSpecIdSM :: Id -> Type -> SpecM Id
1512     -- Give the new Id a similar occurrence name to the old one
1513 newSpecIdSM old_id new_ty
1514   = do  { uniq <- getUniqueM
1515         ; let
1516             name    = idName old_id
1517             new_occ = mkSpecOcc (nameOccName name)
1518             new_id  = mkUserLocal new_occ uniq new_ty (getSrcSpan name)
1519         ; return new_id }
1520 \end{code}
1521
1522
1523                 Old (but interesting) stuff about unboxed bindings
1524                 ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
1525
1526 What should we do when a value is specialised to a *strict* unboxed value?
1527
1528         map_*_* f (x:xs) = let h = f x
1529                                t = map f xs
1530                            in h:t
1531
1532 Could convert let to case:
1533
1534         map_*_Int# f (x:xs) = case f x of h# ->
1535                               let t = map f xs
1536                               in h#:t
1537
1538 This may be undesirable since it forces evaluation here, but the value
1539 may not be used in all branches of the body. In the general case this
1540 transformation is impossible since the mutual recursion in a letrec
1541 cannot be expressed as a case.
1542
1543 There is also a problem with top-level unboxed values, since our
1544 implementation cannot handle unboxed values at the top level.
1545
1546 Solution: Lift the binding of the unboxed value and extract it when it
1547 is used:
1548
1549         map_*_Int# f (x:xs) = let h = case (f x) of h# -> _Lift h#
1550                                   t = map f xs
1551                               in case h of
1552                                  _Lift h# -> h#:t
1553
1554 Now give it to the simplifier and the _Lifting will be optimised away.
1555
1556 The benfit is that we have given the specialised "unboxed" values a
1557 very simplep lifted semantics and then leave it up to the simplifier to
1558 optimise it --- knowing that the overheads will be removed in nearly
1559 all cases.
1560
1561 In particular, the value will only be evaluted in the branches of the
1562 program which use it, rather than being forced at the point where the
1563 value is bound. For example:
1564
1565         filtermap_*_* p f (x:xs)
1566           = let h = f x
1567                 t = ...
1568             in case p x of
1569                 True  -> h:t
1570                 False -> t
1571    ==>
1572         filtermap_*_Int# p f (x:xs)
1573           = let h = case (f x) of h# -> _Lift h#
1574                 t = ...
1575             in case p x of
1576                 True  -> case h of _Lift h#
1577                            -> h#:t
1578                 False -> t
1579
1580 The binding for h can still be inlined in the one branch and the
1581 _Lifting eliminated.
1582
1583
1584 Question: When won't the _Lifting be eliminated?
1585
1586 Answer: When they at the top-level (where it is necessary) or when
1587 inlining would duplicate work (or possibly code depending on
1588 options). However, the _Lifting will still be eliminated if the
1589 strictness analyser deems the lifted binding strict.
1590