6fbc5b9a5669c4d8d7ac1757a305d525f566b28c
[ghc-hetmet.git] / ghc / compiler / specialise / Specialise.lhs
1 %
2 % (c) The GRASP/AQUA Project, Glasgow University, 1993-1998
3 %
4 \section[Specialise]{Stamping out overloading, and (optionally) polymorphism}
5
6 \begin{code}
7 module Specialise ( specProgram ) where
8
9 #include "HsVersions.h"
10
11 import CmdLineOpts      ( DynFlags, DynFlag(..) )
12 import Id               ( Id, idName, idType, mkUserLocal,
13                           idSpecialisation, modifyIdInfo
14                         )
15 import IdInfo           ( zapSpecPragInfo )
16 import VarSet
17 import VarEnv
18
19 import Type             ( Type, mkTyVarTy, splitSigmaTy, 
20                           tyVarsOfTypes, tyVarsOfTheta, 
21                           mkForAllTys 
22                         )
23 import Subst            ( Subst, mkSubst, substTy, mkSubst, substBndrs, extendSubstList, mkInScopeSet,
24                           substId, substAndCloneId, substAndCloneIds, lookupIdSubst, substInScope
25                         ) 
26 import VarSet
27 import VarEnv
28 import CoreSyn
29 import CoreUtils        ( applyTypeToArgs )
30 import CoreUnfold       ( certainlyWillInline )
31 import CoreFVs          ( exprFreeVars, exprsFreeVars )
32 import CoreLint         ( showPass, endPass )
33 import PprCore          ( pprCoreRules )
34 import Rules            ( addIdSpecialisations, lookupRule )
35
36 import UniqSupply       ( UniqSupply,
37                           UniqSM, initUs_, thenUs, thenUs_, returnUs, getUniqueUs, 
38                           withUs, mapUs
39                         )
40 import Name             ( nameOccName, mkSpecOcc, getSrcLoc )
41 import FiniteMap
42 import Maybes           ( catMaybes, maybeToBool )
43 import ErrUtils         ( dumpIfSet_dyn )
44 import Bag
45 import List             ( partition )
46 import Util             ( zipEqual, zipWithEqual )
47 import Outputable
48
49
50 infixr 9 `thenSM`
51 \end{code}
52
53 %************************************************************************
54 %*                                                                      *
55 \subsection[notes-Specialise]{Implementation notes [SLPJ, Aug 18 1993]}
56 %*                                                                      *
57 %************************************************************************
58
59 These notes describe how we implement specialisation to eliminate
60 overloading.
61
62 The specialisation pass works on Core
63 syntax, complete with all the explicit dictionary application,
64 abstraction and construction as added by the type checker.  The
65 existing type checker remains largely as it is.
66
67 One important thought: the {\em types} passed to an overloaded
68 function, and the {\em dictionaries} passed are mutually redundant.
69 If the same function is applied to the same type(s) then it is sure to
70 be applied to the same dictionary(s)---or rather to the same {\em
71 values}.  (The arguments might look different but they will evaluate
72 to the same value.)
73
74 Second important thought: we know that we can make progress by
75 treating dictionary arguments as static and worth specialising on.  So
76 we can do without binding-time analysis, and instead specialise on
77 dictionary arguments and no others.
78
79 The basic idea
80 ~~~~~~~~~~~~~~
81 Suppose we have
82
83         let f = <f_rhs>
84         in <body>
85
86 and suppose f is overloaded.
87
88 STEP 1: CALL-INSTANCE COLLECTION
89
90 We traverse <body>, accumulating all applications of f to types and
91 dictionaries.
92
93 (Might there be partial applications, to just some of its types and
94 dictionaries?  In principle yes, but in practice the type checker only
95 builds applications of f to all its types and dictionaries, so partial
96 applications could only arise as a result of transformation, and even
97 then I think it's unlikely.  In any case, we simply don't accumulate such
98 partial applications.)
99
100
101 STEP 2: EQUIVALENCES
102
103 So now we have a collection of calls to f:
104         f t1 t2 d1 d2
105         f t3 t4 d3 d4
106         ...
107 Notice that f may take several type arguments.  To avoid ambiguity, we
108 say that f is called at type t1/t2 and t3/t4.
109
110 We take equivalence classes using equality of the *types* (ignoring
111 the dictionary args, which as mentioned previously are redundant).
112
113 STEP 3: SPECIALISATION
114
115 For each equivalence class, choose a representative (f t1 t2 d1 d2),
116 and create a local instance of f, defined thus:
117
118         f@t1/t2 = <f_rhs> t1 t2 d1 d2
119
120 f_rhs presumably has some big lambdas and dictionary lambdas, so lots
121 of simplification will now result.  However we don't actually *do* that
122 simplification.  Rather, we leave it for the simplifier to do.  If we
123 *did* do it, though, we'd get more call instances from the specialised
124 RHS.  We can work out what they are by instantiating the call-instance
125 set from f's RHS with the types t1, t2.
126
127 Add this new id to f's IdInfo, to record that f has a specialised version.
128
129 Before doing any of this, check that f's IdInfo doesn't already
130 tell us about an existing instance of f at the required type/s.
131 (This might happen if specialisation was applied more than once, or
132 it might arise from user SPECIALIZE pragmas.)
133
134 Recursion
135 ~~~~~~~~~
136 Wait a minute!  What if f is recursive?  Then we can't just plug in
137 its right-hand side, can we?
138
139 But it's ok.  The type checker *always* creates non-recursive definitions
140 for overloaded recursive functions.  For example:
141
142         f x = f (x+x)           -- Yes I know its silly
143
144 becomes
145
146         f a (d::Num a) = let p = +.sel a d
147                          in
148                          letrec fl (y::a) = fl (p y y)
149                          in
150                          fl
151
152 We still have recusion for non-overloaded functions which we
153 speciailise, but the recursive call should get specialised to the
154 same recursive version.
155
156
157 Polymorphism 1
158 ~~~~~~~~~~~~~~
159
160 All this is crystal clear when the function is applied to *constant
161 types*; that is, types which have no type variables inside.  But what if
162 it is applied to non-constant types?  Suppose we find a call of f at type
163 t1/t2.  There are two possibilities:
164
165 (a) The free type variables of t1, t2 are in scope at the definition point
166 of f.  In this case there's no problem, we proceed just as before.  A common
167 example is as follows.  Here's the Haskell:
168
169         g y = let f x = x+x
170               in f y + f y
171
172 After typechecking we have
173
174         g a (d::Num a) (y::a) = let f b (d'::Num b) (x::b) = +.sel b d' x x
175                                 in +.sel a d (f a d y) (f a d y)
176
177 Notice that the call to f is at type type "a"; a non-constant type.
178 Both calls to f are at the same type, so we can specialise to give:
179
180         g a (d::Num a) (y::a) = let f@a (x::a) = +.sel a d x x
181                                 in +.sel a d (f@a y) (f@a y)
182
183
184 (b) The other case is when the type variables in the instance types
185 are *not* in scope at the definition point of f.  The example we are
186 working with above is a good case.  There are two instances of (+.sel a d),
187 but "a" is not in scope at the definition of +.sel.  Can we do anything?
188 Yes, we can "common them up", a sort of limited common sub-expression deal.
189 This would give:
190
191         g a (d::Num a) (y::a) = let +.sel@a = +.sel a d
192                                     f@a (x::a) = +.sel@a x x
193                                 in +.sel@a (f@a y) (f@a y)
194
195 This can save work, and can't be spotted by the type checker, because
196 the two instances of +.sel weren't originally at the same type.
197
198 Further notes on (b)
199
200 * There are quite a few variations here.  For example, the defn of
201   +.sel could be floated ouside the \y, to attempt to gain laziness.
202   It certainly mustn't be floated outside the \d because the d has to
203   be in scope too.
204
205 * We don't want to inline f_rhs in this case, because
206 that will duplicate code.  Just commoning up the call is the point.
207
208 * Nothing gets added to +.sel's IdInfo.
209
210 * Don't bother unless the equivalence class has more than one item!
211
212 Not clear whether this is all worth it.  It is of course OK to
213 simply discard call-instances when passing a big lambda.
214
215 Polymorphism 2 -- Overloading
216 ~~~~~~~~~~~~~~
217 Consider a function whose most general type is
218
219         f :: forall a b. Ord a => [a] -> b -> b
220
221 There is really no point in making a version of g at Int/Int and another
222 at Int/Bool, because it's only instancing the type variable "a" which
223 buys us any efficiency. Since g is completely polymorphic in b there
224 ain't much point in making separate versions of g for the different
225 b types.
226
227 That suggests that we should identify which of g's type variables
228 are constrained (like "a") and which are unconstrained (like "b").
229 Then when taking equivalence classes in STEP 2, we ignore the type args
230 corresponding to unconstrained type variable.  In STEP 3 we make
231 polymorphic versions.  Thus:
232
233         f@t1/ = /\b -> <f_rhs> t1 b d1 d2
234
235 We do this.
236
237
238 Dictionary floating
239 ~~~~~~~~~~~~~~~~~~~
240 Consider this
241
242         f a (d::Num a) = let g = ...
243                          in
244                          ...(let d1::Ord a = Num.Ord.sel a d in g a d1)...
245
246 Here, g is only called at one type, but the dictionary isn't in scope at the
247 definition point for g.  Usually the type checker would build a
248 definition for d1 which enclosed g, but the transformation system
249 might have moved d1's defn inward.  Solution: float dictionary bindings
250 outwards along with call instances.
251
252 Consider
253
254         f x = let g p q = p==q
255                   h r s = (r+s, g r s)
256               in
257               h x x
258
259
260 Before specialisation, leaving out type abstractions we have
261
262         f df x = let g :: Eq a => a -> a -> Bool
263                      g dg p q = == dg p q
264                      h :: Num a => a -> a -> (a, Bool)
265                      h dh r s = let deq = eqFromNum dh
266                                 in (+ dh r s, g deq r s)
267               in
268               h df x x
269
270 After specialising h we get a specialised version of h, like this:
271
272                     h' r s = let deq = eqFromNum df
273                              in (+ df r s, g deq r s)
274
275 But we can't naively make an instance for g from this, because deq is not in scope
276 at the defn of g.  Instead, we have to float out the (new) defn of deq
277 to widen its scope.  Notice that this floating can't be done in advance -- it only
278 shows up when specialisation is done.
279
280 User SPECIALIZE pragmas
281 ~~~~~~~~~~~~~~~~~~~~~~~
282 Specialisation pragmas can be digested by the type checker, and implemented
283 by adding extra definitions along with that of f, in the same way as before
284
285         f@t1/t2 = <f_rhs> t1 t2 d1 d2
286
287 Indeed the pragmas *have* to be dealt with by the type checker, because
288 only it knows how to build the dictionaries d1 and d2!  For example
289
290         g :: Ord a => [a] -> [a]
291         {-# SPECIALIZE f :: [Tree Int] -> [Tree Int] #-}
292
293 Here, the specialised version of g is an application of g's rhs to the
294 Ord dictionary for (Tree Int), which only the type checker can conjure
295 up.  There might not even *be* one, if (Tree Int) is not an instance of
296 Ord!  (All the other specialision has suitable dictionaries to hand
297 from actual calls.)
298
299 Problem.  The type checker doesn't have to hand a convenient <f_rhs>, because
300 it is buried in a complex (as-yet-un-desugared) binding group.
301 Maybe we should say
302
303         f@t1/t2 = f* t1 t2 d1 d2
304
305 where f* is the Id f with an IdInfo which says "inline me regardless!".
306 Indeed all the specialisation could be done in this way.
307 That in turn means that the simplifier has to be prepared to inline absolutely
308 any in-scope let-bound thing.
309
310
311 Again, the pragma should permit polymorphism in unconstrained variables:
312
313         h :: Ord a => [a] -> b -> b
314         {-# SPECIALIZE h :: [Int] -> b -> b #-}
315
316 We *insist* that all overloaded type variables are specialised to ground types,
317 (and hence there can be no context inside a SPECIALIZE pragma).
318 We *permit* unconstrained type variables to be specialised to
319         - a ground type
320         - or left as a polymorphic type variable
321 but nothing in between.  So
322
323         {-# SPECIALIZE h :: [Int] -> [c] -> [c] #-}
324
325 is *illegal*.  (It can be handled, but it adds complication, and gains the
326 programmer nothing.)
327
328
329 SPECIALISING INSTANCE DECLARATIONS
330 ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
331 Consider
332
333         instance Foo a => Foo [a] where
334                 ...
335         {-# SPECIALIZE instance Foo [Int] #-}
336
337 The original instance decl creates a dictionary-function
338 definition:
339
340         dfun.Foo.List :: forall a. Foo a -> Foo [a]
341
342 The SPECIALIZE pragma just makes a specialised copy, just as for
343 ordinary function definitions:
344
345         dfun.Foo.List@Int :: Foo [Int]
346         dfun.Foo.List@Int = dfun.Foo.List Int dFooInt
347
348 The information about what instance of the dfun exist gets added to
349 the dfun's IdInfo in the same way as a user-defined function too.
350
351
352 Automatic instance decl specialisation?
353 ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
354 Can instance decls be specialised automatically?  It's tricky.
355 We could collect call-instance information for each dfun, but
356 then when we specialised their bodies we'd get new call-instances
357 for ordinary functions; and when we specialised their bodies, we might get
358 new call-instances of the dfuns, and so on.  This all arises because of
359 the unrestricted mutual recursion between instance decls and value decls.
360
361 Still, there's no actual problem; it just means that we may not do all
362 the specialisation we could theoretically do.
363
364 Furthermore, instance decls are usually exported and used non-locally,
365 so we'll want to compile enough to get those specialisations done.
366
367 Lastly, there's no such thing as a local instance decl, so we can
368 survive solely by spitting out *usage* information, and then reading that
369 back in as a pragma when next compiling the file.  So for now,
370 we only specialise instance decls in response to pragmas.
371
372
373 SPITTING OUT USAGE INFORMATION
374 ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
375
376 To spit out usage information we need to traverse the code collecting
377 call-instance information for all imported (non-prelude?) functions
378 and data types. Then we equivalence-class it and spit it out.
379
380 This is done at the top-level when all the call instances which escape
381 must be for imported functions and data types.
382
383 *** Not currently done ***
384
385
386 Partial specialisation by pragmas
387 ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
388 What about partial specialisation:
389
390         k :: (Ord a, Eq b) => [a] -> b -> b -> [a]
391         {-# SPECIALIZE k :: Eq b => [Int] -> b -> b -> [a] #-}
392
393 or even
394
395         {-# SPECIALIZE k :: Eq b => [Int] -> [b] -> [b] -> [a] #-}
396
397 Seems quite reasonable.  Similar things could be done with instance decls:
398
399         instance (Foo a, Foo b) => Foo (a,b) where
400                 ...
401         {-# SPECIALIZE instance Foo a => Foo (a,Int) #-}
402         {-# SPECIALIZE instance Foo b => Foo (Int,b) #-}
403
404 Ho hum.  Things are complex enough without this.  I pass.
405
406
407 Requirements for the simplifer
408 ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
409 The simplifier has to be able to take advantage of the specialisation.
410
411 * When the simplifier finds an application of a polymorphic f, it looks in
412 f's IdInfo in case there is a suitable instance to call instead.  This converts
413
414         f t1 t2 d1 d2   ===>   f_t1_t2
415
416 Note that the dictionaries get eaten up too!
417
418 * Dictionary selection operations on constant dictionaries must be
419   short-circuited:
420
421         +.sel Int d     ===>  +Int
422
423 The obvious way to do this is in the same way as other specialised
424 calls: +.sel has inside it some IdInfo which tells that if it's applied
425 to the type Int then it should eat a dictionary and transform to +Int.
426
427 In short, dictionary selectors need IdInfo inside them for constant
428 methods.
429
430 * Exactly the same applies if a superclass dictionary is being
431   extracted:
432
433         Eq.sel Int d   ===>   dEqInt
434
435 * Something similar applies to dictionary construction too.  Suppose
436 dfun.Eq.List is the function taking a dictionary for (Eq a) to
437 one for (Eq [a]).  Then we want
438
439         dfun.Eq.List Int d      ===> dEq.List_Int
440
441 Where does the Eq [Int] dictionary come from?  It is built in
442 response to a SPECIALIZE pragma on the Eq [a] instance decl.
443
444 In short, dfun Ids need IdInfo with a specialisation for each
445 constant instance of their instance declaration.
446
447 All this uses a single mechanism: the SpecEnv inside an Id
448
449
450 What does the specialisation IdInfo look like?
451 ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
452
453 The SpecEnv of an Id maps a list of types (the template) to an expression
454
455         [Type]  |->  Expr
456
457 For example, if f has this SpecInfo:
458
459         [Int, a]  ->  \d:Ord Int. f' a
460
461 it means that we can replace the call
462
463         f Int t  ===>  (\d. f' t)
464
465 This chucks one dictionary away and proceeds with the
466 specialised version of f, namely f'.
467
468
469 What can't be done this way?
470 ~~~~~~~~~~~~~~~~~~~~~~~~~~~~
471 There is no way, post-typechecker, to get a dictionary for (say)
472 Eq a from a dictionary for Eq [a].  So if we find
473
474         ==.sel [t] d
475
476 we can't transform to
477
478         eqList (==.sel t d')
479
480 where
481         eqList :: (a->a->Bool) -> [a] -> [a] -> Bool
482
483 Of course, we currently have no way to automatically derive
484 eqList, nor to connect it to the Eq [a] instance decl, but you
485 can imagine that it might somehow be possible.  Taking advantage
486 of this is permanently ruled out.
487
488 Still, this is no great hardship, because we intend to eliminate
489 overloading altogether anyway!
490
491
492
493 A note about non-tyvar dictionaries
494 ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
495 Some Ids have types like
496
497         forall a,b,c. Eq a -> Ord [a] -> tau
498
499 This seems curious at first, because we usually only have dictionary
500 args whose types are of the form (C a) where a is a type variable.
501 But this doesn't hold for the functions arising from instance decls,
502 which sometimes get arguements with types of form (C (T a)) for some
503 type constructor T.
504
505 Should we specialise wrt this compound-type dictionary?  We used to say
506 "no", saying:
507         "This is a heuristic judgement, as indeed is the fact that we 
508         specialise wrt only dictionaries.  We choose *not* to specialise
509         wrt compound dictionaries because at the moment the only place
510         they show up is in instance decls, where they are simply plugged
511         into a returned dictionary.  So nothing is gained by specialising
512         wrt them."
513
514 But it is simpler and more uniform to specialise wrt these dicts too;
515 and in future GHC is likely to support full fledged type signatures 
516 like
517         f ;: Eq [(a,b)] => ...
518
519
520 %************************************************************************
521 %*                                                                      *
522 \subsubsection{The new specialiser}
523 %*                                                                      *
524 %************************************************************************
525
526 Our basic game plan is this.  For let(rec) bound function
527         f :: (C a, D c) => (a,b,c,d) -> Bool
528
529 * Find any specialised calls of f, (f ts ds), where 
530   ts are the type arguments t1 .. t4, and
531   ds are the dictionary arguments d1 .. d2.
532
533 * Add a new definition for f1 (say):
534
535         f1 = /\ b d -> (..body of f..) t1 b t3 d d1 d2
536
537   Note that we abstract over the unconstrained type arguments.
538
539 * Add the mapping
540
541         [t1,b,t3,d]  |->  \d1 d2 -> f1 b d
542
543   to the specialisations of f.  This will be used by the
544   simplifier to replace calls 
545                 (f t1 t2 t3 t4) da db
546   by
547                 (\d1 d1 -> f1 t2 t4) da db
548
549   All the stuff about how many dictionaries to discard, and what types
550   to apply the specialised function to, are handled by the fact that the
551   SpecEnv contains a template for the result of the specialisation.
552
553 We don't build *partial* specialisations for f.  For example:
554
555   f :: Eq a => a -> a -> Bool
556   {-# SPECIALISE f :: (Eq b, Eq c) => (b,c) -> (b,c) -> Bool #-}
557
558 Here, little is gained by making a specialised copy of f.
559 There's a distinct danger that the specialised version would
560 first build a dictionary for (Eq b, Eq c), and then select the (==) 
561 method from it!  Even if it didn't, not a great deal is saved.
562
563 We do, however, generate polymorphic, but not overloaded, specialisations:
564
565   f :: Eq a => [a] -> b -> b -> b
566   {#- SPECIALISE f :: [Int] -> b -> b -> b #-}
567
568 Hence, the invariant is this: 
569
570         *** no specialised version is overloaded ***
571
572
573 %************************************************************************
574 %*                                                                      *
575 \subsubsection{The exported function}
576 %*                                                                      *
577 %************************************************************************
578
579 \begin{code}
580 specProgram :: DynFlags -> UniqSupply -> [CoreBind] -> IO [CoreBind]
581 specProgram dflags us binds
582   = do
583         showPass dflags "Specialise"
584
585         let binds' = initSM us (go binds        `thenSM` \ (binds', uds') ->
586                                 returnSM (dumpAllDictBinds uds' binds'))
587
588         endPass dflags "Specialise" Opt_D_dump_spec binds'
589
590         dumpIfSet_dyn dflags Opt_D_dump_rules "Top-level specialisations"
591                   (vcat (map dump_specs (concat (map bindersOf binds'))))
592
593         return binds'
594   where
595         -- We need to start with a Subst that knows all the things
596         -- that are in scope, so that the substitution engine doesn't
597         -- accidentally re-use a unique that's already in use
598         -- Easiest thing is to do it all at once, as if all the top-level
599         -- decls were mutually recursive
600     top_subst       = mkSubst (mkInScopeSet (mkVarSet (bindersOfBinds binds))) emptySubstEnv
601
602     go []           = returnSM ([], emptyUDs)
603     go (bind:binds) = go binds                          `thenSM` \ (binds', uds) ->
604                       specBind top_subst bind uds       `thenSM` \ (bind', uds') ->
605                       returnSM (bind' ++ binds', uds')
606
607 dump_specs var = pprCoreRules var (idSpecialisation var)
608 \end{code}
609
610 %************************************************************************
611 %*                                                                      *
612 \subsubsection{@specExpr@: the main function}
613 %*                                                                      *
614 %************************************************************************
615
616 \begin{code}
617 specVar :: Subst -> Id -> CoreExpr
618 specVar subst v = case lookupIdSubst subst v of
619                         DoneEx e   -> e
620                         DoneId v _ -> Var v
621
622 specExpr :: Subst -> CoreExpr -> SpecM (CoreExpr, UsageDetails)
623 -- We carry a substitution down:
624 --      a) we must clone any binding that might flaot outwards,
625 --         to avoid name clashes
626 --      b) we carry a type substitution to use when analysing
627 --         the RHS of specialised bindings (no type-let!)
628
629 ---------------- First the easy cases --------------------
630 specExpr subst (Type ty) = returnSM (Type (substTy subst ty), emptyUDs)
631 specExpr subst (Var v)   = returnSM (specVar subst v,         emptyUDs)
632 specExpr subst (Lit lit) = returnSM (Lit lit,                 emptyUDs)
633
634 specExpr subst (Note note body)
635   = specExpr subst body         `thenSM` \ (body', uds) ->
636     returnSM (Note (specNote subst note) body', uds)
637
638
639 ---------------- Applications might generate a call instance --------------------
640 specExpr subst expr@(App fun arg)
641   = go expr []
642   where
643     go (App fun arg) args = specExpr subst arg  `thenSM` \ (arg', uds_arg) ->
644                             go fun (arg':args)  `thenSM` \ (fun', uds_app) ->
645                             returnSM (App fun' arg', uds_arg `plusUDs` uds_app)
646
647     go (Var f)       args = case specVar subst f of
648                                 Var f' -> returnSM (Var f', mkCallUDs subst f' args)
649                                 e'     -> returnSM (e', emptyUDs)       -- I don't expect this!
650     go other         args = specExpr subst other
651
652 ---------------- Lambda/case require dumping of usage details --------------------
653 specExpr subst e@(Lam _ _)
654   = specExpr subst' body        `thenSM` \ (body', uds) ->
655     let
656         (filtered_uds, body'') = dumpUDs bndrs' uds body'
657     in
658     returnSM (mkLams bndrs' body'', filtered_uds)
659   where
660     (bndrs, body) = collectBinders e
661     (subst', bndrs') = substBndrs subst bndrs
662         -- More efficient to collect a group of binders together all at once
663         -- and we don't want to split a lambda group with dumped bindings
664
665 specExpr subst (Case scrut case_bndr alts)
666   = specExpr subst scrut                        `thenSM` \ (scrut', uds_scrut) ->
667     mapAndCombineSM spec_alt alts       `thenSM` \ (alts', uds_alts) ->
668     returnSM (Case scrut' case_bndr' alts', uds_scrut `plusUDs` uds_alts)
669   where
670     (subst_alt, case_bndr') = substId subst case_bndr
671         -- No need to clone case binder; it can't float like a let(rec)
672
673     spec_alt (con, args, rhs)
674         = specExpr subst_rhs rhs                `thenSM` \ (rhs', uds) ->
675           let
676              (uds', rhs'') = dumpUDs args uds rhs'
677           in
678           returnSM ((con, args', rhs''), uds')
679         where
680           (subst_rhs, args') = substBndrs subst_alt args
681
682 ---------------- Finally, let is the interesting case --------------------
683 specExpr subst (Let bind body)
684   =     -- Clone binders
685     cloneBindSM subst bind                      `thenSM` \ (rhs_subst, body_subst, bind') ->
686         
687         -- Deal with the body
688     specExpr body_subst body                    `thenSM` \ (body', body_uds) ->
689
690         -- Deal with the bindings
691     specBind rhs_subst bind' body_uds           `thenSM` \ (binds', uds) ->
692
693         -- All done
694     returnSM (foldr Let body' binds', uds)
695
696 -- Must apply the type substitution to coerceions
697 specNote subst (Coerce t1 t2) = Coerce (substTy subst t1) (substTy subst t2)
698 specNote subst note           = note
699 \end{code}
700
701 %************************************************************************
702 %*                                                                      *
703 \subsubsection{Dealing with a binding}
704 %*                                                                      *
705 %************************************************************************
706
707 \begin{code}
708 specBind :: Subst                       -- Use this for RHSs
709          -> CoreBind
710          -> UsageDetails                -- Info on how the scope of the binding
711          -> SpecM ([CoreBind],          -- New bindings
712                    UsageDetails)        -- And info to pass upstream
713
714 specBind rhs_subst bind body_uds
715   = specBindItself rhs_subst bind (calls body_uds)      `thenSM` \ (bind', bind_uds) ->
716     let
717         bndrs   = bindersOf bind
718         all_uds = zapCalls bndrs (body_uds `plusUDs` bind_uds)
719                         -- It's important that the `plusUDs` is this way round,
720                         -- because body_uds may bind dictionaries that are
721                         -- used in the calls passed to specDefn.  So the
722                         -- dictionary bindings in bind_uds may mention 
723                         -- dictionaries bound in body_uds.
724     in
725     case splitUDs bndrs all_uds of
726
727         (_, ([],[]))    -- This binding doesn't bind anything needed
728                         -- in the UDs, so put the binding here
729                         -- This is the case for most non-dict bindings, except
730                         -- for the few that are mentioned in a dict binding
731                         -- that is floating upwards in body_uds
732                 -> returnSM ([bind'], all_uds)
733
734         (float_uds, (dict_binds, calls))        -- This binding is needed in the UDs, so float it out
735                 -> returnSM ([], float_uds `plusUDs` mkBigUD bind' dict_binds calls)
736    
737
738 -- A truly gruesome function
739 mkBigUD bind@(NonRec _ _) dbs calls
740   =     -- Common case: non-recursive and no specialisations
741         -- (if there were any specialistions it would have been made recursive)
742     MkUD { dict_binds = listToBag (mkDB bind : dbs),
743            calls = listToCallDetails calls }
744
745 mkBigUD bind dbs calls
746   =     -- General case
747     MkUD { dict_binds = unitBag (mkDB (Rec (bind_prs bind ++ dbsToPairs dbs))),
748                         -- Make a huge Rec
749            calls = listToCallDetails calls }
750   where
751     bind_prs (NonRec b r) = [(b,r)]
752     bind_prs (Rec prs)    = prs
753
754     dbsToPairs []             = []
755     dbsToPairs ((bind,_):dbs) = bind_prs bind ++ dbsToPairs dbs
756
757 -- specBindItself deals with the RHS, specialising it according
758 -- to the calls found in the body (if any)
759 specBindItself rhs_subst (NonRec bndr rhs) call_info
760   = specDefn rhs_subst call_info (bndr,rhs)     `thenSM` \ ((bndr',rhs'), spec_defns, spec_uds) ->
761     let
762         new_bind | null spec_defns = NonRec bndr' rhs'
763                  | otherwise       = Rec ((bndr',rhs'):spec_defns)
764                 -- bndr' mentions the spec_defns in its SpecEnv
765                 -- Not sure why we couln't just put the spec_defns first
766     in
767     returnSM (new_bind, spec_uds)
768
769 specBindItself rhs_subst (Rec pairs) call_info
770   = mapSM (specDefn rhs_subst call_info) pairs  `thenSM` \ stuff ->
771     let
772         (pairs', spec_defns_s, spec_uds_s) = unzip3 stuff
773         spec_defns = concat spec_defns_s
774         spec_uds   = plusUDList spec_uds_s
775         new_bind   = Rec (spec_defns ++ pairs')
776     in
777     returnSM (new_bind, spec_uds)
778     
779
780 specDefn :: Subst                       -- Subst to use for RHS
781          -> CallDetails                 -- Info on how it is used in its scope
782          -> (Id, CoreExpr)              -- The thing being bound and its un-processed RHS
783          -> SpecM ((Id, CoreExpr),      -- The thing and its processed RHS
784                                         --      the Id may now have specialisations attached
785                    [(Id,CoreExpr)],     -- Extra, specialised bindings
786                    UsageDetails         -- Stuff to fling upwards from the RHS and its
787             )                           --      specialised versions
788
789 specDefn subst calls (fn, rhs)
790         -- The first case is the interesting one
791   |  n_tyvars == length rhs_tyvars      -- Rhs of fn's defn has right number of big lambdas
792   && n_dicts  <= length rhs_bndrs       -- and enough dict args
793   && not (null calls_for_me)            -- And there are some calls to specialise
794   && not (certainlyWillInline fn)       -- And it's not small
795                                         -- If it's small, it's better just to inline
796                                         -- it than to construct lots of specialisations
797   =   -- Specialise the body of the function
798     specExpr subst rhs                                  `thenSM` \ (rhs', rhs_uds) ->
799
800       -- Make a specialised version for each call in calls_for_me
801     mapSM spec_call calls_for_me                `thenSM` \ stuff ->
802     let
803         (spec_defns, spec_uds, spec_env_stuff) = unzip3 stuff
804
805         fn' = addIdSpecialisations zapped_fn spec_env_stuff
806     in
807     returnSM ((fn',rhs'), 
808               spec_defns, 
809               rhs_uds `plusUDs` plusUDList spec_uds)
810
811   | otherwise   -- No calls or RHS doesn't fit our preconceptions
812   = specExpr subst rhs                  `thenSM` \ (rhs', rhs_uds) ->
813     returnSM ((zapped_fn, rhs'), [], rhs_uds)
814   
815   where
816     zapped_fn            = modifyIdInfo zapSpecPragInfo fn
817         -- If the fn is a SpecPragmaId, make it discardable
818         -- It's role as a holder for a call instance is o'er
819         -- But it might be alive for some other reason by now.
820
821     fn_type            = idType fn
822     (tyvars, theta, _) = splitSigmaTy fn_type
823     n_tyvars           = length tyvars
824     n_dicts            = length theta
825
826     (rhs_tyvars, rhs_ids, rhs_body) = collectTyAndValBinders rhs
827     rhs_dicts = take n_dicts rhs_ids
828     rhs_bndrs = rhs_tyvars ++ rhs_dicts
829     body      = mkLams (drop n_dicts rhs_ids) rhs_body
830                 -- Glue back on the non-dict lambdas
831
832     calls_for_me = case lookupFM calls fn of
833                         Nothing -> []
834                         Just cs -> fmToList cs
835
836     ----------------------------------------------------------
837         -- Specialise to one particular call pattern
838     spec_call :: ([Maybe Type], ([DictExpr], VarSet))           -- Call instance
839               -> SpecM ((Id,CoreExpr),                          -- Specialised definition
840                         UsageDetails,                           -- Usage details from specialised body
841                         ([CoreBndr], [CoreExpr], CoreExpr))     -- Info for the Id's SpecEnv
842     spec_call (call_ts, (call_ds, call_fvs))
843       = ASSERT( length call_ts == n_tyvars && length call_ds == n_dicts )
844                 -- Calls are only recorded for properly-saturated applications
845         
846         -- Suppose f's defn is  f = /\ a b c d -> \ d1 d2 -> rhs        
847         -- Supppose the call is for f [Just t1, Nothing, Just t3, Nothing] [dx1, dx2]
848
849         -- Construct the new binding
850         --      f1 = SUBST[a->t1,c->t3, d1->d1', d2->d2'] (/\ b d -> rhs)
851         -- PLUS the usage-details
852         --      { d1' = dx1; d2' = dx2 }
853         -- where d1', d2' are cloned versions of d1,d2, with the type substitution applied.
854         --
855         -- Note that the substitution is applied to the whole thing.
856         -- This is convenient, but just slightly fragile.  Notably:
857         --      * There had better be no name clashes in a/b/c/d
858         --
859         let
860                 -- poly_tyvars = [b,d] in the example above
861                 -- spec_tyvars = [a,c] 
862                 -- ty_args     = [t1,b,t3,d]
863            poly_tyvars = [tv | (tv, Nothing) <- rhs_tyvars `zip` call_ts]
864            spec_tyvars = [tv | (tv, Just _)  <- rhs_tyvars `zip` call_ts]
865            ty_args     = zipWithEqual "spec_call" mk_ty_arg rhs_tyvars call_ts
866                        where
867                          mk_ty_arg rhs_tyvar Nothing   = Type (mkTyVarTy rhs_tyvar)
868                          mk_ty_arg rhs_tyvar (Just ty) = Type ty
869            rhs_subst  = extendSubstList subst spec_tyvars [DoneTy ty | Just ty <- call_ts]
870         in
871         cloneBinders rhs_subst rhs_dicts                `thenSM` \ (rhs_subst', rhs_dicts') ->
872         let
873            inst_args = ty_args ++ map Var rhs_dicts'
874
875                 -- Figure out the type of the specialised function
876            spec_id_ty = mkForAllTys poly_tyvars (applyTypeToArgs rhs fn_type inst_args)
877         in
878         newIdSM fn spec_id_ty                           `thenSM` \ spec_f ->
879         specExpr rhs_subst' (mkLams poly_tyvars body)   `thenSM` \ (spec_rhs, rhs_uds) ->       
880         let
881                 -- The rule to put in the function's specialisation is:
882                 --      forall b,d, d1',d2'.  f t1 b t3 d d1' d2' = f1 b d  
883            spec_env_rule = (poly_tyvars ++ rhs_dicts',
884                             inst_args, 
885                             mkTyApps (Var spec_f) (map mkTyVarTy poly_tyvars))
886
887                 -- Add the { d1' = dx1; d2' = dx2 } usage stuff
888            final_uds = foldr addDictBind rhs_uds (my_zipEqual "spec_call" rhs_dicts' call_ds)
889         in
890         returnSM ((spec_f, spec_rhs),
891                   final_uds,
892                   spec_env_rule)
893
894       where
895         my_zipEqual doc xs ys 
896          | length xs /= length ys = pprPanic "my_zipEqual" (ppr xs $$ ppr ys $$ (ppr fn <+> ppr call_ts) $$ ppr rhs)
897          | otherwise              = zipEqual doc xs ys
898 \end{code}
899
900 %************************************************************************
901 %*                                                                      *
902 \subsubsection{UsageDetails and suchlike}
903 %*                                                                      *
904 %************************************************************************
905
906 \begin{code}
907 data UsageDetails 
908   = MkUD {
909         dict_binds :: !(Bag DictBind),
910                         -- Floated dictionary bindings
911                         -- The order is important; 
912                         -- in ds1 `union` ds2, bindings in ds2 can depend on those in ds1
913                         -- (Remember, Bags preserve order in GHC.)
914
915         calls     :: !CallDetails
916     }
917
918 type DictBind = (CoreBind, VarSet)
919         -- The set is the free vars of the binding
920         -- both tyvars and dicts
921
922 type DictExpr = CoreExpr
923
924 emptyUDs = MkUD { dict_binds = emptyBag, calls = emptyFM }
925
926 type ProtoUsageDetails = ([DictBind],
927                           [(Id, [Maybe Type], ([DictExpr], VarSet))]
928                          )
929
930 ------------------------------------------------------------                    
931 type CallDetails  = FiniteMap Id CallInfo
932 type CallInfo     = FiniteMap [Maybe Type]                      -- Nothing => unconstrained type argument
933                               ([DictExpr], VarSet)              -- Dict args and the vars of the whole
934                                                                 -- call (including tyvars)
935                                                                 -- [*not* include the main id itself, of course]
936         -- The finite maps eliminate duplicates
937         -- The list of types and dictionaries is guaranteed to
938         -- match the type of f
939
940 unionCalls :: CallDetails -> CallDetails -> CallDetails
941 unionCalls c1 c2 = plusFM_C plusFM c1 c2
942
943 singleCall :: Id -> [Maybe Type] -> [DictExpr] -> CallDetails
944 singleCall id tys dicts 
945   = unitFM id (unitFM tys (dicts, call_fvs))
946   where
947     call_fvs = exprsFreeVars dicts `unionVarSet` tys_fvs
948     tys_fvs  = tyVarsOfTypes (catMaybes tys)
949         -- The type args (tys) are guaranteed to be part of the dictionary
950         -- types, because they are just the constrained types,
951         -- and the dictionary is therefore sure to be bound
952         -- inside the binding for any type variables free in the type;
953         -- hence it's safe to neglect tyvars free in tys when making
954         -- the free-var set for this call
955         -- BUT I don't trust this reasoning; play safe and include tys_fvs
956         --
957         -- We don't include the 'id' itself.
958
959 listToCallDetails calls
960   = foldr (unionCalls . mk_call) emptyFM calls
961   where
962     mk_call (id, tys, dicts_w_fvs) = unitFM id (unitFM tys dicts_w_fvs)
963         -- NB: the free vars of the call are provided
964
965 callDetailsToList calls = [ (id,tys,dicts)
966                           | (id,fm) <- fmToList calls,
967                             (tys,dicts) <- fmToList fm
968                           ]
969
970 mkCallUDs subst f args 
971   | null theta
972   || length spec_tys /= n_tyvars
973   || length dicts    /= n_dicts
974   || maybeToBool (lookupRule (substInScope subst) f args)
975         -- There's already a rule covering this call.  A typical case
976         -- is where there's an explicit user-provided rule.  Then
977         -- we don't want to create a specialised version 
978         -- of the function that overlaps.
979   = emptyUDs    -- Not overloaded, or no specialisation wanted
980
981   | otherwise
982   = MkUD {dict_binds = emptyBag, 
983           calls      = singleCall f spec_tys dicts
984     }
985   where
986     (tyvars, theta, _) = splitSigmaTy (idType f)
987     constrained_tyvars = tyVarsOfTheta theta 
988     n_tyvars           = length tyvars
989     n_dicts            = length theta
990
991     spec_tys = [mk_spec_ty tv ty | (tv, Type ty) <- tyvars `zip` args]
992     dicts    = [dict_expr | (_, dict_expr) <- theta `zip` (drop n_tyvars args)]
993     
994     mk_spec_ty tyvar ty | tyvar `elemVarSet` constrained_tyvars
995                         = Just ty
996                         | otherwise
997                         = Nothing
998
999 ------------------------------------------------------------                    
1000 plusUDs :: UsageDetails -> UsageDetails -> UsageDetails
1001 plusUDs (MkUD {dict_binds = db1, calls = calls1})
1002         (MkUD {dict_binds = db2, calls = calls2})
1003   = MkUD {dict_binds = d, calls = c}
1004   where
1005     d = db1    `unionBags`   db2 
1006     c = calls1 `unionCalls`  calls2
1007
1008 plusUDList = foldr plusUDs emptyUDs
1009
1010 -- zapCalls deletes calls to ids from uds
1011 zapCalls ids uds = uds {calls = delListFromFM (calls uds) ids}
1012
1013 mkDB bind = (bind, bind_fvs bind)
1014
1015 bind_fvs (NonRec bndr rhs) = exprFreeVars rhs
1016 bind_fvs (Rec prs)         = foldl delVarSet rhs_fvs bndrs
1017                            where
1018                              bndrs = map fst prs
1019                              rhs_fvs = unionVarSets [exprFreeVars rhs | (bndr,rhs) <- prs]
1020
1021 addDictBind (dict,rhs) uds = uds { dict_binds = mkDB (NonRec dict rhs) `consBag` dict_binds uds }
1022
1023 dumpAllDictBinds (MkUD {dict_binds = dbs}) binds
1024   = foldrBag add binds dbs
1025   where
1026     add (bind,_) binds = bind : binds
1027
1028 dumpUDs :: [CoreBndr]
1029         -> UsageDetails -> CoreExpr
1030         -> (UsageDetails, CoreExpr)
1031 dumpUDs bndrs uds body
1032   = (free_uds, foldr add_let body dict_binds)
1033   where
1034     (free_uds, (dict_binds, _)) = splitUDs bndrs uds
1035     add_let (bind,_) body       = Let bind body
1036
1037 splitUDs :: [CoreBndr]
1038          -> UsageDetails
1039          -> (UsageDetails,              -- These don't mention the binders
1040              ProtoUsageDetails)         -- These do
1041              
1042 splitUDs bndrs uds@(MkUD {dict_binds = orig_dbs, 
1043                           calls      = orig_calls})
1044
1045   = if isEmptyBag dump_dbs && null dump_calls then
1046         -- Common case: binder doesn't affect floats
1047         (uds, ([],[]))  
1048
1049     else
1050         -- Binders bind some of the fvs of the floats
1051         (MkUD {dict_binds = free_dbs, 
1052                calls      = listToCallDetails free_calls},
1053          (bagToList dump_dbs, dump_calls)
1054         )
1055
1056   where
1057     bndr_set = mkVarSet bndrs
1058
1059     (free_dbs, dump_dbs, dump_idset) 
1060           = foldlBag dump_db (emptyBag, emptyBag, bndr_set) orig_dbs
1061                 -- Important that it's foldl not foldr;
1062                 -- we're accumulating the set of dumped ids in dump_set
1063
1064         -- Filter out any calls that mention things that are being dumped
1065     orig_call_list                 = callDetailsToList orig_calls
1066     (dump_calls, free_calls)       = partition captured orig_call_list
1067     captured (id,tys,(dicts, fvs)) =  fvs `intersectsVarSet` dump_idset
1068                                    || id `elemVarSet` dump_idset
1069
1070     dump_db (free_dbs, dump_dbs, dump_idset) db@(bind, fvs)
1071         | dump_idset `intersectsVarSet` fvs     -- Dump it
1072         = (free_dbs, dump_dbs `snocBag` db,
1073            dump_idset `unionVarSet` mkVarSet (bindersOf bind))
1074
1075         | otherwise     -- Don't dump it
1076         = (free_dbs `snocBag` db, dump_dbs, dump_idset)
1077 \end{code}
1078
1079
1080 %************************************************************************
1081 %*                                                                      *
1082 \subsubsection{Boring helper functions}
1083 %*                                                                      *
1084 %************************************************************************
1085
1086 \begin{code}
1087 lookupId:: IdEnv Id -> Id -> Id
1088 lookupId env id = case lookupVarEnv env id of
1089                         Nothing  -> id
1090                         Just id' -> id'
1091
1092 ----------------------------------------
1093 type SpecM a = UniqSM a
1094
1095 thenSM    = thenUs
1096 returnSM  = returnUs
1097 getUniqSM = getUniqueUs
1098 mapSM     = mapUs
1099 initSM    = initUs_
1100
1101 mapAndCombineSM f []     = returnSM ([], emptyUDs)
1102 mapAndCombineSM f (x:xs) = f x  `thenSM` \ (y, uds1) ->
1103                            mapAndCombineSM f xs `thenSM` \ (ys, uds2) ->
1104                            returnSM (y:ys, uds1 `plusUDs` uds2)
1105
1106 cloneBindSM :: Subst -> CoreBind -> SpecM (Subst, Subst, CoreBind)
1107 -- Clone the binders of the bind; return new bind with the cloned binders
1108 -- Return the substitution to use for RHSs, and the one to use for the body
1109 cloneBindSM subst (NonRec bndr rhs)
1110   = withUs      $ \ us ->
1111     let
1112         (subst', us', bndr') = substAndCloneId subst us bndr
1113     in
1114     ((subst, subst', NonRec bndr' rhs), us')
1115
1116 cloneBindSM subst (Rec pairs)
1117   = withUs      $ \ us ->
1118     let
1119         (subst', us', bndrs') = substAndCloneIds subst us (map fst pairs)
1120     in
1121     ((subst', subst', Rec (bndrs' `zip` map snd pairs)), us')
1122
1123 cloneBinders subst bndrs
1124   = withUs      $ \ us -> 
1125     let
1126         (subst', us', bndrs') = substAndCloneIds subst us bndrs
1127     in
1128     ((subst', bndrs'), us')
1129
1130 newIdSM old_id new_ty
1131   = getUniqSM           `thenSM` \ uniq ->
1132     let 
1133         -- Give the new Id a similar occurrence name to the old one
1134         name   = idName old_id
1135         new_id = mkUserLocal (mkSpecOcc (nameOccName name)) uniq new_ty (getSrcLoc name)
1136     in
1137     returnSM new_id
1138 \end{code}
1139
1140
1141                 Old (but interesting) stuff about unboxed bindings
1142                 ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
1143
1144 What should we do when a value is specialised to a *strict* unboxed value?
1145
1146         map_*_* f (x:xs) = let h = f x
1147                                t = map f xs
1148                            in h:t
1149
1150 Could convert let to case:
1151
1152         map_*_Int# f (x:xs) = case f x of h# ->
1153                               let t = map f xs
1154                               in h#:t
1155
1156 This may be undesirable since it forces evaluation here, but the value
1157 may not be used in all branches of the body. In the general case this
1158 transformation is impossible since the mutual recursion in a letrec
1159 cannot be expressed as a case.
1160
1161 There is also a problem with top-level unboxed values, since our
1162 implementation cannot handle unboxed values at the top level.
1163
1164 Solution: Lift the binding of the unboxed value and extract it when it
1165 is used:
1166
1167         map_*_Int# f (x:xs) = let h = case (f x) of h# -> _Lift h#
1168                                   t = map f xs
1169                               in case h of
1170                                  _Lift h# -> h#:t
1171
1172 Now give it to the simplifier and the _Lifting will be optimised away.
1173
1174 The benfit is that we have given the specialised "unboxed" values a
1175 very simplep lifted semantics and then leave it up to the simplifier to
1176 optimise it --- knowing that the overheads will be removed in nearly
1177 all cases.
1178
1179 In particular, the value will only be evaluted in the branches of the
1180 program which use it, rather than being forced at the point where the
1181 value is bound. For example:
1182
1183         filtermap_*_* p f (x:xs)
1184           = let h = f x
1185                 t = ...
1186             in case p x of
1187                 True  -> h:t
1188                 False -> t
1189    ==>
1190         filtermap_*_Int# p f (x:xs)
1191           = let h = case (f x) of h# -> _Lift h#
1192                 t = ...
1193             in case p x of
1194                 True  -> case h of _Lift h#
1195                            -> h#:t
1196                 False -> t
1197
1198 The binding for h can still be inlined in the one branch and the
1199 _Lifting eliminated.
1200
1201
1202 Question: When won't the _Lifting be eliminated?
1203
1204 Answer: When they at the top-level (where it is necessary) or when
1205 inlining would duplicate work (or possibly code depending on
1206 options). However, the _Lifting will still be eliminated if the
1207 strictness analyser deems the lifted binding strict.
1208