[project @ 2001-03-08 12:07:38 by simonpj]
[ghc-hetmet.git] / ghc / compiler / specialise / Specialise.lhs
1 %
2 % (c) The GRASP/AQUA Project, Glasgow University, 1993-1998
3 %
4 \section[Specialise]{Stamping out overloading, and (optionally) polymorphism}
5
6 \begin{code}
7 module Specialise ( specProgram ) where
8
9 #include "HsVersions.h"
10
11 import CmdLineOpts      ( DynFlags, DynFlag(..) )
12 import Id               ( Id, idName, idType, mkUserLocal,
13                           idSpecialisation, modifyIdInfo
14                         )
15 import Type             ( Type, mkTyVarTy, splitSigmaTy, 
16                           tyVarsOfTypes, tyVarsOfTheta, 
17                           mkForAllTys 
18                         )
19 import Subst            ( Subst, mkSubst, substTy, mkSubst, extendSubstList, mkInScopeSet,
20                           simplBndr, simplBndrs, 
21                           substAndCloneId, substAndCloneIds, substAndCloneRecIds,
22                           lookupIdSubst, substInScope
23                         ) 
24 import Var              ( zapSpecPragmaId )
25 import VarSet
26 import VarEnv
27 import CoreSyn
28 import CoreUtils        ( applyTypeToArgs )
29 import CoreUnfold       ( certainlyWillInline )
30 import CoreFVs          ( exprFreeVars, exprsFreeVars )
31 import CoreLint         ( showPass, endPass )
32 import PprCore          ( pprCoreRules )
33 import Rules            ( addIdSpecialisations, lookupRule )
34
35 import UniqSupply       ( UniqSupply,
36                           UniqSM, initUs_, thenUs, returnUs, getUniqueUs, 
37                           getUs, mapUs
38                         )
39 import Name             ( nameOccName, mkSpecOcc, getSrcLoc )
40 import FiniteMap
41 import Maybes           ( catMaybes, maybeToBool )
42 import ErrUtils         ( dumpIfSet_dyn )
43 import Bag
44 import List             ( partition )
45 import Util             ( zipEqual, zipWithEqual )
46 import Outputable
47
48
49 infixr 9 `thenSM`
50 \end{code}
51
52 %************************************************************************
53 %*                                                                      *
54 \subsection[notes-Specialise]{Implementation notes [SLPJ, Aug 18 1993]}
55 %*                                                                      *
56 %************************************************************************
57
58 These notes describe how we implement specialisation to eliminate
59 overloading.
60
61 The specialisation pass works on Core
62 syntax, complete with all the explicit dictionary application,
63 abstraction and construction as added by the type checker.  The
64 existing type checker remains largely as it is.
65
66 One important thought: the {\em types} passed to an overloaded
67 function, and the {\em dictionaries} passed are mutually redundant.
68 If the same function is applied to the same type(s) then it is sure to
69 be applied to the same dictionary(s)---or rather to the same {\em
70 values}.  (The arguments might look different but they will evaluate
71 to the same value.)
72
73 Second important thought: we know that we can make progress by
74 treating dictionary arguments as static and worth specialising on.  So
75 we can do without binding-time analysis, and instead specialise on
76 dictionary arguments and no others.
77
78 The basic idea
79 ~~~~~~~~~~~~~~
80 Suppose we have
81
82         let f = <f_rhs>
83         in <body>
84
85 and suppose f is overloaded.
86
87 STEP 1: CALL-INSTANCE COLLECTION
88
89 We traverse <body>, accumulating all applications of f to types and
90 dictionaries.
91
92 (Might there be partial applications, to just some of its types and
93 dictionaries?  In principle yes, but in practice the type checker only
94 builds applications of f to all its types and dictionaries, so partial
95 applications could only arise as a result of transformation, and even
96 then I think it's unlikely.  In any case, we simply don't accumulate such
97 partial applications.)
98
99
100 STEP 2: EQUIVALENCES
101
102 So now we have a collection of calls to f:
103         f t1 t2 d1 d2
104         f t3 t4 d3 d4
105         ...
106 Notice that f may take several type arguments.  To avoid ambiguity, we
107 say that f is called at type t1/t2 and t3/t4.
108
109 We take equivalence classes using equality of the *types* (ignoring
110 the dictionary args, which as mentioned previously are redundant).
111
112 STEP 3: SPECIALISATION
113
114 For each equivalence class, choose a representative (f t1 t2 d1 d2),
115 and create a local instance of f, defined thus:
116
117         f@t1/t2 = <f_rhs> t1 t2 d1 d2
118
119 f_rhs presumably has some big lambdas and dictionary lambdas, so lots
120 of simplification will now result.  However we don't actually *do* that
121 simplification.  Rather, we leave it for the simplifier to do.  If we
122 *did* do it, though, we'd get more call instances from the specialised
123 RHS.  We can work out what they are by instantiating the call-instance
124 set from f's RHS with the types t1, t2.
125
126 Add this new id to f's IdInfo, to record that f has a specialised version.
127
128 Before doing any of this, check that f's IdInfo doesn't already
129 tell us about an existing instance of f at the required type/s.
130 (This might happen if specialisation was applied more than once, or
131 it might arise from user SPECIALIZE pragmas.)
132
133 Recursion
134 ~~~~~~~~~
135 Wait a minute!  What if f is recursive?  Then we can't just plug in
136 its right-hand side, can we?
137
138 But it's ok.  The type checker *always* creates non-recursive definitions
139 for overloaded recursive functions.  For example:
140
141         f x = f (x+x)           -- Yes I know its silly
142
143 becomes
144
145         f a (d::Num a) = let p = +.sel a d
146                          in
147                          letrec fl (y::a) = fl (p y y)
148                          in
149                          fl
150
151 We still have recusion for non-overloaded functions which we
152 speciailise, but the recursive call should get specialised to the
153 same recursive version.
154
155
156 Polymorphism 1
157 ~~~~~~~~~~~~~~
158
159 All this is crystal clear when the function is applied to *constant
160 types*; that is, types which have no type variables inside.  But what if
161 it is applied to non-constant types?  Suppose we find a call of f at type
162 t1/t2.  There are two possibilities:
163
164 (a) The free type variables of t1, t2 are in scope at the definition point
165 of f.  In this case there's no problem, we proceed just as before.  A common
166 example is as follows.  Here's the Haskell:
167
168         g y = let f x = x+x
169               in f y + f y
170
171 After typechecking we have
172
173         g a (d::Num a) (y::a) = let f b (d'::Num b) (x::b) = +.sel b d' x x
174                                 in +.sel a d (f a d y) (f a d y)
175
176 Notice that the call to f is at type type "a"; a non-constant type.
177 Both calls to f are at the same type, so we can specialise to give:
178
179         g a (d::Num a) (y::a) = let f@a (x::a) = +.sel a d x x
180                                 in +.sel a d (f@a y) (f@a y)
181
182
183 (b) The other case is when the type variables in the instance types
184 are *not* in scope at the definition point of f.  The example we are
185 working with above is a good case.  There are two instances of (+.sel a d),
186 but "a" is not in scope at the definition of +.sel.  Can we do anything?
187 Yes, we can "common them up", a sort of limited common sub-expression deal.
188 This would give:
189
190         g a (d::Num a) (y::a) = let +.sel@a = +.sel a d
191                                     f@a (x::a) = +.sel@a x x
192                                 in +.sel@a (f@a y) (f@a y)
193
194 This can save work, and can't be spotted by the type checker, because
195 the two instances of +.sel weren't originally at the same type.
196
197 Further notes on (b)
198
199 * There are quite a few variations here.  For example, the defn of
200   +.sel could be floated ouside the \y, to attempt to gain laziness.
201   It certainly mustn't be floated outside the \d because the d has to
202   be in scope too.
203
204 * We don't want to inline f_rhs in this case, because
205 that will duplicate code.  Just commoning up the call is the point.
206
207 * Nothing gets added to +.sel's IdInfo.
208
209 * Don't bother unless the equivalence class has more than one item!
210
211 Not clear whether this is all worth it.  It is of course OK to
212 simply discard call-instances when passing a big lambda.
213
214 Polymorphism 2 -- Overloading
215 ~~~~~~~~~~~~~~
216 Consider a function whose most general type is
217
218         f :: forall a b. Ord a => [a] -> b -> b
219
220 There is really no point in making a version of g at Int/Int and another
221 at Int/Bool, because it's only instancing the type variable "a" which
222 buys us any efficiency. Since g is completely polymorphic in b there
223 ain't much point in making separate versions of g for the different
224 b types.
225
226 That suggests that we should identify which of g's type variables
227 are constrained (like "a") and which are unconstrained (like "b").
228 Then when taking equivalence classes in STEP 2, we ignore the type args
229 corresponding to unconstrained type variable.  In STEP 3 we make
230 polymorphic versions.  Thus:
231
232         f@t1/ = /\b -> <f_rhs> t1 b d1 d2
233
234 We do this.
235
236
237 Dictionary floating
238 ~~~~~~~~~~~~~~~~~~~
239 Consider this
240
241         f a (d::Num a) = let g = ...
242                          in
243                          ...(let d1::Ord a = Num.Ord.sel a d in g a d1)...
244
245 Here, g is only called at one type, but the dictionary isn't in scope at the
246 definition point for g.  Usually the type checker would build a
247 definition for d1 which enclosed g, but the transformation system
248 might have moved d1's defn inward.  Solution: float dictionary bindings
249 outwards along with call instances.
250
251 Consider
252
253         f x = let g p q = p==q
254                   h r s = (r+s, g r s)
255               in
256               h x x
257
258
259 Before specialisation, leaving out type abstractions we have
260
261         f df x = let g :: Eq a => a -> a -> Bool
262                      g dg p q = == dg p q
263                      h :: Num a => a -> a -> (a, Bool)
264                      h dh r s = let deq = eqFromNum dh
265                                 in (+ dh r s, g deq r s)
266               in
267               h df x x
268
269 After specialising h we get a specialised version of h, like this:
270
271                     h' r s = let deq = eqFromNum df
272                              in (+ df r s, g deq r s)
273
274 But we can't naively make an instance for g from this, because deq is not in scope
275 at the defn of g.  Instead, we have to float out the (new) defn of deq
276 to widen its scope.  Notice that this floating can't be done in advance -- it only
277 shows up when specialisation is done.
278
279 User SPECIALIZE pragmas
280 ~~~~~~~~~~~~~~~~~~~~~~~
281 Specialisation pragmas can be digested by the type checker, and implemented
282 by adding extra definitions along with that of f, in the same way as before
283
284         f@t1/t2 = <f_rhs> t1 t2 d1 d2
285
286 Indeed the pragmas *have* to be dealt with by the type checker, because
287 only it knows how to build the dictionaries d1 and d2!  For example
288
289         g :: Ord a => [a] -> [a]
290         {-# SPECIALIZE f :: [Tree Int] -> [Tree Int] #-}
291
292 Here, the specialised version of g is an application of g's rhs to the
293 Ord dictionary for (Tree Int), which only the type checker can conjure
294 up.  There might not even *be* one, if (Tree Int) is not an instance of
295 Ord!  (All the other specialision has suitable dictionaries to hand
296 from actual calls.)
297
298 Problem.  The type checker doesn't have to hand a convenient <f_rhs>, because
299 it is buried in a complex (as-yet-un-desugared) binding group.
300 Maybe we should say
301
302         f@t1/t2 = f* t1 t2 d1 d2
303
304 where f* is the Id f with an IdInfo which says "inline me regardless!".
305 Indeed all the specialisation could be done in this way.
306 That in turn means that the simplifier has to be prepared to inline absolutely
307 any in-scope let-bound thing.
308
309
310 Again, the pragma should permit polymorphism in unconstrained variables:
311
312         h :: Ord a => [a] -> b -> b
313         {-# SPECIALIZE h :: [Int] -> b -> b #-}
314
315 We *insist* that all overloaded type variables are specialised to ground types,
316 (and hence there can be no context inside a SPECIALIZE pragma).
317 We *permit* unconstrained type variables to be specialised to
318         - a ground type
319         - or left as a polymorphic type variable
320 but nothing in between.  So
321
322         {-# SPECIALIZE h :: [Int] -> [c] -> [c] #-}
323
324 is *illegal*.  (It can be handled, but it adds complication, and gains the
325 programmer nothing.)
326
327
328 SPECIALISING INSTANCE DECLARATIONS
329 ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
330 Consider
331
332         instance Foo a => Foo [a] where
333                 ...
334         {-# SPECIALIZE instance Foo [Int] #-}
335
336 The original instance decl creates a dictionary-function
337 definition:
338
339         dfun.Foo.List :: forall a. Foo a -> Foo [a]
340
341 The SPECIALIZE pragma just makes a specialised copy, just as for
342 ordinary function definitions:
343
344         dfun.Foo.List@Int :: Foo [Int]
345         dfun.Foo.List@Int = dfun.Foo.List Int dFooInt
346
347 The information about what instance of the dfun exist gets added to
348 the dfun's IdInfo in the same way as a user-defined function too.
349
350
351 Automatic instance decl specialisation?
352 ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
353 Can instance decls be specialised automatically?  It's tricky.
354 We could collect call-instance information for each dfun, but
355 then when we specialised their bodies we'd get new call-instances
356 for ordinary functions; and when we specialised their bodies, we might get
357 new call-instances of the dfuns, and so on.  This all arises because of
358 the unrestricted mutual recursion between instance decls and value decls.
359
360 Still, there's no actual problem; it just means that we may not do all
361 the specialisation we could theoretically do.
362
363 Furthermore, instance decls are usually exported and used non-locally,
364 so we'll want to compile enough to get those specialisations done.
365
366 Lastly, there's no such thing as a local instance decl, so we can
367 survive solely by spitting out *usage* information, and then reading that
368 back in as a pragma when next compiling the file.  So for now,
369 we only specialise instance decls in response to pragmas.
370
371
372 SPITTING OUT USAGE INFORMATION
373 ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
374
375 To spit out usage information we need to traverse the code collecting
376 call-instance information for all imported (non-prelude?) functions
377 and data types. Then we equivalence-class it and spit it out.
378
379 This is done at the top-level when all the call instances which escape
380 must be for imported functions and data types.
381
382 *** Not currently done ***
383
384
385 Partial specialisation by pragmas
386 ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
387 What about partial specialisation:
388
389         k :: (Ord a, Eq b) => [a] -> b -> b -> [a]
390         {-# SPECIALIZE k :: Eq b => [Int] -> b -> b -> [a] #-}
391
392 or even
393
394         {-# SPECIALIZE k :: Eq b => [Int] -> [b] -> [b] -> [a] #-}
395
396 Seems quite reasonable.  Similar things could be done with instance decls:
397
398         instance (Foo a, Foo b) => Foo (a,b) where
399                 ...
400         {-# SPECIALIZE instance Foo a => Foo (a,Int) #-}
401         {-# SPECIALIZE instance Foo b => Foo (Int,b) #-}
402
403 Ho hum.  Things are complex enough without this.  I pass.
404
405
406 Requirements for the simplifer
407 ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
408 The simplifier has to be able to take advantage of the specialisation.
409
410 * When the simplifier finds an application of a polymorphic f, it looks in
411 f's IdInfo in case there is a suitable instance to call instead.  This converts
412
413         f t1 t2 d1 d2   ===>   f_t1_t2
414
415 Note that the dictionaries get eaten up too!
416
417 * Dictionary selection operations on constant dictionaries must be
418   short-circuited:
419
420         +.sel Int d     ===>  +Int
421
422 The obvious way to do this is in the same way as other specialised
423 calls: +.sel has inside it some IdInfo which tells that if it's applied
424 to the type Int then it should eat a dictionary and transform to +Int.
425
426 In short, dictionary selectors need IdInfo inside them for constant
427 methods.
428
429 * Exactly the same applies if a superclass dictionary is being
430   extracted:
431
432         Eq.sel Int d   ===>   dEqInt
433
434 * Something similar applies to dictionary construction too.  Suppose
435 dfun.Eq.List is the function taking a dictionary for (Eq a) to
436 one for (Eq [a]).  Then we want
437
438         dfun.Eq.List Int d      ===> dEq.List_Int
439
440 Where does the Eq [Int] dictionary come from?  It is built in
441 response to a SPECIALIZE pragma on the Eq [a] instance decl.
442
443 In short, dfun Ids need IdInfo with a specialisation for each
444 constant instance of their instance declaration.
445
446 All this uses a single mechanism: the SpecEnv inside an Id
447
448
449 What does the specialisation IdInfo look like?
450 ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
451
452 The SpecEnv of an Id maps a list of types (the template) to an expression
453
454         [Type]  |->  Expr
455
456 For example, if f has this SpecInfo:
457
458         [Int, a]  ->  \d:Ord Int. f' a
459
460 it means that we can replace the call
461
462         f Int t  ===>  (\d. f' t)
463
464 This chucks one dictionary away and proceeds with the
465 specialised version of f, namely f'.
466
467
468 What can't be done this way?
469 ~~~~~~~~~~~~~~~~~~~~~~~~~~~~
470 There is no way, post-typechecker, to get a dictionary for (say)
471 Eq a from a dictionary for Eq [a].  So if we find
472
473         ==.sel [t] d
474
475 we can't transform to
476
477         eqList (==.sel t d')
478
479 where
480         eqList :: (a->a->Bool) -> [a] -> [a] -> Bool
481
482 Of course, we currently have no way to automatically derive
483 eqList, nor to connect it to the Eq [a] instance decl, but you
484 can imagine that it might somehow be possible.  Taking advantage
485 of this is permanently ruled out.
486
487 Still, this is no great hardship, because we intend to eliminate
488 overloading altogether anyway!
489
490
491
492 A note about non-tyvar dictionaries
493 ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
494 Some Ids have types like
495
496         forall a,b,c. Eq a -> Ord [a] -> tau
497
498 This seems curious at first, because we usually only have dictionary
499 args whose types are of the form (C a) where a is a type variable.
500 But this doesn't hold for the functions arising from instance decls,
501 which sometimes get arguements with types of form (C (T a)) for some
502 type constructor T.
503
504 Should we specialise wrt this compound-type dictionary?  We used to say
505 "no", saying:
506         "This is a heuristic judgement, as indeed is the fact that we 
507         specialise wrt only dictionaries.  We choose *not* to specialise
508         wrt compound dictionaries because at the moment the only place
509         they show up is in instance decls, where they are simply plugged
510         into a returned dictionary.  So nothing is gained by specialising
511         wrt them."
512
513 But it is simpler and more uniform to specialise wrt these dicts too;
514 and in future GHC is likely to support full fledged type signatures 
515 like
516         f ;: Eq [(a,b)] => ...
517
518
519 %************************************************************************
520 %*                                                                      *
521 \subsubsection{The new specialiser}
522 %*                                                                      *
523 %************************************************************************
524
525 Our basic game plan is this.  For let(rec) bound function
526         f :: (C a, D c) => (a,b,c,d) -> Bool
527
528 * Find any specialised calls of f, (f ts ds), where 
529   ts are the type arguments t1 .. t4, and
530   ds are the dictionary arguments d1 .. d2.
531
532 * Add a new definition for f1 (say):
533
534         f1 = /\ b d -> (..body of f..) t1 b t3 d d1 d2
535
536   Note that we abstract over the unconstrained type arguments.
537
538 * Add the mapping
539
540         [t1,b,t3,d]  |->  \d1 d2 -> f1 b d
541
542   to the specialisations of f.  This will be used by the
543   simplifier to replace calls 
544                 (f t1 t2 t3 t4) da db
545   by
546                 (\d1 d1 -> f1 t2 t4) da db
547
548   All the stuff about how many dictionaries to discard, and what types
549   to apply the specialised function to, are handled by the fact that the
550   SpecEnv contains a template for the result of the specialisation.
551
552 We don't build *partial* specialisations for f.  For example:
553
554   f :: Eq a => a -> a -> Bool
555   {-# SPECIALISE f :: (Eq b, Eq c) => (b,c) -> (b,c) -> Bool #-}
556
557 Here, little is gained by making a specialised copy of f.
558 There's a distinct danger that the specialised version would
559 first build a dictionary for (Eq b, Eq c), and then select the (==) 
560 method from it!  Even if it didn't, not a great deal is saved.
561
562 We do, however, generate polymorphic, but not overloaded, specialisations:
563
564   f :: Eq a => [a] -> b -> b -> b
565   {#- SPECIALISE f :: [Int] -> b -> b -> b #-}
566
567 Hence, the invariant is this: 
568
569         *** no specialised version is overloaded ***
570
571
572 %************************************************************************
573 %*                                                                      *
574 \subsubsection{The exported function}
575 %*                                                                      *
576 %************************************************************************
577
578 \begin{code}
579 specProgram :: DynFlags -> UniqSupply -> [CoreBind] -> IO [CoreBind]
580 specProgram dflags us binds
581   = do
582         showPass dflags "Specialise"
583
584         let binds' = initSM us (go binds        `thenSM` \ (binds', uds') ->
585                                 returnSM (dumpAllDictBinds uds' binds'))
586
587         endPass dflags "Specialise" Opt_D_dump_spec binds'
588
589         dumpIfSet_dyn dflags Opt_D_dump_rules "Top-level specialisations"
590                   (vcat (map dump_specs (concat (map bindersOf binds'))))
591
592         return binds'
593   where
594         -- We need to start with a Subst that knows all the things
595         -- that are in scope, so that the substitution engine doesn't
596         -- accidentally re-use a unique that's already in use
597         -- Easiest thing is to do it all at once, as if all the top-level
598         -- decls were mutually recursive
599     top_subst       = mkSubst (mkInScopeSet (mkVarSet (bindersOfBinds binds))) emptySubstEnv
600
601     go []           = returnSM ([], emptyUDs)
602     go (bind:binds) = go binds                          `thenSM` \ (binds', uds) ->
603                       specBind top_subst bind uds       `thenSM` \ (bind', uds') ->
604                       returnSM (bind' ++ binds', uds')
605
606 dump_specs var = pprCoreRules var (idSpecialisation var)
607 \end{code}
608
609 %************************************************************************
610 %*                                                                      *
611 \subsubsection{@specExpr@: the main function}
612 %*                                                                      *
613 %************************************************************************
614
615 \begin{code}
616 specVar :: Subst -> Id -> CoreExpr
617 specVar subst v = case lookupIdSubst subst v of
618                         DoneEx e   -> e
619                         DoneId v _ -> Var v
620
621 specExpr :: Subst -> CoreExpr -> SpecM (CoreExpr, UsageDetails)
622 -- We carry a substitution down:
623 --      a) we must clone any binding that might flaot outwards,
624 --         to avoid name clashes
625 --      b) we carry a type substitution to use when analysing
626 --         the RHS of specialised bindings (no type-let!)
627
628 ---------------- First the easy cases --------------------
629 specExpr subst (Type ty) = returnSM (Type (substTy subst ty), emptyUDs)
630 specExpr subst (Var v)   = returnSM (specVar subst v,         emptyUDs)
631 specExpr subst (Lit lit) = returnSM (Lit lit,                 emptyUDs)
632
633 specExpr subst (Note note body)
634   = specExpr subst body         `thenSM` \ (body', uds) ->
635     returnSM (Note (specNote subst note) body', uds)
636
637
638 ---------------- Applications might generate a call instance --------------------
639 specExpr subst expr@(App fun arg)
640   = go expr []
641   where
642     go (App fun arg) args = specExpr subst arg  `thenSM` \ (arg', uds_arg) ->
643                             go fun (arg':args)  `thenSM` \ (fun', uds_app) ->
644                             returnSM (App fun' arg', uds_arg `plusUDs` uds_app)
645
646     go (Var f)       args = case specVar subst f of
647                                 Var f' -> returnSM (Var f', mkCallUDs subst f' args)
648                                 e'     -> returnSM (e', emptyUDs)       -- I don't expect this!
649     go other         args = specExpr subst other
650
651 ---------------- Lambda/case require dumping of usage details --------------------
652 specExpr subst e@(Lam _ _)
653   = specExpr subst' body        `thenSM` \ (body', uds) ->
654     let
655         (filtered_uds, body'') = dumpUDs bndrs' uds body'
656     in
657     returnSM (mkLams bndrs' body'', filtered_uds)
658   where
659     (bndrs, body) = collectBinders e
660     (subst', bndrs') = simplBndrs subst bndrs
661         -- More efficient to collect a group of binders together all at once
662         -- and we don't want to split a lambda group with dumped bindings
663
664 specExpr subst (Case scrut case_bndr alts)
665   = specExpr subst scrut                        `thenSM` \ (scrut', uds_scrut) ->
666     mapAndCombineSM spec_alt alts       `thenSM` \ (alts', uds_alts) ->
667     returnSM (Case scrut' case_bndr' alts', uds_scrut `plusUDs` uds_alts)
668   where
669     (subst_alt, case_bndr') = simplBndr subst case_bndr
670         -- No need to clone case binder; it can't float like a let(rec)
671
672     spec_alt (con, args, rhs)
673         = specExpr subst_rhs rhs                `thenSM` \ (rhs', uds) ->
674           let
675              (uds', rhs'') = dumpUDs args uds rhs'
676           in
677           returnSM ((con, args', rhs''), uds')
678         where
679           (subst_rhs, args') = simplBndrs subst_alt args
680
681 ---------------- Finally, let is the interesting case --------------------
682 specExpr subst (Let bind body)
683   =     -- Clone binders
684     cloneBindSM subst bind                      `thenSM` \ (rhs_subst, body_subst, bind') ->
685         
686         -- Deal with the body
687     specExpr body_subst body                    `thenSM` \ (body', body_uds) ->
688
689         -- Deal with the bindings
690     specBind rhs_subst bind' body_uds           `thenSM` \ (binds', uds) ->
691
692         -- All done
693     returnSM (foldr Let body' binds', uds)
694
695 -- Must apply the type substitution to coerceions
696 specNote subst (Coerce t1 t2) = Coerce (substTy subst t1) (substTy subst t2)
697 specNote subst note           = note
698 \end{code}
699
700 %************************************************************************
701 %*                                                                      *
702 \subsubsection{Dealing with a binding}
703 %*                                                                      *
704 %************************************************************************
705
706 \begin{code}
707 specBind :: Subst                       -- Use this for RHSs
708          -> CoreBind
709          -> UsageDetails                -- Info on how the scope of the binding
710          -> SpecM ([CoreBind],          -- New bindings
711                    UsageDetails)        -- And info to pass upstream
712
713 specBind rhs_subst bind body_uds
714   = specBindItself rhs_subst bind (calls body_uds)      `thenSM` \ (bind', bind_uds) ->
715     let
716         bndrs   = bindersOf bind
717         all_uds = zapCalls bndrs (body_uds `plusUDs` bind_uds)
718                         -- It's important that the `plusUDs` is this way round,
719                         -- because body_uds may bind dictionaries that are
720                         -- used in the calls passed to specDefn.  So the
721                         -- dictionary bindings in bind_uds may mention 
722                         -- dictionaries bound in body_uds.
723     in
724     case splitUDs bndrs all_uds of
725
726         (_, ([],[]))    -- This binding doesn't bind anything needed
727                         -- in the UDs, so put the binding here
728                         -- This is the case for most non-dict bindings, except
729                         -- for the few that are mentioned in a dict binding
730                         -- that is floating upwards in body_uds
731                 -> returnSM ([bind'], all_uds)
732
733         (float_uds, (dict_binds, calls))        -- This binding is needed in the UDs, so float it out
734                 -> returnSM ([], float_uds `plusUDs` mkBigUD bind' dict_binds calls)
735    
736
737 -- A truly gruesome function
738 mkBigUD bind@(NonRec _ _) dbs calls
739   =     -- Common case: non-recursive and no specialisations
740         -- (if there were any specialistions it would have been made recursive)
741     MkUD { dict_binds = listToBag (mkDB bind : dbs),
742            calls = listToCallDetails calls }
743
744 mkBigUD bind dbs calls
745   =     -- General case
746     MkUD { dict_binds = unitBag (mkDB (Rec (bind_prs bind ++ dbsToPairs dbs))),
747                         -- Make a huge Rec
748            calls = listToCallDetails calls }
749   where
750     bind_prs (NonRec b r) = [(b,r)]
751     bind_prs (Rec prs)    = prs
752
753     dbsToPairs []             = []
754     dbsToPairs ((bind,_):dbs) = bind_prs bind ++ dbsToPairs dbs
755
756 -- specBindItself deals with the RHS, specialising it according
757 -- to the calls found in the body (if any)
758 specBindItself rhs_subst (NonRec bndr rhs) call_info
759   = specDefn rhs_subst call_info (bndr,rhs)     `thenSM` \ ((bndr',rhs'), spec_defns, spec_uds) ->
760     let
761         new_bind | null spec_defns = NonRec bndr' rhs'
762                  | otherwise       = Rec ((bndr',rhs'):spec_defns)
763                 -- bndr' mentions the spec_defns in its SpecEnv
764                 -- Not sure why we couln't just put the spec_defns first
765     in
766     returnSM (new_bind, spec_uds)
767
768 specBindItself rhs_subst (Rec pairs) call_info
769   = mapSM (specDefn rhs_subst call_info) pairs  `thenSM` \ stuff ->
770     let
771         (pairs', spec_defns_s, spec_uds_s) = unzip3 stuff
772         spec_defns = concat spec_defns_s
773         spec_uds   = plusUDList spec_uds_s
774         new_bind   = Rec (spec_defns ++ pairs')
775     in
776     returnSM (new_bind, spec_uds)
777     
778
779 specDefn :: Subst                       -- Subst to use for RHS
780          -> CallDetails                 -- Info on how it is used in its scope
781          -> (Id, CoreExpr)              -- The thing being bound and its un-processed RHS
782          -> SpecM ((Id, CoreExpr),      -- The thing and its processed RHS
783                                         --      the Id may now have specialisations attached
784                    [(Id,CoreExpr)],     -- Extra, specialised bindings
785                    UsageDetails         -- Stuff to fling upwards from the RHS and its
786             )                           --      specialised versions
787
788 specDefn subst calls (fn, rhs)
789         -- The first case is the interesting one
790   |  n_tyvars == length rhs_tyvars      -- Rhs of fn's defn has right number of big lambdas
791   && n_dicts  <= length rhs_bndrs       -- and enough dict args
792   && not (null calls_for_me)            -- And there are some calls to specialise
793   && not (certainlyWillInline fn)       -- And it's not small
794                                         -- If it's small, it's better just to inline
795                                         -- it than to construct lots of specialisations
796   =   -- Specialise the body of the function
797     specExpr subst rhs                                  `thenSM` \ (rhs', rhs_uds) ->
798
799       -- Make a specialised version for each call in calls_for_me
800     mapSM spec_call calls_for_me                `thenSM` \ stuff ->
801     let
802         (spec_defns, spec_uds, spec_rules) = unzip3 stuff
803
804         fn' = addIdSpecialisations zapped_fn spec_rules
805     in
806     returnSM ((fn',rhs'), 
807               spec_defns, 
808               rhs_uds `plusUDs` plusUDList spec_uds)
809
810   | otherwise   -- No calls or RHS doesn't fit our preconceptions
811   = specExpr subst rhs                  `thenSM` \ (rhs', rhs_uds) ->
812     returnSM ((zapped_fn, rhs'), [], rhs_uds)
813   
814   where
815     zapped_fn            = zapSpecPragmaId fn
816         -- If the fn is a SpecPragmaId, make it discardable
817         -- It's role as a holder for a call instance is o'er
818         -- But it might be alive for some other reason by now.
819
820     fn_type            = idType fn
821     (tyvars, theta, _) = splitSigmaTy fn_type
822     n_tyvars           = length tyvars
823     n_dicts            = length theta
824
825     (rhs_tyvars, rhs_ids, rhs_body) = collectTyAndValBinders rhs
826     rhs_dicts = take n_dicts rhs_ids
827     rhs_bndrs = rhs_tyvars ++ rhs_dicts
828     body      = mkLams (drop n_dicts rhs_ids) rhs_body
829                 -- Glue back on the non-dict lambdas
830
831     calls_for_me = case lookupFM calls fn of
832                         Nothing -> []
833                         Just cs -> fmToList cs
834
835     ----------------------------------------------------------
836         -- Specialise to one particular call pattern
837     spec_call :: ([Maybe Type], ([DictExpr], VarSet))   -- Call instance
838               -> SpecM ((Id,CoreExpr),                  -- Specialised definition
839                         UsageDetails,                   -- Usage details from specialised body
840                         CoreRule)                       -- Info for the Id's SpecEnv
841     spec_call (call_ts, (call_ds, call_fvs))
842       = ASSERT( length call_ts == n_tyvars && length call_ds == n_dicts )
843                 -- Calls are only recorded for properly-saturated applications
844         
845         -- Suppose f's defn is  f = /\ a b c d -> \ d1 d2 -> rhs        
846         -- Supppose the call is for f [Just t1, Nothing, Just t3, Nothing] [dx1, dx2]
847
848         -- Construct the new binding
849         --      f1 = SUBST[a->t1,c->t3, d1->d1', d2->d2'] (/\ b d -> rhs)
850         -- PLUS the usage-details
851         --      { d1' = dx1; d2' = dx2 }
852         -- where d1', d2' are cloned versions of d1,d2, with the type substitution applied.
853         --
854         -- Note that the substitution is applied to the whole thing.
855         -- This is convenient, but just slightly fragile.  Notably:
856         --      * There had better be no name clashes in a/b/c/d
857         --
858         let
859                 -- poly_tyvars = [b,d] in the example above
860                 -- spec_tyvars = [a,c] 
861                 -- ty_args     = [t1,b,t3,d]
862            poly_tyvars = [tv | (tv, Nothing) <- rhs_tyvars `zip` call_ts]
863            spec_tyvars = [tv | (tv, Just _)  <- rhs_tyvars `zip` call_ts]
864            ty_args     = zipWithEqual "spec_call" mk_ty_arg rhs_tyvars call_ts
865                        where
866                          mk_ty_arg rhs_tyvar Nothing   = Type (mkTyVarTy rhs_tyvar)
867                          mk_ty_arg rhs_tyvar (Just ty) = Type ty
868            rhs_subst  = extendSubstList subst spec_tyvars [DoneTy ty | Just ty <- call_ts]
869         in
870         cloneBinders rhs_subst rhs_dicts                `thenSM` \ (rhs_subst', rhs_dicts') ->
871         let
872            inst_args = ty_args ++ map Var rhs_dicts'
873
874                 -- Figure out the type of the specialised function
875            spec_id_ty = mkForAllTys poly_tyvars (applyTypeToArgs rhs fn_type inst_args)
876         in
877         newIdSM fn spec_id_ty                           `thenSM` \ spec_f ->
878         specExpr rhs_subst' (mkLams poly_tyvars body)   `thenSM` \ (spec_rhs, rhs_uds) ->       
879         let
880                 -- The rule to put in the function's specialisation is:
881                 --      forall b,d, d1',d2'.  f t1 b t3 d d1' d2' = f1 b d  
882            spec_env_rule = Rule (_PK_ ("SPEC " ++ showSDoc (ppr fn)))
883                                 (poly_tyvars ++ rhs_dicts')
884                                 inst_args 
885                                 (mkTyApps (Var spec_f) (map mkTyVarTy poly_tyvars))
886
887                 -- Add the { d1' = dx1; d2' = dx2 } usage stuff
888            final_uds = foldr addDictBind rhs_uds (my_zipEqual "spec_call" rhs_dicts' call_ds)
889         in
890         returnSM ((spec_f, spec_rhs),
891                   final_uds,
892                   spec_env_rule)
893
894       where
895         my_zipEqual doc xs ys 
896          | length xs /= length ys = pprPanic "my_zipEqual" (ppr xs $$ ppr ys $$ (ppr fn <+> ppr call_ts) $$ ppr rhs)
897          | otherwise              = zipEqual doc xs ys
898 \end{code}
899
900 %************************************************************************
901 %*                                                                      *
902 \subsubsection{UsageDetails and suchlike}
903 %*                                                                      *
904 %************************************************************************
905
906 \begin{code}
907 data UsageDetails 
908   = MkUD {
909         dict_binds :: !(Bag DictBind),
910                         -- Floated dictionary bindings
911                         -- The order is important; 
912                         -- in ds1 `union` ds2, bindings in ds2 can depend on those in ds1
913                         -- (Remember, Bags preserve order in GHC.)
914
915         calls     :: !CallDetails
916     }
917
918 type DictBind = (CoreBind, VarSet)
919         -- The set is the free vars of the binding
920         -- both tyvars and dicts
921
922 type DictExpr = CoreExpr
923
924 emptyUDs = MkUD { dict_binds = emptyBag, calls = emptyFM }
925
926 type ProtoUsageDetails = ([DictBind],
927                           [(Id, [Maybe Type], ([DictExpr], VarSet))]
928                          )
929
930 ------------------------------------------------------------                    
931 type CallDetails  = FiniteMap Id CallInfo
932 type CallInfo     = FiniteMap [Maybe Type]                      -- Nothing => unconstrained type argument
933                               ([DictExpr], VarSet)              -- Dict args and the vars of the whole
934                                                                 -- call (including tyvars)
935                                                                 -- [*not* include the main id itself, of course]
936         -- The finite maps eliminate duplicates
937         -- The list of types and dictionaries is guaranteed to
938         -- match the type of f
939
940 unionCalls :: CallDetails -> CallDetails -> CallDetails
941 unionCalls c1 c2 = plusFM_C plusFM c1 c2
942
943 singleCall :: Id -> [Maybe Type] -> [DictExpr] -> CallDetails
944 singleCall id tys dicts 
945   = unitFM id (unitFM tys (dicts, call_fvs))
946   where
947     call_fvs = exprsFreeVars dicts `unionVarSet` tys_fvs
948     tys_fvs  = tyVarsOfTypes (catMaybes tys)
949         -- The type args (tys) are guaranteed to be part of the dictionary
950         -- types, because they are just the constrained types,
951         -- and the dictionary is therefore sure to be bound
952         -- inside the binding for any type variables free in the type;
953         -- hence it's safe to neglect tyvars free in tys when making
954         -- the free-var set for this call
955         -- BUT I don't trust this reasoning; play safe and include tys_fvs
956         --
957         -- We don't include the 'id' itself.
958
959 listToCallDetails calls
960   = foldr (unionCalls . mk_call) emptyFM calls
961   where
962     mk_call (id, tys, dicts_w_fvs) = unitFM id (unitFM tys dicts_w_fvs)
963         -- NB: the free vars of the call are provided
964
965 callDetailsToList calls = [ (id,tys,dicts)
966                           | (id,fm) <- fmToList calls,
967                             (tys,dicts) <- fmToList fm
968                           ]
969
970 mkCallUDs subst f args 
971   | null theta
972   || length spec_tys /= n_tyvars
973   || length dicts    /= n_dicts
974   || maybeToBool (lookupRule (substInScope subst) f args)
975         -- There's already a rule covering this call.  A typical case
976         -- is where there's an explicit user-provided rule.  Then
977         -- we don't want to create a specialised version 
978         -- of the function that overlaps.
979   = emptyUDs    -- Not overloaded, or no specialisation wanted
980
981   | otherwise
982   = MkUD {dict_binds = emptyBag, 
983           calls      = singleCall f spec_tys dicts
984     }
985   where
986     (tyvars, theta, _) = splitSigmaTy (idType f)
987     constrained_tyvars = tyVarsOfTheta theta 
988     n_tyvars           = length tyvars
989     n_dicts            = length theta
990
991     spec_tys = [mk_spec_ty tv ty | (tv, Type ty) <- tyvars `zip` args]
992     dicts    = [dict_expr | (_, dict_expr) <- theta `zip` (drop n_tyvars args)]
993     
994     mk_spec_ty tyvar ty | tyvar `elemVarSet` constrained_tyvars
995                         = Just ty
996                         | otherwise
997                         = Nothing
998
999 ------------------------------------------------------------                    
1000 plusUDs :: UsageDetails -> UsageDetails -> UsageDetails
1001 plusUDs (MkUD {dict_binds = db1, calls = calls1})
1002         (MkUD {dict_binds = db2, calls = calls2})
1003   = MkUD {dict_binds = d, calls = c}
1004   where
1005     d = db1    `unionBags`   db2 
1006     c = calls1 `unionCalls`  calls2
1007
1008 plusUDList = foldr plusUDs emptyUDs
1009
1010 -- zapCalls deletes calls to ids from uds
1011 zapCalls ids uds = uds {calls = delListFromFM (calls uds) ids}
1012
1013 mkDB bind = (bind, bind_fvs bind)
1014
1015 bind_fvs (NonRec bndr rhs) = exprFreeVars rhs
1016 bind_fvs (Rec prs)         = foldl delVarSet rhs_fvs bndrs
1017                            where
1018                              bndrs = map fst prs
1019                              rhs_fvs = unionVarSets [exprFreeVars rhs | (bndr,rhs) <- prs]
1020
1021 addDictBind (dict,rhs) uds = uds { dict_binds = mkDB (NonRec dict rhs) `consBag` dict_binds uds }
1022
1023 dumpAllDictBinds (MkUD {dict_binds = dbs}) binds
1024   = foldrBag add binds dbs
1025   where
1026     add (bind,_) binds = bind : binds
1027
1028 dumpUDs :: [CoreBndr]
1029         -> UsageDetails -> CoreExpr
1030         -> (UsageDetails, CoreExpr)
1031 dumpUDs bndrs uds body
1032   = (free_uds, foldr add_let body dict_binds)
1033   where
1034     (free_uds, (dict_binds, _)) = splitUDs bndrs uds
1035     add_let (bind,_) body       = Let bind body
1036
1037 splitUDs :: [CoreBndr]
1038          -> UsageDetails
1039          -> (UsageDetails,              -- These don't mention the binders
1040              ProtoUsageDetails)         -- These do
1041              
1042 splitUDs bndrs uds@(MkUD {dict_binds = orig_dbs, 
1043                           calls      = orig_calls})
1044
1045   = if isEmptyBag dump_dbs && null dump_calls then
1046         -- Common case: binder doesn't affect floats
1047         (uds, ([],[]))  
1048
1049     else
1050         -- Binders bind some of the fvs of the floats
1051         (MkUD {dict_binds = free_dbs, 
1052                calls      = listToCallDetails free_calls},
1053          (bagToList dump_dbs, dump_calls)
1054         )
1055
1056   where
1057     bndr_set = mkVarSet bndrs
1058
1059     (free_dbs, dump_dbs, dump_idset) 
1060           = foldlBag dump_db (emptyBag, emptyBag, bndr_set) orig_dbs
1061                 -- Important that it's foldl not foldr;
1062                 -- we're accumulating the set of dumped ids in dump_set
1063
1064         -- Filter out any calls that mention things that are being dumped
1065     orig_call_list                 = callDetailsToList orig_calls
1066     (dump_calls, free_calls)       = partition captured orig_call_list
1067     captured (id,tys,(dicts, fvs)) =  fvs `intersectsVarSet` dump_idset
1068                                    || id `elemVarSet` dump_idset
1069
1070     dump_db (free_dbs, dump_dbs, dump_idset) db@(bind, fvs)
1071         | dump_idset `intersectsVarSet` fvs     -- Dump it
1072         = (free_dbs, dump_dbs `snocBag` db,
1073            dump_idset `unionVarSet` mkVarSet (bindersOf bind))
1074
1075         | otherwise     -- Don't dump it
1076         = (free_dbs `snocBag` db, dump_dbs, dump_idset)
1077 \end{code}
1078
1079
1080 %************************************************************************
1081 %*                                                                      *
1082 \subsubsection{Boring helper functions}
1083 %*                                                                      *
1084 %************************************************************************
1085
1086 \begin{code}
1087 lookupId:: IdEnv Id -> Id -> Id
1088 lookupId env id = case lookupVarEnv env id of
1089                         Nothing  -> id
1090                         Just id' -> id'
1091
1092 ----------------------------------------
1093 type SpecM a = UniqSM a
1094
1095 thenSM    = thenUs
1096 returnSM  = returnUs
1097 getUniqSM = getUniqueUs
1098 mapSM     = mapUs
1099 initSM    = initUs_
1100
1101 mapAndCombineSM f []     = returnSM ([], emptyUDs)
1102 mapAndCombineSM f (x:xs) = f x  `thenSM` \ (y, uds1) ->
1103                            mapAndCombineSM f xs `thenSM` \ (ys, uds2) ->
1104                            returnSM (y:ys, uds1 `plusUDs` uds2)
1105
1106 cloneBindSM :: Subst -> CoreBind -> SpecM (Subst, Subst, CoreBind)
1107 -- Clone the binders of the bind; return new bind with the cloned binders
1108 -- Return the substitution to use for RHSs, and the one to use for the body
1109 cloneBindSM subst (NonRec bndr rhs)
1110   = getUs       `thenUs` \ us ->
1111     let
1112         (subst', bndr') = substAndCloneId subst us bndr
1113     in
1114     returnUs (subst, subst', NonRec bndr' rhs)
1115
1116 cloneBindSM subst (Rec pairs)
1117   = getUs       `thenUs` \ us ->
1118     let
1119         (subst', bndrs') = substAndCloneRecIds subst us (map fst pairs)
1120     in
1121     returnUs (subst', subst', Rec (bndrs' `zip` map snd pairs))
1122
1123 cloneBinders subst bndrs
1124   = getUs       `thenUs` \ us ->
1125     returnUs (substAndCloneIds subst us bndrs)
1126
1127 newIdSM old_id new_ty
1128   = getUniqSM           `thenSM` \ uniq ->
1129     let 
1130         -- Give the new Id a similar occurrence name to the old one
1131         name   = idName old_id
1132         new_id = mkUserLocal (mkSpecOcc (nameOccName name)) uniq new_ty (getSrcLoc name)
1133     in
1134     returnSM new_id
1135 \end{code}
1136
1137
1138                 Old (but interesting) stuff about unboxed bindings
1139                 ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
1140
1141 What should we do when a value is specialised to a *strict* unboxed value?
1142
1143         map_*_* f (x:xs) = let h = f x
1144                                t = map f xs
1145                            in h:t
1146
1147 Could convert let to case:
1148
1149         map_*_Int# f (x:xs) = case f x of h# ->
1150                               let t = map f xs
1151                               in h#:t
1152
1153 This may be undesirable since it forces evaluation here, but the value
1154 may not be used in all branches of the body. In the general case this
1155 transformation is impossible since the mutual recursion in a letrec
1156 cannot be expressed as a case.
1157
1158 There is also a problem with top-level unboxed values, since our
1159 implementation cannot handle unboxed values at the top level.
1160
1161 Solution: Lift the binding of the unboxed value and extract it when it
1162 is used:
1163
1164         map_*_Int# f (x:xs) = let h = case (f x) of h# -> _Lift h#
1165                                   t = map f xs
1166                               in case h of
1167                                  _Lift h# -> h#:t
1168
1169 Now give it to the simplifier and the _Lifting will be optimised away.
1170
1171 The benfit is that we have given the specialised "unboxed" values a
1172 very simplep lifted semantics and then leave it up to the simplifier to
1173 optimise it --- knowing that the overheads will be removed in nearly
1174 all cases.
1175
1176 In particular, the value will only be evaluted in the branches of the
1177 program which use it, rather than being forced at the point where the
1178 value is bound. For example:
1179
1180         filtermap_*_* p f (x:xs)
1181           = let h = f x
1182                 t = ...
1183             in case p x of
1184                 True  -> h:t
1185                 False -> t
1186    ==>
1187         filtermap_*_Int# p f (x:xs)
1188           = let h = case (f x) of h# -> _Lift h#
1189                 t = ...
1190             in case p x of
1191                 True  -> case h of _Lift h#
1192                            -> h#:t
1193                 False -> t
1194
1195 The binding for h can still be inlined in the one branch and the
1196 _Lifting eliminated.
1197
1198
1199 Question: When won't the _Lifting be eliminated?
1200
1201 Answer: When they at the top-level (where it is necessary) or when
1202 inlining would duplicate work (or possibly code depending on
1203 options). However, the _Lifting will still be eliminated if the
1204 strictness analyser deems the lifted binding strict.
1205