[project @ 2001-06-25 08:09:57 by simonpj]
[ghc-hetmet.git] / ghc / compiler / specialise / Specialise.lhs
1 %
2 % (c) The GRASP/AQUA Project, Glasgow University, 1993-1998
3 %
4 \section[Specialise]{Stamping out overloading, and (optionally) polymorphism}
5
6 \begin{code}
7 module Specialise ( specProgram ) where
8
9 #include "HsVersions.h"
10
11 import CmdLineOpts      ( DynFlags, DynFlag(..) )
12 import Id               ( Id, idName, idType, mkUserLocal,
13                           idSpecialisation, modifyIdInfo
14                         )
15 import TcType           ( Type, mkTyVarTy, tcSplitSigmaTy, 
16                           tyVarsOfTypes, tyVarsOfTheta, 
17                           mkForAllTys, tcCmpType
18                         )
19 import Subst            ( Subst, mkSubst, substTy, mkSubst, extendSubstList, mkInScopeSet,
20                           simplBndr, simplBndrs, 
21                           substAndCloneId, substAndCloneIds, substAndCloneRecIds,
22                           lookupIdSubst, substInScope
23                         ) 
24 import Var              ( zapSpecPragmaId )
25 import VarSet
26 import VarEnv
27 import CoreSyn
28 import CoreUtils        ( applyTypeToArgs )
29 import CoreUnfold       ( certainlyWillInline )
30 import CoreFVs          ( exprFreeVars, exprsFreeVars )
31 import CoreLint         ( showPass, endPass )
32 import PprCore          ( pprCoreRules )
33 import Rules            ( addIdSpecialisations, lookupRule )
34
35 import UniqSupply       ( UniqSupply,
36                           UniqSM, initUs_, thenUs, returnUs, getUniqueUs, 
37                           getUs, mapUs
38                         )
39 import Name             ( nameOccName, mkSpecOcc, getSrcLoc )
40 import FiniteMap
41 import Maybes           ( catMaybes, maybeToBool )
42 import ErrUtils         ( dumpIfSet_dyn )
43 import Bag
44 import List             ( partition )
45 import Util             ( zipEqual, zipWithEqual, cmpList )
46 import Outputable
47
48
49 infixr 9 `thenSM`
50 \end{code}
51
52 %************************************************************************
53 %*                                                                      *
54 \subsection[notes-Specialise]{Implementation notes [SLPJ, Aug 18 1993]}
55 %*                                                                      *
56 %************************************************************************
57
58 These notes describe how we implement specialisation to eliminate
59 overloading.
60
61 The specialisation pass works on Core
62 syntax, complete with all the explicit dictionary application,
63 abstraction and construction as added by the type checker.  The
64 existing type checker remains largely as it is.
65
66 One important thought: the {\em types} passed to an overloaded
67 function, and the {\em dictionaries} passed are mutually redundant.
68 If the same function is applied to the same type(s) then it is sure to
69 be applied to the same dictionary(s)---or rather to the same {\em
70 values}.  (The arguments might look different but they will evaluate
71 to the same value.)
72
73 Second important thought: we know that we can make progress by
74 treating dictionary arguments as static and worth specialising on.  So
75 we can do without binding-time analysis, and instead specialise on
76 dictionary arguments and no others.
77
78 The basic idea
79 ~~~~~~~~~~~~~~
80 Suppose we have
81
82         let f = <f_rhs>
83         in <body>
84
85 and suppose f is overloaded.
86
87 STEP 1: CALL-INSTANCE COLLECTION
88
89 We traverse <body>, accumulating all applications of f to types and
90 dictionaries.
91
92 (Might there be partial applications, to just some of its types and
93 dictionaries?  In principle yes, but in practice the type checker only
94 builds applications of f to all its types and dictionaries, so partial
95 applications could only arise as a result of transformation, and even
96 then I think it's unlikely.  In any case, we simply don't accumulate such
97 partial applications.)
98
99
100 STEP 2: EQUIVALENCES
101
102 So now we have a collection of calls to f:
103         f t1 t2 d1 d2
104         f t3 t4 d3 d4
105         ...
106 Notice that f may take several type arguments.  To avoid ambiguity, we
107 say that f is called at type t1/t2 and t3/t4.
108
109 We take equivalence classes using equality of the *types* (ignoring
110 the dictionary args, which as mentioned previously are redundant).
111
112 STEP 3: SPECIALISATION
113
114 For each equivalence class, choose a representative (f t1 t2 d1 d2),
115 and create a local instance of f, defined thus:
116
117         f@t1/t2 = <f_rhs> t1 t2 d1 d2
118
119 f_rhs presumably has some big lambdas and dictionary lambdas, so lots
120 of simplification will now result.  However we don't actually *do* that
121 simplification.  Rather, we leave it for the simplifier to do.  If we
122 *did* do it, though, we'd get more call instances from the specialised
123 RHS.  We can work out what they are by instantiating the call-instance
124 set from f's RHS with the types t1, t2.
125
126 Add this new id to f's IdInfo, to record that f has a specialised version.
127
128 Before doing any of this, check that f's IdInfo doesn't already
129 tell us about an existing instance of f at the required type/s.
130 (This might happen if specialisation was applied more than once, or
131 it might arise from user SPECIALIZE pragmas.)
132
133 Recursion
134 ~~~~~~~~~
135 Wait a minute!  What if f is recursive?  Then we can't just plug in
136 its right-hand side, can we?
137
138 But it's ok.  The type checker *always* creates non-recursive definitions
139 for overloaded recursive functions.  For example:
140
141         f x = f (x+x)           -- Yes I know its silly
142
143 becomes
144
145         f a (d::Num a) = let p = +.sel a d
146                          in
147                          letrec fl (y::a) = fl (p y y)
148                          in
149                          fl
150
151 We still have recusion for non-overloaded functions which we
152 speciailise, but the recursive call should get specialised to the
153 same recursive version.
154
155
156 Polymorphism 1
157 ~~~~~~~~~~~~~~
158
159 All this is crystal clear when the function is applied to *constant
160 types*; that is, types which have no type variables inside.  But what if
161 it is applied to non-constant types?  Suppose we find a call of f at type
162 t1/t2.  There are two possibilities:
163
164 (a) The free type variables of t1, t2 are in scope at the definition point
165 of f.  In this case there's no problem, we proceed just as before.  A common
166 example is as follows.  Here's the Haskell:
167
168         g y = let f x = x+x
169               in f y + f y
170
171 After typechecking we have
172
173         g a (d::Num a) (y::a) = let f b (d'::Num b) (x::b) = +.sel b d' x x
174                                 in +.sel a d (f a d y) (f a d y)
175
176 Notice that the call to f is at type type "a"; a non-constant type.
177 Both calls to f are at the same type, so we can specialise to give:
178
179         g a (d::Num a) (y::a) = let f@a (x::a) = +.sel a d x x
180                                 in +.sel a d (f@a y) (f@a y)
181
182
183 (b) The other case is when the type variables in the instance types
184 are *not* in scope at the definition point of f.  The example we are
185 working with above is a good case.  There are two instances of (+.sel a d),
186 but "a" is not in scope at the definition of +.sel.  Can we do anything?
187 Yes, we can "common them up", a sort of limited common sub-expression deal.
188 This would give:
189
190         g a (d::Num a) (y::a) = let +.sel@a = +.sel a d
191                                     f@a (x::a) = +.sel@a x x
192                                 in +.sel@a (f@a y) (f@a y)
193
194 This can save work, and can't be spotted by the type checker, because
195 the two instances of +.sel weren't originally at the same type.
196
197 Further notes on (b)
198
199 * There are quite a few variations here.  For example, the defn of
200   +.sel could be floated ouside the \y, to attempt to gain laziness.
201   It certainly mustn't be floated outside the \d because the d has to
202   be in scope too.
203
204 * We don't want to inline f_rhs in this case, because
205 that will duplicate code.  Just commoning up the call is the point.
206
207 * Nothing gets added to +.sel's IdInfo.
208
209 * Don't bother unless the equivalence class has more than one item!
210
211 Not clear whether this is all worth it.  It is of course OK to
212 simply discard call-instances when passing a big lambda.
213
214 Polymorphism 2 -- Overloading
215 ~~~~~~~~~~~~~~
216 Consider a function whose most general type is
217
218         f :: forall a b. Ord a => [a] -> b -> b
219
220 There is really no point in making a version of g at Int/Int and another
221 at Int/Bool, because it's only instancing the type variable "a" which
222 buys us any efficiency. Since g is completely polymorphic in b there
223 ain't much point in making separate versions of g for the different
224 b types.
225
226 That suggests that we should identify which of g's type variables
227 are constrained (like "a") and which are unconstrained (like "b").
228 Then when taking equivalence classes in STEP 2, we ignore the type args
229 corresponding to unconstrained type variable.  In STEP 3 we make
230 polymorphic versions.  Thus:
231
232         f@t1/ = /\b -> <f_rhs> t1 b d1 d2
233
234 We do this.
235
236
237 Dictionary floating
238 ~~~~~~~~~~~~~~~~~~~
239 Consider this
240
241         f a (d::Num a) = let g = ...
242                          in
243                          ...(let d1::Ord a = Num.Ord.sel a d in g a d1)...
244
245 Here, g is only called at one type, but the dictionary isn't in scope at the
246 definition point for g.  Usually the type checker would build a
247 definition for d1 which enclosed g, but the transformation system
248 might have moved d1's defn inward.  Solution: float dictionary bindings
249 outwards along with call instances.
250
251 Consider
252
253         f x = let g p q = p==q
254                   h r s = (r+s, g r s)
255               in
256               h x x
257
258
259 Before specialisation, leaving out type abstractions we have
260
261         f df x = let g :: Eq a => a -> a -> Bool
262                      g dg p q = == dg p q
263                      h :: Num a => a -> a -> (a, Bool)
264                      h dh r s = let deq = eqFromNum dh
265                                 in (+ dh r s, g deq r s)
266               in
267               h df x x
268
269 After specialising h we get a specialised version of h, like this:
270
271                     h' r s = let deq = eqFromNum df
272                              in (+ df r s, g deq r s)
273
274 But we can't naively make an instance for g from this, because deq is not in scope
275 at the defn of g.  Instead, we have to float out the (new) defn of deq
276 to widen its scope.  Notice that this floating can't be done in advance -- it only
277 shows up when specialisation is done.
278
279 User SPECIALIZE pragmas
280 ~~~~~~~~~~~~~~~~~~~~~~~
281 Specialisation pragmas can be digested by the type checker, and implemented
282 by adding extra definitions along with that of f, in the same way as before
283
284         f@t1/t2 = <f_rhs> t1 t2 d1 d2
285
286 Indeed the pragmas *have* to be dealt with by the type checker, because
287 only it knows how to build the dictionaries d1 and d2!  For example
288
289         g :: Ord a => [a] -> [a]
290         {-# SPECIALIZE f :: [Tree Int] -> [Tree Int] #-}
291
292 Here, the specialised version of g is an application of g's rhs to the
293 Ord dictionary for (Tree Int), which only the type checker can conjure
294 up.  There might not even *be* one, if (Tree Int) is not an instance of
295 Ord!  (All the other specialision has suitable dictionaries to hand
296 from actual calls.)
297
298 Problem.  The type checker doesn't have to hand a convenient <f_rhs>, because
299 it is buried in a complex (as-yet-un-desugared) binding group.
300 Maybe we should say
301
302         f@t1/t2 = f* t1 t2 d1 d2
303
304 where f* is the Id f with an IdInfo which says "inline me regardless!".
305 Indeed all the specialisation could be done in this way.
306 That in turn means that the simplifier has to be prepared to inline absolutely
307 any in-scope let-bound thing.
308
309
310 Again, the pragma should permit polymorphism in unconstrained variables:
311
312         h :: Ord a => [a] -> b -> b
313         {-# SPECIALIZE h :: [Int] -> b -> b #-}
314
315 We *insist* that all overloaded type variables are specialised to ground types,
316 (and hence there can be no context inside a SPECIALIZE pragma).
317 We *permit* unconstrained type variables to be specialised to
318         - a ground type
319         - or left as a polymorphic type variable
320 but nothing in between.  So
321
322         {-# SPECIALIZE h :: [Int] -> [c] -> [c] #-}
323
324 is *illegal*.  (It can be handled, but it adds complication, and gains the
325 programmer nothing.)
326
327
328 SPECIALISING INSTANCE DECLARATIONS
329 ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
330 Consider
331
332         instance Foo a => Foo [a] where
333                 ...
334         {-# SPECIALIZE instance Foo [Int] #-}
335
336 The original instance decl creates a dictionary-function
337 definition:
338
339         dfun.Foo.List :: forall a. Foo a -> Foo [a]
340
341 The SPECIALIZE pragma just makes a specialised copy, just as for
342 ordinary function definitions:
343
344         dfun.Foo.List@Int :: Foo [Int]
345         dfun.Foo.List@Int = dfun.Foo.List Int dFooInt
346
347 The information about what instance of the dfun exist gets added to
348 the dfun's IdInfo in the same way as a user-defined function too.
349
350
351 Automatic instance decl specialisation?
352 ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
353 Can instance decls be specialised automatically?  It's tricky.
354 We could collect call-instance information for each dfun, but
355 then when we specialised their bodies we'd get new call-instances
356 for ordinary functions; and when we specialised their bodies, we might get
357 new call-instances of the dfuns, and so on.  This all arises because of
358 the unrestricted mutual recursion between instance decls and value decls.
359
360 Still, there's no actual problem; it just means that we may not do all
361 the specialisation we could theoretically do.
362
363 Furthermore, instance decls are usually exported and used non-locally,
364 so we'll want to compile enough to get those specialisations done.
365
366 Lastly, there's no such thing as a local instance decl, so we can
367 survive solely by spitting out *usage* information, and then reading that
368 back in as a pragma when next compiling the file.  So for now,
369 we only specialise instance decls in response to pragmas.
370
371
372 SPITTING OUT USAGE INFORMATION
373 ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
374
375 To spit out usage information we need to traverse the code collecting
376 call-instance information for all imported (non-prelude?) functions
377 and data types. Then we equivalence-class it and spit it out.
378
379 This is done at the top-level when all the call instances which escape
380 must be for imported functions and data types.
381
382 *** Not currently done ***
383
384
385 Partial specialisation by pragmas
386 ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
387 What about partial specialisation:
388
389         k :: (Ord a, Eq b) => [a] -> b -> b -> [a]
390         {-# SPECIALIZE k :: Eq b => [Int] -> b -> b -> [a] #-}
391
392 or even
393
394         {-# SPECIALIZE k :: Eq b => [Int] -> [b] -> [b] -> [a] #-}
395
396 Seems quite reasonable.  Similar things could be done with instance decls:
397
398         instance (Foo a, Foo b) => Foo (a,b) where
399                 ...
400         {-# SPECIALIZE instance Foo a => Foo (a,Int) #-}
401         {-# SPECIALIZE instance Foo b => Foo (Int,b) #-}
402
403 Ho hum.  Things are complex enough without this.  I pass.
404
405
406 Requirements for the simplifer
407 ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
408 The simplifier has to be able to take advantage of the specialisation.
409
410 * When the simplifier finds an application of a polymorphic f, it looks in
411 f's IdInfo in case there is a suitable instance to call instead.  This converts
412
413         f t1 t2 d1 d2   ===>   f_t1_t2
414
415 Note that the dictionaries get eaten up too!
416
417 * Dictionary selection operations on constant dictionaries must be
418   short-circuited:
419
420         +.sel Int d     ===>  +Int
421
422 The obvious way to do this is in the same way as other specialised
423 calls: +.sel has inside it some IdInfo which tells that if it's applied
424 to the type Int then it should eat a dictionary and transform to +Int.
425
426 In short, dictionary selectors need IdInfo inside them for constant
427 methods.
428
429 * Exactly the same applies if a superclass dictionary is being
430   extracted:
431
432         Eq.sel Int d   ===>   dEqInt
433
434 * Something similar applies to dictionary construction too.  Suppose
435 dfun.Eq.List is the function taking a dictionary for (Eq a) to
436 one for (Eq [a]).  Then we want
437
438         dfun.Eq.List Int d      ===> dEq.List_Int
439
440 Where does the Eq [Int] dictionary come from?  It is built in
441 response to a SPECIALIZE pragma on the Eq [a] instance decl.
442
443 In short, dfun Ids need IdInfo with a specialisation for each
444 constant instance of their instance declaration.
445
446 All this uses a single mechanism: the SpecEnv inside an Id
447
448
449 What does the specialisation IdInfo look like?
450 ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
451
452 The SpecEnv of an Id maps a list of types (the template) to an expression
453
454         [Type]  |->  Expr
455
456 For example, if f has this SpecInfo:
457
458         [Int, a]  ->  \d:Ord Int. f' a
459
460 it means that we can replace the call
461
462         f Int t  ===>  (\d. f' t)
463
464 This chucks one dictionary away and proceeds with the
465 specialised version of f, namely f'.
466
467
468 What can't be done this way?
469 ~~~~~~~~~~~~~~~~~~~~~~~~~~~~
470 There is no way, post-typechecker, to get a dictionary for (say)
471 Eq a from a dictionary for Eq [a].  So if we find
472
473         ==.sel [t] d
474
475 we can't transform to
476
477         eqList (==.sel t d')
478
479 where
480         eqList :: (a->a->Bool) -> [a] -> [a] -> Bool
481
482 Of course, we currently have no way to automatically derive
483 eqList, nor to connect it to the Eq [a] instance decl, but you
484 can imagine that it might somehow be possible.  Taking advantage
485 of this is permanently ruled out.
486
487 Still, this is no great hardship, because we intend to eliminate
488 overloading altogether anyway!
489
490
491
492 A note about non-tyvar dictionaries
493 ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
494 Some Ids have types like
495
496         forall a,b,c. Eq a -> Ord [a] -> tau
497
498 This seems curious at first, because we usually only have dictionary
499 args whose types are of the form (C a) where a is a type variable.
500 But this doesn't hold for the functions arising from instance decls,
501 which sometimes get arguements with types of form (C (T a)) for some
502 type constructor T.
503
504 Should we specialise wrt this compound-type dictionary?  We used to say
505 "no", saying:
506         "This is a heuristic judgement, as indeed is the fact that we 
507         specialise wrt only dictionaries.  We choose *not* to specialise
508         wrt compound dictionaries because at the moment the only place
509         they show up is in instance decls, where they are simply plugged
510         into a returned dictionary.  So nothing is gained by specialising
511         wrt them."
512
513 But it is simpler and more uniform to specialise wrt these dicts too;
514 and in future GHC is likely to support full fledged type signatures 
515 like
516         f ;: Eq [(a,b)] => ...
517
518
519 %************************************************************************
520 %*                                                                      *
521 \subsubsection{The new specialiser}
522 %*                                                                      *
523 %************************************************************************
524
525 Our basic game plan is this.  For let(rec) bound function
526         f :: (C a, D c) => (a,b,c,d) -> Bool
527
528 * Find any specialised calls of f, (f ts ds), where 
529   ts are the type arguments t1 .. t4, and
530   ds are the dictionary arguments d1 .. d2.
531
532 * Add a new definition for f1 (say):
533
534         f1 = /\ b d -> (..body of f..) t1 b t3 d d1 d2
535
536   Note that we abstract over the unconstrained type arguments.
537
538 * Add the mapping
539
540         [t1,b,t3,d]  |->  \d1 d2 -> f1 b d
541
542   to the specialisations of f.  This will be used by the
543   simplifier to replace calls 
544                 (f t1 t2 t3 t4) da db
545   by
546                 (\d1 d1 -> f1 t2 t4) da db
547
548   All the stuff about how many dictionaries to discard, and what types
549   to apply the specialised function to, are handled by the fact that the
550   SpecEnv contains a template for the result of the specialisation.
551
552 We don't build *partial* specialisations for f.  For example:
553
554   f :: Eq a => a -> a -> Bool
555   {-# SPECIALISE f :: (Eq b, Eq c) => (b,c) -> (b,c) -> Bool #-}
556
557 Here, little is gained by making a specialised copy of f.
558 There's a distinct danger that the specialised version would
559 first build a dictionary for (Eq b, Eq c), and then select the (==) 
560 method from it!  Even if it didn't, not a great deal is saved.
561
562 We do, however, generate polymorphic, but not overloaded, specialisations:
563
564   f :: Eq a => [a] -> b -> b -> b
565   {#- SPECIALISE f :: [Int] -> b -> b -> b #-}
566
567 Hence, the invariant is this: 
568
569         *** no specialised version is overloaded ***
570
571
572 %************************************************************************
573 %*                                                                      *
574 \subsubsection{The exported function}
575 %*                                                                      *
576 %************************************************************************
577
578 \begin{code}
579 specProgram :: DynFlags -> UniqSupply -> [CoreBind] -> IO [CoreBind]
580 specProgram dflags us binds
581   = do
582         showPass dflags "Specialise"
583
584         let binds' = initSM us (go binds        `thenSM` \ (binds', uds') ->
585                                 returnSM (dumpAllDictBinds uds' binds'))
586
587         endPass dflags "Specialise" Opt_D_dump_spec binds'
588
589         dumpIfSet_dyn dflags Opt_D_dump_rules "Top-level specialisations"
590                   (vcat (map dump_specs (concat (map bindersOf binds'))))
591
592         return binds'
593   where
594         -- We need to start with a Subst that knows all the things
595         -- that are in scope, so that the substitution engine doesn't
596         -- accidentally re-use a unique that's already in use
597         -- Easiest thing is to do it all at once, as if all the top-level
598         -- decls were mutually recursive
599     top_subst       = mkSubst (mkInScopeSet (mkVarSet (bindersOfBinds binds))) emptySubstEnv
600
601     go []           = returnSM ([], emptyUDs)
602     go (bind:binds) = go binds                          `thenSM` \ (binds', uds) ->
603                       specBind top_subst bind uds       `thenSM` \ (bind', uds') ->
604                       returnSM (bind' ++ binds', uds')
605
606 dump_specs var = pprCoreRules var (idSpecialisation var)
607 \end{code}
608
609 %************************************************************************
610 %*                                                                      *
611 \subsubsection{@specExpr@: the main function}
612 %*                                                                      *
613 %************************************************************************
614
615 \begin{code}
616 specVar :: Subst -> Id -> CoreExpr
617 specVar subst v = case lookupIdSubst subst v of
618                         DoneEx e   -> e
619                         DoneId v _ -> Var v
620
621 specExpr :: Subst -> CoreExpr -> SpecM (CoreExpr, UsageDetails)
622 -- We carry a substitution down:
623 --      a) we must clone any binding that might flaot outwards,
624 --         to avoid name clashes
625 --      b) we carry a type substitution to use when analysing
626 --         the RHS of specialised bindings (no type-let!)
627
628 ---------------- First the easy cases --------------------
629 specExpr subst (Type ty) = returnSM (Type (substTy subst ty), emptyUDs)
630 specExpr subst (Var v)   = returnSM (specVar subst v,         emptyUDs)
631 specExpr subst (Lit lit) = returnSM (Lit lit,                 emptyUDs)
632
633 specExpr subst (Note note body)
634   = specExpr subst body         `thenSM` \ (body', uds) ->
635     returnSM (Note (specNote subst note) body', uds)
636
637
638 ---------------- Applications might generate a call instance --------------------
639 specExpr subst expr@(App fun arg)
640   = go expr []
641   where
642     go (App fun arg) args = specExpr subst arg  `thenSM` \ (arg', uds_arg) ->
643                             go fun (arg':args)  `thenSM` \ (fun', uds_app) ->
644                             returnSM (App fun' arg', uds_arg `plusUDs` uds_app)
645
646     go (Var f)       args = case specVar subst f of
647                                 Var f' -> returnSM (Var f', mkCallUDs subst f' args)
648                                 e'     -> returnSM (e', emptyUDs)       -- I don't expect this!
649     go other         args = specExpr subst other
650
651 ---------------- Lambda/case require dumping of usage details --------------------
652 specExpr subst e@(Lam _ _)
653   = specExpr subst' body        `thenSM` \ (body', uds) ->
654     let
655         (filtered_uds, body'') = dumpUDs bndrs' uds body'
656     in
657     returnSM (mkLams bndrs' body'', filtered_uds)
658   where
659     (bndrs, body) = collectBinders e
660     (subst', bndrs') = simplBndrs subst bndrs
661         -- More efficient to collect a group of binders together all at once
662         -- and we don't want to split a lambda group with dumped bindings
663
664 specExpr subst (Case scrut case_bndr alts)
665   = specExpr subst scrut                        `thenSM` \ (scrut', uds_scrut) ->
666     mapAndCombineSM spec_alt alts       `thenSM` \ (alts', uds_alts) ->
667     returnSM (Case scrut' case_bndr' alts', uds_scrut `plusUDs` uds_alts)
668   where
669     (subst_alt, case_bndr') = simplBndr subst case_bndr
670         -- No need to clone case binder; it can't float like a let(rec)
671
672     spec_alt (con, args, rhs)
673         = specExpr subst_rhs rhs                `thenSM` \ (rhs', uds) ->
674           let
675              (uds', rhs'') = dumpUDs args uds rhs'
676           in
677           returnSM ((con, args', rhs''), uds')
678         where
679           (subst_rhs, args') = simplBndrs subst_alt args
680
681 ---------------- Finally, let is the interesting case --------------------
682 specExpr subst (Let bind body)
683   =     -- Clone binders
684     cloneBindSM subst bind                      `thenSM` \ (rhs_subst, body_subst, bind') ->
685         
686         -- Deal with the body
687     specExpr body_subst body                    `thenSM` \ (body', body_uds) ->
688
689         -- Deal with the bindings
690     specBind rhs_subst bind' body_uds           `thenSM` \ (binds', uds) ->
691
692         -- All done
693     returnSM (foldr Let body' binds', uds)
694
695 -- Must apply the type substitution to coerceions
696 specNote subst (Coerce t1 t2) = Coerce (substTy subst t1) (substTy subst t2)
697 specNote subst note           = note
698 \end{code}
699
700 %************************************************************************
701 %*                                                                      *
702 \subsubsection{Dealing with a binding}
703 %*                                                                      *
704 %************************************************************************
705
706 \begin{code}
707 specBind :: Subst                       -- Use this for RHSs
708          -> CoreBind
709          -> UsageDetails                -- Info on how the scope of the binding
710          -> SpecM ([CoreBind],          -- New bindings
711                    UsageDetails)        -- And info to pass upstream
712
713 specBind rhs_subst bind body_uds
714   = specBindItself rhs_subst bind (calls body_uds)      `thenSM` \ (bind', bind_uds) ->
715     let
716         bndrs   = bindersOf bind
717         all_uds = zapCalls bndrs (body_uds `plusUDs` bind_uds)
718                         -- It's important that the `plusUDs` is this way round,
719                         -- because body_uds may bind dictionaries that are
720                         -- used in the calls passed to specDefn.  So the
721                         -- dictionary bindings in bind_uds may mention 
722                         -- dictionaries bound in body_uds.
723     in
724     case splitUDs bndrs all_uds of
725
726         (_, ([],[]))    -- This binding doesn't bind anything needed
727                         -- in the UDs, so put the binding here
728                         -- This is the case for most non-dict bindings, except
729                         -- for the few that are mentioned in a dict binding
730                         -- that is floating upwards in body_uds
731                 -> returnSM ([bind'], all_uds)
732
733         (float_uds, (dict_binds, calls))        -- This binding is needed in the UDs, so float it out
734                 -> returnSM ([], float_uds `plusUDs` mkBigUD bind' dict_binds calls)
735    
736
737 -- A truly gruesome function
738 mkBigUD bind@(NonRec _ _) dbs calls
739   =     -- Common case: non-recursive and no specialisations
740         -- (if there were any specialistions it would have been made recursive)
741     MkUD { dict_binds = listToBag (mkDB bind : dbs),
742            calls = listToCallDetails calls }
743
744 mkBigUD bind dbs calls
745   =     -- General case
746     MkUD { dict_binds = unitBag (mkDB (Rec (bind_prs bind ++ dbsToPairs dbs))),
747                         -- Make a huge Rec
748            calls = listToCallDetails calls }
749   where
750     bind_prs (NonRec b r) = [(b,r)]
751     bind_prs (Rec prs)    = prs
752
753     dbsToPairs []             = []
754     dbsToPairs ((bind,_):dbs) = bind_prs bind ++ dbsToPairs dbs
755
756 -- specBindItself deals with the RHS, specialising it according
757 -- to the calls found in the body (if any)
758 specBindItself rhs_subst (NonRec bndr rhs) call_info
759   = specDefn rhs_subst call_info (bndr,rhs)     `thenSM` \ ((bndr',rhs'), spec_defns, spec_uds) ->
760     let
761         new_bind | null spec_defns = NonRec bndr' rhs'
762                  | otherwise       = Rec ((bndr',rhs'):spec_defns)
763                 -- bndr' mentions the spec_defns in its SpecEnv
764                 -- Not sure why we couln't just put the spec_defns first
765     in
766     returnSM (new_bind, spec_uds)
767
768 specBindItself rhs_subst (Rec pairs) call_info
769   = mapSM (specDefn rhs_subst call_info) pairs  `thenSM` \ stuff ->
770     let
771         (pairs', spec_defns_s, spec_uds_s) = unzip3 stuff
772         spec_defns = concat spec_defns_s
773         spec_uds   = plusUDList spec_uds_s
774         new_bind   = Rec (spec_defns ++ pairs')
775     in
776     returnSM (new_bind, spec_uds)
777     
778
779 specDefn :: Subst                       -- Subst to use for RHS
780          -> CallDetails                 -- Info on how it is used in its scope
781          -> (Id, CoreExpr)              -- The thing being bound and its un-processed RHS
782          -> SpecM ((Id, CoreExpr),      -- The thing and its processed RHS
783                                         --      the Id may now have specialisations attached
784                    [(Id,CoreExpr)],     -- Extra, specialised bindings
785                    UsageDetails         -- Stuff to fling upwards from the RHS and its
786             )                           --      specialised versions
787
788 specDefn subst calls (fn, rhs)
789         -- The first case is the interesting one
790   |  n_tyvars == length rhs_tyvars      -- Rhs of fn's defn has right number of big lambdas
791   && n_dicts  <= length rhs_bndrs       -- and enough dict args
792   && not (null calls_for_me)            -- And there are some calls to specialise
793   && not (certainlyWillInline fn)       -- And it's not small
794                                         -- If it's small, it's better just to inline
795                                         -- it than to construct lots of specialisations
796   =   -- Specialise the body of the function
797     specExpr subst rhs                                  `thenSM` \ (rhs', rhs_uds) ->
798
799       -- Make a specialised version for each call in calls_for_me
800     mapSM spec_call calls_for_me                `thenSM` \ stuff ->
801     let
802         (spec_defns, spec_uds, spec_rules) = unzip3 stuff
803
804         fn' = addIdSpecialisations zapped_fn spec_rules
805     in
806     returnSM ((fn',rhs'), 
807               spec_defns, 
808               rhs_uds `plusUDs` plusUDList spec_uds)
809
810   | otherwise   -- No calls or RHS doesn't fit our preconceptions
811   = specExpr subst rhs                  `thenSM` \ (rhs', rhs_uds) ->
812     returnSM ((zapped_fn, rhs'), [], rhs_uds)
813   
814   where
815     zapped_fn            = zapSpecPragmaId fn
816         -- If the fn is a SpecPragmaId, make it discardable
817         -- It's role as a holder for a call instance is o'er
818         -- But it might be alive for some other reason by now.
819
820     fn_type            = idType fn
821     (tyvars, theta, _) = tcSplitSigmaTy fn_type
822     n_tyvars           = length tyvars
823     n_dicts            = length theta
824
825     (rhs_tyvars, rhs_ids, rhs_body) = collectTyAndValBinders rhs
826     rhs_dicts = take n_dicts rhs_ids
827     rhs_bndrs = rhs_tyvars ++ rhs_dicts
828     body      = mkLams (drop n_dicts rhs_ids) rhs_body
829                 -- Glue back on the non-dict lambdas
830
831     calls_for_me = case lookupFM calls fn of
832                         Nothing -> []
833                         Just cs -> fmToList cs
834
835     ----------------------------------------------------------
836         -- Specialise to one particular call pattern
837     spec_call :: (CallKey, ([DictExpr], VarSet))        -- Call instance
838               -> SpecM ((Id,CoreExpr),                  -- Specialised definition
839                         UsageDetails,                   -- Usage details from specialised body
840                         CoreRule)                       -- Info for the Id's SpecEnv
841     spec_call (CallKey call_ts, (call_ds, call_fvs))
842       = ASSERT( length call_ts == n_tyvars && length call_ds == n_dicts )
843                 -- Calls are only recorded for properly-saturated applications
844         
845         -- Suppose f's defn is  f = /\ a b c d -> \ d1 d2 -> rhs        
846         -- Supppose the call is for f [Just t1, Nothing, Just t3, Nothing] [dx1, dx2]
847
848         -- Construct the new binding
849         --      f1 = SUBST[a->t1,c->t3, d1->d1', d2->d2'] (/\ b d -> rhs)
850         -- PLUS the usage-details
851         --      { d1' = dx1; d2' = dx2 }
852         -- where d1', d2' are cloned versions of d1,d2, with the type substitution applied.
853         --
854         -- Note that the substitution is applied to the whole thing.
855         -- This is convenient, but just slightly fragile.  Notably:
856         --      * There had better be no name clashes in a/b/c/d
857         --
858         let
859                 -- poly_tyvars = [b,d] in the example above
860                 -- spec_tyvars = [a,c] 
861                 -- ty_args     = [t1,b,t3,d]
862            poly_tyvars = [tv | (tv, Nothing) <- rhs_tyvars `zip` call_ts]
863            spec_tyvars = [tv | (tv, Just _)  <- rhs_tyvars `zip` call_ts]
864            ty_args     = zipWithEqual "spec_call" mk_ty_arg rhs_tyvars call_ts
865                        where
866                          mk_ty_arg rhs_tyvar Nothing   = Type (mkTyVarTy rhs_tyvar)
867                          mk_ty_arg rhs_tyvar (Just ty) = Type ty
868            rhs_subst  = extendSubstList subst spec_tyvars [DoneTy ty | Just ty <- call_ts]
869         in
870         cloneBinders rhs_subst rhs_dicts                `thenSM` \ (rhs_subst', rhs_dicts') ->
871         let
872            inst_args = ty_args ++ map Var rhs_dicts'
873
874                 -- Figure out the type of the specialised function
875            spec_id_ty = mkForAllTys poly_tyvars (applyTypeToArgs rhs fn_type inst_args)
876         in
877         newIdSM fn spec_id_ty                           `thenSM` \ spec_f ->
878         specExpr rhs_subst' (mkLams poly_tyvars body)   `thenSM` \ (spec_rhs, rhs_uds) ->       
879         let
880                 -- The rule to put in the function's specialisation is:
881                 --      forall b,d, d1',d2'.  f t1 b t3 d d1' d2' = f1 b d  
882            spec_env_rule = Rule (_PK_ ("SPEC " ++ showSDoc (ppr fn)))
883                                 (poly_tyvars ++ rhs_dicts')
884                                 inst_args 
885                                 (mkTyApps (Var spec_f) (map mkTyVarTy poly_tyvars))
886
887                 -- Add the { d1' = dx1; d2' = dx2 } usage stuff
888            final_uds = foldr addDictBind rhs_uds (my_zipEqual "spec_call" rhs_dicts' call_ds)
889         in
890         returnSM ((spec_f, spec_rhs),
891                   final_uds,
892                   spec_env_rule)
893
894       where
895         my_zipEqual doc xs ys 
896          | length xs /= length ys = pprPanic "my_zipEqual" (ppr xs $$ ppr ys $$ (ppr fn <+> ppr call_ts) $$ ppr rhs)
897          | otherwise              = zipEqual doc xs ys
898 \end{code}
899
900 %************************************************************************
901 %*                                                                      *
902 \subsubsection{UsageDetails and suchlike}
903 %*                                                                      *
904 %************************************************************************
905
906 \begin{code}
907 data UsageDetails 
908   = MkUD {
909         dict_binds :: !(Bag DictBind),
910                         -- Floated dictionary bindings
911                         -- The order is important; 
912                         -- in ds1 `union` ds2, bindings in ds2 can depend on those in ds1
913                         -- (Remember, Bags preserve order in GHC.)
914
915         calls     :: !CallDetails
916     }
917
918 type DictBind = (CoreBind, VarSet)
919         -- The set is the free vars of the binding
920         -- both tyvars and dicts
921
922 type DictExpr = CoreExpr
923
924 emptyUDs = MkUD { dict_binds = emptyBag, calls = emptyFM }
925
926 type ProtoUsageDetails = ([DictBind],
927                           [(Id, CallKey, ([DictExpr], VarSet))]
928                          )
929
930 ------------------------------------------------------------                    
931 type CallDetails  = FiniteMap Id CallInfo
932 newtype CallKey   = CallKey [Maybe Type]                        -- Nothing => unconstrained type argument
933 type CallInfo     = FiniteMap CallKey
934                               ([DictExpr], VarSet)              -- Dict args and the vars of the whole
935                                                                 -- call (including tyvars)
936                                                                 -- [*not* include the main id itself, of course]
937         -- The finite maps eliminate duplicates
938         -- The list of types and dictionaries is guaranteed to
939         -- match the type of f
940
941 -- Type isn't an instance of Ord, so that we can control which
942 -- instance we use.  That's tiresome here.  Oh well
943 instance Eq CallKey where
944   k1 == k2 = case k1 `compare` k2 of { EQ -> True; other -> False }
945
946 instance Ord CallKey where
947   compare (CallKey k1) (CallKey k2) = cmpList cmp k1 k2
948                 where
949                   cmp Nothing Nothing     = EQ
950                   cmp Nothing (Just t2)   = LT
951                   cmp (Just t1) Nothing   = GT
952                   cmp (Just t1) (Just t2) = tcCmpType t1 t2
953
954 unionCalls :: CallDetails -> CallDetails -> CallDetails
955 unionCalls c1 c2 = plusFM_C plusFM c1 c2
956
957 singleCall :: Id -> [Maybe Type] -> [DictExpr] -> CallDetails
958 singleCall id tys dicts 
959   = unitFM id (unitFM (CallKey tys) (dicts, call_fvs))
960   where
961     call_fvs = exprsFreeVars dicts `unionVarSet` tys_fvs
962     tys_fvs  = tyVarsOfTypes (catMaybes tys)
963         -- The type args (tys) are guaranteed to be part of the dictionary
964         -- types, because they are just the constrained types,
965         -- and the dictionary is therefore sure to be bound
966         -- inside the binding for any type variables free in the type;
967         -- hence it's safe to neglect tyvars free in tys when making
968         -- the free-var set for this call
969         -- BUT I don't trust this reasoning; play safe and include tys_fvs
970         --
971         -- We don't include the 'id' itself.
972
973 listToCallDetails calls
974   = foldr (unionCalls . mk_call) emptyFM calls
975   where
976     mk_call (id, tys, dicts_w_fvs) = unitFM id (unitFM tys dicts_w_fvs)
977         -- NB: the free vars of the call are provided
978
979 callDetailsToList calls = [ (id,tys,dicts)
980                           | (id,fm) <- fmToList calls,
981                             (tys, dicts) <- fmToList fm
982                           ]
983
984 mkCallUDs subst f args 
985   | null theta
986   || length spec_tys /= n_tyvars
987   || length dicts    /= n_dicts
988   || maybeToBool (lookupRule (substInScope subst) f args)
989         -- There's already a rule covering this call.  A typical case
990         -- is where there's an explicit user-provided rule.  Then
991         -- we don't want to create a specialised version 
992         -- of the function that overlaps.
993   = emptyUDs    -- Not overloaded, or no specialisation wanted
994
995   | otherwise
996   = MkUD {dict_binds = emptyBag, 
997           calls      = singleCall f spec_tys dicts
998     }
999   where
1000     (tyvars, theta, _) = tcSplitSigmaTy (idType f)
1001     constrained_tyvars = tyVarsOfTheta theta 
1002     n_tyvars           = length tyvars
1003     n_dicts            = length theta
1004
1005     spec_tys = [mk_spec_ty tv ty | (tv, Type ty) <- tyvars `zip` args]
1006     dicts    = [dict_expr | (_, dict_expr) <- theta `zip` (drop n_tyvars args)]
1007     
1008     mk_spec_ty tyvar ty | tyvar `elemVarSet` constrained_tyvars
1009                         = Just ty
1010                         | otherwise
1011                         = Nothing
1012
1013 ------------------------------------------------------------                    
1014 plusUDs :: UsageDetails -> UsageDetails -> UsageDetails
1015 plusUDs (MkUD {dict_binds = db1, calls = calls1})
1016         (MkUD {dict_binds = db2, calls = calls2})
1017   = MkUD {dict_binds = d, calls = c}
1018   where
1019     d = db1    `unionBags`   db2 
1020     c = calls1 `unionCalls`  calls2
1021
1022 plusUDList = foldr plusUDs emptyUDs
1023
1024 -- zapCalls deletes calls to ids from uds
1025 zapCalls ids uds = uds {calls = delListFromFM (calls uds) ids}
1026
1027 mkDB bind = (bind, bind_fvs bind)
1028
1029 bind_fvs (NonRec bndr rhs) = exprFreeVars rhs
1030 bind_fvs (Rec prs)         = foldl delVarSet rhs_fvs bndrs
1031                            where
1032                              bndrs = map fst prs
1033                              rhs_fvs = unionVarSets [exprFreeVars rhs | (bndr,rhs) <- prs]
1034
1035 addDictBind (dict,rhs) uds = uds { dict_binds = mkDB (NonRec dict rhs) `consBag` dict_binds uds }
1036
1037 dumpAllDictBinds (MkUD {dict_binds = dbs}) binds
1038   = foldrBag add binds dbs
1039   where
1040     add (bind,_) binds = bind : binds
1041
1042 dumpUDs :: [CoreBndr]
1043         -> UsageDetails -> CoreExpr
1044         -> (UsageDetails, CoreExpr)
1045 dumpUDs bndrs uds body
1046   = (free_uds, foldr add_let body dict_binds)
1047   where
1048     (free_uds, (dict_binds, _)) = splitUDs bndrs uds
1049     add_let (bind,_) body       = Let bind body
1050
1051 splitUDs :: [CoreBndr]
1052          -> UsageDetails
1053          -> (UsageDetails,              -- These don't mention the binders
1054              ProtoUsageDetails)         -- These do
1055              
1056 splitUDs bndrs uds@(MkUD {dict_binds = orig_dbs, 
1057                           calls      = orig_calls})
1058
1059   = if isEmptyBag dump_dbs && null dump_calls then
1060         -- Common case: binder doesn't affect floats
1061         (uds, ([],[]))  
1062
1063     else
1064         -- Binders bind some of the fvs of the floats
1065         (MkUD {dict_binds = free_dbs, 
1066                calls      = listToCallDetails free_calls},
1067          (bagToList dump_dbs, dump_calls)
1068         )
1069
1070   where
1071     bndr_set = mkVarSet bndrs
1072
1073     (free_dbs, dump_dbs, dump_idset) 
1074           = foldlBag dump_db (emptyBag, emptyBag, bndr_set) orig_dbs
1075                 -- Important that it's foldl not foldr;
1076                 -- we're accumulating the set of dumped ids in dump_set
1077
1078         -- Filter out any calls that mention things that are being dumped
1079     orig_call_list                 = callDetailsToList orig_calls
1080     (dump_calls, free_calls)       = partition captured orig_call_list
1081     captured (id,tys,(dicts, fvs)) =  fvs `intersectsVarSet` dump_idset
1082                                    || id `elemVarSet` dump_idset
1083
1084     dump_db (free_dbs, dump_dbs, dump_idset) db@(bind, fvs)
1085         | dump_idset `intersectsVarSet` fvs     -- Dump it
1086         = (free_dbs, dump_dbs `snocBag` db,
1087            dump_idset `unionVarSet` mkVarSet (bindersOf bind))
1088
1089         | otherwise     -- Don't dump it
1090         = (free_dbs `snocBag` db, dump_dbs, dump_idset)
1091 \end{code}
1092
1093
1094 %************************************************************************
1095 %*                                                                      *
1096 \subsubsection{Boring helper functions}
1097 %*                                                                      *
1098 %************************************************************************
1099
1100 \begin{code}
1101 lookupId:: IdEnv Id -> Id -> Id
1102 lookupId env id = case lookupVarEnv env id of
1103                         Nothing  -> id
1104                         Just id' -> id'
1105
1106 ----------------------------------------
1107 type SpecM a = UniqSM a
1108
1109 thenSM    = thenUs
1110 returnSM  = returnUs
1111 getUniqSM = getUniqueUs
1112 mapSM     = mapUs
1113 initSM    = initUs_
1114
1115 mapAndCombineSM f []     = returnSM ([], emptyUDs)
1116 mapAndCombineSM f (x:xs) = f x  `thenSM` \ (y, uds1) ->
1117                            mapAndCombineSM f xs `thenSM` \ (ys, uds2) ->
1118                            returnSM (y:ys, uds1 `plusUDs` uds2)
1119
1120 cloneBindSM :: Subst -> CoreBind -> SpecM (Subst, Subst, CoreBind)
1121 -- Clone the binders of the bind; return new bind with the cloned binders
1122 -- Return the substitution to use for RHSs, and the one to use for the body
1123 cloneBindSM subst (NonRec bndr rhs)
1124   = getUs       `thenUs` \ us ->
1125     let
1126         (subst', bndr') = substAndCloneId subst us bndr
1127     in
1128     returnUs (subst, subst', NonRec bndr' rhs)
1129
1130 cloneBindSM subst (Rec pairs)
1131   = getUs       `thenUs` \ us ->
1132     let
1133         (subst', bndrs') = substAndCloneRecIds subst us (map fst pairs)
1134     in
1135     returnUs (subst', subst', Rec (bndrs' `zip` map snd pairs))
1136
1137 cloneBinders subst bndrs
1138   = getUs       `thenUs` \ us ->
1139     returnUs (substAndCloneIds subst us bndrs)
1140
1141 newIdSM old_id new_ty
1142   = getUniqSM           `thenSM` \ uniq ->
1143     let 
1144         -- Give the new Id a similar occurrence name to the old one
1145         name   = idName old_id
1146         new_id = mkUserLocal (mkSpecOcc (nameOccName name)) uniq new_ty (getSrcLoc name)
1147     in
1148     returnSM new_id
1149 \end{code}
1150
1151
1152                 Old (but interesting) stuff about unboxed bindings
1153                 ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
1154
1155 What should we do when a value is specialised to a *strict* unboxed value?
1156
1157         map_*_* f (x:xs) = let h = f x
1158                                t = map f xs
1159                            in h:t
1160
1161 Could convert let to case:
1162
1163         map_*_Int# f (x:xs) = case f x of h# ->
1164                               let t = map f xs
1165                               in h#:t
1166
1167 This may be undesirable since it forces evaluation here, but the value
1168 may not be used in all branches of the body. In the general case this
1169 transformation is impossible since the mutual recursion in a letrec
1170 cannot be expressed as a case.
1171
1172 There is also a problem with top-level unboxed values, since our
1173 implementation cannot handle unboxed values at the top level.
1174
1175 Solution: Lift the binding of the unboxed value and extract it when it
1176 is used:
1177
1178         map_*_Int# f (x:xs) = let h = case (f x) of h# -> _Lift h#
1179                                   t = map f xs
1180                               in case h of
1181                                  _Lift h# -> h#:t
1182
1183 Now give it to the simplifier and the _Lifting will be optimised away.
1184
1185 The benfit is that we have given the specialised "unboxed" values a
1186 very simplep lifted semantics and then leave it up to the simplifier to
1187 optimise it --- knowing that the overheads will be removed in nearly
1188 all cases.
1189
1190 In particular, the value will only be evaluted in the branches of the
1191 program which use it, rather than being forced at the point where the
1192 value is bound. For example:
1193
1194         filtermap_*_* p f (x:xs)
1195           = let h = f x
1196                 t = ...
1197             in case p x of
1198                 True  -> h:t
1199                 False -> t
1200    ==>
1201         filtermap_*_Int# p f (x:xs)
1202           = let h = case (f x) of h# -> _Lift h#
1203                 t = ...
1204             in case p x of
1205                 True  -> case h of _Lift h#
1206                            -> h#:t
1207                 False -> t
1208
1209 The binding for h can still be inlined in the one branch and the
1210 _Lifting eliminated.
1211
1212
1213 Question: When won't the _Lifting be eliminated?
1214
1215 Answer: When they at the top-level (where it is necessary) or when
1216 inlining would duplicate work (or possibly code depending on
1217 options). However, the _Lifting will still be eliminated if the
1218 strictness analyser deems the lifted binding strict.
1219