[project @ 2001-03-01 17:10:06 by simonpj]
[ghc-hetmet.git] / ghc / compiler / specialise / Specialise.lhs
1 %
2 % (c) The GRASP/AQUA Project, Glasgow University, 1993-1998
3 %
4 \section[Specialise]{Stamping out overloading, and (optionally) polymorphism}
5
6 \begin{code}
7 module Specialise ( specProgram ) where
8
9 #include "HsVersions.h"
10
11 import CmdLineOpts      ( DynFlags, DynFlag(..) )
12 import Id               ( Id, idName, idType, mkUserLocal,
13                           idSpecialisation, modifyIdInfo
14                         )
15 import IdInfo           ( zapSpecPragInfo )
16 import VarSet
17 import VarEnv
18
19 import Type             ( Type, mkTyVarTy, splitSigmaTy, 
20                           tyVarsOfTypes, tyVarsOfTheta, 
21                           mkForAllTys 
22                         )
23 import Subst            ( Subst, mkSubst, substTy, mkSubst, extendSubstList, mkInScopeSet,
24                           simplBndr, simplBndrs, 
25                           substAndCloneId, substAndCloneIds, substAndCloneRecIds,
26                           lookupIdSubst, substInScope
27                         ) 
28 import VarSet
29 import VarEnv
30 import CoreSyn
31 import CoreUtils        ( applyTypeToArgs )
32 import CoreUnfold       ( certainlyWillInline )
33 import CoreFVs          ( exprFreeVars, exprsFreeVars )
34 import CoreLint         ( showPass, endPass )
35 import PprCore          ( pprCoreRules )
36 import Rules            ( addIdSpecialisations, lookupRule )
37
38 import UniqSupply       ( UniqSupply,
39                           UniqSM, initUs_, thenUs, returnUs, getUniqueUs, 
40                           getUs, mapUs
41                         )
42 import Name             ( nameOccName, mkSpecOcc, getSrcLoc )
43 import FiniteMap
44 import Maybes           ( catMaybes, maybeToBool )
45 import ErrUtils         ( dumpIfSet_dyn )
46 import Bag
47 import List             ( partition )
48 import Util             ( zipEqual, zipWithEqual )
49 import Outputable
50
51
52 infixr 9 `thenSM`
53 \end{code}
54
55 %************************************************************************
56 %*                                                                      *
57 \subsection[notes-Specialise]{Implementation notes [SLPJ, Aug 18 1993]}
58 %*                                                                      *
59 %************************************************************************
60
61 These notes describe how we implement specialisation to eliminate
62 overloading.
63
64 The specialisation pass works on Core
65 syntax, complete with all the explicit dictionary application,
66 abstraction and construction as added by the type checker.  The
67 existing type checker remains largely as it is.
68
69 One important thought: the {\em types} passed to an overloaded
70 function, and the {\em dictionaries} passed are mutually redundant.
71 If the same function is applied to the same type(s) then it is sure to
72 be applied to the same dictionary(s)---or rather to the same {\em
73 values}.  (The arguments might look different but they will evaluate
74 to the same value.)
75
76 Second important thought: we know that we can make progress by
77 treating dictionary arguments as static and worth specialising on.  So
78 we can do without binding-time analysis, and instead specialise on
79 dictionary arguments and no others.
80
81 The basic idea
82 ~~~~~~~~~~~~~~
83 Suppose we have
84
85         let f = <f_rhs>
86         in <body>
87
88 and suppose f is overloaded.
89
90 STEP 1: CALL-INSTANCE COLLECTION
91
92 We traverse <body>, accumulating all applications of f to types and
93 dictionaries.
94
95 (Might there be partial applications, to just some of its types and
96 dictionaries?  In principle yes, but in practice the type checker only
97 builds applications of f to all its types and dictionaries, so partial
98 applications could only arise as a result of transformation, and even
99 then I think it's unlikely.  In any case, we simply don't accumulate such
100 partial applications.)
101
102
103 STEP 2: EQUIVALENCES
104
105 So now we have a collection of calls to f:
106         f t1 t2 d1 d2
107         f t3 t4 d3 d4
108         ...
109 Notice that f may take several type arguments.  To avoid ambiguity, we
110 say that f is called at type t1/t2 and t3/t4.
111
112 We take equivalence classes using equality of the *types* (ignoring
113 the dictionary args, which as mentioned previously are redundant).
114
115 STEP 3: SPECIALISATION
116
117 For each equivalence class, choose a representative (f t1 t2 d1 d2),
118 and create a local instance of f, defined thus:
119
120         f@t1/t2 = <f_rhs> t1 t2 d1 d2
121
122 f_rhs presumably has some big lambdas and dictionary lambdas, so lots
123 of simplification will now result.  However we don't actually *do* that
124 simplification.  Rather, we leave it for the simplifier to do.  If we
125 *did* do it, though, we'd get more call instances from the specialised
126 RHS.  We can work out what they are by instantiating the call-instance
127 set from f's RHS with the types t1, t2.
128
129 Add this new id to f's IdInfo, to record that f has a specialised version.
130
131 Before doing any of this, check that f's IdInfo doesn't already
132 tell us about an existing instance of f at the required type/s.
133 (This might happen if specialisation was applied more than once, or
134 it might arise from user SPECIALIZE pragmas.)
135
136 Recursion
137 ~~~~~~~~~
138 Wait a minute!  What if f is recursive?  Then we can't just plug in
139 its right-hand side, can we?
140
141 But it's ok.  The type checker *always* creates non-recursive definitions
142 for overloaded recursive functions.  For example:
143
144         f x = f (x+x)           -- Yes I know its silly
145
146 becomes
147
148         f a (d::Num a) = let p = +.sel a d
149                          in
150                          letrec fl (y::a) = fl (p y y)
151                          in
152                          fl
153
154 We still have recusion for non-overloaded functions which we
155 speciailise, but the recursive call should get specialised to the
156 same recursive version.
157
158
159 Polymorphism 1
160 ~~~~~~~~~~~~~~
161
162 All this is crystal clear when the function is applied to *constant
163 types*; that is, types which have no type variables inside.  But what if
164 it is applied to non-constant types?  Suppose we find a call of f at type
165 t1/t2.  There are two possibilities:
166
167 (a) The free type variables of t1, t2 are in scope at the definition point
168 of f.  In this case there's no problem, we proceed just as before.  A common
169 example is as follows.  Here's the Haskell:
170
171         g y = let f x = x+x
172               in f y + f y
173
174 After typechecking we have
175
176         g a (d::Num a) (y::a) = let f b (d'::Num b) (x::b) = +.sel b d' x x
177                                 in +.sel a d (f a d y) (f a d y)
178
179 Notice that the call to f is at type type "a"; a non-constant type.
180 Both calls to f are at the same type, so we can specialise to give:
181
182         g a (d::Num a) (y::a) = let f@a (x::a) = +.sel a d x x
183                                 in +.sel a d (f@a y) (f@a y)
184
185
186 (b) The other case is when the type variables in the instance types
187 are *not* in scope at the definition point of f.  The example we are
188 working with above is a good case.  There are two instances of (+.sel a d),
189 but "a" is not in scope at the definition of +.sel.  Can we do anything?
190 Yes, we can "common them up", a sort of limited common sub-expression deal.
191 This would give:
192
193         g a (d::Num a) (y::a) = let +.sel@a = +.sel a d
194                                     f@a (x::a) = +.sel@a x x
195                                 in +.sel@a (f@a y) (f@a y)
196
197 This can save work, and can't be spotted by the type checker, because
198 the two instances of +.sel weren't originally at the same type.
199
200 Further notes on (b)
201
202 * There are quite a few variations here.  For example, the defn of
203   +.sel could be floated ouside the \y, to attempt to gain laziness.
204   It certainly mustn't be floated outside the \d because the d has to
205   be in scope too.
206
207 * We don't want to inline f_rhs in this case, because
208 that will duplicate code.  Just commoning up the call is the point.
209
210 * Nothing gets added to +.sel's IdInfo.
211
212 * Don't bother unless the equivalence class has more than one item!
213
214 Not clear whether this is all worth it.  It is of course OK to
215 simply discard call-instances when passing a big lambda.
216
217 Polymorphism 2 -- Overloading
218 ~~~~~~~~~~~~~~
219 Consider a function whose most general type is
220
221         f :: forall a b. Ord a => [a] -> b -> b
222
223 There is really no point in making a version of g at Int/Int and another
224 at Int/Bool, because it's only instancing the type variable "a" which
225 buys us any efficiency. Since g is completely polymorphic in b there
226 ain't much point in making separate versions of g for the different
227 b types.
228
229 That suggests that we should identify which of g's type variables
230 are constrained (like "a") and which are unconstrained (like "b").
231 Then when taking equivalence classes in STEP 2, we ignore the type args
232 corresponding to unconstrained type variable.  In STEP 3 we make
233 polymorphic versions.  Thus:
234
235         f@t1/ = /\b -> <f_rhs> t1 b d1 d2
236
237 We do this.
238
239
240 Dictionary floating
241 ~~~~~~~~~~~~~~~~~~~
242 Consider this
243
244         f a (d::Num a) = let g = ...
245                          in
246                          ...(let d1::Ord a = Num.Ord.sel a d in g a d1)...
247
248 Here, g is only called at one type, but the dictionary isn't in scope at the
249 definition point for g.  Usually the type checker would build a
250 definition for d1 which enclosed g, but the transformation system
251 might have moved d1's defn inward.  Solution: float dictionary bindings
252 outwards along with call instances.
253
254 Consider
255
256         f x = let g p q = p==q
257                   h r s = (r+s, g r s)
258               in
259               h x x
260
261
262 Before specialisation, leaving out type abstractions we have
263
264         f df x = let g :: Eq a => a -> a -> Bool
265                      g dg p q = == dg p q
266                      h :: Num a => a -> a -> (a, Bool)
267                      h dh r s = let deq = eqFromNum dh
268                                 in (+ dh r s, g deq r s)
269               in
270               h df x x
271
272 After specialising h we get a specialised version of h, like this:
273
274                     h' r s = let deq = eqFromNum df
275                              in (+ df r s, g deq r s)
276
277 But we can't naively make an instance for g from this, because deq is not in scope
278 at the defn of g.  Instead, we have to float out the (new) defn of deq
279 to widen its scope.  Notice that this floating can't be done in advance -- it only
280 shows up when specialisation is done.
281
282 User SPECIALIZE pragmas
283 ~~~~~~~~~~~~~~~~~~~~~~~
284 Specialisation pragmas can be digested by the type checker, and implemented
285 by adding extra definitions along with that of f, in the same way as before
286
287         f@t1/t2 = <f_rhs> t1 t2 d1 d2
288
289 Indeed the pragmas *have* to be dealt with by the type checker, because
290 only it knows how to build the dictionaries d1 and d2!  For example
291
292         g :: Ord a => [a] -> [a]
293         {-# SPECIALIZE f :: [Tree Int] -> [Tree Int] #-}
294
295 Here, the specialised version of g is an application of g's rhs to the
296 Ord dictionary for (Tree Int), which only the type checker can conjure
297 up.  There might not even *be* one, if (Tree Int) is not an instance of
298 Ord!  (All the other specialision has suitable dictionaries to hand
299 from actual calls.)
300
301 Problem.  The type checker doesn't have to hand a convenient <f_rhs>, because
302 it is buried in a complex (as-yet-un-desugared) binding group.
303 Maybe we should say
304
305         f@t1/t2 = f* t1 t2 d1 d2
306
307 where f* is the Id f with an IdInfo which says "inline me regardless!".
308 Indeed all the specialisation could be done in this way.
309 That in turn means that the simplifier has to be prepared to inline absolutely
310 any in-scope let-bound thing.
311
312
313 Again, the pragma should permit polymorphism in unconstrained variables:
314
315         h :: Ord a => [a] -> b -> b
316         {-# SPECIALIZE h :: [Int] -> b -> b #-}
317
318 We *insist* that all overloaded type variables are specialised to ground types,
319 (and hence there can be no context inside a SPECIALIZE pragma).
320 We *permit* unconstrained type variables to be specialised to
321         - a ground type
322         - or left as a polymorphic type variable
323 but nothing in between.  So
324
325         {-# SPECIALIZE h :: [Int] -> [c] -> [c] #-}
326
327 is *illegal*.  (It can be handled, but it adds complication, and gains the
328 programmer nothing.)
329
330
331 SPECIALISING INSTANCE DECLARATIONS
332 ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
333 Consider
334
335         instance Foo a => Foo [a] where
336                 ...
337         {-# SPECIALIZE instance Foo [Int] #-}
338
339 The original instance decl creates a dictionary-function
340 definition:
341
342         dfun.Foo.List :: forall a. Foo a -> Foo [a]
343
344 The SPECIALIZE pragma just makes a specialised copy, just as for
345 ordinary function definitions:
346
347         dfun.Foo.List@Int :: Foo [Int]
348         dfun.Foo.List@Int = dfun.Foo.List Int dFooInt
349
350 The information about what instance of the dfun exist gets added to
351 the dfun's IdInfo in the same way as a user-defined function too.
352
353
354 Automatic instance decl specialisation?
355 ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
356 Can instance decls be specialised automatically?  It's tricky.
357 We could collect call-instance information for each dfun, but
358 then when we specialised their bodies we'd get new call-instances
359 for ordinary functions; and when we specialised their bodies, we might get
360 new call-instances of the dfuns, and so on.  This all arises because of
361 the unrestricted mutual recursion between instance decls and value decls.
362
363 Still, there's no actual problem; it just means that we may not do all
364 the specialisation we could theoretically do.
365
366 Furthermore, instance decls are usually exported and used non-locally,
367 so we'll want to compile enough to get those specialisations done.
368
369 Lastly, there's no such thing as a local instance decl, so we can
370 survive solely by spitting out *usage* information, and then reading that
371 back in as a pragma when next compiling the file.  So for now,
372 we only specialise instance decls in response to pragmas.
373
374
375 SPITTING OUT USAGE INFORMATION
376 ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
377
378 To spit out usage information we need to traverse the code collecting
379 call-instance information for all imported (non-prelude?) functions
380 and data types. Then we equivalence-class it and spit it out.
381
382 This is done at the top-level when all the call instances which escape
383 must be for imported functions and data types.
384
385 *** Not currently done ***
386
387
388 Partial specialisation by pragmas
389 ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
390 What about partial specialisation:
391
392         k :: (Ord a, Eq b) => [a] -> b -> b -> [a]
393         {-# SPECIALIZE k :: Eq b => [Int] -> b -> b -> [a] #-}
394
395 or even
396
397         {-# SPECIALIZE k :: Eq b => [Int] -> [b] -> [b] -> [a] #-}
398
399 Seems quite reasonable.  Similar things could be done with instance decls:
400
401         instance (Foo a, Foo b) => Foo (a,b) where
402                 ...
403         {-# SPECIALIZE instance Foo a => Foo (a,Int) #-}
404         {-# SPECIALIZE instance Foo b => Foo (Int,b) #-}
405
406 Ho hum.  Things are complex enough without this.  I pass.
407
408
409 Requirements for the simplifer
410 ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
411 The simplifier has to be able to take advantage of the specialisation.
412
413 * When the simplifier finds an application of a polymorphic f, it looks in
414 f's IdInfo in case there is a suitable instance to call instead.  This converts
415
416         f t1 t2 d1 d2   ===>   f_t1_t2
417
418 Note that the dictionaries get eaten up too!
419
420 * Dictionary selection operations on constant dictionaries must be
421   short-circuited:
422
423         +.sel Int d     ===>  +Int
424
425 The obvious way to do this is in the same way as other specialised
426 calls: +.sel has inside it some IdInfo which tells that if it's applied
427 to the type Int then it should eat a dictionary and transform to +Int.
428
429 In short, dictionary selectors need IdInfo inside them for constant
430 methods.
431
432 * Exactly the same applies if a superclass dictionary is being
433   extracted:
434
435         Eq.sel Int d   ===>   dEqInt
436
437 * Something similar applies to dictionary construction too.  Suppose
438 dfun.Eq.List is the function taking a dictionary for (Eq a) to
439 one for (Eq [a]).  Then we want
440
441         dfun.Eq.List Int d      ===> dEq.List_Int
442
443 Where does the Eq [Int] dictionary come from?  It is built in
444 response to a SPECIALIZE pragma on the Eq [a] instance decl.
445
446 In short, dfun Ids need IdInfo with a specialisation for each
447 constant instance of their instance declaration.
448
449 All this uses a single mechanism: the SpecEnv inside an Id
450
451
452 What does the specialisation IdInfo look like?
453 ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
454
455 The SpecEnv of an Id maps a list of types (the template) to an expression
456
457         [Type]  |->  Expr
458
459 For example, if f has this SpecInfo:
460
461         [Int, a]  ->  \d:Ord Int. f' a
462
463 it means that we can replace the call
464
465         f Int t  ===>  (\d. f' t)
466
467 This chucks one dictionary away and proceeds with the
468 specialised version of f, namely f'.
469
470
471 What can't be done this way?
472 ~~~~~~~~~~~~~~~~~~~~~~~~~~~~
473 There is no way, post-typechecker, to get a dictionary for (say)
474 Eq a from a dictionary for Eq [a].  So if we find
475
476         ==.sel [t] d
477
478 we can't transform to
479
480         eqList (==.sel t d')
481
482 where
483         eqList :: (a->a->Bool) -> [a] -> [a] -> Bool
484
485 Of course, we currently have no way to automatically derive
486 eqList, nor to connect it to the Eq [a] instance decl, but you
487 can imagine that it might somehow be possible.  Taking advantage
488 of this is permanently ruled out.
489
490 Still, this is no great hardship, because we intend to eliminate
491 overloading altogether anyway!
492
493
494
495 A note about non-tyvar dictionaries
496 ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
497 Some Ids have types like
498
499         forall a,b,c. Eq a -> Ord [a] -> tau
500
501 This seems curious at first, because we usually only have dictionary
502 args whose types are of the form (C a) where a is a type variable.
503 But this doesn't hold for the functions arising from instance decls,
504 which sometimes get arguements with types of form (C (T a)) for some
505 type constructor T.
506
507 Should we specialise wrt this compound-type dictionary?  We used to say
508 "no", saying:
509         "This is a heuristic judgement, as indeed is the fact that we 
510         specialise wrt only dictionaries.  We choose *not* to specialise
511         wrt compound dictionaries because at the moment the only place
512         they show up is in instance decls, where they are simply plugged
513         into a returned dictionary.  So nothing is gained by specialising
514         wrt them."
515
516 But it is simpler and more uniform to specialise wrt these dicts too;
517 and in future GHC is likely to support full fledged type signatures 
518 like
519         f ;: Eq [(a,b)] => ...
520
521
522 %************************************************************************
523 %*                                                                      *
524 \subsubsection{The new specialiser}
525 %*                                                                      *
526 %************************************************************************
527
528 Our basic game plan is this.  For let(rec) bound function
529         f :: (C a, D c) => (a,b,c,d) -> Bool
530
531 * Find any specialised calls of f, (f ts ds), where 
532   ts are the type arguments t1 .. t4, and
533   ds are the dictionary arguments d1 .. d2.
534
535 * Add a new definition for f1 (say):
536
537         f1 = /\ b d -> (..body of f..) t1 b t3 d d1 d2
538
539   Note that we abstract over the unconstrained type arguments.
540
541 * Add the mapping
542
543         [t1,b,t3,d]  |->  \d1 d2 -> f1 b d
544
545   to the specialisations of f.  This will be used by the
546   simplifier to replace calls 
547                 (f t1 t2 t3 t4) da db
548   by
549                 (\d1 d1 -> f1 t2 t4) da db
550
551   All the stuff about how many dictionaries to discard, and what types
552   to apply the specialised function to, are handled by the fact that the
553   SpecEnv contains a template for the result of the specialisation.
554
555 We don't build *partial* specialisations for f.  For example:
556
557   f :: Eq a => a -> a -> Bool
558   {-# SPECIALISE f :: (Eq b, Eq c) => (b,c) -> (b,c) -> Bool #-}
559
560 Here, little is gained by making a specialised copy of f.
561 There's a distinct danger that the specialised version would
562 first build a dictionary for (Eq b, Eq c), and then select the (==) 
563 method from it!  Even if it didn't, not a great deal is saved.
564
565 We do, however, generate polymorphic, but not overloaded, specialisations:
566
567   f :: Eq a => [a] -> b -> b -> b
568   {#- SPECIALISE f :: [Int] -> b -> b -> b #-}
569
570 Hence, the invariant is this: 
571
572         *** no specialised version is overloaded ***
573
574
575 %************************************************************************
576 %*                                                                      *
577 \subsubsection{The exported function}
578 %*                                                                      *
579 %************************************************************************
580
581 \begin{code}
582 specProgram :: DynFlags -> UniqSupply -> [CoreBind] -> IO [CoreBind]
583 specProgram dflags us binds
584   = do
585         showPass dflags "Specialise"
586
587         let binds' = initSM us (go binds        `thenSM` \ (binds', uds') ->
588                                 returnSM (dumpAllDictBinds uds' binds'))
589
590         endPass dflags "Specialise" Opt_D_dump_spec binds'
591
592         dumpIfSet_dyn dflags Opt_D_dump_rules "Top-level specialisations"
593                   (vcat (map dump_specs (concat (map bindersOf binds'))))
594
595         return binds'
596   where
597         -- We need to start with a Subst that knows all the things
598         -- that are in scope, so that the substitution engine doesn't
599         -- accidentally re-use a unique that's already in use
600         -- Easiest thing is to do it all at once, as if all the top-level
601         -- decls were mutually recursive
602     top_subst       = mkSubst (mkInScopeSet (mkVarSet (bindersOfBinds binds))) emptySubstEnv
603
604     go []           = returnSM ([], emptyUDs)
605     go (bind:binds) = go binds                          `thenSM` \ (binds', uds) ->
606                       specBind top_subst bind uds       `thenSM` \ (bind', uds') ->
607                       returnSM (bind' ++ binds', uds')
608
609 dump_specs var = pprCoreRules var (idSpecialisation var)
610 \end{code}
611
612 %************************************************************************
613 %*                                                                      *
614 \subsubsection{@specExpr@: the main function}
615 %*                                                                      *
616 %************************************************************************
617
618 \begin{code}
619 specVar :: Subst -> Id -> CoreExpr
620 specVar subst v = case lookupIdSubst subst v of
621                         DoneEx e   -> e
622                         DoneId v _ -> Var v
623
624 specExpr :: Subst -> CoreExpr -> SpecM (CoreExpr, UsageDetails)
625 -- We carry a substitution down:
626 --      a) we must clone any binding that might flaot outwards,
627 --         to avoid name clashes
628 --      b) we carry a type substitution to use when analysing
629 --         the RHS of specialised bindings (no type-let!)
630
631 ---------------- First the easy cases --------------------
632 specExpr subst (Type ty) = returnSM (Type (substTy subst ty), emptyUDs)
633 specExpr subst (Var v)   = returnSM (specVar subst v,         emptyUDs)
634 specExpr subst (Lit lit) = returnSM (Lit lit,                 emptyUDs)
635
636 specExpr subst (Note note body)
637   = specExpr subst body         `thenSM` \ (body', uds) ->
638     returnSM (Note (specNote subst note) body', uds)
639
640
641 ---------------- Applications might generate a call instance --------------------
642 specExpr subst expr@(App fun arg)
643   = go expr []
644   where
645     go (App fun arg) args = specExpr subst arg  `thenSM` \ (arg', uds_arg) ->
646                             go fun (arg':args)  `thenSM` \ (fun', uds_app) ->
647                             returnSM (App fun' arg', uds_arg `plusUDs` uds_app)
648
649     go (Var f)       args = case specVar subst f of
650                                 Var f' -> returnSM (Var f', mkCallUDs subst f' args)
651                                 e'     -> returnSM (e', emptyUDs)       -- I don't expect this!
652     go other         args = specExpr subst other
653
654 ---------------- Lambda/case require dumping of usage details --------------------
655 specExpr subst e@(Lam _ _)
656   = specExpr subst' body        `thenSM` \ (body', uds) ->
657     let
658         (filtered_uds, body'') = dumpUDs bndrs' uds body'
659     in
660     returnSM (mkLams bndrs' body'', filtered_uds)
661   where
662     (bndrs, body) = collectBinders e
663     (subst', bndrs') = simplBndrs subst bndrs
664         -- More efficient to collect a group of binders together all at once
665         -- and we don't want to split a lambda group with dumped bindings
666
667 specExpr subst (Case scrut case_bndr alts)
668   = specExpr subst scrut                        `thenSM` \ (scrut', uds_scrut) ->
669     mapAndCombineSM spec_alt alts       `thenSM` \ (alts', uds_alts) ->
670     returnSM (Case scrut' case_bndr' alts', uds_scrut `plusUDs` uds_alts)
671   where
672     (subst_alt, case_bndr') = simplBndr subst case_bndr
673         -- No need to clone case binder; it can't float like a let(rec)
674
675     spec_alt (con, args, rhs)
676         = specExpr subst_rhs rhs                `thenSM` \ (rhs', uds) ->
677           let
678              (uds', rhs'') = dumpUDs args uds rhs'
679           in
680           returnSM ((con, args', rhs''), uds')
681         where
682           (subst_rhs, args') = simplBndrs subst_alt args
683
684 ---------------- Finally, let is the interesting case --------------------
685 specExpr subst (Let bind body)
686   =     -- Clone binders
687     cloneBindSM subst bind                      `thenSM` \ (rhs_subst, body_subst, bind') ->
688         
689         -- Deal with the body
690     specExpr body_subst body                    `thenSM` \ (body', body_uds) ->
691
692         -- Deal with the bindings
693     specBind rhs_subst bind' body_uds           `thenSM` \ (binds', uds) ->
694
695         -- All done
696     returnSM (foldr Let body' binds', uds)
697
698 -- Must apply the type substitution to coerceions
699 specNote subst (Coerce t1 t2) = Coerce (substTy subst t1) (substTy subst t2)
700 specNote subst note           = note
701 \end{code}
702
703 %************************************************************************
704 %*                                                                      *
705 \subsubsection{Dealing with a binding}
706 %*                                                                      *
707 %************************************************************************
708
709 \begin{code}
710 specBind :: Subst                       -- Use this for RHSs
711          -> CoreBind
712          -> UsageDetails                -- Info on how the scope of the binding
713          -> SpecM ([CoreBind],          -- New bindings
714                    UsageDetails)        -- And info to pass upstream
715
716 specBind rhs_subst bind body_uds
717   = specBindItself rhs_subst bind (calls body_uds)      `thenSM` \ (bind', bind_uds) ->
718     let
719         bndrs   = bindersOf bind
720         all_uds = zapCalls bndrs (body_uds `plusUDs` bind_uds)
721                         -- It's important that the `plusUDs` is this way round,
722                         -- because body_uds may bind dictionaries that are
723                         -- used in the calls passed to specDefn.  So the
724                         -- dictionary bindings in bind_uds may mention 
725                         -- dictionaries bound in body_uds.
726     in
727     case splitUDs bndrs all_uds of
728
729         (_, ([],[]))    -- This binding doesn't bind anything needed
730                         -- in the UDs, so put the binding here
731                         -- This is the case for most non-dict bindings, except
732                         -- for the few that are mentioned in a dict binding
733                         -- that is floating upwards in body_uds
734                 -> returnSM ([bind'], all_uds)
735
736         (float_uds, (dict_binds, calls))        -- This binding is needed in the UDs, so float it out
737                 -> returnSM ([], float_uds `plusUDs` mkBigUD bind' dict_binds calls)
738    
739
740 -- A truly gruesome function
741 mkBigUD bind@(NonRec _ _) dbs calls
742   =     -- Common case: non-recursive and no specialisations
743         -- (if there were any specialistions it would have been made recursive)
744     MkUD { dict_binds = listToBag (mkDB bind : dbs),
745            calls = listToCallDetails calls }
746
747 mkBigUD bind dbs calls
748   =     -- General case
749     MkUD { dict_binds = unitBag (mkDB (Rec (bind_prs bind ++ dbsToPairs dbs))),
750                         -- Make a huge Rec
751            calls = listToCallDetails calls }
752   where
753     bind_prs (NonRec b r) = [(b,r)]
754     bind_prs (Rec prs)    = prs
755
756     dbsToPairs []             = []
757     dbsToPairs ((bind,_):dbs) = bind_prs bind ++ dbsToPairs dbs
758
759 -- specBindItself deals with the RHS, specialising it according
760 -- to the calls found in the body (if any)
761 specBindItself rhs_subst (NonRec bndr rhs) call_info
762   = specDefn rhs_subst call_info (bndr,rhs)     `thenSM` \ ((bndr',rhs'), spec_defns, spec_uds) ->
763     let
764         new_bind | null spec_defns = NonRec bndr' rhs'
765                  | otherwise       = Rec ((bndr',rhs'):spec_defns)
766                 -- bndr' mentions the spec_defns in its SpecEnv
767                 -- Not sure why we couln't just put the spec_defns first
768     in
769     returnSM (new_bind, spec_uds)
770
771 specBindItself rhs_subst (Rec pairs) call_info
772   = mapSM (specDefn rhs_subst call_info) pairs  `thenSM` \ stuff ->
773     let
774         (pairs', spec_defns_s, spec_uds_s) = unzip3 stuff
775         spec_defns = concat spec_defns_s
776         spec_uds   = plusUDList spec_uds_s
777         new_bind   = Rec (spec_defns ++ pairs')
778     in
779     returnSM (new_bind, spec_uds)
780     
781
782 specDefn :: Subst                       -- Subst to use for RHS
783          -> CallDetails                 -- Info on how it is used in its scope
784          -> (Id, CoreExpr)              -- The thing being bound and its un-processed RHS
785          -> SpecM ((Id, CoreExpr),      -- The thing and its processed RHS
786                                         --      the Id may now have specialisations attached
787                    [(Id,CoreExpr)],     -- Extra, specialised bindings
788                    UsageDetails         -- Stuff to fling upwards from the RHS and its
789             )                           --      specialised versions
790
791 specDefn subst calls (fn, rhs)
792         -- The first case is the interesting one
793   |  n_tyvars == length rhs_tyvars      -- Rhs of fn's defn has right number of big lambdas
794   && n_dicts  <= length rhs_bndrs       -- and enough dict args
795   && not (null calls_for_me)            -- And there are some calls to specialise
796   && not (certainlyWillInline fn)       -- And it's not small
797                                         -- If it's small, it's better just to inline
798                                         -- it than to construct lots of specialisations
799   =   -- Specialise the body of the function
800     specExpr subst rhs                                  `thenSM` \ (rhs', rhs_uds) ->
801
802       -- Make a specialised version for each call in calls_for_me
803     mapSM spec_call calls_for_me                `thenSM` \ stuff ->
804     let
805         (spec_defns, spec_uds, spec_rules) = unzip3 stuff
806
807         fn' = addIdSpecialisations zapped_fn spec_rules
808     in
809     returnSM ((fn',rhs'), 
810               spec_defns, 
811               rhs_uds `plusUDs` plusUDList spec_uds)
812
813   | otherwise   -- No calls or RHS doesn't fit our preconceptions
814   = specExpr subst rhs                  `thenSM` \ (rhs', rhs_uds) ->
815     returnSM ((zapped_fn, rhs'), [], rhs_uds)
816   
817   where
818     zapped_fn            = modifyIdInfo zapSpecPragInfo fn
819         -- If the fn is a SpecPragmaId, make it discardable
820         -- It's role as a holder for a call instance is o'er
821         -- But it might be alive for some other reason by now.
822
823     fn_type            = idType fn
824     (tyvars, theta, _) = splitSigmaTy fn_type
825     n_tyvars           = length tyvars
826     n_dicts            = length theta
827
828     (rhs_tyvars, rhs_ids, rhs_body) = collectTyAndValBinders rhs
829     rhs_dicts = take n_dicts rhs_ids
830     rhs_bndrs = rhs_tyvars ++ rhs_dicts
831     body      = mkLams (drop n_dicts rhs_ids) rhs_body
832                 -- Glue back on the non-dict lambdas
833
834     calls_for_me = case lookupFM calls fn of
835                         Nothing -> []
836                         Just cs -> fmToList cs
837
838     ----------------------------------------------------------
839         -- Specialise to one particular call pattern
840     spec_call :: ([Maybe Type], ([DictExpr], VarSet))   -- Call instance
841               -> SpecM ((Id,CoreExpr),                  -- Specialised definition
842                         UsageDetails,                   -- Usage details from specialised body
843                         CoreRule)                       -- Info for the Id's SpecEnv
844     spec_call (call_ts, (call_ds, call_fvs))
845       = ASSERT( length call_ts == n_tyvars && length call_ds == n_dicts )
846                 -- Calls are only recorded for properly-saturated applications
847         
848         -- Suppose f's defn is  f = /\ a b c d -> \ d1 d2 -> rhs        
849         -- Supppose the call is for f [Just t1, Nothing, Just t3, Nothing] [dx1, dx2]
850
851         -- Construct the new binding
852         --      f1 = SUBST[a->t1,c->t3, d1->d1', d2->d2'] (/\ b d -> rhs)
853         -- PLUS the usage-details
854         --      { d1' = dx1; d2' = dx2 }
855         -- where d1', d2' are cloned versions of d1,d2, with the type substitution applied.
856         --
857         -- Note that the substitution is applied to the whole thing.
858         -- This is convenient, but just slightly fragile.  Notably:
859         --      * There had better be no name clashes in a/b/c/d
860         --
861         let
862                 -- poly_tyvars = [b,d] in the example above
863                 -- spec_tyvars = [a,c] 
864                 -- ty_args     = [t1,b,t3,d]
865            poly_tyvars = [tv | (tv, Nothing) <- rhs_tyvars `zip` call_ts]
866            spec_tyvars = [tv | (tv, Just _)  <- rhs_tyvars `zip` call_ts]
867            ty_args     = zipWithEqual "spec_call" mk_ty_arg rhs_tyvars call_ts
868                        where
869                          mk_ty_arg rhs_tyvar Nothing   = Type (mkTyVarTy rhs_tyvar)
870                          mk_ty_arg rhs_tyvar (Just ty) = Type ty
871            rhs_subst  = extendSubstList subst spec_tyvars [DoneTy ty | Just ty <- call_ts]
872         in
873         cloneBinders rhs_subst rhs_dicts                `thenSM` \ (rhs_subst', rhs_dicts') ->
874         let
875            inst_args = ty_args ++ map Var rhs_dicts'
876
877                 -- Figure out the type of the specialised function
878            spec_id_ty = mkForAllTys poly_tyvars (applyTypeToArgs rhs fn_type inst_args)
879         in
880         newIdSM fn spec_id_ty                           `thenSM` \ spec_f ->
881         specExpr rhs_subst' (mkLams poly_tyvars body)   `thenSM` \ (spec_rhs, rhs_uds) ->       
882         let
883                 -- The rule to put in the function's specialisation is:
884                 --      forall b,d, d1',d2'.  f t1 b t3 d d1' d2' = f1 b d  
885            spec_env_rule = Rule (_PK_ ("SPEC " ++ showSDoc (ppr fn)))
886                                 (poly_tyvars ++ rhs_dicts')
887                                 inst_args 
888                                 (mkTyApps (Var spec_f) (map mkTyVarTy poly_tyvars))
889
890                 -- Add the { d1' = dx1; d2' = dx2 } usage stuff
891            final_uds = foldr addDictBind rhs_uds (my_zipEqual "spec_call" rhs_dicts' call_ds)
892         in
893         returnSM ((spec_f, spec_rhs),
894                   final_uds,
895                   spec_env_rule)
896
897       where
898         my_zipEqual doc xs ys 
899          | length xs /= length ys = pprPanic "my_zipEqual" (ppr xs $$ ppr ys $$ (ppr fn <+> ppr call_ts) $$ ppr rhs)
900          | otherwise              = zipEqual doc xs ys
901 \end{code}
902
903 %************************************************************************
904 %*                                                                      *
905 \subsubsection{UsageDetails and suchlike}
906 %*                                                                      *
907 %************************************************************************
908
909 \begin{code}
910 data UsageDetails 
911   = MkUD {
912         dict_binds :: !(Bag DictBind),
913                         -- Floated dictionary bindings
914                         -- The order is important; 
915                         -- in ds1 `union` ds2, bindings in ds2 can depend on those in ds1
916                         -- (Remember, Bags preserve order in GHC.)
917
918         calls     :: !CallDetails
919     }
920
921 type DictBind = (CoreBind, VarSet)
922         -- The set is the free vars of the binding
923         -- both tyvars and dicts
924
925 type DictExpr = CoreExpr
926
927 emptyUDs = MkUD { dict_binds = emptyBag, calls = emptyFM }
928
929 type ProtoUsageDetails = ([DictBind],
930                           [(Id, [Maybe Type], ([DictExpr], VarSet))]
931                          )
932
933 ------------------------------------------------------------                    
934 type CallDetails  = FiniteMap Id CallInfo
935 type CallInfo     = FiniteMap [Maybe Type]                      -- Nothing => unconstrained type argument
936                               ([DictExpr], VarSet)              -- Dict args and the vars of the whole
937                                                                 -- call (including tyvars)
938                                                                 -- [*not* include the main id itself, of course]
939         -- The finite maps eliminate duplicates
940         -- The list of types and dictionaries is guaranteed to
941         -- match the type of f
942
943 unionCalls :: CallDetails -> CallDetails -> CallDetails
944 unionCalls c1 c2 = plusFM_C plusFM c1 c2
945
946 singleCall :: Id -> [Maybe Type] -> [DictExpr] -> CallDetails
947 singleCall id tys dicts 
948   = unitFM id (unitFM tys (dicts, call_fvs))
949   where
950     call_fvs = exprsFreeVars dicts `unionVarSet` tys_fvs
951     tys_fvs  = tyVarsOfTypes (catMaybes tys)
952         -- The type args (tys) are guaranteed to be part of the dictionary
953         -- types, because they are just the constrained types,
954         -- and the dictionary is therefore sure to be bound
955         -- inside the binding for any type variables free in the type;
956         -- hence it's safe to neglect tyvars free in tys when making
957         -- the free-var set for this call
958         -- BUT I don't trust this reasoning; play safe and include tys_fvs
959         --
960         -- We don't include the 'id' itself.
961
962 listToCallDetails calls
963   = foldr (unionCalls . mk_call) emptyFM calls
964   where
965     mk_call (id, tys, dicts_w_fvs) = unitFM id (unitFM tys dicts_w_fvs)
966         -- NB: the free vars of the call are provided
967
968 callDetailsToList calls = [ (id,tys,dicts)
969                           | (id,fm) <- fmToList calls,
970                             (tys,dicts) <- fmToList fm
971                           ]
972
973 mkCallUDs subst f args 
974   | null theta
975   || length spec_tys /= n_tyvars
976   || length dicts    /= n_dicts
977   || maybeToBool (lookupRule (substInScope subst) f args)
978         -- There's already a rule covering this call.  A typical case
979         -- is where there's an explicit user-provided rule.  Then
980         -- we don't want to create a specialised version 
981         -- of the function that overlaps.
982   = emptyUDs    -- Not overloaded, or no specialisation wanted
983
984   | otherwise
985   = MkUD {dict_binds = emptyBag, 
986           calls      = singleCall f spec_tys dicts
987     }
988   where
989     (tyvars, theta, _) = splitSigmaTy (idType f)
990     constrained_tyvars = tyVarsOfTheta theta 
991     n_tyvars           = length tyvars
992     n_dicts            = length theta
993
994     spec_tys = [mk_spec_ty tv ty | (tv, Type ty) <- tyvars `zip` args]
995     dicts    = [dict_expr | (_, dict_expr) <- theta `zip` (drop n_tyvars args)]
996     
997     mk_spec_ty tyvar ty | tyvar `elemVarSet` constrained_tyvars
998                         = Just ty
999                         | otherwise
1000                         = Nothing
1001
1002 ------------------------------------------------------------                    
1003 plusUDs :: UsageDetails -> UsageDetails -> UsageDetails
1004 plusUDs (MkUD {dict_binds = db1, calls = calls1})
1005         (MkUD {dict_binds = db2, calls = calls2})
1006   = MkUD {dict_binds = d, calls = c}
1007   where
1008     d = db1    `unionBags`   db2 
1009     c = calls1 `unionCalls`  calls2
1010
1011 plusUDList = foldr plusUDs emptyUDs
1012
1013 -- zapCalls deletes calls to ids from uds
1014 zapCalls ids uds = uds {calls = delListFromFM (calls uds) ids}
1015
1016 mkDB bind = (bind, bind_fvs bind)
1017
1018 bind_fvs (NonRec bndr rhs) = exprFreeVars rhs
1019 bind_fvs (Rec prs)         = foldl delVarSet rhs_fvs bndrs
1020                            where
1021                              bndrs = map fst prs
1022                              rhs_fvs = unionVarSets [exprFreeVars rhs | (bndr,rhs) <- prs]
1023
1024 addDictBind (dict,rhs) uds = uds { dict_binds = mkDB (NonRec dict rhs) `consBag` dict_binds uds }
1025
1026 dumpAllDictBinds (MkUD {dict_binds = dbs}) binds
1027   = foldrBag add binds dbs
1028   where
1029     add (bind,_) binds = bind : binds
1030
1031 dumpUDs :: [CoreBndr]
1032         -> UsageDetails -> CoreExpr
1033         -> (UsageDetails, CoreExpr)
1034 dumpUDs bndrs uds body
1035   = (free_uds, foldr add_let body dict_binds)
1036   where
1037     (free_uds, (dict_binds, _)) = splitUDs bndrs uds
1038     add_let (bind,_) body       = Let bind body
1039
1040 splitUDs :: [CoreBndr]
1041          -> UsageDetails
1042          -> (UsageDetails,              -- These don't mention the binders
1043              ProtoUsageDetails)         -- These do
1044              
1045 splitUDs bndrs uds@(MkUD {dict_binds = orig_dbs, 
1046                           calls      = orig_calls})
1047
1048   = if isEmptyBag dump_dbs && null dump_calls then
1049         -- Common case: binder doesn't affect floats
1050         (uds, ([],[]))  
1051
1052     else
1053         -- Binders bind some of the fvs of the floats
1054         (MkUD {dict_binds = free_dbs, 
1055                calls      = listToCallDetails free_calls},
1056          (bagToList dump_dbs, dump_calls)
1057         )
1058
1059   where
1060     bndr_set = mkVarSet bndrs
1061
1062     (free_dbs, dump_dbs, dump_idset) 
1063           = foldlBag dump_db (emptyBag, emptyBag, bndr_set) orig_dbs
1064                 -- Important that it's foldl not foldr;
1065                 -- we're accumulating the set of dumped ids in dump_set
1066
1067         -- Filter out any calls that mention things that are being dumped
1068     orig_call_list                 = callDetailsToList orig_calls
1069     (dump_calls, free_calls)       = partition captured orig_call_list
1070     captured (id,tys,(dicts, fvs)) =  fvs `intersectsVarSet` dump_idset
1071                                    || id `elemVarSet` dump_idset
1072
1073     dump_db (free_dbs, dump_dbs, dump_idset) db@(bind, fvs)
1074         | dump_idset `intersectsVarSet` fvs     -- Dump it
1075         = (free_dbs, dump_dbs `snocBag` db,
1076            dump_idset `unionVarSet` mkVarSet (bindersOf bind))
1077
1078         | otherwise     -- Don't dump it
1079         = (free_dbs `snocBag` db, dump_dbs, dump_idset)
1080 \end{code}
1081
1082
1083 %************************************************************************
1084 %*                                                                      *
1085 \subsubsection{Boring helper functions}
1086 %*                                                                      *
1087 %************************************************************************
1088
1089 \begin{code}
1090 lookupId:: IdEnv Id -> Id -> Id
1091 lookupId env id = case lookupVarEnv env id of
1092                         Nothing  -> id
1093                         Just id' -> id'
1094
1095 ----------------------------------------
1096 type SpecM a = UniqSM a
1097
1098 thenSM    = thenUs
1099 returnSM  = returnUs
1100 getUniqSM = getUniqueUs
1101 mapSM     = mapUs
1102 initSM    = initUs_
1103
1104 mapAndCombineSM f []     = returnSM ([], emptyUDs)
1105 mapAndCombineSM f (x:xs) = f x  `thenSM` \ (y, uds1) ->
1106                            mapAndCombineSM f xs `thenSM` \ (ys, uds2) ->
1107                            returnSM (y:ys, uds1 `plusUDs` uds2)
1108
1109 cloneBindSM :: Subst -> CoreBind -> SpecM (Subst, Subst, CoreBind)
1110 -- Clone the binders of the bind; return new bind with the cloned binders
1111 -- Return the substitution to use for RHSs, and the one to use for the body
1112 cloneBindSM subst (NonRec bndr rhs)
1113   = getUs       `thenUs` \ us ->
1114     let
1115         (subst', bndr') = substAndCloneId subst us bndr
1116     in
1117     returnUs (subst, subst', NonRec bndr' rhs)
1118
1119 cloneBindSM subst (Rec pairs)
1120   = getUs       `thenUs` \ us ->
1121     let
1122         (subst', bndrs') = substAndCloneRecIds subst us (map fst pairs)
1123     in
1124     returnUs (subst', subst', Rec (bndrs' `zip` map snd pairs))
1125
1126 cloneBinders subst bndrs
1127   = getUs       `thenUs` \ us ->
1128     returnUs (substAndCloneIds subst us bndrs)
1129
1130 newIdSM old_id new_ty
1131   = getUniqSM           `thenSM` \ uniq ->
1132     let 
1133         -- Give the new Id a similar occurrence name to the old one
1134         name   = idName old_id
1135         new_id = mkUserLocal (mkSpecOcc (nameOccName name)) uniq new_ty (getSrcLoc name)
1136     in
1137     returnSM new_id
1138 \end{code}
1139
1140
1141                 Old (but interesting) stuff about unboxed bindings
1142                 ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
1143
1144 What should we do when a value is specialised to a *strict* unboxed value?
1145
1146         map_*_* f (x:xs) = let h = f x
1147                                t = map f xs
1148                            in h:t
1149
1150 Could convert let to case:
1151
1152         map_*_Int# f (x:xs) = case f x of h# ->
1153                               let t = map f xs
1154                               in h#:t
1155
1156 This may be undesirable since it forces evaluation here, but the value
1157 may not be used in all branches of the body. In the general case this
1158 transformation is impossible since the mutual recursion in a letrec
1159 cannot be expressed as a case.
1160
1161 There is also a problem with top-level unboxed values, since our
1162 implementation cannot handle unboxed values at the top level.
1163
1164 Solution: Lift the binding of the unboxed value and extract it when it
1165 is used:
1166
1167         map_*_Int# f (x:xs) = let h = case (f x) of h# -> _Lift h#
1168                                   t = map f xs
1169                               in case h of
1170                                  _Lift h# -> h#:t
1171
1172 Now give it to the simplifier and the _Lifting will be optimised away.
1173
1174 The benfit is that we have given the specialised "unboxed" values a
1175 very simplep lifted semantics and then leave it up to the simplifier to
1176 optimise it --- knowing that the overheads will be removed in nearly
1177 all cases.
1178
1179 In particular, the value will only be evaluted in the branches of the
1180 program which use it, rather than being forced at the point where the
1181 value is bound. For example:
1182
1183         filtermap_*_* p f (x:xs)
1184           = let h = f x
1185                 t = ...
1186             in case p x of
1187                 True  -> h:t
1188                 False -> t
1189    ==>
1190         filtermap_*_Int# p f (x:xs)
1191           = let h = case (f x) of h# -> _Lift h#
1192                 t = ...
1193             in case p x of
1194                 True  -> case h of _Lift h#
1195                            -> h#:t
1196                 False -> t
1197
1198 The binding for h can still be inlined in the one branch and the
1199 _Lifting eliminated.
1200
1201
1202 Question: When won't the _Lifting be eliminated?
1203
1204 Answer: When they at the top-level (where it is necessary) or when
1205 inlining would duplicate work (or possibly code depending on
1206 options). However, the _Lifting will still be eliminated if the
1207 strictness analyser deems the lifted binding strict.
1208