[project @ 2001-02-28 11:48:34 by simonpj]
[ghc-hetmet.git] / ghc / compiler / specialise / Specialise.lhs
1 %
2 % (c) The GRASP/AQUA Project, Glasgow University, 1993-1998
3 %
4 \section[Specialise]{Stamping out overloading, and (optionally) polymorphism}
5
6 \begin{code}
7 module Specialise ( specProgram ) where
8
9 #include "HsVersions.h"
10
11 import CmdLineOpts      ( DynFlags, DynFlag(..) )
12 import Id               ( Id, idName, idType, mkUserLocal,
13                           idSpecialisation, modifyIdInfo
14                         )
15 import IdInfo           ( zapSpecPragInfo )
16 import VarSet
17 import VarEnv
18
19 import Type             ( Type, mkTyVarTy, splitSigmaTy, 
20                           tyVarsOfTypes, tyVarsOfTheta, 
21                           mkForAllTys 
22                         )
23 import Subst            ( Subst, mkSubst, substTy, mkSubst, substBndrs, extendSubstList, mkInScopeSet,
24                           substId, substAndCloneId, substAndCloneIds, lookupIdSubst, substInScope
25                         ) 
26 import VarSet
27 import VarEnv
28 import CoreSyn
29 import CoreUtils        ( applyTypeToArgs )
30 import CoreUnfold       ( certainlyWillInline )
31 import CoreFVs          ( exprFreeVars, exprsFreeVars )
32 import CoreLint         ( showPass, endPass )
33 import PprCore          ( pprCoreRules )
34 import Rules            ( addIdSpecialisations, lookupRule )
35
36 import UniqSupply       ( UniqSupply,
37                           UniqSM, initUs_, thenUs, thenUs, returnUs, getUniqueUs, 
38                           withUs, mapUs
39                         )
40 import Name             ( nameOccName, mkSpecOcc, getSrcLoc )
41 import FiniteMap
42 import Maybes           ( catMaybes, maybeToBool )
43 import ErrUtils         ( dumpIfSet_dyn )
44 import Bag
45 import List             ( partition )
46 import Util             ( zipEqual, zipWithEqual )
47 import Outputable
48
49
50 infixr 9 `thenSM`
51 \end{code}
52
53 %************************************************************************
54 %*                                                                      *
55 \subsection[notes-Specialise]{Implementation notes [SLPJ, Aug 18 1993]}
56 %*                                                                      *
57 %************************************************************************
58
59 These notes describe how we implement specialisation to eliminate
60 overloading.
61
62 The specialisation pass works on Core
63 syntax, complete with all the explicit dictionary application,
64 abstraction and construction as added by the type checker.  The
65 existing type checker remains largely as it is.
66
67 One important thought: the {\em types} passed to an overloaded
68 function, and the {\em dictionaries} passed are mutually redundant.
69 If the same function is applied to the same type(s) then it is sure to
70 be applied to the same dictionary(s)---or rather to the same {\em
71 values}.  (The arguments might look different but they will evaluate
72 to the same value.)
73
74 Second important thought: we know that we can make progress by
75 treating dictionary arguments as static and worth specialising on.  So
76 we can do without binding-time analysis, and instead specialise on
77 dictionary arguments and no others.
78
79 The basic idea
80 ~~~~~~~~~~~~~~
81 Suppose we have
82
83         let f = <f_rhs>
84         in <body>
85
86 and suppose f is overloaded.
87
88 STEP 1: CALL-INSTANCE COLLECTION
89
90 We traverse <body>, accumulating all applications of f to types and
91 dictionaries.
92
93 (Might there be partial applications, to just some of its types and
94 dictionaries?  In principle yes, but in practice the type checker only
95 builds applications of f to all its types and dictionaries, so partial
96 applications could only arise as a result of transformation, and even
97 then I think it's unlikely.  In any case, we simply don't accumulate such
98 partial applications.)
99
100
101 STEP 2: EQUIVALENCES
102
103 So now we have a collection of calls to f:
104         f t1 t2 d1 d2
105         f t3 t4 d3 d4
106         ...
107 Notice that f may take several type arguments.  To avoid ambiguity, we
108 say that f is called at type t1/t2 and t3/t4.
109
110 We take equivalence classes using equality of the *types* (ignoring
111 the dictionary args, which as mentioned previously are redundant).
112
113 STEP 3: SPECIALISATION
114
115 For each equivalence class, choose a representative (f t1 t2 d1 d2),
116 and create a local instance of f, defined thus:
117
118         f@t1/t2 = <f_rhs> t1 t2 d1 d2
119
120 f_rhs presumably has some big lambdas and dictionary lambdas, so lots
121 of simplification will now result.  However we don't actually *do* that
122 simplification.  Rather, we leave it for the simplifier to do.  If we
123 *did* do it, though, we'd get more call instances from the specialised
124 RHS.  We can work out what they are by instantiating the call-instance
125 set from f's RHS with the types t1, t2.
126
127 Add this new id to f's IdInfo, to record that f has a specialised version.
128
129 Before doing any of this, check that f's IdInfo doesn't already
130 tell us about an existing instance of f at the required type/s.
131 (This might happen if specialisation was applied more than once, or
132 it might arise from user SPECIALIZE pragmas.)
133
134 Recursion
135 ~~~~~~~~~
136 Wait a minute!  What if f is recursive?  Then we can't just plug in
137 its right-hand side, can we?
138
139 But it's ok.  The type checker *always* creates non-recursive definitions
140 for overloaded recursive functions.  For example:
141
142         f x = f (x+x)           -- Yes I know its silly
143
144 becomes
145
146         f a (d::Num a) = let p = +.sel a d
147                          in
148                          letrec fl (y::a) = fl (p y y)
149                          in
150                          fl
151
152 We still have recusion for non-overloaded functions which we
153 speciailise, but the recursive call should get specialised to the
154 same recursive version.
155
156
157 Polymorphism 1
158 ~~~~~~~~~~~~~~
159
160 All this is crystal clear when the function is applied to *constant
161 types*; that is, types which have no type variables inside.  But what if
162 it is applied to non-constant types?  Suppose we find a call of f at type
163 t1/t2.  There are two possibilities:
164
165 (a) The free type variables of t1, t2 are in scope at the definition point
166 of f.  In this case there's no problem, we proceed just as before.  A common
167 example is as follows.  Here's the Haskell:
168
169         g y = let f x = x+x
170               in f y + f y
171
172 After typechecking we have
173
174         g a (d::Num a) (y::a) = let f b (d'::Num b) (x::b) = +.sel b d' x x
175                                 in +.sel a d (f a d y) (f a d y)
176
177 Notice that the call to f is at type type "a"; a non-constant type.
178 Both calls to f are at the same type, so we can specialise to give:
179
180         g a (d::Num a) (y::a) = let f@a (x::a) = +.sel a d x x
181                                 in +.sel a d (f@a y) (f@a y)
182
183
184 (b) The other case is when the type variables in the instance types
185 are *not* in scope at the definition point of f.  The example we are
186 working with above is a good case.  There are two instances of (+.sel a d),
187 but "a" is not in scope at the definition of +.sel.  Can we do anything?
188 Yes, we can "common them up", a sort of limited common sub-expression deal.
189 This would give:
190
191         g a (d::Num a) (y::a) = let +.sel@a = +.sel a d
192                                     f@a (x::a) = +.sel@a x x
193                                 in +.sel@a (f@a y) (f@a y)
194
195 This can save work, and can't be spotted by the type checker, because
196 the two instances of +.sel weren't originally at the same type.
197
198 Further notes on (b)
199
200 * There are quite a few variations here.  For example, the defn of
201   +.sel could be floated ouside the \y, to attempt to gain laziness.
202   It certainly mustn't be floated outside the \d because the d has to
203   be in scope too.
204
205 * We don't want to inline f_rhs in this case, because
206 that will duplicate code.  Just commoning up the call is the point.
207
208 * Nothing gets added to +.sel's IdInfo.
209
210 * Don't bother unless the equivalence class has more than one item!
211
212 Not clear whether this is all worth it.  It is of course OK to
213 simply discard call-instances when passing a big lambda.
214
215 Polymorphism 2 -- Overloading
216 ~~~~~~~~~~~~~~
217 Consider a function whose most general type is
218
219         f :: forall a b. Ord a => [a] -> b -> b
220
221 There is really no point in making a version of g at Int/Int and another
222 at Int/Bool, because it's only instancing the type variable "a" which
223 buys us any efficiency. Since g is completely polymorphic in b there
224 ain't much point in making separate versions of g for the different
225 b types.
226
227 That suggests that we should identify which of g's type variables
228 are constrained (like "a") and which are unconstrained (like "b").
229 Then when taking equivalence classes in STEP 2, we ignore the type args
230 corresponding to unconstrained type variable.  In STEP 3 we make
231 polymorphic versions.  Thus:
232
233         f@t1/ = /\b -> <f_rhs> t1 b d1 d2
234
235 We do this.
236
237
238 Dictionary floating
239 ~~~~~~~~~~~~~~~~~~~
240 Consider this
241
242         f a (d::Num a) = let g = ...
243                          in
244                          ...(let d1::Ord a = Num.Ord.sel a d in g a d1)...
245
246 Here, g is only called at one type, but the dictionary isn't in scope at the
247 definition point for g.  Usually the type checker would build a
248 definition for d1 which enclosed g, but the transformation system
249 might have moved d1's defn inward.  Solution: float dictionary bindings
250 outwards along with call instances.
251
252 Consider
253
254         f x = let g p q = p==q
255                   h r s = (r+s, g r s)
256               in
257               h x x
258
259
260 Before specialisation, leaving out type abstractions we have
261
262         f df x = let g :: Eq a => a -> a -> Bool
263                      g dg p q = == dg p q
264                      h :: Num a => a -> a -> (a, Bool)
265                      h dh r s = let deq = eqFromNum dh
266                                 in (+ dh r s, g deq r s)
267               in
268               h df x x
269
270 After specialising h we get a specialised version of h, like this:
271
272                     h' r s = let deq = eqFromNum df
273                              in (+ df r s, g deq r s)
274
275 But we can't naively make an instance for g from this, because deq is not in scope
276 at the defn of g.  Instead, we have to float out the (new) defn of deq
277 to widen its scope.  Notice that this floating can't be done in advance -- it only
278 shows up when specialisation is done.
279
280 User SPECIALIZE pragmas
281 ~~~~~~~~~~~~~~~~~~~~~~~
282 Specialisation pragmas can be digested by the type checker, and implemented
283 by adding extra definitions along with that of f, in the same way as before
284
285         f@t1/t2 = <f_rhs> t1 t2 d1 d2
286
287 Indeed the pragmas *have* to be dealt with by the type checker, because
288 only it knows how to build the dictionaries d1 and d2!  For example
289
290         g :: Ord a => [a] -> [a]
291         {-# SPECIALIZE f :: [Tree Int] -> [Tree Int] #-}
292
293 Here, the specialised version of g is an application of g's rhs to the
294 Ord dictionary for (Tree Int), which only the type checker can conjure
295 up.  There might not even *be* one, if (Tree Int) is not an instance of
296 Ord!  (All the other specialision has suitable dictionaries to hand
297 from actual calls.)
298
299 Problem.  The type checker doesn't have to hand a convenient <f_rhs>, because
300 it is buried in a complex (as-yet-un-desugared) binding group.
301 Maybe we should say
302
303         f@t1/t2 = f* t1 t2 d1 d2
304
305 where f* is the Id f with an IdInfo which says "inline me regardless!".
306 Indeed all the specialisation could be done in this way.
307 That in turn means that the simplifier has to be prepared to inline absolutely
308 any in-scope let-bound thing.
309
310
311 Again, the pragma should permit polymorphism in unconstrained variables:
312
313         h :: Ord a => [a] -> b -> b
314         {-# SPECIALIZE h :: [Int] -> b -> b #-}
315
316 We *insist* that all overloaded type variables are specialised to ground types,
317 (and hence there can be no context inside a SPECIALIZE pragma).
318 We *permit* unconstrained type variables to be specialised to
319         - a ground type
320         - or left as a polymorphic type variable
321 but nothing in between.  So
322
323         {-# SPECIALIZE h :: [Int] -> [c] -> [c] #-}
324
325 is *illegal*.  (It can be handled, but it adds complication, and gains the
326 programmer nothing.)
327
328
329 SPECIALISING INSTANCE DECLARATIONS
330 ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
331 Consider
332
333         instance Foo a => Foo [a] where
334                 ...
335         {-# SPECIALIZE instance Foo [Int] #-}
336
337 The original instance decl creates a dictionary-function
338 definition:
339
340         dfun.Foo.List :: forall a. Foo a -> Foo [a]
341
342 The SPECIALIZE pragma just makes a specialised copy, just as for
343 ordinary function definitions:
344
345         dfun.Foo.List@Int :: Foo [Int]
346         dfun.Foo.List@Int = dfun.Foo.List Int dFooInt
347
348 The information about what instance of the dfun exist gets added to
349 the dfun's IdInfo in the same way as a user-defined function too.
350
351
352 Automatic instance decl specialisation?
353 ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
354 Can instance decls be specialised automatically?  It's tricky.
355 We could collect call-instance information for each dfun, but
356 then when we specialised their bodies we'd get new call-instances
357 for ordinary functions; and when we specialised their bodies, we might get
358 new call-instances of the dfuns, and so on.  This all arises because of
359 the unrestricted mutual recursion between instance decls and value decls.
360
361 Still, there's no actual problem; it just means that we may not do all
362 the specialisation we could theoretically do.
363
364 Furthermore, instance decls are usually exported and used non-locally,
365 so we'll want to compile enough to get those specialisations done.
366
367 Lastly, there's no such thing as a local instance decl, so we can
368 survive solely by spitting out *usage* information, and then reading that
369 back in as a pragma when next compiling the file.  So for now,
370 we only specialise instance decls in response to pragmas.
371
372
373 SPITTING OUT USAGE INFORMATION
374 ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
375
376 To spit out usage information we need to traverse the code collecting
377 call-instance information for all imported (non-prelude?) functions
378 and data types. Then we equivalence-class it and spit it out.
379
380 This is done at the top-level when all the call instances which escape
381 must be for imported functions and data types.
382
383 *** Not currently done ***
384
385
386 Partial specialisation by pragmas
387 ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
388 What about partial specialisation:
389
390         k :: (Ord a, Eq b) => [a] -> b -> b -> [a]
391         {-# SPECIALIZE k :: Eq b => [Int] -> b -> b -> [a] #-}
392
393 or even
394
395         {-# SPECIALIZE k :: Eq b => [Int] -> [b] -> [b] -> [a] #-}
396
397 Seems quite reasonable.  Similar things could be done with instance decls:
398
399         instance (Foo a, Foo b) => Foo (a,b) where
400                 ...
401         {-# SPECIALIZE instance Foo a => Foo (a,Int) #-}
402         {-# SPECIALIZE instance Foo b => Foo (Int,b) #-}
403
404 Ho hum.  Things are complex enough without this.  I pass.
405
406
407 Requirements for the simplifer
408 ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
409 The simplifier has to be able to take advantage of the specialisation.
410
411 * When the simplifier finds an application of a polymorphic f, it looks in
412 f's IdInfo in case there is a suitable instance to call instead.  This converts
413
414         f t1 t2 d1 d2   ===>   f_t1_t2
415
416 Note that the dictionaries get eaten up too!
417
418 * Dictionary selection operations on constant dictionaries must be
419   short-circuited:
420
421         +.sel Int d     ===>  +Int
422
423 The obvious way to do this is in the same way as other specialised
424 calls: +.sel has inside it some IdInfo which tells that if it's applied
425 to the type Int then it should eat a dictionary and transform to +Int.
426
427 In short, dictionary selectors need IdInfo inside them for constant
428 methods.
429
430 * Exactly the same applies if a superclass dictionary is being
431   extracted:
432
433         Eq.sel Int d   ===>   dEqInt
434
435 * Something similar applies to dictionary construction too.  Suppose
436 dfun.Eq.List is the function taking a dictionary for (Eq a) to
437 one for (Eq [a]).  Then we want
438
439         dfun.Eq.List Int d      ===> dEq.List_Int
440
441 Where does the Eq [Int] dictionary come from?  It is built in
442 response to a SPECIALIZE pragma on the Eq [a] instance decl.
443
444 In short, dfun Ids need IdInfo with a specialisation for each
445 constant instance of their instance declaration.
446
447 All this uses a single mechanism: the SpecEnv inside an Id
448
449
450 What does the specialisation IdInfo look like?
451 ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
452
453 The SpecEnv of an Id maps a list of types (the template) to an expression
454
455         [Type]  |->  Expr
456
457 For example, if f has this SpecInfo:
458
459         [Int, a]  ->  \d:Ord Int. f' a
460
461 it means that we can replace the call
462
463         f Int t  ===>  (\d. f' t)
464
465 This chucks one dictionary away and proceeds with the
466 specialised version of f, namely f'.
467
468
469 What can't be done this way?
470 ~~~~~~~~~~~~~~~~~~~~~~~~~~~~
471 There is no way, post-typechecker, to get a dictionary for (say)
472 Eq a from a dictionary for Eq [a].  So if we find
473
474         ==.sel [t] d
475
476 we can't transform to
477
478         eqList (==.sel t d')
479
480 where
481         eqList :: (a->a->Bool) -> [a] -> [a] -> Bool
482
483 Of course, we currently have no way to automatically derive
484 eqList, nor to connect it to the Eq [a] instance decl, but you
485 can imagine that it might somehow be possible.  Taking advantage
486 of this is permanently ruled out.
487
488 Still, this is no great hardship, because we intend to eliminate
489 overloading altogether anyway!
490
491
492
493 A note about non-tyvar dictionaries
494 ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
495 Some Ids have types like
496
497         forall a,b,c. Eq a -> Ord [a] -> tau
498
499 This seems curious at first, because we usually only have dictionary
500 args whose types are of the form (C a) where a is a type variable.
501 But this doesn't hold for the functions arising from instance decls,
502 which sometimes get arguements with types of form (C (T a)) for some
503 type constructor T.
504
505 Should we specialise wrt this compound-type dictionary?  We used to say
506 "no", saying:
507         "This is a heuristic judgement, as indeed is the fact that we 
508         specialise wrt only dictionaries.  We choose *not* to specialise
509         wrt compound dictionaries because at the moment the only place
510         they show up is in instance decls, where they are simply plugged
511         into a returned dictionary.  So nothing is gained by specialising
512         wrt them."
513
514 But it is simpler and more uniform to specialise wrt these dicts too;
515 and in future GHC is likely to support full fledged type signatures 
516 like
517         f ;: Eq [(a,b)] => ...
518
519
520 %************************************************************************
521 %*                                                                      *
522 \subsubsection{The new specialiser}
523 %*                                                                      *
524 %************************************************************************
525
526 Our basic game plan is this.  For let(rec) bound function
527         f :: (C a, D c) => (a,b,c,d) -> Bool
528
529 * Find any specialised calls of f, (f ts ds), where 
530   ts are the type arguments t1 .. t4, and
531   ds are the dictionary arguments d1 .. d2.
532
533 * Add a new definition for f1 (say):
534
535         f1 = /\ b d -> (..body of f..) t1 b t3 d d1 d2
536
537   Note that we abstract over the unconstrained type arguments.
538
539 * Add the mapping
540
541         [t1,b,t3,d]  |->  \d1 d2 -> f1 b d
542
543   to the specialisations of f.  This will be used by the
544   simplifier to replace calls 
545                 (f t1 t2 t3 t4) da db
546   by
547                 (\d1 d1 -> f1 t2 t4) da db
548
549   All the stuff about how many dictionaries to discard, and what types
550   to apply the specialised function to, are handled by the fact that the
551   SpecEnv contains a template for the result of the specialisation.
552
553 We don't build *partial* specialisations for f.  For example:
554
555   f :: Eq a => a -> a -> Bool
556   {-# SPECIALISE f :: (Eq b, Eq c) => (b,c) -> (b,c) -> Bool #-}
557
558 Here, little is gained by making a specialised copy of f.
559 There's a distinct danger that the specialised version would
560 first build a dictionary for (Eq b, Eq c), and then select the (==) 
561 method from it!  Even if it didn't, not a great deal is saved.
562
563 We do, however, generate polymorphic, but not overloaded, specialisations:
564
565   f :: Eq a => [a] -> b -> b -> b
566   {#- SPECIALISE f :: [Int] -> b -> b -> b #-}
567
568 Hence, the invariant is this: 
569
570         *** no specialised version is overloaded ***
571
572
573 %************************************************************************
574 %*                                                                      *
575 \subsubsection{The exported function}
576 %*                                                                      *
577 %************************************************************************
578
579 \begin{code}
580 specProgram :: DynFlags -> UniqSupply -> [CoreBind] -> IO [CoreBind]
581 specProgram dflags us binds
582   = do
583         showPass dflags "Specialise"
584
585         let binds' = initSM us (go binds        `thenSM` \ (binds', uds') ->
586                                 returnSM (dumpAllDictBinds uds' binds'))
587
588         endPass dflags "Specialise" Opt_D_dump_spec binds'
589
590         dumpIfSet_dyn dflags Opt_D_dump_rules "Top-level specialisations"
591                   (vcat (map dump_specs (concat (map bindersOf binds'))))
592
593         return binds'
594   where
595         -- We need to start with a Subst that knows all the things
596         -- that are in scope, so that the substitution engine doesn't
597         -- accidentally re-use a unique that's already in use
598         -- Easiest thing is to do it all at once, as if all the top-level
599         -- decls were mutually recursive
600     top_subst       = mkSubst (mkInScopeSet (mkVarSet (bindersOfBinds binds))) emptySubstEnv
601
602     go []           = returnSM ([], emptyUDs)
603     go (bind:binds) = go binds                          `thenSM` \ (binds', uds) ->
604                       specBind top_subst bind uds       `thenSM` \ (bind', uds') ->
605                       returnSM (bind' ++ binds', uds')
606
607 dump_specs var = pprCoreRules var (idSpecialisation var)
608 \end{code}
609
610 %************************************************************************
611 %*                                                                      *
612 \subsubsection{@specExpr@: the main function}
613 %*                                                                      *
614 %************************************************************************
615
616 \begin{code}
617 specVar :: Subst -> Id -> CoreExpr
618 specVar subst v = case lookupIdSubst subst v of
619                         DoneEx e   -> e
620                         DoneId v _ -> Var v
621
622 specExpr :: Subst -> CoreExpr -> SpecM (CoreExpr, UsageDetails)
623 -- We carry a substitution down:
624 --      a) we must clone any binding that might flaot outwards,
625 --         to avoid name clashes
626 --      b) we carry a type substitution to use when analysing
627 --         the RHS of specialised bindings (no type-let!)
628
629 ---------------- First the easy cases --------------------
630 specExpr subst (Type ty) = returnSM (Type (substTy subst ty), emptyUDs)
631 specExpr subst (Var v)   = returnSM (specVar subst v,         emptyUDs)
632 specExpr subst (Lit lit) = returnSM (Lit lit,                 emptyUDs)
633
634 specExpr subst (Note note body)
635   = specExpr subst body         `thenSM` \ (body', uds) ->
636     returnSM (Note (specNote subst note) body', uds)
637
638
639 ---------------- Applications might generate a call instance --------------------
640 specExpr subst expr@(App fun arg)
641   = go expr []
642   where
643     go (App fun arg) args = specExpr subst arg  `thenSM` \ (arg', uds_arg) ->
644                             go fun (arg':args)  `thenSM` \ (fun', uds_app) ->
645                             returnSM (App fun' arg', uds_arg `plusUDs` uds_app)
646
647     go (Var f)       args = case specVar subst f of
648                                 Var f' -> returnSM (Var f', mkCallUDs subst f' args)
649                                 e'     -> returnSM (e', emptyUDs)       -- I don't expect this!
650     go other         args = specExpr subst other
651
652 ---------------- Lambda/case require dumping of usage details --------------------
653 specExpr subst e@(Lam _ _)
654   = specExpr subst' body        `thenSM` \ (body', uds) ->
655     let
656         (filtered_uds, body'') = dumpUDs bndrs' uds body'
657     in
658     returnSM (mkLams bndrs' body'', filtered_uds)
659   where
660     (bndrs, body) = collectBinders e
661     (subst', bndrs') = substBndrs subst bndrs
662         -- More efficient to collect a group of binders together all at once
663         -- and we don't want to split a lambda group with dumped bindings
664
665 specExpr subst (Case scrut case_bndr alts)
666   = specExpr subst scrut                        `thenSM` \ (scrut', uds_scrut) ->
667     mapAndCombineSM spec_alt alts       `thenSM` \ (alts', uds_alts) ->
668     returnSM (Case scrut' case_bndr' alts', uds_scrut `plusUDs` uds_alts)
669   where
670     (subst_alt, case_bndr') = substId subst case_bndr
671         -- No need to clone case binder; it can't float like a let(rec)
672
673     spec_alt (con, args, rhs)
674         = specExpr subst_rhs rhs                `thenSM` \ (rhs', uds) ->
675           let
676              (uds', rhs'') = dumpUDs args uds rhs'
677           in
678           returnSM ((con, args', rhs''), uds')
679         where
680           (subst_rhs, args') = substBndrs subst_alt args
681
682 ---------------- Finally, let is the interesting case --------------------
683 specExpr subst (Let bind body)
684   =     -- Clone binders
685     cloneBindSM subst bind                      `thenSM` \ (rhs_subst, body_subst, bind') ->
686         
687         -- Deal with the body
688     specExpr body_subst body                    `thenSM` \ (body', body_uds) ->
689
690         -- Deal with the bindings
691     specBind rhs_subst bind' body_uds           `thenSM` \ (binds', uds) ->
692
693         -- All done
694     returnSM (foldr Let body' binds', uds)
695
696 -- Must apply the type substitution to coerceions
697 specNote subst (Coerce t1 t2) = Coerce (substTy subst t1) (substTy subst t2)
698 specNote subst note           = note
699 \end{code}
700
701 %************************************************************************
702 %*                                                                      *
703 \subsubsection{Dealing with a binding}
704 %*                                                                      *
705 %************************************************************************
706
707 \begin{code}
708 specBind :: Subst                       -- Use this for RHSs
709          -> CoreBind
710          -> UsageDetails                -- Info on how the scope of the binding
711          -> SpecM ([CoreBind],          -- New bindings
712                    UsageDetails)        -- And info to pass upstream
713
714 specBind rhs_subst bind body_uds
715   = specBindItself rhs_subst bind (calls body_uds)      `thenSM` \ (bind', bind_uds) ->
716     let
717         bndrs   = bindersOf bind
718         all_uds = zapCalls bndrs (body_uds `plusUDs` bind_uds)
719                         -- It's important that the `plusUDs` is this way round,
720                         -- because body_uds may bind dictionaries that are
721                         -- used in the calls passed to specDefn.  So the
722                         -- dictionary bindings in bind_uds may mention 
723                         -- dictionaries bound in body_uds.
724     in
725     case splitUDs bndrs all_uds of
726
727         (_, ([],[]))    -- This binding doesn't bind anything needed
728                         -- in the UDs, so put the binding here
729                         -- This is the case for most non-dict bindings, except
730                         -- for the few that are mentioned in a dict binding
731                         -- that is floating upwards in body_uds
732                 -> returnSM ([bind'], all_uds)
733
734         (float_uds, (dict_binds, calls))        -- This binding is needed in the UDs, so float it out
735                 -> returnSM ([], float_uds `plusUDs` mkBigUD bind' dict_binds calls)
736    
737
738 -- A truly gruesome function
739 mkBigUD bind@(NonRec _ _) dbs calls
740   =     -- Common case: non-recursive and no specialisations
741         -- (if there were any specialistions it would have been made recursive)
742     MkUD { dict_binds = listToBag (mkDB bind : dbs),
743            calls = listToCallDetails calls }
744
745 mkBigUD bind dbs calls
746   =     -- General case
747     MkUD { dict_binds = unitBag (mkDB (Rec (bind_prs bind ++ dbsToPairs dbs))),
748                         -- Make a huge Rec
749            calls = listToCallDetails calls }
750   where
751     bind_prs (NonRec b r) = [(b,r)]
752     bind_prs (Rec prs)    = prs
753
754     dbsToPairs []             = []
755     dbsToPairs ((bind,_):dbs) = bind_prs bind ++ dbsToPairs dbs
756
757 -- specBindItself deals with the RHS, specialising it according
758 -- to the calls found in the body (if any)
759 specBindItself rhs_subst (NonRec bndr rhs) call_info
760   = specDefn rhs_subst call_info (bndr,rhs)     `thenSM` \ ((bndr',rhs'), spec_defns, spec_uds) ->
761     let
762         new_bind | null spec_defns = NonRec bndr' rhs'
763                  | otherwise       = Rec ((bndr',rhs'):spec_defns)
764                 -- bndr' mentions the spec_defns in its SpecEnv
765                 -- Not sure why we couln't just put the spec_defns first
766     in
767     returnSM (new_bind, spec_uds)
768
769 specBindItself rhs_subst (Rec pairs) call_info
770   = mapSM (specDefn rhs_subst call_info) pairs  `thenSM` \ stuff ->
771     let
772         (pairs', spec_defns_s, spec_uds_s) = unzip3 stuff
773         spec_defns = concat spec_defns_s
774         spec_uds   = plusUDList spec_uds_s
775         new_bind   = Rec (spec_defns ++ pairs')
776     in
777     returnSM (new_bind, spec_uds)
778     
779
780 specDefn :: Subst                       -- Subst to use for RHS
781          -> CallDetails                 -- Info on how it is used in its scope
782          -> (Id, CoreExpr)              -- The thing being bound and its un-processed RHS
783          -> SpecM ((Id, CoreExpr),      -- The thing and its processed RHS
784                                         --      the Id may now have specialisations attached
785                    [(Id,CoreExpr)],     -- Extra, specialised bindings
786                    UsageDetails         -- Stuff to fling upwards from the RHS and its
787             )                           --      specialised versions
788
789 specDefn subst calls (fn, rhs)
790         -- The first case is the interesting one
791   |  n_tyvars == length rhs_tyvars      -- Rhs of fn's defn has right number of big lambdas
792   && n_dicts  <= length rhs_bndrs       -- and enough dict args
793   && not (null calls_for_me)            -- And there are some calls to specialise
794   && not (certainlyWillInline fn)       -- And it's not small
795                                         -- If it's small, it's better just to inline
796                                         -- it than to construct lots of specialisations
797   =   -- Specialise the body of the function
798     specExpr subst rhs                                  `thenSM` \ (rhs', rhs_uds) ->
799
800       -- Make a specialised version for each call in calls_for_me
801     mapSM spec_call calls_for_me                `thenSM` \ stuff ->
802     let
803         (spec_defns, spec_uds, spec_rules) = unzip3 stuff
804
805         fn' = addIdSpecialisations zapped_fn spec_rules
806     in
807     returnSM ((fn',rhs'), 
808               spec_defns, 
809               rhs_uds `plusUDs` plusUDList spec_uds)
810
811   | otherwise   -- No calls or RHS doesn't fit our preconceptions
812   = specExpr subst rhs                  `thenSM` \ (rhs', rhs_uds) ->
813     returnSM ((zapped_fn, rhs'), [], rhs_uds)
814   
815   where
816     zapped_fn            = modifyIdInfo zapSpecPragInfo fn
817         -- If the fn is a SpecPragmaId, make it discardable
818         -- It's role as a holder for a call instance is o'er
819         -- But it might be alive for some other reason by now.
820
821     fn_type            = idType fn
822     (tyvars, theta, _) = splitSigmaTy fn_type
823     n_tyvars           = length tyvars
824     n_dicts            = length theta
825
826     (rhs_tyvars, rhs_ids, rhs_body) = collectTyAndValBinders rhs
827     rhs_dicts = take n_dicts rhs_ids
828     rhs_bndrs = rhs_tyvars ++ rhs_dicts
829     body      = mkLams (drop n_dicts rhs_ids) rhs_body
830                 -- Glue back on the non-dict lambdas
831
832     calls_for_me = case lookupFM calls fn of
833                         Nothing -> []
834                         Just cs -> fmToList cs
835
836     ----------------------------------------------------------
837         -- Specialise to one particular call pattern
838     spec_call :: ([Maybe Type], ([DictExpr], VarSet))   -- Call instance
839               -> SpecM ((Id,CoreExpr),                  -- Specialised definition
840                         UsageDetails,                   -- Usage details from specialised body
841                         CoreRule)                       -- Info for the Id's SpecEnv
842     spec_call (call_ts, (call_ds, call_fvs))
843       = ASSERT( length call_ts == n_tyvars && length call_ds == n_dicts )
844                 -- Calls are only recorded for properly-saturated applications
845         
846         -- Suppose f's defn is  f = /\ a b c d -> \ d1 d2 -> rhs        
847         -- Supppose the call is for f [Just t1, Nothing, Just t3, Nothing] [dx1, dx2]
848
849         -- Construct the new binding
850         --      f1 = SUBST[a->t1,c->t3, d1->d1', d2->d2'] (/\ b d -> rhs)
851         -- PLUS the usage-details
852         --      { d1' = dx1; d2' = dx2 }
853         -- where d1', d2' are cloned versions of d1,d2, with the type substitution applied.
854         --
855         -- Note that the substitution is applied to the whole thing.
856         -- This is convenient, but just slightly fragile.  Notably:
857         --      * There had better be no name clashes in a/b/c/d
858         --
859         let
860                 -- poly_tyvars = [b,d] in the example above
861                 -- spec_tyvars = [a,c] 
862                 -- ty_args     = [t1,b,t3,d]
863            poly_tyvars = [tv | (tv, Nothing) <- rhs_tyvars `zip` call_ts]
864            spec_tyvars = [tv | (tv, Just _)  <- rhs_tyvars `zip` call_ts]
865            ty_args     = zipWithEqual "spec_call" mk_ty_arg rhs_tyvars call_ts
866                        where
867                          mk_ty_arg rhs_tyvar Nothing   = Type (mkTyVarTy rhs_tyvar)
868                          mk_ty_arg rhs_tyvar (Just ty) = Type ty
869            rhs_subst  = extendSubstList subst spec_tyvars [DoneTy ty | Just ty <- call_ts]
870         in
871         cloneBinders rhs_subst rhs_dicts                `thenSM` \ (rhs_subst', rhs_dicts') ->
872         let
873            inst_args = ty_args ++ map Var rhs_dicts'
874
875                 -- Figure out the type of the specialised function
876            spec_id_ty = mkForAllTys poly_tyvars (applyTypeToArgs rhs fn_type inst_args)
877         in
878         newIdSM fn spec_id_ty                           `thenSM` \ spec_f ->
879         specExpr rhs_subst' (mkLams poly_tyvars body)   `thenSM` \ (spec_rhs, rhs_uds) ->       
880         let
881                 -- The rule to put in the function's specialisation is:
882                 --      forall b,d, d1',d2'.  f t1 b t3 d d1' d2' = f1 b d  
883            spec_env_rule = Rule (_PK_ ("SPEC " ++ showSDoc (ppr fn)))
884                                 (poly_tyvars ++ rhs_dicts')
885                                 inst_args 
886                                 (mkTyApps (Var spec_f) (map mkTyVarTy poly_tyvars))
887
888                 -- Add the { d1' = dx1; d2' = dx2 } usage stuff
889            final_uds = foldr addDictBind rhs_uds (my_zipEqual "spec_call" rhs_dicts' call_ds)
890         in
891         returnSM ((spec_f, spec_rhs),
892                   final_uds,
893                   spec_env_rule)
894
895       where
896         my_zipEqual doc xs ys 
897          | length xs /= length ys = pprPanic "my_zipEqual" (ppr xs $$ ppr ys $$ (ppr fn <+> ppr call_ts) $$ ppr rhs)
898          | otherwise              = zipEqual doc xs ys
899 \end{code}
900
901 %************************************************************************
902 %*                                                                      *
903 \subsubsection{UsageDetails and suchlike}
904 %*                                                                      *
905 %************************************************************************
906
907 \begin{code}
908 data UsageDetails 
909   = MkUD {
910         dict_binds :: !(Bag DictBind),
911                         -- Floated dictionary bindings
912                         -- The order is important; 
913                         -- in ds1 `union` ds2, bindings in ds2 can depend on those in ds1
914                         -- (Remember, Bags preserve order in GHC.)
915
916         calls     :: !CallDetails
917     }
918
919 type DictBind = (CoreBind, VarSet)
920         -- The set is the free vars of the binding
921         -- both tyvars and dicts
922
923 type DictExpr = CoreExpr
924
925 emptyUDs = MkUD { dict_binds = emptyBag, calls = emptyFM }
926
927 type ProtoUsageDetails = ([DictBind],
928                           [(Id, [Maybe Type], ([DictExpr], VarSet))]
929                          )
930
931 ------------------------------------------------------------                    
932 type CallDetails  = FiniteMap Id CallInfo
933 type CallInfo     = FiniteMap [Maybe Type]                      -- Nothing => unconstrained type argument
934                               ([DictExpr], VarSet)              -- Dict args and the vars of the whole
935                                                                 -- call (including tyvars)
936                                                                 -- [*not* include the main id itself, of course]
937         -- The finite maps eliminate duplicates
938         -- The list of types and dictionaries is guaranteed to
939         -- match the type of f
940
941 unionCalls :: CallDetails -> CallDetails -> CallDetails
942 unionCalls c1 c2 = plusFM_C plusFM c1 c2
943
944 singleCall :: Id -> [Maybe Type] -> [DictExpr] -> CallDetails
945 singleCall id tys dicts 
946   = unitFM id (unitFM tys (dicts, call_fvs))
947   where
948     call_fvs = exprsFreeVars dicts `unionVarSet` tys_fvs
949     tys_fvs  = tyVarsOfTypes (catMaybes tys)
950         -- The type args (tys) are guaranteed to be part of the dictionary
951         -- types, because they are just the constrained types,
952         -- and the dictionary is therefore sure to be bound
953         -- inside the binding for any type variables free in the type;
954         -- hence it's safe to neglect tyvars free in tys when making
955         -- the free-var set for this call
956         -- BUT I don't trust this reasoning; play safe and include tys_fvs
957         --
958         -- We don't include the 'id' itself.
959
960 listToCallDetails calls
961   = foldr (unionCalls . mk_call) emptyFM calls
962   where
963     mk_call (id, tys, dicts_w_fvs) = unitFM id (unitFM tys dicts_w_fvs)
964         -- NB: the free vars of the call are provided
965
966 callDetailsToList calls = [ (id,tys,dicts)
967                           | (id,fm) <- fmToList calls,
968                             (tys,dicts) <- fmToList fm
969                           ]
970
971 mkCallUDs subst f args 
972   | null theta
973   || length spec_tys /= n_tyvars
974   || length dicts    /= n_dicts
975   || maybeToBool (lookupRule (substInScope subst) f args)
976         -- There's already a rule covering this call.  A typical case
977         -- is where there's an explicit user-provided rule.  Then
978         -- we don't want to create a specialised version 
979         -- of the function that overlaps.
980   = emptyUDs    -- Not overloaded, or no specialisation wanted
981
982   | otherwise
983   = MkUD {dict_binds = emptyBag, 
984           calls      = singleCall f spec_tys dicts
985     }
986   where
987     (tyvars, theta, _) = splitSigmaTy (idType f)
988     constrained_tyvars = tyVarsOfTheta theta 
989     n_tyvars           = length tyvars
990     n_dicts            = length theta
991
992     spec_tys = [mk_spec_ty tv ty | (tv, Type ty) <- tyvars `zip` args]
993     dicts    = [dict_expr | (_, dict_expr) <- theta `zip` (drop n_tyvars args)]
994     
995     mk_spec_ty tyvar ty | tyvar `elemVarSet` constrained_tyvars
996                         = Just ty
997                         | otherwise
998                         = Nothing
999
1000 ------------------------------------------------------------                    
1001 plusUDs :: UsageDetails -> UsageDetails -> UsageDetails
1002 plusUDs (MkUD {dict_binds = db1, calls = calls1})
1003         (MkUD {dict_binds = db2, calls = calls2})
1004   = MkUD {dict_binds = d, calls = c}
1005   where
1006     d = db1    `unionBags`   db2 
1007     c = calls1 `unionCalls`  calls2
1008
1009 plusUDList = foldr plusUDs emptyUDs
1010
1011 -- zapCalls deletes calls to ids from uds
1012 zapCalls ids uds = uds {calls = delListFromFM (calls uds) ids}
1013
1014 mkDB bind = (bind, bind_fvs bind)
1015
1016 bind_fvs (NonRec bndr rhs) = exprFreeVars rhs
1017 bind_fvs (Rec prs)         = foldl delVarSet rhs_fvs bndrs
1018                            where
1019                              bndrs = map fst prs
1020                              rhs_fvs = unionVarSets [exprFreeVars rhs | (bndr,rhs) <- prs]
1021
1022 addDictBind (dict,rhs) uds = uds { dict_binds = mkDB (NonRec dict rhs) `consBag` dict_binds uds }
1023
1024 dumpAllDictBinds (MkUD {dict_binds = dbs}) binds
1025   = foldrBag add binds dbs
1026   where
1027     add (bind,_) binds = bind : binds
1028
1029 dumpUDs :: [CoreBndr]
1030         -> UsageDetails -> CoreExpr
1031         -> (UsageDetails, CoreExpr)
1032 dumpUDs bndrs uds body
1033   = (free_uds, foldr add_let body dict_binds)
1034   where
1035     (free_uds, (dict_binds, _)) = splitUDs bndrs uds
1036     add_let (bind,_) body       = Let bind body
1037
1038 splitUDs :: [CoreBndr]
1039          -> UsageDetails
1040          -> (UsageDetails,              -- These don't mention the binders
1041              ProtoUsageDetails)         -- These do
1042              
1043 splitUDs bndrs uds@(MkUD {dict_binds = orig_dbs, 
1044                           calls      = orig_calls})
1045
1046   = if isEmptyBag dump_dbs && null dump_calls then
1047         -- Common case: binder doesn't affect floats
1048         (uds, ([],[]))  
1049
1050     else
1051         -- Binders bind some of the fvs of the floats
1052         (MkUD {dict_binds = free_dbs, 
1053                calls      = listToCallDetails free_calls},
1054          (bagToList dump_dbs, dump_calls)
1055         )
1056
1057   where
1058     bndr_set = mkVarSet bndrs
1059
1060     (free_dbs, dump_dbs, dump_idset) 
1061           = foldlBag dump_db (emptyBag, emptyBag, bndr_set) orig_dbs
1062                 -- Important that it's foldl not foldr;
1063                 -- we're accumulating the set of dumped ids in dump_set
1064
1065         -- Filter out any calls that mention things that are being dumped
1066     orig_call_list                 = callDetailsToList orig_calls
1067     (dump_calls, free_calls)       = partition captured orig_call_list
1068     captured (id,tys,(dicts, fvs)) =  fvs `intersectsVarSet` dump_idset
1069                                    || id `elemVarSet` dump_idset
1070
1071     dump_db (free_dbs, dump_dbs, dump_idset) db@(bind, fvs)
1072         | dump_idset `intersectsVarSet` fvs     -- Dump it
1073         = (free_dbs, dump_dbs `snocBag` db,
1074            dump_idset `unionVarSet` mkVarSet (bindersOf bind))
1075
1076         | otherwise     -- Don't dump it
1077         = (free_dbs `snocBag` db, dump_dbs, dump_idset)
1078 \end{code}
1079
1080
1081 %************************************************************************
1082 %*                                                                      *
1083 \subsubsection{Boring helper functions}
1084 %*                                                                      *
1085 %************************************************************************
1086
1087 \begin{code}
1088 lookupId:: IdEnv Id -> Id -> Id
1089 lookupId env id = case lookupVarEnv env id of
1090                         Nothing  -> id
1091                         Just id' -> id'
1092
1093 ----------------------------------------
1094 type SpecM a = UniqSM a
1095
1096 thenSM    = thenUs
1097 returnSM  = returnUs
1098 getUniqSM = getUniqueUs
1099 mapSM     = mapUs
1100 initSM    = initUs_
1101
1102 mapAndCombineSM f []     = returnSM ([], emptyUDs)
1103 mapAndCombineSM f (x:xs) = f x  `thenSM` \ (y, uds1) ->
1104                            mapAndCombineSM f xs `thenSM` \ (ys, uds2) ->
1105                            returnSM (y:ys, uds1 `plusUDs` uds2)
1106
1107 cloneBindSM :: Subst -> CoreBind -> SpecM (Subst, Subst, CoreBind)
1108 -- Clone the binders of the bind; return new bind with the cloned binders
1109 -- Return the substitution to use for RHSs, and the one to use for the body
1110 cloneBindSM subst (NonRec bndr rhs)
1111   = withUs      $ \ us ->
1112     let
1113         (subst', us', bndr') = substAndCloneId subst us bndr
1114     in
1115     ((subst, subst', NonRec bndr' rhs), us')
1116
1117 cloneBindSM subst (Rec pairs)
1118   = withUs      $ \ us ->
1119     let
1120         (subst', us', bndrs') = substAndCloneIds subst us (map fst pairs)
1121     in
1122     ((subst', subst', Rec (bndrs' `zip` map snd pairs)), us')
1123
1124 cloneBinders subst bndrs
1125   = withUs      $ \ us -> 
1126     let
1127         (subst', us', bndrs') = substAndCloneIds subst us bndrs
1128     in
1129     ((subst', bndrs'), us')
1130
1131 newIdSM old_id new_ty
1132   = getUniqSM           `thenSM` \ uniq ->
1133     let 
1134         -- Give the new Id a similar occurrence name to the old one
1135         name   = idName old_id
1136         new_id = mkUserLocal (mkSpecOcc (nameOccName name)) uniq new_ty (getSrcLoc name)
1137     in
1138     returnSM new_id
1139 \end{code}
1140
1141
1142                 Old (but interesting) stuff about unboxed bindings
1143                 ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
1144
1145 What should we do when a value is specialised to a *strict* unboxed value?
1146
1147         map_*_* f (x:xs) = let h = f x
1148                                t = map f xs
1149                            in h:t
1150
1151 Could convert let to case:
1152
1153         map_*_Int# f (x:xs) = case f x of h# ->
1154                               let t = map f xs
1155                               in h#:t
1156
1157 This may be undesirable since it forces evaluation here, but the value
1158 may not be used in all branches of the body. In the general case this
1159 transformation is impossible since the mutual recursion in a letrec
1160 cannot be expressed as a case.
1161
1162 There is also a problem with top-level unboxed values, since our
1163 implementation cannot handle unboxed values at the top level.
1164
1165 Solution: Lift the binding of the unboxed value and extract it when it
1166 is used:
1167
1168         map_*_Int# f (x:xs) = let h = case (f x) of h# -> _Lift h#
1169                                   t = map f xs
1170                               in case h of
1171                                  _Lift h# -> h#:t
1172
1173 Now give it to the simplifier and the _Lifting will be optimised away.
1174
1175 The benfit is that we have given the specialised "unboxed" values a
1176 very simplep lifted semantics and then leave it up to the simplifier to
1177 optimise it --- knowing that the overheads will be removed in nearly
1178 all cases.
1179
1180 In particular, the value will only be evaluted in the branches of the
1181 program which use it, rather than being forced at the point where the
1182 value is bound. For example:
1183
1184         filtermap_*_* p f (x:xs)
1185           = let h = f x
1186                 t = ...
1187             in case p x of
1188                 True  -> h:t
1189                 False -> t
1190    ==>
1191         filtermap_*_Int# p f (x:xs)
1192           = let h = case (f x) of h# -> _Lift h#
1193                 t = ...
1194             in case p x of
1195                 True  -> case h of _Lift h#
1196                            -> h#:t
1197                 False -> t
1198
1199 The binding for h can still be inlined in the one branch and the
1200 _Lifting eliminated.
1201
1202
1203 Question: When won't the _Lifting be eliminated?
1204
1205 Answer: When they at the top-level (where it is necessary) or when
1206 inlining would duplicate work (or possibly code depending on
1207 options). However, the _Lifting will still be eliminated if the
1208 strictness analyser deems the lifted binding strict.
1209