[project @ 2000-10-25 13:51:50 by simonpj]
[ghc-hetmet.git] / ghc / compiler / specialise / Specialise.lhs
1 %
2 % (c) The GRASP/AQUA Project, Glasgow University, 1993-1998
3 %
4 \section[Specialise]{Stamping out overloading, and (optionally) polymorphism}
5
6 \begin{code}
7 module Specialise ( specProgram ) where
8
9 #include "HsVersions.h"
10
11 import CmdLineOpts      ( DynFlags, DynFlag(..), dopt )
12 import Id               ( Id, idName, idType, mkUserLocal,
13                           idSpecialisation, modifyIdInfo
14                         )
15 import IdInfo           ( zapSpecPragInfo )
16 import VarSet
17 import VarEnv
18
19 import Type             ( Type, mkTyVarTy, splitSigmaTy, 
20                           tyVarsOfTypes, tyVarsOfTheta, 
21                           mkForAllTys 
22                         )
23 import Subst            ( Subst, mkSubst, substTy, mkSubst, substBndrs, extendSubstList, mkInScopeSet,
24                           substId, substAndCloneId, substAndCloneIds, lookupIdSubst, substInScope
25                         ) 
26 import VarSet
27 import VarEnv
28 import CoreSyn
29 import CoreUtils        ( applyTypeToArgs )
30 import CoreUnfold       ( certainlyWillInline )
31 import CoreFVs          ( exprFreeVars, exprsFreeVars )
32 import CoreLint         ( beginPass, endPass )
33 import PprCore          ( pprCoreRules )
34 import Rules            ( addIdSpecialisations, lookupRule )
35
36 import UniqSupply       ( UniqSupply,
37                           UniqSM, initUs_, thenUs, thenUs_, returnUs, getUniqueUs, 
38                           getUs, setUs, mapUs
39                         )
40 import Name             ( nameOccName, mkSpecOcc, getSrcLoc )
41 import FiniteMap
42 import Maybes           ( catMaybes, maybeToBool )
43 import ErrUtils         ( dumpIfSet_dyn )
44 import Bag
45 import List             ( partition )
46 import Util             ( zipEqual, zipWithEqual )
47 import Outputable
48
49
50 infixr 9 `thenSM`
51 \end{code}
52
53 %************************************************************************
54 %*                                                                      *
55 \subsection[notes-Specialise]{Implementation notes [SLPJ, Aug 18 1993]}
56 %*                                                                      *
57 %************************************************************************
58
59 These notes describe how we implement specialisation to eliminate
60 overloading.
61
62 The specialisation pass works on Core
63 syntax, complete with all the explicit dictionary application,
64 abstraction and construction as added by the type checker.  The
65 existing type checker remains largely as it is.
66
67 One important thought: the {\em types} passed to an overloaded
68 function, and the {\em dictionaries} passed are mutually redundant.
69 If the same function is applied to the same type(s) then it is sure to
70 be applied to the same dictionary(s)---or rather to the same {\em
71 values}.  (The arguments might look different but they will evaluate
72 to the same value.)
73
74 Second important thought: we know that we can make progress by
75 treating dictionary arguments as static and worth specialising on.  So
76 we can do without binding-time analysis, and instead specialise on
77 dictionary arguments and no others.
78
79 The basic idea
80 ~~~~~~~~~~~~~~
81 Suppose we have
82
83         let f = <f_rhs>
84         in <body>
85
86 and suppose f is overloaded.
87
88 STEP 1: CALL-INSTANCE COLLECTION
89
90 We traverse <body>, accumulating all applications of f to types and
91 dictionaries.
92
93 (Might there be partial applications, to just some of its types and
94 dictionaries?  In principle yes, but in practice the type checker only
95 builds applications of f to all its types and dictionaries, so partial
96 applications could only arise as a result of transformation, and even
97 then I think it's unlikely.  In any case, we simply don't accumulate such
98 partial applications.)
99
100
101 STEP 2: EQUIVALENCES
102
103 So now we have a collection of calls to f:
104         f t1 t2 d1 d2
105         f t3 t4 d3 d4
106         ...
107 Notice that f may take several type arguments.  To avoid ambiguity, we
108 say that f is called at type t1/t2 and t3/t4.
109
110 We take equivalence classes using equality of the *types* (ignoring
111 the dictionary args, which as mentioned previously are redundant).
112
113 STEP 3: SPECIALISATION
114
115 For each equivalence class, choose a representative (f t1 t2 d1 d2),
116 and create a local instance of f, defined thus:
117
118         f@t1/t2 = <f_rhs> t1 t2 d1 d2
119
120 f_rhs presumably has some big lambdas and dictionary lambdas, so lots
121 of simplification will now result.  However we don't actually *do* that
122 simplification.  Rather, we leave it for the simplifier to do.  If we
123 *did* do it, though, we'd get more call instances from the specialised
124 RHS.  We can work out what they are by instantiating the call-instance
125 set from f's RHS with the types t1, t2.
126
127 Add this new id to f's IdInfo, to record that f has a specialised version.
128
129 Before doing any of this, check that f's IdInfo doesn't already
130 tell us about an existing instance of f at the required type/s.
131 (This might happen if specialisation was applied more than once, or
132 it might arise from user SPECIALIZE pragmas.)
133
134 Recursion
135 ~~~~~~~~~
136 Wait a minute!  What if f is recursive?  Then we can't just plug in
137 its right-hand side, can we?
138
139 But it's ok.  The type checker *always* creates non-recursive definitions
140 for overloaded recursive functions.  For example:
141
142         f x = f (x+x)           -- Yes I know its silly
143
144 becomes
145
146         f a (d::Num a) = let p = +.sel a d
147                          in
148                          letrec fl (y::a) = fl (p y y)
149                          in
150                          fl
151
152 We still have recusion for non-overloaded functions which we
153 speciailise, but the recursive call should get specialised to the
154 same recursive version.
155
156
157 Polymorphism 1
158 ~~~~~~~~~~~~~~
159
160 All this is crystal clear when the function is applied to *constant
161 types*; that is, types which have no type variables inside.  But what if
162 it is applied to non-constant types?  Suppose we find a call of f at type
163 t1/t2.  There are two possibilities:
164
165 (a) The free type variables of t1, t2 are in scope at the definition point
166 of f.  In this case there's no problem, we proceed just as before.  A common
167 example is as follows.  Here's the Haskell:
168
169         g y = let f x = x+x
170               in f y + f y
171
172 After typechecking we have
173
174         g a (d::Num a) (y::a) = let f b (d'::Num b) (x::b) = +.sel b d' x x
175                                 in +.sel a d (f a d y) (f a d y)
176
177 Notice that the call to f is at type type "a"; a non-constant type.
178 Both calls to f are at the same type, so we can specialise to give:
179
180         g a (d::Num a) (y::a) = let f@a (x::a) = +.sel a d x x
181                                 in +.sel a d (f@a y) (f@a y)
182
183
184 (b) The other case is when the type variables in the instance types
185 are *not* in scope at the definition point of f.  The example we are
186 working with above is a good case.  There are two instances of (+.sel a d),
187 but "a" is not in scope at the definition of +.sel.  Can we do anything?
188 Yes, we can "common them up", a sort of limited common sub-expression deal.
189 This would give:
190
191         g a (d::Num a) (y::a) = let +.sel@a = +.sel a d
192                                     f@a (x::a) = +.sel@a x x
193                                 in +.sel@a (f@a y) (f@a y)
194
195 This can save work, and can't be spotted by the type checker, because
196 the two instances of +.sel weren't originally at the same type.
197
198 Further notes on (b)
199
200 * There are quite a few variations here.  For example, the defn of
201   +.sel could be floated ouside the \y, to attempt to gain laziness.
202   It certainly mustn't be floated outside the \d because the d has to
203   be in scope too.
204
205 * We don't want to inline f_rhs in this case, because
206 that will duplicate code.  Just commoning up the call is the point.
207
208 * Nothing gets added to +.sel's IdInfo.
209
210 * Don't bother unless the equivalence class has more than one item!
211
212 Not clear whether this is all worth it.  It is of course OK to
213 simply discard call-instances when passing a big lambda.
214
215 Polymorphism 2 -- Overloading
216 ~~~~~~~~~~~~~~
217 Consider a function whose most general type is
218
219         f :: forall a b. Ord a => [a] -> b -> b
220
221 There is really no point in making a version of g at Int/Int and another
222 at Int/Bool, because it's only instancing the type variable "a" which
223 buys us any efficiency. Since g is completely polymorphic in b there
224 ain't much point in making separate versions of g for the different
225 b types.
226
227 That suggests that we should identify which of g's type variables
228 are constrained (like "a") and which are unconstrained (like "b").
229 Then when taking equivalence classes in STEP 2, we ignore the type args
230 corresponding to unconstrained type variable.  In STEP 3 we make
231 polymorphic versions.  Thus:
232
233         f@t1/ = /\b -> <f_rhs> t1 b d1 d2
234
235 We do this.
236
237
238 Dictionary floating
239 ~~~~~~~~~~~~~~~~~~~
240 Consider this
241
242         f a (d::Num a) = let g = ...
243                          in
244                          ...(let d1::Ord a = Num.Ord.sel a d in g a d1)...
245
246 Here, g is only called at one type, but the dictionary isn't in scope at the
247 definition point for g.  Usually the type checker would build a
248 definition for d1 which enclosed g, but the transformation system
249 might have moved d1's defn inward.  Solution: float dictionary bindings
250 outwards along with call instances.
251
252 Consider
253
254         f x = let g p q = p==q
255                   h r s = (r+s, g r s)
256               in
257               h x x
258
259
260 Before specialisation, leaving out type abstractions we have
261
262         f df x = let g :: Eq a => a -> a -> Bool
263                      g dg p q = == dg p q
264                      h :: Num a => a -> a -> (a, Bool)
265                      h dh r s = let deq = eqFromNum dh
266                                 in (+ dh r s, g deq r s)
267               in
268               h df x x
269
270 After specialising h we get a specialised version of h, like this:
271
272                     h' r s = let deq = eqFromNum df
273                              in (+ df r s, g deq r s)
274
275 But we can't naively make an instance for g from this, because deq is not in scope
276 at the defn of g.  Instead, we have to float out the (new) defn of deq
277 to widen its scope.  Notice that this floating can't be done in advance -- it only
278 shows up when specialisation is done.
279
280 User SPECIALIZE pragmas
281 ~~~~~~~~~~~~~~~~~~~~~~~
282 Specialisation pragmas can be digested by the type checker, and implemented
283 by adding extra definitions along with that of f, in the same way as before
284
285         f@t1/t2 = <f_rhs> t1 t2 d1 d2
286
287 Indeed the pragmas *have* to be dealt with by the type checker, because
288 only it knows how to build the dictionaries d1 and d2!  For example
289
290         g :: Ord a => [a] -> [a]
291         {-# SPECIALIZE f :: [Tree Int] -> [Tree Int] #-}
292
293 Here, the specialised version of g is an application of g's rhs to the
294 Ord dictionary for (Tree Int), which only the type checker can conjure
295 up.  There might not even *be* one, if (Tree Int) is not an instance of
296 Ord!  (All the other specialision has suitable dictionaries to hand
297 from actual calls.)
298
299 Problem.  The type checker doesn't have to hand a convenient <f_rhs>, because
300 it is buried in a complex (as-yet-un-desugared) binding group.
301 Maybe we should say
302
303         f@t1/t2 = f* t1 t2 d1 d2
304
305 where f* is the Id f with an IdInfo which says "inline me regardless!".
306 Indeed all the specialisation could be done in this way.
307 That in turn means that the simplifier has to be prepared to inline absolutely
308 any in-scope let-bound thing.
309
310
311 Again, the pragma should permit polymorphism in unconstrained variables:
312
313         h :: Ord a => [a] -> b -> b
314         {-# SPECIALIZE h :: [Int] -> b -> b #-}
315
316 We *insist* that all overloaded type variables are specialised to ground types,
317 (and hence there can be no context inside a SPECIALIZE pragma).
318 We *permit* unconstrained type variables to be specialised to
319         - a ground type
320         - or left as a polymorphic type variable
321 but nothing in between.  So
322
323         {-# SPECIALIZE h :: [Int] -> [c] -> [c] #-}
324
325 is *illegal*.  (It can be handled, but it adds complication, and gains the
326 programmer nothing.)
327
328
329 SPECIALISING INSTANCE DECLARATIONS
330 ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
331 Consider
332
333         instance Foo a => Foo [a] where
334                 ...
335         {-# SPECIALIZE instance Foo [Int] #-}
336
337 The original instance decl creates a dictionary-function
338 definition:
339
340         dfun.Foo.List :: forall a. Foo a -> Foo [a]
341
342 The SPECIALIZE pragma just makes a specialised copy, just as for
343 ordinary function definitions:
344
345         dfun.Foo.List@Int :: Foo [Int]
346         dfun.Foo.List@Int = dfun.Foo.List Int dFooInt
347
348 The information about what instance of the dfun exist gets added to
349 the dfun's IdInfo in the same way as a user-defined function too.
350
351
352 Automatic instance decl specialisation?
353 ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
354 Can instance decls be specialised automatically?  It's tricky.
355 We could collect call-instance information for each dfun, but
356 then when we specialised their bodies we'd get new call-instances
357 for ordinary functions; and when we specialised their bodies, we might get
358 new call-instances of the dfuns, and so on.  This all arises because of
359 the unrestricted mutual recursion between instance decls and value decls.
360
361 Still, there's no actual problem; it just means that we may not do all
362 the specialisation we could theoretically do.
363
364 Furthermore, instance decls are usually exported and used non-locally,
365 so we'll want to compile enough to get those specialisations done.
366
367 Lastly, there's no such thing as a local instance decl, so we can
368 survive solely by spitting out *usage* information, and then reading that
369 back in as a pragma when next compiling the file.  So for now,
370 we only specialise instance decls in response to pragmas.
371
372
373 SPITTING OUT USAGE INFORMATION
374 ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
375
376 To spit out usage information we need to traverse the code collecting
377 call-instance information for all imported (non-prelude?) functions
378 and data types. Then we equivalence-class it and spit it out.
379
380 This is done at the top-level when all the call instances which escape
381 must be for imported functions and data types.
382
383 *** Not currently done ***
384
385
386 Partial specialisation by pragmas
387 ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
388 What about partial specialisation:
389
390         k :: (Ord a, Eq b) => [a] -> b -> b -> [a]
391         {-# SPECIALIZE k :: Eq b => [Int] -> b -> b -> [a] #-}
392
393 or even
394
395         {-# SPECIALIZE k :: Eq b => [Int] -> [b] -> [b] -> [a] #-}
396
397 Seems quite reasonable.  Similar things could be done with instance decls:
398
399         instance (Foo a, Foo b) => Foo (a,b) where
400                 ...
401         {-# SPECIALIZE instance Foo a => Foo (a,Int) #-}
402         {-# SPECIALIZE instance Foo b => Foo (Int,b) #-}
403
404 Ho hum.  Things are complex enough without this.  I pass.
405
406
407 Requirements for the simplifer
408 ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
409 The simplifier has to be able to take advantage of the specialisation.
410
411 * When the simplifier finds an application of a polymorphic f, it looks in
412 f's IdInfo in case there is a suitable instance to call instead.  This converts
413
414         f t1 t2 d1 d2   ===>   f_t1_t2
415
416 Note that the dictionaries get eaten up too!
417
418 * Dictionary selection operations on constant dictionaries must be
419   short-circuited:
420
421         +.sel Int d     ===>  +Int
422
423 The obvious way to do this is in the same way as other specialised
424 calls: +.sel has inside it some IdInfo which tells that if it's applied
425 to the type Int then it should eat a dictionary and transform to +Int.
426
427 In short, dictionary selectors need IdInfo inside them for constant
428 methods.
429
430 * Exactly the same applies if a superclass dictionary is being
431   extracted:
432
433         Eq.sel Int d   ===>   dEqInt
434
435 * Something similar applies to dictionary construction too.  Suppose
436 dfun.Eq.List is the function taking a dictionary for (Eq a) to
437 one for (Eq [a]).  Then we want
438
439         dfun.Eq.List Int d      ===> dEq.List_Int
440
441 Where does the Eq [Int] dictionary come from?  It is built in
442 response to a SPECIALIZE pragma on the Eq [a] instance decl.
443
444 In short, dfun Ids need IdInfo with a specialisation for each
445 constant instance of their instance declaration.
446
447 All this uses a single mechanism: the SpecEnv inside an Id
448
449
450 What does the specialisation IdInfo look like?
451 ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
452
453 The SpecEnv of an Id maps a list of types (the template) to an expression
454
455         [Type]  |->  Expr
456
457 For example, if f has this SpecInfo:
458
459         [Int, a]  ->  \d:Ord Int. f' a
460
461 it means that we can replace the call
462
463         f Int t  ===>  (\d. f' t)
464
465 This chucks one dictionary away and proceeds with the
466 specialised version of f, namely f'.
467
468
469 What can't be done this way?
470 ~~~~~~~~~~~~~~~~~~~~~~~~~~~~
471 There is no way, post-typechecker, to get a dictionary for (say)
472 Eq a from a dictionary for Eq [a].  So if we find
473
474         ==.sel [t] d
475
476 we can't transform to
477
478         eqList (==.sel t d')
479
480 where
481         eqList :: (a->a->Bool) -> [a] -> [a] -> Bool
482
483 Of course, we currently have no way to automatically derive
484 eqList, nor to connect it to the Eq [a] instance decl, but you
485 can imagine that it might somehow be possible.  Taking advantage
486 of this is permanently ruled out.
487
488 Still, this is no great hardship, because we intend to eliminate
489 overloading altogether anyway!
490
491
492
493 A note about non-tyvar dictionaries
494 ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
495 Some Ids have types like
496
497         forall a,b,c. Eq a -> Ord [a] -> tau
498
499 This seems curious at first, because we usually only have dictionary
500 args whose types are of the form (C a) where a is a type variable.
501 But this doesn't hold for the functions arising from instance decls,
502 which sometimes get arguements with types of form (C (T a)) for some
503 type constructor T.
504
505 Should we specialise wrt this compound-type dictionary?  We used to say
506 "no", saying:
507         "This is a heuristic judgement, as indeed is the fact that we 
508         specialise wrt only dictionaries.  We choose *not* to specialise
509         wrt compound dictionaries because at the moment the only place
510         they show up is in instance decls, where they are simply plugged
511         into a returned dictionary.  So nothing is gained by specialising
512         wrt them."
513
514 But it is simpler and more uniform to specialise wrt these dicts too;
515 and in future GHC is likely to support full fledged type signatures 
516 like
517         f ;: Eq [(a,b)] => ...
518
519
520 %************************************************************************
521 %*                                                                      *
522 \subsubsection{The new specialiser}
523 %*                                                                      *
524 %************************************************************************
525
526 Our basic game plan is this.  For let(rec) bound function
527         f :: (C a, D c) => (a,b,c,d) -> Bool
528
529 * Find any specialised calls of f, (f ts ds), where 
530   ts are the type arguments t1 .. t4, and
531   ds are the dictionary arguments d1 .. d2.
532
533 * Add a new definition for f1 (say):
534
535         f1 = /\ b d -> (..body of f..) t1 b t3 d d1 d2
536
537   Note that we abstract over the unconstrained type arguments.
538
539 * Add the mapping
540
541         [t1,b,t3,d]  |->  \d1 d2 -> f1 b d
542
543   to the specialisations of f.  This will be used by the
544   simplifier to replace calls 
545                 (f t1 t2 t3 t4) da db
546   by
547                 (\d1 d1 -> f1 t2 t4) da db
548
549   All the stuff about how many dictionaries to discard, and what types
550   to apply the specialised function to, are handled by the fact that the
551   SpecEnv contains a template for the result of the specialisation.
552
553 We don't build *partial* specialisations for f.  For example:
554
555   f :: Eq a => a -> a -> Bool
556   {-# SPECIALISE f :: (Eq b, Eq c) => (b,c) -> (b,c) -> Bool #-}
557
558 Here, little is gained by making a specialised copy of f.
559 There's a distinct danger that the specialised version would
560 first build a dictionary for (Eq b, Eq c), and then select the (==) 
561 method from it!  Even if it didn't, not a great deal is saved.
562
563 We do, however, generate polymorphic, but not overloaded, specialisations:
564
565   f :: Eq a => [a] -> b -> b -> b
566   {#- SPECIALISE f :: [Int] -> b -> b -> b #-}
567
568 Hence, the invariant is this: 
569
570         *** no specialised version is overloaded ***
571
572
573 %************************************************************************
574 %*                                                                      *
575 \subsubsection{The exported function}
576 %*                                                                      *
577 %************************************************************************
578
579 \begin{code}
580 specProgram :: DynFlags -> UniqSupply -> [CoreBind] -> IO [CoreBind]
581 specProgram dflags us binds
582   = do
583         beginPass dflags "Specialise"
584
585         let binds' = initSM us (go binds        `thenSM` \ (binds', uds') ->
586                                 returnSM (dumpAllDictBinds uds' binds'))
587
588         endPass dflags "Specialise" 
589                        (dopt Opt_D_dump_spec dflags 
590                           || dopt Opt_D_verbose_core2core dflags) binds'
591
592         dumpIfSet_dyn dflags Opt_D_dump_rules "Top-level specialisations"
593                   (vcat (map dump_specs (concat (map bindersOf binds'))))
594
595         return binds'
596   where
597         -- We need to start with a Subst that knows all the things
598         -- that are in scope, so that the substitution engine doesn't
599         -- accidentally re-use a unique that's already in use
600         -- Easiest thing is to do it all at once, as if all the top-level
601         -- decls were mutually recursive
602     top_subst       = mkSubst (mkInScopeSet (mkVarSet (bindersOfBinds binds))) emptySubstEnv
603
604     go []           = returnSM ([], emptyUDs)
605     go (bind:binds) = go binds                          `thenSM` \ (binds', uds) ->
606                       specBind top_subst bind uds       `thenSM` \ (bind', uds') ->
607                       returnSM (bind' ++ binds', uds')
608
609 dump_specs var = pprCoreRules var (idSpecialisation var)
610 \end{code}
611
612 %************************************************************************
613 %*                                                                      *
614 \subsubsection{@specExpr@: the main function}
615 %*                                                                      *
616 %************************************************************************
617
618 \begin{code}
619 specVar :: Subst -> Id -> CoreExpr
620 specVar subst v = case lookupIdSubst subst v of
621                         DoneEx e   -> e
622                         DoneId v _ -> Var v
623
624 specExpr :: Subst -> CoreExpr -> SpecM (CoreExpr, UsageDetails)
625 -- We carry a substitution down:
626 --      a) we must clone any binding that might flaot outwards,
627 --         to avoid name clashes
628 --      b) we carry a type substitution to use when analysing
629 --         the RHS of specialised bindings (no type-let!)
630
631 ---------------- First the easy cases --------------------
632 specExpr subst (Type ty) = returnSM (Type (substTy subst ty), emptyUDs)
633 specExpr subst (Var v)   = returnSM (specVar subst v,         emptyUDs)
634 specExpr subst (Lit lit) = returnSM (Lit lit,                 emptyUDs)
635
636 specExpr subst (Note note body)
637   = specExpr subst body         `thenSM` \ (body', uds) ->
638     returnSM (Note (specNote subst note) body', uds)
639
640
641 ---------------- Applications might generate a call instance --------------------
642 specExpr subst expr@(App fun arg)
643   = go expr []
644   where
645     go (App fun arg) args = specExpr subst arg  `thenSM` \ (arg', uds_arg) ->
646                             go fun (arg':args)  `thenSM` \ (fun', uds_app) ->
647                             returnSM (App fun' arg', uds_arg `plusUDs` uds_app)
648
649     go (Var f)       args = case specVar subst f of
650                                 Var f' -> returnSM (Var f', mkCallUDs subst f' args)
651                                 e'     -> returnSM (e', emptyUDs)       -- I don't expect this!
652     go other         args = specExpr subst other
653
654 ---------------- Lambda/case require dumping of usage details --------------------
655 specExpr subst e@(Lam _ _)
656   = specExpr subst' body        `thenSM` \ (body', uds) ->
657     let
658         (filtered_uds, body'') = dumpUDs bndrs' uds body'
659     in
660     returnSM (mkLams bndrs' body'', filtered_uds)
661   where
662     (bndrs, body) = collectBinders e
663     (subst', bndrs') = substBndrs subst bndrs
664         -- More efficient to collect a group of binders together all at once
665         -- and we don't want to split a lambda group with dumped bindings
666
667 specExpr subst (Case scrut case_bndr alts)
668   = specExpr subst scrut                        `thenSM` \ (scrut', uds_scrut) ->
669     mapAndCombineSM spec_alt alts       `thenSM` \ (alts', uds_alts) ->
670     returnSM (Case scrut' case_bndr' alts', uds_scrut `plusUDs` uds_alts)
671   where
672     (subst_alt, case_bndr') = substId subst case_bndr
673         -- No need to clone case binder; it can't float like a let(rec)
674
675     spec_alt (con, args, rhs)
676         = specExpr subst_rhs rhs                `thenSM` \ (rhs', uds) ->
677           let
678              (uds', rhs'') = dumpUDs args uds rhs'
679           in
680           returnSM ((con, args', rhs''), uds')
681         where
682           (subst_rhs, args') = substBndrs subst_alt args
683
684 ---------------- Finally, let is the interesting case --------------------
685 specExpr subst (Let bind body)
686   =     -- Clone binders
687     cloneBindSM subst bind                      `thenSM` \ (rhs_subst, body_subst, bind') ->
688         
689         -- Deal with the body
690     specExpr body_subst body                    `thenSM` \ (body', body_uds) ->
691
692         -- Deal with the bindings
693     specBind rhs_subst bind' body_uds           `thenSM` \ (binds', uds) ->
694
695         -- All done
696     returnSM (foldr Let body' binds', uds)
697
698 -- Must apply the type substitution to coerceions
699 specNote subst (Coerce t1 t2) = Coerce (substTy subst t1) (substTy subst t2)
700 specNote subst note           = note
701 \end{code}
702
703 %************************************************************************
704 %*                                                                      *
705 \subsubsection{Dealing with a binding}
706 %*                                                                      *
707 %************************************************************************
708
709 \begin{code}
710 specBind :: Subst                       -- Use this for RHSs
711          -> CoreBind
712          -> UsageDetails                -- Info on how the scope of the binding
713          -> SpecM ([CoreBind],          -- New bindings
714                    UsageDetails)        -- And info to pass upstream
715
716 specBind rhs_subst bind body_uds
717   = specBindItself rhs_subst bind (calls body_uds)      `thenSM` \ (bind', bind_uds) ->
718     let
719         bndrs   = bindersOf bind
720         all_uds = zapCalls bndrs (body_uds `plusUDs` bind_uds)
721                         -- It's important that the `plusUDs` is this way round,
722                         -- because body_uds may bind dictionaries that are
723                         -- used in the calls passed to specDefn.  So the
724                         -- dictionary bindings in bind_uds may mention 
725                         -- dictionaries bound in body_uds.
726     in
727     case splitUDs bndrs all_uds of
728
729         (_, ([],[]))    -- This binding doesn't bind anything needed
730                         -- in the UDs, so put the binding here
731                         -- This is the case for most non-dict bindings, except
732                         -- for the few that are mentioned in a dict binding
733                         -- that is floating upwards in body_uds
734                 -> returnSM ([bind'], all_uds)
735
736         (float_uds, (dict_binds, calls))        -- This binding is needed in the UDs, so float it out
737                 -> returnSM ([], float_uds `plusUDs` mkBigUD bind' dict_binds calls)
738    
739
740 -- A truly gruesome function
741 mkBigUD bind@(NonRec _ _) dbs calls
742   =     -- Common case: non-recursive and no specialisations
743         -- (if there were any specialistions it would have been made recursive)
744     MkUD { dict_binds = listToBag (mkDB bind : dbs),
745            calls = listToCallDetails calls }
746
747 mkBigUD bind dbs calls
748   =     -- General case
749     MkUD { dict_binds = unitBag (mkDB (Rec (bind_prs bind ++ dbsToPairs dbs))),
750                         -- Make a huge Rec
751            calls = listToCallDetails calls }
752   where
753     bind_prs (NonRec b r) = [(b,r)]
754     bind_prs (Rec prs)    = prs
755
756     dbsToPairs []             = []
757     dbsToPairs ((bind,_):dbs) = bind_prs bind ++ dbsToPairs dbs
758
759 -- specBindItself deals with the RHS, specialising it according
760 -- to the calls found in the body (if any)
761 specBindItself rhs_subst (NonRec bndr rhs) call_info
762   = specDefn rhs_subst call_info (bndr,rhs)     `thenSM` \ ((bndr',rhs'), spec_defns, spec_uds) ->
763     let
764         new_bind | null spec_defns = NonRec bndr' rhs'
765                  | otherwise       = Rec ((bndr',rhs'):spec_defns)
766                 -- bndr' mentions the spec_defns in its SpecEnv
767                 -- Not sure why we couln't just put the spec_defns first
768     in
769     returnSM (new_bind, spec_uds)
770
771 specBindItself rhs_subst (Rec pairs) call_info
772   = mapSM (specDefn rhs_subst call_info) pairs  `thenSM` \ stuff ->
773     let
774         (pairs', spec_defns_s, spec_uds_s) = unzip3 stuff
775         spec_defns = concat spec_defns_s
776         spec_uds   = plusUDList spec_uds_s
777         new_bind   = Rec (spec_defns ++ pairs')
778     in
779     returnSM (new_bind, spec_uds)
780     
781
782 specDefn :: Subst                       -- Subst to use for RHS
783          -> CallDetails                 -- Info on how it is used in its scope
784          -> (Id, CoreExpr)              -- The thing being bound and its un-processed RHS
785          -> SpecM ((Id, CoreExpr),      -- The thing and its processed RHS
786                                         --      the Id may now have specialisations attached
787                    [(Id,CoreExpr)],     -- Extra, specialised bindings
788                    UsageDetails         -- Stuff to fling upwards from the RHS and its
789             )                           --      specialised versions
790
791 specDefn subst calls (fn, rhs)
792         -- The first case is the interesting one
793   |  n_tyvars == length rhs_tyvars      -- Rhs of fn's defn has right number of big lambdas
794   && n_dicts  <= length rhs_bndrs       -- and enough dict args
795   && not (null calls_for_me)            -- And there are some calls to specialise
796   && not (certainlyWillInline fn)       -- And it's not small
797                                         -- If it's small, it's better just to inline
798                                         -- it than to construct lots of specialisations
799   =   -- Specialise the body of the function
800     specExpr subst rhs                                  `thenSM` \ (rhs', rhs_uds) ->
801
802       -- Make a specialised version for each call in calls_for_me
803     mapSM spec_call calls_for_me                `thenSM` \ stuff ->
804     let
805         (spec_defns, spec_uds, spec_env_stuff) = unzip3 stuff
806
807         fn' = addIdSpecialisations zapped_fn spec_env_stuff
808     in
809     returnSM ((fn',rhs'), 
810               spec_defns, 
811               rhs_uds `plusUDs` plusUDList spec_uds)
812
813   | otherwise   -- No calls or RHS doesn't fit our preconceptions
814   = specExpr subst rhs                  `thenSM` \ (rhs', rhs_uds) ->
815     returnSM ((zapped_fn, rhs'), [], rhs_uds)
816   
817   where
818     zapped_fn            = modifyIdInfo zapSpecPragInfo fn
819         -- If the fn is a SpecPragmaId, make it discardable
820         -- It's role as a holder for a call instance is o'er
821         -- But it might be alive for some other reason by now.
822
823     fn_type            = idType fn
824     (tyvars, theta, _) = splitSigmaTy fn_type
825     n_tyvars           = length tyvars
826     n_dicts            = length theta
827
828     (rhs_tyvars, rhs_ids, rhs_body) = collectTyAndValBinders rhs
829     rhs_dicts = take n_dicts rhs_ids
830     rhs_bndrs = rhs_tyvars ++ rhs_dicts
831     body      = mkLams (drop n_dicts rhs_ids) rhs_body
832                 -- Glue back on the non-dict lambdas
833
834     calls_for_me = case lookupFM calls fn of
835                         Nothing -> []
836                         Just cs -> fmToList cs
837
838     ----------------------------------------------------------
839         -- Specialise to one particular call pattern
840     spec_call :: ([Maybe Type], ([DictExpr], VarSet))           -- Call instance
841               -> SpecM ((Id,CoreExpr),                          -- Specialised definition
842                         UsageDetails,                           -- Usage details from specialised body
843                         ([CoreBndr], [CoreExpr], CoreExpr))     -- Info for the Id's SpecEnv
844     spec_call (call_ts, (call_ds, call_fvs))
845       = ASSERT( length call_ts == n_tyvars && length call_ds == n_dicts )
846                 -- Calls are only recorded for properly-saturated applications
847         
848         -- Suppose f's defn is  f = /\ a b c d -> \ d1 d2 -> rhs        
849         -- Supppose the call is for f [Just t1, Nothing, Just t3, Nothing] [dx1, dx2]
850
851         -- Construct the new binding
852         --      f1 = SUBST[a->t1,c->t3, d1->d1', d2->d2'] (/\ b d -> rhs)
853         -- PLUS the usage-details
854         --      { d1' = dx1; d2' = dx2 }
855         -- where d1', d2' are cloned versions of d1,d2, with the type substitution applied.
856         --
857         -- Note that the substitution is applied to the whole thing.
858         -- This is convenient, but just slightly fragile.  Notably:
859         --      * There had better be no name clashes in a/b/c/d
860         --
861         let
862                 -- poly_tyvars = [b,d] in the example above
863                 -- spec_tyvars = [a,c] 
864                 -- ty_args     = [t1,b,t3,d]
865            poly_tyvars = [tv | (tv, Nothing) <- rhs_tyvars `zip` call_ts]
866            spec_tyvars = [tv | (tv, Just _)  <- rhs_tyvars `zip` call_ts]
867            ty_args     = zipWithEqual "spec_call" mk_ty_arg rhs_tyvars call_ts
868                        where
869                          mk_ty_arg rhs_tyvar Nothing   = Type (mkTyVarTy rhs_tyvar)
870                          mk_ty_arg rhs_tyvar (Just ty) = Type ty
871            rhs_subst  = extendSubstList subst spec_tyvars [DoneTy ty | Just ty <- call_ts]
872         in
873         cloneBinders rhs_subst rhs_dicts                `thenSM` \ (rhs_subst', rhs_dicts') ->
874         let
875            inst_args = ty_args ++ map Var rhs_dicts'
876
877                 -- Figure out the type of the specialised function
878            spec_id_ty = mkForAllTys poly_tyvars (applyTypeToArgs rhs fn_type inst_args)
879         in
880         newIdSM fn spec_id_ty                           `thenSM` \ spec_f ->
881         specExpr rhs_subst' (mkLams poly_tyvars body)   `thenSM` \ (spec_rhs, rhs_uds) ->       
882         let
883                 -- The rule to put in the function's specialisation is:
884                 --      forall b,d, d1',d2'.  f t1 b t3 d d1' d2' = f1 b d  
885            spec_env_rule = (poly_tyvars ++ rhs_dicts',
886                             inst_args, 
887                             mkTyApps (Var spec_f) (map mkTyVarTy poly_tyvars))
888
889                 -- Add the { d1' = dx1; d2' = dx2 } usage stuff
890            final_uds = foldr addDictBind rhs_uds (my_zipEqual "spec_call" rhs_dicts' call_ds)
891         in
892         returnSM ((spec_f, spec_rhs),
893                   final_uds,
894                   spec_env_rule)
895
896       where
897         my_zipEqual doc xs ys 
898          | length xs /= length ys = pprPanic "my_zipEqual" (ppr xs $$ ppr ys $$ (ppr fn <+> ppr call_ts) $$ ppr rhs)
899          | otherwise              = zipEqual doc xs ys
900 \end{code}
901
902 %************************************************************************
903 %*                                                                      *
904 \subsubsection{UsageDetails and suchlike}
905 %*                                                                      *
906 %************************************************************************
907
908 \begin{code}
909 data UsageDetails 
910   = MkUD {
911         dict_binds :: !(Bag DictBind),
912                         -- Floated dictionary bindings
913                         -- The order is important; 
914                         -- in ds1 `union` ds2, bindings in ds2 can depend on those in ds1
915                         -- (Remember, Bags preserve order in GHC.)
916
917         calls     :: !CallDetails
918     }
919
920 type DictBind = (CoreBind, VarSet)
921         -- The set is the free vars of the binding
922         -- both tyvars and dicts
923
924 type DictExpr = CoreExpr
925
926 emptyUDs = MkUD { dict_binds = emptyBag, calls = emptyFM }
927
928 type ProtoUsageDetails = ([DictBind],
929                           [(Id, [Maybe Type], ([DictExpr], VarSet))]
930                          )
931
932 ------------------------------------------------------------                    
933 type CallDetails  = FiniteMap Id CallInfo
934 type CallInfo     = FiniteMap [Maybe Type]                      -- Nothing => unconstrained type argument
935                               ([DictExpr], VarSet)              -- Dict args and the vars of the whole
936                                                                 -- call (including tyvars)
937                                                                 -- [*not* include the main id itself, of course]
938         -- The finite maps eliminate duplicates
939         -- The list of types and dictionaries is guaranteed to
940         -- match the type of f
941
942 unionCalls :: CallDetails -> CallDetails -> CallDetails
943 unionCalls c1 c2 = plusFM_C plusFM c1 c2
944
945 singleCall :: Id -> [Maybe Type] -> [DictExpr] -> CallDetails
946 singleCall id tys dicts 
947   = unitFM id (unitFM tys (dicts, call_fvs))
948   where
949     call_fvs = exprsFreeVars dicts `unionVarSet` tys_fvs
950     tys_fvs  = tyVarsOfTypes (catMaybes tys)
951         -- The type args (tys) are guaranteed to be part of the dictionary
952         -- types, because they are just the constrained types,
953         -- and the dictionary is therefore sure to be bound
954         -- inside the binding for any type variables free in the type;
955         -- hence it's safe to neglect tyvars free in tys when making
956         -- the free-var set for this call
957         -- BUT I don't trust this reasoning; play safe and include tys_fvs
958         --
959         -- We don't include the 'id' itself.
960
961 listToCallDetails calls
962   = foldr (unionCalls . mk_call) emptyFM calls
963   where
964     mk_call (id, tys, dicts_w_fvs) = unitFM id (unitFM tys dicts_w_fvs)
965         -- NB: the free vars of the call are provided
966
967 callDetailsToList calls = [ (id,tys,dicts)
968                           | (id,fm) <- fmToList calls,
969                             (tys,dicts) <- fmToList fm
970                           ]
971
972 mkCallUDs subst f args 
973   | null theta
974   || length spec_tys /= n_tyvars
975   || length dicts    /= n_dicts
976   || maybeToBool (lookupRule (substInScope subst) f args)
977         -- There's already a rule covering this call.  A typical case
978         -- is where there's an explicit user-provided rule.  Then
979         -- we don't want to create a specialised version 
980         -- of the function that overlaps.
981   = emptyUDs    -- Not overloaded, or no specialisation wanted
982
983   | otherwise
984   = MkUD {dict_binds = emptyBag, 
985           calls      = singleCall f spec_tys dicts
986     }
987   where
988     (tyvars, theta, _) = splitSigmaTy (idType f)
989     constrained_tyvars = tyVarsOfTheta theta 
990     n_tyvars           = length tyvars
991     n_dicts            = length theta
992
993     spec_tys = [mk_spec_ty tv ty | (tv, Type ty) <- tyvars `zip` args]
994     dicts    = [dict_expr | (_, dict_expr) <- theta `zip` (drop n_tyvars args)]
995     
996     mk_spec_ty tyvar ty | tyvar `elemVarSet` constrained_tyvars
997                         = Just ty
998                         | otherwise
999                         = Nothing
1000
1001 ------------------------------------------------------------                    
1002 plusUDs :: UsageDetails -> UsageDetails -> UsageDetails
1003 plusUDs (MkUD {dict_binds = db1, calls = calls1})
1004         (MkUD {dict_binds = db2, calls = calls2})
1005   = MkUD {dict_binds = d, calls = c}
1006   where
1007     d = db1    `unionBags`   db2 
1008     c = calls1 `unionCalls`  calls2
1009
1010 plusUDList = foldr plusUDs emptyUDs
1011
1012 -- zapCalls deletes calls to ids from uds
1013 zapCalls ids uds = uds {calls = delListFromFM (calls uds) ids}
1014
1015 mkDB bind = (bind, bind_fvs bind)
1016
1017 bind_fvs (NonRec bndr rhs) = exprFreeVars rhs
1018 bind_fvs (Rec prs)         = foldl delVarSet rhs_fvs bndrs
1019                            where
1020                              bndrs = map fst prs
1021                              rhs_fvs = unionVarSets [exprFreeVars rhs | (bndr,rhs) <- prs]
1022
1023 addDictBind (dict,rhs) uds = uds { dict_binds = mkDB (NonRec dict rhs) `consBag` dict_binds uds }
1024
1025 dumpAllDictBinds (MkUD {dict_binds = dbs}) binds
1026   = foldrBag add binds dbs
1027   where
1028     add (bind,_) binds = bind : binds
1029
1030 dumpUDs :: [CoreBndr]
1031         -> UsageDetails -> CoreExpr
1032         -> (UsageDetails, CoreExpr)
1033 dumpUDs bndrs uds body
1034   = (free_uds, foldr add_let body dict_binds)
1035   where
1036     (free_uds, (dict_binds, _)) = splitUDs bndrs uds
1037     add_let (bind,_) body       = Let bind body
1038
1039 splitUDs :: [CoreBndr]
1040          -> UsageDetails
1041          -> (UsageDetails,              -- These don't mention the binders
1042              ProtoUsageDetails)         -- These do
1043              
1044 splitUDs bndrs uds@(MkUD {dict_binds = orig_dbs, 
1045                           calls      = orig_calls})
1046
1047   = if isEmptyBag dump_dbs && null dump_calls then
1048         -- Common case: binder doesn't affect floats
1049         (uds, ([],[]))  
1050
1051     else
1052         -- Binders bind some of the fvs of the floats
1053         (MkUD {dict_binds = free_dbs, 
1054                calls      = listToCallDetails free_calls},
1055          (bagToList dump_dbs, dump_calls)
1056         )
1057
1058   where
1059     bndr_set = mkVarSet bndrs
1060
1061     (free_dbs, dump_dbs, dump_idset) 
1062           = foldlBag dump_db (emptyBag, emptyBag, bndr_set) orig_dbs
1063                 -- Important that it's foldl not foldr;
1064                 -- we're accumulating the set of dumped ids in dump_set
1065
1066         -- Filter out any calls that mention things that are being dumped
1067     orig_call_list                 = callDetailsToList orig_calls
1068     (dump_calls, free_calls)       = partition captured orig_call_list
1069     captured (id,tys,(dicts, fvs)) =  fvs `intersectsVarSet` dump_idset
1070                                    || id `elemVarSet` dump_idset
1071
1072     dump_db (free_dbs, dump_dbs, dump_idset) db@(bind, fvs)
1073         | dump_idset `intersectsVarSet` fvs     -- Dump it
1074         = (free_dbs, dump_dbs `snocBag` db,
1075            dump_idset `unionVarSet` mkVarSet (bindersOf bind))
1076
1077         | otherwise     -- Don't dump it
1078         = (free_dbs `snocBag` db, dump_dbs, dump_idset)
1079 \end{code}
1080
1081
1082 %************************************************************************
1083 %*                                                                      *
1084 \subsubsection{Boring helper functions}
1085 %*                                                                      *
1086 %************************************************************************
1087
1088 \begin{code}
1089 lookupId:: IdEnv Id -> Id -> Id
1090 lookupId env id = case lookupVarEnv env id of
1091                         Nothing  -> id
1092                         Just id' -> id'
1093
1094 ----------------------------------------
1095 type SpecM a = UniqSM a
1096
1097 thenSM    = thenUs
1098 returnSM  = returnUs
1099 getUniqSM = getUniqueUs
1100 mapSM     = mapUs
1101 initSM    = initUs_
1102
1103 mapAndCombineSM f []     = returnSM ([], emptyUDs)
1104 mapAndCombineSM f (x:xs) = f x  `thenSM` \ (y, uds1) ->
1105                            mapAndCombineSM f xs `thenSM` \ (ys, uds2) ->
1106                            returnSM (y:ys, uds1 `plusUDs` uds2)
1107
1108 cloneBindSM :: Subst -> CoreBind -> SpecM (Subst, Subst, CoreBind)
1109 -- Clone the binders of the bind; return new bind with the cloned binders
1110 -- Return the substitution to use for RHSs, and the one to use for the body
1111 cloneBindSM subst (NonRec bndr rhs)
1112   = getUs       `thenUs` \ us ->
1113     let
1114         (subst', us', bndr') = substAndCloneId subst us bndr
1115     in
1116     setUs us'   `thenUs_`
1117     returnUs (subst, subst', NonRec bndr' rhs)
1118
1119 cloneBindSM subst (Rec pairs)
1120   = getUs       `thenUs` \ us ->
1121     let
1122         (subst', us', bndrs') = substAndCloneIds subst us (map fst pairs)
1123     in
1124     setUs us'   `thenUs_`
1125     returnUs (subst', subst', Rec (bndrs' `zip` map snd pairs))
1126
1127 cloneBinders subst bndrs
1128   = getUs       `thenUs` \ us ->
1129     let
1130         (subst', us', bndrs') = substAndCloneIds subst us bndrs
1131     in
1132     setUs us'   `thenUs_`
1133     returnUs (subst', bndrs')
1134
1135
1136 newIdSM old_id new_ty
1137   = getUniqSM           `thenSM` \ uniq ->
1138     let 
1139         -- Give the new Id a similar occurrence name to the old one
1140         -- We used to add setIdNoDiscard if the old id was exported, to
1141         -- avoid it being dropped as dead code, but that's not necessary any more.
1142         name   = idName old_id
1143         new_id = mkUserLocal (mkSpecOcc (nameOccName name)) uniq new_ty (getSrcLoc name)
1144     in
1145     returnSM new_id
1146 \end{code}
1147
1148
1149                 Old (but interesting) stuff about unboxed bindings
1150                 ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
1151
1152 What should we do when a value is specialised to a *strict* unboxed value?
1153
1154         map_*_* f (x:xs) = let h = f x
1155                                t = map f xs
1156                            in h:t
1157
1158 Could convert let to case:
1159
1160         map_*_Int# f (x:xs) = case f x of h# ->
1161                               let t = map f xs
1162                               in h#:t
1163
1164 This may be undesirable since it forces evaluation here, but the value
1165 may not be used in all branches of the body. In the general case this
1166 transformation is impossible since the mutual recursion in a letrec
1167 cannot be expressed as a case.
1168
1169 There is also a problem with top-level unboxed values, since our
1170 implementation cannot handle unboxed values at the top level.
1171
1172 Solution: Lift the binding of the unboxed value and extract it when it
1173 is used:
1174
1175         map_*_Int# f (x:xs) = let h = case (f x) of h# -> _Lift h#
1176                                   t = map f xs
1177                               in case h of
1178                                  _Lift h# -> h#:t
1179
1180 Now give it to the simplifier and the _Lifting will be optimised away.
1181
1182 The benfit is that we have given the specialised "unboxed" values a
1183 very simplep lifted semantics and then leave it up to the simplifier to
1184 optimise it --- knowing that the overheads will be removed in nearly
1185 all cases.
1186
1187 In particular, the value will only be evaluted in the branches of the
1188 program which use it, rather than being forced at the point where the
1189 value is bound. For example:
1190
1191         filtermap_*_* p f (x:xs)
1192           = let h = f x
1193                 t = ...
1194             in case p x of
1195                 True  -> h:t
1196                 False -> t
1197    ==>
1198         filtermap_*_Int# p f (x:xs)
1199           = let h = case (f x) of h# -> _Lift h#
1200                 t = ...
1201             in case p x of
1202                 True  -> case h of _Lift h#
1203                            -> h#:t
1204                 False -> t
1205
1206 The binding for h can still be inlined in the one branch and the
1207 _Lifting eliminated.
1208
1209
1210 Question: When won't the _Lifting be eliminated?
1211
1212 Answer: When they at the top-level (where it is necessary) or when
1213 inlining would duplicate work (or possibly code depending on
1214 options). However, the _Lifting will still be eliminated if the
1215 strictness analyser deems the lifted binding strict.
1216