[project @ 2000-04-20 15:34:17 by simonmar]
[ghc-hetmet.git] / ghc / compiler / specialise / Specialise.lhs
1 %
2 % (c) The GRASP/AQUA Project, Glasgow University, 1993-1998
3 %
4 \section[Specialise]{Stamping out overloading, and (optionally) polymorphism}
5
6 \begin{code}
7 module Specialise ( specProgram ) where
8
9 #include "HsVersions.h"
10
11 import CmdLineOpts      ( opt_D_verbose_core2core, opt_D_dump_spec, opt_D_dump_rules )
12 import Id               ( Id, idName, idType, mkTemplateLocals, mkUserLocal,
13                           idSpecialisation, setIdNoDiscard, isExportedId,
14                           modifyIdInfo, idUnfolding
15                         )
16 import IdInfo           ( zapSpecPragInfo )
17 import VarSet
18 import VarEnv
19
20 import Type             ( Type, mkTyVarTy, splitSigmaTy, splitFunTysN,
21                           tyVarsOfType, tyVarsOfTypes, tyVarsOfTheta, applyTys,
22                           mkForAllTys, boxedTypeKind
23                         )
24 import PprType          ( {- instance Outputable Type -} )
25 import Subst            ( Subst, mkSubst, substTy, emptySubst, substBndrs, extendSubstList,
26                           substId, substAndCloneId, substAndCloneIds, lookupIdSubst
27                         ) 
28 import Var              ( TyVar, mkSysTyVar, setVarUnique )
29 import VarSet
30 import VarEnv
31 import CoreSyn
32 import CoreUtils        ( applyTypeToArgs )
33 import CoreUnfold       ( certainlyWillInline )
34 import CoreFVs          ( exprFreeVars, exprsFreeVars )
35 import CoreLint         ( beginPass, endPass )
36 import PprCore          ( pprCoreRules )
37 import Rules            ( addIdSpecialisations )
38
39 import UniqSupply       ( UniqSupply,
40                           UniqSM, initUs_, thenUs, thenUs_, returnUs, getUniqueUs, 
41                           getUs, setUs, uniqFromSupply, splitUniqSupply, mapUs
42                         )
43 import Name             ( nameOccName, mkSpecOcc, getSrcLoc )
44 import FiniteMap
45 import Maybes           ( MaybeErr(..), catMaybes )
46 import ErrUtils         ( dumpIfSet )
47 import Bag
48 import List             ( partition )
49 import Util             ( zipEqual, zipWithEqual, mapAccumL )
50 import Outputable
51
52
53 infixr 9 `thenSM`
54 \end{code}
55
56 %************************************************************************
57 %*                                                                      *
58 \subsection[notes-Specialise]{Implementation notes [SLPJ, Aug 18 1993]}
59 %*                                                                      *
60 %************************************************************************
61
62 These notes describe how we implement specialisation to eliminate
63 overloading.
64
65 The specialisation pass works on Core
66 syntax, complete with all the explicit dictionary application,
67 abstraction and construction as added by the type checker.  The
68 existing type checker remains largely as it is.
69
70 One important thought: the {\em types} passed to an overloaded
71 function, and the {\em dictionaries} passed are mutually redundant.
72 If the same function is applied to the same type(s) then it is sure to
73 be applied to the same dictionary(s)---or rather to the same {\em
74 values}.  (The arguments might look different but they will evaluate
75 to the same value.)
76
77 Second important thought: we know that we can make progress by
78 treating dictionary arguments as static and worth specialising on.  So
79 we can do without binding-time analysis, and instead specialise on
80 dictionary arguments and no others.
81
82 The basic idea
83 ~~~~~~~~~~~~~~
84 Suppose we have
85
86         let f = <f_rhs>
87         in <body>
88
89 and suppose f is overloaded.
90
91 STEP 1: CALL-INSTANCE COLLECTION
92
93 We traverse <body>, accumulating all applications of f to types and
94 dictionaries.
95
96 (Might there be partial applications, to just some of its types and
97 dictionaries?  In principle yes, but in practice the type checker only
98 builds applications of f to all its types and dictionaries, so partial
99 applications could only arise as a result of transformation, and even
100 then I think it's unlikely.  In any case, we simply don't accumulate such
101 partial applications.)
102
103
104 STEP 2: EQUIVALENCES
105
106 So now we have a collection of calls to f:
107         f t1 t2 d1 d2
108         f t3 t4 d3 d4
109         ...
110 Notice that f may take several type arguments.  To avoid ambiguity, we
111 say that f is called at type t1/t2 and t3/t4.
112
113 We take equivalence classes using equality of the *types* (ignoring
114 the dictionary args, which as mentioned previously are redundant).
115
116 STEP 3: SPECIALISATION
117
118 For each equivalence class, choose a representative (f t1 t2 d1 d2),
119 and create a local instance of f, defined thus:
120
121         f@t1/t2 = <f_rhs> t1 t2 d1 d2
122
123 f_rhs presumably has some big lambdas and dictionary lambdas, so lots
124 of simplification will now result.  However we don't actually *do* that
125 simplification.  Rather, we leave it for the simplifier to do.  If we
126 *did* do it, though, we'd get more call instances from the specialised
127 RHS.  We can work out what they are by instantiating the call-instance
128 set from f's RHS with the types t1, t2.
129
130 Add this new id to f's IdInfo, to record that f has a specialised version.
131
132 Before doing any of this, check that f's IdInfo doesn't already
133 tell us about an existing instance of f at the required type/s.
134 (This might happen if specialisation was applied more than once, or
135 it might arise from user SPECIALIZE pragmas.)
136
137 Recursion
138 ~~~~~~~~~
139 Wait a minute!  What if f is recursive?  Then we can't just plug in
140 its right-hand side, can we?
141
142 But it's ok.  The type checker *always* creates non-recursive definitions
143 for overloaded recursive functions.  For example:
144
145         f x = f (x+x)           -- Yes I know its silly
146
147 becomes
148
149         f a (d::Num a) = let p = +.sel a d
150                          in
151                          letrec fl (y::a) = fl (p y y)
152                          in
153                          fl
154
155 We still have recusion for non-overloaded functions which we
156 speciailise, but the recursive call should get specialised to the
157 same recursive version.
158
159
160 Polymorphism 1
161 ~~~~~~~~~~~~~~
162
163 All this is crystal clear when the function is applied to *constant
164 types*; that is, types which have no type variables inside.  But what if
165 it is applied to non-constant types?  Suppose we find a call of f at type
166 t1/t2.  There are two possibilities:
167
168 (a) The free type variables of t1, t2 are in scope at the definition point
169 of f.  In this case there's no problem, we proceed just as before.  A common
170 example is as follows.  Here's the Haskell:
171
172         g y = let f x = x+x
173               in f y + f y
174
175 After typechecking we have
176
177         g a (d::Num a) (y::a) = let f b (d'::Num b) (x::b) = +.sel b d' x x
178                                 in +.sel a d (f a d y) (f a d y)
179
180 Notice that the call to f is at type type "a"; a non-constant type.
181 Both calls to f are at the same type, so we can specialise to give:
182
183         g a (d::Num a) (y::a) = let f@a (x::a) = +.sel a d x x
184                                 in +.sel a d (f@a y) (f@a y)
185
186
187 (b) The other case is when the type variables in the instance types
188 are *not* in scope at the definition point of f.  The example we are
189 working with above is a good case.  There are two instances of (+.sel a d),
190 but "a" is not in scope at the definition of +.sel.  Can we do anything?
191 Yes, we can "common them up", a sort of limited common sub-expression deal.
192 This would give:
193
194         g a (d::Num a) (y::a) = let +.sel@a = +.sel a d
195                                     f@a (x::a) = +.sel@a x x
196                                 in +.sel@a (f@a y) (f@a y)
197
198 This can save work, and can't be spotted by the type checker, because
199 the two instances of +.sel weren't originally at the same type.
200
201 Further notes on (b)
202
203 * There are quite a few variations here.  For example, the defn of
204   +.sel could be floated ouside the \y, to attempt to gain laziness.
205   It certainly mustn't be floated outside the \d because the d has to
206   be in scope too.
207
208 * We don't want to inline f_rhs in this case, because
209 that will duplicate code.  Just commoning up the call is the point.
210
211 * Nothing gets added to +.sel's IdInfo.
212
213 * Don't bother unless the equivalence class has more than one item!
214
215 Not clear whether this is all worth it.  It is of course OK to
216 simply discard call-instances when passing a big lambda.
217
218 Polymorphism 2 -- Overloading
219 ~~~~~~~~~~~~~~
220 Consider a function whose most general type is
221
222         f :: forall a b. Ord a => [a] -> b -> b
223
224 There is really no point in making a version of g at Int/Int and another
225 at Int/Bool, because it's only instancing the type variable "a" which
226 buys us any efficiency. Since g is completely polymorphic in b there
227 ain't much point in making separate versions of g for the different
228 b types.
229
230 That suggests that we should identify which of g's type variables
231 are constrained (like "a") and which are unconstrained (like "b").
232 Then when taking equivalence classes in STEP 2, we ignore the type args
233 corresponding to unconstrained type variable.  In STEP 3 we make
234 polymorphic versions.  Thus:
235
236         f@t1/ = /\b -> <f_rhs> t1 b d1 d2
237
238 We do this.
239
240
241 Dictionary floating
242 ~~~~~~~~~~~~~~~~~~~
243 Consider this
244
245         f a (d::Num a) = let g = ...
246                          in
247                          ...(let d1::Ord a = Num.Ord.sel a d in g a d1)...
248
249 Here, g is only called at one type, but the dictionary isn't in scope at the
250 definition point for g.  Usually the type checker would build a
251 definition for d1 which enclosed g, but the transformation system
252 might have moved d1's defn inward.  Solution: float dictionary bindings
253 outwards along with call instances.
254
255 Consider
256
257         f x = let g p q = p==q
258                   h r s = (r+s, g r s)
259               in
260               h x x
261
262
263 Before specialisation, leaving out type abstractions we have
264
265         f df x = let g :: Eq a => a -> a -> Bool
266                      g dg p q = == dg p q
267                      h :: Num a => a -> a -> (a, Bool)
268                      h dh r s = let deq = eqFromNum dh
269                                 in (+ dh r s, g deq r s)
270               in
271               h df x x
272
273 After specialising h we get a specialised version of h, like this:
274
275                     h' r s = let deq = eqFromNum df
276                              in (+ df r s, g deq r s)
277
278 But we can't naively make an instance for g from this, because deq is not in scope
279 at the defn of g.  Instead, we have to float out the (new) defn of deq
280 to widen its scope.  Notice that this floating can't be done in advance -- it only
281 shows up when specialisation is done.
282
283 User SPECIALIZE pragmas
284 ~~~~~~~~~~~~~~~~~~~~~~~
285 Specialisation pragmas can be digested by the type checker, and implemented
286 by adding extra definitions along with that of f, in the same way as before
287
288         f@t1/t2 = <f_rhs> t1 t2 d1 d2
289
290 Indeed the pragmas *have* to be dealt with by the type checker, because
291 only it knows how to build the dictionaries d1 and d2!  For example
292
293         g :: Ord a => [a] -> [a]
294         {-# SPECIALIZE f :: [Tree Int] -> [Tree Int] #-}
295
296 Here, the specialised version of g is an application of g's rhs to the
297 Ord dictionary for (Tree Int), which only the type checker can conjure
298 up.  There might not even *be* one, if (Tree Int) is not an instance of
299 Ord!  (All the other specialision has suitable dictionaries to hand
300 from actual calls.)
301
302 Problem.  The type checker doesn't have to hand a convenient <f_rhs>, because
303 it is buried in a complex (as-yet-un-desugared) binding group.
304 Maybe we should say
305
306         f@t1/t2 = f* t1 t2 d1 d2
307
308 where f* is the Id f with an IdInfo which says "inline me regardless!".
309 Indeed all the specialisation could be done in this way.
310 That in turn means that the simplifier has to be prepared to inline absolutely
311 any in-scope let-bound thing.
312
313
314 Again, the pragma should permit polymorphism in unconstrained variables:
315
316         h :: Ord a => [a] -> b -> b
317         {-# SPECIALIZE h :: [Int] -> b -> b #-}
318
319 We *insist* that all overloaded type variables are specialised to ground types,
320 (and hence there can be no context inside a SPECIALIZE pragma).
321 We *permit* unconstrained type variables to be specialised to
322         - a ground type
323         - or left as a polymorphic type variable
324 but nothing in between.  So
325
326         {-# SPECIALIZE h :: [Int] -> [c] -> [c] #-}
327
328 is *illegal*.  (It can be handled, but it adds complication, and gains the
329 programmer nothing.)
330
331
332 SPECIALISING INSTANCE DECLARATIONS
333 ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
334 Consider
335
336         instance Foo a => Foo [a] where
337                 ...
338         {-# SPECIALIZE instance Foo [Int] #-}
339
340 The original instance decl creates a dictionary-function
341 definition:
342
343         dfun.Foo.List :: forall a. Foo a -> Foo [a]
344
345 The SPECIALIZE pragma just makes a specialised copy, just as for
346 ordinary function definitions:
347
348         dfun.Foo.List@Int :: Foo [Int]
349         dfun.Foo.List@Int = dfun.Foo.List Int dFooInt
350
351 The information about what instance of the dfun exist gets added to
352 the dfun's IdInfo in the same way as a user-defined function too.
353
354
355 Automatic instance decl specialisation?
356 ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
357 Can instance decls be specialised automatically?  It's tricky.
358 We could collect call-instance information for each dfun, but
359 then when we specialised their bodies we'd get new call-instances
360 for ordinary functions; and when we specialised their bodies, we might get
361 new call-instances of the dfuns, and so on.  This all arises because of
362 the unrestricted mutual recursion between instance decls and value decls.
363
364 Still, there's no actual problem; it just means that we may not do all
365 the specialisation we could theoretically do.
366
367 Furthermore, instance decls are usually exported and used non-locally,
368 so we'll want to compile enough to get those specialisations done.
369
370 Lastly, there's no such thing as a local instance decl, so we can
371 survive solely by spitting out *usage* information, and then reading that
372 back in as a pragma when next compiling the file.  So for now,
373 we only specialise instance decls in response to pragmas.
374
375
376 SPITTING OUT USAGE INFORMATION
377 ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
378
379 To spit out usage information we need to traverse the code collecting
380 call-instance information for all imported (non-prelude?) functions
381 and data types. Then we equivalence-class it and spit it out.
382
383 This is done at the top-level when all the call instances which escape
384 must be for imported functions and data types.
385
386 *** Not currently done ***
387
388
389 Partial specialisation by pragmas
390 ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
391 What about partial specialisation:
392
393         k :: (Ord a, Eq b) => [a] -> b -> b -> [a]
394         {-# SPECIALIZE k :: Eq b => [Int] -> b -> b -> [a] #-}
395
396 or even
397
398         {-# SPECIALIZE k :: Eq b => [Int] -> [b] -> [b] -> [a] #-}
399
400 Seems quite reasonable.  Similar things could be done with instance decls:
401
402         instance (Foo a, Foo b) => Foo (a,b) where
403                 ...
404         {-# SPECIALIZE instance Foo a => Foo (a,Int) #-}
405         {-# SPECIALIZE instance Foo b => Foo (Int,b) #-}
406
407 Ho hum.  Things are complex enough without this.  I pass.
408
409
410 Requirements for the simplifer
411 ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
412 The simplifier has to be able to take advantage of the specialisation.
413
414 * When the simplifier finds an application of a polymorphic f, it looks in
415 f's IdInfo in case there is a suitable instance to call instead.  This converts
416
417         f t1 t2 d1 d2   ===>   f_t1_t2
418
419 Note that the dictionaries get eaten up too!
420
421 * Dictionary selection operations on constant dictionaries must be
422   short-circuited:
423
424         +.sel Int d     ===>  +Int
425
426 The obvious way to do this is in the same way as other specialised
427 calls: +.sel has inside it some IdInfo which tells that if it's applied
428 to the type Int then it should eat a dictionary and transform to +Int.
429
430 In short, dictionary selectors need IdInfo inside them for constant
431 methods.
432
433 * Exactly the same applies if a superclass dictionary is being
434   extracted:
435
436         Eq.sel Int d   ===>   dEqInt
437
438 * Something similar applies to dictionary construction too.  Suppose
439 dfun.Eq.List is the function taking a dictionary for (Eq a) to
440 one for (Eq [a]).  Then we want
441
442         dfun.Eq.List Int d      ===> dEq.List_Int
443
444 Where does the Eq [Int] dictionary come from?  It is built in
445 response to a SPECIALIZE pragma on the Eq [a] instance decl.
446
447 In short, dfun Ids need IdInfo with a specialisation for each
448 constant instance of their instance declaration.
449
450 All this uses a single mechanism: the SpecEnv inside an Id
451
452
453 What does the specialisation IdInfo look like?
454 ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
455
456 The SpecEnv of an Id maps a list of types (the template) to an expression
457
458         [Type]  |->  Expr
459
460 For example, if f has this SpecInfo:
461
462         [Int, a]  ->  \d:Ord Int. f' a
463
464 it means that we can replace the call
465
466         f Int t  ===>  (\d. f' t)
467
468 This chucks one dictionary away and proceeds with the
469 specialised version of f, namely f'.
470
471
472 What can't be done this way?
473 ~~~~~~~~~~~~~~~~~~~~~~~~~~~~
474 There is no way, post-typechecker, to get a dictionary for (say)
475 Eq a from a dictionary for Eq [a].  So if we find
476
477         ==.sel [t] d
478
479 we can't transform to
480
481         eqList (==.sel t d')
482
483 where
484         eqList :: (a->a->Bool) -> [a] -> [a] -> Bool
485
486 Of course, we currently have no way to automatically derive
487 eqList, nor to connect it to the Eq [a] instance decl, but you
488 can imagine that it might somehow be possible.  Taking advantage
489 of this is permanently ruled out.
490
491 Still, this is no great hardship, because we intend to eliminate
492 overloading altogether anyway!
493
494
495
496 A note about non-tyvar dictionaries
497 ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
498 Some Ids have types like
499
500         forall a,b,c. Eq a -> Ord [a] -> tau
501
502 This seems curious at first, because we usually only have dictionary
503 args whose types are of the form (C a) where a is a type variable.
504 But this doesn't hold for the functions arising from instance decls,
505 which sometimes get arguements with types of form (C (T a)) for some
506 type constructor T.
507
508 Should we specialise wrt this compound-type dictionary?  We used to say
509 "no", saying:
510         "This is a heuristic judgement, as indeed is the fact that we 
511         specialise wrt only dictionaries.  We choose *not* to specialise
512         wrt compound dictionaries because at the moment the only place
513         they show up is in instance decls, where they are simply plugged
514         into a returned dictionary.  So nothing is gained by specialising
515         wrt them."
516
517 But it is simpler and more uniform to specialise wrt these dicts too;
518 and in future GHC is likely to support full fledged type signatures 
519 like
520         f ;: Eq [(a,b)] => ...
521
522
523 %************************************************************************
524 %*                                                                      *
525 \subsubsection{The new specialiser}
526 %*                                                                      *
527 %************************************************************************
528
529 Our basic game plan is this.  For let(rec) bound function
530         f :: (C a, D c) => (a,b,c,d) -> Bool
531
532 * Find any specialised calls of f, (f ts ds), where 
533   ts are the type arguments t1 .. t4, and
534   ds are the dictionary arguments d1 .. d2.
535
536 * Add a new definition for f1 (say):
537
538         f1 = /\ b d -> (..body of f..) t1 b t3 d d1 d2
539
540   Note that we abstract over the unconstrained type arguments.
541
542 * Add the mapping
543
544         [t1,b,t3,d]  |->  \d1 d2 -> f1 b d
545
546   to the specialisations of f.  This will be used by the
547   simplifier to replace calls 
548                 (f t1 t2 t3 t4) da db
549   by
550                 (\d1 d1 -> f1 t2 t4) da db
551
552   All the stuff about how many dictionaries to discard, and what types
553   to apply the specialised function to, are handled by the fact that the
554   SpecEnv contains a template for the result of the specialisation.
555
556 We don't build *partial* specialisations for f.  For example:
557
558   f :: Eq a => a -> a -> Bool
559   {-# SPECIALISE f :: (Eq b, Eq c) => (b,c) -> (b,c) -> Bool #-}
560
561 Here, little is gained by making a specialised copy of f.
562 There's a distinct danger that the specialised version would
563 first build a dictionary for (Eq b, Eq c), and then select the (==) 
564 method from it!  Even if it didn't, not a great deal is saved.
565
566 We do, however, generate polymorphic, but not overloaded, specialisations:
567
568   f :: Eq a => [a] -> b -> b -> b
569   {#- SPECIALISE f :: [Int] -> b -> b -> b #-}
570
571 Hence, the invariant is this: 
572
573         *** no specialised version is overloaded ***
574
575
576 %************************************************************************
577 %*                                                                      *
578 \subsubsection{The exported function}
579 %*                                                                      *
580 %************************************************************************
581
582 \begin{code}
583 specProgram :: UniqSupply -> [CoreBind] -> IO [CoreBind]
584 specProgram us binds
585   = do
586         beginPass "Specialise"
587
588         let binds' = initSM us (go binds        `thenSM` \ (binds', uds') ->
589                                 returnSM (dumpAllDictBinds uds' binds'))
590
591         endPass "Specialise" (opt_D_dump_spec || opt_D_verbose_core2core) binds'
592
593         dumpIfSet opt_D_dump_rules "Top-level specialisations"
594                   (vcat (map dump_specs (concat (map bindersOf binds'))))
595
596         return binds'
597   where
598     go []           = returnSM ([], emptyUDs)
599     go (bind:binds) = go binds                          `thenSM` \ (binds', uds) ->
600                       specBind emptySubst bind uds      `thenSM` \ (bind', uds') ->
601                       returnSM (bind' ++ binds', uds')
602
603 dump_specs var = pprCoreRules var (idSpecialisation var)
604 \end{code}
605
606 %************************************************************************
607 %*                                                                      *
608 \subsubsection{@specExpr@: the main function}
609 %*                                                                      *
610 %************************************************************************
611
612 \begin{code}
613 specVar :: Subst -> Id -> CoreExpr
614 specVar subst v = case lookupIdSubst subst v of
615                         DoneEx e   -> e
616                         DoneId v _ -> Var v
617
618 specExpr :: Subst -> CoreExpr -> SpecM (CoreExpr, UsageDetails)
619 -- We carry a substitution down:
620 --      a) we must clone any binding that might flaot outwards,
621 --         to avoid name clashes
622 --      b) we carry a type substitution to use when analysing
623 --         the RHS of specialised bindings (no type-let!)
624
625 ---------------- First the easy cases --------------------
626 specExpr subst (Type ty) = returnSM (Type (substTy subst ty), emptyUDs)
627 specExpr subst (Var v)   = returnSM (specVar subst v,         emptyUDs)
628 specExpr subst (Lit lit) = returnSM (Lit lit,                 emptyUDs)
629
630 specExpr subst (Note note body)
631   = specExpr subst body         `thenSM` \ (body', uds) ->
632     returnSM (Note (specNote subst note) body', uds)
633
634
635 ---------------- Applications might generate a call instance --------------------
636 specExpr subst expr@(App fun arg)
637   = go expr []
638   where
639     go (App fun arg) args = specExpr subst arg  `thenSM` \ (arg', uds_arg) ->
640                             go fun (arg':args)  `thenSM` \ (fun', uds_app) ->
641                             returnSM (App fun' arg', uds_arg `plusUDs` uds_app)
642
643     go (Var f)       args = case specVar subst f of
644                                 Var f' -> returnSM (Var f', mkCallUDs f' args)
645                                 e'     -> returnSM (e', emptyUDs)       -- I don't expect this!
646     go other         args = specExpr subst other
647
648 ---------------- Lambda/case require dumping of usage details --------------------
649 specExpr subst e@(Lam _ _)
650   = specExpr subst' body        `thenSM` \ (body', uds) ->
651     let
652         (filtered_uds, body'') = dumpUDs bndrs' uds body'
653     in
654     returnSM (mkLams bndrs' body'', filtered_uds)
655   where
656     (bndrs, body) = collectBinders e
657     (subst', bndrs') = substBndrs subst bndrs
658         -- More efficient to collect a group of binders together all at once
659         -- and we don't want to split a lambda group with dumped bindings
660
661 specExpr subst (Case scrut case_bndr alts)
662   = specExpr subst scrut                        `thenSM` \ (scrut', uds_scrut) ->
663     mapAndCombineSM spec_alt alts       `thenSM` \ (alts', uds_alts) ->
664     returnSM (Case scrut' case_bndr' alts', uds_scrut `plusUDs` uds_alts)
665   where
666     (subst_alt, case_bndr') = substId subst case_bndr
667
668     spec_alt (con, args, rhs)
669         = specExpr subst_rhs rhs                `thenSM` \ (rhs', uds) ->
670           let
671              (uds', rhs'') = dumpUDs args uds rhs'
672           in
673           returnSM ((con, args', rhs''), uds')
674         where
675           (subst_rhs, args') = substBndrs subst_alt args
676
677 ---------------- Finally, let is the interesting case --------------------
678 specExpr subst (Let bind body)
679   =     -- Clone binders
680     cloneBindSM subst bind                      `thenSM` \ (rhs_subst, body_subst, bind') ->
681         
682         -- Deal with the body
683     specExpr body_subst body                    `thenSM` \ (body', body_uds) ->
684
685         -- Deal with the bindings
686     specBind rhs_subst bind' body_uds           `thenSM` \ (binds', uds) ->
687
688         -- All done
689     returnSM (foldr Let body' binds', uds)
690
691 -- Must apply the type substitution to coerceions
692 specNote subst (Coerce t1 t2) = Coerce (substTy subst t1) (substTy subst t2)
693 specNote subst note           = note
694 \end{code}
695
696 %************************************************************************
697 %*                                                                      *
698 \subsubsection{Dealing with a binding}
699 %*                                                                      *
700 %************************************************************************
701
702 \begin{code}
703 specBind :: Subst                       -- Use this for RHSs
704          -> CoreBind
705          -> UsageDetails                -- Info on how the scope of the binding
706          -> SpecM ([CoreBind],          -- New bindings
707                    UsageDetails)        -- And info to pass upstream
708
709 specBind rhs_subst bind body_uds
710   = specBindItself rhs_subst bind (calls body_uds)      `thenSM` \ (bind', bind_uds) ->
711     let
712         bndrs   = bindersOf bind
713         all_uds = zapCalls bndrs (body_uds `plusUDs` bind_uds)
714                         -- It's important that the `plusUDs` is this way round,
715                         -- because body_uds may bind dictionaries that are
716                         -- used in the calls passed to specDefn.  So the
717                         -- dictionary bindings in bind_uds may mention 
718                         -- dictionaries bound in body_uds.
719     in
720     case splitUDs bndrs all_uds of
721
722         (_, ([],[]))    -- This binding doesn't bind anything needed
723                         -- in the UDs, so put the binding here
724                         -- This is the case for most non-dict bindings, except
725                         -- for the few that are mentioned in a dict binding
726                         -- that is floating upwards in body_uds
727                 -> returnSM ([bind'], all_uds)
728
729         (float_uds, (dict_binds, calls))        -- This binding is needed in the UDs, so float it out
730                 -> returnSM ([], float_uds `plusUDs` mkBigUD bind' dict_binds calls)
731    
732
733 -- A truly gruesome function
734 mkBigUD bind@(NonRec _ _) dbs calls
735   =     -- Common case: non-recursive and no specialisations
736         -- (if there were any specialistions it would have been made recursive)
737     MkUD { dict_binds = listToBag (mkDB bind : dbs),
738            calls = listToCallDetails calls }
739
740 mkBigUD bind dbs calls
741   =     -- General case
742     MkUD { dict_binds = unitBag (mkDB (Rec (bind_prs bind ++ dbsToPairs dbs))),
743                         -- Make a huge Rec
744            calls = listToCallDetails calls }
745   where
746     bind_prs (NonRec b r) = [(b,r)]
747     bind_prs (Rec prs)    = prs
748
749     dbsToPairs []             = []
750     dbsToPairs ((bind,_):dbs) = bind_prs bind ++ dbsToPairs dbs
751
752 -- specBindItself deals with the RHS, specialising it according
753 -- to the calls found in the body (if any)
754 specBindItself rhs_subst (NonRec bndr rhs) call_info
755   = specDefn rhs_subst call_info (bndr,rhs)     `thenSM` \ ((bndr',rhs'), spec_defns, spec_uds) ->
756     let
757         new_bind | null spec_defns = NonRec bndr' rhs'
758                  | otherwise       = Rec ((bndr',rhs'):spec_defns)
759                 -- bndr' mentions the spec_defns in its SpecEnv
760                 -- Not sure why we couln't just put the spec_defns first
761     in
762     returnSM (new_bind, spec_uds)
763
764 specBindItself rhs_subst (Rec pairs) call_info
765   = mapSM (specDefn rhs_subst call_info) pairs  `thenSM` \ stuff ->
766     let
767         (pairs', spec_defns_s, spec_uds_s) = unzip3 stuff
768         spec_defns = concat spec_defns_s
769         spec_uds   = plusUDList spec_uds_s
770         new_bind   = Rec (spec_defns ++ pairs')
771     in
772     returnSM (new_bind, spec_uds)
773     
774
775 specDefn :: Subst                       -- Subst to use for RHS
776          -> CallDetails                 -- Info on how it is used in its scope
777          -> (Id, CoreExpr)              -- The thing being bound and its un-processed RHS
778          -> SpecM ((Id, CoreExpr),      -- The thing and its processed RHS
779                                         --      the Id may now have specialisations attached
780                    [(Id,CoreExpr)],     -- Extra, specialised bindings
781                    UsageDetails         -- Stuff to fling upwards from the RHS and its
782             )                           --      specialised versions
783
784 specDefn subst calls (fn, rhs)
785         -- The first case is the interesting one
786   |  n_tyvars == length rhs_tyvars      -- Rhs of fn's defn has right number of big lambdas
787   && n_dicts  <= length rhs_bndrs       -- and enough dict args
788   && not (null calls_for_me)            -- And there are some calls to specialise
789   && not (certainlyWillInline fn)       -- And it's not small
790                                         -- If it's small, it's better just to inline
791                                         -- it than to construct lots of specialisations
792   =   -- Specialise the body of the function
793     specExpr subst rhs                                  `thenSM` \ (rhs', rhs_uds) ->
794
795       -- Make a specialised version for each call in calls_for_me
796     mapSM spec_call calls_for_me                `thenSM` \ stuff ->
797     let
798         (spec_defns, spec_uds, spec_env_stuff) = unzip3 stuff
799
800         fn' = addIdSpecialisations zapped_fn spec_env_stuff
801     in
802     returnSM ((fn',rhs'), 
803               spec_defns, 
804               rhs_uds `plusUDs` plusUDList spec_uds)
805
806   | otherwise   -- No calls or RHS doesn't fit our preconceptions
807   = specExpr subst rhs                  `thenSM` \ (rhs', rhs_uds) ->
808     returnSM ((zapped_fn, rhs'), [], rhs_uds)
809   
810   where
811     zapped_fn            = modifyIdInfo zapSpecPragInfo fn
812         -- If the fn is a SpecPragmaId, make it discardable
813         -- It's role as a holder for a call instance is o'er
814         -- But it might be alive for some other reason by now.
815
816     fn_type              = idType fn
817     (tyvars, theta, tau) = splitSigmaTy fn_type
818     n_tyvars             = length tyvars
819     n_dicts              = length theta
820
821     (rhs_tyvars, rhs_ids, rhs_body) = collectTyAndValBinders rhs
822     rhs_dicts = take n_dicts rhs_ids
823     rhs_bndrs = rhs_tyvars ++ rhs_dicts
824     body      = mkLams (drop n_dicts rhs_ids) rhs_body
825                 -- Glue back on the non-dict lambdas
826
827     calls_for_me = case lookupFM calls fn of
828                         Nothing -> []
829                         Just cs -> fmToList cs
830
831     ----------------------------------------------------------
832         -- Specialise to one particular call pattern
833     spec_call :: ([Maybe Type], ([DictExpr], VarSet))           -- Call instance
834               -> SpecM ((Id,CoreExpr),                          -- Specialised definition
835                         UsageDetails,                           -- Usage details from specialised body
836                         ([CoreBndr], [CoreExpr], CoreExpr))     -- Info for the Id's SpecEnv
837     spec_call (call_ts, (call_ds, call_fvs))
838       = ASSERT( length call_ts == n_tyvars && length call_ds == n_dicts )
839                 -- Calls are only recorded for properly-saturated applications
840         
841         -- Suppose f's defn is  f = /\ a b c d -> \ d1 d2 -> rhs        
842         -- Supppose the call is for f [Just t1, Nothing, Just t3, Nothing] [dx1, dx2]
843
844         -- Construct the new binding
845         --      f1 = SUBST[a->t1,c->t3, d1->d1', d2->d2'] (/\ b d -> rhs)
846         -- PLUS the usage-details
847         --      { d1' = dx1; d2' = dx2 }
848         -- where d1', d2' are cloned versions of d1,d2, with the type substitution applied.
849         --
850         -- Note that the substitution is applied to the whole thing.
851         -- This is convenient, but just slightly fragile.  Notably:
852         --      * There had better be no name clashes in a/b/c/d
853         --
854         let
855                 -- poly_tyvars = [b,d] in the example above
856                 -- spec_tyvars = [a,c] 
857                 -- ty_args     = [t1,b,t3,d]
858            poly_tyvars = [tv | (tv, Nothing) <- rhs_tyvars `zip` call_ts]
859            spec_tyvars = [tv | (tv, Just _)  <- rhs_tyvars `zip` call_ts]
860            ty_args     = zipWithEqual "spec_call" mk_ty_arg rhs_tyvars call_ts
861                        where
862                          mk_ty_arg rhs_tyvar Nothing   = Type (mkTyVarTy rhs_tyvar)
863                          mk_ty_arg rhs_tyvar (Just ty) = Type ty
864            rhs_subst  = extendSubstList subst spec_tyvars [DoneTy ty | Just ty <- call_ts]
865         in
866         cloneBinders rhs_subst rhs_dicts                `thenSM` \ (rhs_subst', rhs_dicts') ->
867         let
868            inst_args = ty_args ++ map Var rhs_dicts'
869
870                 -- Figure out the type of the specialised function
871            spec_id_ty = mkForAllTys poly_tyvars (applyTypeToArgs rhs fn_type inst_args)
872         in
873         newIdSM fn spec_id_ty                           `thenSM` \ spec_f ->
874         specExpr rhs_subst' (mkLams poly_tyvars body)   `thenSM` \ (spec_rhs, rhs_uds) ->       
875         let
876                 -- The rule to put in the function's specialisation is:
877                 --      forall b,d, d1',d2'.  f t1 b t3 d d1' d2' = f1 b d  
878            spec_env_rule = (poly_tyvars ++ rhs_dicts',
879                             inst_args, 
880                             mkTyApps (Var spec_f) (map mkTyVarTy poly_tyvars))
881
882                 -- Add the { d1' = dx1; d2' = dx2 } usage stuff
883            final_uds = foldr addDictBind rhs_uds (my_zipEqual "spec_call" rhs_dicts' call_ds)
884         in
885         returnSM ((spec_f, spec_rhs),
886                   final_uds,
887                   spec_env_rule)
888
889       where
890         my_zipEqual doc xs ys 
891          | length xs /= length ys = pprPanic "my_zipEqual" (ppr xs $$ ppr ys $$ (ppr fn <+> ppr call_ts) $$ ppr rhs)
892          | otherwise              = zipEqual doc xs ys
893 \end{code}
894
895 %************************************************************************
896 %*                                                                      *
897 \subsubsection{UsageDetails and suchlike}
898 %*                                                                      *
899 %************************************************************************
900
901 \begin{code}
902 data UsageDetails 
903   = MkUD {
904         dict_binds :: !(Bag DictBind),
905                         -- Floated dictionary bindings
906                         -- The order is important; 
907                         -- in ds1 `union` ds2, bindings in ds2 can depend on those in ds1
908                         -- (Remember, Bags preserve order in GHC.)
909
910         calls     :: !CallDetails
911     }
912
913 type DictBind = (CoreBind, VarSet)
914         -- The set is the free vars of the binding
915         -- both tyvars and dicts
916
917 type DictExpr = CoreExpr
918
919 emptyUDs = MkUD { dict_binds = emptyBag, calls = emptyFM }
920
921 type ProtoUsageDetails = ([DictBind],
922                           [(Id, [Maybe Type], ([DictExpr], VarSet))]
923                          )
924
925 ------------------------------------------------------------                    
926 type CallDetails  = FiniteMap Id CallInfo
927 type CallInfo     = FiniteMap [Maybe Type]                      -- Nothing => unconstrained type argument
928                               ([DictExpr], VarSet)              -- Dict args and the vars of the whole
929                                                                 -- call (including tyvars)
930                                                                 -- [*not* include the main id itself, of course]
931         -- The finite maps eliminate duplicates
932         -- The list of types and dictionaries is guaranteed to
933         -- match the type of f
934
935 unionCalls :: CallDetails -> CallDetails -> CallDetails
936 unionCalls c1 c2 = plusFM_C plusFM c1 c2
937
938 singleCall :: (Id, [Maybe Type], [DictExpr]) -> CallDetails
939 singleCall (id, tys, dicts) 
940   = unitFM id (unitFM tys (dicts, call_fvs))
941   where
942     call_fvs = exprsFreeVars dicts `unionVarSet` tys_fvs
943     tys_fvs  = tyVarsOfTypes (catMaybes tys)
944         -- The type args (tys) are guaranteed to be part of the dictionary
945         -- types, because they are just the constrained types,
946         -- and the dictionary is therefore sure to be bound
947         -- inside the binding for any type variables free in the type;
948         -- hence it's safe to neglect tyvars free in tys when making
949         -- the free-var set for this call
950         -- BUT I don't trust this reasoning; play safe and include tys_fvs
951         --
952         -- We don't include the 'id' itself.
953
954 listToCallDetails calls
955   = foldr (unionCalls . mk_call) emptyFM calls
956   where
957     mk_call (id, tys, dicts_w_fvs) = unitFM id (unitFM tys dicts_w_fvs)
958         -- NB: the free vars of the call are provided
959
960 callDetailsToList calls = [ (id,tys,dicts)
961                           | (id,fm) <- fmToList calls,
962                             (tys,dicts) <- fmToList fm
963                           ]
964
965 mkCallUDs f args 
966   | null theta
967   || length spec_tys /= n_tyvars
968   || length dicts    /= n_dicts
969   = emptyUDs    -- Not overloaded
970
971   | otherwise
972   = MkUD {dict_binds = emptyBag, 
973           calls      = singleCall (f, spec_tys, dicts)
974     }
975   where
976     (tyvars, theta, tau) = splitSigmaTy (idType f)
977     constrained_tyvars   = tyVarsOfTheta theta 
978     n_tyvars             = length tyvars
979     n_dicts              = length theta
980
981     spec_tys = [mk_spec_ty tv ty | (tv, Type ty) <- tyvars `zip` args]
982     dicts    = [dict_expr | (_, dict_expr) <- theta `zip` (drop n_tyvars args)]
983     
984     mk_spec_ty tyvar ty | tyvar `elemVarSet` constrained_tyvars
985                         = Just ty
986                         | otherwise
987                         = Nothing
988
989 ------------------------------------------------------------                    
990 plusUDs :: UsageDetails -> UsageDetails -> UsageDetails
991 plusUDs (MkUD {dict_binds = db1, calls = calls1})
992         (MkUD {dict_binds = db2, calls = calls2})
993   = MkUD {dict_binds = d, calls = c}
994   where
995     d = db1    `unionBags`   db2 
996     c = calls1 `unionCalls`  calls2
997
998 plusUDList = foldr plusUDs emptyUDs
999
1000 -- zapCalls deletes calls to ids from uds
1001 zapCalls ids uds = uds {calls = delListFromFM (calls uds) ids}
1002
1003 mkDB bind = (bind, bind_fvs bind)
1004
1005 bind_fvs (NonRec bndr rhs) = exprFreeVars rhs
1006 bind_fvs (Rec prs)         = foldl delVarSet rhs_fvs bndrs
1007                            where
1008                              bndrs = map fst prs
1009                              rhs_fvs = unionVarSets [exprFreeVars rhs | (bndr,rhs) <- prs]
1010
1011 addDictBind (dict,rhs) uds = uds { dict_binds = mkDB (NonRec dict rhs) `consBag` dict_binds uds }
1012
1013 dumpAllDictBinds (MkUD {dict_binds = dbs}) binds
1014   = foldrBag add binds dbs
1015   where
1016     add (bind,_) binds = bind : binds
1017
1018 dumpUDs :: [CoreBndr]
1019         -> UsageDetails -> CoreExpr
1020         -> (UsageDetails, CoreExpr)
1021 dumpUDs bndrs uds body
1022   = (free_uds, foldr add_let body dict_binds)
1023   where
1024     (free_uds, (dict_binds, _)) = splitUDs bndrs uds
1025     add_let (bind,_) body       = Let bind body
1026
1027 splitUDs :: [CoreBndr]
1028          -> UsageDetails
1029          -> (UsageDetails,              -- These don't mention the binders
1030              ProtoUsageDetails)         -- These do
1031              
1032 splitUDs bndrs uds@(MkUD {dict_binds = orig_dbs, 
1033                           calls      = orig_calls})
1034
1035   = if isEmptyBag dump_dbs && null dump_calls then
1036         -- Common case: binder doesn't affect floats
1037         (uds, ([],[]))  
1038
1039     else
1040         -- Binders bind some of the fvs of the floats
1041         (MkUD {dict_binds = free_dbs, 
1042                calls      = listToCallDetails free_calls},
1043          (bagToList dump_dbs, dump_calls)
1044         )
1045
1046   where
1047     bndr_set = mkVarSet bndrs
1048
1049     (free_dbs, dump_dbs, dump_idset) 
1050           = foldlBag dump_db (emptyBag, emptyBag, bndr_set) orig_dbs
1051                 -- Important that it's foldl not foldr;
1052                 -- we're accumulating the set of dumped ids in dump_set
1053
1054         -- Filter out any calls that mention things that are being dumped
1055     orig_call_list                 = callDetailsToList orig_calls
1056     (dump_calls, free_calls)       = partition captured orig_call_list
1057     captured (id,tys,(dicts, fvs)) =  fvs `intersectsVarSet` dump_idset
1058                                    || id `elemVarSet` dump_idset
1059
1060     dump_db (free_dbs, dump_dbs, dump_idset) db@(bind, fvs)
1061         | dump_idset `intersectsVarSet` fvs     -- Dump it
1062         = (free_dbs, dump_dbs `snocBag` db,
1063            dump_idset `unionVarSet` mkVarSet (bindersOf bind))
1064
1065         | otherwise     -- Don't dump it
1066         = (free_dbs `snocBag` db, dump_dbs, dump_idset)
1067 \end{code}
1068
1069
1070 %************************************************************************
1071 %*                                                                      *
1072 \subsubsection{Boring helper functions}
1073 %*                                                                      *
1074 %************************************************************************
1075
1076 \begin{code}
1077 lookupId:: IdEnv Id -> Id -> Id
1078 lookupId env id = case lookupVarEnv env id of
1079                         Nothing  -> id
1080                         Just id' -> id'
1081
1082 ----------------------------------------
1083 type SpecM a = UniqSM a
1084
1085 thenSM    = thenUs
1086 thenSM_    = thenUs_
1087 returnSM  = returnUs
1088 getUniqSM = getUniqueUs
1089 getUniqSupplySM = getUs
1090 setUniqSupplySM = setUs
1091 mapSM     = mapUs
1092 initSM    = initUs_
1093
1094 mapAndCombineSM f []     = returnSM ([], emptyUDs)
1095 mapAndCombineSM f (x:xs) = f x  `thenSM` \ (y, uds1) ->
1096                            mapAndCombineSM f xs `thenSM` \ (ys, uds2) ->
1097                            returnSM (y:ys, uds1 `plusUDs` uds2)
1098
1099 cloneBindSM :: Subst -> CoreBind -> SpecM (Subst, Subst, CoreBind)
1100 -- Clone the binders of the bind; return new bind with the cloned binders
1101 -- Return the substitution to use for RHSs, and the one to use for the body
1102 cloneBindSM subst (NonRec bndr rhs)
1103   = getUs       `thenUs` \ us ->
1104     let
1105         (subst', us', bndr') = substAndCloneId subst us bndr
1106     in
1107     setUs us'   `thenUs_`
1108     returnUs (subst, subst', NonRec bndr' rhs)
1109
1110 cloneBindSM subst (Rec pairs)
1111   = getUs       `thenUs` \ us ->
1112     let
1113         (subst', us', bndrs') = substAndCloneIds subst us (map fst pairs)
1114     in
1115     setUs us'   `thenUs_`
1116     returnUs (subst', subst', Rec (bndrs' `zip` map snd pairs))
1117
1118 cloneBinders subst bndrs
1119   = getUs       `thenUs` \ us ->
1120     let
1121         (subst', us', bndrs') = substAndCloneIds subst us bndrs
1122     in
1123     setUs us'   `thenUs_`
1124     returnUs (subst', bndrs')
1125
1126
1127 newIdSM old_id new_ty
1128   = getUniqSM           `thenSM` \ uniq ->
1129     let 
1130         -- Give the new Id a similar occurrence name to the old one
1131         name   = idName old_id
1132         new_id = mkUserLocal (mkSpecOcc (nameOccName name)) uniq new_ty (getSrcLoc name)
1133
1134         -- If the old Id was exported, make the new one non-discardable,
1135         -- else we will discard it since it doesn't seem to be called.
1136         new_id' | isExportedId old_id = setIdNoDiscard new_id
1137                 | otherwise           = new_id
1138     in
1139     returnSM new_id'
1140
1141 newTyVarSM
1142   = getUniqSM           `thenSM` \ uniq ->
1143     returnSM (mkSysTyVar uniq boxedTypeKind)
1144 \end{code}
1145
1146
1147                 Old (but interesting) stuff about unboxed bindings
1148                 ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
1149
1150 What should we do when a value is specialised to a *strict* unboxed value?
1151
1152         map_*_* f (x:xs) = let h = f x
1153                                t = map f xs
1154                            in h:t
1155
1156 Could convert let to case:
1157
1158         map_*_Int# f (x:xs) = case f x of h# ->
1159                               let t = map f xs
1160                               in h#:t
1161
1162 This may be undesirable since it forces evaluation here, but the value
1163 may not be used in all branches of the body. In the general case this
1164 transformation is impossible since the mutual recursion in a letrec
1165 cannot be expressed as a case.
1166
1167 There is also a problem with top-level unboxed values, since our
1168 implementation cannot handle unboxed values at the top level.
1169
1170 Solution: Lift the binding of the unboxed value and extract it when it
1171 is used:
1172
1173         map_*_Int# f (x:xs) = let h = case (f x) of h# -> _Lift h#
1174                                   t = map f xs
1175                               in case h of
1176                                  _Lift h# -> h#:t
1177
1178 Now give it to the simplifier and the _Lifting will be optimised away.
1179
1180 The benfit is that we have given the specialised "unboxed" values a
1181 very simplep lifted semantics and then leave it up to the simplifier to
1182 optimise it --- knowing that the overheads will be removed in nearly
1183 all cases.
1184
1185 In particular, the value will only be evaluted in the branches of the
1186 program which use it, rather than being forced at the point where the
1187 value is bound. For example:
1188
1189         filtermap_*_* p f (x:xs)
1190           = let h = f x
1191                 t = ...
1192             in case p x of
1193                 True  -> h:t
1194                 False -> t
1195    ==>
1196         filtermap_*_Int# p f (x:xs)
1197           = let h = case (f x) of h# -> _Lift h#
1198                 t = ...
1199             in case p x of
1200                 True  -> case h of _Lift h#
1201                            -> h#:t
1202                 False -> t
1203
1204 The binding for h can still be inlined in the one branch and the
1205 _Lifting eliminated.
1206
1207
1208 Question: When won't the _Lifting be eliminated?
1209
1210 Answer: When they at the top-level (where it is necessary) or when
1211 inlining would duplicate work (or possibly code depending on
1212 options). However, the _Lifting will still be eliminated if the
1213 strictness analyser deems the lifted binding strict.
1214