Improve documentation of bang patterns
[ghc-hetmet.git] / docs / users_guide / glasgow_exts.xml
1 <?xml version="1.0" encoding="iso-8859-1"?>
2 <para>
3 <indexterm><primary>language, GHC</primary></indexterm>
4 <indexterm><primary>extensions, GHC</primary></indexterm>
5 As with all known Haskell systems, GHC implements some extensions to
6 the language.  They are all enabled by options; by default GHC
7 understands only plain Haskell 98.
8 </para>
9
10 <para>
11 Some of the Glasgow extensions serve to give you access to the
12 underlying facilities with which we implement Haskell.  Thus, you can
13 get at the Raw Iron, if you are willing to write some non-portable
14 code at a more primitive level.  You need not be &ldquo;stuck&rdquo;
15 on performance because of the implementation costs of Haskell's
16 &ldquo;high-level&rdquo; features&mdash;you can always code
17 &ldquo;under&rdquo; them.  In an extreme case, you can write all your
18 time-critical code in C, and then just glue it together with Haskell!
19 </para>
20
21 <para>
22 Before you get too carried away working at the lowest level (e.g.,
23 sloshing <literal>MutableByteArray&num;</literal>s around your
24 program), you may wish to check if there are libraries that provide a
25 &ldquo;Haskellised veneer&rdquo; over the features you want.  The
26 separate <ulink url="../libraries/index.html">libraries
27 documentation</ulink> describes all the libraries that come with GHC.
28 </para>
29
30 <!-- LANGUAGE OPTIONS -->
31   <sect1 id="options-language">
32     <title>Language options</title>
33
34     <indexterm><primary>language</primary><secondary>option</secondary>
35     </indexterm>
36     <indexterm><primary>options</primary><secondary>language</secondary>
37     </indexterm>
38     <indexterm><primary>extensions</primary><secondary>options controlling</secondary>
39     </indexterm>
40
41     <para>The language option flags control what variation of the language are
42     permitted.  Leaving out all of them gives you standard Haskell
43     98.</para>
44
45     <para>Language options can be controlled in two ways:
46     <itemizedlist>
47       <listitem><para>Every language option can switched on by a command-line flag "<option>-X...</option>" 
48         (e.g. <option>-XTemplateHaskell</option>), and switched off by the flag "<option>-XNo...</option>"; 
49         (e.g. <option>-XNoTemplateHaskell</option>).</para></listitem>
50       <listitem><para>
51           Language options recognised by Cabal can also be enabled using the <literal>LANGUAGE</literal> pragma,
52           thus <literal>{-# LANGUAGE TemplateHaskell #-}</literal> (see <xref linkend="language-pragma"/>). </para>
53           </listitem>
54       </itemizedlist></para>
55
56     <para>The flag <option>-fglasgow-exts</option>
57           <indexterm><primary><option>-fglasgow-exts</option></primary></indexterm>
58           is equivalent to enabling the following extensions: 
59           <option>-XPrintExplicitForalls</option>,
60           <option>-XForeignFunctionInterface</option>,
61           <option>-XUnliftedFFITypes</option>,
62           <option>-XGADTs</option>,
63           <option>-XImplicitParams</option>,
64           <option>-XScopedTypeVariables</option>,
65           <option>-XUnboxedTuples</option>,
66           <option>-XTypeSynonymInstances</option>,
67           <option>-XStandaloneDeriving</option>,
68           <option>-XDeriveDataTypeable</option>,
69           <option>-XFlexibleContexts</option>,
70           <option>-XFlexibleInstances</option>,
71           <option>-XConstrainedClassMethods</option>,
72           <option>-XMultiParamTypeClasses</option>,
73           <option>-XFunctionalDependencies</option>,
74           <option>-XMagicHash</option>,
75           <option>-XPolymorphicComponents</option>,
76           <option>-XExistentialQuantification</option>,
77           <option>-XUnicodeSyntax</option>,
78           <option>-XPostfixOperators</option>,
79           <option>-XPatternGuards</option>,
80           <option>-XLiberalTypeSynonyms</option>,
81           <option>-XRankNTypes</option>,
82           <option>-XImpredicativeTypes</option>,
83           <option>-XTypeOperators</option>,
84           <option>-XRecursiveDo</option>,
85           <option>-XParallelListComp</option>,
86           <option>-XEmptyDataDecls</option>,
87           <option>-XKindSignatures</option>,
88           <option>-XGeneralizedNewtypeDeriving</option>,
89           <option>-XTypeFamilies</option>.
90             Enabling these options is the <emphasis>only</emphasis> 
91             effect of <option>-fglasgow-exts</option>.
92           We are trying to move away from this portmanteau flag, 
93           and towards enabling features individually.</para>
94
95   </sect1>
96
97 <!-- UNBOXED TYPES AND PRIMITIVE OPERATIONS -->
98 <sect1 id="primitives">
99   <title>Unboxed types and primitive operations</title>
100
101 <para>GHC is built on a raft of primitive data types and operations;
102 "primitive" in the sense that they cannot be defined in Haskell itself.
103 While you really can use this stuff to write fast code,
104   we generally find it a lot less painful, and more satisfying in the
105   long run, to use higher-level language features and libraries.  With
106   any luck, the code you write will be optimised to the efficient
107   unboxed version in any case.  And if it isn't, we'd like to know
108   about it.</para>
109
110 <para>All these primitive data types and operations are exported by the 
111 library <literal>GHC.Prim</literal>, for which there is 
112 <ulink url="../libraries/base/GHC.Prim.html">detailed online documentation</ulink>.
113 (This documentation is generated from the file <filename>compiler/prelude/primops.txt.pp</filename>.)
114 </para>
115 <para>
116 If you want to mention any of the primitive data types or operations in your
117 program, you must first import <literal>GHC.Prim</literal> to bring them
118 into scope.  Many of them have names ending in "&num;", and to mention such
119 names you need the <option>-XMagicHash</option> extension (<xref linkend="magic-hash"/>).
120 </para>
121
122 <para>The primops make extensive use of <link linkend="glasgow-unboxed">unboxed types</link> 
123 and <link linkend="unboxed-tuples">unboxed tuples</link>, which
124 we briefly summarise here. </para>
125   
126 <sect2 id="glasgow-unboxed">
127 <title>Unboxed types
128 </title>
129
130 <para>
131 <indexterm><primary>Unboxed types (Glasgow extension)</primary></indexterm>
132 </para>
133
134 <para>Most types in GHC are <firstterm>boxed</firstterm>, which means
135 that values of that type are represented by a pointer to a heap
136 object.  The representation of a Haskell <literal>Int</literal>, for
137 example, is a two-word heap object.  An <firstterm>unboxed</firstterm>
138 type, however, is represented by the value itself, no pointers or heap
139 allocation are involved.
140 </para>
141
142 <para>
143 Unboxed types correspond to the &ldquo;raw machine&rdquo; types you
144 would use in C: <literal>Int&num;</literal> (long int),
145 <literal>Double&num;</literal> (double), <literal>Addr&num;</literal>
146 (void *), etc.  The <emphasis>primitive operations</emphasis>
147 (PrimOps) on these types are what you might expect; e.g.,
148 <literal>(+&num;)</literal> is addition on
149 <literal>Int&num;</literal>s, and is the machine-addition that we all
150 know and love&mdash;usually one instruction.
151 </para>
152
153 <para>
154 Primitive (unboxed) types cannot be defined in Haskell, and are
155 therefore built into the language and compiler.  Primitive types are
156 always unlifted; that is, a value of a primitive type cannot be
157 bottom.  We use the convention (but it is only a convention) 
158 that primitive types, values, and
159 operations have a <literal>&num;</literal> suffix (see <xref linkend="magic-hash"/>).
160 For some primitive types we have special syntax for literals, also
161 described in the <link linkend="magic-hash">same section</link>.
162 </para>
163
164 <para>
165 Primitive values are often represented by a simple bit-pattern, such
166 as <literal>Int&num;</literal>, <literal>Float&num;</literal>,
167 <literal>Double&num;</literal>.  But this is not necessarily the case:
168 a primitive value might be represented by a pointer to a
169 heap-allocated object.  Examples include
170 <literal>Array&num;</literal>, the type of primitive arrays.  A
171 primitive array is heap-allocated because it is too big a value to fit
172 in a register, and would be too expensive to copy around; in a sense,
173 it is accidental that it is represented by a pointer.  If a pointer
174 represents a primitive value, then it really does point to that value:
175 no unevaluated thunks, no indirections&hellip;nothing can be at the
176 other end of the pointer than the primitive value.
177 A numerically-intensive program using unboxed types can
178 go a <emphasis>lot</emphasis> faster than its &ldquo;standard&rdquo;
179 counterpart&mdash;we saw a threefold speedup on one example.
180 </para>
181
182 <para>
183 There are some restrictions on the use of primitive types:
184 <itemizedlist>
185 <listitem><para>The main restriction
186 is that you can't pass a primitive value to a polymorphic
187 function or store one in a polymorphic data type.  This rules out
188 things like <literal>[Int&num;]</literal> (i.e. lists of primitive
189 integers).  The reason for this restriction is that polymorphic
190 arguments and constructor fields are assumed to be pointers: if an
191 unboxed integer is stored in one of these, the garbage collector would
192 attempt to follow it, leading to unpredictable space leaks.  Or a
193 <function>seq</function> operation on the polymorphic component may
194 attempt to dereference the pointer, with disastrous results.  Even
195 worse, the unboxed value might be larger than a pointer
196 (<literal>Double&num;</literal> for instance).
197 </para>
198 </listitem>
199 <listitem><para> You cannot define a newtype whose representation type
200 (the argument type of the data constructor) is an unboxed type.  Thus,
201 this is illegal:
202 <programlisting>
203   newtype A = MkA Int#
204 </programlisting>
205 </para></listitem>
206 <listitem><para> You cannot bind a variable with an unboxed type
207 in a <emphasis>top-level</emphasis> binding.
208 </para></listitem>
209 <listitem><para> You cannot bind a variable with an unboxed type
210 in a <emphasis>recursive</emphasis> binding.
211 </para></listitem>
212 <listitem><para> You may bind unboxed variables in a (non-recursive,
213 non-top-level) pattern binding, but any such variable causes the entire
214 pattern-match
215 to become strict.  For example:
216 <programlisting>
217   data Foo = Foo Int Int#
218
219   f x = let (Foo a b, w) = ..rhs.. in ..body..
220 </programlisting>
221 Since <literal>b</literal> has type <literal>Int#</literal>, the entire pattern
222 match
223 is strict, and the program behaves as if you had written
224 <programlisting>
225   data Foo = Foo Int Int#
226
227   f x = case ..rhs.. of { (Foo a b, w) -> ..body.. }
228 </programlisting>
229 </para>
230 </listitem>
231 </itemizedlist>
232 </para>
233
234 </sect2>
235
236 <sect2 id="unboxed-tuples">
237 <title>Unboxed Tuples
238 </title>
239
240 <para>
241 Unboxed tuples aren't really exported by <literal>GHC.Exts</literal>,
242 they're available by default with <option>-fglasgow-exts</option>.  An
243 unboxed tuple looks like this:
244 </para>
245
246 <para>
247
248 <programlisting>
249 (# e_1, ..., e_n #)
250 </programlisting>
251
252 </para>
253
254 <para>
255 where <literal>e&lowbar;1..e&lowbar;n</literal> are expressions of any
256 type (primitive or non-primitive).  The type of an unboxed tuple looks
257 the same.
258 </para>
259
260 <para>
261 Unboxed tuples are used for functions that need to return multiple
262 values, but they avoid the heap allocation normally associated with
263 using fully-fledged tuples.  When an unboxed tuple is returned, the
264 components are put directly into registers or on the stack; the
265 unboxed tuple itself does not have a composite representation.  Many
266 of the primitive operations listed in <literal>primops.txt.pp</literal> return unboxed
267 tuples.
268 In particular, the <literal>IO</literal> and <literal>ST</literal> monads use unboxed
269 tuples to avoid unnecessary allocation during sequences of operations.
270 </para>
271
272 <para>
273 There are some pretty stringent restrictions on the use of unboxed tuples:
274 <itemizedlist>
275 <listitem>
276
277 <para>
278 Values of unboxed tuple types are subject to the same restrictions as
279 other unboxed types; i.e. they may not be stored in polymorphic data
280 structures or passed to polymorphic functions.
281
282 </para>
283 </listitem>
284 <listitem>
285
286 <para>
287 No variable can have an unboxed tuple type, nor may a constructor or function
288 argument have an unboxed tuple type.  The following are all illegal:
289
290
291 <programlisting>
292   data Foo = Foo (# Int, Int #)
293
294   f :: (# Int, Int #) -&#62; (# Int, Int #)
295   f x = x
296
297   g :: (# Int, Int #) -&#62; Int
298   g (# a,b #) = a
299
300   h x = let y = (# x,x #) in ...
301 </programlisting>
302 </para>
303 </listitem>
304 </itemizedlist>
305 </para>
306 <para>
307 The typical use of unboxed tuples is simply to return multiple values,
308 binding those multiple results with a <literal>case</literal> expression, thus:
309 <programlisting>
310   f x y = (# x+1, y-1 #)
311   g x = case f x x of { (# a, b #) -&#62; a + b }
312 </programlisting>
313 You can have an unboxed tuple in a pattern binding, thus
314 <programlisting>
315   f x = let (# p,q #) = h x in ..body..
316 </programlisting>
317 If the types of <literal>p</literal> and <literal>q</literal> are not unboxed,
318 the resulting binding is lazy like any other Haskell pattern binding.  The 
319 above example desugars like this:
320 <programlisting>
321   f x = let t = case h x o f{ (# p,q #) -> (p,q)
322             p = fst t
323             q = snd t
324         in ..body..
325 </programlisting>
326 Indeed, the bindings can even be recursive.
327 </para>
328
329 </sect2>
330 </sect1>
331
332
333 <!-- ====================== SYNTACTIC EXTENSIONS =======================  -->
334
335 <sect1 id="syntax-extns">
336 <title>Syntactic extensions</title>
337  
338     <sect2 id="magic-hash">
339       <title>The magic hash</title>
340       <para>The language extension <option>-XMagicHash</option> allows "&num;" as a
341         postfix modifier to identifiers.  Thus, "x&num;" is a valid variable, and "T&num;" is
342         a valid type constructor or data constructor.</para>
343
344       <para>The hash sign does not change sematics at all.  We tend to use variable
345         names ending in "&num;" for unboxed values or types (e.g. <literal>Int&num;</literal>), 
346         but there is no requirement to do so; they are just plain ordinary variables.
347         Nor does the <option>-XMagicHash</option> extension bring anything into scope.
348         For example, to bring <literal>Int&num;</literal> into scope you must 
349         import <literal>GHC.Prim</literal> (see <xref linkend="primitives"/>); 
350         the <option>-XMagicHash</option> extension
351         then allows you to <emphasis>refer</emphasis> to the <literal>Int&num;</literal>
352         that is now in scope.</para>
353       <para> The <option>-XMagicHash</option> also enables some new forms of literals (see <xref linkend="glasgow-unboxed"/>):
354         <itemizedlist> 
355           <listitem><para> <literal>'x'&num;</literal> has type <literal>Char&num;</literal></para> </listitem>
356           <listitem><para> <literal>&quot;foo&quot;&num;</literal> has type <literal>Addr&num;</literal></para> </listitem>
357           <listitem><para> <literal>3&num;</literal> has type <literal>Int&num;</literal>. In general,
358           any Haskell 98 integer lexeme followed by a <literal>&num;</literal> is an <literal>Int&num;</literal> literal, e.g.
359             <literal>-0x3A&num;</literal> as well as <literal>32&num;</literal></para>.</listitem>
360           <listitem><para> <literal>3&num;&num;</literal> has type <literal>Word&num;</literal>. In general,
361           any non-negative Haskell 98 integer lexeme followed by <literal>&num;&num;</literal> 
362               is a <literal>Word&num;</literal>. </para> </listitem>
363           <listitem><para> <literal>3.2&num;</literal> has type <literal>Float&num;</literal>.</para> </listitem>
364           <listitem><para> <literal>3.2&num;&num;</literal> has type <literal>Double&num;</literal></para> </listitem>
365           </itemizedlist>
366       </para>
367    </sect2>
368
369     <sect2 id="new-qualified-operators">
370       <title>New qualified operator syntax</title>
371
372       <para>A new syntax for referencing qualified operators is
373         planned to be introduced by Haskell', and is enabled in GHC
374         with
375         the <option>-XNewQualifiedOperators</option><indexterm><primary><option>-XNewQualifiedOperators</option></primary></indexterm>
376         option.  In the new syntax, the prefix form of a qualified
377         operator is
378         written <literal><replaceable>module</replaceable>.(<replaceable>symbol</replaceable>)</literal>
379         (in Haskell 98 this would
380         be <literal>(<replaceable>module</replaceable>.<replaceable>symbol</replaceable>)</literal>),
381         and the infix form is
382         written <literal>`<replaceable>module</replaceable>.(<replaceable>symbol</replaceable>)`</literal>
383         (in Haskell 98 this would
384         be <literal>`<replaceable>module</replaceable>.<replaceable>symbol</replaceable>`</literal>.
385         For example:
386 <programlisting>
387   add x y = Prelude.(+) x y
388   subtract y = (`Prelude.(-)` y)
389 </programlisting>
390         The new form of qualified operators is intended to regularise
391         the syntax by eliminating odd cases
392         like <literal>Prelude..</literal>.  For example,
393         when <literal>NewQualifiedOperators</literal> is on, it is possible to
394         write the enerated sequence <literal>[Monday..]</literal>
395         without spaces, whereas in Haskell 98 this would be a
396         reference to the operator &lsquo;<literal>.</literal>&lsquo;
397         from module <literal>Monday</literal>.</para>
398
399       <para>When <option>-XNewQualifiedOperators</option> is on, the old Haskell
400         98 syntax for qualified operators is not accepted, so this
401         option may cause existing Haskell 98 code to break.</para>
402
403     </sect2>
404         
405
406     <!-- ====================== HIERARCHICAL MODULES =======================  -->
407
408
409     <sect2 id="hierarchical-modules">
410       <title>Hierarchical Modules</title>
411
412       <para>GHC supports a small extension to the syntax of module
413       names: a module name is allowed to contain a dot
414       <literal>&lsquo;.&rsquo;</literal>.  This is also known as the
415       &ldquo;hierarchical module namespace&rdquo; extension, because
416       it extends the normally flat Haskell module namespace into a
417       more flexible hierarchy of modules.</para>
418
419       <para>This extension has very little impact on the language
420       itself; modules names are <emphasis>always</emphasis> fully
421       qualified, so you can just think of the fully qualified module
422       name as <quote>the module name</quote>.  In particular, this
423       means that the full module name must be given after the
424       <literal>module</literal> keyword at the beginning of the
425       module; for example, the module <literal>A.B.C</literal> must
426       begin</para>
427
428 <programlisting>module A.B.C</programlisting>
429
430
431       <para>It is a common strategy to use the <literal>as</literal>
432       keyword to save some typing when using qualified names with
433       hierarchical modules.  For example:</para>
434
435 <programlisting>
436 import qualified Control.Monad.ST.Strict as ST
437 </programlisting>
438
439       <para>For details on how GHC searches for source and interface
440       files in the presence of hierarchical modules, see <xref
441       linkend="search-path"/>.</para>
442
443       <para>GHC comes with a large collection of libraries arranged
444       hierarchically; see the accompanying <ulink
445       url="../libraries/index.html">library
446       documentation</ulink>.  More libraries to install are available
447       from <ulink
448       url="http://hackage.haskell.org/packages/hackage.html">HackageDB</ulink>.</para>
449     </sect2>
450
451     <!-- ====================== PATTERN GUARDS =======================  -->
452
453 <sect2 id="pattern-guards">
454 <title>Pattern guards</title>
455
456 <para>
457 <indexterm><primary>Pattern guards (Glasgow extension)</primary></indexterm>
458 The discussion that follows is an abbreviated version of Simon Peyton Jones's original <ulink url="http://research.microsoft.com/~simonpj/Haskell/guards.html">proposal</ulink>. (Note that the proposal was written before pattern guards were implemented, so refers to them as unimplemented.)
459 </para>
460
461 <para>
462 Suppose we have an abstract data type of finite maps, with a
463 lookup operation:
464
465 <programlisting>
466 lookup :: FiniteMap -> Int -> Maybe Int
467 </programlisting>
468
469 The lookup returns <function>Nothing</function> if the supplied key is not in the domain of the mapping, and <function>(Just v)</function> otherwise,
470 where <varname>v</varname> is the value that the key maps to.  Now consider the following definition:
471 </para>
472
473 <programlisting>
474 clunky env var1 var2 | ok1 &amp;&amp; ok2 = val1 + val2
475 | otherwise  = var1 + var2
476 where
477   m1 = lookup env var1
478   m2 = lookup env var2
479   ok1 = maybeToBool m1
480   ok2 = maybeToBool m2
481   val1 = expectJust m1
482   val2 = expectJust m2
483 </programlisting>
484
485 <para>
486 The auxiliary functions are 
487 </para>
488
489 <programlisting>
490 maybeToBool :: Maybe a -&gt; Bool
491 maybeToBool (Just x) = True
492 maybeToBool Nothing  = False
493
494 expectJust :: Maybe a -&gt; a
495 expectJust (Just x) = x
496 expectJust Nothing  = error "Unexpected Nothing"
497 </programlisting>
498
499 <para>
500 What is <function>clunky</function> doing? The guard <literal>ok1 &amp;&amp;
501 ok2</literal> checks that both lookups succeed, using
502 <function>maybeToBool</function> to convert the <function>Maybe</function>
503 types to booleans. The (lazily evaluated) <function>expectJust</function>
504 calls extract the values from the results of the lookups, and binds the
505 returned values to <varname>val1</varname> and <varname>val2</varname>
506 respectively.  If either lookup fails, then clunky takes the
507 <literal>otherwise</literal> case and returns the sum of its arguments.
508 </para>
509
510 <para>
511 This is certainly legal Haskell, but it is a tremendously verbose and
512 un-obvious way to achieve the desired effect.  Arguably, a more direct way
513 to write clunky would be to use case expressions:
514 </para>
515
516 <programlisting>
517 clunky env var1 var2 = case lookup env var1 of
518   Nothing -&gt; fail
519   Just val1 -&gt; case lookup env var2 of
520     Nothing -&gt; fail
521     Just val2 -&gt; val1 + val2
522 where
523   fail = var1 + var2
524 </programlisting>
525
526 <para>
527 This is a bit shorter, but hardly better.  Of course, we can rewrite any set
528 of pattern-matching, guarded equations as case expressions; that is
529 precisely what the compiler does when compiling equations! The reason that
530 Haskell provides guarded equations is because they allow us to write down
531 the cases we want to consider, one at a time, independently of each other. 
532 This structure is hidden in the case version.  Two of the right-hand sides
533 are really the same (<function>fail</function>), and the whole expression
534 tends to become more and more indented. 
535 </para>
536
537 <para>
538 Here is how I would write clunky:
539 </para>
540
541 <programlisting>
542 clunky env var1 var2
543   | Just val1 &lt;- lookup env var1
544   , Just val2 &lt;- lookup env var2
545   = val1 + val2
546 ...other equations for clunky...
547 </programlisting>
548
549 <para>
550 The semantics should be clear enough.  The qualifiers are matched in order. 
551 For a <literal>&lt;-</literal> qualifier, which I call a pattern guard, the
552 right hand side is evaluated and matched against the pattern on the left. 
553 If the match fails then the whole guard fails and the next equation is
554 tried.  If it succeeds, then the appropriate binding takes place, and the
555 next qualifier is matched, in the augmented environment.  Unlike list
556 comprehensions, however, the type of the expression to the right of the
557 <literal>&lt;-</literal> is the same as the type of the pattern to its
558 left.  The bindings introduced by pattern guards scope over all the
559 remaining guard qualifiers, and over the right hand side of the equation.
560 </para>
561
562 <para>
563 Just as with list comprehensions, boolean expressions can be freely mixed
564 with among the pattern guards.  For example:
565 </para>
566
567 <programlisting>
568 f x | [y] &lt;- x
569     , y > 3
570     , Just z &lt;- h y
571     = ...
572 </programlisting>
573
574 <para>
575 Haskell's current guards therefore emerge as a special case, in which the
576 qualifier list has just one element, a boolean expression.
577 </para>
578 </sect2>
579
580     <!-- ===================== View patterns ===================  -->
581
582 <sect2 id="view-patterns">
583 <title>View patterns
584 </title>
585
586 <para>
587 View patterns are enabled by the flag <literal>-XViewPatterns</literal>.
588 More information and examples of view patterns can be found on the
589 <ulink url="http://hackage.haskell.org/trac/ghc/wiki/ViewPatterns">Wiki
590 page</ulink>.
591 </para>
592
593 <para>
594 View patterns are somewhat like pattern guards that can be nested inside
595 of other patterns.  They are a convenient way of pattern-matching
596 against values of abstract types. For example, in a programming language
597 implementation, we might represent the syntax of the types of the
598 language as follows:
599
600 <programlisting>
601 type Typ
602  
603 data TypView = Unit
604              | Arrow Typ Typ
605
606 view :: Type -> TypeView
607
608 -- additional operations for constructing Typ's ...
609 </programlisting>
610
611 The representation of Typ is held abstract, permitting implementations
612 to use a fancy representation (e.g., hash-consing to manage sharing).
613
614 Without view patterns, using this signature a little inconvenient: 
615 <programlisting>
616 size :: Typ -> Integer
617 size t = case view t of
618   Unit -> 1
619   Arrow t1 t2 -> size t1 + size t2
620 </programlisting>
621
622 It is necessary to iterate the case, rather than using an equational
623 function definition. And the situation is even worse when the matching
624 against <literal>t</literal> is buried deep inside another pattern.
625 </para>
626
627 <para>
628 View patterns permit calling the view function inside the pattern and
629 matching against the result: 
630 <programlisting>
631 size (view -> Unit) = 1
632 size (view -> Arrow t1 t2) = size t1 + size t2
633 </programlisting>
634
635 That is, we add a new form of pattern, written
636 <replaceable>expression</replaceable> <literal>-></literal>
637 <replaceable>pattern</replaceable> that means "apply the expression to
638 whatever we're trying to match against, and then match the result of
639 that application against the pattern". The expression can be any Haskell
640 expression of function type, and view patterns can be used wherever
641 patterns are used.
642 </para>
643
644 <para>
645 The semantics of a pattern <literal>(</literal>
646 <replaceable>exp</replaceable> <literal>-></literal>
647 <replaceable>pat</replaceable> <literal>)</literal> are as follows:
648
649 <itemizedlist>
650
651 <listitem> Scoping:
652
653 <para>The variables bound by the view pattern are the variables bound by
654 <replaceable>pat</replaceable>.
655 </para>
656
657 <para>
658 Any variables in <replaceable>exp</replaceable> are bound occurrences,
659 but variables bound "to the left" in a pattern are in scope.  This
660 feature permits, for example, one argument to a function to be used in
661 the view of another argument.  For example, the function
662 <literal>clunky</literal> from <xref linkend="pattern-guards" /> can be
663 written using view patterns as follows:
664
665 <programlisting>
666 clunky env (lookup env -> Just val1) (lookup env -> Just val2) = val1 + val2
667 ...other equations for clunky...
668 </programlisting>
669 </para>
670
671 <para>
672 More precisely, the scoping rules are: 
673 <itemizedlist>
674 <listitem>
675 <para>
676 In a single pattern, variables bound by patterns to the left of a view
677 pattern expression are in scope. For example:
678 <programlisting>
679 example :: Maybe ((String -> Integer,Integer), String) -> Bool
680 example Just ((f,_), f -> 4) = True
681 </programlisting>
682
683 Additionally, in function definitions, variables bound by matching earlier curried
684 arguments may be used in view pattern expressions in later arguments:
685 <programlisting>
686 example :: (String -> Integer) -> String -> Bool
687 example f (f -> 4) = True
688 </programlisting>
689 That is, the scoping is the same as it would be if the curried arguments
690 were collected into a tuple.  
691 </para>
692 </listitem>
693
694 <listitem>
695 <para>
696 In mutually recursive bindings, such as <literal>let</literal>,
697 <literal>where</literal>, or the top level, view patterns in one
698 declaration may not mention variables bound by other declarations.  That
699 is, each declaration must be self-contained.  For example, the following
700 program is not allowed:
701 <programlisting>
702 let {(x -> y) = e1 ;
703      (y -> x) = e2 } in x
704 </programlisting>
705
706 (We may lift this
707 restriction in the future; the only cost is that type checking patterns
708 would get a little more complicated.)  
709
710
711 </para>
712 </listitem>
713 </itemizedlist>
714
715 </para>
716 </listitem>
717
718 <listitem><para> Typing: If <replaceable>exp</replaceable> has type
719 <replaceable>T1</replaceable> <literal>-></literal>
720 <replaceable>T2</replaceable> and <replaceable>pat</replaceable> matches
721 a <replaceable>T2</replaceable>, then the whole view pattern matches a
722 <replaceable>T1</replaceable>.
723 </para></listitem>
724
725 <listitem><para> Matching: To the equations in Section 3.17.3 of the
726 <ulink url="http://www.haskell.org/onlinereport/">Haskell 98
727 Report</ulink>, add the following:
728 <programlisting>
729 case v of { (e -> p) -> e1 ; _ -> e2 } 
730  = 
731 case (e v) of { p -> e1 ; _ -> e2 }
732 </programlisting>
733 That is, to match a variable <replaceable>v</replaceable> against a pattern
734 <literal>(</literal> <replaceable>exp</replaceable>
735 <literal>-></literal> <replaceable>pat</replaceable>
736 <literal>)</literal>, evaluate <literal>(</literal>
737 <replaceable>exp</replaceable> <replaceable> v</replaceable>
738 <literal>)</literal> and match the result against
739 <replaceable>pat</replaceable>.  
740 </para></listitem>
741
742 <listitem><para> Efficiency: When the same view function is applied in
743 multiple branches of a function definition or a case expression (e.g.,
744 in <literal>size</literal> above), GHC makes an attempt to collect these
745 applications into a single nested case expression, so that the view
746 function is only applied once.  Pattern compilation in GHC follows the
747 matrix algorithm described in Chapter 4 of <ulink
748 url="http://research.microsoft.com/~simonpj/Papers/slpj-book-1987/">The
749 Implementation of Functional Programming Languages</ulink>.  When the
750 top rows of the first column of a matrix are all view patterns with the
751 "same" expression, these patterns are transformed into a single nested
752 case.  This includes, for example, adjacent view patterns that line up
753 in a tuple, as in
754 <programlisting>
755 f ((view -> A, p1), p2) = e1
756 f ((view -> B, p3), p4) = e2
757 </programlisting>
758 </para>
759
760 <para> The current notion of when two view pattern expressions are "the
761 same" is very restricted: it is not even full syntactic equality.
762 However, it does include variables, literals, applications, and tuples;
763 e.g., two instances of <literal>view ("hi", "there")</literal> will be
764 collected.  However, the current implementation does not compare up to
765 alpha-equivalence, so two instances of <literal>(x, view x ->
766 y)</literal> will not be coalesced.
767 </para>
768
769 </listitem>
770
771 </itemizedlist>
772 </para>
773
774 </sect2>
775
776     <!-- ===================== Recursive do-notation ===================  -->
777
778 <sect2 id="mdo-notation">
779 <title>The recursive do-notation
780 </title>
781
782 <para> The recursive do-notation (also known as mdo-notation) is implemented as described in
783 <ulink url="http://citeseer.ist.psu.edu/erk02recursive.html">A recursive do for Haskell</ulink>,
784 by Levent Erkok, John Launchbury,
785 Haskell Workshop 2002, pages: 29-37. Pittsburgh, Pennsylvania. 
786 This paper is essential reading for anyone making non-trivial use of mdo-notation,
787 and we do not repeat it here.
788 </para>
789 <para>
790 The do-notation of Haskell does not allow <emphasis>recursive bindings</emphasis>,
791 that is, the variables bound in a do-expression are visible only in the textually following 
792 code block. Compare this to a let-expression, where bound variables are visible in the entire binding
793 group. It turns out that several applications can benefit from recursive bindings in
794 the do-notation, and this extension provides the necessary syntactic support.
795 </para>
796 <para>
797 Here is a simple (yet contrived) example:
798 </para>
799 <programlisting>
800 import Control.Monad.Fix
801
802 justOnes = mdo xs &lt;- Just (1:xs)
803                return xs
804 </programlisting>
805 <para>
806 As you can guess <literal>justOnes</literal> will evaluate to <literal>Just [1,1,1,...</literal>.
807 </para>
808
809 <para>
810 The Control.Monad.Fix library introduces the <literal>MonadFix</literal> class. It's definition is:
811 </para>
812 <programlisting>
813 class Monad m => MonadFix m where
814    mfix :: (a -> m a) -> m a
815 </programlisting>
816 <para>
817 The function <literal>mfix</literal>
818 dictates how the required recursion operation should be performed.  For example, 
819 <literal>justOnes</literal> desugars as follows:
820 <programlisting>
821 justOnes = mfix (\xs' -&gt; do { xs &lt;- Just (1:xs'); return xs }
822 </programlisting>
823 For full details of the way in which mdo is typechecked and desugared, see 
824 the paper <ulink url="http://citeseer.ist.psu.edu/erk02recursive.html">A recursive do for Haskell</ulink>.
825 In particular, GHC implements the segmentation technique described in Section 3.2 of the paper.
826 </para>
827 <para>
828 If recursive bindings are required for a monad,
829 then that monad must be declared an instance of the <literal>MonadFix</literal> class.
830 The following instances of <literal>MonadFix</literal> are automatically provided: List, Maybe, IO. 
831 Furthermore, the Control.Monad.ST and Control.Monad.ST.Lazy modules provide the instances of the MonadFix class 
832 for Haskell's internal state monad (strict and lazy, respectively).
833 </para>
834 <para>
835 Here are some important points in using the recursive-do notation:
836 <itemizedlist>
837 <listitem><para>
838 The recursive version of the do-notation uses the keyword <literal>mdo</literal> (rather
839 than <literal>do</literal>).
840 </para></listitem>
841
842 <listitem><para>
843 It is enabled with the flag <literal>-XRecursiveDo</literal>, which is in turn implied by
844 <literal>-fglasgow-exts</literal>.
845 </para></listitem>
846
847 <listitem><para>
848 Unlike ordinary do-notation, but like <literal>let</literal> and <literal>where</literal> bindings,
849 name shadowing is not allowed; that is, all the names bound in a single <literal>mdo</literal> must
850 be distinct (Section 3.3 of the paper).
851 </para></listitem>
852
853 <listitem><para>
854 Variables bound by a <literal>let</literal> statement in an <literal>mdo</literal>
855 are monomorphic in the <literal>mdo</literal> (Section 3.1 of the paper).  However
856 GHC breaks the <literal>mdo</literal> into segments to enhance polymorphism,
857 and improve termination (Section 3.2 of the paper).
858 </para></listitem>
859 </itemizedlist>
860 </para>
861
862 <para>
863 Historical note: The old implementation of the mdo-notation (and most
864 of the existing documents) used the name
865 <literal>MonadRec</literal> for the class and the corresponding library.
866 This name is not supported by GHC.
867 </para>
868
869 </sect2>
870
871
872    <!-- ===================== PARALLEL LIST COMPREHENSIONS ===================  -->
873
874   <sect2 id="parallel-list-comprehensions">
875     <title>Parallel List Comprehensions</title>
876     <indexterm><primary>list comprehensions</primary><secondary>parallel</secondary>
877     </indexterm>
878     <indexterm><primary>parallel list comprehensions</primary>
879     </indexterm>
880
881     <para>Parallel list comprehensions are a natural extension to list
882     comprehensions.  List comprehensions can be thought of as a nice
883     syntax for writing maps and filters.  Parallel comprehensions
884     extend this to include the zipWith family.</para>
885
886     <para>A parallel list comprehension has multiple independent
887     branches of qualifier lists, each separated by a `|' symbol.  For
888     example, the following zips together two lists:</para>
889
890 <programlisting>
891    [ (x, y) | x &lt;- xs | y &lt;- ys ] 
892 </programlisting>
893
894     <para>The behavior of parallel list comprehensions follows that of
895     zip, in that the resulting list will have the same length as the
896     shortest branch.</para>
897
898     <para>We can define parallel list comprehensions by translation to
899     regular comprehensions.  Here's the basic idea:</para>
900
901     <para>Given a parallel comprehension of the form: </para>
902
903 <programlisting>
904    [ e | p1 &lt;- e11, p2 &lt;- e12, ... 
905        | q1 &lt;- e21, q2 &lt;- e22, ... 
906        ... 
907    ] 
908 </programlisting>
909
910     <para>This will be translated to: </para>
911
912 <programlisting>
913    [ e | ((p1,p2), (q1,q2), ...) &lt;- zipN [(p1,p2) | p1 &lt;- e11, p2 &lt;- e12, ...] 
914                                          [(q1,q2) | q1 &lt;- e21, q2 &lt;- e22, ...] 
915                                          ... 
916    ] 
917 </programlisting>
918
919     <para>where `zipN' is the appropriate zip for the given number of
920     branches.</para>
921
922   </sect2>
923   
924   <!-- ===================== TRANSFORM LIST COMPREHENSIONS ===================  -->
925
926   <sect2 id="generalised-list-comprehensions">
927     <title>Generalised (SQL-Like) List Comprehensions</title>
928     <indexterm><primary>list comprehensions</primary><secondary>generalised</secondary>
929     </indexterm>
930     <indexterm><primary>extended list comprehensions</primary>
931     </indexterm>
932     <indexterm><primary>group</primary></indexterm>
933     <indexterm><primary>sql</primary></indexterm>
934
935
936     <para>Generalised list comprehensions are a further enhancement to the
937     list comprehension syntatic sugar to allow operations such as sorting
938     and grouping which are familiar from SQL.   They are fully described in the
939         paper <ulink url="http://research.microsoft.com/~simonpj/papers/list-comp">
940           Comprehensive comprehensions: comprehensions with "order by" and "group by"</ulink>,
941     except that the syntax we use differs slightly from the paper.</para>
942 <para>Here is an example: 
943 <programlisting>
944 employees = [ ("Simon", "MS", 80)
945 , ("Erik", "MS", 100)
946 , ("Phil", "Ed", 40)
947 , ("Gordon", "Ed", 45)
948 , ("Paul", "Yale", 60)]
949
950 output = [ (the dept, sum salary)
951 | (name, dept, salary) &lt;- employees
952 , then group by dept
953 , then sortWith by (sum salary)
954 , then take 5 ]
955 </programlisting>
956 In this example, the list <literal>output</literal> would take on 
957     the value:
958     
959 <programlisting>
960 [("Yale", 60), ("Ed", 85), ("MS", 180)]
961 </programlisting>
962 </para>
963 <para>There are three new keywords: <literal>group</literal>, <literal>by</literal>, and <literal>using</literal>.
964 (The function <literal>sortWith</literal> is not a keyword; it is an ordinary
965 function that is exported by <literal>GHC.Exts</literal>.)</para>
966
967 <para>There are five new forms of comprehension qualifier,
968 all introduced by the (existing) keyword <literal>then</literal>:
969     <itemizedlist>
970     <listitem>
971     
972 <programlisting>
973 then f
974 </programlisting>
975
976     This statement requires that <literal>f</literal> have the type <literal>
977     forall a. [a] -> [a]</literal>. You can see an example of it's use in the
978     motivating example, as this form is used to apply <literal>take 5</literal>.
979     
980     </listitem>
981     
982     
983     <listitem>
984 <para>
985 <programlisting>
986 then f by e
987 </programlisting>
988
989     This form is similar to the previous one, but allows you to create a function
990     which will be passed as the first argument to f. As a consequence f must have 
991     the type <literal>forall a. (a -> t) -> [a] -> [a]</literal>. As you can see
992     from the type, this function lets f &quot;project out&quot; some information 
993     from the elements of the list it is transforming.</para>
994
995     <para>An example is shown in the opening example, where <literal>sortWith</literal> 
996     is supplied with a function that lets it find out the <literal>sum salary</literal> 
997     for any item in the list comprehension it transforms.</para>
998
999     </listitem>
1000
1001
1002     <listitem>
1003
1004 <programlisting>
1005 then group by e using f
1006 </programlisting>
1007
1008     <para>This is the most general of the grouping-type statements. In this form,
1009     f is required to have type <literal>forall a. (a -> t) -> [a] -> [[a]]</literal>.
1010     As with the <literal>then f by e</literal> case above, the first argument
1011     is a function supplied to f by the compiler which lets it compute e on every
1012     element of the list being transformed. However, unlike the non-grouping case,
1013     f additionally partitions the list into a number of sublists: this means that
1014     at every point after this statement, binders occurring before it in the comprehension
1015     refer to <emphasis>lists</emphasis> of possible values, not single values. To help understand
1016     this, let's look at an example:</para>
1017     
1018 <programlisting>
1019 -- This works similarly to groupWith in GHC.Exts, but doesn't sort its input first
1020 groupRuns :: Eq b => (a -> b) -> [a] -> [[a]]
1021 groupRuns f = groupBy (\x y -> f x == f y)
1022
1023 output = [ (the x, y)
1024 | x &lt;- ([1..3] ++ [1..2])
1025 , y &lt;- [4..6]
1026 , then group by x using groupRuns ]
1027 </programlisting>
1028
1029     <para>This results in the variable <literal>output</literal> taking on the value below:</para>
1030
1031 <programlisting>
1032 [(1, [4, 5, 6]), (2, [4, 5, 6]), (3, [4, 5, 6]), (1, [4, 5, 6]), (2, [4, 5, 6])]
1033 </programlisting>
1034
1035     <para>Note that we have used the <literal>the</literal> function to change the type 
1036     of x from a list to its original numeric type. The variable y, in contrast, is left 
1037     unchanged from the list form introduced by the grouping.</para>
1038
1039     </listitem>
1040
1041     <listitem>
1042
1043 <programlisting>
1044 then group by e
1045 </programlisting>
1046
1047     <para>This form of grouping is essentially the same as the one described above. However,
1048     since no function to use for the grouping has been supplied it will fall back on the
1049     <literal>groupWith</literal> function defined in 
1050     <ulink url="../libraries/base/GHC-Exts.html"><literal>GHC.Exts</literal></ulink>. This
1051     is the form of the group statement that we made use of in the opening example.</para>
1052
1053     </listitem>
1054     
1055     
1056     <listitem>
1057
1058 <programlisting>
1059 then group using f
1060 </programlisting>
1061
1062     <para>With this form of the group statement, f is required to simply have the type
1063     <literal>forall a. [a] -> [[a]]</literal>, which will be used to group up the
1064     comprehension so far directly. An example of this form is as follows:</para>
1065     
1066 <programlisting>
1067 output = [ x
1068 | y &lt;- [1..5]
1069 , x &lt;- "hello"
1070 , then group using inits]
1071 </programlisting>
1072
1073     <para>This will yield a list containing every prefix of the word "hello" written out 5 times:</para>
1074
1075 <programlisting>
1076 ["","h","he","hel","hell","hello","helloh","hellohe","hellohel","hellohell","hellohello","hellohelloh",...]
1077 </programlisting>
1078
1079     </listitem>
1080 </itemizedlist>
1081 </para>
1082   </sect2>
1083
1084    <!-- ===================== REBINDABLE SYNTAX ===================  -->
1085
1086 <sect2 id="rebindable-syntax">
1087 <title>Rebindable syntax and the implicit Prelude import</title>
1088
1089  <para><indexterm><primary>-XNoImplicitPrelude
1090  option</primary></indexterm> GHC normally imports
1091  <filename>Prelude.hi</filename> files for you.  If you'd
1092  rather it didn't, then give it a
1093  <option>-XNoImplicitPrelude</option> option.  The idea is
1094  that you can then import a Prelude of your own.  (But don't
1095  call it <literal>Prelude</literal>; the Haskell module
1096  namespace is flat, and you must not conflict with any
1097  Prelude module.)</para>
1098
1099             <para>Suppose you are importing a Prelude of your own
1100               in order to define your own numeric class
1101             hierarchy.  It completely defeats that purpose if the
1102             literal "1" means "<literal>Prelude.fromInteger
1103             1</literal>", which is what the Haskell Report specifies.
1104             So the <option>-XNoImplicitPrelude</option> 
1105               flag <emphasis>also</emphasis> causes
1106             the following pieces of built-in syntax to refer to
1107             <emphasis>whatever is in scope</emphasis>, not the Prelude
1108             versions:
1109             <itemizedlist>
1110               <listitem>
1111                 <para>An integer literal <literal>368</literal> means
1112                 "<literal>fromInteger (368::Integer)</literal>", rather than
1113                 "<literal>Prelude.fromInteger (368::Integer)</literal>".
1114 </para> </listitem>         
1115
1116       <listitem><para>Fractional literals are handed in just the same way,
1117           except that the translation is 
1118               <literal>fromRational (3.68::Rational)</literal>.
1119 </para> </listitem>         
1120
1121           <listitem><para>The equality test in an overloaded numeric pattern
1122               uses whatever <literal>(==)</literal> is in scope.
1123 </para> </listitem>         
1124
1125           <listitem><para>The subtraction operation, and the
1126           greater-than-or-equal test, in <literal>n+k</literal> patterns
1127               use whatever <literal>(-)</literal> and <literal>(>=)</literal> are in scope.
1128               </para></listitem>
1129
1130               <listitem>
1131                 <para>Negation (e.g. "<literal>- (f x)</literal>")
1132                 means "<literal>negate (f x)</literal>", both in numeric
1133                 patterns, and expressions.
1134               </para></listitem>
1135
1136               <listitem>
1137           <para>"Do" notation is translated using whatever
1138               functions <literal>(>>=)</literal>,
1139               <literal>(>>)</literal>, and <literal>fail</literal>,
1140               are in scope (not the Prelude
1141               versions).  List comprehensions, mdo (<xref linkend="mdo-notation"/>), and parallel array
1142               comprehensions, are unaffected.  </para></listitem>
1143
1144               <listitem>
1145                 <para>Arrow
1146                 notation (see <xref linkend="arrow-notation"/>)
1147                 uses whatever <literal>arr</literal>,
1148                 <literal>(>>>)</literal>, <literal>first</literal>,
1149                 <literal>app</literal>, <literal>(|||)</literal> and
1150                 <literal>loop</literal> functions are in scope. But unlike the
1151                 other constructs, the types of these functions must match the
1152                 Prelude types very closely.  Details are in flux; if you want
1153                 to use this, ask!
1154               </para></listitem>
1155             </itemizedlist>
1156 In all cases (apart from arrow notation), the static semantics should be that of the desugared form,
1157 even if that is a little unexpected. For example, the 
1158 static semantics of the literal <literal>368</literal>
1159 is exactly that of <literal>fromInteger (368::Integer)</literal>; it's fine for
1160 <literal>fromInteger</literal> to have any of the types:
1161 <programlisting>
1162 fromInteger :: Integer -> Integer
1163 fromInteger :: forall a. Foo a => Integer -> a
1164 fromInteger :: Num a => a -> Integer
1165 fromInteger :: Integer -> Bool -> Bool
1166 </programlisting>
1167 </para>
1168                 
1169              <para>Be warned: this is an experimental facility, with
1170              fewer checks than usual.  Use <literal>-dcore-lint</literal>
1171              to typecheck the desugared program.  If Core Lint is happy
1172              you should be all right.</para>
1173
1174 </sect2>
1175
1176 <sect2 id="postfix-operators">
1177 <title>Postfix operators</title>
1178
1179 <para>
1180   The <option>-XPostfixOperators</option> flag enables a small
1181 extension to the syntax of left operator sections, which allows you to
1182 define postfix operators.  The extension is this: the left section
1183 <programlisting>
1184   (e !)
1185 </programlisting>
1186 is equivalent (from the point of view of both type checking and execution) to the expression
1187 <programlisting>
1188   ((!) e)
1189 </programlisting>
1190 (for any expression <literal>e</literal> and operator <literal>(!)</literal>.
1191 The strict Haskell 98 interpretation is that the section is equivalent to
1192 <programlisting>
1193   (\y -> (!) e y)
1194 </programlisting>
1195 That is, the operator must be a function of two arguments.  GHC allows it to
1196 take only one argument, and that in turn allows you to write the function
1197 postfix.
1198 </para>
1199 <para>The extension does not extend to the left-hand side of function
1200 definitions; you must define such a function in prefix form.</para>
1201
1202 </sect2>
1203
1204 <sect2 id="disambiguate-fields">
1205 <title>Record field disambiguation</title>
1206 <para>
1207 In record construction and record pattern matching
1208 it is entirely unambiguous which field is referred to, even if there are two different
1209 data types in scope with a common field name.  For example:
1210 <programlisting>
1211 module M where
1212   data S = MkS { x :: Int, y :: Bool }
1213
1214 module Foo where
1215   import M
1216
1217   data T = MkT { x :: Int }
1218   
1219   ok1 (MkS { x = n }) = n+1   -- Unambiguous
1220
1221   ok2 n = MkT { x = n+1 }     -- Unambiguous
1222
1223   bad1 k = k { x = 3 }  -- Ambiguous
1224   bad2 k = x k          -- Ambiguous
1225 </programlisting>
1226 Even though there are two <literal>x</literal>'s in scope,
1227 it is clear that the <literal>x</literal> in the pattern in the
1228 definition of <literal>ok1</literal> can only mean the field
1229 <literal>x</literal> from type <literal>S</literal>. Similarly for
1230 the function <literal>ok2</literal>.  However, in the record update
1231 in <literal>bad1</literal> and the record selection in <literal>bad2</literal>
1232 it is not clear which of the two types is intended.
1233 </para>
1234 <para>
1235 Haskell 98 regards all four as ambiguous, but with the
1236 <option>-XDisambiguateRecordFields</option> flag, GHC will accept
1237 the former two.  The rules are precisely the same as those for instance
1238 declarations in Haskell 98, where the method names on the left-hand side 
1239 of the method bindings in an instance declaration refer unambiguously
1240 to the method of that class (provided they are in scope at all), even
1241 if there are other variables in scope with the same name.
1242 This reduces the clutter of qualified names when you import two
1243 records from different modules that use the same field name.
1244 </para>
1245 </sect2>
1246
1247     <!-- ===================== Record puns ===================  -->
1248
1249 <sect2 id="record-puns">
1250 <title>Record puns
1251 </title>
1252
1253 <para>
1254 Record puns are enabled by the flag <literal>-XNamedFieldPuns</literal>.
1255 </para>
1256
1257 <para>
1258 When using records, it is common to write a pattern that binds a
1259 variable with the same name as a record field, such as:
1260
1261 <programlisting>
1262 data C = C {a :: Int}
1263 f (C {a = a}) = a
1264 </programlisting>
1265 </para>
1266
1267 <para>
1268 Record punning permits the variable name to be elided, so one can simply
1269 write
1270
1271 <programlisting>
1272 f (C {a}) = a
1273 </programlisting>
1274
1275 to mean the same pattern as above.  That is, in a record pattern, the
1276 pattern <literal>a</literal> expands into the pattern <literal>a =
1277 a</literal> for the same name <literal>a</literal>.  
1278 </para>
1279
1280 <para>
1281 Note that puns and other patterns can be mixed in the same record:
1282 <programlisting>
1283 data C = C {a :: Int, b :: Int}
1284 f (C {a, b = 4}) = a
1285 </programlisting>
1286 and that puns can be used wherever record patterns occur (e.g. in
1287 <literal>let</literal> bindings or at the top-level).  
1288 </para>
1289
1290 <para>
1291 Record punning can also be used in an expression, writing, for example,
1292 <programlisting>
1293 let a = 1 in C {a}
1294 </programlisting>
1295 instead of 
1296 <programlisting>
1297 let a = 1 in C {a = a}
1298 </programlisting>
1299
1300 Note that this expansion is purely syntactic, so the record pun
1301 expression refers to the nearest enclosing variable that is spelled the
1302 same as the field name.
1303 </para>
1304
1305 </sect2>
1306
1307     <!-- ===================== Record wildcards ===================  -->
1308
1309 <sect2 id="record-wildcards">
1310 <title>Record wildcards
1311 </title>
1312
1313 <para>
1314 Record wildcards are enabled by the flag <literal>-XRecordWildCards</literal>.
1315 </para>
1316
1317 <para>
1318 For records with many fields, it can be tiresome to write out each field
1319 individually in a record pattern, as in
1320 <programlisting>
1321 data C = C {a :: Int, b :: Int, c :: Int, d :: Int}
1322 f (C {a = 1, b = b, c = c, d = d}) = b + c + d
1323 </programlisting>
1324 </para>
1325
1326 <para>
1327 Record wildcard syntax permits a (<literal>..</literal>) in a record
1328 pattern, where each elided field <literal>f</literal> is replaced by the
1329 pattern <literal>f = f</literal>.  For example, the above pattern can be
1330 written as
1331 <programlisting>
1332 f (C {a = 1, ..}) = b + c + d
1333 </programlisting>
1334 </para>
1335
1336 <para>
1337 Note that wildcards can be mixed with other patterns, including puns
1338 (<xref linkend="record-puns"/>); for example, in a pattern <literal>C {a
1339 = 1, b, ..})</literal>.  Additionally, record wildcards can be used
1340 wherever record patterns occur, including in <literal>let</literal>
1341 bindings and at the top-level.  For example, the top-level binding
1342 <programlisting>
1343 C {a = 1, ..} = e
1344 </programlisting>
1345 defines <literal>b</literal>, <literal>c</literal>, and
1346 <literal>d</literal>.
1347 </para>
1348
1349 <para>
1350 Record wildcards can also be used in expressions, writing, for example,
1351
1352 <programlisting>
1353 let {a = 1; b = 2; c = 3; d = 4} in C {..}
1354 </programlisting>
1355
1356 in place of
1357
1358 <programlisting>
1359 let {a = 1; b = 2; c = 3; d = 4} in C {a=a, b=b, c=c, d=d}
1360 </programlisting>
1361
1362 Note that this expansion is purely syntactic, so the record wildcard
1363 expression refers to the nearest enclosing variables that are spelled
1364 the same as the omitted field names.
1365 </para>
1366
1367 </sect2>
1368
1369     <!-- ===================== Local fixity declarations ===================  -->
1370
1371 <sect2 id="local-fixity-declarations">
1372 <title>Local Fixity Declarations
1373 </title>
1374
1375 <para>A careful reading of the Haskell 98 Report reveals that fixity
1376 declarations (<literal>infix</literal>, <literal>infixl</literal>, and
1377 <literal>infixr</literal>) are permitted to appear inside local bindings
1378 such those introduced by <literal>let</literal> and
1379 <literal>where</literal>.  However, the Haskell Report does not specify
1380 the semantics of such bindings very precisely.
1381 </para>
1382
1383 <para>In GHC, a fixity declaration may accompany a local binding:
1384 <programlisting>
1385 let f = ...
1386     infixr 3 `f`
1387 in 
1388     ...
1389 </programlisting>
1390 and the fixity declaration applies wherever the binding is in scope.
1391 For example, in a <literal>let</literal>, it applies in the right-hand
1392 sides of other <literal>let</literal>-bindings and the body of the
1393 <literal>let</literal>C. Or, in recursive <literal>do</literal>
1394 expressions (<xref linkend="mdo-notation"/>), the local fixity
1395 declarations of a <literal>let</literal> statement scope over other
1396 statements in the group, just as the bound name does.
1397 </para>
1398
1399 <para>
1400 Moreover, a local fixity declaration *must* accompany a local binding of
1401 that name: it is not possible to revise the fixity of name bound
1402 elsewhere, as in
1403 <programlisting>
1404 let infixr 9 $ in ...
1405 </programlisting>
1406
1407 Because local fixity declarations are technically Haskell 98, no flag is
1408 necessary to enable them.
1409 </para>
1410 </sect2>
1411
1412 <sect2 id="package-imports">
1413   <title>Package-qualified imports</title>
1414
1415   <para>With the <option>-XPackageImports</option> flag, GHC allows
1416   import declarations to be qualified by the package name that the
1417     module is intended to be imported from.  For example:</para>
1418
1419 <programlisting>
1420 import "network" Network.Socket
1421 </programlisting>
1422   
1423   <para>would import the module <literal>Network.Socket</literal> from
1424     the package <literal>network</literal> (any version).  This may
1425     be used to disambiguate an import when the same module is
1426     available from multiple packages, or is present in both the
1427     current package being built and an external package.</para>
1428
1429   <para>Note: you probably don't need to use this feature, it was
1430     added mainly so that we can build backwards-compatible versions of
1431     packages when APIs change.  It can lead to fragile dependencies in
1432     the common case: modules occasionally move from one package to
1433     another, rendering any package-qualified imports broken.</para>
1434 </sect2>
1435
1436 <sect2 id="syntax-stolen">
1437 <title>Summary of stolen syntax</title>
1438
1439     <para>Turning on an option that enables special syntax
1440     <emphasis>might</emphasis> cause working Haskell 98 code to fail
1441     to compile, perhaps because it uses a variable name which has
1442     become a reserved word.  This section lists the syntax that is
1443     "stolen" by language extensions.
1444      We use
1445     notation and nonterminal names from the Haskell 98 lexical syntax
1446     (see the Haskell 98 Report).  
1447     We only list syntax changes here that might affect
1448     existing working programs (i.e. "stolen" syntax).  Many of these
1449     extensions will also enable new context-free syntax, but in all
1450     cases programs written to use the new syntax would not be
1451     compilable without the option enabled.</para>
1452
1453 <para>There are two classes of special
1454     syntax:
1455
1456     <itemizedlist>
1457       <listitem>
1458         <para>New reserved words and symbols: character sequences
1459         which are no longer available for use as identifiers in the
1460         program.</para>
1461       </listitem>
1462       <listitem>
1463         <para>Other special syntax: sequences of characters that have
1464         a different meaning when this particular option is turned
1465         on.</para>
1466       </listitem>
1467     </itemizedlist>
1468     
1469 The following syntax is stolen:
1470
1471     <variablelist>
1472       <varlistentry>
1473         <term>
1474           <literal>forall</literal>
1475           <indexterm><primary><literal>forall</literal></primary></indexterm>
1476         </term>
1477         <listitem><para>
1478         Stolen (in types) by: <option>-XScopedTypeVariables</option>,
1479             <option>-XLiberalTypeSynonyms</option>,
1480             <option>-XRank2Types</option>,
1481             <option>-XRankNTypes</option>,
1482             <option>-XPolymorphicComponents</option>,
1483             <option>-XExistentialQuantification</option>
1484           </para></listitem>
1485       </varlistentry>
1486
1487       <varlistentry>
1488         <term>
1489           <literal>mdo</literal>
1490           <indexterm><primary><literal>mdo</literal></primary></indexterm>
1491         </term>
1492         <listitem><para>
1493         Stolen by: <option>-XRecursiveDo</option>,
1494           </para></listitem>
1495       </varlistentry>
1496
1497       <varlistentry>
1498         <term>
1499           <literal>foreign</literal>
1500           <indexterm><primary><literal>foreign</literal></primary></indexterm>
1501         </term>
1502         <listitem><para>
1503         Stolen by: <option>-XForeignFunctionInterface</option>,
1504           </para></listitem>
1505       </varlistentry>
1506
1507       <varlistentry>
1508         <term>
1509           <literal>rec</literal>,
1510           <literal>proc</literal>, <literal>-&lt;</literal>,
1511           <literal>&gt;-</literal>, <literal>-&lt;&lt;</literal>,
1512           <literal>&gt;&gt;-</literal>, and <literal>(|</literal>,
1513           <literal>|)</literal> brackets
1514           <indexterm><primary><literal>proc</literal></primary></indexterm>
1515         </term>
1516         <listitem><para>
1517         Stolen by: <option>-XArrows</option>,
1518           </para></listitem>
1519       </varlistentry>
1520
1521       <varlistentry>
1522         <term>
1523           <literal>?<replaceable>varid</replaceable></literal>,
1524           <literal>%<replaceable>varid</replaceable></literal>
1525           <indexterm><primary>implicit parameters</primary></indexterm>
1526         </term>
1527         <listitem><para>
1528         Stolen by: <option>-XImplicitParams</option>,
1529           </para></listitem>
1530       </varlistentry>
1531
1532       <varlistentry>
1533         <term>
1534           <literal>[|</literal>,
1535           <literal>[e|</literal>, <literal>[p|</literal>,
1536           <literal>[d|</literal>, <literal>[t|</literal>,
1537           <literal>$(</literal>,
1538           <literal>$<replaceable>varid</replaceable></literal>
1539           <indexterm><primary>Template Haskell</primary></indexterm>
1540         </term>
1541         <listitem><para>
1542         Stolen by: <option>-XTemplateHaskell</option>,
1543           </para></listitem>
1544       </varlistentry>
1545
1546       <varlistentry>
1547         <term>
1548           <literal>[:<replaceable>varid</replaceable>|</literal>
1549           <indexterm><primary>quasi-quotation</primary></indexterm>
1550         </term>
1551         <listitem><para>
1552         Stolen by: <option>-XQuasiQuotes</option>,
1553           </para></listitem>
1554       </varlistentry>
1555
1556       <varlistentry>
1557         <term>
1558               <replaceable>varid</replaceable>{<literal>&num;</literal>},
1559               <replaceable>char</replaceable><literal>&num;</literal>,      
1560               <replaceable>string</replaceable><literal>&num;</literal>,    
1561               <replaceable>integer</replaceable><literal>&num;</literal>,    
1562               <replaceable>float</replaceable><literal>&num;</literal>,    
1563               <replaceable>float</replaceable><literal>&num;&num;</literal>,    
1564               <literal>(&num;</literal>, <literal>&num;)</literal>,         
1565         </term>
1566         <listitem><para>
1567         Stolen by: <option>-XMagicHash</option>,
1568           </para></listitem>
1569       </varlistentry>
1570     </variablelist>
1571 </para>
1572 </sect2>
1573 </sect1>
1574
1575
1576 <!-- TYPE SYSTEM EXTENSIONS -->
1577 <sect1 id="data-type-extensions">
1578 <title>Extensions to data types and type synonyms</title>
1579
1580 <sect2 id="nullary-types">
1581 <title>Data types with no constructors</title>
1582
1583 <para>With the <option>-fglasgow-exts</option> flag, GHC lets you declare
1584 a data type with no constructors.  For example:</para>
1585
1586 <programlisting>
1587   data S      -- S :: *
1588   data T a    -- T :: * -> *
1589 </programlisting>
1590
1591 <para>Syntactically, the declaration lacks the "= constrs" part.  The 
1592 type can be parameterised over types of any kind, but if the kind is
1593 not <literal>*</literal> then an explicit kind annotation must be used
1594 (see <xref linkend="kinding"/>).</para>
1595
1596 <para>Such data types have only one value, namely bottom.
1597 Nevertheless, they can be useful when defining "phantom types".</para>
1598 </sect2>
1599
1600 <sect2 id="infix-tycons">
1601 <title>Infix type constructors, classes, and type variables</title>
1602
1603 <para>
1604 GHC allows type constructors, classes, and type variables to be operators, and
1605 to be written infix, very much like expressions.  More specifically:
1606 <itemizedlist>
1607 <listitem><para>
1608   A type constructor or class can be an operator, beginning with a colon; e.g. <literal>:*:</literal>.
1609   The lexical syntax is the same as that for data constructors.
1610   </para></listitem>
1611 <listitem><para>
1612   Data type and type-synonym declarations can be written infix, parenthesised
1613   if you want further arguments.  E.g.
1614 <screen>
1615   data a :*: b = Foo a b
1616   type a :+: b = Either a b
1617   class a :=: b where ...
1618
1619   data (a :**: b) x = Baz a b x
1620   type (a :++: b) y = Either (a,b) y
1621 </screen>
1622   </para></listitem>
1623 <listitem><para>
1624   Types, and class constraints, can be written infix.  For example
1625   <screen>
1626         x :: Int :*: Bool
1627         f :: (a :=: b) => a -> b
1628   </screen>
1629   </para></listitem>
1630 <listitem><para>
1631   A type variable can be an (unqualified) operator e.g. <literal>+</literal>.
1632   The lexical syntax is the same as that for variable operators, excluding "(.)",
1633   "(!)", and "(*)".  In a binding position, the operator must be
1634   parenthesised.  For example:
1635 <programlisting>
1636    type T (+) = Int + Int
1637    f :: T Either
1638    f = Left 3
1639  
1640    liftA2 :: Arrow (~>)
1641           => (a -> b -> c) -> (e ~> a) -> (e ~> b) -> (e ~> c)
1642    liftA2 = ...
1643 </programlisting>
1644   </para></listitem>
1645 <listitem><para>
1646   Back-quotes work
1647   as for expressions, both for type constructors and type variables;  e.g. <literal>Int `Either` Bool</literal>, or
1648   <literal>Int `a` Bool</literal>.  Similarly, parentheses work the same; e.g.  <literal>(:*:) Int Bool</literal>.
1649   </para></listitem>
1650 <listitem><para>
1651   Fixities may be declared for type constructors, or classes, just as for data constructors.  However,
1652   one cannot distinguish between the two in a fixity declaration; a fixity declaration
1653   sets the fixity for a data constructor and the corresponding type constructor.  For example:
1654 <screen>
1655   infixl 7 T, :*:
1656 </screen>
1657   sets the fixity for both type constructor <literal>T</literal> and data constructor <literal>T</literal>,
1658   and similarly for <literal>:*:</literal>.
1659   <literal>Int `a` Bool</literal>.
1660   </para></listitem>
1661 <listitem><para>
1662   Function arrow is <literal>infixr</literal> with fixity 0.  (This might change; I'm not sure what it should be.)
1663   </para></listitem>
1664
1665 </itemizedlist>
1666 </para>
1667 </sect2>
1668
1669 <sect2 id="type-synonyms">
1670 <title>Liberalised type synonyms</title>
1671
1672 <para>
1673 Type synonyms are like macros at the type level, but Haskell 98 imposes many rules
1674 on individual synonym declarations.
1675 With the <option>-XLiberalTypeSynonyms</option> extension,
1676 GHC does validity checking on types <emphasis>only after expanding type synonyms</emphasis>.
1677 That means that GHC can be very much more liberal about type synonyms than Haskell 98. 
1678
1679 <itemizedlist>
1680 <listitem> <para>You can write a <literal>forall</literal> (including overloading)
1681 in a type synonym, thus:
1682 <programlisting>
1683   type Discard a = forall b. Show b => a -> b -> (a, String)
1684
1685   f :: Discard a
1686   f x y = (x, show y)
1687
1688   g :: Discard Int -> (Int,String)    -- A rank-2 type
1689   g f = f 3 True
1690 </programlisting>
1691 </para>
1692 </listitem>
1693
1694 <listitem><para>
1695 If you also use <option>-XUnboxedTuples</option>, 
1696 you can write an unboxed tuple in a type synonym:
1697 <programlisting>
1698   type Pr = (# Int, Int #)
1699
1700   h :: Int -> Pr
1701   h x = (# x, x #)
1702 </programlisting>
1703 </para></listitem>
1704
1705 <listitem><para>
1706 You can apply a type synonym to a forall type:
1707 <programlisting>
1708   type Foo a = a -> a -> Bool
1709  
1710   f :: Foo (forall b. b->b)
1711 </programlisting>
1712 After expanding the synonym, <literal>f</literal> has the legal (in GHC) type:
1713 <programlisting>
1714   f :: (forall b. b->b) -> (forall b. b->b) -> Bool
1715 </programlisting>
1716 </para></listitem>
1717
1718 <listitem><para>
1719 You can apply a type synonym to a partially applied type synonym:
1720 <programlisting>
1721   type Generic i o = forall x. i x -> o x
1722   type Id x = x
1723   
1724   foo :: Generic Id []
1725 </programlisting>
1726 After expanding the synonym, <literal>foo</literal> has the legal (in GHC) type:
1727 <programlisting>
1728   foo :: forall x. x -> [x]
1729 </programlisting>
1730 </para></listitem>
1731
1732 </itemizedlist>
1733 </para>
1734
1735 <para>
1736 GHC currently does kind checking before expanding synonyms (though even that
1737 could be changed.)
1738 </para>
1739 <para>
1740 After expanding type synonyms, GHC does validity checking on types, looking for
1741 the following mal-formedness which isn't detected simply by kind checking:
1742 <itemizedlist>
1743 <listitem><para>
1744 Type constructor applied to a type involving for-alls.
1745 </para></listitem>
1746 <listitem><para>
1747 Unboxed tuple on left of an arrow.
1748 </para></listitem>
1749 <listitem><para>
1750 Partially-applied type synonym.
1751 </para></listitem>
1752 </itemizedlist>
1753 So, for example,
1754 this will be rejected:
1755 <programlisting>
1756   type Pr = (# Int, Int #)
1757
1758   h :: Pr -> Int
1759   h x = ...
1760 </programlisting>
1761 because GHC does not allow  unboxed tuples on the left of a function arrow.
1762 </para>
1763 </sect2>
1764
1765
1766 <sect2 id="existential-quantification">
1767 <title>Existentially quantified data constructors
1768 </title>
1769
1770 <para>
1771 The idea of using existential quantification in data type declarations
1772 was suggested by Perry, and implemented in Hope+ (Nigel Perry, <emphasis>The Implementation
1773 of Practical Functional Programming Languages</emphasis>, PhD Thesis, University of
1774 London, 1991). It was later formalised by Laufer and Odersky
1775 (<emphasis>Polymorphic type inference and abstract data types</emphasis>,
1776 TOPLAS, 16(5), pp1411-1430, 1994).
1777 It's been in Lennart
1778 Augustsson's <command>hbc</command> Haskell compiler for several years, and
1779 proved very useful.  Here's the idea.  Consider the declaration:
1780 </para>
1781
1782 <para>
1783
1784 <programlisting>
1785   data Foo = forall a. MkFoo a (a -> Bool)
1786            | Nil
1787 </programlisting>
1788
1789 </para>
1790
1791 <para>
1792 The data type <literal>Foo</literal> has two constructors with types:
1793 </para>
1794
1795 <para>
1796
1797 <programlisting>
1798   MkFoo :: forall a. a -> (a -> Bool) -> Foo
1799   Nil   :: Foo
1800 </programlisting>
1801
1802 </para>
1803
1804 <para>
1805 Notice that the type variable <literal>a</literal> in the type of <function>MkFoo</function>
1806 does not appear in the data type itself, which is plain <literal>Foo</literal>.
1807 For example, the following expression is fine:
1808 </para>
1809
1810 <para>
1811
1812 <programlisting>
1813   [MkFoo 3 even, MkFoo 'c' isUpper] :: [Foo]
1814 </programlisting>
1815
1816 </para>
1817
1818 <para>
1819 Here, <literal>(MkFoo 3 even)</literal> packages an integer with a function
1820 <function>even</function> that maps an integer to <literal>Bool</literal>; and <function>MkFoo 'c'
1821 isUpper</function> packages a character with a compatible function.  These
1822 two things are each of type <literal>Foo</literal> and can be put in a list.
1823 </para>
1824
1825 <para>
1826 What can we do with a value of type <literal>Foo</literal>?.  In particular,
1827 what happens when we pattern-match on <function>MkFoo</function>?
1828 </para>
1829
1830 <para>
1831
1832 <programlisting>
1833   f (MkFoo val fn) = ???
1834 </programlisting>
1835
1836 </para>
1837
1838 <para>
1839 Since all we know about <literal>val</literal> and <function>fn</function> is that they
1840 are compatible, the only (useful) thing we can do with them is to
1841 apply <function>fn</function> to <literal>val</literal> to get a boolean.  For example:
1842 </para>
1843
1844 <para>
1845
1846 <programlisting>
1847   f :: Foo -> Bool
1848   f (MkFoo val fn) = fn val
1849 </programlisting>
1850
1851 </para>
1852
1853 <para>
1854 What this allows us to do is to package heterogeneous values
1855 together with a bunch of functions that manipulate them, and then treat
1856 that collection of packages in a uniform manner.  You can express
1857 quite a bit of object-oriented-like programming this way.
1858 </para>
1859
1860 <sect3 id="existential">
1861 <title>Why existential?
1862 </title>
1863
1864 <para>
1865 What has this to do with <emphasis>existential</emphasis> quantification?
1866 Simply that <function>MkFoo</function> has the (nearly) isomorphic type
1867 </para>
1868
1869 <para>
1870
1871 <programlisting>
1872   MkFoo :: (exists a . (a, a -> Bool)) -> Foo
1873 </programlisting>
1874
1875 </para>
1876
1877 <para>
1878 But Haskell programmers can safely think of the ordinary
1879 <emphasis>universally</emphasis> quantified type given above, thereby avoiding
1880 adding a new existential quantification construct.
1881 </para>
1882
1883 </sect3>
1884
1885 <sect3 id="existential-with-context">
1886 <title>Existentials and type classes</title>
1887
1888 <para>
1889 An easy extension is to allow
1890 arbitrary contexts before the constructor.  For example:
1891 </para>
1892
1893 <para>
1894
1895 <programlisting>
1896 data Baz = forall a. Eq a => Baz1 a a
1897          | forall b. Show b => Baz2 b (b -> b)
1898 </programlisting>
1899
1900 </para>
1901
1902 <para>
1903 The two constructors have the types you'd expect:
1904 </para>
1905
1906 <para>
1907
1908 <programlisting>
1909 Baz1 :: forall a. Eq a => a -> a -> Baz
1910 Baz2 :: forall b. Show b => b -> (b -> b) -> Baz
1911 </programlisting>
1912
1913 </para>
1914
1915 <para>
1916 But when pattern matching on <function>Baz1</function> the matched values can be compared
1917 for equality, and when pattern matching on <function>Baz2</function> the first matched
1918 value can be converted to a string (as well as applying the function to it).
1919 So this program is legal:
1920 </para>
1921
1922 <para>
1923
1924 <programlisting>
1925   f :: Baz -> String
1926   f (Baz1 p q) | p == q    = "Yes"
1927                | otherwise = "No"
1928   f (Baz2 v fn)            = show (fn v)
1929 </programlisting>
1930
1931 </para>
1932
1933 <para>
1934 Operationally, in a dictionary-passing implementation, the
1935 constructors <function>Baz1</function> and <function>Baz2</function> must store the
1936 dictionaries for <literal>Eq</literal> and <literal>Show</literal> respectively, and
1937 extract it on pattern matching.
1938 </para>
1939
1940 </sect3>
1941
1942 <sect3 id="existential-records">
1943 <title>Record Constructors</title>
1944
1945 <para>
1946 GHC allows existentials to be used with records syntax as well.  For example:
1947
1948 <programlisting>
1949 data Counter a = forall self. NewCounter
1950     { _this    :: self
1951     , _inc     :: self -> self
1952     , _display :: self -> IO ()
1953     , tag      :: a
1954     }
1955 </programlisting>
1956 Here <literal>tag</literal> is a public field, with a well-typed selector
1957 function <literal>tag :: Counter a -> a</literal>.  The <literal>self</literal>
1958 type is hidden from the outside; any attempt to apply <literal>_this</literal>,
1959 <literal>_inc</literal> or <literal>_display</literal> as functions will raise a
1960 compile-time error.  In other words, <emphasis>GHC defines a record selector function
1961 only for fields whose type does not mention the existentially-quantified variables</emphasis>.
1962 (This example used an underscore in the fields for which record selectors
1963 will not be defined, but that is only programming style; GHC ignores them.)
1964 </para>
1965
1966 <para>
1967 To make use of these hidden fields, we need to create some helper functions:
1968
1969 <programlisting>
1970 inc :: Counter a -> Counter a
1971 inc (NewCounter x i d t) = NewCounter
1972     { _this = i x, _inc = i, _display = d, tag = t } 
1973
1974 display :: Counter a -> IO ()
1975 display NewCounter{ _this = x, _display = d } = d x
1976 </programlisting>
1977
1978 Now we can define counters with different underlying implementations:
1979
1980 <programlisting>
1981 counterA :: Counter String 
1982 counterA = NewCounter
1983     { _this = 0, _inc = (1+), _display = print, tag = "A" }
1984
1985 counterB :: Counter String 
1986 counterB = NewCounter
1987     { _this = "", _inc = ('#':), _display = putStrLn, tag = "B" }
1988
1989 main = do
1990     display (inc counterA)         -- prints "1"
1991     display (inc (inc counterB))   -- prints "##"
1992 </programlisting>
1993
1994 Record update syntax is supported for existentials (and GADTs):
1995 <programlisting>
1996 setTag :: Counter a -> a -> Counter a
1997 setTag obj t = obj{ tag = t }
1998 </programlisting>
1999 The rule for record update is this: <emphasis>
2000 the types of the updated fields may
2001 mention only the universally-quantified type variables
2002 of the data constructor.  For GADTs, the field may mention only types
2003 that appear as a simple type-variable argument in the constructor's result
2004 type</emphasis>.  For example:
2005 <programlisting>
2006 data T a b where { T1 { f1::a, f2::b, f3::(b,c) } :: T a b } -- c is existential
2007 upd1 t x = t { f1=x }   -- OK:   upd1 :: T a b -> a' -> T a' b
2008 upd2 t x = t { f3=x }   -- BAD   (f3's type mentions c, which is
2009                         --        existentially quantified)
2010
2011 data G a b where { G1 { g1::a, g2::c } :: G a [c] }
2012 upd3 g x = g { g1=x }   -- OK:   upd3 :: G a b -> c -> G c b
2013 upd4 g x = g { g2=x }   -- BAD (f2's type mentions c, which is not a simple
2014                         --      type-variable argument in G1's result type)
2015 </programlisting>
2016 </para>
2017
2018 </sect3>
2019
2020
2021 <sect3>
2022 <title>Restrictions</title>
2023
2024 <para>
2025 There are several restrictions on the ways in which existentially-quantified
2026 constructors can be use.
2027 </para>
2028
2029 <para>
2030
2031 <itemizedlist>
2032 <listitem>
2033
2034 <para>
2035  When pattern matching, each pattern match introduces a new,
2036 distinct, type for each existential type variable.  These types cannot
2037 be unified with any other type, nor can they escape from the scope of
2038 the pattern match.  For example, these fragments are incorrect:
2039
2040
2041 <programlisting>
2042 f1 (MkFoo a f) = a
2043 </programlisting>
2044
2045
2046 Here, the type bound by <function>MkFoo</function> "escapes", because <literal>a</literal>
2047 is the result of <function>f1</function>.  One way to see why this is wrong is to
2048 ask what type <function>f1</function> has:
2049
2050
2051 <programlisting>
2052   f1 :: Foo -> a             -- Weird!
2053 </programlisting>
2054
2055
2056 What is this "<literal>a</literal>" in the result type? Clearly we don't mean
2057 this:
2058
2059
2060 <programlisting>
2061   f1 :: forall a. Foo -> a   -- Wrong!
2062 </programlisting>
2063
2064
2065 The original program is just plain wrong.  Here's another sort of error
2066
2067
2068 <programlisting>
2069   f2 (Baz1 a b) (Baz1 p q) = a==q
2070 </programlisting>
2071
2072
2073 It's ok to say <literal>a==b</literal> or <literal>p==q</literal>, but
2074 <literal>a==q</literal> is wrong because it equates the two distinct types arising
2075 from the two <function>Baz1</function> constructors.
2076
2077
2078 </para>
2079 </listitem>
2080 <listitem>
2081
2082 <para>
2083 You can't pattern-match on an existentially quantified
2084 constructor in a <literal>let</literal> or <literal>where</literal> group of
2085 bindings. So this is illegal:
2086
2087
2088 <programlisting>
2089   f3 x = a==b where { Baz1 a b = x }
2090 </programlisting>
2091
2092 Instead, use a <literal>case</literal> expression:
2093
2094 <programlisting>
2095   f3 x = case x of Baz1 a b -> a==b
2096 </programlisting>
2097
2098 In general, you can only pattern-match
2099 on an existentially-quantified constructor in a <literal>case</literal> expression or
2100 in the patterns of a function definition.
2101
2102 The reason for this restriction is really an implementation one.
2103 Type-checking binding groups is already a nightmare without
2104 existentials complicating the picture.  Also an existential pattern
2105 binding at the top level of a module doesn't make sense, because it's
2106 not clear how to prevent the existentially-quantified type "escaping".
2107 So for now, there's a simple-to-state restriction.  We'll see how
2108 annoying it is.
2109
2110 </para>
2111 </listitem>
2112 <listitem>
2113
2114 <para>
2115 You can't use existential quantification for <literal>newtype</literal>
2116 declarations.  So this is illegal:
2117
2118
2119 <programlisting>
2120   newtype T = forall a. Ord a => MkT a
2121 </programlisting>
2122
2123
2124 Reason: a value of type <literal>T</literal> must be represented as a
2125 pair of a dictionary for <literal>Ord t</literal> and a value of type
2126 <literal>t</literal>.  That contradicts the idea that
2127 <literal>newtype</literal> should have no concrete representation.
2128 You can get just the same efficiency and effect by using
2129 <literal>data</literal> instead of <literal>newtype</literal>.  If
2130 there is no overloading involved, then there is more of a case for
2131 allowing an existentially-quantified <literal>newtype</literal>,
2132 because the <literal>data</literal> version does carry an
2133 implementation cost, but single-field existentially quantified
2134 constructors aren't much use.  So the simple restriction (no
2135 existential stuff on <literal>newtype</literal>) stands, unless there
2136 are convincing reasons to change it.
2137
2138
2139 </para>
2140 </listitem>
2141 <listitem>
2142
2143 <para>
2144  You can't use <literal>deriving</literal> to define instances of a
2145 data type with existentially quantified data constructors.
2146
2147 Reason: in most cases it would not make sense. For example:;
2148
2149 <programlisting>
2150 data T = forall a. MkT [a] deriving( Eq )
2151 </programlisting>
2152
2153 To derive <literal>Eq</literal> in the standard way we would need to have equality
2154 between the single component of two <function>MkT</function> constructors:
2155
2156 <programlisting>
2157 instance Eq T where
2158   (MkT a) == (MkT b) = ???
2159 </programlisting>
2160
2161 But <varname>a</varname> and <varname>b</varname> have distinct types, and so can't be compared.
2162 It's just about possible to imagine examples in which the derived instance
2163 would make sense, but it seems altogether simpler simply to prohibit such
2164 declarations.  Define your own instances!
2165 </para>
2166 </listitem>
2167
2168 </itemizedlist>
2169
2170 </para>
2171
2172 </sect3>
2173 </sect2>
2174
2175 <!-- ====================== Generalised algebraic data types =======================  -->
2176
2177 <sect2 id="gadt-style">
2178 <title>Declaring data types with explicit constructor signatures</title>
2179
2180 <para>GHC allows you to declare an algebraic data type by 
2181 giving the type signatures of constructors explicitly.  For example:
2182 <programlisting>
2183   data Maybe a where
2184       Nothing :: Maybe a
2185       Just    :: a -> Maybe a
2186 </programlisting>
2187 The form is called a "GADT-style declaration"
2188 because Generalised Algebraic Data Types, described in <xref linkend="gadt"/>, 
2189 can only be declared using this form.</para>
2190 <para>Notice that GADT-style syntax generalises existential types (<xref linkend="existential-quantification"/>).  
2191 For example, these two declarations are equivalent:
2192 <programlisting>
2193   data Foo = forall a. MkFoo a (a -> Bool)
2194   data Foo' where { MKFoo :: a -> (a->Bool) -> Foo' }
2195 </programlisting>
2196 </para>
2197 <para>Any data type that can be declared in standard Haskell-98 syntax 
2198 can also be declared using GADT-style syntax.
2199 The choice is largely stylistic, but GADT-style declarations differ in one important respect:
2200 they treat class constraints on the data constructors differently.
2201 Specifically, if the constructor is given a type-class context, that
2202 context is made available by pattern matching.  For example:
2203 <programlisting>
2204   data Set a where
2205     MkSet :: Eq a => [a] -> Set a
2206
2207   makeSet :: Eq a => [a] -> Set a
2208   makeSet xs = MkSet (nub xs)
2209
2210   insert :: a -> Set a -> Set a
2211   insert a (MkSet as) | a `elem` as = MkSet as
2212                       | otherwise   = MkSet (a:as)
2213 </programlisting>
2214 A use of <literal>MkSet</literal> as a constructor (e.g. in the definition of <literal>makeSet</literal>) 
2215 gives rise to a <literal>(Eq a)</literal>
2216 constraint, as you would expect.  The new feature is that pattern-matching on <literal>MkSet</literal>
2217 (as in the definition of <literal>insert</literal>) makes <emphasis>available</emphasis> an <literal>(Eq a)</literal>
2218 context.  In implementation terms, the <literal>MkSet</literal> constructor has a hidden field that stores
2219 the <literal>(Eq a)</literal> dictionary that is passed to <literal>MkSet</literal>; so
2220 when pattern-matching that dictionary becomes available for the right-hand side of the match.
2221 In the example, the equality dictionary is used to satisfy the equality constraint 
2222 generated by the call to <literal>elem</literal>, so that the type of
2223 <literal>insert</literal> itself has no <literal>Eq</literal> constraint.
2224 </para>
2225 <para>
2226 For example, one possible application is to reify dictionaries:
2227 <programlisting>
2228    data NumInst a where
2229      MkNumInst :: Num a => NumInst a
2230
2231    intInst :: NumInst Int
2232    intInst = MkNumInst
2233
2234    plus :: NumInst a -> a -> a -> a
2235    plus MkNumInst p q = p + q
2236 </programlisting>
2237 Here, a value of type <literal>NumInst a</literal> is equivalent 
2238 to an explicit <literal>(Num a)</literal> dictionary.
2239 </para>
2240 <para>
2241 All this applies to constructors declared using the syntax of <xref linkend="existential-with-context"/>.
2242 For example, the <literal>NumInst</literal> data type above could equivalently be declared 
2243 like this:
2244 <programlisting>
2245    data NumInst a 
2246       = Num a => MkNumInst (NumInst a)
2247 </programlisting>
2248 Notice that, unlike the situation when declaring an existential, there is 
2249 no <literal>forall</literal>, because the <literal>Num</literal> constrains the
2250 data type's universally quantified type variable <literal>a</literal>.  
2251 A constructor may have both universal and existential type variables: for example,
2252 the following two declarations are equivalent:
2253 <programlisting>
2254    data T1 a 
2255         = forall b. (Num a, Eq b) => MkT1 a b
2256    data T2 a where
2257         MkT2 :: (Num a, Eq b) => a -> b -> T2 a
2258 </programlisting>
2259 </para>
2260 <para>All this behaviour contrasts with Haskell 98's peculiar treatment of 
2261 contexts on a data type declaration (Section 4.2.1 of the Haskell 98 Report).
2262 In Haskell 98 the definition
2263 <programlisting>
2264   data Eq a => Set' a = MkSet' [a]
2265 </programlisting>
2266 gives <literal>MkSet'</literal> the same type as <literal>MkSet</literal> above.  But instead of 
2267 <emphasis>making available</emphasis> an <literal>(Eq a)</literal> constraint, pattern-matching
2268 on <literal>MkSet'</literal> <emphasis>requires</emphasis> an <literal>(Eq a)</literal> constraint!
2269 GHC faithfully implements this behaviour, odd though it is.  But for GADT-style declarations,
2270 GHC's behaviour is much more useful, as well as much more intuitive.
2271 </para>
2272
2273 <para>
2274 The rest of this section gives further details about GADT-style data
2275 type declarations.
2276
2277 <itemizedlist>
2278 <listitem><para>
2279 The result type of each data constructor must begin with the type constructor being defined.
2280 If the result type of all constructors 
2281 has the form <literal>T a1 ... an</literal>, where <literal>a1 ... an</literal>
2282 are distinct type variables, then the data type is <emphasis>ordinary</emphasis>;
2283 otherwise is a <emphasis>generalised</emphasis> data type (<xref linkend="gadt"/>).
2284 </para></listitem>
2285
2286 <listitem><para>
2287 The type signature of
2288 each constructor is independent, and is implicitly universally quantified as usual. 
2289 Different constructors may have different universally-quantified type variables
2290 and different type-class constraints.  
2291 For example, this is fine:
2292 <programlisting>
2293   data T a where
2294     T1 :: Eq b => b -> T b
2295     T2 :: (Show c, Ix c) => c -> [c] -> T c
2296 </programlisting>
2297 </para></listitem>
2298
2299 <listitem><para>
2300 Unlike a Haskell-98-style 
2301 data type declaration, the type variable(s) in the "<literal>data Set a where</literal>" header 
2302 have no scope.  Indeed, one can write a kind signature instead:
2303 <programlisting>
2304   data Set :: * -> * where ...
2305 </programlisting>
2306 or even a mixture of the two:
2307 <programlisting>
2308   data Foo a :: (* -> *) -> * where ...
2309 </programlisting>
2310 The type variables (if given) may be explicitly kinded, so we could also write the header for <literal>Foo</literal>
2311 like this:
2312 <programlisting>
2313   data Foo a (b :: * -> *) where ...
2314 </programlisting>
2315 </para></listitem>
2316
2317
2318 <listitem><para>
2319 You can use strictness annotations, in the obvious places
2320 in the constructor type:
2321 <programlisting>
2322   data Term a where
2323       Lit    :: !Int -> Term Int
2324       If     :: Term Bool -> !(Term a) -> !(Term a) -> Term a
2325       Pair   :: Term a -> Term b -> Term (a,b)
2326 </programlisting>
2327 </para></listitem>
2328
2329 <listitem><para>
2330 You can use a <literal>deriving</literal> clause on a GADT-style data type
2331 declaration.   For example, these two declarations are equivalent
2332 <programlisting>
2333   data Maybe1 a where {
2334       Nothing1 :: Maybe1 a ;
2335       Just1    :: a -> Maybe1 a
2336     } deriving( Eq, Ord )
2337
2338   data Maybe2 a = Nothing2 | Just2 a 
2339        deriving( Eq, Ord )
2340 </programlisting>
2341 </para></listitem>
2342
2343 <listitem><para>
2344 You can use record syntax on a GADT-style data type declaration:
2345
2346 <programlisting>
2347   data Person where
2348       Adult { name :: String, children :: [Person] } :: Person
2349       Child { name :: String } :: Person
2350 </programlisting>
2351 As usual, for every constructor that has a field <literal>f</literal>, the type of
2352 field <literal>f</literal> must be the same (modulo alpha conversion).
2353 </para>
2354 <para>
2355 At the moment, record updates are not yet possible with GADT-style declarations, 
2356 so support is limited to record construction, selection and pattern matching.
2357 For example
2358 <programlisting>
2359   aPerson = Adult { name = "Fred", children = [] }
2360
2361   shortName :: Person -> Bool
2362   hasChildren (Adult { children = kids }) = not (null kids)
2363   hasChildren (Child {})                  = False
2364 </programlisting>
2365 </para></listitem>
2366
2367 <listitem><para> 
2368 As in the case of existentials declared using the Haskell-98-like record syntax 
2369 (<xref linkend="existential-records"/>),
2370 record-selector functions are generated only for those fields that have well-typed
2371 selectors.  
2372 Here is the example of that section, in GADT-style syntax:
2373 <programlisting>
2374 data Counter a where
2375     NewCounter { _this    :: self
2376                , _inc     :: self -> self
2377                , _display :: self -> IO ()
2378                , tag      :: a
2379                }
2380         :: Counter a
2381 </programlisting>
2382 As before, only one selector function is generated here, that for <literal>tag</literal>.
2383 Nevertheless, you can still use all the field names in pattern matching and record construction.
2384 </para></listitem>
2385 </itemizedlist></para>
2386 </sect2>
2387
2388 <sect2 id="gadt">
2389 <title>Generalised Algebraic Data Types (GADTs)</title>
2390
2391 <para>Generalised Algebraic Data Types generalise ordinary algebraic data types 
2392 by allowing constructors to have richer return types.  Here is an example:
2393 <programlisting>
2394   data Term a where
2395       Lit    :: Int -> Term Int
2396       Succ   :: Term Int -> Term Int
2397       IsZero :: Term Int -> Term Bool   
2398       If     :: Term Bool -> Term a -> Term a -> Term a
2399       Pair   :: Term a -> Term b -> Term (a,b)
2400 </programlisting>
2401 Notice that the return type of the constructors is not always <literal>Term a</literal>, as is the
2402 case with ordinary data types.  This generality allows us to 
2403 write a well-typed <literal>eval</literal> function
2404 for these <literal>Terms</literal>:
2405 <programlisting>
2406   eval :: Term a -> a
2407   eval (Lit i)      = i
2408   eval (Succ t)     = 1 + eval t
2409   eval (IsZero t)   = eval t == 0
2410   eval (If b e1 e2) = if eval b then eval e1 else eval e2
2411   eval (Pair e1 e2) = (eval e1, eval e2)
2412 </programlisting>
2413 The key point about GADTs is that <emphasis>pattern matching causes type refinement</emphasis>.  
2414 For example, in the right hand side of the equation
2415 <programlisting>
2416   eval :: Term a -> a
2417   eval (Lit i) =  ...
2418 </programlisting>
2419 the type <literal>a</literal> is refined to <literal>Int</literal>.  That's the whole point!
2420 A precise specification of the type rules is beyond what this user manual aspires to, 
2421 but the design closely follows that described in
2422 the paper <ulink
2423 url="http://research.microsoft.com/%7Esimonpj/papers/gadt/">Simple
2424 unification-based type inference for GADTs</ulink>,
2425 (ICFP 2006).
2426 The general principle is this: <emphasis>type refinement is only carried out 
2427 based on user-supplied type annotations</emphasis>.
2428 So if no type signature is supplied for <literal>eval</literal>, no type refinement happens, 
2429 and lots of obscure error messages will
2430 occur.  However, the refinement is quite general.  For example, if we had:
2431 <programlisting>
2432   eval :: Term a -> a -> a
2433   eval (Lit i) j =  i+j
2434 </programlisting>
2435 the pattern match causes the type <literal>a</literal> to be refined to <literal>Int</literal> (because of the type
2436 of the constructor <literal>Lit</literal>), and that refinement also applies to the type of <literal>j</literal>, and
2437 the result type of the <literal>case</literal> expression.  Hence the addition <literal>i+j</literal> is legal.
2438 </para>
2439 <para>
2440 These and many other examples are given in papers by Hongwei Xi, and
2441 Tim Sheard. There is a longer introduction
2442 <ulink url="http://www.haskell.org/haskellwiki/GADT">on the wiki</ulink>,
2443 and Ralf Hinze's
2444 <ulink url="http://www.informatik.uni-bonn.de/~ralf/publications/With.pdf">Fun with phantom types</ulink> also has a number of examples. Note that papers
2445 may use different notation to that implemented in GHC.
2446 </para>
2447 <para>
2448 The rest of this section outlines the extensions to GHC that support GADTs.   The extension is enabled with 
2449 <option>-XGADTs</option>.  The <option>-XGADTs</option> flag also sets <option>-XRelaxedPolyRec</option>.
2450 <itemizedlist>
2451 <listitem><para>
2452 A GADT can only be declared using GADT-style syntax (<xref linkend="gadt-style"/>); 
2453 the old Haskell-98 syntax for data declarations always declares an ordinary data type.
2454 The result type of each constructor must begin with the type constructor being defined,
2455 but for a GADT the arguments to the type constructor can be arbitrary monotypes.  
2456 For example, in the <literal>Term</literal> data
2457 type above, the type of each constructor must end with <literal>Term ty</literal>, but
2458 the <literal>ty</literal> need not be a type variable (e.g. the <literal>Lit</literal>
2459 constructor).
2460 </para></listitem>
2461
2462 <listitem><para>
2463 It's is permitted to declare an ordinary algebraic data type using GADT-style syntax.
2464 What makes a GADT into a GADT is not the syntax, but rather the presence of data constructors
2465 whose result type is not just <literal>T a b</literal>.
2466 </para></listitem>
2467
2468 <listitem><para>
2469 You cannot use a <literal>deriving</literal> clause for a GADT; only for
2470 an ordinary data type.
2471 </para></listitem>
2472
2473 <listitem><para>
2474 As mentioned in <xref linkend="gadt-style"/>, record syntax is supported.
2475 For example:
2476 <programlisting>
2477   data Term a where
2478       Lit    { val  :: Int }      :: Term Int
2479       Succ   { num  :: Term Int } :: Term Int
2480       Pred   { num  :: Term Int } :: Term Int
2481       IsZero { arg  :: Term Int } :: Term Bool  
2482       Pair   { arg1 :: Term a
2483              , arg2 :: Term b
2484              }                    :: Term (a,b)
2485       If     { cnd  :: Term Bool
2486              , tru  :: Term a
2487              , fls  :: Term a
2488              }                    :: Term a
2489 </programlisting>
2490 However, for GADTs there is the following additional constraint: 
2491 every constructor that has a field <literal>f</literal> must have
2492 the same result type (modulo alpha conversion)
2493 Hence, in the above example, we cannot merge the <literal>num</literal> 
2494 and <literal>arg</literal> fields above into a 
2495 single name.  Although their field types are both <literal>Term Int</literal>,
2496 their selector functions actually have different types:
2497
2498 <programlisting>
2499   num :: Term Int -> Term Int
2500   arg :: Term Bool -> Term Int
2501 </programlisting>
2502 </para></listitem>
2503
2504 <listitem><para>
2505 When pattern-matching against data constructors drawn from a GADT, 
2506 for example in a <literal>case</literal> expression, the following rules apply:
2507 <itemizedlist>
2508 <listitem><para>The type of the scrutinee must be rigid.</para></listitem>
2509 <listitem><para>The type of the entire <literal>case</literal> expression must be rigid.</para></listitem>
2510 <listitem><para>The type of any free variable mentioned in any of
2511 the <literal>case</literal> alternatives must be rigid.</para></listitem>
2512 </itemizedlist>
2513 A type is "rigid" if it is completely known to the compiler at its binding site.  The easiest
2514 way to ensure that a variable a rigid type is to give it a type signature.
2515 For more precise details see <ulink url="http://research.microsoft.com/%7Esimonpj/papers/gadt">
2516 Simple unification-based type inference for GADTs
2517 </ulink>. The criteria implemented by GHC are given in the Appendix.
2518
2519 </para></listitem>
2520
2521 </itemizedlist>
2522 </para>
2523
2524 </sect2>
2525 </sect1>
2526
2527 <!-- ====================== End of Generalised algebraic data types =======================  -->
2528
2529 <sect1 id="deriving">
2530 <title>Extensions to the "deriving" mechanism</title>
2531
2532 <sect2 id="deriving-inferred">
2533 <title>Inferred context for deriving clauses</title>
2534
2535 <para>
2536 The Haskell Report is vague about exactly when a <literal>deriving</literal> clause is
2537 legal.  For example:
2538 <programlisting>
2539   data T0 f a = MkT0 a         deriving( Eq )
2540   data T1 f a = MkT1 (f a)     deriving( Eq )
2541   data T2 f a = MkT2 (f (f a)) deriving( Eq )
2542 </programlisting>
2543 The natural generated <literal>Eq</literal> code would result in these instance declarations:
2544 <programlisting>
2545   instance Eq a         => Eq (T0 f a) where ...
2546   instance Eq (f a)     => Eq (T1 f a) where ...
2547   instance Eq (f (f a)) => Eq (T2 f a) where ...
2548 </programlisting>
2549 The first of these is obviously fine. The second is still fine, although less obviously. 
2550 The third is not Haskell 98, and risks losing termination of instances.
2551 </para>
2552 <para>
2553 GHC takes a conservative position: it accepts the first two, but not the third.  The  rule is this:
2554 each constraint in the inferred instance context must consist only of type variables, 
2555 with no repetitions.
2556 </para>
2557 <para>
2558 This rule is applied regardless of flags.  If you want a more exotic context, you can write
2559 it yourself, using the <link linkend="stand-alone-deriving">standalone deriving mechanism</link>.
2560 </para>
2561 </sect2>
2562
2563 <sect2 id="stand-alone-deriving">
2564 <title>Stand-alone deriving declarations</title>
2565
2566 <para>
2567 GHC now allows stand-alone <literal>deriving</literal> declarations, enabled by <literal>-XStandaloneDeriving</literal>:
2568 <programlisting>
2569   data Foo a = Bar a | Baz String
2570
2571   deriving instance Eq a => Eq (Foo a)
2572 </programlisting>
2573 The syntax is identical to that of an ordinary instance declaration apart from (a) the keyword
2574 <literal>deriving</literal>, and (b) the absence of the <literal>where</literal> part.
2575 You must supply a context (in the example the context is <literal>(Eq a)</literal>), 
2576 exactly as you would in an ordinary instance declaration.
2577 (In contrast the context is inferred in a <literal>deriving</literal> clause 
2578 attached to a data type declaration.) 
2579
2580 A <literal>deriving instance</literal> declaration
2581 must obey the same rules concerning form and termination as ordinary instance declarations,
2582 controlled by the same flags; see <xref linkend="instance-decls"/>.
2583 </para>
2584 <para>
2585 Unlike a <literal>deriving</literal>
2586 declaration attached to a <literal>data</literal> declaration, the instance can be more specific
2587 than the data type (assuming you also use 
2588 <literal>-XFlexibleInstances</literal>, <xref linkend="instance-rules"/>).  Consider
2589 for example
2590 <programlisting>
2591   data Foo a = Bar a | Baz String
2592
2593   deriving instance Eq a => Eq (Foo [a])
2594   deriving instance Eq a => Eq (Foo (Maybe a))
2595 </programlisting>
2596 This will generate a derived instance for <literal>(Foo [a])</literal> and <literal>(Foo (Maybe a))</literal>,
2597 but other types such as <literal>(Foo (Int,Bool))</literal> will not be an instance of <literal>Eq</literal>.
2598 </para>
2599
2600 <para>The stand-alone syntax is generalised for newtypes in exactly the same
2601 way that ordinary <literal>deriving</literal> clauses are generalised (<xref linkend="newtype-deriving"/>).
2602 For example:
2603 <programlisting>
2604   newtype Foo a = MkFoo (State Int a)
2605
2606   deriving instance MonadState Int Foo
2607 </programlisting>
2608 GHC always treats the <emphasis>last</emphasis> parameter of the instance
2609 (<literal>Foo</literal> in this example) as the type whose instance is being derived.
2610 </para>
2611
2612 </sect2>
2613
2614
2615 <sect2 id="deriving-typeable">
2616 <title>Deriving clause for classes <literal>Typeable</literal> and <literal>Data</literal></title>
2617
2618 <para>
2619 Haskell 98 allows the programmer to add "<literal>deriving( Eq, Ord )</literal>" to a data type 
2620 declaration, to generate a standard instance declaration for classes specified in the <literal>deriving</literal> clause.  
2621 In Haskell 98, the only classes that may appear in the <literal>deriving</literal> clause are the standard
2622 classes <literal>Eq</literal>, <literal>Ord</literal>, 
2623 <literal>Enum</literal>, <literal>Ix</literal>, <literal>Bounded</literal>, <literal>Read</literal>, and <literal>Show</literal>.
2624 </para>
2625 <para>
2626 GHC extends this list with two more classes that may be automatically derived 
2627 (provided the <option>-XDeriveDataTypeable</option> flag is specified):
2628 <literal>Typeable</literal>, and <literal>Data</literal>.  These classes are defined in the library
2629 modules <literal>Data.Typeable</literal> and <literal>Data.Generics</literal> respectively, and the
2630 appropriate class must be in scope before it can be mentioned in the <literal>deriving</literal> clause.
2631 </para>
2632 <para>An instance of <literal>Typeable</literal> can only be derived if the
2633 data type has seven or fewer type parameters, all of kind <literal>*</literal>.
2634 The reason for this is that the <literal>Typeable</literal> class is derived using the scheme
2635 described in
2636 <ulink url="http://research.microsoft.com/%7Esimonpj/papers/hmap/gmap2.ps">
2637 Scrap More Boilerplate: Reflection, Zips, and Generalised Casts
2638 </ulink>.
2639 (Section 7.4 of the paper describes the multiple <literal>Typeable</literal> classes that
2640 are used, and only <literal>Typeable1</literal> up to
2641 <literal>Typeable7</literal> are provided in the library.)
2642 In other cases, there is nothing to stop the programmer writing a <literal>TypableX</literal>
2643 class, whose kind suits that of the data type constructor, and
2644 then writing the data type instance by hand.
2645 </para>
2646 </sect2>
2647
2648 <sect2 id="newtype-deriving">
2649 <title>Generalised derived instances for newtypes</title>
2650
2651 <para>
2652 When you define an abstract type using <literal>newtype</literal>, you may want
2653 the new type to inherit some instances from its representation. In
2654 Haskell 98, you can inherit instances of <literal>Eq</literal>, <literal>Ord</literal>,
2655 <literal>Enum</literal> and <literal>Bounded</literal> by deriving them, but for any
2656 other classes you have to write an explicit instance declaration. For
2657 example, if you define
2658
2659 <programlisting>
2660   newtype Dollars = Dollars Int 
2661 </programlisting>
2662
2663 and you want to use arithmetic on <literal>Dollars</literal>, you have to
2664 explicitly define an instance of <literal>Num</literal>:
2665
2666 <programlisting>
2667   instance Num Dollars where
2668     Dollars a + Dollars b = Dollars (a+b)
2669     ...
2670 </programlisting>
2671 All the instance does is apply and remove the <literal>newtype</literal>
2672 constructor. It is particularly galling that, since the constructor
2673 doesn't appear at run-time, this instance declaration defines a
2674 dictionary which is <emphasis>wholly equivalent</emphasis> to the <literal>Int</literal>
2675 dictionary, only slower!
2676 </para>
2677
2678
2679 <sect3> <title> Generalising the deriving clause </title>
2680 <para>
2681 GHC now permits such instances to be derived instead, 
2682 using the flag <option>-XGeneralizedNewtypeDeriving</option>,
2683 so one can write 
2684 <programlisting>
2685   newtype Dollars = Dollars Int deriving (Eq,Show,Num)
2686 </programlisting>
2687
2688 and the implementation uses the <emphasis>same</emphasis> <literal>Num</literal> dictionary
2689 for <literal>Dollars</literal> as for <literal>Int</literal>. Notionally, the compiler
2690 derives an instance declaration of the form
2691
2692 <programlisting>
2693   instance Num Int => Num Dollars
2694 </programlisting>
2695
2696 which just adds or removes the <literal>newtype</literal> constructor according to the type.
2697 </para>
2698 <para>
2699
2700 We can also derive instances of constructor classes in a similar
2701 way. For example, suppose we have implemented state and failure monad
2702 transformers, such that
2703
2704 <programlisting>
2705   instance Monad m => Monad (State s m) 
2706   instance Monad m => Monad (Failure m)
2707 </programlisting>
2708 In Haskell 98, we can define a parsing monad by 
2709 <programlisting>
2710   type Parser tok m a = State [tok] (Failure m) a
2711 </programlisting>
2712
2713 which is automatically a monad thanks to the instance declarations
2714 above. With the extension, we can make the parser type abstract,
2715 without needing to write an instance of class <literal>Monad</literal>, via
2716
2717 <programlisting>
2718   newtype Parser tok m a = Parser (State [tok] (Failure m) a)
2719                          deriving Monad
2720 </programlisting>
2721 In this case the derived instance declaration is of the form 
2722 <programlisting>
2723   instance Monad (State [tok] (Failure m)) => Monad (Parser tok m) 
2724 </programlisting>
2725
2726 Notice that, since <literal>Monad</literal> is a constructor class, the
2727 instance is a <emphasis>partial application</emphasis> of the new type, not the
2728 entire left hand side. We can imagine that the type declaration is
2729 "eta-converted" to generate the context of the instance
2730 declaration.
2731 </para>
2732 <para>
2733
2734 We can even derive instances of multi-parameter classes, provided the
2735 newtype is the last class parameter. In this case, a ``partial
2736 application'' of the class appears in the <literal>deriving</literal>
2737 clause. For example, given the class
2738
2739 <programlisting>
2740   class StateMonad s m | m -> s where ... 
2741   instance Monad m => StateMonad s (State s m) where ... 
2742 </programlisting>
2743 then we can derive an instance of <literal>StateMonad</literal> for <literal>Parser</literal>s by 
2744 <programlisting>
2745   newtype Parser tok m a = Parser (State [tok] (Failure m) a)
2746                          deriving (Monad, StateMonad [tok])
2747 </programlisting>
2748
2749 The derived instance is obtained by completing the application of the
2750 class to the new type:
2751
2752 <programlisting>
2753   instance StateMonad [tok] (State [tok] (Failure m)) =>
2754            StateMonad [tok] (Parser tok m)
2755 </programlisting>
2756 </para>
2757 <para>
2758
2759 As a result of this extension, all derived instances in newtype
2760  declarations are treated uniformly (and implemented just by reusing
2761 the dictionary for the representation type), <emphasis>except</emphasis>
2762 <literal>Show</literal> and <literal>Read</literal>, which really behave differently for
2763 the newtype and its representation.
2764 </para>
2765 </sect3>
2766
2767 <sect3> <title> A more precise specification </title>
2768 <para>
2769 Derived instance declarations are constructed as follows. Consider the
2770 declaration (after expansion of any type synonyms)
2771
2772 <programlisting>
2773   newtype T v1...vn = T' (t vk+1...vn) deriving (c1...cm) 
2774 </programlisting>
2775
2776 where 
2777  <itemizedlist>
2778 <listitem><para>
2779   The <literal>ci</literal> are partial applications of
2780   classes of the form <literal>C t1'...tj'</literal>, where the arity of <literal>C</literal>
2781   is exactly <literal>j+1</literal>.  That is, <literal>C</literal> lacks exactly one type argument.
2782 </para></listitem>
2783 <listitem><para>
2784   The <literal>k</literal> is chosen so that <literal>ci (T v1...vk)</literal> is well-kinded.
2785 </para></listitem>
2786 <listitem><para>
2787   The type <literal>t</literal> is an arbitrary type.
2788 </para></listitem>
2789 <listitem><para>
2790   The type variables <literal>vk+1...vn</literal> do not occur in <literal>t</literal>, 
2791   nor in the <literal>ci</literal>, and
2792 </para></listitem>
2793 <listitem><para>
2794   None of the <literal>ci</literal> is <literal>Read</literal>, <literal>Show</literal>, 
2795                 <literal>Typeable</literal>, or <literal>Data</literal>.  These classes
2796                 should not "look through" the type or its constructor.  You can still
2797                 derive these classes for a newtype, but it happens in the usual way, not 
2798                 via this new mechanism.  
2799 </para></listitem>
2800 </itemizedlist>
2801 Then, for each <literal>ci</literal>, the derived instance
2802 declaration is:
2803 <programlisting>
2804   instance ci t => ci (T v1...vk)
2805 </programlisting>
2806 As an example which does <emphasis>not</emphasis> work, consider 
2807 <programlisting>
2808   newtype NonMonad m s = NonMonad (State s m s) deriving Monad 
2809 </programlisting>
2810 Here we cannot derive the instance 
2811 <programlisting>
2812   instance Monad (State s m) => Monad (NonMonad m) 
2813 </programlisting>
2814
2815 because the type variable <literal>s</literal> occurs in <literal>State s m</literal>,
2816 and so cannot be "eta-converted" away. It is a good thing that this
2817 <literal>deriving</literal> clause is rejected, because <literal>NonMonad m</literal> is
2818 not, in fact, a monad --- for the same reason. Try defining
2819 <literal>>>=</literal> with the correct type: you won't be able to.
2820 </para>
2821 <para>
2822
2823 Notice also that the <emphasis>order</emphasis> of class parameters becomes
2824 important, since we can only derive instances for the last one. If the
2825 <literal>StateMonad</literal> class above were instead defined as
2826
2827 <programlisting>
2828   class StateMonad m s | m -> s where ... 
2829 </programlisting>
2830
2831 then we would not have been able to derive an instance for the
2832 <literal>Parser</literal> type above. We hypothesise that multi-parameter
2833 classes usually have one "main" parameter for which deriving new
2834 instances is most interesting.
2835 </para>
2836 <para>Lastly, all of this applies only for classes other than
2837 <literal>Read</literal>, <literal>Show</literal>, <literal>Typeable</literal>, 
2838 and <literal>Data</literal>, for which the built-in derivation applies (section
2839 4.3.3. of the Haskell Report).
2840 (For the standard classes <literal>Eq</literal>, <literal>Ord</literal>,
2841 <literal>Ix</literal>, and <literal>Bounded</literal> it is immaterial whether
2842 the standard method is used or the one described here.)
2843 </para>
2844 </sect3>
2845 </sect2>
2846 </sect1>
2847
2848
2849 <!-- TYPE SYSTEM EXTENSIONS -->
2850 <sect1 id="type-class-extensions">
2851 <title>Class and instances declarations</title>
2852
2853 <sect2 id="multi-param-type-classes">
2854 <title>Class declarations</title>
2855
2856 <para>
2857 This section, and the next one, documents GHC's type-class extensions.
2858 There's lots of background in the paper <ulink
2859 url="http://research.microsoft.com/~simonpj/Papers/type-class-design-space/">Type
2860 classes: exploring the design space</ulink> (Simon Peyton Jones, Mark
2861 Jones, Erik Meijer).
2862 </para>
2863 <para>
2864 All the extensions are enabled by the <option>-fglasgow-exts</option> flag.
2865 </para>
2866
2867 <sect3>
2868 <title>Multi-parameter type classes</title>
2869 <para>
2870 Multi-parameter type classes are permitted. For example:
2871
2872
2873 <programlisting>
2874   class Collection c a where
2875     union :: c a -> c a -> c a
2876     ...etc.
2877 </programlisting>
2878
2879 </para>
2880 </sect3>
2881
2882 <sect3>
2883 <title>The superclasses of a class declaration</title>
2884
2885 <para>
2886 There are no restrictions on the context in a class declaration
2887 (which introduces superclasses), except that the class hierarchy must
2888 be acyclic.  So these class declarations are OK:
2889
2890
2891 <programlisting>
2892   class Functor (m k) => FiniteMap m k where
2893     ...
2894
2895   class (Monad m, Monad (t m)) => Transform t m where
2896     lift :: m a -> (t m) a
2897 </programlisting>
2898
2899
2900 </para>
2901 <para>
2902 As in Haskell 98, The class hierarchy must be acyclic.  However, the definition
2903 of "acyclic" involves only the superclass relationships.  For example,
2904 this is OK:
2905
2906
2907 <programlisting>
2908   class C a where {
2909     op :: D b => a -> b -> b
2910   }
2911
2912   class C a => D a where { ... }
2913 </programlisting>
2914
2915
2916 Here, <literal>C</literal> is a superclass of <literal>D</literal>, but it's OK for a
2917 class operation <literal>op</literal> of <literal>C</literal> to mention <literal>D</literal>.  (It
2918 would not be OK for <literal>D</literal> to be a superclass of <literal>C</literal>.)
2919 </para>
2920 </sect3>
2921
2922
2923
2924
2925 <sect3 id="class-method-types">
2926 <title>Class method types</title>
2927
2928 <para>
2929 Haskell 98 prohibits class method types to mention constraints on the
2930 class type variable, thus:
2931 <programlisting>
2932   class Seq s a where
2933     fromList :: [a] -> s a
2934     elem     :: Eq a => a -> s a -> Bool
2935 </programlisting>
2936 The type of <literal>elem</literal> is illegal in Haskell 98, because it
2937 contains the constraint <literal>Eq a</literal>, constrains only the 
2938 class type variable (in this case <literal>a</literal>).
2939 GHC lifts this restriction (flag <option>-XConstrainedClassMethods</option>).
2940 </para>
2941
2942
2943 </sect3>
2944 </sect2>
2945
2946 <sect2 id="functional-dependencies">
2947 <title>Functional dependencies
2948 </title>
2949
2950 <para> Functional dependencies are implemented as described by Mark Jones
2951 in &ldquo;<ulink url="http://citeseer.ist.psu.edu/jones00type.html">Type Classes with Functional Dependencies</ulink>&rdquo;, Mark P. Jones, 
2952 In Proceedings of the 9th European Symposium on Programming, 
2953 ESOP 2000, Berlin, Germany, March 2000, Springer-Verlag LNCS 1782,
2954 .
2955 </para>
2956 <para>
2957 Functional dependencies are introduced by a vertical bar in the syntax of a 
2958 class declaration;  e.g. 
2959 <programlisting>
2960   class (Monad m) => MonadState s m | m -> s where ...
2961
2962   class Foo a b c | a b -> c where ...
2963 </programlisting>
2964 There should be more documentation, but there isn't (yet).  Yell if you need it.
2965 </para>
2966
2967 <sect3><title>Rules for functional dependencies </title>
2968 <para>
2969 In a class declaration, all of the class type variables must be reachable (in the sense 
2970 mentioned in <xref linkend="type-restrictions"/>)
2971 from the free variables of each method type.
2972 For example:
2973
2974 <programlisting>
2975   class Coll s a where
2976     empty  :: s
2977     insert :: s -> a -> s
2978 </programlisting>
2979
2980 is not OK, because the type of <literal>empty</literal> doesn't mention
2981 <literal>a</literal>.  Functional dependencies can make the type variable
2982 reachable:
2983 <programlisting>
2984   class Coll s a | s -> a where
2985     empty  :: s
2986     insert :: s -> a -> s
2987 </programlisting>
2988
2989 Alternatively <literal>Coll</literal> might be rewritten
2990
2991 <programlisting>
2992   class Coll s a where
2993     empty  :: s a
2994     insert :: s a -> a -> s a
2995 </programlisting>
2996
2997
2998 which makes the connection between the type of a collection of
2999 <literal>a</literal>'s (namely <literal>(s a)</literal>) and the element type <literal>a</literal>.
3000 Occasionally this really doesn't work, in which case you can split the
3001 class like this:
3002
3003
3004 <programlisting>
3005   class CollE s where
3006     empty  :: s
3007
3008   class CollE s => Coll s a where
3009     insert :: s -> a -> s
3010 </programlisting>
3011 </para>
3012 </sect3>
3013
3014
3015 <sect3>
3016 <title>Background on functional dependencies</title>
3017
3018 <para>The following description of the motivation and use of functional dependencies is taken
3019 from the Hugs user manual, reproduced here (with minor changes) by kind
3020 permission of Mark Jones.
3021 </para>
3022 <para> 
3023 Consider the following class, intended as part of a
3024 library for collection types:
3025 <programlisting>
3026    class Collects e ce where
3027        empty  :: ce
3028        insert :: e -> ce -> ce
3029        member :: e -> ce -> Bool
3030 </programlisting>
3031 The type variable e used here represents the element type, while ce is the type
3032 of the container itself. Within this framework, we might want to define
3033 instances of this class for lists or characteristic functions (both of which
3034 can be used to represent collections of any equality type), bit sets (which can
3035 be used to represent collections of characters), or hash tables (which can be
3036 used to represent any collection whose elements have a hash function). Omitting
3037 standard implementation details, this would lead to the following declarations: 
3038 <programlisting>
3039    instance Eq e => Collects e [e] where ...
3040    instance Eq e => Collects e (e -> Bool) where ...
3041    instance Collects Char BitSet where ...
3042    instance (Hashable e, Collects a ce)
3043               => Collects e (Array Int ce) where ...
3044 </programlisting>
3045 All this looks quite promising; we have a class and a range of interesting
3046 implementations. Unfortunately, there are some serious problems with the class
3047 declaration. First, the empty function has an ambiguous type: 
3048 <programlisting>
3049    empty :: Collects e ce => ce
3050 </programlisting>
3051 By "ambiguous" we mean that there is a type variable e that appears on the left
3052 of the <literal>=&gt;</literal> symbol, but not on the right. The problem with
3053 this is that, according to the theoretical foundations of Haskell overloading,
3054 we cannot guarantee a well-defined semantics for any term with an ambiguous
3055 type.
3056 </para>
3057 <para>
3058 We can sidestep this specific problem by removing the empty member from the
3059 class declaration. However, although the remaining members, insert and member,
3060 do not have ambiguous types, we still run into problems when we try to use
3061 them. For example, consider the following two functions: 
3062 <programlisting>
3063    f x y = insert x . insert y
3064    g     = f True 'a'
3065 </programlisting>
3066 for which GHC infers the following types: 
3067 <programlisting>
3068    f :: (Collects a c, Collects b c) => a -> b -> c -> c
3069    g :: (Collects Bool c, Collects Char c) => c -> c
3070 </programlisting>
3071 Notice that the type for f allows the two parameters x and y to be assigned
3072 different types, even though it attempts to insert each of the two values, one
3073 after the other, into the same collection. If we're trying to model collections
3074 that contain only one type of value, then this is clearly an inaccurate
3075 type. Worse still, the definition for g is accepted, without causing a type
3076 error. As a result, the error in this code will not be flagged at the point
3077 where it appears. Instead, it will show up only when we try to use g, which
3078 might even be in a different module.
3079 </para>
3080
3081 <sect4><title>An attempt to use constructor classes</title>
3082
3083 <para>
3084 Faced with the problems described above, some Haskell programmers might be
3085 tempted to use something like the following version of the class declaration: 
3086 <programlisting>
3087    class Collects e c where
3088       empty  :: c e
3089       insert :: e -> c e -> c e
3090       member :: e -> c e -> Bool
3091 </programlisting>
3092 The key difference here is that we abstract over the type constructor c that is
3093 used to form the collection type c e, and not over that collection type itself,
3094 represented by ce in the original class declaration. This avoids the immediate
3095 problems that we mentioned above: empty has type <literal>Collects e c => c
3096 e</literal>, which is not ambiguous. 
3097 </para>
3098 <para>
3099 The function f from the previous section has a more accurate type: 
3100 <programlisting>
3101    f :: (Collects e c) => e -> e -> c e -> c e
3102 </programlisting>
3103 The function g from the previous section is now rejected with a type error as
3104 we would hope because the type of f does not allow the two arguments to have
3105 different types. 
3106 This, then, is an example of a multiple parameter class that does actually work
3107 quite well in practice, without ambiguity problems.
3108 There is, however, a catch. This version of the Collects class is nowhere near
3109 as general as the original class seemed to be: only one of the four instances
3110 for <literal>Collects</literal>
3111 given above can be used with this version of Collects because only one of
3112 them---the instance for lists---has a collection type that can be written in
3113 the form c e, for some type constructor c, and element type e.
3114 </para>
3115 </sect4>
3116
3117 <sect4><title>Adding functional dependencies</title>
3118
3119 <para>
3120 To get a more useful version of the Collects class, Hugs provides a mechanism
3121 that allows programmers to specify dependencies between the parameters of a
3122 multiple parameter class (For readers with an interest in theoretical
3123 foundations and previous work: The use of dependency information can be seen
3124 both as a generalization of the proposal for `parametric type classes' that was
3125 put forward by Chen, Hudak, and Odersky, or as a special case of Mark Jones's
3126 later framework for "improvement" of qualified types. The
3127 underlying ideas are also discussed in a more theoretical and abstract setting
3128 in a manuscript [implparam], where they are identified as one point in a
3129 general design space for systems of implicit parameterization.).
3130
3131 To start with an abstract example, consider a declaration such as: 
3132 <programlisting>
3133    class C a b where ...
3134 </programlisting>
3135 which tells us simply that C can be thought of as a binary relation on types
3136 (or type constructors, depending on the kinds of a and b). Extra clauses can be
3137 included in the definition of classes to add information about dependencies
3138 between parameters, as in the following examples: 
3139 <programlisting>
3140    class D a b | a -> b where ...
3141    class E a b | a -> b, b -> a where ...
3142 </programlisting>
3143 The notation <literal>a -&gt; b</literal> used here between the | and where
3144 symbols --- not to be
3145 confused with a function type --- indicates that the a parameter uniquely
3146 determines the b parameter, and might be read as "a determines b." Thus D is
3147 not just a relation, but actually a (partial) function. Similarly, from the two
3148 dependencies that are included in the definition of E, we can see that E
3149 represents a (partial) one-one mapping between types.
3150 </para>
3151 <para>
3152 More generally, dependencies take the form <literal>x1 ... xn -&gt; y1 ... ym</literal>,
3153 where x1, ..., xn, and y1, ..., yn are type variables with n&gt;0 and
3154 m&gt;=0, meaning that the y parameters are uniquely determined by the x
3155 parameters. Spaces can be used as separators if more than one variable appears
3156 on any single side of a dependency, as in <literal>t -&gt; a b</literal>. Note that a class may be
3157 annotated with multiple dependencies using commas as separators, as in the
3158 definition of E above. Some dependencies that we can write in this notation are
3159 redundant, and will be rejected because they don't serve any useful
3160 purpose, and may instead indicate an error in the program. Examples of
3161 dependencies like this include  <literal>a -&gt; a </literal>,  
3162 <literal>a -&gt; a a </literal>,  
3163 <literal>a -&gt; </literal>, etc. There can also be
3164 some redundancy if multiple dependencies are given, as in  
3165 <literal>a-&gt;b</literal>, 
3166  <literal>b-&gt;c </literal>,  <literal>a-&gt;c </literal>, and
3167 in which some subset implies the remaining dependencies. Examples like this are
3168 not treated as errors. Note that dependencies appear only in class
3169 declarations, and not in any other part of the language. In particular, the
3170 syntax for instance declarations, class constraints, and types is completely
3171 unchanged.
3172 </para>
3173 <para>
3174 By including dependencies in a class declaration, we provide a mechanism for
3175 the programmer to specify each multiple parameter class more precisely. The
3176 compiler, on the other hand, is responsible for ensuring that the set of
3177 instances that are in scope at any given point in the program is consistent
3178 with any declared dependencies. For example, the following pair of instance
3179 declarations cannot appear together in the same scope because they violate the
3180 dependency for D, even though either one on its own would be acceptable: 
3181 <programlisting>
3182    instance D Bool Int where ...
3183    instance D Bool Char where ...
3184 </programlisting>
3185 Note also that the following declaration is not allowed, even by itself: 
3186 <programlisting>
3187    instance D [a] b where ...
3188 </programlisting>
3189 The problem here is that this instance would allow one particular choice of [a]
3190 to be associated with more than one choice for b, which contradicts the
3191 dependency specified in the definition of D. More generally, this means that,
3192 in any instance of the form: 
3193 <programlisting>
3194    instance D t s where ...
3195 </programlisting>
3196 for some particular types t and s, the only variables that can appear in s are
3197 the ones that appear in t, and hence, if the type t is known, then s will be
3198 uniquely determined.
3199 </para>
3200 <para>
3201 The benefit of including dependency information is that it allows us to define
3202 more general multiple parameter classes, without ambiguity problems, and with
3203 the benefit of more accurate types. To illustrate this, we return to the
3204 collection class example, and annotate the original definition of <literal>Collects</literal>
3205 with a simple dependency: 
3206 <programlisting>
3207    class Collects e ce | ce -> e where
3208       empty  :: ce
3209       insert :: e -> ce -> ce
3210       member :: e -> ce -> Bool
3211 </programlisting>
3212 The dependency <literal>ce -&gt; e</literal> here specifies that the type e of elements is uniquely
3213 determined by the type of the collection ce. Note that both parameters of
3214 Collects are of kind *; there are no constructor classes here. Note too that
3215 all of the instances of Collects that we gave earlier can be used
3216 together with this new definition.
3217 </para>
3218 <para>
3219 What about the ambiguity problems that we encountered with the original
3220 definition? The empty function still has type Collects e ce => ce, but it is no
3221 longer necessary to regard that as an ambiguous type: Although the variable e
3222 does not appear on the right of the => symbol, the dependency for class
3223 Collects tells us that it is uniquely determined by ce, which does appear on
3224 the right of the => symbol. Hence the context in which empty is used can still
3225 give enough information to determine types for both ce and e, without
3226 ambiguity. More generally, we need only regard a type as ambiguous if it
3227 contains a variable on the left of the => that is not uniquely determined
3228 (either directly or indirectly) by the variables on the right.
3229 </para>
3230 <para>
3231 Dependencies also help to produce more accurate types for user defined
3232 functions, and hence to provide earlier detection of errors, and less cluttered
3233 types for programmers to work with. Recall the previous definition for a
3234 function f: 
3235 <programlisting>
3236    f x y = insert x y = insert x . insert y
3237 </programlisting>
3238 for which we originally obtained a type: 
3239 <programlisting>
3240    f :: (Collects a c, Collects b c) => a -> b -> c -> c
3241 </programlisting>
3242 Given the dependency information that we have for Collects, however, we can
3243 deduce that a and b must be equal because they both appear as the second
3244 parameter in a Collects constraint with the same first parameter c. Hence we
3245 can infer a shorter and more accurate type for f: 
3246 <programlisting>
3247    f :: (Collects a c) => a -> a -> c -> c
3248 </programlisting>
3249 In a similar way, the earlier definition of g will now be flagged as a type error.
3250 </para>
3251 <para>
3252 Although we have given only a few examples here, it should be clear that the
3253 addition of dependency information can help to make multiple parameter classes
3254 more useful in practice, avoiding ambiguity problems, and allowing more general
3255 sets of instance declarations.
3256 </para>
3257 </sect4>
3258 </sect3>
3259 </sect2>
3260
3261 <sect2 id="instance-decls">
3262 <title>Instance declarations</title>
3263
3264 <para>An instance declaration has the form
3265 <screen>
3266   instance ( <replaceable>assertion</replaceable><subscript>1</subscript>, ..., <replaceable>assertion</replaceable><subscript>n</subscript>) =&gt; <replaceable>class</replaceable> <replaceable>type</replaceable><subscript>1</subscript> ... <replaceable>type</replaceable><subscript>m</subscript> where ...
3267 </screen>
3268 The part before the "<literal>=&gt;</literal>" is the
3269 <emphasis>context</emphasis>, while the part after the
3270 "<literal>=&gt;</literal>" is the <emphasis>head</emphasis> of the instance declaration.
3271 </para>
3272
3273 <sect3 id="flexible-instance-head">
3274 <title>Relaxed rules for the instance head</title>
3275
3276 <para>
3277 In Haskell 98 the head of an instance declaration
3278 must be of the form <literal>C (T a1 ... an)</literal>, where
3279 <literal>C</literal> is the class, <literal>T</literal> is a data type constructor,
3280 and the <literal>a1 ... an</literal> are distinct type variables.
3281 GHC relaxes these rules in two ways.
3282 <itemizedlist>
3283 <listitem>
3284 <para>
3285 The <option>-XFlexibleInstances</option> flag allows the head of the instance
3286 declaration to mention arbitrary nested types.
3287 For example, this becomes a legal instance declaration
3288 <programlisting>
3289   instance C (Maybe Int) where ...
3290 </programlisting>
3291 See also the <link linkend="instance-overlap">rules on overlap</link>.
3292 </para></listitem>
3293 <listitem><para>
3294 With the <option>-XTypeSynonymInstances</option> flag, instance heads may use type
3295 synonyms. As always, using a type synonym is just shorthand for
3296 writing the RHS of the type synonym definition.  For example:
3297
3298
3299 <programlisting>
3300   type Point = (Int,Int)
3301   instance C Point   where ...
3302   instance C [Point] where ...
3303 </programlisting>
3304
3305
3306 is legal.  However, if you added
3307
3308
3309 <programlisting>
3310   instance C (Int,Int) where ...
3311 </programlisting>
3312
3313
3314 as well, then the compiler will complain about the overlapping
3315 (actually, identical) instance declarations.  As always, type synonyms
3316 must be fully applied.  You cannot, for example, write:
3317
3318 <programlisting>
3319   type P a = [[a]]
3320   instance Monad P where ...
3321 </programlisting>
3322
3323 </para></listitem>
3324 </itemizedlist>
3325 </para>
3326 </sect3>
3327
3328 <sect3 id="instance-rules">
3329 <title>Relaxed rules for instance contexts</title>
3330
3331 <para>In Haskell 98, the assertions in the context of the instance declaration
3332 must be of the form <literal>C a</literal> where <literal>a</literal>
3333 is a type variable that occurs in the head.
3334 </para>
3335
3336 <para>
3337 The <option>-XFlexibleContexts</option> flag relaxes this rule, as well
3338 as the corresponding rule for type signatures (see <xref linkend="flexible-contexts"/>).
3339 With this flag the context of the instance declaration can each consist of arbitrary
3340 (well-kinded) assertions <literal>(C t1 ... tn)</literal> subject only to the
3341 following rules:
3342 <orderedlist>
3343 <listitem><para>
3344 The Paterson Conditions: for each assertion in the context
3345 <orderedlist>
3346 <listitem><para>No type variable has more occurrences in the assertion than in the head</para></listitem>
3347 <listitem><para>The assertion has fewer constructors and variables (taken together
3348       and counting repetitions) than the head</para></listitem>
3349 </orderedlist>
3350 </para></listitem>
3351
3352 <listitem><para>The Coverage Condition.  For each functional dependency,
3353 <replaceable>tvs</replaceable><subscript>left</subscript> <literal>-&gt;</literal>
3354 <replaceable>tvs</replaceable><subscript>right</subscript>,  of the class,
3355 every type variable in
3356 S(<replaceable>tvs</replaceable><subscript>right</subscript>) must appear in 
3357 S(<replaceable>tvs</replaceable><subscript>left</subscript>), where S is the
3358 substitution mapping each type variable in the class declaration to the
3359 corresponding type in the instance declaration.
3360 </para></listitem>
3361 </orderedlist>
3362 These restrictions ensure that context reduction terminates: each reduction
3363 step makes the problem smaller by at least one
3364 constructor.  Both the Paterson Conditions and the Coverage Condition are lifted 
3365 if you give the <option>-XUndecidableInstances</option> 
3366 flag (<xref linkend="undecidable-instances"/>).
3367 You can find lots of background material about the reason for these
3368 restrictions in the paper <ulink
3369 url="http://research.microsoft.com/%7Esimonpj/papers/fd%2Dchr/">
3370 Understanding functional dependencies via Constraint Handling Rules</ulink>.
3371 </para>
3372 <para>
3373 For example, these are OK:
3374 <programlisting>
3375   instance C Int [a]          -- Multiple parameters
3376   instance Eq (S [a])         -- Structured type in head
3377
3378       -- Repeated type variable in head
3379   instance C4 a a => C4 [a] [a] 
3380   instance Stateful (ST s) (MutVar s)
3381
3382       -- Head can consist of type variables only
3383   instance C a
3384   instance (Eq a, Show b) => C2 a b
3385
3386       -- Non-type variables in context
3387   instance Show (s a) => Show (Sized s a)
3388   instance C2 Int a => C3 Bool [a]
3389   instance C2 Int a => C3 [a] b
3390 </programlisting>
3391 But these are not:
3392 <programlisting>
3393       -- Context assertion no smaller than head
3394   instance C a => C a where ...
3395       -- (C b b) has more more occurrences of b than the head
3396   instance C b b => Foo [b] where ...
3397 </programlisting>
3398 </para>
3399
3400 <para>
3401 The same restrictions apply to instances generated by
3402 <literal>deriving</literal> clauses.  Thus the following is accepted:
3403 <programlisting>
3404   data MinHeap h a = H a (h a)
3405     deriving (Show)
3406 </programlisting>
3407 because the derived instance
3408 <programlisting>
3409   instance (Show a, Show (h a)) => Show (MinHeap h a)
3410 </programlisting>
3411 conforms to the above rules.
3412 </para>
3413
3414 <para>
3415 A useful idiom permitted by the above rules is as follows.
3416 If one allows overlapping instance declarations then it's quite
3417 convenient to have a "default instance" declaration that applies if
3418 something more specific does not:
3419 <programlisting>
3420   instance C a where
3421     op = ... -- Default
3422 </programlisting>
3423 </para>
3424 </sect3>
3425
3426 <sect3 id="undecidable-instances">
3427 <title>Undecidable instances</title>
3428
3429 <para>
3430 Sometimes even the rules of <xref linkend="instance-rules"/> are too onerous.
3431 For example, sometimes you might want to use the following to get the
3432 effect of a "class synonym":
3433 <programlisting>
3434   class (C1 a, C2 a, C3 a) => C a where { }
3435
3436   instance (C1 a, C2 a, C3 a) => C a where { }
3437 </programlisting>
3438 This allows you to write shorter signatures:
3439 <programlisting>
3440   f :: C a => ...
3441 </programlisting>
3442 instead of
3443 <programlisting>
3444   f :: (C1 a, C2 a, C3 a) => ...
3445 </programlisting>
3446 The restrictions on functional dependencies (<xref
3447 linkend="functional-dependencies"/>) are particularly troublesome.
3448 It is tempting to introduce type variables in the context that do not appear in
3449 the head, something that is excluded by the normal rules. For example:
3450 <programlisting>
3451   class HasConverter a b | a -> b where
3452      convert :: a -> b
3453    
3454   data Foo a = MkFoo a
3455
3456   instance (HasConverter a b,Show b) => Show (Foo a) where
3457      show (MkFoo value) = show (convert value)
3458 </programlisting>
3459 This is dangerous territory, however. Here, for example, is a program that would make the
3460 typechecker loop:
3461 <programlisting>
3462   class D a
3463   class F a b | a->b
3464   instance F [a] [[a]]
3465   instance (D c, F a c) => D [a]   -- 'c' is not mentioned in the head
3466 </programlisting>
3467 Similarly, it can be tempting to lift the coverage condition:
3468 <programlisting>
3469   class Mul a b c | a b -> c where
3470         (.*.) :: a -> b -> c
3471
3472   instance Mul Int Int Int where (.*.) = (*)
3473   instance Mul Int Float Float where x .*. y = fromIntegral x * y
3474   instance Mul a b c => Mul a [b] [c] where x .*. v = map (x.*.) v
3475 </programlisting>
3476 The third instance declaration does not obey the coverage condition;
3477 and indeed the (somewhat strange) definition:
3478 <programlisting>
3479   f = \ b x y -> if b then x .*. [y] else y
3480 </programlisting>
3481 makes instance inference go into a loop, because it requires the constraint
3482 <literal>(Mul a [b] b)</literal>.
3483 </para>
3484 <para>
3485 Nevertheless, GHC allows you to experiment with more liberal rules.  If you use
3486 the experimental flag <option>-XUndecidableInstances</option>
3487 <indexterm><primary>-XUndecidableInstances</primary></indexterm>, 
3488 both the Paterson Conditions and the Coverage Condition
3489 (described in <xref linkend="instance-rules"/>) are lifted.  Termination is ensured by having a
3490 fixed-depth recursion stack.  If you exceed the stack depth you get a
3491 sort of backtrace, and the opportunity to increase the stack depth
3492 with <option>-fcontext-stack=</option><emphasis>N</emphasis>.
3493 </para>
3494
3495 </sect3>
3496
3497
3498 <sect3 id="instance-overlap">
3499 <title>Overlapping instances</title>
3500 <para>
3501 In general, <emphasis>GHC requires that that it be unambiguous which instance
3502 declaration
3503 should be used to resolve a type-class constraint</emphasis>. This behaviour
3504 can be modified by two flags: <option>-XOverlappingInstances</option>
3505 <indexterm><primary>-XOverlappingInstances
3506 </primary></indexterm> 
3507 and <option>-XIncoherentInstances</option>
3508 <indexterm><primary>-XIncoherentInstances
3509 </primary></indexterm>, as this section discusses.  Both these
3510 flags are dynamic flags, and can be set on a per-module basis, using 
3511 an <literal>OPTIONS_GHC</literal> pragma if desired (<xref linkend="source-file-options"/>).</para>
3512 <para>
3513 When GHC tries to resolve, say, the constraint <literal>C Int Bool</literal>,
3514 it tries to match every instance declaration against the
3515 constraint,
3516 by instantiating the head of the instance declaration.  For example, consider
3517 these declarations:
3518 <programlisting>
3519   instance context1 => C Int a     where ...  -- (A)
3520   instance context2 => C a   Bool  where ...  -- (B)
3521   instance context3 => C Int [a]   where ...  -- (C)
3522   instance context4 => C Int [Int] where ...  -- (D)
3523 </programlisting>
3524 The instances (A) and (B) match the constraint <literal>C Int Bool</literal>, 
3525 but (C) and (D) do not.  When matching, GHC takes
3526 no account of the context of the instance declaration
3527 (<literal>context1</literal> etc).
3528 GHC's default behaviour is that <emphasis>exactly one instance must match the
3529 constraint it is trying to resolve</emphasis>.  
3530 It is fine for there to be a <emphasis>potential</emphasis> of overlap (by
3531 including both declarations (A) and (B), say); an error is only reported if a 
3532 particular constraint matches more than one.
3533 </para>
3534
3535 <para>
3536 The <option>-XOverlappingInstances</option> flag instructs GHC to allow
3537 more than one instance to match, provided there is a most specific one.  For
3538 example, the constraint <literal>C Int [Int]</literal> matches instances (A),
3539 (C) and (D), but the last is more specific, and hence is chosen.  If there is no
3540 most-specific match, the program is rejected.
3541 </para>
3542 <para>
3543 However, GHC is conservative about committing to an overlapping instance.  For example:
3544 <programlisting>
3545   f :: [b] -> [b]
3546   f x = ...
3547 </programlisting>
3548 Suppose that from the RHS of <literal>f</literal> we get the constraint
3549 <literal>C Int [b]</literal>.  But
3550 GHC does not commit to instance (C), because in a particular
3551 call of <literal>f</literal>, <literal>b</literal> might be instantiate 
3552 to <literal>Int</literal>, in which case instance (D) would be more specific still.
3553 So GHC rejects the program.  
3554 (If you add the flag <option>-XIncoherentInstances</option>,
3555 GHC will instead pick (C), without complaining about 
3556 the problem of subsequent instantiations.)
3557 </para>
3558 <para>
3559 Notice that we gave a type signature to <literal>f</literal>, so GHC had to
3560 <emphasis>check</emphasis> that <literal>f</literal> has the specified type.  
3561 Suppose instead we do not give a type signature, asking GHC to <emphasis>infer</emphasis>
3562 it instead.  In this case, GHC will refrain from
3563 simplifying the constraint <literal>C Int [b]</literal> (for the same reason
3564 as before) but, rather than rejecting the program, it will infer the type
3565 <programlisting>
3566   f :: C Int [b] => [b] -> [b]
3567 </programlisting>
3568 That postpones the question of which instance to pick to the 
3569 call site for <literal>f</literal>
3570 by which time more is known about the type <literal>b</literal>.
3571 You can write this type signature yourself if you use the 
3572 <link linkend="flexible-contexts"><option>-XFlexibleContexts</option></link>
3573 flag.
3574 </para>
3575 <para>
3576 Exactly the same situation can arise in instance declarations themselves.  Suppose we have
3577 <programlisting>
3578   class Foo a where
3579      f :: a -> a
3580   instance Foo [b] where
3581      f x = ...
3582 </programlisting>
3583 and, as before, the constraint <literal>C Int [b]</literal> arises from <literal>f</literal>'s
3584 right hand side.  GHC will reject the instance, complaining as before that it does not know how to resolve
3585 the constraint <literal>C Int [b]</literal>, because it matches more than one instance
3586 declaration.  The solution is to postpone the choice by adding the constraint to the context
3587 of the instance declaration, thus:
3588 <programlisting>
3589   instance C Int [b] => Foo [b] where
3590      f x = ...
3591 </programlisting>
3592 (You need <link linkend="instance-rules"><option>-XFlexibleInstances</option></link> to do this.)
3593 </para>
3594 <para>
3595 The willingness to be overlapped or incoherent is a property of 
3596 the <emphasis>instance declaration</emphasis> itself, controlled by the
3597 presence or otherwise of the <option>-XOverlappingInstances</option> 
3598 and <option>-XIncoherentInstances</option> flags when that module is
3599 being defined.  Neither flag is required in a module that imports and uses the
3600 instance declaration.  Specifically, during the lookup process:
3601 <itemizedlist>
3602 <listitem><para>
3603 An instance declaration is ignored during the lookup process if (a) a more specific
3604 match is found, and (b) the instance declaration was compiled with 
3605 <option>-XOverlappingInstances</option>.  The flag setting for the
3606 more-specific instance does not matter.
3607 </para></listitem>
3608 <listitem><para>
3609 Suppose an instance declaration does not match the constraint being looked up, but
3610 does unify with it, so that it might match when the constraint is further 
3611 instantiated.  Usually GHC will regard this as a reason for not committing to
3612 some other constraint.  But if the instance declaration was compiled with
3613 <option>-XIncoherentInstances</option>, GHC will skip the "does-it-unify?" 
3614 check for that declaration.
3615 </para></listitem>
3616 </itemizedlist>
3617 These rules make it possible for a library author to design a library that relies on 
3618 overlapping instances without the library client having to know.  
3619 </para>
3620 <para>
3621 If an instance declaration is compiled without
3622 <option>-XOverlappingInstances</option>,
3623 then that instance can never be overlapped.  This could perhaps be
3624 inconvenient.  Perhaps the rule should instead say that the
3625 <emphasis>overlapping</emphasis> instance declaration should be compiled in
3626 this way, rather than the <emphasis>overlapped</emphasis> one.  Perhaps overlap
3627 at a usage site should be permitted regardless of how the instance declarations
3628 are compiled, if the <option>-XOverlappingInstances</option> flag is
3629 used at the usage site.  (Mind you, the exact usage site can occasionally be
3630 hard to pin down.)  We are interested to receive feedback on these points.
3631 </para>
3632 <para>The <option>-XIncoherentInstances</option> flag implies the
3633 <option>-XOverlappingInstances</option> flag, but not vice versa.
3634 </para>
3635 </sect3>
3636
3637
3638
3639 </sect2>
3640
3641 <sect2 id="overloaded-strings">
3642 <title>Overloaded string literals
3643 </title>
3644
3645 <para>
3646 GHC supports <emphasis>overloaded string literals</emphasis>.  Normally a
3647 string literal has type <literal>String</literal>, but with overloaded string
3648 literals enabled (with <literal>-XOverloadedStrings</literal>)
3649  a string literal has type <literal>(IsString a) => a</literal>.
3650 </para>
3651 <para>
3652 This means that the usual string syntax can be used, e.g., for packed strings
3653 and other variations of string like types.  String literals behave very much
3654 like integer literals, i.e., they can be used in both expressions and patterns.
3655 If used in a pattern the literal with be replaced by an equality test, in the same
3656 way as an integer literal is.
3657 </para>
3658 <para>
3659 The class <literal>IsString</literal> is defined as:
3660 <programlisting>
3661 class IsString a where
3662     fromString :: String -> a
3663 </programlisting>
3664 The only predefined instance is the obvious one to make strings work as usual:
3665 <programlisting>
3666 instance IsString [Char] where
3667     fromString cs = cs
3668 </programlisting>
3669 The class <literal>IsString</literal> is not in scope by default.  If you want to mention
3670 it explicitly (for example, to give an instance declaration for it), you can import it
3671 from module <literal>GHC.Exts</literal>.
3672 </para>
3673 <para>
3674 Haskell's defaulting mechanism is extended to cover string literals, when <option>-XOverloadedStrings</option> is specified.
3675 Specifically:
3676 <itemizedlist>
3677 <listitem><para>
3678 Each type in a default declaration must be an 
3679 instance of <literal>Num</literal> <emphasis>or</emphasis> of <literal>IsString</literal>.
3680 </para></listitem>
3681
3682 <listitem><para>
3683 The standard defaulting rule (<ulink url="http://www.haskell.org/onlinereport/decls.html#sect4.3.4">Haskell Report, Section 4.3.4</ulink>)
3684 is extended thus: defaulting applies when all the unresolved constraints involve standard classes
3685 <emphasis>or</emphasis> <literal>IsString</literal>; and at least one is a numeric class
3686 <emphasis>or</emphasis> <literal>IsString</literal>.
3687 </para></listitem>
3688 </itemizedlist>
3689 </para>
3690 <para>
3691 A small example:
3692 <programlisting>
3693 module Main where
3694
3695 import GHC.Exts( IsString(..) )
3696
3697 newtype MyString = MyString String deriving (Eq, Show)
3698 instance IsString MyString where
3699     fromString = MyString
3700
3701 greet :: MyString -> MyString
3702 greet "hello" = "world"
3703 greet other = other
3704
3705 main = do
3706     print $ greet "hello"
3707     print $ greet "fool"
3708 </programlisting>
3709 </para>
3710 <para>
3711 Note that deriving <literal>Eq</literal> is necessary for the pattern matching
3712 to work since it gets translated into an equality comparison.
3713 </para>
3714 </sect2>
3715
3716 </sect1>
3717
3718 <sect1 id="type-families">
3719 <title>Type families</title>
3720
3721 <para>
3722   <firstterm>Indexed type families</firstterm> are a new GHC extension to
3723   facilitate type-level 
3724   programming. Type families are a generalisation of <firstterm>associated
3725   data types</firstterm> 
3726   (&ldquo;<ulink url="http://www.cse.unsw.edu.au/~chak/papers/CKPM05.html">Associated 
3727   Types with Class</ulink>&rdquo;, M. Chakravarty, G. Keller, S. Peyton Jones,
3728   and S. Marlow. In Proceedings of &ldquo;The 32nd Annual ACM SIGPLAN-SIGACT
3729      Symposium on Principles of Programming Languages (POPL'05)&rdquo;, pages
3730   1-13, ACM Press, 2005) and <firstterm>associated type synonyms</firstterm>
3731   (&ldquo;<ulink url="http://www.cse.unsw.edu.au/~chak/papers/CKP05.html">Type  
3732   Associated Type Synonyms</ulink>&rdquo;. M. Chakravarty, G. Keller, and
3733   S. Peyton Jones. 
3734   In Proceedings of &ldquo;The Tenth ACM SIGPLAN International Conference on
3735   Functional Programming&rdquo;, ACM Press, pages 241-253, 2005).  Type families
3736   themselves are described in the paper &ldquo;<ulink 
3737   url="http://www.cse.unsw.edu.au/~chak/papers/SPCS08.html">Type
3738   Checking with Open Type Functions</ulink>&rdquo;, T. Schrijvers,
3739   S. Peyton-Jones, 
3740   M. Chakravarty, and M. Sulzmann, in Proceedings of &ldquo;ICFP 2008: The
3741   13th ACM SIGPLAN International Conference on Functional
3742   Programming&rdquo;, ACM Press, pages 51-62, 2008. Type families
3743   essentially provide type-indexed data types and named functions on types,
3744   which are useful for generic programming and highly parameterised library
3745   interfaces as well as interfaces with enhanced static information, much like
3746   dependent types. They might also be regarded as an alternative to functional
3747   dependencies, but provide a more functional style of type-level programming
3748   than the relational style of functional dependencies. 
3749 </para>
3750 <para>
3751   Indexed type families, or type families for short, are type constructors that
3752   represent sets of types. Set members are denoted by supplying the type family
3753   constructor with type parameters, which are called <firstterm>type
3754   indices</firstterm>. The 
3755   difference between vanilla parametrised type constructors and family
3756   constructors is much like between parametrically polymorphic functions and
3757   (ad-hoc polymorphic) methods of type classes. Parametric polymorphic functions
3758   behave the same at all type instances, whereas class methods can change their
3759   behaviour in dependence on the class type parameters. Similarly, vanilla type
3760   constructors imply the same data representation for all type instances, but
3761   family constructors can have varying representation types for varying type
3762   indices. 
3763 </para>
3764 <para>
3765   Indexed type families come in two flavours: <firstterm>data
3766     families</firstterm> and <firstterm>type synonym 
3767     families</firstterm>. They are the indexed family variants of algebraic
3768   data types and type synonyms, respectively. The instances of data families
3769   can be data types and newtypes. 
3770 </para>
3771 <para>
3772   Type families are enabled by the flag <option>-XTypeFamilies</option>.
3773   Additional information on the use of type families in GHC is available on
3774   <ulink url="http://www.haskell.org/haskellwiki/GHC/Indexed_types">the
3775   Haskell wiki page on type families</ulink>.
3776 </para>
3777
3778 <sect2 id="data-families">
3779   <title>Data families</title>
3780
3781   <para>
3782     Data families appear in two flavours: (1) they can be defined on the
3783     toplevel 
3784     or (2) they can appear inside type classes (in which case they are known as
3785     associated types). The former is the more general variant, as it lacks the
3786     requirement for the type-indexes to coincide with the class
3787     parameters. However, the latter can lead to more clearly structured code and
3788     compiler warnings if some type instances were - possibly accidentally -
3789     omitted. In the following, we always discuss the general toplevel form first
3790     and then cover the additional constraints placed on associated types.
3791   </para>
3792
3793   <sect3 id="data-family-declarations"> 
3794     <title>Data family declarations</title>
3795
3796     <para>
3797       Indexed data families are introduced by a signature, such as 
3798 <programlisting>
3799 data family GMap k :: * -> *
3800 </programlisting>
3801       The special <literal>family</literal> distinguishes family from standard
3802       data declarations.  The result kind annotation is optional and, as
3803       usual, defaults to <literal>*</literal> if omitted.  An example is
3804 <programlisting>
3805 data family Array e
3806 </programlisting>
3807       Named arguments can also be given explicit kind signatures if needed.
3808       Just as with
3809       [http://www.haskell.org/ghc/docs/latest/html/users_guide/gadt.html GADT
3810       declarations] named arguments are entirely optional, so that we can
3811       declare <literal>Array</literal> alternatively with 
3812 <programlisting>
3813 data family Array :: * -> *
3814 </programlisting>
3815     </para>
3816
3817     <sect4 id="assoc-data-family-decl">
3818       <title>Associated data family declarations</title>
3819       <para>
3820         When a data family is declared as part of a type class, we drop
3821         the <literal>family</literal> special.  The <literal>GMap</literal>
3822         declaration takes the following form 
3823 <programlisting>
3824 class GMapKey k where
3825   data GMap k :: * -> *
3826   ...
3827 </programlisting>
3828         In contrast to toplevel declarations, named arguments must be used for
3829         all type parameters that are to be used as type-indexes.  Moreover,
3830         the argument names must be class parameters.  Each class parameter may
3831         only be used at most once per associated type, but some may be omitted
3832         and they may be in an order other than in the class head.  Hence, the
3833         following contrived example is admissible: 
3834 <programlisting>
3835   class C a b c where
3836   data T c a :: *
3837 </programlisting>
3838       </para>
3839     </sect4>
3840   </sect3>
3841
3842   <sect3 id="data-instance-declarations"> 
3843     <title>Data instance declarations</title>
3844
3845     <para>
3846       Instance declarations of data and newtype families are very similar to
3847       standard data and newtype declarations.  The only two differences are
3848       that the keyword <literal>data</literal> or <literal>newtype</literal>
3849       is followed by <literal>instance</literal> and that some or all of the
3850       type arguments can be non-variable types, but may not contain forall
3851       types or type synonym families.  However, data families are generally
3852       allowed in type parameters, and type synonyms are allowed as long as
3853       they are fully applied and expand to a type that is itself admissible -
3854       exactly as this is required for occurrences of type synonyms in class
3855       instance parameters.  For example, the <literal>Either</literal>
3856       instance for <literal>GMap</literal> is 
3857 <programlisting>
3858 data instance GMap (Either a b) v = GMapEither (GMap a v) (GMap b v)
3859 </programlisting>
3860       In this example, the declaration has only one variant.  In general, it
3861       can be any number.
3862     </para>
3863     <para>
3864       Data and newtype instance declarations are only permitted when an
3865       appropriate family declaration is in scope - just as a class instance declaratoin
3866       requires the class declaration to be visible.  Moreover, each instance
3867       declaration has to conform to the kind determined by its family
3868       declaration.  This implies that the number of parameters of an instance
3869       declaration matches the arity determined by the kind of the family.
3870     </para>
3871     <para>
3872       A data family instance declaration can use the full exprssiveness of
3873       ordinary <literal>data</literal> or <literal>newtype</literal> declarations:
3874       <itemizedlist>
3875       <listitem><para> Although, a data family is <emphasis>introduced</emphasis> with
3876       the keyword "<literal>data</literal>", a data family <emphasis>instance</emphasis> can 
3877       use either <literal>data</literal> or <literal>newtype</literal>. For example:
3878 <programlisting>
3879 data family T a
3880 data    instance T Int  = T1 Int | T2 Bool
3881 newtype instance T Char = TC Bool
3882 </programlisting>
3883       </para></listitem>
3884       <listitem><para> A <literal>data instance</literal> can use GADT syntax for the data constructors,
3885       and indeed can define a GADT.  For example:
3886 <programlisting>
3887 data family G a b
3888 data instance G [a] b where
3889    G1 :: c -> G [Int] b
3890    G2 :: G [a] Bool
3891 </programlisting>
3892       </para></listitem>
3893       <listitem><para> You can use a <literal>deriving</literal> clause on a
3894       <literal>data instance</literal> or <literal>newtype instance</literal>
3895       declaration.
3896       </para></listitem>
3897       </itemizedlist>
3898     </para>
3899
3900     <para>
3901       Even if type families are defined as toplevel declarations, functions
3902       that perform different computations for different family instances may still
3903       need to be defined as methods of type classes.  In particular, the
3904       following is not possible: 
3905 <programlisting>
3906 data family T a
3907 data instance T Int  = A
3908 data instance T Char = B
3909 foo :: T a -> Int
3910 foo A = 1             -- WRONG: These two equations together...
3911 foo B = 2             -- ...will produce a type error.
3912 </programlisting>
3913 Instead, you would have to write <literal>foo</literal> as a class operation, thus:
3914 <programlisting>
3915 class C a where 
3916   foo :: T a -> Int
3917 instance Foo Int where
3918   foo A = 1
3919 instance Foo Char where
3920   foo B = 2
3921 </programlisting>
3922       (Given the functionality provided by GADTs (Generalised Algebraic Data
3923       Types), it might seem as if a definition, such as the above, should be
3924       feasible.  However, type families are - in contrast to GADTs - are
3925       <emphasis>open;</emphasis> i.e., new instances can always be added,
3926       possibly in other 
3927       modules.  Supporting pattern matching across different data instances
3928       would require a form of extensible case construct.)
3929     </para>
3930
3931     <sect4 id="assoc-data-inst">
3932       <title>Associated data instances</title>
3933       <para>
3934         When an associated data family instance is declared within a type
3935         class instance, we drop the <literal>instance</literal> keyword in the
3936         family instance.  So, the <literal>Either</literal> instance
3937         for <literal>GMap</literal> becomes: 
3938 <programlisting>
3939 instance (GMapKey a, GMapKey b) => GMapKey (Either a b) where
3940   data GMap (Either a b) v = GMapEither (GMap a v) (GMap b v)
3941   ...
3942 </programlisting>
3943         The most important point about associated family instances is that the
3944         type indexes corresponding to class parameters must be identical to
3945         the type given in the instance head; here this is the first argument
3946         of <literal>GMap</literal>, namely <literal>Either a b</literal>,
3947         which coincides with the only class parameter.  Any parameters to the
3948         family constructor that do not correspond to class parameters, need to
3949         be variables in every instance; here this is the
3950         variable <literal>v</literal>. 
3951       </para>
3952       <para>
3953         Instances for an associated family can only appear as part of
3954         instances declarations of the class in which the family was declared -
3955         just as with the equations of the methods of a class.  Also in
3956         correspondence to how methods are handled, declarations of associated
3957         types can be omitted in class instances.  If an associated family
3958         instance is omitted, the corresponding instance type is not inhabited;
3959         i.e., only diverging expressions, such
3960         as <literal>undefined</literal>, can assume the type. 
3961       </para>
3962     </sect4>
3963
3964     <sect4 id="scoping-class-params">
3965       <title>Scoping of class parameters</title>
3966       <para>
3967         In the case of multi-parameter type classes, the visibility of class
3968         parameters in the right-hand side of associated family instances
3969         depends <emphasis>solely</emphasis> on the parameters of the data
3970         family.  As an example, consider the simple class declaration 
3971 <programlisting>
3972 class C a b where
3973   data T a
3974 </programlisting>
3975         Only one of the two class parameters is a parameter to the data
3976         family.  Hence, the following instance declaration is invalid: 
3977 <programlisting>
3978 instance C [c] d where
3979   data T [c] = MkT (c, d)    -- WRONG!!  'd' is not in scope
3980 </programlisting>
3981         Here, the right-hand side of the data instance mentions the type
3982         variable <literal>d</literal> that does not occur in its left-hand
3983         side.  We cannot admit such data instances as they would compromise
3984         type safety. 
3985       </para>
3986     </sect4>
3987
3988     <sect4 id="family-class-inst">
3989       <title>Type class instances of family instances</title>
3990       <para>
3991         Type class instances of instances of data families can be defined as
3992         usual, and in particular data instance declarations can
3993         have <literal>deriving</literal> clauses.  For example, we can write 
3994 <programlisting>
3995 data GMap () v = GMapUnit (Maybe v)
3996                deriving Show
3997 </programlisting>
3998         which implicitly defines an instance of the form
3999 <programlisting>
4000 instance Show v => Show (GMap () v) where ...
4001 </programlisting>
4002       </para>
4003       <para>
4004         Note that class instances are always for
4005         particular <emphasis>instances</emphasis> of a data family and never
4006         for an entire family as a whole.  This is for essentially the same
4007         reasons that we cannot define a toplevel function that performs
4008         pattern matching on the data constructors
4009         of <emphasis>different</emphasis> instances of a single type family.
4010         It would require a form of extensible case construct. 
4011       </para>
4012     </sect4>
4013
4014     <sect4 id="data-family-overlap">
4015       <title>Overlap of data instances</title>
4016       <para>
4017         The instance declarations of a data family used in a single program
4018         may not overlap at all, independent of whether they are associated or
4019         not.  In contrast to type class instances, this is not only a matter
4020         of consistency, but one of type safety. 
4021       </para>
4022     </sect4>
4023
4024   </sect3>
4025
4026   <sect3 id="data-family-import-export">
4027     <title>Import and export</title>
4028
4029     <para>
4030       The association of data constructors with type families is more dynamic
4031       than that is the case with standard data and newtype declarations.  In
4032       the standard case, the notation <literal>T(..)</literal> in an import or
4033       export list denotes the type constructor and all the data constructors
4034       introduced in its declaration.  However, a family declaration never
4035       introduces any data constructors; instead, data constructors are
4036       introduced by family instances.  As a result, which data constructors
4037       are associated with a type family depends on the currently visible
4038       instance declarations for that family.  Consequently, an import or
4039       export item of the form <literal>T(..)</literal> denotes the family
4040       constructor and all currently visible data constructors - in the case of
4041       an export item, these may be either imported or defined in the current
4042       module.  The treatment of import and export items that explicitly list
4043       data constructors, such as <literal>GMap(GMapEither)</literal>, is
4044       analogous. 
4045     </para>
4046
4047     <sect4 id="data-family-impexp-assoc">
4048       <title>Associated families</title>
4049       <para>
4050         As expected, an import or export item of the
4051         form <literal>C(..)</literal> denotes all of the class' methods and
4052         associated types.  However, when associated types are explicitly
4053         listed as subitems of a class, we need some new syntax, as uppercase
4054         identifiers as subitems are usually data constructors, not type
4055         constructors.  To clarify that we denote types here, each associated
4056         type name needs to be prefixed by the keyword <literal>type</literal>.
4057         So for example, when explicitly listing the components of
4058         the <literal>GMapKey</literal> class, we write <literal>GMapKey(type
4059         GMap, empty, lookup, insert)</literal>. 
4060       </para>
4061     </sect4>
4062
4063     <sect4 id="data-family-impexp-examples">
4064       <title>Examples</title>
4065       <para>
4066         Assuming our running <literal>GMapKey</literal> class example, let us
4067         look at some export lists and their meaning: 
4068         <itemizedlist>
4069           <listitem>
4070             <para><literal>module GMap (GMapKey) where...</literal>: Exports
4071               just the class name.</para>
4072           </listitem>
4073           <listitem>
4074             <para><literal>module GMap (GMapKey(..)) where...</literal>:
4075               Exports the class, the associated type <literal>GMap</literal>
4076               and the member
4077               functions <literal>empty</literal>, <literal>lookup</literal>,
4078               and <literal>insert</literal>.  None of the data constructors is 
4079               exported.</para>
4080           </listitem> 
4081           <listitem>
4082             <para><literal>module GMap (GMapKey(..), GMap(..))
4083                 where...</literal>: As before, but also exports all the data
4084               constructors <literal>GMapInt</literal>, 
4085               <literal>GMapChar</literal>,  
4086               <literal>GMapUnit</literal>, <literal>GMapPair</literal>,
4087               and <literal>GMapUnit</literal>.</para>
4088           </listitem>
4089           <listitem>
4090             <para><literal>module GMap (GMapKey(empty, lookup, insert),
4091             GMap(..)) where...</literal>: As before.</para>
4092           </listitem>
4093           <listitem>
4094             <para><literal>module GMap (GMapKey, empty, lookup, insert, GMap(..))
4095                 where...</literal>: As before.</para>
4096           </listitem>
4097         </itemizedlist>
4098       </para>
4099       <para>
4100         Finally, you can write <literal>GMapKey(type GMap)</literal> to denote
4101         both the class <literal>GMapKey</literal> as well as its associated
4102         type <literal>GMap</literal>.  However, you cannot
4103         write <literal>GMapKey(type GMap(..))</literal> &mdash; i.e.,
4104         sub-component specifications cannot be nested.  To
4105         specify <literal>GMap</literal>'s data constructors, you have to list
4106         it separately. 
4107       </para>
4108     </sect4>
4109
4110     <sect4 id="data-family-impexp-instances">
4111       <title>Instances</title>
4112       <para>
4113         Family instances are implicitly exported, just like class instances.
4114         However, this applies only to the heads of instances, not to the data
4115         constructors an instance defines. 
4116       </para>
4117     </sect4>
4118
4119   </sect3>
4120
4121 </sect2>
4122
4123 <sect2 id="synonym-families">
4124   <title>Synonym families</title>
4125
4126   <para>
4127     Type families appear in two flavours: (1) they can be defined on the
4128     toplevel or (2) they can appear inside type classes (in which case they
4129     are known as associated type synonyms).  The former is the more general
4130     variant, as it lacks the requirement for the type-indexes to coincide with
4131     the class parameters.  However, the latter can lead to more clearly
4132     structured code and compiler warnings if some type instances were -
4133     possibly accidentally - omitted.  In the following, we always discuss the
4134     general toplevel form first and then cover the additional constraints
4135     placed on associated types.
4136   </para>
4137
4138   <sect3 id="type-family-declarations">
4139     <title>Type family declarations</title>
4140
4141     <para>
4142       Indexed type families are introduced by a signature, such as 
4143 <programlisting>
4144 type family Elem c :: *
4145 </programlisting>
4146       The special <literal>family</literal> distinguishes family from standard
4147       type declarations.  The result kind annotation is optional and, as
4148       usual, defaults to <literal>*</literal> if omitted.  An example is 
4149 <programlisting>
4150 type family Elem c
4151 </programlisting>
4152       Parameters can also be given explicit kind signatures if needed.  We
4153       call the number of parameters in a type family declaration, the family's
4154       arity, and all applications of a type family must be fully saturated
4155       w.r.t. to that arity.  This requirement is unlike ordinary type synonyms
4156       and it implies that the kind of a type family is not sufficient to
4157       determine a family's arity, and hence in general, also insufficient to
4158       determine whether a type family application is well formed.  As an
4159       example, consider the following declaration: 
4160 <programlisting>
4161 type family F a b :: * -> *   -- F's arity is 2, 
4162                               -- although it's overall kind is * -> * -> * -> *
4163 </programlisting>
4164       Given this declaration the following are examples of well-formed and
4165       malformed types: 
4166 <programlisting>
4167 F Char [Int]       -- OK!  Kind: * -> *
4168 F Char [Int] Bool  -- OK!  Kind: *
4169 F IO Bool          -- WRONG: kind mismatch in the first argument
4170 F Bool             -- WRONG: unsaturated application
4171 </programlisting>
4172       </para>
4173
4174     <sect4 id="assoc-type-family-decl">
4175       <title>Associated type family declarations</title>
4176       <para>
4177         When a type family is declared as part of a type class, we drop
4178         the <literal>family</literal> special.  The <literal>Elem</literal>
4179         declaration takes the following form 
4180 <programlisting>
4181 class Collects ce where
4182   type Elem ce :: *
4183   ...
4184 </programlisting>
4185         The argument names of the type family must be class parameters.  Each
4186         class parameter may only be used at most once per associated type, but
4187         some may be omitted and they may be in an order other than in the
4188         class head.  Hence, the following contrived example is admissible: 
4189 <programlisting>
4190 class C a b c where
4191   type T c a :: *
4192 </programlisting>
4193         These rules are exactly as for associated data families.
4194       </para>
4195     </sect4>
4196   </sect3>
4197
4198   <sect3 id="type-instance-declarations">
4199     <title>Type instance declarations</title>
4200     <para>
4201       Instance declarations of type families are very similar to standard type
4202       synonym declarations.  The only two differences are that the
4203       keyword <literal>type</literal> is followed
4204       by <literal>instance</literal> and that some or all of the type
4205       arguments can be non-variable types, but may not contain forall types or
4206       type synonym families. However, data families are generally allowed, and
4207       type synonyms are allowed as long as they are fully applied and expand
4208       to a type that is admissible - these are the exact same requirements as
4209       for data instances.  For example, the <literal>[e]</literal> instance
4210       for <literal>Elem</literal> is 
4211 <programlisting>
4212 type instance Elem [e] = e
4213 </programlisting>
4214     </para>
4215     <para>
4216       Type family instance declarations are only legitimate when an
4217       appropriate family declaration is in scope - just like class instances
4218       require the class declaration to be visible.  Moreover, each instance
4219       declaration has to conform to the kind determined by its family
4220       declaration, and the number of type parameters in an instance
4221       declaration must match the number of type parameters in the family
4222       declaration.   Finally, the right-hand side of a type instance must be a
4223       monotype (i.e., it may not include foralls) and after the expansion of
4224       all saturated vanilla type synonyms, no synonyms, except family synonyms
4225       may remain.  Here are some examples of admissible and illegal type
4226       instances: 
4227 <programlisting>
4228 type family F a :: *
4229 type instance F [Int]              = Int         -- OK!
4230 type instance F String             = Char        -- OK!
4231 type instance F (F a)              = a           -- WRONG: type parameter mentions a type family
4232 type instance F (forall a. (a, b)) = b           -- WRONG: a forall type appears in a type parameter
4233 type instance F Float              = forall a.a  -- WRONG: right-hand side may not be a forall type
4234
4235 type family G a b :: * -> *
4236 type instance G Int            = (,)     -- WRONG: must be two type parameters
4237 type instance G Int Char Float = Double  -- WRONG: must be two type parameters
4238 </programlisting>
4239     </para>
4240
4241     <sect4 id="assoc-type-instance">
4242       <title>Associated type instance declarations</title>
4243       <para>
4244         When an associated family instance is declared within a type class
4245         instance, we drop the <literal>instance</literal> keyword in the family
4246         instance.  So, the <literal>[e]</literal> instance
4247         for <literal>Elem</literal> becomes: 
4248 <programlisting>
4249 instance (Eq (Elem [e])) => Collects ([e]) where
4250   type Elem [e] = e
4251   ...
4252 </programlisting>
4253         The most important point about associated family instances is that the
4254         type indexes corresponding to class parameters must be identical to the
4255         type given in the instance head; here this is <literal>[e]</literal>,
4256         which coincides with the only class parameter. 
4257       </para>
4258       <para>
4259         Instances for an associated family can only appear as part of  instances
4260         declarations of the class in which the family was declared - just as
4261         with the equations of the methods of a class.  Also in correspondence to
4262         how methods are handled, declarations of associated types can be omitted
4263         in class instances.  If an associated family instance is omitted, the
4264         corresponding instance type is not inhabited; i.e., only diverging
4265         expressions, such as <literal>undefined</literal>, can assume the type. 
4266       </para>
4267     </sect4>
4268
4269     <sect4 id="type-family-overlap">
4270       <title>Overlap of type synonym instances</title>
4271       <para>
4272         The instance declarations of a type family used in a single program
4273         may only overlap if the right-hand sides of the overlapping instances
4274         coincide for the overlapping types.  More formally, two instance
4275         declarations overlap if there is a substitution that makes the
4276         left-hand sides of the instances syntactically the same.  Whenever
4277         that is the case, the right-hand sides of the instances must also be
4278         syntactically equal under the same substitution.  This condition is
4279         independent of whether the type family is associated or not, and it is
4280         not only a matter of consistency, but one of type safety. 
4281       </para>
4282       <para>
4283         Here are two example to illustrate the condition under which overlap
4284         is permitted. 
4285 <programlisting>
4286 type instance F (a, Int) = [a]
4287 type instance F (Int, b) = [b]   -- overlap permitted
4288
4289 type instance G (a, Int)  = [a]
4290 type instance G (Char, a) = [a]  -- ILLEGAL overlap, as [Char] /= [Int]
4291 </programlisting>
4292       </para>
4293     </sect4>
4294
4295     <sect4 id="type-family-decidability">
4296       <title>Decidability of type synonym instances</title>
4297       <para>
4298         In order to guarantee that type inference in the presence of type
4299         families decidable, we need to place a number of additional
4300         restrictions on the formation of type instance declarations (c.f.,
4301         Definition 5 (Relaxed Conditions) of &ldquo;<ulink 
4302         url="http://www.cse.unsw.edu.au/~chak/papers/SPCS08.html">Type
4303           Checking with Open Type Functions</ulink>&rdquo;).  Instance
4304           declarations have the general form 
4305 <programlisting>
4306 type instance F t1 .. tn = t
4307 </programlisting>
4308         where we require that for every type family application <literal>(G s1
4309         .. sm)</literal> in <literal>t</literal>,  
4310         <orderedlist>
4311           <listitem>
4312             <para><literal>s1 .. sm</literal> do not contain any type family
4313             constructors,</para>
4314           </listitem>
4315           <listitem>
4316             <para>the total number of symbols (data type constructors and type
4317             variables) in <literal>s1 .. sm</literal> is strictly smaller than
4318             in <literal>t1 .. tn</literal>, and</para> 
4319           </listitem>
4320           <listitem>
4321             <para>for every type
4322             variable <literal>a</literal>, <literal>a</literal> occurs
4323             in <literal>s1 .. sm</literal> at most as often as in <literal>t1
4324             .. tn</literal>.</para>
4325           </listitem>
4326         </orderedlist>
4327         These restrictions are easily verified and ensure termination of type
4328         inference.  However, they are not sufficient to guarantee completeness
4329         of type inference in the presence of, so called, ''loopy equalities'',
4330         such as <literal>a ~ [F a]</literal>, where a recursive occurrence of
4331         a type variable is underneath a family application and data
4332         constructor application - see the above mentioned paper for details.   
4333       </para>
4334       <para>
4335         If the option <option>-XUndecidableInstances</option> is passed to the
4336         compiler, the above restrictions are not enforced and it is on the
4337         programmer to ensure termination of the normalisation of type families
4338         during type inference. 
4339       </para>
4340     </sect4>
4341   </sect3>
4342
4343   <sect3 id-="equality-constraints">
4344     <title>Equality constraints</title>
4345     <para>
4346       Type context can include equality constraints of the form <literal>t1 ~
4347       t2</literal>, which denote that the types <literal>t1</literal>
4348       and <literal>t2</literal> need to be the same.  In the presence of type
4349       families, whether two types are equal cannot generally be decided
4350       locally.  Hence, the contexts of function signatures may include
4351       equality constraints, as in the following example: 
4352 <programlisting>
4353 sumCollects :: (Collects c1, Collects c2, Elem c1 ~ Elem c2) => c1 -> c2 -> c2
4354 </programlisting>
4355       where we require that the element type of <literal>c1</literal>
4356       and <literal>c2</literal> are the same.  In general, the
4357       types <literal>t1</literal> and <literal>t2</literal> of an equality
4358       constraint may be arbitrary monotypes; i.e., they may not contain any
4359       quantifiers, independent of whether higher-rank types are otherwise
4360       enabled. 
4361     </para>
4362     <para>
4363       Equality constraints can also appear in class and instance contexts.
4364       The former enable a simple translation of programs using functional
4365       dependencies into programs using family synonyms instead.  The general
4366       idea is to rewrite a class declaration of the form 
4367 <programlisting>
4368 class C a b | a -> b
4369 </programlisting>
4370       to
4371 <programlisting>
4372 class (F a ~ b) => C a b where
4373   type F a
4374 </programlisting>
4375       That is, we represent every functional dependency (FD) <literal>a1 .. an
4376       -> b</literal> by an FD type family <literal>F a1 .. an</literal> and a
4377       superclass context equality <literal>F a1 .. an ~ b</literal>,
4378       essentially giving a name to the functional dependency.  In class
4379       instances, we define the type instances of FD families in accordance
4380       with the class head.  Method signatures are not affected by that
4381       process. 
4382     </para>
4383     <para>
4384       NB: Equalities in superclass contexts are not fully implemented in
4385       GHC 6.10. 
4386     </para>
4387   </sect3>
4388
4389   <sect3 id-="ty-fams-in-instances">
4390     <title>Type families and instance declarations</title>
4391     <para>Type families require us to extend the rules for 
4392       the form of instance heads, which are given 
4393       in <xref linkend="flexible-instance-head"/>.
4394       Specifically:
4395 <itemizedlist>
4396  <listitem><para>Data type families may appear in an instance head</para></listitem>
4397  <listitem><para>Type synonym families may not appear (at all) in an instance head</para></listitem>
4398 </itemizedlist>
4399 The reason for the latter restriction is that there is no way to check for. Consider
4400 <programlisting>
4401    type family F a
4402    type instance F Bool = Int
4403
4404    class C a
4405
4406    instance C Int
4407    instance C (F a)
4408 </programlisting>
4409 Now a constraint <literal>(C (F Bool))</literal> would match both instances.
4410 The situation is especially bad because the type instance for <literal>F Bool</literal>
4411 might be in another module, or even in a module that is not yet written.
4412 </para>
4413 </sect3>
4414 </sect2>
4415
4416 </sect1>
4417
4418 <sect1 id="other-type-extensions">
4419 <title>Other type system extensions</title>
4420
4421 <sect2 id="type-restrictions">
4422 <title>Type signatures</title>
4423
4424 <sect3 id="flexible-contexts"><title>The context of a type signature</title>
4425 <para>
4426 The <option>-XFlexibleContexts</option> flag lifts the Haskell 98 restriction
4427 that the type-class constraints in a type signature must have the 
4428 form <emphasis>(class type-variable)</emphasis> or
4429 <emphasis>(class (type-variable type-variable ...))</emphasis>. 
4430 With <option>-XFlexibleContexts</option>
4431 these type signatures are perfectly OK
4432 <programlisting>
4433   g :: Eq [a] => ...
4434   g :: Ord (T a ()) => ...
4435 </programlisting>
4436 </para>
4437 <para>
4438 GHC imposes the following restrictions on the constraints in a type signature.
4439 Consider the type:
4440
4441 <programlisting>
4442   forall tv1..tvn (c1, ...,cn) => type
4443 </programlisting>
4444
4445 (Here, we write the "foralls" explicitly, although the Haskell source
4446 language omits them; in Haskell 98, all the free type variables of an
4447 explicit source-language type signature are universally quantified,
4448 except for the class type variables in a class declaration.  However,
4449 in GHC, you can give the foralls if you want.  See <xref linkend="universal-quantification"/>).
4450 </para>
4451
4452 <para>
4453
4454 <orderedlist>
4455 <listitem>
4456
4457 <para>
4458  <emphasis>Each universally quantified type variable
4459 <literal>tvi</literal> must be reachable from <literal>type</literal></emphasis>.
4460
4461 A type variable <literal>a</literal> is "reachable" if it appears
4462 in the same constraint as either a type variable free in
4463 <literal>type</literal>, or another reachable type variable.  
4464 A value with a type that does not obey 
4465 this reachability restriction cannot be used without introducing
4466 ambiguity; that is why the type is rejected.
4467 Here, for example, is an illegal type:
4468
4469
4470 <programlisting>
4471   forall a. Eq a => Int
4472 </programlisting>
4473
4474
4475 When a value with this type was used, the constraint <literal>Eq tv</literal>
4476 would be introduced where <literal>tv</literal> is a fresh type variable, and
4477 (in the dictionary-translation implementation) the value would be
4478 applied to a dictionary for <literal>Eq tv</literal>.  The difficulty is that we
4479 can never know which instance of <literal>Eq</literal> to use because we never
4480 get any more information about <literal>tv</literal>.
4481 </para>
4482 <para>
4483 Note
4484 that the reachability condition is weaker than saying that <literal>a</literal> is
4485 functionally dependent on a type variable free in
4486 <literal>type</literal> (see <xref
4487 linkend="functional-dependencies"/>).  The reason for this is there
4488 might be a "hidden" dependency, in a superclass perhaps.  So
4489 "reachable" is a conservative approximation to "functionally dependent".
4490 For example, consider:
4491 <programlisting>
4492   class C a b | a -> b where ...
4493   class C a b => D a b where ...
4494   f :: forall a b. D a b => a -> a
4495 </programlisting>
4496 This is fine, because in fact <literal>a</literal> does functionally determine <literal>b</literal>
4497 but that is not immediately apparent from <literal>f</literal>'s type.
4498 </para>
4499 </listitem>
4500 <listitem>
4501
4502 <para>
4503  <emphasis>Every constraint <literal>ci</literal> must mention at least one of the
4504 universally quantified type variables <literal>tvi</literal></emphasis>.
4505
4506 For example, this type is OK because <literal>C a b</literal> mentions the
4507 universally quantified type variable <literal>b</literal>:
4508
4509
4510 <programlisting>
4511   forall a. C a b => burble
4512 </programlisting>
4513
4514
4515 The next type is illegal because the constraint <literal>Eq b</literal> does not
4516 mention <literal>a</literal>:
4517
4518
4519 <programlisting>
4520   forall a. Eq b => burble
4521 </programlisting>
4522
4523
4524 The reason for this restriction is milder than the other one.  The
4525 excluded types are never useful or necessary (because the offending
4526 context doesn't need to be witnessed at this point; it can be floated
4527 out).  Furthermore, floating them out increases sharing. Lastly,
4528 excluding them is a conservative choice; it leaves a patch of
4529 territory free in case we need it later.
4530
4531 </para>
4532 </listitem>
4533
4534 </orderedlist>
4535
4536 </para>
4537 </sect3>
4538
4539
4540
4541 </sect2>
4542
4543 <sect2 id="implicit-parameters">
4544 <title>Implicit parameters</title>
4545
4546 <para> Implicit parameters are implemented as described in 
4547 "Implicit parameters: dynamic scoping with static types", 
4548 J Lewis, MB Shields, E Meijer, J Launchbury,
4549 27th ACM Symposium on Principles of Programming Languages (POPL'00),
4550 Boston, Jan 2000.
4551 </para>
4552
4553 <para>(Most of the following, still rather incomplete, documentation is
4554 due to Jeff Lewis.)</para>
4555
4556 <para>Implicit parameter support is enabled with the option
4557 <option>-XImplicitParams</option>.</para>
4558
4559 <para>
4560 A variable is called <emphasis>dynamically bound</emphasis> when it is bound by the calling
4561 context of a function and <emphasis>statically bound</emphasis> when bound by the callee's
4562 context. In Haskell, all variables are statically bound. Dynamic
4563 binding of variables is a notion that goes back to Lisp, but was later
4564 discarded in more modern incarnations, such as Scheme. Dynamic binding
4565 can be very confusing in an untyped language, and unfortunately, typed
4566 languages, in particular Hindley-Milner typed languages like Haskell,
4567 only support static scoping of variables.
4568 </para>
4569 <para>
4570 However, by a simple extension to the type class system of Haskell, we
4571 can support dynamic binding. Basically, we express the use of a
4572 dynamically bound variable as a constraint on the type. These
4573 constraints lead to types of the form <literal>(?x::t') => t</literal>, which says "this
4574 function uses a dynamically-bound variable <literal>?x</literal> 
4575 of type <literal>t'</literal>". For
4576 example, the following expresses the type of a sort function,
4577 implicitly parameterized by a comparison function named <literal>cmp</literal>.
4578 <programlisting>
4579   sort :: (?cmp :: a -> a -> Bool) => [a] -> [a]
4580 </programlisting>
4581 The dynamic binding constraints are just a new form of predicate in the type class system.
4582 </para>
4583 <para>
4584 An implicit parameter occurs in an expression using the special form <literal>?x</literal>, 
4585 where <literal>x</literal> is
4586 any valid identifier (e.g. <literal>ord ?x</literal> is a valid expression). 
4587 Use of this construct also introduces a new
4588 dynamic-binding constraint in the type of the expression. 
4589 For example, the following definition
4590 shows how we can define an implicitly parameterized sort function in
4591 terms of an explicitly parameterized <literal>sortBy</literal> function:
4592 <programlisting>
4593   sortBy :: (a -> a -> Bool) -> [a] -> [a]
4594
4595   sort   :: (?cmp :: a -> a -> Bool) => [a] -> [a]
4596   sort    = sortBy ?cmp
4597 </programlisting>
4598 </para>
4599
4600 <sect3>
4601 <title>Implicit-parameter type constraints</title>
4602 <para>
4603 Dynamic binding constraints behave just like other type class
4604 constraints in that they are automatically propagated. Thus, when a
4605 function is used, its implicit parameters are inherited by the
4606 function that called it. For example, our <literal>sort</literal> function might be used
4607 to pick out the least value in a list:
4608 <programlisting>
4609   least   :: (?cmp :: a -> a -> Bool) => [a] -> a
4610   least xs = head (sort xs)
4611 </programlisting>
4612 Without lifting a finger, the <literal>?cmp</literal> parameter is
4613 propagated to become a parameter of <literal>least</literal> as well. With explicit
4614 parameters, the default is that parameters must always be explicit
4615 propagated. With implicit parameters, the default is to always
4616 propagate them.
4617 </para>
4618 <para>
4619 An implicit-parameter type constraint differs from other type class constraints in the
4620 following way: All uses of a particular implicit parameter must have
4621 the same type. This means that the type of <literal>(?x, ?x)</literal> 
4622 is <literal>(?x::a) => (a,a)</literal>, and not 
4623 <literal>(?x::a, ?x::b) => (a, b)</literal>, as would be the case for type
4624 class constraints.
4625 </para>
4626
4627 <para> You can't have an implicit parameter in the context of a class or instance
4628 declaration.  For example, both these declarations are illegal:
4629 <programlisting>
4630   class (?x::Int) => C a where ...
4631   instance (?x::a) => Foo [a] where ...
4632 </programlisting>
4633 Reason: exactly which implicit parameter you pick up depends on exactly where
4634 you invoke a function. But the ``invocation'' of instance declarations is done
4635 behind the scenes by the compiler, so it's hard to figure out exactly where it is done.
4636 Easiest thing is to outlaw the offending types.</para>
4637 <para>
4638 Implicit-parameter constraints do not cause ambiguity.  For example, consider:
4639 <programlisting>
4640    f :: (?x :: [a]) => Int -> Int
4641    f n = n + length ?x
4642
4643    g :: (Read a, Show a) => String -> String
4644    g s = show (read s)
4645 </programlisting>
4646 Here, <literal>g</literal> has an ambiguous type, and is rejected, but <literal>f</literal>
4647 is fine.  The binding for <literal>?x</literal> at <literal>f</literal>'s call site is 
4648 quite unambiguous, and fixes the type <literal>a</literal>.
4649 </para>
4650 </sect3>
4651
4652 <sect3>
4653 <title>Implicit-parameter bindings</title>
4654
4655 <para>
4656 An implicit parameter is <emphasis>bound</emphasis> using the standard
4657 <literal>let</literal> or <literal>where</literal> binding forms.
4658 For example, we define the <literal>min</literal> function by binding
4659 <literal>cmp</literal>.
4660 <programlisting>
4661   min :: [a] -> a
4662   min  = let ?cmp = (&lt;=) in least
4663 </programlisting>
4664 </para>
4665 <para>
4666 A group of implicit-parameter bindings may occur anywhere a normal group of Haskell
4667 bindings can occur, except at top level.  That is, they can occur in a <literal>let</literal> 
4668 (including in a list comprehension, or do-notation, or pattern guards), 
4669 or a <literal>where</literal> clause.
4670 Note the following points:
4671 <itemizedlist>
4672 <listitem><para>
4673 An implicit-parameter binding group must be a
4674 collection of simple bindings to implicit-style variables (no
4675 function-style bindings, and no type signatures); these bindings are
4676 neither polymorphic or recursive.  
4677 </para></listitem>
4678 <listitem><para>
4679 You may not mix implicit-parameter bindings with ordinary bindings in a 
4680 single <literal>let</literal>
4681 expression; use two nested <literal>let</literal>s instead.
4682 (In the case of <literal>where</literal> you are stuck, since you can't nest <literal>where</literal> clauses.)
4683 </para></listitem>
4684
4685 <listitem><para>
4686 You may put multiple implicit-parameter bindings in a
4687 single binding group; but they are <emphasis>not</emphasis> treated
4688 as a mutually recursive group (as ordinary <literal>let</literal> bindings are).
4689 Instead they are treated as a non-recursive group, simultaneously binding all the implicit
4690 parameter.  The bindings are not nested, and may be re-ordered without changing
4691 the meaning of the program.
4692 For example, consider:
4693 <programlisting>
4694   f t = let { ?x = t; ?y = ?x+(1::Int) } in ?x + ?y
4695 </programlisting>
4696 The use of <literal>?x</literal> in the binding for <literal>?y</literal> does not "see"
4697 the binding for <literal>?x</literal>, so the type of <literal>f</literal> is
4698 <programlisting>
4699   f :: (?x::Int) => Int -> Int
4700 </programlisting>
4701 </para></listitem>
4702 </itemizedlist>
4703 </para>
4704
4705 </sect3>
4706
4707 <sect3><title>Implicit parameters and polymorphic recursion</title>
4708
4709 <para>
4710 Consider these two definitions:
4711 <programlisting>
4712   len1 :: [a] -> Int
4713   len1 xs = let ?acc = 0 in len_acc1 xs
4714
4715   len_acc1 [] = ?acc
4716   len_acc1 (x:xs) = let ?acc = ?acc + (1::Int) in len_acc1 xs
4717
4718   ------------
4719
4720   len2 :: [a] -> Int
4721   len2 xs = let ?acc = 0 in len_acc2 xs
4722
4723   len_acc2 :: (?acc :: Int) => [a] -> Int
4724   len_acc2 [] = ?acc
4725   len_acc2 (x:xs) = let ?acc = ?acc + (1::Int) in len_acc2 xs
4726 </programlisting>
4727 The only difference between the two groups is that in the second group
4728 <literal>len_acc</literal> is given a type signature.
4729 In the former case, <literal>len_acc1</literal> is monomorphic in its own
4730 right-hand side, so the implicit parameter <literal>?acc</literal> is not
4731 passed to the recursive call.  In the latter case, because <literal>len_acc2</literal>
4732 has a type signature, the recursive call is made to the
4733 <emphasis>polymorphic</emphasis> version, which takes <literal>?acc</literal>
4734 as an implicit parameter.  So we get the following results in GHCi:
4735 <programlisting>
4736   Prog> len1 "hello"
4737   0
4738   Prog> len2 "hello"
4739   5
4740 </programlisting>
4741 Adding a type signature dramatically changes the result!  This is a rather
4742 counter-intuitive phenomenon, worth watching out for.
4743 </para>
4744 </sect3>
4745
4746 <sect3><title>Implicit parameters and monomorphism</title>
4747
4748 <para>GHC applies the dreaded Monomorphism Restriction (section 4.5.5 of the
4749 Haskell Report) to implicit parameters.  For example, consider:
4750 <programlisting>
4751  f :: Int -> Int
4752   f v = let ?x = 0     in
4753         let y = ?x + v in
4754         let ?x = 5     in
4755         y
4756 </programlisting>
4757 Since the binding for <literal>y</literal> falls under the Monomorphism
4758 Restriction it is not generalised, so the type of <literal>y</literal> is
4759 simply <literal>Int</literal>, not <literal>(?x::Int) => Int</literal>.
4760 Hence, <literal>(f 9)</literal> returns result <literal>9</literal>.
4761 If you add a type signature for <literal>y</literal>, then <literal>y</literal>
4762 will get type <literal>(?x::Int) => Int</literal>, so the occurrence of
4763 <literal>y</literal> in the body of the <literal>let</literal> will see the
4764 inner binding of <literal>?x</literal>, so <literal>(f 9)</literal> will return
4765 <literal>14</literal>.
4766 </para>
4767 </sect3>
4768 </sect2>
4769
4770     <!--   ======================= COMMENTED OUT ========================
4771
4772     We intend to remove linear implicit parameters, so I'm at least removing
4773     them from the 6.6 user manual
4774
4775 <sect2 id="linear-implicit-parameters">
4776 <title>Linear implicit parameters</title>
4777 <para>
4778 Linear implicit parameters are an idea developed by Koen Claessen,
4779 Mark Shields, and Simon PJ.  They address the long-standing
4780 problem that monads seem over-kill for certain sorts of problem, notably:
4781 </para>
4782 <itemizedlist>
4783 <listitem> <para> distributing a supply of unique names </para> </listitem>
4784 <listitem> <para> distributing a supply of random numbers </para> </listitem>
4785 <listitem> <para> distributing an oracle (as in QuickCheck) </para> </listitem>
4786 </itemizedlist>
4787
4788 <para>
4789 Linear implicit parameters are just like ordinary implicit parameters,
4790 except that they are "linear"; that is, they cannot be copied, and
4791 must be explicitly "split" instead.  Linear implicit parameters are
4792 written '<literal>%x</literal>' instead of '<literal>?x</literal>'.  
4793 (The '/' in the '%' suggests the split!)
4794 </para>
4795 <para>
4796 For example:
4797 <programlisting>
4798     import GHC.Exts( Splittable )
4799
4800     data NameSupply = ...
4801     
4802     splitNS :: NameSupply -> (NameSupply, NameSupply)
4803     newName :: NameSupply -> Name
4804
4805     instance Splittable NameSupply where
4806         split = splitNS
4807
4808
4809     f :: (%ns :: NameSupply) => Env -> Expr -> Expr
4810     f env (Lam x e) = Lam x' (f env e)
4811                     where
4812                       x'   = newName %ns
4813                       env' = extend env x x'
4814     ...more equations for f...
4815 </programlisting>
4816 Notice that the implicit parameter %ns is consumed 
4817 <itemizedlist>
4818 <listitem> <para> once by the call to <literal>newName</literal> </para> </listitem>
4819 <listitem> <para> once by the recursive call to <literal>f</literal> </para></listitem>
4820 </itemizedlist>
4821 </para>
4822 <para>
4823 So the translation done by the type checker makes
4824 the parameter explicit:
4825 <programlisting>
4826     f :: NameSupply -> Env -> Expr -> Expr
4827     f ns env (Lam x e) = Lam x' (f ns1 env e)
4828                        where
4829                          (ns1,ns2) = splitNS ns
4830                          x' = newName ns2
4831                          env = extend env x x'
4832 </programlisting>
4833 Notice the call to 'split' introduced by the type checker.
4834 How did it know to use 'splitNS'?  Because what it really did
4835 was to introduce a call to the overloaded function 'split',
4836 defined by the class <literal>Splittable</literal>:
4837 <programlisting>
4838         class Splittable a where
4839           split :: a -> (a,a)
4840 </programlisting>
4841 The instance for <literal>Splittable NameSupply</literal> tells GHC how to implement
4842 split for name supplies.  But we can simply write
4843 <programlisting>
4844         g x = (x, %ns, %ns)
4845 </programlisting>
4846 and GHC will infer
4847 <programlisting>
4848         g :: (Splittable a, %ns :: a) => b -> (b,a,a)
4849 </programlisting>
4850 The <literal>Splittable</literal> class is built into GHC.  It's exported by module 
4851 <literal>GHC.Exts</literal>.
4852 </para>
4853 <para>
4854 Other points:
4855 <itemizedlist>
4856 <listitem> <para> '<literal>?x</literal>' and '<literal>%x</literal>' 
4857 are entirely distinct implicit parameters: you 
4858   can use them together and they won't interfere with each other. </para>
4859 </listitem>
4860
4861 <listitem> <para> You can bind linear implicit parameters in 'with' clauses. </para> </listitem>
4862
4863 <listitem> <para>You cannot have implicit parameters (whether linear or not)
4864   in the context of a class or instance declaration. </para></listitem>
4865 </itemizedlist>
4866 </para>
4867
4868 <sect3><title>Warnings</title>
4869
4870 <para>
4871 The monomorphism restriction is even more important than usual.
4872 Consider the example above:
4873 <programlisting>
4874     f :: (%ns :: NameSupply) => Env -> Expr -> Expr
4875     f env (Lam x e) = Lam x' (f env e)
4876                     where
4877                       x'   = newName %ns
4878                       env' = extend env x x'
4879 </programlisting>
4880 If we replaced the two occurrences of x' by (newName %ns), which is
4881 usually a harmless thing to do, we get:
4882 <programlisting>
4883     f :: (%ns :: NameSupply) => Env -> Expr -> Expr
4884     f env (Lam x e) = Lam (newName %ns) (f env e)
4885                     where
4886                       env' = extend env x (newName %ns)
4887 </programlisting>
4888 But now the name supply is consumed in <emphasis>three</emphasis> places
4889 (the two calls to newName,and the recursive call to f), so
4890 the result is utterly different.  Urk!  We don't even have 
4891 the beta rule.
4892 </para>
4893 <para>
4894 Well, this is an experimental change.  With implicit
4895 parameters we have already lost beta reduction anyway, and
4896 (as John Launchbury puts it) we can't sensibly reason about
4897 Haskell programs without knowing their typing.
4898 </para>
4899
4900 </sect3>
4901
4902 <sect3><title>Recursive functions</title>
4903 <para>Linear implicit parameters can be particularly tricky when you have a recursive function
4904 Consider
4905 <programlisting>
4906         foo :: %x::T => Int -> [Int]
4907         foo 0 = []
4908         foo n = %x : foo (n-1)
4909 </programlisting>
4910 where T is some type in class Splittable.</para>
4911 <para>
4912 Do you get a list of all the same T's or all different T's
4913 (assuming that split gives two distinct T's back)?
4914 </para><para>
4915 If you supply the type signature, taking advantage of polymorphic
4916 recursion, you get what you'd probably expect.  Here's the
4917 translated term, where the implicit param is made explicit:
4918 <programlisting>
4919         foo x 0 = []
4920         foo x n = let (x1,x2) = split x
4921                   in x1 : foo x2 (n-1)
4922 </programlisting>
4923 But if you don't supply a type signature, GHC uses the Hindley
4924 Milner trick of using a single monomorphic instance of the function
4925 for the recursive calls. That is what makes Hindley Milner type inference
4926 work.  So the translation becomes
4927 <programlisting>
4928         foo x = let
4929                   foom 0 = []
4930                   foom n = x : foom (n-1)
4931                 in
4932                 foom
4933 </programlisting>
4934 Result: 'x' is not split, and you get a list of identical T's.  So the
4935 semantics of the program depends on whether or not foo has a type signature.
4936 Yikes!
4937 </para><para>
4938 You may say that this is a good reason to dislike linear implicit parameters
4939 and you'd be right.  That is why they are an experimental feature. 
4940 </para>
4941 </sect3>
4942
4943 </sect2>
4944
4945 ================ END OF Linear Implicit Parameters commented out -->
4946
4947 <sect2 id="kinding">
4948 <title>Explicitly-kinded quantification</title>
4949
4950 <para>
4951 Haskell infers the kind of each type variable.  Sometimes it is nice to be able
4952 to give the kind explicitly as (machine-checked) documentation, 
4953 just as it is nice to give a type signature for a function.  On some occasions,
4954 it is essential to do so.  For example, in his paper "Restricted Data Types in Haskell" (Haskell Workshop 1999)
4955 John Hughes had to define the data type:
4956 <screen>
4957      data Set cxt a = Set [a]
4958                     | Unused (cxt a -> ())
4959 </screen>
4960 The only use for the <literal>Unused</literal> constructor was to force the correct
4961 kind for the type variable <literal>cxt</literal>.
4962 </para>
4963 <para>
4964 GHC now instead allows you to specify the kind of a type variable directly, wherever
4965 a type variable is explicitly bound, with the flag <option>-XKindSignatures</option>.
4966 </para>
4967 <para>
4968 This flag enables kind signatures in the following places:
4969 <itemizedlist>
4970 <listitem><para><literal>data</literal> declarations:
4971 <screen>
4972   data Set (cxt :: * -> *) a = Set [a]
4973 </screen></para></listitem>
4974 <listitem><para><literal>type</literal> declarations:
4975 <screen>
4976   type T (f :: * -> *) = f Int
4977 </screen></para></listitem>
4978 <listitem><para><literal>class</literal> declarations:
4979 <screen>
4980   class (Eq a) => C (f :: * -> *) a where ...
4981 </screen></para></listitem>
4982 <listitem><para><literal>forall</literal>'s in type signatures:
4983 <screen>
4984   f :: forall (cxt :: * -> *). Set cxt Int
4985 </screen></para></listitem>
4986 </itemizedlist>
4987 </para>
4988
4989 <para>
4990 The parentheses are required.  Some of the spaces are required too, to
4991 separate the lexemes.  If you write <literal>(f::*->*)</literal> you
4992 will get a parse error, because "<literal>::*->*</literal>" is a
4993 single lexeme in Haskell.
4994 </para>
4995
4996 <para>
4997 As part of the same extension, you can put kind annotations in types
4998 as well.  Thus:
4999 <screen>
5000    f :: (Int :: *) -> Int
5001    g :: forall a. a -> (a :: *)
5002 </screen>
5003 The syntax is
5004 <screen>
5005    atype ::= '(' ctype '::' kind ')
5006 </screen>
5007 The parentheses are required.
5008 </para>
5009 </sect2>
5010
5011
5012 <sect2 id="universal-quantification">
5013 <title>Arbitrary-rank polymorphism
5014 </title>
5015
5016 <para>
5017 Haskell type signatures are implicitly quantified.  The new keyword <literal>forall</literal>
5018 allows us to say exactly what this means.  For example:
5019 </para>
5020 <para>
5021 <programlisting>
5022         g :: b -> b
5023 </programlisting>
5024 means this:
5025 <programlisting>
5026         g :: forall b. (b -> b)
5027 </programlisting>
5028 The two are treated identically.
5029 </para>
5030
5031 <para>
5032 However, GHC's type system supports <emphasis>arbitrary-rank</emphasis> 
5033 explicit universal quantification in
5034 types. 
5035 For example, all the following types are legal:
5036 <programlisting>
5037     f1 :: forall a b. a -> b -> a
5038     g1 :: forall a b. (Ord a, Eq  b) => a -> b -> a
5039
5040     f2 :: (forall a. a->a) -> Int -> Int
5041     g2 :: (forall a. Eq a => [a] -> a -> Bool) -> Int -> Int
5042
5043     f3 :: ((forall a. a->a) -> Int) -> Bool -> Bool
5044
5045     f4 :: Int -> (forall a. a -> a)
5046 </programlisting>
5047 Here, <literal>f1</literal> and <literal>g1</literal> are rank-1 types, and
5048 can be written in standard Haskell (e.g. <literal>f1 :: a->b->a</literal>).
5049 The <literal>forall</literal> makes explicit the universal quantification that
5050 is implicitly added by Haskell.
5051 </para>
5052 <para>
5053 The functions <literal>f2</literal> and <literal>g2</literal> have rank-2 types;
5054 the <literal>forall</literal> is on the left of a function arrow.  As <literal>g2</literal>
5055 shows, the polymorphic type on the left of the function arrow can be overloaded.
5056 </para>
5057 <para>
5058 The function <literal>f3</literal> has a rank-3 type;
5059 it has rank-2 types on the left of a function arrow.
5060 </para>
5061 <para>
5062 GHC has three flags to control higher-rank types:
5063 <itemizedlist>
5064 <listitem><para>
5065  <option>-XPolymorphicComponents</option>: data constructors (only) can have polymorphic argument types.
5066 </para></listitem>
5067 <listitem><para>
5068  <option>-XRank2Types</option>: any function (including data constructors) can have a rank-2 type.
5069 </para></listitem>
5070 <listitem><para>
5071  <option>-XRankNTypes</option>: any function (including data constructors) can have an arbitrary-rank type.
5072 That is,  you can nest <literal>forall</literal>s
5073 arbitrarily deep in function arrows.
5074 In particular, a forall-type (also called a "type scheme"),
5075 including an operational type class context, is legal:
5076 <itemizedlist>
5077 <listitem> <para> On the left or right (see <literal>f4</literal>, for example)
5078 of a function arrow </para> </listitem>
5079 <listitem> <para> As the argument of a constructor, or type of a field, in a data type declaration. For
5080 example, any of the <literal>f1,f2,f3,g1,g2</literal> above would be valid
5081 field type signatures.</para> </listitem>
5082 <listitem> <para> As the type of an implicit parameter </para> </listitem>
5083 <listitem> <para> In a pattern type signature (see <xref linkend="scoped-type-variables"/>) </para> </listitem>
5084 </itemizedlist>
5085 </para></listitem>
5086 </itemizedlist>
5087 Of course <literal>forall</literal> becomes a keyword; you can't use <literal>forall</literal> as
5088 a type variable any more!
5089 </para>
5090
5091
5092 <sect3 id="univ">
5093 <title>Examples
5094 </title>
5095
5096 <para>
5097 In a <literal>data</literal> or <literal>newtype</literal> declaration one can quantify
5098 the types of the constructor arguments.  Here are several examples:
5099 </para>
5100
5101 <para>
5102
5103 <programlisting>
5104 data T a = T1 (forall b. b -> b -> b) a
5105
5106 data MonadT m = MkMonad { return :: forall a. a -> m a,
5107                           bind   :: forall a b. m a -> (a -> m b) -> m b
5108                         }
5109
5110 newtype Swizzle = MkSwizzle (Ord a => [a] -> [a])
5111 </programlisting>
5112
5113 </para>
5114
5115 <para>
5116 The constructors have rank-2 types:
5117 </para>
5118
5119 <para>
5120
5121 <programlisting>
5122 T1 :: forall a. (forall b. b -> b -> b) -> a -> T a
5123 MkMonad :: forall m. (forall a. a -> m a)
5124                   -> (forall a b. m a -> (a -> m b) -> m b)
5125                   -> MonadT m
5126 MkSwizzle :: (Ord a => [a] -> [a]) -> Swizzle
5127 </programlisting>
5128
5129 </para>
5130
5131 <para>
5132 Notice that you don't need to use a <literal>forall</literal> if there's an
5133 explicit context.  For example in the first argument of the
5134 constructor <function>MkSwizzle</function>, an implicit "<literal>forall a.</literal>" is
5135 prefixed to the argument type.  The implicit <literal>forall</literal>
5136 quantifies all type variables that are not already in scope, and are
5137 mentioned in the type quantified over.
5138 </para>
5139
5140 <para>
5141 As for type signatures, implicit quantification happens for non-overloaded
5142 types too.  So if you write this:
5143
5144 <programlisting>
5145   data T a = MkT (Either a b) (b -> b)
5146 </programlisting>
5147
5148 it's just as if you had written this:
5149
5150 <programlisting>
5151   data T a = MkT (forall b. Either a b) (forall b. b -> b)
5152 </programlisting>
5153
5154 That is, since the type variable <literal>b</literal> isn't in scope, it's
5155 implicitly universally quantified.  (Arguably, it would be better
5156 to <emphasis>require</emphasis> explicit quantification on constructor arguments
5157 where that is what is wanted.  Feedback welcomed.)
5158 </para>
5159
5160 <para>
5161 You construct values of types <literal>T1, MonadT, Swizzle</literal> by applying
5162 the constructor to suitable values, just as usual.  For example,
5163 </para>
5164
5165 <para>
5166
5167 <programlisting>
5168     a1 :: T Int
5169     a1 = T1 (\xy->x) 3
5170     
5171     a2, a3 :: Swizzle
5172     a2 = MkSwizzle sort
5173     a3 = MkSwizzle reverse
5174     
5175     a4 :: MonadT Maybe
5176     a4 = let r x = Just x
5177              b m k = case m of
5178                        Just y -> k y
5179                        Nothing -> Nothing
5180          in
5181          MkMonad r b
5182
5183     mkTs :: (forall b. b -> b -> b) -> a -> [T a]
5184     mkTs f x y = [T1 f x, T1 f y]
5185 </programlisting>
5186
5187 </para>
5188
5189 <para>
5190 The type of the argument can, as usual, be more general than the type
5191 required, as <literal>(MkSwizzle reverse)</literal> shows.  (<function>reverse</function>
5192 does not need the <literal>Ord</literal> constraint.)
5193 </para>
5194
5195 <para>
5196 When you use pattern matching, the bound variables may now have
5197 polymorphic types.  For example:
5198 </para>
5199
5200 <para>
5201
5202 <programlisting>
5203     f :: T a -> a -> (a, Char)
5204     f (T1 w k) x = (w k x, w 'c' 'd')
5205
5206     g :: (Ord a, Ord b) => Swizzle -> [a] -> (a -> b) -> [b]
5207     g (MkSwizzle s) xs f = s (map f (s xs))
5208
5209     h :: MonadT m -> [m a] -> m [a]
5210     h m [] = return m []
5211     h m (x:xs) = bind m x          $ \y ->
5212                  bind m (h m xs)   $ \ys ->
5213                  return m (y:ys)
5214 </programlisting>
5215
5216 </para>
5217
5218 <para>
5219 In the function <function>h</function> we use the record selectors <literal>return</literal>
5220 and <literal>bind</literal> to extract the polymorphic bind and return functions
5221 from the <literal>MonadT</literal> data structure, rather than using pattern
5222 matching.
5223 </para>
5224 </sect3>
5225
5226 <sect3>
5227 <title>Type inference</title>
5228
5229 <para>
5230 In general, type inference for arbitrary-rank types is undecidable.
5231 GHC uses an algorithm proposed by Odersky and Laufer ("Putting type annotations to work", POPL'96)
5232 to get a decidable algorithm by requiring some help from the programmer.
5233 We do not yet have a formal specification of "some help" but the rule is this:
5234 </para>
5235 <para>
5236 <emphasis>For a lambda-bound or case-bound variable, x, either the programmer
5237 provides an explicit polymorphic type for x, or GHC's type inference will assume
5238 that x's type has no foralls in it</emphasis>.
5239 </para>
5240 <para>
5241 What does it mean to "provide" an explicit type for x?  You can do that by 
5242 giving a type signature for x directly, using a pattern type signature
5243 (<xref linkend="scoped-type-variables"/>), thus:
5244 <programlisting>
5245      \ f :: (forall a. a->a) -> (f True, f 'c')
5246 </programlisting>
5247 Alternatively, you can give a type signature to the enclosing
5248 context, which GHC can "push down" to find the type for the variable:
5249 <programlisting>
5250      (\ f -> (f True, f 'c')) :: (forall a. a->a) -> (Bool,Char)
5251 </programlisting>
5252 Here the type signature on the expression can be pushed inwards
5253 to give a type signature for f.  Similarly, and more commonly,
5254 one can give a type signature for the function itself:
5255 <programlisting>
5256      h :: (forall a. a->a) -> (Bool,Char)
5257      h f = (f True, f 'c')
5258 </programlisting>
5259 You don't need to give a type signature if the lambda bound variable
5260 is a constructor argument.  Here is an example we saw earlier:
5261 <programlisting>
5262     f :: T a -> a -> (a, Char)
5263     f (T1 w k) x = (w k x, w 'c' 'd')
5264 </programlisting>
5265 Here we do not need to give a type signature to <literal>w</literal>, because
5266 it is an argument of constructor <literal>T1</literal> and that tells GHC all
5267 it needs to know.
5268 </para>
5269
5270 </sect3>
5271
5272
5273 <sect3 id="implicit-quant">
5274 <title>Implicit quantification</title>
5275
5276 <para>
5277 GHC performs implicit quantification as follows.  <emphasis>At the top level (only) of 
5278 user-written types, if and only if there is no explicit <literal>forall</literal>,
5279 GHC finds all the type variables mentioned in the type that are not already
5280 in scope, and universally quantifies them.</emphasis>  For example, the following pairs are 
5281 equivalent:
5282 <programlisting>
5283   f :: a -> a
5284   f :: forall a. a -> a
5285
5286   g (x::a) = let
5287                 h :: a -> b -> b
5288                 h x y = y
5289              in ...
5290   g (x::a) = let
5291                 h :: forall b. a -> b -> b
5292                 h x y = y
5293              in ...
5294 </programlisting>
5295 </para>
5296 <para>
5297 Notice that GHC does <emphasis>not</emphasis> find the innermost possible quantification
5298 point.  For example:
5299 <programlisting>
5300   f :: (a -> a) -> Int
5301            -- MEANS
5302   f :: forall a. (a -> a) -> Int
5303            -- NOT
5304   f :: (forall a. a -> a) -> Int
5305
5306
5307   g :: (Ord a => a -> a) -> Int
5308            -- MEANS the illegal type
5309   g :: forall a. (Ord a => a -> a) -> Int
5310            -- NOT
5311   g :: (forall a. Ord a => a -> a) -> Int
5312 </programlisting>
5313 The latter produces an illegal type, which you might think is silly,
5314 but at least the rule is simple.  If you want the latter type, you
5315 can write your for-alls explicitly.  Indeed, doing so is strongly advised
5316 for rank-2 types.
5317 </para>
5318 </sect3>
5319 </sect2>
5320
5321
5322 <sect2 id="impredicative-polymorphism">
5323 <title>Impredicative polymorphism
5324 </title>
5325 <para>GHC supports <emphasis>impredicative polymorphism</emphasis>, 
5326 enabled with <option>-XImpredicativeTypes</option>.  
5327 This means
5328 that you can call a polymorphic function at a polymorphic type, and
5329 parameterise data structures over polymorphic types.  For example:
5330 <programlisting>
5331   f :: Maybe (forall a. [a] -> [a]) -> Maybe ([Int], [Char])
5332   f (Just g) = Just (g [3], g "hello")
5333   f Nothing  = Nothing
5334 </programlisting>
5335 Notice here that the <literal>Maybe</literal> type is parameterised by the
5336 <emphasis>polymorphic</emphasis> type <literal>(forall a. [a] ->
5337 [a])</literal>.
5338 </para>
5339 <para>The technical details of this extension are described in the paper
5340 <ulink url="http://research.microsoft.com/%7Esimonpj/papers/boxy/">Boxy types:
5341 type inference for higher-rank types and impredicativity</ulink>,
5342 which appeared at ICFP 2006.  
5343 </para>
5344 </sect2>
5345
5346 <sect2 id="scoped-type-variables">
5347 <title>Lexically scoped type variables
5348 </title>
5349
5350 <para>
5351 GHC supports <emphasis>lexically scoped type variables</emphasis>, without
5352 which some type signatures are simply impossible to write. For example:
5353 <programlisting>
5354 f :: forall a. [a] -> [a]
5355 f xs = ys ++ ys
5356      where
5357        ys :: [a]
5358        ys = reverse xs
5359 </programlisting>
5360 The type signature for <literal>f</literal> brings the type variable <literal>a</literal> into scope,
5361 because of the explicit <literal>forall</literal> (<xref linkend="decl-type-sigs"/>).
5362 The type variables bound by a <literal>forall</literal> scope over
5363 the entire definition of the accompanying value declaration.
5364 In this example, the type variable <literal>a</literal> scopes over the whole 
5365 definition of <literal>f</literal>, including over
5366 the type signature for <varname>ys</varname>. 
5367 In Haskell 98 it is not possible to declare
5368 a type for <varname>ys</varname>; a major benefit of scoped type variables is that
5369 it becomes possible to do so.
5370 </para>
5371 <para>Lexically-scoped type variables are enabled by
5372 <option>-XScopedTypeVariables</option>.  This flag implies <option>-XRelaxedPolyRec</option>.
5373 </para>
5374 <para>Note: GHC 6.6 contains substantial changes to the way that scoped type
5375 variables work, compared to earlier releases.  Read this section
5376 carefully!</para>
5377
5378 <sect3>
5379 <title>Overview</title>
5380
5381 <para>The design follows the following principles
5382 <itemizedlist>
5383 <listitem><para>A scoped type variable stands for a type <emphasis>variable</emphasis>, and not for
5384 a <emphasis>type</emphasis>. (This is a change from GHC's earlier
5385 design.)</para></listitem>
5386 <listitem><para>Furthermore, distinct lexical type variables stand for distinct
5387 type variables.  This means that every programmer-written type signature
5388 (including one that contains free scoped type variables) denotes a
5389 <emphasis>rigid</emphasis> type; that is, the type is fully known to the type
5390 checker, and no inference is involved.</para></listitem>
5391 <listitem><para>Lexical type variables may be alpha-renamed freely, without
5392 changing the program.</para></listitem>
5393 </itemizedlist>
5394 </para>
5395 <para>
5396 A <emphasis>lexically scoped type variable</emphasis> can be bound by:
5397 <itemizedlist>
5398 <listitem><para>A declaration type signature (<xref linkend="decl-type-sigs"/>)</para></listitem>
5399 <listitem><para>An expression type signature (<xref linkend="exp-type-sigs"/>)</para></listitem>
5400 <listitem><para>A pattern type signature (<xref linkend="pattern-type-sigs"/>)</para></listitem>
5401 <listitem><para>Class and instance declarations (<xref linkend="cls-inst-scoped-tyvars"/>)</para></listitem>
5402 </itemizedlist>
5403 </para>
5404 <para>
5405 In Haskell, a programmer-written type signature is implicitly quantified over
5406 its free type variables (<ulink
5407 url="http://www.haskell.org/onlinereport/decls.html#sect4.1.2">Section
5408 4.1.2</ulink> 
5409 of the Haskell Report).
5410 Lexically scoped type variables affect this implicit quantification rules
5411 as follows: any type variable that is in scope is <emphasis>not</emphasis> universally
5412 quantified. For example, if type variable <literal>a</literal> is in scope,
5413 then
5414 <programlisting>
5415   (e :: a -> a)     means     (e :: a -> a)
5416   (e :: b -> b)     means     (e :: forall b. b->b)
5417   (e :: a -> b)     means     (e :: forall b. a->b)
5418 </programlisting>
5419 </para>
5420
5421
5422 </sect3>
5423
5424
5425 <sect3 id="decl-type-sigs">
5426 <title>Declaration type signatures</title>
5427 <para>A declaration type signature that has <emphasis>explicit</emphasis>
5428 quantification (using <literal>forall</literal>) brings into scope the
5429 explicitly-quantified
5430 type variables, in the definition of the named function.  For example:
5431 <programlisting>
5432   f :: forall a. [a] -> [a]
5433   f (x:xs) = xs ++ [ x :: a ]
5434 </programlisting>
5435 The "<literal>forall a</literal>" brings "<literal>a</literal>" into scope in
5436 the definition of "<literal>f</literal>".
5437 </para>
5438 <para>This only happens if:
5439 <itemizedlist>
5440 <listitem><para> The quantification in <literal>f</literal>'s type
5441 signature is explicit.  For example:
5442 <programlisting>
5443   g :: [a] -> [a]
5444   g (x:xs) = xs ++ [ x :: a ]
5445 </programlisting>
5446 This program will be rejected, because "<literal>a</literal>" does not scope
5447 over the definition of "<literal>f</literal>", so "<literal>x::a</literal>"
5448 means "<literal>x::forall a. a</literal>" by Haskell's usual implicit
5449 quantification rules.
5450 </para></listitem>
5451 <listitem><para> The signature gives a type for a function binding or a bare variable binding, 
5452 not a pattern binding.
5453 For example:
5454 <programlisting>
5455   f1 :: forall a. [a] -> [a]
5456   f1 (x:xs) = xs ++ [ x :: a ]   -- OK
5457
5458   f2 :: forall a. [a] -> [a]
5459   f2 = \(x:xs) -> xs ++ [ x :: a ]   -- OK
5460
5461   f3 :: forall a. [a] -> [a] 
5462   Just f3 = Just (\(x:xs) -> xs ++ [ x :: a ])   -- Not OK!
5463 </programlisting>
5464 The binding for <literal>f3</literal> is a pattern binding, and so its type signature
5465 does not bring <literal>a</literal> into scope.   However <literal>f1</literal> is a
5466 function binding, and <literal>f2</literal> binds a bare variable; in both cases
5467 the type signature brings <literal>a</literal> into scope.
5468 </para></listitem>
5469 </itemizedlist>
5470 </para>
5471 </sect3>
5472
5473 <sect3 id="exp-type-sigs">
5474 <title>Expression type signatures</title>
5475
5476 <para>An expression type signature that has <emphasis>explicit</emphasis>
5477 quantification (using <literal>forall</literal>) brings into scope the
5478 explicitly-quantified
5479 type variables, in the annotated expression.  For example:
5480 <programlisting>
5481   f = runST ( (op >>= \(x :: STRef s Int) -> g x) :: forall s. ST s Bool )
5482 </programlisting>
5483 Here, the type signature <literal>forall a. ST s Bool</literal> brings the 
5484 type variable <literal>s</literal> into scope, in the annotated expression 
5485 <literal>(op >>= \(x :: STRef s Int) -> g x)</literal>.
5486 </para>
5487
5488 </sect3>
5489
5490 <sect3 id="pattern-type-sigs">
5491 <title>Pattern type signatures</title>
5492 <para>
5493 A type signature may occur in any pattern; this is a <emphasis>pattern type
5494 signature</emphasis>. 
5495 For example:
5496 <programlisting>
5497   -- f and g assume that 'a' is already in scope
5498   f = \(x::Int, y::a) -> x
5499   g (x::a) = x
5500   h ((x,y) :: (Int,Bool)) = (y,x)
5501 </programlisting>
5502 In the case where all the type variables in the pattern type signature are
5503 already in scope (i.e. bound by the enclosing context), matters are simple: the
5504 signature simply constrains the type of the pattern in the obvious way.
5505 </para>
5506 <para>
5507 Unlike expression and declaration type signatures, pattern type signatures are not implicitly generalised.
5508 The pattern in a <emphasis>pattern binding</emphasis> may only mention type variables
5509 that are already in scope.  For example:
5510 <programlisting>
5511   f :: forall a. [a] -> (Int, [a])
5512   f xs = (n, zs)
5513     where
5514       (ys::[a], n) = (reverse xs, length xs) -- OK
5515       zs::[a] = xs ++ ys                     -- OK
5516
5517       Just (v::b) = ...  -- Not OK; b is not in scope
5518 </programlisting>
5519 Here, the pattern signatures for <literal>ys</literal> and <literal>zs</literal>
5520 are fine, but the one for <literal>v</literal> is not because <literal>b</literal> is
5521 not in scope. 
5522 </para>
5523 <para>
5524 However, in all patterns <emphasis>other</emphasis> than pattern bindings, a pattern
5525 type signature may mention a type variable that is not in scope; in this case,
5526 <emphasis>the signature brings that type variable into scope</emphasis>.
5527 This is particularly important for existential data constructors.  For example:
5528 <programlisting>
5529   data T = forall a. MkT [a]
5530
5531   k :: T -> T
5532   k (MkT [t::a]) = MkT t3
5533                  where
5534                    t3::[a] = [t,t,t]
5535 </programlisting>
5536 Here, the pattern type signature <literal>(t::a)</literal> mentions a lexical type
5537 variable that is not already in scope.  Indeed, it <emphasis>cannot</emphasis> already be in scope,
5538 because it is bound by the pattern match.  GHC's rule is that in this situation
5539 (and only then), a pattern type signature can mention a type variable that is
5540 not already in scope; the effect is to bring it into scope, standing for the
5541 existentially-bound type variable.
5542 </para>
5543 <para>
5544 When a pattern type signature binds a type variable in this way, GHC insists that the 
5545 type variable is bound to a <emphasis>rigid</emphasis>, or fully-known, type variable.
5546 This means that any user-written type signature always stands for a completely known type.
5547 </para>
5548 <para>
5549 If all this seems a little odd, we think so too.  But we must have
5550 <emphasis>some</emphasis> way to bring such type variables into scope, else we
5551 could not name existentially-bound type variables in subsequent type signatures.
5552 </para>
5553 <para>
5554 This is (now) the <emphasis>only</emphasis> situation in which a pattern type 
5555 signature is allowed to mention a lexical variable that is not already in
5556 scope.
5557 For example, both <literal>f</literal> and <literal>g</literal> would be
5558 illegal if <literal>a</literal> was not already in scope.
5559 </para>
5560
5561
5562 </sect3>
5563
5564 <!-- ==================== Commented out part about result type signatures 
5565
5566 <sect3 id="result-type-sigs">
5567 <title>Result type signatures</title>
5568
5569 <para>
5570 The result type of a function, lambda, or case expression alternative can be given a signature, thus:
5571
5572 <programlisting>
5573   {- f assumes that 'a' is already in scope -}
5574   f x y :: [a] = [x,y,x]
5575
5576   g = \ x :: [Int] -> [3,4]
5577
5578   h :: forall a. [a] -> a
5579   h xs = case xs of
5580             (y:ys) :: a -> y
5581 </programlisting>
5582 The final <literal>:: [a]</literal> after the patterns of <literal>f</literal> gives the type of 
5583 the result of the function.  Similarly, the body of the lambda in the RHS of
5584 <literal>g</literal> is <literal>[Int]</literal>, and the RHS of the case
5585 alternative in <literal>h</literal> is <literal>a</literal>.
5586 </para>
5587 <para> A result type signature never brings new type variables into scope.</para>
5588 <para>
5589 There are a couple of syntactic wrinkles.  First, notice that all three
5590 examples would parse quite differently with parentheses:
5591 <programlisting>
5592   {- f assumes that 'a' is already in scope -}
5593   f x (y :: [a]) = [x,y,x]
5594
5595   g = \ (x :: [Int]) -> [3,4]
5596
5597   h :: forall a. [a] -> a
5598   h xs = case xs of
5599             ((y:ys) :: a) -> y
5600 </programlisting>
5601 Now the signature is on the <emphasis>pattern</emphasis>; and
5602 <literal>h</literal> would certainly be ill-typed (since the pattern
5603 <literal>(y:ys)</literal> cannot have the type <literal>a</literal>.
5604
5605 Second, to avoid ambiguity, the type after the &ldquo;<literal>::</literal>&rdquo; in a result
5606 pattern signature on a lambda or <literal>case</literal> must be atomic (i.e. a single
5607 token or a parenthesised type of some sort).  To see why,
5608 consider how one would parse this:
5609 <programlisting>
5610   \ x :: a -> b -> x
5611 </programlisting>
5612 </para>
5613 </sect3>
5614
5615  -->
5616
5617 <sect3 id="cls-inst-scoped-tyvars">
5618 <title>Class and instance declarations</title>
5619 <para>
5620
5621 The type variables in the head of a <literal>class</literal> or <literal>instance</literal> declaration
5622 scope over the methods defined in the <literal>where</literal> part.  For example:
5623
5624
5625 <programlisting>
5626   class C a where
5627     op :: [a] -> a
5628
5629     op xs = let ys::[a]
5630                 ys = reverse xs
5631             in
5632             head ys
5633 </programlisting>
5634 </para>
5635 </sect3>
5636
5637 </sect2>
5638
5639
5640 <sect2 id="typing-binds">
5641 <title>Generalised typing of mutually recursive bindings</title>
5642
5643 <para>
5644 The Haskell Report specifies that a group of bindings (at top level, or in a
5645 <literal>let</literal> or <literal>where</literal>) should be sorted into
5646 strongly-connected components, and then type-checked in dependency order
5647 (<ulink url="http://www.haskell.org/onlinereport/decls.html#sect4.5.1">Haskell
5648 Report, Section 4.5.1</ulink>).  
5649 As each group is type-checked, any binders of the group that
5650 have
5651 an explicit type signature are put in the type environment with the specified
5652 polymorphic type,
5653 and all others are monomorphic until the group is generalised 
5654 (<ulink url="http://www.haskell.org/onlinereport/decls.html#sect4.5.2">Haskell Report, Section 4.5.2</ulink>).
5655 </para>
5656
5657 <para>Following a suggestion of Mark Jones, in his paper
5658 <ulink url="http://citeseer.ist.psu.edu/424440.html">Typing Haskell in
5659 Haskell</ulink>,
5660 GHC implements a more general scheme.  If <option>-XRelaxedPolyRec</option> is
5661 specified:
5662 <emphasis>the dependency analysis ignores references to variables that have an explicit
5663 type signature</emphasis>.
5664 As a result of this refined dependency analysis, the dependency groups are smaller, and more bindings will
5665 typecheck.  For example, consider:
5666 <programlisting>
5667   f :: Eq a =&gt; a -> Bool
5668   f x = (x == x) || g True || g "Yes"
5669   
5670   g y = (y &lt;= y) || f True
5671 </programlisting>
5672 This is rejected by Haskell 98, but under Jones's scheme the definition for
5673 <literal>g</literal> is typechecked first, separately from that for
5674 <literal>f</literal>,
5675 because the reference to <literal>f</literal> in <literal>g</literal>'s right
5676 hand side is ignored by the dependency analysis.  Then <literal>g</literal>'s
5677 type is generalised, to get
5678 <programlisting>
5679   g :: Ord a =&gt; a -> Bool
5680 </programlisting>
5681 Now, the definition for <literal>f</literal> is typechecked, with this type for
5682 <literal>g</literal> in the type environment.
5683 </para>
5684
5685 <para>
5686 The same refined dependency analysis also allows the type signatures of 
5687 mutually-recursive functions to have different contexts, something that is illegal in
5688 Haskell 98 (Section 4.5.2, last sentence).  With
5689 <option>-XRelaxedPolyRec</option>
5690 GHC only insists that the type signatures of a <emphasis>refined</emphasis> group have identical
5691 type signatures; in practice this means that only variables bound by the same
5692 pattern binding must have the same context.  For example, this is fine:
5693 <programlisting>
5694   f :: Eq a =&gt; a -> Bool
5695   f x = (x == x) || g True
5696   
5697   g :: Ord a =&gt; a -> Bool
5698   g y = (y &lt;= y) || f True
5699 </programlisting>
5700 </para>
5701 </sect2>
5702
5703 </sect1>
5704 <!-- ==================== End of type system extensions =================  -->
5705   
5706 <!-- ====================== TEMPLATE HASKELL =======================  -->
5707
5708 <sect1 id="template-haskell">
5709 <title>Template Haskell</title>
5710
5711 <para>Template Haskell allows you to do compile-time meta-programming in
5712 Haskell.  
5713 The background to
5714 the main technical innovations is discussed in "<ulink
5715 url="http://research.microsoft.com/~simonpj/papers/meta-haskell/">
5716 Template Meta-programming for Haskell</ulink>" (Proc Haskell Workshop 2002).
5717 </para>
5718 <para>
5719 There is a Wiki page about
5720 Template Haskell at <ulink url="http://www.haskell.org/haskellwiki/Template_Haskell">
5721 http://www.haskell.org/haskellwiki/Template_Haskell</ulink>, and that is the best place to look for
5722 further details.
5723 You may also 
5724 consult the <ulink
5725 url="http://www.haskell.org/ghc/docs/latest/html/libraries/index.html">online
5726 Haskell library reference material</ulink> 
5727 (look for module <literal>Language.Haskell.TH</literal>).
5728 Many changes to the original design are described in 
5729       <ulink url="http://research.microsoft.com/~simonpj/papers/meta-haskell/notes2.ps">
5730 Notes on Template Haskell version 2</ulink>.
5731 Not all of these changes are in GHC, however.
5732 </para>
5733
5734 <para> The first example from that paper is set out below (<xref linkend="th-example"/>) 
5735 as a worked example to help get you started. 
5736 </para>
5737
5738 <para>
5739 The documentation here describes the realisation of Template Haskell in GHC.  It is not detailed enough to 
5740 understand Template Haskell; see the <ulink url="http://haskell.org/haskellwiki/Template_Haskell">
5741 Wiki page</ulink>.
5742 </para>
5743
5744     <sect2>
5745       <title>Syntax</title>
5746
5747       <para> Template Haskell has the following new syntactic
5748       constructions.  You need to use the flag
5749       <option>-XTemplateHaskell</option>
5750         <indexterm><primary><option>-XTemplateHaskell</option></primary>
5751       </indexterm>to switch these syntactic extensions on
5752       (<option>-XTemplateHaskell</option> is no longer implied by
5753       <option>-fglasgow-exts</option>).</para>
5754
5755         <itemizedlist>
5756               <listitem><para>
5757                   A splice is written <literal>$x</literal>, where <literal>x</literal> is an
5758                   identifier, or <literal>$(...)</literal>, where the "..." is an arbitrary expression.
5759                   There must be no space between the "$" and the identifier or parenthesis.  This use
5760                   of "$" overrides its meaning as an infix operator, just as "M.x" overrides the meaning
5761                   of "." as an infix operator.  If you want the infix operator, put spaces around it.
5762                   </para>
5763               <para> A splice can occur in place of 
5764                   <itemizedlist>
5765                     <listitem><para> an expression; the spliced expression must
5766                     have type <literal>Q Exp</literal></para></listitem>
5767                     <listitem><para> a list of top-level declarations; the spliced expression must have type <literal>Q [Dec]</literal></para></listitem>
5768                     </itemizedlist>
5769                 </para>
5770             Inside a splice you can can only call functions defined in imported modules,
5771         not functions defined elsewhere in the same module.</listitem>
5772
5773
5774               <listitem><para>
5775                   A expression quotation is written in Oxford brackets, thus:
5776                   <itemizedlist>
5777                     <listitem><para> <literal>[| ... |]</literal>, where the "..." is an expression; 
5778                              the quotation has type <literal>Q Exp</literal>.</para></listitem>
5779                     <listitem><para> <literal>[d| ... |]</literal>, where the "..." is a list of top-level declarations;
5780                              the quotation has type <literal>Q [Dec]</literal>.</para></listitem>
5781                     <listitem><para> <literal>[t| ... |]</literal>, where the "..." is a type;
5782                              the quotation has type <literal>Q Typ</literal>.</para></listitem>
5783                   </itemizedlist></para></listitem>
5784
5785               <listitem><para>
5786                   A quasi-quotation can appear in either a pattern context or an
5787                   expression context and is also written in Oxford brackets:
5788                   <itemizedlist>
5789                     <listitem><para> <literal>[:<replaceable>varid</replaceable>| ... |]</literal>,
5790                         where the "..." is an arbitrary string; a full description of the
5791                         quasi-quotation facility is given in <xref linkend="th-quasiquotation"/>.</para></listitem>
5792                   </itemizedlist></para></listitem>
5793
5794               <listitem><para>
5795                   A name can be quoted with either one or two prefix single quotes:
5796                   <itemizedlist>
5797                     <listitem><para> <literal>'f</literal> has type <literal>Name</literal>, and names the function <literal>f</literal>.
5798                   Similarly <literal>'C</literal> has type <literal>Name</literal> and names the data constructor <literal>C</literal>.
5799                   In general <literal>'</literal><replaceable>thing</replaceable> interprets <replaceable>thing</replaceable> in an expression context.
5800                      </para></listitem> 
5801                     <listitem><para> <literal>''T</literal> has type <literal>Name</literal>, and names the type constructor  <literal>T</literal>.
5802                   That is, <literal>''</literal><replaceable>thing</replaceable> interprets <replaceable>thing</replaceable> in a type context.
5803                      </para></listitem> 
5804                   </itemizedlist>
5805                   These <literal>Names</literal> can be used to construct Template Haskell expressions, patterns, declarations etc.  They
5806                   may also be given as an argument to the <literal>reify</literal> function.
5807                  </para>
5808                 </listitem>
5809
5810                   
5811         </itemizedlist>
5812 (Compared to the original paper, there are many differences of detail.
5813 The syntax for a declaration splice uses "<literal>$</literal>" not "<literal>splice</literal>".
5814 The type of the enclosed expression must be  <literal>Q [Dec]</literal>, not  <literal>[Q Dec]</literal>.
5815 Type splices are not implemented, and neither are pattern splices or quotations.
5816
5817 </sect2>
5818
5819 <sect2>  <title> Using Template Haskell </title>
5820 <para>
5821 <itemizedlist>
5822     <listitem><para>
5823     The data types and monadic constructor functions for Template Haskell are in the library
5824     <literal>Language.Haskell.THSyntax</literal>.
5825     </para></listitem>
5826
5827     <listitem><para>
5828     You can only run a function at compile time if it is imported from another module.  That is,
5829             you can't define a function in a module, and call it from within a splice in the same module.
5830             (It would make sense to do so, but it's hard to implement.)
5831    </para></listitem>
5832
5833    <listitem><para>
5834    You can only run a function at compile time if it is imported
5835    from another module <emphasis>that is not part of a mutually-recursive group of modules
5836    that includes the module currently being compiled</emphasis>.  Furthermore, all of the modules of 
5837    the mutually-recursive group must be reachable by non-SOURCE imports from the module where the
5838    splice is to be run.</para>
5839    <para>
5840    For example, when compiling module A,
5841    you can only run Template Haskell functions imported from B if B does not import A (directly or indirectly).
5842    The reason should be clear: to run B we must compile and run A, but we are currently type-checking A.
5843    </para></listitem>
5844
5845     <listitem><para>
5846             The flag <literal>-ddump-splices</literal> shows the expansion of all top-level splices as they happen.
5847    </para></listitem>
5848     <listitem><para>
5849             If you are building GHC from source, you need at least a stage-2 bootstrap compiler to
5850               run Template Haskell.  A stage-1 compiler will reject the TH constructs.  Reason: TH
5851               compiles and runs a program, and then looks at the result.  So it's important that
5852               the program it compiles produces results whose representations are identical to
5853               those of the compiler itself.
5854    </para></listitem>
5855 </itemizedlist>
5856 </para>
5857 <para> Template Haskell works in any mode (<literal>--make</literal>, <literal>--interactive</literal>,
5858         or file-at-a-time).  There used to be a restriction to the former two, but that restriction 
5859         has been lifted.
5860 </para>
5861 </sect2>
5862  
5863 <sect2 id="th-example">  <title> A Template Haskell Worked Example </title>
5864 <para>To help you get over the confidence barrier, try out this skeletal worked example.
5865   First cut and paste the two modules below into "Main.hs" and "Printf.hs":</para>
5866
5867 <programlisting>
5868
5869 {- Main.hs -}
5870 module Main where
5871
5872 -- Import our template "pr"
5873 import Printf ( pr )
5874
5875 -- The splice operator $ takes the Haskell source code
5876 -- generated at compile time by "pr" and splices it into
5877 -- the argument of "putStrLn".
5878 main = putStrLn ( $(pr "Hello") )
5879
5880
5881 {- Printf.hs -}
5882 module Printf where
5883
5884 -- Skeletal printf from the paper.
5885 -- It needs to be in a separate module to the one where
5886 -- you intend to use it.
5887
5888 -- Import some Template Haskell syntax
5889 import Language.Haskell.TH
5890
5891 -- Describe a format string
5892 data Format = D | S | L String
5893
5894 -- Parse a format string.  This is left largely to you
5895 -- as we are here interested in building our first ever
5896 -- Template Haskell program and not in building printf.
5897 parse :: String -> [Format]
5898 parse s   = [ L s ]
5899
5900 -- Generate Haskell source code from a parsed representation
5901 -- of the format string.  This code will be spliced into
5902 -- the module which calls "pr", at compile time.
5903 gen :: [Format] -> Q Exp
5904 gen [D]   = [| \n -> show n |]
5905 gen [S]   = [| \s -> s |]
5906 gen [L s] = stringE s
5907
5908 -- Here we generate the Haskell code for the splice
5909 -- from an input format string.
5910 pr :: String -> Q Exp
5911 pr s = gen (parse s)
5912 </programlisting>
5913
5914 <para>Now run the compiler (here we are a Cygwin prompt on Windows):
5915 </para>
5916 <programlisting>
5917 $ ghc --make -XTemplateHaskell main.hs -o main.exe
5918 </programlisting>
5919
5920 <para>Run "main.exe" and here is your output:</para>
5921
5922 <programlisting>
5923 $ ./main
5924 Hello
5925 </programlisting>
5926
5927 </sect2>
5928
5929 <sect2>
5930 <title>Using Template Haskell with Profiling</title>
5931 <indexterm><primary>profiling</primary><secondary>with Template Haskell</secondary></indexterm>
5932  
5933 <para>Template Haskell relies on GHC's built-in bytecode compiler and
5934 interpreter to run the splice expressions.  The bytecode interpreter
5935 runs the compiled expression on top of the same runtime on which GHC
5936 itself is running; this means that the compiled code referred to by
5937 the interpreted expression must be compatible with this runtime, and
5938 in particular this means that object code that is compiled for
5939 profiling <emphasis>cannot</emphasis> be loaded and used by a splice
5940 expression, because profiled object code is only compatible with the
5941 profiling version of the runtime.</para>
5942
5943 <para>This causes difficulties if you have a multi-module program
5944 containing Template Haskell code and you need to compile it for
5945 profiling, because GHC cannot load the profiled object code and use it
5946 when executing the splices.  Fortunately GHC provides a workaround.
5947 The basic idea is to compile the program twice:</para>
5948
5949 <orderedlist>
5950 <listitem>
5951   <para>Compile the program or library first the normal way, without
5952   <option>-prof</option><indexterm><primary><option>-prof</option></primary></indexterm>.</para>
5953 </listitem>
5954 <listitem>
5955   <para>Then compile it again with <option>-prof</option>, and
5956   additionally use <option>-osuf
5957   p_o</option><indexterm><primary><option>-osuf</option></primary></indexterm>
5958   to name the object files differently (you can choose any suffix
5959   that isn't the normal object suffix here).  GHC will automatically
5960   load the object files built in the first step when executing splice
5961   expressions.  If you omit the <option>-osuf</option> flag when
5962   building with <option>-prof</option> and Template Haskell is used,
5963   GHC will emit an error message. </para>
5964 </listitem>
5965 </orderedlist>
5966 </sect2>
5967
5968 <sect2 id="th-quasiquotation">  <title> Template Haskell Quasi-quotation </title>
5969 <para>Quasi-quotation allows patterns and expressions to be written using
5970 programmer-defined concrete syntax; the motivation behind the extension and
5971 several examples are documented in
5972 "<ulink url="http://www.eecs.harvard.edu/~mainland/ghc-quasiquoting/">Why It's
5973 Nice to be Quoted: Quasiquoting for Haskell</ulink>" (Proc Haskell Workshop
5974 2007). The example below shows how to write a quasiquoter for a simple
5975 expression language.</para>
5976
5977 <para>
5978 In the example, the quasiquoter <literal>expr</literal> is bound to a value of
5979 type <literal>Language.Haskell.TH.Quote.QuasiQuoter</literal> which contains two
5980 functions for quoting expressions and patterns, respectively. The first argument
5981 to each quoter is the (arbitrary) string enclosed in the Oxford brackets. The
5982 context of the quasi-quotation statement determines which of the two parsers is
5983 called: if the quasi-quotation occurs in an expression context, the expression
5984 parser is called, and if it occurs in a pattern context, the pattern parser is
5985 called.</para>
5986
5987 <para>
5988 Note that in the example we make use of an antiquoted
5989 variable <literal>n</literal>, indicated by the syntax <literal>'int:n</literal>
5990 (this syntax for anti-quotation was defined by the parser's
5991 author, <emphasis>not</emphasis> by GHC). This binds <literal>n</literal> to the
5992 integer value argument of the constructor <literal>IntExpr</literal> when
5993 pattern matching. Please see the referenced paper for further details regarding
5994 anti-quotation as well as the description of a technique that uses SYB to
5995 leverage a single parser of type <literal>String -> a</literal> to generate both
5996 an expression parser that returns a value of type <literal>Q Exp</literal> and a
5997 pattern parser that returns a value of type <literal>Q Pat</literal>.
5998 </para>
5999
6000 <para>In general, a quasi-quote has the form
6001 <literal>[$<replaceable>quoter</replaceable>| <replaceable>string</replaceable> |]</literal>.
6002 The <replaceable>quoter</replaceable> must be the name of an imported quoter; it
6003 cannot be an arbitrary expression.  The quoted <replaceable>string</replaceable> 
6004 can be arbitrary, and may contain newlines.
6005 </para>
6006 <para>
6007 Quasiquoters must obey the same stage restrictions as Template Haskell, e.g., in
6008 the example, <literal>expr</literal> cannot be defined
6009 in <literal>Main.hs</literal> where it is used, but must be imported.
6010 </para>
6011
6012 <programlisting>
6013
6014 {- Main.hs -}
6015 module Main where
6016
6017 import Expr
6018
6019 main :: IO ()
6020 main = do { print $ eval [$expr|1 + 2|]
6021           ; case IntExpr 1 of
6022               { [$expr|'int:n|] -> print n
6023               ;  _              -> return ()
6024               }
6025           }
6026
6027
6028 {- Expr.hs -}
6029 module Expr where
6030
6031 import qualified Language.Haskell.TH as TH
6032 import Language.Haskell.TH.Quote
6033
6034 data Expr  =  IntExpr Integer
6035            |  AntiIntExpr String
6036            |  BinopExpr BinOp Expr Expr
6037            |  AntiExpr String
6038     deriving(Show, Typeable, Data)
6039
6040 data BinOp  =  AddOp
6041             |  SubOp
6042             |  MulOp
6043             |  DivOp
6044     deriving(Show, Typeable, Data)
6045
6046 eval :: Expr -> Integer
6047 eval (IntExpr n)        = n
6048 eval (BinopExpr op x y) = (opToFun op) (eval x) (eval y)
6049   where
6050     opToFun AddOp = (+)
6051     opToFun SubOp = (-)
6052     opToFun MulOp = (*)
6053     opToFun DivOp = div
6054
6055 expr = QuasiQuoter parseExprExp parseExprPat
6056
6057 -- Parse an Expr, returning its representation as
6058 -- either a Q Exp or a Q Pat. See the referenced paper
6059 -- for how to use SYB to do this by writing a single
6060 -- parser of type String -> Expr instead of two
6061 -- separate parsers.
6062
6063 parseExprExp :: String -> Q Exp
6064 parseExprExp ...
6065
6066 parseExprPat :: String -> Q Pat
6067 parseExprPat ...
6068 </programlisting>
6069
6070 <para>Now run the compiler:
6071 </para>
6072 <programlisting>
6073 $ ghc --make -XQuasiQuotes Main.hs -o main
6074 </programlisting>
6075
6076 <para>Run "main" and here is your output:</para>
6077
6078 <programlisting>
6079 $ ./main
6080 3
6081 1
6082 </programlisting>
6083
6084 </sect2>
6085
6086 </sect1>
6087
6088 <!-- ===================== Arrow notation ===================  -->
6089
6090 <sect1 id="arrow-notation">
6091 <title>Arrow notation
6092 </title>
6093
6094 <para>Arrows are a generalization of monads introduced by John Hughes.
6095 For more details, see
6096 <itemizedlist>
6097
6098 <listitem>
6099 <para>
6100 &ldquo;Generalising Monads to Arrows&rdquo;,
6101 John Hughes, in <citetitle>Science of Computer Programming</citetitle> 37,
6102 pp67&ndash;111, May 2000.
6103 The paper that introduced arrows: a friendly introduction, motivated with
6104 programming examples.
6105 </para>
6106 </listitem>
6107
6108 <listitem>
6109 <para>
6110 &ldquo;<ulink url="http://www.soi.city.ac.uk/~ross/papers/notation.html">A New Notation for Arrows</ulink>&rdquo;,
6111 Ross Paterson, in <citetitle>ICFP</citetitle>, Sep 2001.
6112 Introduced the notation described here.
6113 </para>
6114 </listitem>
6115
6116 <listitem>
6117 <para>
6118 &ldquo;<ulink url="http://www.soi.city.ac.uk/~ross/papers/fop.html">Arrows and Computation</ulink>&rdquo;,
6119 Ross Paterson, in <citetitle>The Fun of Programming</citetitle>,
6120 Palgrave, 2003.
6121 </para>
6122 </listitem>
6123
6124 <listitem>
6125 <para>
6126 &ldquo;<ulink url="http://www.cs.chalmers.se/~rjmh/afp-arrows.pdf">Programming with Arrows</ulink>&rdquo;,
6127 John Hughes, in <citetitle>5th International Summer School on
6128 Advanced Functional Programming</citetitle>,
6129 <citetitle>Lecture Notes in Computer Science</citetitle> vol. 3622,
6130 Springer, 2004.
6131 This paper includes another introduction to the notation,
6132 with practical examples.
6133 </para>
6134 </listitem>
6135
6136 <listitem>
6137 <para>
6138 &ldquo;<ulink url="http://www.haskell.org/ghc/docs/papers/arrow-rules.pdf">Type and Translation Rules for Arrow Notation in GHC</ulink>&rdquo;,
6139 Ross Paterson and Simon Peyton Jones, September 16, 2004.
6140 A terse enumeration of the formal rules used
6141 (extracted from comments in the source code).
6142 </para>
6143 </listitem>
6144
6145 <listitem>
6146 <para>
6147 The arrows web page at
6148 <ulink url="http://www.haskell.org/arrows/"><literal>http://www.haskell.org/arrows/</literal></ulink>.
6149 </para>
6150 </listitem>
6151
6152 </itemizedlist>
6153 With the <option>-XArrows</option> flag, GHC supports the arrow
6154 notation described in the second of these papers,
6155 translating it using combinators from the
6156 <ulink url="../libraries/base/Control-Arrow.html"><literal>Control.Arrow</literal></ulink>
6157 module.
6158 What follows is a brief introduction to the notation;
6159 it won't make much sense unless you've read Hughes's paper.
6160 </para>
6161
6162 <para>The extension adds a new kind of expression for defining arrows:
6163 <screen>
6164 <replaceable>exp</replaceable><superscript>10</superscript> ::= ...
6165        |  proc <replaceable>apat</replaceable> -> <replaceable>cmd</replaceable>
6166 </screen>
6167 where <literal>proc</literal> is a new keyword.
6168 The variables of the pattern are bound in the body of the 
6169 <literal>proc</literal>-expression,
6170 which is a new sort of thing called a <firstterm>command</firstterm>.
6171 The syntax of commands is as follows:
6172 <screen>
6173 <replaceable>cmd</replaceable>   ::= <replaceable>exp</replaceable><superscript>10</superscript> -&lt;  <replaceable>exp</replaceable>
6174        |  <replaceable>exp</replaceable><superscript>10</superscript> -&lt;&lt; <replaceable>exp</replaceable>
6175        |  <replaceable>cmd</replaceable><superscript>0</superscript>
6176 </screen>
6177 with <replaceable>cmd</replaceable><superscript>0</superscript> up to
6178 <replaceable>cmd</replaceable><superscript>9</superscript> defined using
6179 infix operators as for expressions, and
6180 <screen>
6181 <replaceable>cmd</replaceable><superscript>10</superscript> ::= \ <replaceable>apat</replaceable> ... <replaceable>apat</replaceable> -> <replaceable>cmd</replaceable>
6182        |  let <replaceable>decls</replaceable> in <replaceable>cmd</replaceable>
6183        |  if <replaceable>exp</replaceable> then <replaceable>cmd</replaceable> else <replaceable>cmd</replaceable>
6184        |  case <replaceable>exp</replaceable> of { <replaceable>calts</replaceable> }
6185        |  do { <replaceable>cstmt</replaceable> ; ... <replaceable>cstmt</replaceable> ; <replaceable>cmd</replaceable> }
6186        |  <replaceable>fcmd</replaceable>
6187
6188 <replaceable>fcmd</replaceable>  ::= <replaceable>fcmd</replaceable> <replaceable>aexp</replaceable>
6189        |  ( <replaceable>cmd</replaceable> )
6190        |  (| <replaceable>aexp</replaceable> <replaceable>cmd</replaceable> ... <replaceable>cmd</replaceable> |)
6191
6192 <replaceable>cstmt</replaceable> ::= let <replaceable>decls</replaceable>
6193        |  <replaceable>pat</replaceable> &lt;- <replaceable>cmd</replaceable>
6194        |  rec { <replaceable>cstmt</replaceable> ; ... <replaceable>cstmt</replaceable> [;] }
6195        |  <replaceable>cmd</replaceable>
6196 </screen>
6197 where <replaceable>calts</replaceable> are like <replaceable>alts</replaceable>
6198 except that the bodies are commands instead of expressions.
6199 </para>
6200
6201 <para>
6202 Commands produce values, but (like monadic computations)
6203 may yield more than one value,
6204 or none, and may do other things as well.
6205 For the most part, familiarity with monadic notation is a good guide to
6206 using commands.
6207 However the values of expressions, even monadic ones,
6208 are determined by the values of the variables they contain;
6209 this is not necessarily the case for commands.
6210 </para>
6211
6212 <para>
6213 A simple example of the new notation is the expression
6214 <screen>
6215 proc x -> f -&lt; x+1
6216 </screen>
6217 We call this a <firstterm>procedure</firstterm> or
6218 <firstterm>arrow abstraction</firstterm>.
6219 As with a lambda expression, the variable <literal>x</literal>
6220 is a new variable bound within the <literal>proc</literal>-expression.
6221 It refers to the input to the arrow.
6222 In the above example, <literal>-&lt;</literal> is not an identifier but an
6223 new reserved symbol used for building commands from an expression of arrow
6224 type and an expression to be fed as input to that arrow.
6225 (The weird look will make more sense later.)
6226 It may be read as analogue of application for arrows.
6227 The above example is equivalent to the Haskell expression
6228 <screen>
6229 arr (\ x -> x+1) >>> f
6230 </screen>
6231 That would make no sense if the expression to the left of
6232 <literal>-&lt;</literal> involves the bound variable <literal>x</literal>.
6233 More generally, the expression to the left of <literal>-&lt;</literal>
6234 may not involve any <firstterm>local variable</firstterm>,
6235 i.e. a variable bound in the current arrow abstraction.
6236 For such a situation there is a variant <literal>-&lt;&lt;</literal>, as in
6237 <screen>
6238 proc x -> f x -&lt;&lt; x+1
6239 </screen>
6240 which is equivalent to
6241 <screen>
6242 arr (\ x -> (f x, x+1)) >>> app
6243 </screen>
6244 so in this case the arrow must belong to the <literal>ArrowApply</literal>
6245 class.
6246 Such an arrow is equivalent to a monad, so if you're using this form
6247 you may find a monadic formulation more convenient.
6248 </para>
6249
6250 <sect2>
6251 <title>do-notation for commands</title>
6252
6253 <para>
6254 Another form of command is a form of <literal>do</literal>-notation.
6255 For example, you can write
6256 <screen>
6257 proc x -> do
6258         y &lt;- f -&lt; x+1
6259         g -&lt; 2*y
6260         let z = x+y
6261         t &lt;- h -&lt; x*z
6262         returnA -&lt; t+z
6263 </screen>
6264 You can read this much like ordinary <literal>do</literal>-notation,
6265 but with commands in place of monadic expressions.
6266 The first line sends the value of <literal>x+1</literal> as an input to
6267 the arrow <literal>f</literal>, and matches its output against
6268 <literal>y</literal>.
6269 In the next line, the output is discarded.
6270 The arrow <function>returnA</function> is defined in the
6271 <ulink url="../libraries/base/Control-Arrow.html"><literal>Control.Arrow</literal></ulink>
6272 module as <literal>arr id</literal>.
6273 The above example is treated as an abbreviation for
6274 <screen>
6275 arr (\ x -> (x, x)) >>>
6276         first (arr (\ x -> x+1) >>> f) >>>
6277         arr (\ (y, x) -> (y, (x, y))) >>>
6278         first (arr (\ y -> 2*y) >>> g) >>>
6279         arr snd >>>
6280         arr (\ (x, y) -> let z = x+y in ((x, z), z)) >>>
6281         first (arr (\ (x, z) -> x*z) >>> h) >>>
6282         arr (\ (t, z) -> t+z) >>>
6283         returnA
6284 </screen>
6285 Note that variables not used later in the composition are projected out.
6286 After simplification using rewrite rules (see <xref linkend="rewrite-rules"/>)
6287 defined in the
6288 <ulink url="../libraries/base/Control-Arrow.html"><literal>Control.Arrow</literal></ulink>
6289 module, this reduces to
6290 <screen>
6291 arr (\ x -> (x+1, x)) >>>
6292         first f >>>
6293         arr (\ (y, x) -> (2*y, (x, y))) >>>
6294         first g >>>
6295         arr (\ (_, (x, y)) -> let z = x+y in (x*z, z)) >>>
6296         first h >>>
6297         arr (\ (t, z) -> t+z)
6298 </screen>
6299 which is what you might have written by hand.
6300 With arrow notation, GHC keeps track of all those tuples of variables for you.
6301 </para>
6302
6303 <para>
6304 Note that although the above translation suggests that
6305 <literal>let</literal>-bound variables like <literal>z</literal> must be
6306 monomorphic, the actual translation produces Core,
6307 so polymorphic variables are allowed.
6308 </para>
6309
6310 <para>
6311 It's also possible to have mutually recursive bindings,
6312 using the new <literal>rec</literal> keyword, as in the following example:
6313 <programlisting>
6314 counter :: ArrowCircuit a => a Bool Int
6315 counter = proc reset -> do
6316         rec     output &lt;- returnA -&lt; if reset then 0 else next
6317                 next &lt;- delay 0 -&lt; output+1
6318         returnA -&lt; output
6319 </programlisting>
6320 The translation of such forms uses the <function>loop</function> combinator,
6321 so the arrow concerned must belong to the <literal>ArrowLoop</literal> class.
6322 </para>
6323
6324 </sect2>
6325
6326 <sect2>
6327 <title>Conditional commands</title>
6328
6329 <para>
6330 In the previous example, we used a conditional expression to construct the
6331 input for an arrow.
6332 Sometimes we want to conditionally execute different commands, as in
6333 <screen>
6334 proc (x,y) ->
6335         if f x y
6336         then g -&lt; x+1
6337         else h -&lt; y+2
6338 </screen>
6339 which is translated to
6340 <screen>
6341 arr (\ (x,y) -> if f x y then Left x else Right y) >>>
6342         (arr (\x -> x+1) >>> f) ||| (arr (\y -> y+2) >>> g)
6343 </screen>
6344 Since the translation uses <function>|||</function>,
6345 the arrow concerned must belong to the <literal>ArrowChoice</literal> class.
6346 </para>
6347
6348 <para>
6349 There are also <literal>case</literal> commands, like
6350 <screen>
6351 case input of
6352     [] -> f -&lt; ()
6353     [x] -> g -&lt; x+1
6354     x1:x2:xs -> do
6355         y &lt;- h -&lt; (x1, x2)
6356         ys &lt;- k -&lt; xs
6357         returnA -&lt; y:ys
6358 </screen>
6359 The syntax is the same as for <literal>case</literal> expressions,
6360 except that the bodies of the alternatives are commands rather than expressions.
6361 The translation is similar to that of <literal>if</literal> commands.
6362 </para>
6363
6364 </sect2>
6365
6366 <sect2>
6367 <title>Defining your own control structures</title>
6368
6369 <para>
6370 As we're seen, arrow notation provides constructs,
6371 modelled on those for expressions,
6372 for sequencing, value recursion and conditionals.
6373 But suitable combinators,
6374 which you can define in ordinary Haskell,
6375 may also be used to build new commands out of existing ones.
6376 The basic idea is that a command defines an arrow from environments to values.
6377 These environments assign values to the free local variables of the command.
6378 Thus combinators that produce arrows from arrows
6379 may also be used to build commands from commands.
6380 For example, the <literal>ArrowChoice</literal> class includes a combinator
6381 <programlisting>
6382 ArrowChoice a => (&lt;+>) :: a e c -> a e c -> a e c
6383 </programlisting>
6384 so we can use it to build commands:
6385 <programlisting>
6386 expr' = proc x -> do
6387                 returnA -&lt; x
6388         &lt;+> do
6389                 symbol Plus -&lt; ()
6390                 y &lt;- term -&lt; ()
6391                 expr' -&lt; x + y
6392         &lt;+> do
6393                 symbol Minus -&lt; ()
6394                 y &lt;- term -&lt; ()
6395                 expr' -&lt; x - y
6396 </programlisting>
6397 (The <literal>do</literal> on the first line is needed to prevent the first
6398 <literal>&lt;+> ...</literal> from being interpreted as part of the
6399 expression on the previous line.)
6400 This is equivalent to
6401 <programlisting>
6402 expr' = (proc x -> returnA -&lt; x)
6403         &lt;+> (proc x -> do
6404                 symbol Plus -&lt; ()
6405                 y &lt;- term -&lt; ()
6406                 expr' -&lt; x + y)
6407         &lt;+> (proc x -> do
6408                 symbol Minus -&lt; ()
6409                 y &lt;- term -&lt; ()
6410                 expr' -&lt; x - y)
6411 </programlisting>
6412 It is essential that this operator be polymorphic in <literal>e</literal>
6413 (representing the environment input to the command
6414 and thence to its subcommands)
6415 and satisfy the corresponding naturality property
6416 <screen>
6417 arr k >>> (f &lt;+> g) = (arr k >>> f) &lt;+> (arr k >>> g)
6418 </screen>
6419 at least for strict <literal>k</literal>.
6420 (This should be automatic if you're not using <function>seq</function>.)
6421 This ensures that environments seen by the subcommands are environments
6422 of the whole command,
6423 and also allows the translation to safely trim these environments.
6424 The operator must also not use any variable defined within the current
6425 arrow abstraction.
6426 </para>
6427
6428 <para>
6429 We could define our own operator
6430 <programlisting>
6431 untilA :: ArrowChoice a => a e () -> a e Bool -> a e ()
6432 untilA body cond = proc x ->
6433         b &lt;- cond -&lt; x
6434         if b then returnA -&lt; ()
6435         else do
6436                 body -&lt; x
6437                 untilA body cond -&lt; x
6438 </programlisting>
6439 and use it in the same way.
6440 Of course this infix syntax only makes sense for binary operators;
6441 there is also a more general syntax involving special brackets:
6442 <screen>
6443 proc x -> do
6444         y &lt;- f -&lt; x+1
6445         (|untilA (increment -&lt; x+y) (within 0.5 -&lt; x)|)
6446 </screen>
6447 </para>
6448
6449 </sect2>
6450
6451 <sect2>
6452 <title>Primitive constructs</title>
6453
6454 <para>
6455 Some operators will need to pass additional inputs to their subcommands.
6456 For example, in an arrow type supporting exceptions,
6457 the operator that attaches an exception handler will wish to pass the
6458 exception that occurred to the handler.
6459 Such an operator might have a type
6460 <screen>
6461 handleA :: ... => a e c -> a (e,Ex) c -> a e c
6462 </screen>
6463 where <literal>Ex</literal> is the type of exceptions handled.
6464 You could then use this with arrow notation by writing a command
6465 <screen>
6466 body `handleA` \ ex -> handler
6467 </screen>
6468 so that if an exception is raised in the command <literal>body</literal>,
6469 the variable <literal>ex</literal> is bound to the value of the exception
6470 and the command <literal>handler</literal>,
6471 which typically refers to <literal>ex</literal>, is entered.
6472 Though the syntax here looks like a functional lambda,
6473 we are talking about commands, and something different is going on.
6474 The input to the arrow represented by a command consists of values for
6475 the free local variables in the command, plus a stack of anonymous values.
6476 In all the prior examples, this stack was empty.
6477 In the second argument to <function>handleA</function>,
6478 this stack consists of one value, the value of the exception.
6479 The command form of lambda merely gives this value a name.
6480 </para>
6481
6482 <para>
6483 More concretely,
6484 the values on the stack are paired to the right of the environment.
6485 So operators like <function>handleA</function> that pass
6486 extra inputs to their subcommands can be designed for use with the notation
6487 by pairing the values with the environment in this way.
6488 More precisely, the type of each argument of the operator (and its result)
6489 should have the form
6490 <screen>
6491 a (...(e,t1), ... tn) t
6492 </screen>
6493 where <replaceable>e</replaceable> is a polymorphic variable
6494 (representing the environment)
6495 and <replaceable>ti</replaceable> are the types of the values on the stack,
6496 with <replaceable>t1</replaceable> being the <quote>top</quote>.
6497 The polymorphic variable <replaceable>e</replaceable> must not occur in
6498 <replaceable>a</replaceable>, <replaceable>ti</replaceable> or
6499 <replaceable>t</replaceable>.
6500 However the arrows involved need not be the same.
6501 Here are some more examples of suitable operators:
6502 <screen>
6503 bracketA :: ... => a e b -> a (e,b) c -> a (e,c) d -> a e d
6504 runReader :: ... => a e c -> a' (e,State) c
6505 runState :: ... => a e c -> a' (e,State) (c,State)
6506 </screen>
6507 We can supply the extra input required by commands built with the last two
6508 by applying them to ordinary expressions, as in
6509 <screen>
6510 proc x -> do
6511         s &lt;- ...
6512         (|runReader (do { ... })|) s
6513 </screen>
6514 which adds <literal>s</literal> to the stack of inputs to the command
6515 built using <function>runReader</function>.
6516 </para>
6517
6518 <para>
6519 The command versions of lambda abstraction and application are analogous to
6520 the expression versions.
6521 In particular, the beta and eta rules describe equivalences of commands.
6522 These three features (operators, lambda abstraction and application)
6523 are the core of the notation; everything else can be built using them,
6524 though the results would be somewhat clumsy.
6525 For example, we could simulate <literal>do</literal>-notation by defining
6526 <programlisting>
6527 bind :: Arrow a => a e b -> a (e,b) c -> a e c
6528 u `bind` f = returnA &amp;&amp;&amp; u >>> f
6529
6530 bind_ :: Arrow a => a e b -> a e c -> a e c
6531 u `bind_` f = u `bind` (arr fst >>> f)
6532 </programlisting>
6533 We could simulate <literal>if</literal> by defining
6534 <programlisting>
6535 cond :: ArrowChoice a => a e b -> a e b -> a (e,Bool) b
6536 cond f g = arr (\ (e,b) -> if b then Left e else Right e) >>> f ||| g
6537 </programlisting>
6538 </para>
6539
6540 </sect2>
6541
6542 <sect2>
6543 <title>Differences with the paper</title>
6544
6545 <itemizedlist>
6546
6547 <listitem>
6548 <para>Instead of a single form of arrow application (arrow tail) with two
6549 translations, the implementation provides two forms
6550 <quote><literal>-&lt;</literal></quote> (first-order)
6551 and <quote><literal>-&lt;&lt;</literal></quote> (higher-order).
6552 </para>
6553 </listitem>
6554
6555 <listitem>
6556 <para>User-defined operators are flagged with banana brackets instead of
6557 a new <literal>form</literal> keyword.
6558 </para>
6559 </listitem>
6560
6561 </itemizedlist>
6562
6563 </sect2>
6564
6565 <sect2>
6566 <title>Portability</title>
6567
6568 <para>
6569 Although only GHC implements arrow notation directly,
6570 there is also a preprocessor
6571 (available from the 
6572 <ulink url="http://www.haskell.org/arrows/">arrows web page</ulink>)
6573 that translates arrow notation into Haskell 98
6574 for use with other Haskell systems.
6575 You would still want to check arrow programs with GHC;
6576 tracing type errors in the preprocessor output is not easy.
6577 Modules intended for both GHC and the preprocessor must observe some
6578 additional restrictions:
6579 <itemizedlist>
6580
6581 <listitem>
6582 <para>
6583 The module must import
6584 <ulink url="../libraries/base/Control-Arrow.html"><literal>Control.Arrow</literal></ulink>.
6585 </para>
6586 </listitem>
6587
6588 <listitem>
6589 <para>
6590 The preprocessor cannot cope with other Haskell extensions.
6591 These would have to go in separate modules.
6592 </para>
6593 </listitem>
6594
6595 <listitem>
6596 <para>
6597 Because the preprocessor targets Haskell (rather than Core),
6598 <literal>let</literal>-bound variables are monomorphic.
6599 </para>
6600 </listitem>
6601
6602 </itemizedlist>
6603 </para>
6604
6605 </sect2>
6606
6607 </sect1>
6608
6609 <!-- ==================== BANG PATTERNS =================  -->
6610
6611 <sect1 id="bang-patterns">
6612 <title>Bang patterns
6613 <indexterm><primary>Bang patterns</primary></indexterm>
6614 </title>
6615 <para>GHC supports an extension of pattern matching called <emphasis>bang
6616 patterns</emphasis>, written <literal>!<replaceable>pat</replaceable></literal>.   
6617 Bang patterns are under consideration for Haskell Prime.
6618 The <ulink
6619 url="http://hackage.haskell.org/trac/haskell-prime/wiki/BangPatterns">Haskell
6620 prime feature description</ulink> contains more discussion and examples
6621 than the material below.
6622 </para>
6623 <para>
6624 The key change is the addition of a new rule to the 
6625 <ulink url="http://haskell.org/onlinereport/exps.html#sect3.17.2">semantics of pattern matching in the Haskell 98 report</ulink>.
6626 Add new bullet 10, saying: Matching the pattern <literal>!</literal><replaceable>pat</replaceable> 
6627 against a value <replaceable>v</replaceable> behaves as follows:
6628 <itemizedlist>
6629 <listitem><para>if <replaceable>v</replaceable> is bottom, the match diverges</para></listitem>
6630 <listitem><para>otherwise, <replaceable>pat</replaceable> is matched against <replaceable>v</replaceable>  </para></listitem>
6631 </itemizedlist>
6632 </para>
6633 <para>
6634 Bang patterns are enabled by the flag <option>-XBangPatterns</option>.
6635 </para>
6636
6637 <sect2 id="bang-patterns-informal">
6638 <title>Informal description of bang patterns
6639 </title>
6640 <para>
6641 The main idea is to add a single new production to the syntax of patterns:
6642 <programlisting>
6643   pat ::= !pat
6644 </programlisting>
6645 Matching an expression <literal>e</literal> against a pattern <literal>!p</literal> is done by first
6646 evaluating <literal>e</literal> (to WHNF) and then matching the result against <literal>p</literal>.
6647 Example:
6648 <programlisting>
6649 f1 !x = True
6650 </programlisting>
6651 This definition makes <literal>f1</literal> is strict in <literal>x</literal>,
6652 whereas without the bang it would be lazy.
6653 Bang patterns can be nested of course:
6654 <programlisting>
6655 f2 (!x, y) = [x,y]
6656 </programlisting>
6657 Here, <literal>f2</literal> is strict in <literal>x</literal> but not in
6658 <literal>y</literal>.  
6659 A bang only really has an effect if it precedes a variable or wild-card pattern:
6660 <programlisting>
6661 f3 !(x,y) = [x,y]
6662 f4 (x,y)  = [x,y]
6663 </programlisting>
6664 Here, <literal>f3</literal> and <literal>f4</literal> are identical; 
6665 putting a bang before a pattern that
6666 forces evaluation anyway does nothing.
6667 </para>
6668 <para>
6669 There is one (apparent) exception to this general rule that a bang only
6670 makes a difference when it precedes a variable or wild-card: a bang at the
6671 top level of a <literal>let</literal> or <literal>where</literal>
6672 binding makes the binding strict, regardless of the pattern. For example:
6673 <programlisting>
6674 let ![x,y] = e in b
6675 </programlisting>
6676 is a strict binding: operationally, it evaluates <literal>e</literal>, matches
6677 it against the pattern <literal>[x,y]</literal>, and then evaluates <literal>b</literal>.
6678 (We say "apparent" exception because the Right Way to think of it is that the bang
6679 at the top of a binding is not part of the <emphasis>pattern</emphasis>; rather it
6680 is part of the syntax of the <emphasis>binding</emphasis>.)
6681 Nested bangs in a pattern binding behave uniformly with all other forms of 
6682 pattern matching.  For example
6683 <programlisting>
6684 let (!x,[y]) = e in b
6685 </programlisting>
6686 is equivalent to this:
6687 <programlisting>
6688 let { t = case e of (x,[y]) -> x `seq` (x,y)
6689       x = fst t
6690       y = snd t }
6691 in b
6692 </programlisting>
6693 The binding is lazy, but when either <literal>x</literal> or <literal>y</literal> is
6694 evaluated by <literal>b</literal> the entire pattern is matched, including forcing the
6695 evaluation of <literal>x</literal>.
6696 </para>
6697 <para>
6698 Bang patterns work in <literal>case</literal> expressions too, of course:
6699 <programlisting>
6700 g5 x = let y = f x in body
6701 g6 x = case f x of { y -&gt; body }
6702 g7 x = case f x of { !y -&gt; body }
6703 </programlisting>
6704 The functions <literal>g5</literal> and <literal>g6</literal> mean exactly the same thing.  
6705 But <literal>g7</literal> evaluates <literal>(f x)</literal>, binds <literal>y</literal> to the
6706 result, and then evaluates <literal>body</literal>.
6707 </para>
6708 </sect2>
6709
6710
6711 <sect2 id="bang-patterns-sem">
6712 <title>Syntax and semantics
6713 </title>
6714 <para>
6715
6716 We add a single new production to the syntax of patterns:
6717 <programlisting>
6718   pat ::= !pat
6719 </programlisting>
6720 There is one problem with syntactic ambiguity.  Consider:
6721 <programlisting>
6722 f !x = 3
6723 </programlisting>
6724 Is this a definition of the infix function "<literal>(!)</literal>",
6725 or of the "<literal>f</literal>" with a bang pattern? GHC resolves this
6726 ambiguity in favour of the latter.  If you want to define
6727 <literal>(!)</literal> with bang-patterns enabled, you have to do so using
6728 prefix notation:
6729 <programlisting>
6730 (!) f x = 3
6731 </programlisting>
6732 The semantics of Haskell pattern matching is described in <ulink
6733 url="http://www.haskell.org/onlinereport/exps.html#sect3.17.2">
6734 Section 3.17.2</ulink> of the Haskell Report.  To this description add 
6735 one extra item 10, saying:
6736 <itemizedlist><listitem><para>Matching
6737 the pattern <literal>!pat</literal> against a value <literal>v</literal> behaves as follows:
6738 <itemizedlist><listitem><para>if <literal>v</literal> is bottom, the match diverges</para></listitem>
6739                 <listitem><para>otherwise, <literal>pat</literal> is matched against
6740                 <literal>v</literal></para></listitem>
6741 </itemizedlist>
6742 </para></listitem></itemizedlist>
6743 Similarly, in Figure 4 of  <ulink url="http://www.haskell.org/onlinereport/exps.html#sect3.17.3">
6744 Section 3.17.3</ulink>, add a new case (t):
6745 <programlisting>
6746 case v of { !pat -> e; _ -> e' }
6747    = v `seq` case v of { pat -> e; _ -> e' }
6748 </programlisting>
6749 </para><para>
6750 That leaves let expressions, whose translation is given in 
6751 <ulink url="http://www.haskell.org/onlinereport/exps.html#sect3.12">Section
6752 3.12</ulink>
6753 of the Haskell Report.
6754 In the translation box, first apply 
6755 the following transformation:  for each pattern <literal>pi</literal> that is of 
6756 form <literal>!qi = ei</literal>, transform it to <literal>(xi,!qi) = ((),ei)</literal>, and and replace <literal>e0</literal> 
6757 by <literal>(xi `seq` e0)</literal>.  Then, when none of the left-hand-side patterns
6758 have a bang at the top, apply the rules in the existing box.
6759 </para>
6760 <para>The effect of the let rule is to force complete matching of the pattern
6761 <literal>qi</literal> before evaluation of the body is begun.  The bang is
6762 retained in the translated form in case <literal>qi</literal> is a variable,
6763 thus:
6764 <programlisting>
6765   let !y = f x in b
6766 </programlisting>
6767
6768 </para>
6769 <para>
6770 The let-binding can be recursive.  However, it is much more common for
6771 the let-binding to be non-recursive, in which case the following law holds:
6772 <literal>(let !p = rhs in body)</literal>
6773      is equivalent to
6774 <literal>(case rhs of !p -> body)</literal>
6775 </para>
6776 <para>
6777 A pattern with a bang at the outermost level is not allowed at the top level of
6778 a module.
6779 </para>
6780 </sect2>
6781 </sect1>
6782
6783 <!-- ==================== ASSERTIONS =================  -->
6784
6785 <sect1 id="assertions">
6786 <title>Assertions
6787 <indexterm><primary>Assertions</primary></indexterm>
6788 </title>
6789
6790 <para>
6791 If you want to make use of assertions in your standard Haskell code, you
6792 could define a function like the following:
6793 </para>
6794
6795 <para>
6796
6797 <programlisting>
6798 assert :: Bool -> a -> a
6799 assert False x = error "assertion failed!"
6800 assert _     x = x
6801 </programlisting>
6802
6803 </para>
6804
6805 <para>
6806 which works, but gives you back a less than useful error message --
6807 an assertion failed, but which and where?
6808 </para>
6809
6810 <para>
6811 One way out is to define an extended <function>assert</function> function which also
6812 takes a descriptive string to include in the error message and
6813 perhaps combine this with the use of a pre-processor which inserts
6814 the source location where <function>assert</function> was used.
6815 </para>
6816
6817 <para>
6818 Ghc offers a helping hand here, doing all of this for you. For every
6819 use of <function>assert</function> in the user's source:
6820 </para>
6821
6822 <para>
6823
6824 <programlisting>
6825 kelvinToC :: Double -> Double
6826 kelvinToC k = assert (k &gt;= 0.0) (k+273.15)
6827 </programlisting>
6828
6829 </para>
6830
6831 <para>
6832 Ghc will rewrite this to also include the source location where the
6833 assertion was made,
6834 </para>
6835
6836 <para>
6837
6838 <programlisting>
6839 assert pred val ==> assertError "Main.hs|15" pred val
6840 </programlisting>
6841
6842 </para>
6843
6844 <para>
6845 The rewrite is only performed by the compiler when it spots
6846 applications of <function>Control.Exception.assert</function>, so you
6847 can still define and use your own versions of
6848 <function>assert</function>, should you so wish. If not, import
6849 <literal>Control.Exception</literal> to make use
6850 <function>assert</function> in your code.
6851 </para>
6852
6853 <para>
6854 GHC ignores assertions when optimisation is turned on with the
6855       <option>-O</option><indexterm><primary><option>-O</option></primary></indexterm> flag.  That is, expressions of the form
6856 <literal>assert pred e</literal> will be rewritten to
6857 <literal>e</literal>.  You can also disable assertions using the
6858       <option>-fignore-asserts</option>
6859       option<indexterm><primary><option>-fignore-asserts</option></primary>
6860       </indexterm>.</para>
6861
6862 <para>
6863 Assertion failures can be caught, see the documentation for the
6864 <literal>Control.Exception</literal> library for the details.
6865 </para>
6866
6867 </sect1>
6868
6869
6870 <!-- =============================== PRAGMAS ===========================  -->
6871
6872   <sect1 id="pragmas">
6873     <title>Pragmas</title>
6874
6875     <indexterm><primary>pragma</primary></indexterm>
6876
6877     <para>GHC supports several pragmas, or instructions to the
6878     compiler placed in the source code.  Pragmas don't normally affect
6879     the meaning of the program, but they might affect the efficiency
6880     of the generated code.</para>
6881
6882     <para>Pragmas all take the form
6883
6884 <literal>{-# <replaceable>word</replaceable> ... #-}</literal>  
6885
6886     where <replaceable>word</replaceable> indicates the type of
6887     pragma, and is followed optionally by information specific to that
6888     type of pragma.  Case is ignored in
6889     <replaceable>word</replaceable>.  The various values for
6890     <replaceable>word</replaceable> that GHC understands are described
6891     in the following sections; any pragma encountered with an
6892     unrecognised <replaceable>word</replaceable> is (silently)
6893     ignored. The layout rule applies in pragmas, so the closing <literal>#-}</literal>
6894     should start in a column to the right of the opening <literal>{-#</literal>. </para> 
6895
6896     <para>Certain pragmas are <emphasis>file-header pragmas</emphasis>:
6897       <itemizedlist>
6898       <listitem><para>
6899           A file-header
6900           pragma must precede the <literal>module</literal> keyword in the file.
6901           </para></listitem>
6902       <listitem><para>
6903       There can be as many file-header pragmas as you please, and they can be
6904       preceded or followed by comments.  
6905           </para></listitem>
6906       <listitem><para>
6907       File-header pragmas are read once only, before
6908       pre-processing the file (e.g. with cpp).
6909           </para></listitem>
6910       <listitem><para>
6911          The file-header pragmas are: <literal>{-# LANGUAGE #-}</literal>,
6912         <literal>{-# OPTIONS_GHC #-}</literal>, and
6913         <literal>{-# INCLUDE #-}</literal>.
6914           </para></listitem>
6915       </itemizedlist>
6916       </para>
6917
6918     <sect2 id="language-pragma">
6919       <title>LANGUAGE pragma</title>
6920
6921       <indexterm><primary>LANGUAGE</primary><secondary>pragma</secondary></indexterm>
6922       <indexterm><primary>pragma</primary><secondary>LANGUAGE</secondary></indexterm>
6923
6924       <para>The <literal>LANGUAGE</literal> pragma allows language extensions to be enabled 
6925         in a portable way.
6926         It is the intention that all Haskell compilers support the
6927         <literal>LANGUAGE</literal> pragma with the same syntax, although not
6928         all extensions are supported by all compilers, of
6929         course.  The <literal>LANGUAGE</literal> pragma should be used instead
6930         of <literal>OPTIONS_GHC</literal>, if possible.</para>
6931
6932       <para>For example, to enable the FFI and preprocessing with CPP:</para>
6933
6934 <programlisting>{-# LANGUAGE ForeignFunctionInterface, CPP #-}</programlisting>
6935
6936         <para><literal>LANGUAGE</literal> is a file-header pragma (see <xref linkend="pragmas"/>).</para>
6937
6938       <para>Every language extension can also be turned into a command-line flag
6939         by prefixing it with "<literal>-X</literal>"; for example <option>-XForeignFunctionInterface</option>.
6940         (Similarly, all "<literal>-X</literal>" flags can be written as <literal>LANGUAGE</literal> pragmas.
6941       </para>
6942
6943       <para>A list of all supported language extensions can be obtained by invoking
6944         <literal>ghc --supported-languages</literal> (see <xref linkend="modes"/>).</para>
6945
6946       <para>Any extension from the <literal>Extension</literal> type defined in
6947         <ulink
6948           url="../libraries/Cabal/Language-Haskell-Extension.html"><literal>Language.Haskell.Extension</literal></ulink>
6949         may be used.  GHC will report an error if any of the requested extensions are not supported.</para>
6950     </sect2>
6951
6952
6953     <sect2 id="options-pragma">
6954       <title>OPTIONS_GHC pragma</title>
6955       <indexterm><primary>OPTIONS_GHC</primary>
6956       </indexterm>
6957       <indexterm><primary>pragma</primary><secondary>OPTIONS_GHC</secondary>
6958       </indexterm>
6959
6960       <para>The <literal>OPTIONS_GHC</literal> pragma is used to specify
6961       additional options that are given to the compiler when compiling
6962       this source file.  See <xref linkend="source-file-options"/> for
6963       details.</para>
6964
6965       <para>Previous versions of GHC accepted <literal>OPTIONS</literal> rather
6966         than <literal>OPTIONS_GHC</literal>, but that is now deprecated.</para>
6967     </sect2>
6968
6969         <para><literal>OPTIONS_GHC</literal> is a file-header pragma (see <xref linkend="pragmas"/>).</para>
6970
6971     <sect2 id="include-pragma">
6972       <title>INCLUDE pragma</title>
6973
6974       <para>The <literal>INCLUDE</literal> pragma is for specifying the names
6975         of C header files that should be <literal>#include</literal>'d into
6976         the C source code generated by the compiler for the current module (if
6977         compiling via C).  For example:</para>
6978
6979 <programlisting>
6980 {-# INCLUDE "foo.h" #-}
6981 {-# INCLUDE &lt;stdio.h&gt; #-}</programlisting>
6982
6983         <para><literal>INCLUDE</literal> is a file-header pragma (see <xref linkend="pragmas"/>).</para>
6984
6985       <para>An <literal>INCLUDE</literal> pragma is  the preferred alternative
6986         to the <option>-#include</option> option (<xref
6987           linkend="options-C-compiler" />), because the
6988         <literal>INCLUDE</literal> pragma is understood by other
6989         compilers.  Yet another alternative is to add the include file to each
6990         <literal>foreign import</literal> declaration in your code, but we
6991         don't recommend using this approach with GHC.</para>
6992     </sect2>
6993
6994     <sect2 id="warning-deprecated-pragma">
6995       <title>WARNING and DEPRECATED pragmas</title>
6996       <indexterm><primary>WARNING</primary></indexterm>
6997       <indexterm><primary>DEPRECATED</primary></indexterm>
6998
6999       <para>The WARNING pragma allows you to attach an arbitrary warning
7000       to a particular function, class, or type.
7001       A DEPRECATED pragma lets you specify that
7002       a particular function, class, or type is deprecated.
7003       There are two ways of using these pragmas.
7004
7005       <itemizedlist>
7006         <listitem>
7007           <para>You can work on an entire module thus:</para>
7008 <programlisting>
7009    module Wibble {-# DEPRECATED "Use Wobble instead" #-} where
7010      ...
7011 </programlisting>
7012       <para>Or:</para>
7013 <programlisting>
7014    module Wibble {-# WARNING "This is an unstable interface." #-} where
7015      ...
7016 </programlisting>
7017           <para>When you compile any module that import
7018           <literal>Wibble</literal>, GHC will print the specified
7019           message.</para>
7020         </listitem>
7021
7022         <listitem>
7023           <para>You can attach a warning to a function, class, type, or data constructor, with the
7024           following top-level declarations:</para>
7025 <programlisting>
7026    {-# DEPRECATED f, C, T "Don't use these" #-}
7027    {-# WARNING unsafePerformIO "This is unsafe; I hope you know what you're doing" #-}
7028 </programlisting>
7029           <para>When you compile any module that imports and uses any
7030           of the specified entities, GHC will print the specified
7031           message.</para>
7032           <para> You can only attach to entities declared at top level in the module
7033           being compiled, and you can only use unqualified names in the list of
7034           entities. A capitalised name, such as <literal>T</literal>
7035           refers to <emphasis>either</emphasis> the type constructor <literal>T</literal>
7036           <emphasis>or</emphasis> the data constructor <literal>T</literal>, or both if
7037           both are in scope.  If both are in scope, there is currently no way to
7038       specify one without the other (c.f. fixities
7039       <xref linkend="infix-tycons"/>).</para>
7040         </listitem>
7041       </itemizedlist>
7042       Warnings and deprecations are not reported for
7043       (a) uses within the defining module, and
7044       (b) uses in an export list.
7045       The latter reduces spurious complaints within a library
7046       in which one module gathers together and re-exports 
7047       the exports of several others.
7048       </para>
7049       <para>You can suppress the warnings with the flag
7050       <option>-fno-warn-warnings-deprecations</option>.</para>
7051     </sect2>
7052
7053     <sect2 id="inline-noinline-pragma">
7054       <title>INLINE and NOINLINE pragmas</title>
7055
7056       <para>These pragmas control the inlining of function
7057       definitions.</para>
7058
7059       <sect3 id="inline-pragma">
7060         <title>INLINE pragma</title>
7061         <indexterm><primary>INLINE</primary></indexterm>
7062
7063         <para>GHC (with <option>-O</option>, as always) tries to
7064         inline (or &ldquo;unfold&rdquo;) functions/values that are
7065         &ldquo;small enough,&rdquo; thus avoiding the call overhead
7066         and possibly exposing other more-wonderful optimisations.
7067         Normally, if GHC decides a function is &ldquo;too
7068         expensive&rdquo; to inline, it will not do so, nor will it
7069         export that unfolding for other modules to use.</para>
7070
7071         <para>The sledgehammer you can bring to bear is the
7072         <literal>INLINE</literal><indexterm><primary>INLINE
7073         pragma</primary></indexterm> pragma, used thusly:</para>
7074
7075 <programlisting>
7076 key_function :: Int -> String -> (Bool, Double)
7077 {-# INLINE key_function #-}
7078 </programlisting>
7079
7080         <para>The major effect of an <literal>INLINE</literal> pragma
7081         is to declare a function's &ldquo;cost&rdquo; to be very low.
7082         The normal unfolding machinery will then be very keen to
7083         inline it.  However, an <literal>INLINE</literal> pragma for a 
7084         function "<literal>f</literal>" has a number of other effects:
7085 <itemizedlist>
7086 <listitem><para>
7087 No functions are inlined into <literal>f</literal>.  Otherwise
7088 GHC might inline a big function into <literal>f</literal>'s right hand side, 
7089 making <literal>f</literal> big; and then inline <literal>f</literal> blindly.
7090 </para></listitem>
7091 <listitem><para>
7092 The float-in, float-out, and common-sub-expression transformations are not 
7093 applied to the body of <literal>f</literal>.  
7094 </para></listitem>
7095 <listitem><para>
7096 An INLINE function is not worker/wrappered by strictness analysis.
7097 It's going to be inlined wholesale instead.
7098 </para></listitem>
7099 </itemizedlist>
7100 All of these effects are aimed at ensuring that what gets inlined is
7101 exactly what you asked for, no more and no less.
7102 </para>
7103 <para>GHC ensures that inlining cannot go on forever: every mutually-recursive
7104 group is cut by one or more <emphasis>loop breakers</emphasis> that is never inlined
7105 (see <ulink url="http://research.microsoft.com/%7Esimonpj/Papers/inlining/index.htm">
7106 Secrets of the GHC inliner, JFP 12(4) July 2002</ulink>).
7107 GHC tries not to select a function with an INLINE pragma as a loop breaker, but
7108 when there is no choice even an INLINE function can be selected, in which case
7109 the INLINE pragma is ignored.
7110 For example, for a self-recursive function, the loop breaker can only be the function
7111 itself, so an INLINE pragma is always ignored.</para>
7112
7113         <para>Syntactically, an <literal>INLINE</literal> pragma for a
7114         function can be put anywhere its type signature could be
7115         put.</para>
7116
7117         <para><literal>INLINE</literal> pragmas are a particularly
7118         good idea for the
7119         <literal>then</literal>/<literal>return</literal> (or
7120         <literal>bind</literal>/<literal>unit</literal>) functions in
7121         a monad.  For example, in GHC's own
7122         <literal>UniqueSupply</literal> monad code, we have:</para>
7123
7124 <programlisting>
7125 {-# INLINE thenUs #-}
7126 {-# INLINE returnUs #-}
7127 </programlisting>
7128
7129         <para>See also the <literal>NOINLINE</literal> pragma (<xref
7130         linkend="noinline-pragma"/>).</para>
7131
7132         <para>Note: the HBC compiler doesn't like <literal>INLINE</literal> pragmas,
7133           so if you want your code to be HBC-compatible you'll have to surround
7134           the pragma with C pre-processor directives 
7135           <literal>#ifdef __GLASGOW_HASKELL__</literal>...<literal>#endif</literal>.</para>
7136
7137       </sect3>
7138
7139       <sect3 id="noinline-pragma">
7140         <title>NOINLINE pragma</title>
7141         
7142         <indexterm><primary>NOINLINE</primary></indexterm>
7143         <indexterm><primary>NOTINLINE</primary></indexterm>
7144
7145         <para>The <literal>NOINLINE</literal> pragma does exactly what
7146         you'd expect: it stops the named function from being inlined
7147         by the compiler.  You shouldn't ever need to do this, unless
7148         you're very cautious about code size.</para>
7149
7150         <para><literal>NOTINLINE</literal> is a synonym for
7151         <literal>NOINLINE</literal> (<literal>NOINLINE</literal> is
7152         specified by Haskell 98 as the standard way to disable
7153         inlining, so it should be used if you want your code to be
7154         portable).</para>
7155       </sect3>
7156
7157       <sect3 id="phase-control">
7158         <title>Phase control</title>
7159
7160         <para> Sometimes you want to control exactly when in GHC's
7161         pipeline the INLINE pragma is switched on.  Inlining happens
7162         only during runs of the <emphasis>simplifier</emphasis>.  Each
7163         run of the simplifier has a different <emphasis>phase
7164         number</emphasis>; the phase number decreases towards zero.
7165         If you use <option>-dverbose-core2core</option> you'll see the
7166         sequence of phase numbers for successive runs of the
7167         simplifier.  In an INLINE pragma you can optionally specify a
7168         phase number, thus:
7169         <itemizedlist>
7170           <listitem>
7171             <para>"<literal>INLINE[k] f</literal>" means: do not inline
7172             <literal>f</literal>
7173               until phase <literal>k</literal>, but from phase
7174               <literal>k</literal> onwards be very keen to inline it.
7175             </para></listitem>
7176           <listitem>
7177             <para>"<literal>INLINE[~k] f</literal>" means: be very keen to inline
7178             <literal>f</literal>
7179               until phase <literal>k</literal>, but from phase
7180               <literal>k</literal> onwards do not inline it.
7181             </para></listitem>
7182           <listitem>
7183             <para>"<literal>NOINLINE[k] f</literal>" means: do not inline
7184             <literal>f</literal>
7185               until phase <literal>k</literal>, but from phase
7186               <literal>k</literal> onwards be willing to inline it (as if
7187               there was no pragma).
7188             </para></listitem>
7189             <listitem>
7190             <para>"<literal>NOINLINE[~k] f</literal>" means: be willing to inline
7191             <literal>f</literal>
7192               until phase <literal>k</literal>, but from phase
7193               <literal>k</literal> onwards do not inline it.
7194             </para></listitem>
7195         </itemizedlist>
7196 The same information is summarised here:
7197 <programlisting>
7198                            -- Before phase 2     Phase 2 and later
7199   {-# INLINE   [2]  f #-}  --      No                 Yes
7200   {-# INLINE   [~2] f #-}  --      Yes                No
7201   {-# NOINLINE [2]  f #-}  --      No                 Maybe
7202   {-# NOINLINE [~2] f #-}  --      Maybe              No
7203
7204   {-# INLINE   f #-}       --      Yes                Yes
7205   {-# NOINLINE f #-}       --      No                 No
7206 </programlisting>
7207 By "Maybe" we mean that the usual heuristic inlining rules apply (if the
7208 function body is small, or it is applied to interesting-looking arguments etc).
7209 Another way to understand the semantics is this:
7210 <itemizedlist>
7211 <listitem><para>For both INLINE and NOINLINE, the phase number says
7212 when inlining is allowed at all.</para></listitem>
7213 <listitem><para>The INLINE pragma has the additional effect of making the
7214 function body look small, so that when inlining is allowed it is very likely to
7215 happen.
7216 </para></listitem>
7217 </itemizedlist>
7218 </para>
7219 <para>The same phase-numbering control is available for RULES
7220         (<xref linkend="rewrite-rules"/>).</para>
7221       </sect3>
7222     </sect2>
7223
7224     <sect2 id="annotation-pragmas">
7225       <title>ANN pragmas</title>
7226       
7227       <para>GHC offers the ability to annotate various code constructs with additional
7228       data by using three pragmas.  This data can then be inspected at a later date by
7229       using GHC-as-a-library.</para>
7230             
7231       <sect3 id="ann-pragma">
7232         <title>Annotating values</title>
7233         
7234         <indexterm><primary>ANN</primary></indexterm>
7235         
7236         <para>Any expression that has both <literal>Typeable</literal> and <literal>Data</literal> instances may be attached to a top-level value
7237         binding using an <literal>ANN</literal> pragma. In particular, this means you can use <literal>ANN</literal>
7238         to annotate data constructors (e.g. <literal>Just</literal>) as well as normal values (e.g. <literal>take</literal>).
7239         By way of example, to annotate the function <literal>foo</literal> with the annotation <literal>Just "Hello"</literal>
7240         you would do this:</para>
7241         
7242 <programlisting>
7243 {-# ANN foo (Just "Hello") #-}
7244 foo = ...
7245 </programlisting>
7246         
7247         <para>
7248           A number of restrictions apply to use of annotations:
7249           <itemizedlist>
7250             <listitem><para>The binder being annotated must be at the top level (i.e. no nested binders)</para></listitem>
7251             <listitem><para>The binder being annotated must be declared in the current module</para></listitem>
7252             <listitem><para>The expression you are annotating with must have a type with <literal>Typeable</literal> and <literal>Data</literal> instances</para></listitem>
7253             <listitem><para>The <ulink linkend="using-template-haskell">Template Haskell staging restrictions</ulink> apply to the
7254             expression being annotated with, so for example you cannot run a function from the module being compiled.</para>
7255             
7256             <para>To be precise, the annotation <literal>{-# ANN x e #-}</literal> is well staged if and only if <literal>$(e)</literal> would be 
7257             (disregarding the usual type restrictions of the splice syntax, and the usual restriction on splicing inside a splice - <literal>$([|1|])</literal> is fine as an annotation, albeit redundant).</para></listitem>
7258           </itemizedlist>
7259           
7260           If you feel strongly that any of these restrictions are too onerous, <ulink url="http://hackage.haskell.org/trac/ghc/wiki/MailingListsAndIRC">
7261           please give the GHC team a shout</ulink>.
7262         </para>
7263         
7264         <para>However, apart from these restrictions, many things are allowed, including expressions which not fully evaluated!
7265         Annotation expressions will be evaluated by the compiler just like Template Haskell splices are. So, this annotation is fine:</para>
7266         
7267 <programlisting>
7268 {-# ANN f SillyAnnotation { foo = (id 10) + $([| 20 |]), bar = 'f } #-}
7269 f = ...
7270 </programlisting>
7271       </sect3>
7272       
7273       <sect3 id="typeann-pragma">
7274         <title>Annotating types</title>
7275         
7276         <indexterm><primary>ANN type</primary></indexterm>
7277         <indexterm><primary>ANN</primary></indexterm>
7278         
7279         <para>You can annotate types with the <literal>ANN</literal> pragma by using the <literal>type</literal> keyword. For example:</para>
7280         
7281 <programlisting>
7282 {-# ANN type Foo (Just "A `Maybe String' annotation") #-}
7283 data Foo = ...
7284 </programlisting>
7285       </sect3>
7286       
7287       <sect3 id="modann-pragma">
7288         <title>Annotating modules</title>
7289         
7290         <indexterm><primary>ANN module</primary></indexterm>
7291         <indexterm><primary>ANN</primary></indexterm>
7292         
7293         <para>You can annotate modules with the <literal>ANN</literal> pragma by using the <literal>module</literal> keyword. For example:</para>
7294         
7295 <programlisting>
7296 {-# ANN module (Just "A `Maybe String' annotation") #-}
7297 </programlisting>
7298       </sect3>
7299     </sect2>
7300
7301     <sect2 id="line-pragma">
7302       <title>LINE pragma</title>
7303
7304       <indexterm><primary>LINE</primary><secondary>pragma</secondary></indexterm>
7305       <indexterm><primary>pragma</primary><secondary>LINE</secondary></indexterm>
7306       <para>This pragma is similar to C's <literal>&num;line</literal>
7307       pragma, and is mainly for use in automatically generated Haskell
7308       code.  It lets you specify the line number and filename of the
7309       original code; for example</para>
7310
7311 <programlisting>{-# LINE 42 "Foo.vhs" #-}</programlisting>
7312
7313       <para>if you'd generated the current file from something called
7314       <filename>Foo.vhs</filename> and this line corresponds to line
7315       42 in the original.  GHC will adjust its error messages to refer
7316       to the line/file named in the <literal>LINE</literal>
7317       pragma.</para>
7318     </sect2>
7319
7320     <sect2 id="rules">
7321       <title>RULES pragma</title>
7322
7323       <para>The RULES pragma lets you specify rewrite rules.  It is
7324       described in <xref linkend="rewrite-rules"/>.</para>
7325     </sect2>
7326
7327     <sect2 id="specialize-pragma">
7328       <title>SPECIALIZE pragma</title>
7329
7330       <indexterm><primary>SPECIALIZE pragma</primary></indexterm>
7331       <indexterm><primary>pragma, SPECIALIZE</primary></indexterm>
7332       <indexterm><primary>overloading, death to</primary></indexterm>
7333
7334       <para>(UK spelling also accepted.)  For key overloaded
7335       functions, you can create extra versions (NB: more code space)
7336       specialised to particular types.  Thus, if you have an
7337       overloaded function:</para>
7338
7339 <programlisting>
7340   hammeredLookup :: Ord key => [(key, value)] -> key -> value
7341 </programlisting>
7342
7343       <para>If it is heavily used on lists with
7344       <literal>Widget</literal> keys, you could specialise it as
7345       follows:</para>
7346
7347 <programlisting>
7348   {-# SPECIALIZE hammeredLookup :: [(Widget, value)] -> Widget -> value #-}
7349 </programlisting>
7350
7351       <para>A <literal>SPECIALIZE</literal> pragma for a function can
7352       be put anywhere its type signature could be put.</para>
7353
7354       <para>A <literal>SPECIALIZE</literal> has the effect of generating
7355       (a) a specialised version of the function and (b) a rewrite rule
7356       (see <xref linkend="rewrite-rules"/>) that rewrites a call to the
7357       un-specialised function into a call to the specialised one.</para>
7358
7359       <para>The type in a SPECIALIZE pragma can be any type that is less
7360         polymorphic than the type of the original function.  In concrete terms,
7361         if the original function is <literal>f</literal> then the pragma
7362 <programlisting>
7363   {-# SPECIALIZE f :: &lt;type&gt; #-}
7364 </programlisting>
7365       is valid if and only if the definition
7366 <programlisting>
7367   f_spec :: &lt;type&gt;
7368   f_spec = f
7369 </programlisting>
7370       is valid.  Here are some examples (where we only give the type signature
7371       for the original function, not its code):
7372 <programlisting>
7373   f :: Eq a => a -> b -> b
7374   {-# SPECIALISE f :: Int -> b -> b #-}
7375
7376   g :: (Eq a, Ix b) => a -> b -> b
7377   {-# SPECIALISE g :: (Eq a) => a -> Int -> Int #-}
7378
7379   h :: Eq a => a -> a -> a
7380   {-# SPECIALISE h :: (Eq a) => [a] -> [a] -> [a] #-}
7381 </programlisting>
7382 The last of these examples will generate a 
7383 RULE with a somewhat-complex left-hand side (try it yourself), so it might not fire very
7384 well.  If you use this kind of specialisation, let us know how well it works.
7385 </para>
7386
7387 <para>A <literal>SPECIALIZE</literal> pragma can optionally be followed with a
7388 <literal>INLINE</literal> or <literal>NOINLINE</literal> pragma, optionally 
7389 followed by a phase, as described in <xref linkend="inline-noinline-pragma"/>.
7390 The <literal>INLINE</literal> pragma affects the specialised version of the
7391 function (only), and applies even if the function is recursive.  The motivating
7392 example is this:
7393 <programlisting>
7394 -- A GADT for arrays with type-indexed representation
7395 data Arr e where
7396   ArrInt :: !Int -> ByteArray# -> Arr Int
7397   ArrPair :: !Int -> Arr e1 -> Arr e2 -> Arr (e1, e2)
7398
7399 (!:) :: Arr e -> Int -> e
7400 {-# SPECIALISE INLINE (!:) :: Arr Int -> Int -> Int #-}
7401 {-# SPECIALISE INLINE (!:) :: Arr (a, b) -> Int -> (a, b) #-}
7402 (ArrInt _ ba)     !: (I# i) = I# (indexIntArray# ba i)
7403 (ArrPair _ a1 a2) !: i      = (a1 !: i, a2 !: i)
7404 </programlisting>
7405 Here, <literal>(!:)</literal> is a recursive function that indexes arrays
7406 of type <literal>Arr e</literal>.  Consider a call to  <literal>(!:)</literal>
7407 at type <literal>(Int,Int)</literal>.  The second specialisation will fire, and
7408 the specialised function will be inlined.  It has two calls to
7409 <literal>(!:)</literal>,
7410 both at type <literal>Int</literal>.  Both these calls fire the first
7411 specialisation, whose body is also inlined.  The result is a type-based
7412 unrolling of the indexing function.</para>
7413 <para>Warning: you can make GHC diverge by using <literal>SPECIALISE INLINE</literal>
7414 on an ordinarily-recursive function.</para>
7415
7416       <para>Note: In earlier versions of GHC, it was possible to provide your own
7417       specialised function for a given type:
7418
7419 <programlisting>
7420 {-# SPECIALIZE hammeredLookup :: [(Int, value)] -> Int -> value = intLookup #-}
7421 </programlisting>
7422
7423       This feature has been removed, as it is now subsumed by the
7424       <literal>RULES</literal> pragma (see <xref linkend="rule-spec"/>).</para>
7425
7426     </sect2>
7427
7428 <sect2 id="specialize-instance-pragma">
7429 <title>SPECIALIZE instance pragma
7430 </title>
7431
7432 <para>
7433 <indexterm><primary>SPECIALIZE pragma</primary></indexterm>
7434 <indexterm><primary>overloading, death to</primary></indexterm>
7435 Same idea, except for instance declarations.  For example:
7436
7437 <programlisting>
7438 instance (Eq a) => Eq (Foo a) where { 
7439    {-# SPECIALIZE instance Eq (Foo [(Int, Bar)]) #-}
7440    ... usual stuff ...
7441  }
7442 </programlisting>
7443 The pragma must occur inside the <literal>where</literal> part
7444 of the instance declaration.
7445 </para>
7446 <para>
7447 Compatible with HBC, by the way, except perhaps in the placement
7448 of the pragma.
7449 </para>
7450
7451 </sect2>
7452
7453     <sect2 id="unpack-pragma">
7454       <title>UNPACK pragma</title>
7455
7456       <indexterm><primary>UNPACK</primary></indexterm>
7457       
7458       <para>The <literal>UNPACK</literal> indicates to the compiler
7459       that it should unpack the contents of a constructor field into
7460       the constructor itself, removing a level of indirection.  For
7461       example:</para>
7462
7463 <programlisting>
7464 data T = T {-# UNPACK #-} !Float
7465            {-# UNPACK #-} !Float
7466 </programlisting>
7467
7468       <para>will create a constructor <literal>T</literal> containing
7469       two unboxed floats.  This may not always be an optimisation: if
7470       the <function>T</function> constructor is scrutinised and the
7471       floats passed to a non-strict function for example, they will
7472       have to be reboxed (this is done automatically by the
7473       compiler).</para>
7474
7475       <para>Unpacking constructor fields should only be used in
7476       conjunction with <option>-O</option>, in order to expose
7477       unfoldings to the compiler so the reboxing can be removed as
7478       often as possible.  For example:</para>
7479
7480 <programlisting>
7481 f :: T -&#62; Float
7482 f (T f1 f2) = f1 + f2
7483 </programlisting>
7484
7485       <para>The compiler will avoid reboxing <function>f1</function>
7486       and <function>f2</function> by inlining <function>+</function>
7487       on floats, but only when <option>-O</option> is on.</para>
7488
7489       <para>Any single-constructor data is eligible for unpacking; for
7490       example</para>
7491
7492 <programlisting>
7493 data T = T {-# UNPACK #-} !(Int,Int)
7494 </programlisting>
7495
7496       <para>will store the two <literal>Int</literal>s directly in the
7497       <function>T</function> constructor, by flattening the pair.
7498       Multi-level unpacking is also supported:
7499
7500 <programlisting>
7501 data T = T {-# UNPACK #-} !S
7502 data S = S {-# UNPACK #-} !Int {-# UNPACK #-} !Int
7503 </programlisting>
7504
7505       will store two unboxed <literal>Int&num;</literal>s
7506       directly in the <function>T</function> constructor.  The
7507       unpacker can see through newtypes, too.</para>
7508
7509       <para>If a field cannot be unpacked, you will not get a warning,
7510       so it might be an idea to check the generated code with
7511       <option>-ddump-simpl</option>.</para>
7512
7513       <para>See also the <option>-funbox-strict-fields</option> flag,
7514       which essentially has the effect of adding
7515       <literal>{-#&nbsp;UNPACK&nbsp;#-}</literal> to every strict
7516       constructor field.</para>
7517     </sect2>
7518
7519     <sect2 id="source-pragma">
7520       <title>SOURCE pragma</title>
7521
7522       <indexterm><primary>SOURCE</primary></indexterm>
7523      <para>The <literal>{-# SOURCE #-}</literal> pragma is used only in <literal>import</literal> declarations,
7524      to break a module loop.  It is described in detail in <xref linkend="mutual-recursion"/>.
7525      </para>
7526 </sect2>
7527
7528 </sect1>
7529
7530 <!--  ======================= REWRITE RULES ======================== -->
7531
7532 <sect1 id="rewrite-rules">
7533 <title>Rewrite rules
7534
7535 <indexterm><primary>RULES pragma</primary></indexterm>
7536 <indexterm><primary>pragma, RULES</primary></indexterm>
7537 <indexterm><primary>rewrite rules</primary></indexterm></title>
7538
7539 <para>
7540 The programmer can specify rewrite rules as part of the source program
7541 (in a pragma).  
7542 Here is an example:
7543
7544 <programlisting>
7545   {-# RULES
7546   "map/map"    forall f g xs.  map f (map g xs) = map (f.g) xs
7547     #-}
7548 </programlisting>
7549 </para>
7550 <para>
7551 Use the debug flag <option>-ddump-simpl-stats</option> to see what rules fired.
7552 If you need more information, then <option>-ddump-rule-firings</option> shows you
7553 each individual rule firing in detail.
7554 </para>
7555
7556 <sect2>
7557 <title>Syntax</title>
7558
7559 <para>
7560 From a syntactic point of view:
7561
7562 <itemizedlist>
7563
7564 <listitem>
7565 <para>
7566  There may be zero or more rules in a <literal>RULES</literal> pragma, separated by semicolons (which
7567  may be generated by the layout rule).
7568 </para>
7569 </listitem>
7570
7571 <listitem>
7572 <para>
7573 The layout rule applies in a pragma.
7574 Currently no new indentation level
7575 is set, so if you put several rules in single RULES pragma and wish to use layout to separate them,
7576 you must lay out the starting in the same column as the enclosing definitions.
7577 <programlisting>
7578   {-# RULES
7579   "map/map"    forall f g xs.  map f (map g xs) = map (f.g) xs
7580   "map/append" forall f xs ys. map f (xs ++ ys) = map f xs ++ map f ys
7581     #-}
7582 </programlisting>
7583 Furthermore, the closing <literal>#-}</literal>
7584 should start in a column to the right of the opening <literal>{-#</literal>.
7585 </para>
7586 </listitem>
7587
7588 <listitem>
7589 <para>
7590  Each rule has a name, enclosed in double quotes.  The name itself has
7591 no significance at all.  It is only used when reporting how many times the rule fired.
7592 </para>
7593 </listitem>
7594
7595 <listitem>
7596 <para>
7597 A rule may optionally have a phase-control number (see <xref linkend="phase-control"/>),
7598 immediately after the name of the rule.  Thus:
7599 <programlisting>
7600   {-# RULES
7601         "map/map" [2]  forall f g xs. map f (map g xs) = map (f.g) xs
7602     #-}
7603 </programlisting>
7604 The "[2]" means that the rule is active in Phase 2 and subsequent phases.  The inverse
7605 notation "[~2]" is also accepted, meaning that the rule is active up to, but not including,
7606 Phase 2.
7607 </para>
7608 </listitem>
7609
7610
7611
7612 <listitem>
7613 <para>
7614  Each variable mentioned in a rule must either be in scope (e.g. <function>map</function>),
7615 or bound by the <literal>forall</literal> (e.g. <function>f</function>, <function>g</function>, <function>xs</function>).  The variables bound by
7616 the <literal>forall</literal> are called the <emphasis>pattern</emphasis> variables.  They are separated
7617 by spaces, just like in a type <literal>forall</literal>.
7618 </para>
7619 </listitem>
7620 <listitem>
7621
7622 <para>
7623  A pattern variable may optionally have a type signature.
7624 If the type of the pattern variable is polymorphic, it <emphasis>must</emphasis> have a type signature.
7625 For example, here is the <literal>foldr/build</literal> rule:
7626
7627 <programlisting>
7628 "fold/build"  forall k z (g::forall b. (a->b->b) -> b -> b) .
7629               foldr k z (build g) = g k z
7630 </programlisting>
7631
7632 Since <function>g</function> has a polymorphic type, it must have a type signature.
7633
7634 </para>
7635 </listitem>
7636 <listitem>
7637
7638 <para>
7639 The left hand side of a rule must consist of a top-level variable applied
7640 to arbitrary expressions.  For example, this is <emphasis>not</emphasis> OK:
7641
7642 <programlisting>
7643 "wrong1"   forall e1 e2.  case True of { True -> e1; False -> e2 } = e1
7644 "wrong2"   forall f.      f True = True
7645 </programlisting>
7646
7647 In <literal>"wrong1"</literal>, the LHS is not an application; in <literal>"wrong2"</literal>, the LHS has a pattern variable
7648 in the head.
7649 </para>
7650 </listitem>
7651 <listitem>
7652
7653 <para>
7654  A rule does not need to be in the same module as (any of) the
7655 variables it mentions, though of course they need to be in scope.
7656 </para>
7657 </listitem>
7658 <listitem>
7659
7660 <para>
7661  All rules are implicitly exported from the module, and are therefore
7662 in force in any module that imports the module that defined the rule, directly
7663 or indirectly.  (That is, if A imports B, which imports C, then C's rules are
7664 in force when compiling A.)  The situation is very similar to that for instance
7665 declarations.
7666 </para>
7667 </listitem>
7668
7669 <listitem>
7670
7671 <para>
7672 Inside a RULE "<literal>forall</literal>" is treated as a keyword, regardless of
7673 any other flag settings.  Furthermore, inside a RULE, the language extension
7674 <option>-XScopedTypeVariables</option> is automatically enabled; see 
7675 <xref linkend="scoped-type-variables"/>.
7676 </para>
7677 </listitem>
7678 <listitem>
7679
7680 <para>
7681 Like other pragmas, RULE pragmas are always checked for scope errors, and
7682 are typechecked. Typechecking means that the LHS and RHS of a rule are typechecked, 
7683 and must have the same type.  However, rules are only <emphasis>enabled</emphasis>
7684 if the <option>-fenable-rewrite-rules</option> flag is 
7685 on (see <xref linkend="rule-semantics"/>).
7686 </para>
7687 </listitem>
7688 </itemizedlist>
7689
7690 </para>
7691
7692 </sect2>
7693
7694 <sect2 id="rule-semantics">
7695 <title>Semantics</title>
7696
7697 <para>
7698 From a semantic point of view:
7699
7700 <itemizedlist>
7701 <listitem>
7702 <para>
7703 Rules are enabled (that is, used during optimisation)
7704 by the <option>-fenable-rewrite-rules</option> flag.
7705 This flag is implied by <option>-O</option>, and may be switched
7706 off (as usual) by <option>-fno-enable-rewrite-rules</option>.
7707 (NB: enabling <option>-fenable-rewrite-rules</option> without <option>-O</option> 
7708 may not do what you expect, though, because without <option>-O</option> GHC 
7709 ignores all optimisation information in interface files;
7710 see <option>-fignore-interface-pragmas</option>, <xref linkend="options-f"/>.)
7711 Note that <option>-fenable-rewrite-rules</option> is an <emphasis>optimisation</emphasis> flag, and
7712 has no effect on parsing or typechecking.
7713 </para>
7714 </listitem>
7715
7716 <listitem>
7717 <para>
7718  Rules are regarded as left-to-right rewrite rules.
7719 When GHC finds an expression that is a substitution instance of the LHS
7720 of a rule, it replaces the expression by the (appropriately-substituted) RHS.
7721 By "a substitution instance" we mean that the LHS can be made equal to the
7722 expression by substituting for the pattern variables.
7723
7724 </para>
7725 </listitem>
7726 <listitem>
7727
7728 <para>
7729  GHC makes absolutely no attempt to verify that the LHS and RHS
7730 of a rule have the same meaning.  That is undecidable in general, and
7731 infeasible in most interesting cases.  The responsibility is entirely the programmer's!
7732
7733 </para>
7734 </listitem>
7735 <listitem>
7736
7737 <para>
7738  GHC makes no attempt to make sure that the rules are confluent or
7739 terminating.  For example:
7740
7741 <programlisting>
7742   "loop"        forall x y.  f x y = f y x
7743 </programlisting>
7744
7745 This rule will cause the compiler to go into an infinite loop.
7746
7747 </para>
7748 </listitem>
7749 <listitem>
7750
7751 <para>
7752  If more than one rule matches a call, GHC will choose one arbitrarily to apply.
7753
7754 </para>
7755 </listitem>
7756 <listitem>
7757 <para>
7758  GHC currently uses a very simple, syntactic, matching algorithm
7759 for matching a rule LHS with an expression.  It seeks a substitution
7760 which makes the LHS and expression syntactically equal modulo alpha
7761 conversion.  The pattern (rule), but not the expression, is eta-expanded if
7762 necessary.  (Eta-expanding the expression can lead to laziness bugs.)
7763 But not beta conversion (that's called higher-order matching).
7764 </para>
7765
7766 <para>
7767 Matching is carried out on GHC's intermediate language, which includes
7768 type abstractions and applications.  So a rule only matches if the
7769 types match too.  See <xref linkend="rule-spec"/> below.
7770 </para>
7771 </listitem>
7772 <listitem>
7773
7774 <para>
7775  GHC keeps trying to apply the rules as it optimises the program.
7776 For example, consider:
7777
7778 <programlisting>
7779   let s = map f
7780       t = map g
7781   in
7782   s (t xs)
7783 </programlisting>
7784
7785 The expression <literal>s (t xs)</literal> does not match the rule <literal>"map/map"</literal>, but GHC
7786 will substitute for <varname>s</varname> and <varname>t</varname>, giving an expression which does match.
7787 If <varname>s</varname> or <varname>t</varname> was (a) used more than once, and (b) large or a redex, then it would
7788 not be substituted, and the rule would not fire.
7789
7790 </para>
7791 </listitem>
7792 <listitem>
7793
7794 <para>
7795 Ordinary inlining happens at the same time as rule rewriting, which may lead to unexpected
7796 results.  Consider this (artificial) example
7797 <programlisting>
7798 f x = x
7799 {-# RULES "f" f True = False #-}
7800
7801 g y = f y
7802
7803 h z = g True
7804 </programlisting>
7805 Since <literal>f</literal>'s right-hand side is small, it is inlined into <literal>g</literal>,
7806 to give
7807 <programlisting>
7808 g y = y
7809 </programlisting>
7810 Now <literal>g</literal> is inlined into <literal>h</literal>, but <literal>f</literal>'s RULE has
7811 no chance to fire.  
7812 If instead GHC had first inlined <literal>g</literal> into <literal>h</literal> then there
7813 would have been a better chance that <literal>f</literal>'s RULE might fire.  
7814 </para>
7815 <para>
7816 The way to get predictable behaviour is to use a NOINLINE 
7817 pragma on <literal>f</literal>, to ensure
7818 that it is not inlined until its RULEs have had a chance to fire.
7819 </para>
7820 </listitem>
7821 </itemizedlist>
7822
7823 </para>
7824
7825 </sect2>
7826
7827 <sect2>
7828 <title>List fusion</title>
7829
7830 <para>
7831 The RULES mechanism is used to implement fusion (deforestation) of common list functions.
7832 If a "good consumer" consumes an intermediate list constructed by a "good producer", the
7833 intermediate list should be eliminated entirely.
7834 </para>
7835
7836 <para>
7837 The following are good producers:
7838
7839 <itemizedlist>
7840 <listitem>
7841
7842 <para>
7843  List comprehensions
7844 </para>
7845 </listitem>
7846 <listitem>
7847
7848 <para>
7849  Enumerations of <literal>Int</literal> and <literal>Char</literal> (e.g. <literal>['a'..'z']</literal>).
7850 </para>
7851 </listitem>
7852 <listitem>
7853
7854 <para>
7855  Explicit lists (e.g. <literal>[True, False]</literal>)
7856 </para>
7857 </listitem>
7858 <listitem>
7859
7860 <para>
7861  The cons constructor (e.g <literal>3:4:[]</literal>)
7862 </para>
7863 </listitem>
7864 <listitem>
7865
7866 <para>
7867  <function>++</function>
7868 </para>
7869 </listitem>
7870
7871 <listitem>
7872 <para>
7873  <function>map</function>
7874 </para>
7875 </listitem>
7876
7877 <listitem>
7878 <para>
7879 <function>take</function>, <function>filter</function>
7880 </para>
7881 </listitem>
7882 <listitem>
7883
7884 <para>
7885  <function>iterate</function>, <function>repeat</function>
7886 </para>
7887 </listitem>
7888 <listitem>
7889
7890 <para>
7891  <function>zip</function>, <function>zipWith</function>
7892 </para>
7893 </listitem>
7894
7895 </itemizedlist>
7896
7897 </para>
7898
7899 <para>
7900 The following are good consumers:
7901
7902 <itemizedlist>
7903 <listitem>
7904
7905 <para>
7906  List comprehensions
7907 </para>
7908 </listitem>
7909 <listitem>
7910
7911 <para>
7912  <function>array</function> (on its second argument)
7913 </para>
7914 </listitem>
7915 <listitem>
7916
7917 <para>
7918  <function>++</function> (on its first argument)
7919 </para>
7920 </listitem>
7921
7922 <listitem>
7923 <para>
7924  <function>foldr</function>
7925 </para>
7926 </listitem>
7927
7928 <listitem>
7929 <para>
7930  <function>map</function>
7931 </para>
7932 </listitem>
7933 <listitem>
7934
7935 <para>
7936 <function>take</function>, <function>filter</function>
7937 </para>
7938 </listitem>
7939 <listitem>
7940
7941 <para>
7942  <function>concat</function>
7943 </para>
7944 </listitem>
7945 <listitem>
7946
7947 <para>
7948  <function>unzip</function>, <function>unzip2</function>, <function>unzip3</function>, <function>unzip4</function>
7949 </para>
7950 </listitem>
7951 <listitem>
7952
7953 <para>
7954  <function>zip</function>, <function>zipWith</function> (but on one argument only; if both are good producers, <function>zip</function>
7955 will fuse with one but not the other)
7956 </para>
7957 </listitem>
7958 <listitem>
7959
7960 <para>
7961  <function>partition</function>
7962 </para>
7963 </listitem>
7964 <listitem>
7965
7966 <para>
7967  <function>head</function>
7968 </para>
7969 </listitem>
7970 <listitem>
7971
7972 <para>
7973  <function>and</function>, <function>or</function>, <function>any</function>, <function>all</function>
7974 </para>
7975 </listitem>
7976 <listitem>
7977
7978 <para>
7979  <function>sequence&lowbar;</function>
7980 </para>
7981 </listitem>
7982 <listitem>
7983
7984 <para>
7985  <function>msum</function>
7986 </para>
7987 </listitem>
7988 <listitem>
7989
7990 <para>
7991  <function>sortBy</function>
7992 </para>
7993 </listitem>
7994
7995 </itemizedlist>
7996
7997 </para>
7998
7999  <para>
8000 So, for example, the following should generate no intermediate lists:
8001
8002 <programlisting>
8003 array (1,10) [(i,i*i) | i &#60;- map (+ 1) [0..9]]
8004 </programlisting>
8005
8006 </para>
8007
8008 <para>
8009 This list could readily be extended; if there are Prelude functions that you use
8010 a lot which are not included, please tell us.
8011 </para>
8012
8013 <para>
8014 If you want to write your own good consumers or producers, look at the
8015 Prelude definitions of the above functions to see how to do so.
8016 </para>
8017
8018 </sect2>
8019
8020 <sect2 id="rule-spec">
8021 <title>Specialisation
8022 </title>
8023
8024 <para>
8025 Rewrite rules can be used to get the same effect as a feature
8026 present in earlier versions of GHC.
8027 For example, suppose that:
8028
8029 <programlisting>
8030 genericLookup :: Ord a => Table a b   -> a   -> b
8031 intLookup     ::          Table Int b -> Int -> b
8032 </programlisting>
8033
8034 where <function>intLookup</function> is an implementation of
8035 <function>genericLookup</function> that works very fast for
8036 keys of type <literal>Int</literal>.  You might wish
8037 to tell GHC to use <function>intLookup</function> instead of
8038 <function>genericLookup</function> whenever the latter was called with
8039 type <literal>Table Int b -&gt; Int -&gt; b</literal>.
8040 It used to be possible to write
8041
8042 <programlisting>
8043 {-# SPECIALIZE genericLookup :: Table Int b -> Int -> b = intLookup #-}
8044 </programlisting>
8045
8046 This feature is no longer in GHC, but rewrite rules let you do the same thing:
8047
8048 <programlisting>
8049 {-# RULES "genericLookup/Int" genericLookup = intLookup #-}
8050 </programlisting>
8051
8052 This slightly odd-looking rule instructs GHC to replace
8053 <function>genericLookup</function> by <function>intLookup</function>
8054 <emphasis>whenever the types match</emphasis>.
8055 What is more, this rule does not need to be in the same
8056 file as <function>genericLookup</function>, unlike the
8057 <literal>SPECIALIZE</literal> pragmas which currently do (so that they
8058 have an original definition available to specialise).
8059 </para>
8060
8061 <para>It is <emphasis>Your Responsibility</emphasis> to make sure that
8062 <function>intLookup</function> really behaves as a specialised version
8063 of <function>genericLookup</function>!!!</para>
8064
8065 <para>An example in which using <literal>RULES</literal> for
8066 specialisation will Win Big:
8067
8068 <programlisting>
8069 toDouble :: Real a => a -> Double
8070 toDouble = fromRational . toRational
8071
8072 {-# RULES "toDouble/Int" toDouble = i2d #-}
8073 i2d (I# i) = D# (int2Double# i) -- uses Glasgow prim-op directly
8074 </programlisting>
8075
8076 The <function>i2d</function> function is virtually one machine
8077 instruction; the default conversion&mdash;via an intermediate
8078 <literal>Rational</literal>&mdash;is obscenely expensive by
8079 comparison.
8080 </para>
8081
8082 </sect2>
8083
8084 <sect2>
8085 <title>Controlling what's going on</title>
8086
8087 <para>
8088
8089 <itemizedlist>
8090 <listitem>
8091
8092 <para>
8093  Use <option>-ddump-rules</option> to see what transformation rules GHC is using.
8094 </para>
8095 </listitem>
8096 <listitem>
8097
8098 <para>
8099  Use <option>-ddump-simpl-stats</option> to see what rules are being fired.
8100 If you add <option>-dppr-debug</option> you get a more detailed listing.
8101 </para>
8102 </listitem>
8103 <listitem>
8104
8105 <para>
8106  The definition of (say) <function>build</function> in <filename>GHC/Base.lhs</filename> looks like this:
8107
8108 <programlisting>
8109         build   :: forall a. (forall b. (a -> b -> b) -> b -> b) -> [a]
8110         {-# INLINE build #-}
8111         build g = g (:) []
8112 </programlisting>
8113
8114 Notice the <literal>INLINE</literal>!  That prevents <literal>(:)</literal> from being inlined when compiling
8115 <literal>PrelBase</literal>, so that an importing module will &ldquo;see&rdquo; the <literal>(:)</literal>, and can
8116 match it on the LHS of a rule.  <literal>INLINE</literal> prevents any inlining happening
8117 in the RHS of the <literal>INLINE</literal> thing.  I regret the delicacy of this.
8118
8119 </para>
8120 </listitem>
8121 <listitem>
8122
8123 <para>
8124  In <filename>libraries/base/GHC/Base.lhs</filename> look at the rules for <function>map</function> to
8125 see how to write rules that will do fusion and yet give an efficient
8126 program even if fusion doesn't happen.  More rules in <filename>GHC/List.lhs</filename>.
8127 </para>
8128 </listitem>
8129
8130 </itemizedlist>
8131
8132 </para>
8133
8134 </sect2>
8135
8136 <sect2 id="core-pragma">
8137   <title>CORE pragma</title>
8138
8139   <indexterm><primary>CORE pragma</primary></indexterm>
8140   <indexterm><primary>pragma, CORE</primary></indexterm>
8141   <indexterm><primary>core, annotation</primary></indexterm>
8142
8143 <para>
8144   The external core format supports <quote>Note</quote> annotations;
8145   the <literal>CORE</literal> pragma gives a way to specify what these
8146   should be in your Haskell source code.  Syntactically, core
8147   annotations are attached to expressions and take a Haskell string
8148   literal as an argument.  The following function definition shows an
8149   example:
8150
8151 <programlisting>
8152 f x = ({-# CORE "foo" #-} show) ({-# CORE "bar" #-} x)
8153 </programlisting>
8154
8155   Semantically, this is equivalent to:
8156
8157 <programlisting>
8158 g x = show x
8159 </programlisting>
8160 </para>
8161
8162 <para>
8163   However, when external core is generated (via
8164   <option>-fext-core</option>), there will be Notes attached to the
8165   expressions <function>show</function> and <varname>x</varname>.
8166   The core function declaration for <function>f</function> is:
8167 </para>
8168
8169 <programlisting>
8170   f :: %forall a . GHCziShow.ZCTShow a ->
8171                    a -> GHCziBase.ZMZN GHCziBase.Char =
8172     \ @ a (zddShow::GHCziShow.ZCTShow a) (eta::a) ->
8173         (%note "foo"
8174          %case zddShow %of (tpl::GHCziShow.ZCTShow a)
8175            {GHCziShow.ZCDShow
8176             (tpl1::GHCziBase.Int ->
8177                    a ->
8178                    GHCziBase.ZMZN GHCziBase.Char -> GHCziBase.ZMZN GHCziBase.Cha
8179 r)
8180             (tpl2::a -> GHCziBase.ZMZN GHCziBase.Char)
8181             (tpl3::GHCziBase.ZMZN a ->
8182                    GHCziBase.ZMZN GHCziBase.Char -> GHCziBase.ZMZN GHCziBase.Cha
8183 r) ->
8184               tpl2})
8185         (%note "bar"
8186          eta);
8187 </programlisting>
8188
8189 <para>
8190   Here, we can see that the function <function>show</function> (which
8191   has been expanded out to a case expression over the Show dictionary)
8192   has a <literal>%note</literal> attached to it, as does the
8193   expression <varname>eta</varname> (which used to be called
8194   <varname>x</varname>).
8195 </para>
8196
8197 </sect2>
8198
8199 </sect1>
8200
8201 <sect1 id="special-ids">
8202 <title>Special built-in functions</title>
8203 <para>GHC has a few built-in functions with special behaviour.  These
8204 are now described in the module <ulink
8205 url="../libraries/base/GHC-Prim.html"><literal>GHC.Prim</literal></ulink>
8206 in the library documentation.</para>
8207 </sect1>
8208
8209
8210 <sect1 id="generic-classes">
8211 <title>Generic classes</title>
8212
8213 <para>
8214 The ideas behind this extension are described in detail in "Derivable type classes",
8215 Ralf Hinze and Simon Peyton Jones, Haskell Workshop, Montreal Sept 2000, pp94-105.
8216 An example will give the idea:
8217 </para>
8218
8219 <programlisting>
8220   import Generics
8221
8222   class Bin a where
8223     toBin   :: a -> [Int]
8224     fromBin :: [Int] -> (a, [Int])
8225   
8226     toBin {| Unit |}    Unit      = []
8227     toBin {| a :+: b |} (Inl x)   = 0 : toBin x
8228     toBin {| a :+: b |} (Inr y)   = 1 : toBin y
8229     toBin {| a :*: b |} (x :*: y) = toBin x ++ toBin y
8230   
8231     fromBin {| Unit |}    bs      = (Unit, bs)
8232     fromBin {| a :+: b |} (0:bs)  = (Inl x, bs')    where (x,bs') = fromBin bs
8233     fromBin {| a :+: b |} (1:bs)  = (Inr y, bs')    where (y,bs') = fromBin bs
8234     fromBin {| a :*: b |} bs      = (x :*: y, bs'') where (x,bs' ) = fromBin bs
8235                                                           (y,bs'') = fromBin bs'
8236 </programlisting>
8237 <para>
8238 This class declaration explains how <literal>toBin</literal> and <literal>fromBin</literal>
8239 work for arbitrary data types.  They do so by giving cases for unit, product, and sum,
8240 which are defined thus in the library module <literal>Generics</literal>:
8241 </para>
8242 <programlisting>
8243   data Unit    = Unit
8244   data a :+: b = Inl a | Inr b
8245   data a :*: b = a :*: b
8246 </programlisting>
8247 <para>
8248 Now you can make a data type into an instance of Bin like this:
8249 <programlisting>
8250   instance (Bin a, Bin b) => Bin (a,b)
8251   instance Bin a => Bin [a]
8252 </programlisting>
8253 That is, just leave off the "where" clause.  Of course, you can put in the
8254 where clause and over-ride whichever methods you please.
8255 </para>
8256
8257     <sect2>
8258       <title> Using generics </title>
8259       <para>To use generics you need to</para>
8260       <itemizedlist>
8261         <listitem>
8262           <para>Use the flags <option>-fglasgow-exts</option> (to enable the extra syntax), 
8263                 <option>-XGenerics</option> (to generate extra per-data-type code),
8264                 and <option>-package lang</option> (to make the <literal>Generics</literal> library
8265                 available.  </para>
8266         </listitem>
8267         <listitem>
8268           <para>Import the module <literal>Generics</literal> from the
8269           <literal>lang</literal> package.  This import brings into
8270           scope the data types <literal>Unit</literal>,
8271           <literal>:*:</literal>, and <literal>:+:</literal>.  (You
8272           don't need this import if you don't mention these types
8273           explicitly; for example, if you are simply giving instance
8274           declarations.)</para>
8275         </listitem>
8276       </itemizedlist>
8277     </sect2>
8278
8279 <sect2> <title> Changes wrt the paper </title>
8280 <para>
8281 Note that the type constructors <literal>:+:</literal> and <literal>:*:</literal> 
8282 can be written infix (indeed, you can now use
8283 any operator starting in a colon as an infix type constructor).  Also note that
8284 the type constructors are not exactly as in the paper (Unit instead of 1, etc).
8285 Finally, note that the syntax of the type patterns in the class declaration
8286 uses "<literal>{|</literal>" and "<literal>|}</literal>" brackets; curly braces
8287 alone would ambiguous when they appear on right hand sides (an extension we 
8288 anticipate wanting).
8289 </para>
8290 </sect2>
8291
8292 <sect2> <title>Terminology and restrictions</title>
8293 <para>
8294 Terminology.  A "generic default method" in a class declaration
8295 is one that is defined using type patterns as above.
8296 A "polymorphic default method" is a default method defined as in Haskell 98.
8297 A "generic class declaration" is a class declaration with at least one
8298 generic default method.
8299 </para>
8300
8301 <para>
8302 Restrictions:
8303 <itemizedlist>
8304 <listitem>
8305 <para>
8306 Alas, we do not yet implement the stuff about constructor names and 
8307 field labels.
8308 </para>
8309 </listitem>
8310
8311 <listitem>
8312 <para>
8313 A generic class can have only one parameter; you can't have a generic
8314 multi-parameter class.
8315 </para>
8316 </listitem>
8317
8318 <listitem>
8319 <para>
8320 A default method must be defined entirely using type patterns, or entirely
8321 without.  So this is illegal:
8322 <programlisting>
8323   class Foo a where
8324     op :: a -> (a, Bool)
8325     op {| Unit |} Unit = (Unit, True)
8326     op x               = (x,    False)
8327 </programlisting>
8328 However it is perfectly OK for some methods of a generic class to have 
8329 generic default methods and others to have polymorphic default methods.
8330 </para>
8331 </listitem>
8332
8333 <listitem>
8334 <para>
8335 The type variable(s) in the type pattern for a generic method declaration
8336 scope over the right hand side.  So this is legal (note the use of the type variable ``p'' in a type signature on the right hand side:
8337 <programlisting>
8338   class Foo a where
8339     op :: a -> Bool
8340     op {| p :*: q |} (x :*: y) = op (x :: p)
8341     ...
8342 </programlisting>
8343 </para>
8344 </listitem>
8345
8346 <listitem>
8347 <para>
8348 The type patterns in a generic default method must take one of the forms:
8349 <programlisting>
8350        a :+: b
8351        a :*: b
8352        Unit
8353 </programlisting>
8354 where "a" and "b" are type variables.  Furthermore, all the type patterns for
8355 a single type constructor (<literal>:*:</literal>, say) must be identical; they
8356 must use the same type variables.  So this is illegal:
8357 <programlisting>
8358   class Foo a where
8359     op :: a -> Bool
8360     op {| a :+: b |} (Inl x) = True
8361     op {| p :+: q |} (Inr y) = False
8362 </programlisting>
8363 The type patterns must be identical, even in equations for different methods of the class.
8364 So this too is illegal:
8365 <programlisting>
8366   class Foo a where
8367     op1 :: a -> Bool
8368     op1 {| a :*: b |} (x :*: y) = True
8369
8370     op2 :: a -> Bool
8371     op2 {| p :*: q |} (x :*: y) = False
8372 </programlisting>
8373 (The reason for this restriction is that we gather all the equations for a particular type constructor
8374 into a single generic instance declaration.)
8375 </para>
8376 </listitem>
8377
8378 <listitem>
8379 <para>
8380 A generic method declaration must give a case for each of the three type constructors.
8381 </para>
8382 </listitem>
8383
8384 <listitem>
8385 <para>
8386 The type for a generic method can be built only from:
8387   <itemizedlist>
8388   <listitem> <para> Function arrows </para> </listitem>
8389   <listitem> <para> Type variables </para> </listitem>
8390   <listitem> <para> Tuples </para> </listitem>
8391   <listitem> <para> Arbitrary types not involving type variables </para> </listitem>
8392   </itemizedlist>
8393 Here are some example type signatures for generic methods:
8394 <programlisting>
8395     op1 :: a -> Bool
8396     op2 :: Bool -> (a,Bool)
8397     op3 :: [Int] -> a -> a
8398     op4 :: [a] -> Bool
8399 </programlisting>
8400 Here, op1, op2, op3 are OK, but op4 is rejected, because it has a type variable
8401 inside a list.  
8402 </para>
8403 <para>
8404 This restriction is an implementation restriction: we just haven't got around to
8405 implementing the necessary bidirectional maps over arbitrary type constructors.
8406 It would be relatively easy to add specific type constructors, such as Maybe and list,
8407 to the ones that are allowed.</para>
8408 </listitem>
8409
8410 <listitem>
8411 <para>
8412 In an instance declaration for a generic class, the idea is that the compiler
8413 will fill in the methods for you, based on the generic templates.  However it can only
8414 do so if
8415   <itemizedlist>
8416   <listitem>
8417   <para>
8418   The instance type is simple (a type constructor applied to type variables, as in Haskell 98).
8419   </para>
8420   </listitem>
8421   <listitem>
8422   <para>
8423   No constructor of the instance type has unboxed fields.
8424   </para>
8425   </listitem>
8426   </itemizedlist>
8427 (Of course, these things can only arise if you are already using GHC extensions.)
8428 However, you can still give an instance declarations for types which break these rules,
8429 provided you give explicit code to override any generic default methods.
8430 </para>
8431 </listitem>
8432
8433 </itemizedlist>
8434 </para>
8435
8436 <para>
8437 The option <option>-ddump-deriv</option> dumps incomprehensible stuff giving details of 
8438 what the compiler does with generic declarations.
8439 </para>
8440
8441 </sect2>
8442
8443 <sect2> <title> Another example </title>
8444 <para>
8445 Just to finish with, here's another example I rather like:
8446 <programlisting>
8447   class Tag a where
8448     nCons :: a -> Int
8449     nCons {| Unit |}    _ = 1
8450     nCons {| a :*: b |} _ = 1
8451     nCons {| a :+: b |} _ = nCons (bot::a) + nCons (bot::b)
8452   
8453     tag :: a -> Int
8454     tag {| Unit |}    _       = 1
8455     tag {| a :*: b |} _       = 1   
8456     tag {| a :+: b |} (Inl x) = tag x
8457     tag {| a :+: b |} (Inr y) = nCons (bot::a) + tag y
8458 </programlisting>
8459 </para>
8460 </sect2>
8461 </sect1>
8462
8463 <sect1 id="monomorphism">
8464 <title>Control over monomorphism</title>
8465
8466 <para>GHC supports two flags that control the way in which generalisation is
8467 carried out at let and where bindings.
8468 </para>
8469
8470 <sect2>
8471 <title>Switching off the dreaded Monomorphism Restriction</title>
8472           <indexterm><primary><option>-XNoMonomorphismRestriction</option></primary></indexterm>
8473
8474 <para>Haskell's monomorphism restriction (see 
8475 <ulink url="http://www.haskell.org/onlinereport/decls.html#sect4.5.5">Section
8476 4.5.5</ulink>
8477 of the Haskell Report)
8478 can be completely switched off by
8479 <option>-XNoMonomorphismRestriction</option>.
8480 </para>
8481 </sect2>
8482
8483 <sect2>
8484 <title>Monomorphic pattern bindings</title>
8485           <indexterm><primary><option>-XNoMonoPatBinds</option></primary></indexterm>
8486           <indexterm><primary><option>-XMonoPatBinds</option></primary></indexterm>
8487
8488           <para> As an experimental change, we are exploring the possibility of
8489           making pattern bindings monomorphic; that is, not generalised at all.  
8490             A pattern binding is a binding whose LHS has no function arguments,
8491             and is not a simple variable.  For example:
8492 <programlisting>
8493   f x = x                    -- Not a pattern binding
8494   f = \x -> x                -- Not a pattern binding
8495   f :: Int -> Int = \x -> x  -- Not a pattern binding
8496
8497   (g,h) = e                  -- A pattern binding
8498   (f) = e                    -- A pattern binding
8499   [x] = e                    -- A pattern binding
8500 </programlisting>
8501 Experimentally, GHC now makes pattern bindings monomorphic <emphasis>by
8502 default</emphasis>.  Use <option>-XNoMonoPatBinds</option> to recover the
8503 standard behaviour.
8504 </para>
8505 </sect2>
8506 </sect1>
8507
8508
8509
8510 <!-- Emacs stuff:
8511      ;;; Local Variables: ***
8512      ;;; mode: xml ***
8513      ;;; sgml-parent-document: ("users_guide.xml" "book" "chapter" "sect1") ***
8514      ;;; ispell-local-dictionary: "british" ***
8515      ;;; End: ***
8516  -->
8517