Final batch of monad-comprehension stuff
[ghc-hetmet.git] / docs / users_guide / glasgow_exts.xml
1 <?xml version="1.0" encoding="iso-8859-1"?>
2 <para>
3 <indexterm><primary>language, GHC</primary></indexterm>
4 <indexterm><primary>extensions, GHC</primary></indexterm>
5 As with all known Haskell systems, GHC implements some extensions to
6 the language.  They can all be enabled or disabled by commandline flags
7 or language pragmas. By default GHC understands the most recent Haskell
8 version it supports, plus a handful of extensions.
9 </para>
10
11 <para>
12 Some of the Glasgow extensions serve to give you access to the
13 underlying facilities with which we implement Haskell.  Thus, you can
14 get at the Raw Iron, if you are willing to write some non-portable
15 code at a more primitive level.  You need not be &ldquo;stuck&rdquo;
16 on performance because of the implementation costs of Haskell's
17 &ldquo;high-level&rdquo; features&mdash;you can always code
18 &ldquo;under&rdquo; them.  In an extreme case, you can write all your
19 time-critical code in C, and then just glue it together with Haskell!
20 </para>
21
22 <para>
23 Before you get too carried away working at the lowest level (e.g.,
24 sloshing <literal>MutableByteArray&num;</literal>s around your
25 program), you may wish to check if there are libraries that provide a
26 &ldquo;Haskellised veneer&rdquo; over the features you want.  The
27 separate <ulink url="../libraries/index.html">libraries
28 documentation</ulink> describes all the libraries that come with GHC.
29 </para>
30
31 <!-- LANGUAGE OPTIONS -->
32   <sect1 id="options-language">
33     <title>Language options</title>
34
35     <indexterm><primary>language</primary><secondary>option</secondary>
36     </indexterm>
37     <indexterm><primary>options</primary><secondary>language</secondary>
38     </indexterm>
39     <indexterm><primary>extensions</primary><secondary>options controlling</secondary>
40     </indexterm>
41
42     <para>The language option flags control what variation of the language are
43     permitted.</para>
44
45     <para>Language options can be controlled in two ways:
46     <itemizedlist>
47       <listitem><para>Every language option can switched on by a command-line flag "<option>-X...</option>" 
48         (e.g. <option>-XTemplateHaskell</option>), and switched off by the flag "<option>-XNo...</option>"; 
49         (e.g. <option>-XNoTemplateHaskell</option>).</para></listitem>
50       <listitem><para>
51           Language options recognised by Cabal can also be enabled using the <literal>LANGUAGE</literal> pragma,
52           thus <literal>{-# LANGUAGE TemplateHaskell #-}</literal> (see <xref linkend="language-pragma"/>). </para>
53           </listitem>
54       </itemizedlist></para>
55
56     <para>The flag <option>-fglasgow-exts</option>
57           <indexterm><primary><option>-fglasgow-exts</option></primary></indexterm>
58           is equivalent to enabling the following extensions: 
59           &what_glasgow_exts_does;
60             Enabling these options is the <emphasis>only</emphasis> 
61             effect of <option>-fglasgow-exts</option>.
62           We are trying to move away from this portmanteau flag, 
63           and towards enabling features individually.</para>
64
65   </sect1>
66
67 <!-- UNBOXED TYPES AND PRIMITIVE OPERATIONS -->
68 <sect1 id="primitives">
69   <title>Unboxed types and primitive operations</title>
70
71 <para>GHC is built on a raft of primitive data types and operations;
72 "primitive" in the sense that they cannot be defined in Haskell itself.
73 While you really can use this stuff to write fast code,
74   we generally find it a lot less painful, and more satisfying in the
75   long run, to use higher-level language features and libraries.  With
76   any luck, the code you write will be optimised to the efficient
77   unboxed version in any case.  And if it isn't, we'd like to know
78   about it.</para>
79
80 <para>All these primitive data types and operations are exported by the 
81 library <literal>GHC.Prim</literal>, for which there is 
82 <ulink url="&libraryGhcPrimLocation;/GHC-Prim.html">detailed online documentation</ulink>.
83 (This documentation is generated from the file <filename>compiler/prelude/primops.txt.pp</filename>.)
84 </para>
85 <para>
86 If you want to mention any of the primitive data types or operations in your
87 program, you must first import <literal>GHC.Prim</literal> to bring them
88 into scope.  Many of them have names ending in "&num;", and to mention such
89 names you need the <option>-XMagicHash</option> extension (<xref linkend="magic-hash"/>).
90 </para>
91
92 <para>The primops make extensive use of <link linkend="glasgow-unboxed">unboxed types</link> 
93 and <link linkend="unboxed-tuples">unboxed tuples</link>, which
94 we briefly summarise here. </para>
95   
96 <sect2 id="glasgow-unboxed">
97 <title>Unboxed types
98 </title>
99
100 <para>
101 <indexterm><primary>Unboxed types (Glasgow extension)</primary></indexterm>
102 </para>
103
104 <para>Most types in GHC are <firstterm>boxed</firstterm>, which means
105 that values of that type are represented by a pointer to a heap
106 object.  The representation of a Haskell <literal>Int</literal>, for
107 example, is a two-word heap object.  An <firstterm>unboxed</firstterm>
108 type, however, is represented by the value itself, no pointers or heap
109 allocation are involved.
110 </para>
111
112 <para>
113 Unboxed types correspond to the &ldquo;raw machine&rdquo; types you
114 would use in C: <literal>Int&num;</literal> (long int),
115 <literal>Double&num;</literal> (double), <literal>Addr&num;</literal>
116 (void *), etc.  The <emphasis>primitive operations</emphasis>
117 (PrimOps) on these types are what you might expect; e.g.,
118 <literal>(+&num;)</literal> is addition on
119 <literal>Int&num;</literal>s, and is the machine-addition that we all
120 know and love&mdash;usually one instruction.
121 </para>
122
123 <para>
124 Primitive (unboxed) types cannot be defined in Haskell, and are
125 therefore built into the language and compiler.  Primitive types are
126 always unlifted; that is, a value of a primitive type cannot be
127 bottom.  We use the convention (but it is only a convention) 
128 that primitive types, values, and
129 operations have a <literal>&num;</literal> suffix (see <xref linkend="magic-hash"/>).
130 For some primitive types we have special syntax for literals, also
131 described in the <link linkend="magic-hash">same section</link>.
132 </para>
133
134 <para>
135 Primitive values are often represented by a simple bit-pattern, such
136 as <literal>Int&num;</literal>, <literal>Float&num;</literal>,
137 <literal>Double&num;</literal>.  But this is not necessarily the case:
138 a primitive value might be represented by a pointer to a
139 heap-allocated object.  Examples include
140 <literal>Array&num;</literal>, the type of primitive arrays.  A
141 primitive array is heap-allocated because it is too big a value to fit
142 in a register, and would be too expensive to copy around; in a sense,
143 it is accidental that it is represented by a pointer.  If a pointer
144 represents a primitive value, then it really does point to that value:
145 no unevaluated thunks, no indirections&hellip;nothing can be at the
146 other end of the pointer than the primitive value.
147 A numerically-intensive program using unboxed types can
148 go a <emphasis>lot</emphasis> faster than its &ldquo;standard&rdquo;
149 counterpart&mdash;we saw a threefold speedup on one example.
150 </para>
151
152 <para>
153 There are some restrictions on the use of primitive types:
154 <itemizedlist>
155 <listitem><para>The main restriction
156 is that you can't pass a primitive value to a polymorphic
157 function or store one in a polymorphic data type.  This rules out
158 things like <literal>[Int&num;]</literal> (i.e. lists of primitive
159 integers).  The reason for this restriction is that polymorphic
160 arguments and constructor fields are assumed to be pointers: if an
161 unboxed integer is stored in one of these, the garbage collector would
162 attempt to follow it, leading to unpredictable space leaks.  Or a
163 <function>seq</function> operation on the polymorphic component may
164 attempt to dereference the pointer, with disastrous results.  Even
165 worse, the unboxed value might be larger than a pointer
166 (<literal>Double&num;</literal> for instance).
167 </para>
168 </listitem>
169 <listitem><para> You cannot define a newtype whose representation type
170 (the argument type of the data constructor) is an unboxed type.  Thus,
171 this is illegal:
172 <programlisting>
173   newtype A = MkA Int#
174 </programlisting>
175 </para></listitem>
176 <listitem><para> You cannot bind a variable with an unboxed type
177 in a <emphasis>top-level</emphasis> binding.
178 </para></listitem>
179 <listitem><para> You cannot bind a variable with an unboxed type
180 in a <emphasis>recursive</emphasis> binding.
181 </para></listitem>
182 <listitem><para> You may bind unboxed variables in a (non-recursive,
183 non-top-level) pattern binding, but you must make any such pattern-match
184 strict.  For example, rather than:
185 <programlisting>
186   data Foo = Foo Int Int#
187
188   f x = let (Foo a b, w) = ..rhs.. in ..body..
189 </programlisting>
190 you must write:
191 <programlisting>
192   data Foo = Foo Int Int#
193
194   f x = let !(Foo a b, w) = ..rhs.. in ..body..
195 </programlisting>
196 since <literal>b</literal> has type <literal>Int#</literal>.
197 </para>
198 </listitem>
199 </itemizedlist>
200 </para>
201
202 </sect2>
203
204 <sect2 id="unboxed-tuples">
205 <title>Unboxed Tuples
206 </title>
207
208 <para>
209 Unboxed tuples aren't really exported by <literal>GHC.Exts</literal>,
210 they're available by default with <option>-fglasgow-exts</option>.  An
211 unboxed tuple looks like this:
212 </para>
213
214 <para>
215
216 <programlisting>
217 (# e_1, ..., e_n #)
218 </programlisting>
219
220 </para>
221
222 <para>
223 where <literal>e&lowbar;1..e&lowbar;n</literal> are expressions of any
224 type (primitive or non-primitive).  The type of an unboxed tuple looks
225 the same.
226 </para>
227
228 <para>
229 Unboxed tuples are used for functions that need to return multiple
230 values, but they avoid the heap allocation normally associated with
231 using fully-fledged tuples.  When an unboxed tuple is returned, the
232 components are put directly into registers or on the stack; the
233 unboxed tuple itself does not have a composite representation.  Many
234 of the primitive operations listed in <literal>primops.txt.pp</literal> return unboxed
235 tuples.
236 In particular, the <literal>IO</literal> and <literal>ST</literal> monads use unboxed
237 tuples to avoid unnecessary allocation during sequences of operations.
238 </para>
239
240 <para>
241 There are some pretty stringent restrictions on the use of unboxed tuples:
242 <itemizedlist>
243 <listitem>
244
245 <para>
246 Values of unboxed tuple types are subject to the same restrictions as
247 other unboxed types; i.e. they may not be stored in polymorphic data
248 structures or passed to polymorphic functions.
249
250 </para>
251 </listitem>
252 <listitem>
253
254 <para>
255 No variable can have an unboxed tuple type, nor may a constructor or function
256 argument have an unboxed tuple type.  The following are all illegal:
257
258
259 <programlisting>
260   data Foo = Foo (# Int, Int #)
261
262   f :: (# Int, Int #) -&#62; (# Int, Int #)
263   f x = x
264
265   g :: (# Int, Int #) -&#62; Int
266   g (# a,b #) = a
267
268   h x = let y = (# x,x #) in ...
269 </programlisting>
270 </para>
271 </listitem>
272 </itemizedlist>
273 </para>
274 <para>
275 The typical use of unboxed tuples is simply to return multiple values,
276 binding those multiple results with a <literal>case</literal> expression, thus:
277 <programlisting>
278   f x y = (# x+1, y-1 #)
279   g x = case f x x of { (# a, b #) -&#62; a + b }
280 </programlisting>
281 You can have an unboxed tuple in a pattern binding, thus
282 <programlisting>
283   f x = let (# p,q #) = h x in ..body..
284 </programlisting>
285 If the types of <literal>p</literal> and <literal>q</literal> are not unboxed,
286 the resulting binding is lazy like any other Haskell pattern binding.  The 
287 above example desugars like this:
288 <programlisting>
289   f x = let t = case h x o f{ (# p,q #) -> (p,q)
290             p = fst t
291             q = snd t
292         in ..body..
293 </programlisting>
294 Indeed, the bindings can even be recursive.
295 </para>
296
297 </sect2>
298 </sect1>
299
300
301 <!-- ====================== SYNTACTIC EXTENSIONS =======================  -->
302
303 <sect1 id="syntax-extns">
304 <title>Syntactic extensions</title>
305  
306     <sect2 id="unicode-syntax">
307       <title>Unicode syntax</title>
308       <para>The language
309       extension <option>-XUnicodeSyntax</option><indexterm><primary><option>-XUnicodeSyntax</option></primary></indexterm>
310       enables Unicode characters to be used to stand for certain ASCII
311       character sequences.  The following alternatives are provided:</para>
312
313       <informaltable>
314         <tgroup cols="2" align="left" colsep="1" rowsep="1">
315           <thead>
316             <row>
317               <entry>ASCII</entry>
318               <entry>Unicode alternative</entry>
319               <entry>Code point</entry>
320               <entry>Name</entry>
321             </row>
322           </thead>
323
324 <!--
325                to find the DocBook entities for these characters, find
326                the Unicode code point (e.g. 0x2237), and grep for it in
327                /usr/share/sgml/docbook/xml-dtd-*/ent/* (or equivalent on
328                your system.  Some of these Unicode code points don't have
329                equivalent DocBook entities.
330             -->
331
332           <tbody>
333             <row>
334               <entry><literal>::</literal></entry>
335               <entry>::</entry> <!-- no special char, apparently -->
336               <entry>0x2237</entry>
337               <entry>PROPORTION</entry>
338             </row>
339           </tbody>
340           <tbody>
341             <row>
342               <entry><literal>=&gt;</literal></entry>
343               <entry>&rArr;</entry>
344               <entry>0x21D2</entry>
345               <entry>RIGHTWARDS DOUBLE ARROW</entry>
346             </row>
347           </tbody>
348           <tbody>
349             <row>
350               <entry><literal>forall</literal></entry>
351               <entry>&forall;</entry>
352               <entry>0x2200</entry>
353               <entry>FOR ALL</entry>
354             </row>
355           </tbody>
356           <tbody>
357             <row>
358               <entry><literal>-&gt;</literal></entry>
359               <entry>&rarr;</entry>
360               <entry>0x2192</entry>
361               <entry>RIGHTWARDS ARROW</entry>
362             </row>
363           </tbody>
364           <tbody>
365             <row>
366               <entry><literal>&lt;-</literal></entry>
367               <entry>&larr;</entry>
368               <entry>0x2190</entry>
369               <entry>LEFTWARDS ARROW</entry>
370             </row>
371           </tbody>
372
373           <tbody>
374             <row>
375               <entry>-&lt;</entry>
376               <entry>&larrtl;</entry>
377               <entry>0x2919</entry>
378               <entry>LEFTWARDS ARROW-TAIL</entry>
379             </row>
380           </tbody>
381
382           <tbody>
383             <row>
384               <entry>&gt;-</entry>
385               <entry>&rarrtl;</entry>
386               <entry>0x291A</entry>
387               <entry>RIGHTWARDS ARROW-TAIL</entry>
388             </row>
389           </tbody>
390
391           <tbody>
392             <row>
393               <entry>-&lt;&lt;</entry>
394               <entry></entry>
395               <entry>0x291B</entry>
396               <entry>LEFTWARDS DOUBLE ARROW-TAIL</entry>
397             </row>
398           </tbody>
399
400           <tbody>
401             <row>
402               <entry>&gt;&gt;-</entry>
403               <entry></entry>
404               <entry>0x291C</entry>
405               <entry>RIGHTWARDS DOUBLE ARROW-TAIL</entry>
406             </row>
407           </tbody>
408
409           <tbody>
410             <row>
411               <entry>*</entry>
412               <entry>&starf;</entry>
413               <entry>0x2605</entry>
414               <entry>BLACK STAR</entry>
415             </row>
416           </tbody>
417
418         </tgroup>
419       </informaltable>
420     </sect2>
421
422     <sect2 id="magic-hash">
423       <title>The magic hash</title>
424       <para>The language extension <option>-XMagicHash</option> allows "&num;" as a
425         postfix modifier to identifiers.  Thus, "x&num;" is a valid variable, and "T&num;" is
426         a valid type constructor or data constructor.</para>
427
428       <para>The hash sign does not change sematics at all.  We tend to use variable
429         names ending in "&num;" for unboxed values or types (e.g. <literal>Int&num;</literal>), 
430         but there is no requirement to do so; they are just plain ordinary variables.
431         Nor does the <option>-XMagicHash</option> extension bring anything into scope.
432         For example, to bring <literal>Int&num;</literal> into scope you must 
433         import <literal>GHC.Prim</literal> (see <xref linkend="primitives"/>); 
434         the <option>-XMagicHash</option> extension
435         then allows you to <emphasis>refer</emphasis> to the <literal>Int&num;</literal>
436         that is now in scope.</para>
437       <para> The <option>-XMagicHash</option> also enables some new forms of literals (see <xref linkend="glasgow-unboxed"/>):
438         <itemizedlist> 
439           <listitem><para> <literal>'x'&num;</literal> has type <literal>Char&num;</literal></para> </listitem>
440           <listitem><para> <literal>&quot;foo&quot;&num;</literal> has type <literal>Addr&num;</literal></para> </listitem>
441           <listitem><para> <literal>3&num;</literal> has type <literal>Int&num;</literal>. In general,
442           any Haskell integer lexeme followed by a <literal>&num;</literal> is an <literal>Int&num;</literal> literal, e.g.
443             <literal>-0x3A&num;</literal> as well as <literal>32&num;</literal></para>.</listitem>
444           <listitem><para> <literal>3&num;&num;</literal> has type <literal>Word&num;</literal>. In general,
445           any non-negative Haskell integer lexeme followed by <literal>&num;&num;</literal>
446               is a <literal>Word&num;</literal>. </para> </listitem>
447           <listitem><para> <literal>3.2&num;</literal> has type <literal>Float&num;</literal>.</para> </listitem>
448           <listitem><para> <literal>3.2&num;&num;</literal> has type <literal>Double&num;</literal></para> </listitem>
449           </itemizedlist>
450       </para>
451    </sect2>
452
453     <!-- ====================== HIERARCHICAL MODULES =======================  -->
454
455
456     <sect2 id="hierarchical-modules">
457       <title>Hierarchical Modules</title>
458
459       <para>GHC supports a small extension to the syntax of module
460       names: a module name is allowed to contain a dot
461       <literal>&lsquo;.&rsquo;</literal>.  This is also known as the
462       &ldquo;hierarchical module namespace&rdquo; extension, because
463       it extends the normally flat Haskell module namespace into a
464       more flexible hierarchy of modules.</para>
465
466       <para>This extension has very little impact on the language
467       itself; modules names are <emphasis>always</emphasis> fully
468       qualified, so you can just think of the fully qualified module
469       name as <quote>the module name</quote>.  In particular, this
470       means that the full module name must be given after the
471       <literal>module</literal> keyword at the beginning of the
472       module; for example, the module <literal>A.B.C</literal> must
473       begin</para>
474
475 <programlisting>module A.B.C</programlisting>
476
477
478       <para>It is a common strategy to use the <literal>as</literal>
479       keyword to save some typing when using qualified names with
480       hierarchical modules.  For example:</para>
481
482 <programlisting>
483 import qualified Control.Monad.ST.Strict as ST
484 </programlisting>
485
486       <para>For details on how GHC searches for source and interface
487       files in the presence of hierarchical modules, see <xref
488       linkend="search-path"/>.</para>
489
490       <para>GHC comes with a large collection of libraries arranged
491       hierarchically; see the accompanying <ulink
492       url="../libraries/index.html">library
493       documentation</ulink>.  More libraries to install are available
494       from <ulink
495       url="http://hackage.haskell.org/packages/hackage.html">HackageDB</ulink>.</para>
496     </sect2>
497
498     <!-- ====================== PATTERN GUARDS =======================  -->
499
500 <sect2 id="pattern-guards">
501 <title>Pattern guards</title>
502
503 <para>
504 <indexterm><primary>Pattern guards (Glasgow extension)</primary></indexterm>
505 The discussion that follows is an abbreviated version of Simon Peyton Jones's original <ulink url="http://research.microsoft.com/~simonpj/Haskell/guards.html">proposal</ulink>. (Note that the proposal was written before pattern guards were implemented, so refers to them as unimplemented.)
506 </para>
507
508 <para>
509 Suppose we have an abstract data type of finite maps, with a
510 lookup operation:
511
512 <programlisting>
513 lookup :: FiniteMap -> Int -> Maybe Int
514 </programlisting>
515
516 The lookup returns <function>Nothing</function> if the supplied key is not in the domain of the mapping, and <function>(Just v)</function> otherwise,
517 where <varname>v</varname> is the value that the key maps to.  Now consider the following definition:
518 </para>
519
520 <programlisting>
521 clunky env var1 var2 | ok1 &amp;&amp; ok2 = val1 + val2
522 | otherwise  = var1 + var2
523 where
524   m1 = lookup env var1
525   m2 = lookup env var2
526   ok1 = maybeToBool m1
527   ok2 = maybeToBool m2
528   val1 = expectJust m1
529   val2 = expectJust m2
530 </programlisting>
531
532 <para>
533 The auxiliary functions are 
534 </para>
535
536 <programlisting>
537 maybeToBool :: Maybe a -&gt; Bool
538 maybeToBool (Just x) = True
539 maybeToBool Nothing  = False
540
541 expectJust :: Maybe a -&gt; a
542 expectJust (Just x) = x
543 expectJust Nothing  = error "Unexpected Nothing"
544 </programlisting>
545
546 <para>
547 What is <function>clunky</function> doing? The guard <literal>ok1 &amp;&amp;
548 ok2</literal> checks that both lookups succeed, using
549 <function>maybeToBool</function> to convert the <function>Maybe</function>
550 types to booleans. The (lazily evaluated) <function>expectJust</function>
551 calls extract the values from the results of the lookups, and binds the
552 returned values to <varname>val1</varname> and <varname>val2</varname>
553 respectively.  If either lookup fails, then clunky takes the
554 <literal>otherwise</literal> case and returns the sum of its arguments.
555 </para>
556
557 <para>
558 This is certainly legal Haskell, but it is a tremendously verbose and
559 un-obvious way to achieve the desired effect.  Arguably, a more direct way
560 to write clunky would be to use case expressions:
561 </para>
562
563 <programlisting>
564 clunky env var1 var2 = case lookup env var1 of
565   Nothing -&gt; fail
566   Just val1 -&gt; case lookup env var2 of
567     Nothing -&gt; fail
568     Just val2 -&gt; val1 + val2
569 where
570   fail = var1 + var2
571 </programlisting>
572
573 <para>
574 This is a bit shorter, but hardly better.  Of course, we can rewrite any set
575 of pattern-matching, guarded equations as case expressions; that is
576 precisely what the compiler does when compiling equations! The reason that
577 Haskell provides guarded equations is because they allow us to write down
578 the cases we want to consider, one at a time, independently of each other. 
579 This structure is hidden in the case version.  Two of the right-hand sides
580 are really the same (<function>fail</function>), and the whole expression
581 tends to become more and more indented. 
582 </para>
583
584 <para>
585 Here is how I would write clunky:
586 </para>
587
588 <programlisting>
589 clunky env var1 var2
590   | Just val1 &lt;- lookup env var1
591   , Just val2 &lt;- lookup env var2
592   = val1 + val2
593 ...other equations for clunky...
594 </programlisting>
595
596 <para>
597 The semantics should be clear enough.  The qualifiers are matched in order. 
598 For a <literal>&lt;-</literal> qualifier, which I call a pattern guard, the
599 right hand side is evaluated and matched against the pattern on the left. 
600 If the match fails then the whole guard fails and the next equation is
601 tried.  If it succeeds, then the appropriate binding takes place, and the
602 next qualifier is matched, in the augmented environment.  Unlike list
603 comprehensions, however, the type of the expression to the right of the
604 <literal>&lt;-</literal> is the same as the type of the pattern to its
605 left.  The bindings introduced by pattern guards scope over all the
606 remaining guard qualifiers, and over the right hand side of the equation.
607 </para>
608
609 <para>
610 Just as with list comprehensions, boolean expressions can be freely mixed
611 with among the pattern guards.  For example:
612 </para>
613
614 <programlisting>
615 f x | [y] &lt;- x
616     , y > 3
617     , Just z &lt;- h y
618     = ...
619 </programlisting>
620
621 <para>
622 Haskell's current guards therefore emerge as a special case, in which the
623 qualifier list has just one element, a boolean expression.
624 </para>
625 </sect2>
626
627     <!-- ===================== View patterns ===================  -->
628
629 <sect2 id="view-patterns">
630 <title>View patterns
631 </title>
632
633 <para>
634 View patterns are enabled by the flag <literal>-XViewPatterns</literal>.
635 More information and examples of view patterns can be found on the
636 <ulink url="http://hackage.haskell.org/trac/ghc/wiki/ViewPatterns">Wiki
637 page</ulink>.
638 </para>
639
640 <para>
641 View patterns are somewhat like pattern guards that can be nested inside
642 of other patterns.  They are a convenient way of pattern-matching
643 against values of abstract types. For example, in a programming language
644 implementation, we might represent the syntax of the types of the
645 language as follows:
646
647 <programlisting>
648 type Typ
649  
650 data TypView = Unit
651              | Arrow Typ Typ
652
653 view :: Type -> TypeView
654
655 -- additional operations for constructing Typ's ...
656 </programlisting>
657
658 The representation of Typ is held abstract, permitting implementations
659 to use a fancy representation (e.g., hash-consing to manage sharing).
660
661 Without view patterns, using this signature a little inconvenient: 
662 <programlisting>
663 size :: Typ -> Integer
664 size t = case view t of
665   Unit -> 1
666   Arrow t1 t2 -> size t1 + size t2
667 </programlisting>
668
669 It is necessary to iterate the case, rather than using an equational
670 function definition. And the situation is even worse when the matching
671 against <literal>t</literal> is buried deep inside another pattern.
672 </para>
673
674 <para>
675 View patterns permit calling the view function inside the pattern and
676 matching against the result: 
677 <programlisting>
678 size (view -> Unit) = 1
679 size (view -> Arrow t1 t2) = size t1 + size t2
680 </programlisting>
681
682 That is, we add a new form of pattern, written
683 <replaceable>expression</replaceable> <literal>-></literal>
684 <replaceable>pattern</replaceable> that means "apply the expression to
685 whatever we're trying to match against, and then match the result of
686 that application against the pattern". The expression can be any Haskell
687 expression of function type, and view patterns can be used wherever
688 patterns are used.
689 </para>
690
691 <para>
692 The semantics of a pattern <literal>(</literal>
693 <replaceable>exp</replaceable> <literal>-></literal>
694 <replaceable>pat</replaceable> <literal>)</literal> are as follows:
695
696 <itemizedlist>
697
698 <listitem> Scoping:
699
700 <para>The variables bound by the view pattern are the variables bound by
701 <replaceable>pat</replaceable>.
702 </para>
703
704 <para>
705 Any variables in <replaceable>exp</replaceable> are bound occurrences,
706 but variables bound "to the left" in a pattern are in scope.  This
707 feature permits, for example, one argument to a function to be used in
708 the view of another argument.  For example, the function
709 <literal>clunky</literal> from <xref linkend="pattern-guards" /> can be
710 written using view patterns as follows:
711
712 <programlisting>
713 clunky env (lookup env -> Just val1) (lookup env -> Just val2) = val1 + val2
714 ...other equations for clunky...
715 </programlisting>
716 </para>
717
718 <para>
719 More precisely, the scoping rules are: 
720 <itemizedlist>
721 <listitem>
722 <para>
723 In a single pattern, variables bound by patterns to the left of a view
724 pattern expression are in scope. For example:
725 <programlisting>
726 example :: Maybe ((String -> Integer,Integer), String) -> Bool
727 example Just ((f,_), f -> 4) = True
728 </programlisting>
729
730 Additionally, in function definitions, variables bound by matching earlier curried
731 arguments may be used in view pattern expressions in later arguments:
732 <programlisting>
733 example :: (String -> Integer) -> String -> Bool
734 example f (f -> 4) = True
735 </programlisting>
736 That is, the scoping is the same as it would be if the curried arguments
737 were collected into a tuple.  
738 </para>
739 </listitem>
740
741 <listitem>
742 <para>
743 In mutually recursive bindings, such as <literal>let</literal>,
744 <literal>where</literal>, or the top level, view patterns in one
745 declaration may not mention variables bound by other declarations.  That
746 is, each declaration must be self-contained.  For example, the following
747 program is not allowed:
748 <programlisting>
749 let {(x -> y) = e1 ;
750      (y -> x) = e2 } in x
751 </programlisting>
752
753 (For some amplification on this design choice see 
754 <ulink url="http://hackage.haskell.org/trac/ghc/ticket/4061">Trac #4061</ulink>.)
755
756 </para>
757 </listitem>
758 </itemizedlist>
759
760 </para>
761 </listitem>
762
763 <listitem><para> Typing: If <replaceable>exp</replaceable> has type
764 <replaceable>T1</replaceable> <literal>-></literal>
765 <replaceable>T2</replaceable> and <replaceable>pat</replaceable> matches
766 a <replaceable>T2</replaceable>, then the whole view pattern matches a
767 <replaceable>T1</replaceable>.
768 </para></listitem>
769
770 <listitem><para> Matching: To the equations in Section 3.17.3 of the
771 <ulink url="http://www.haskell.org/onlinereport/">Haskell 98
772 Report</ulink>, add the following:
773 <programlisting>
774 case v of { (e -> p) -> e1 ; _ -> e2 } 
775  = 
776 case (e v) of { p -> e1 ; _ -> e2 }
777 </programlisting>
778 That is, to match a variable <replaceable>v</replaceable> against a pattern
779 <literal>(</literal> <replaceable>exp</replaceable>
780 <literal>-></literal> <replaceable>pat</replaceable>
781 <literal>)</literal>, evaluate <literal>(</literal>
782 <replaceable>exp</replaceable> <replaceable> v</replaceable>
783 <literal>)</literal> and match the result against
784 <replaceable>pat</replaceable>.  
785 </para></listitem>
786
787 <listitem><para> Efficiency: When the same view function is applied in
788 multiple branches of a function definition or a case expression (e.g.,
789 in <literal>size</literal> above), GHC makes an attempt to collect these
790 applications into a single nested case expression, so that the view
791 function is only applied once.  Pattern compilation in GHC follows the
792 matrix algorithm described in Chapter 4 of <ulink
793 url="http://research.microsoft.com/~simonpj/Papers/slpj-book-1987/">The
794 Implementation of Functional Programming Languages</ulink>.  When the
795 top rows of the first column of a matrix are all view patterns with the
796 "same" expression, these patterns are transformed into a single nested
797 case.  This includes, for example, adjacent view patterns that line up
798 in a tuple, as in
799 <programlisting>
800 f ((view -> A, p1), p2) = e1
801 f ((view -> B, p3), p4) = e2
802 </programlisting>
803 </para>
804
805 <para> The current notion of when two view pattern expressions are "the
806 same" is very restricted: it is not even full syntactic equality.
807 However, it does include variables, literals, applications, and tuples;
808 e.g., two instances of <literal>view ("hi", "there")</literal> will be
809 collected.  However, the current implementation does not compare up to
810 alpha-equivalence, so two instances of <literal>(x, view x ->
811 y)</literal> will not be coalesced.
812 </para>
813
814 </listitem>
815
816 </itemizedlist>
817 </para>
818
819 </sect2>
820
821     <!-- ===================== n+k patterns ===================  -->
822
823 <sect2 id="n-k-patterns">
824 <title>n+k patterns</title>
825 <indexterm><primary><option>-XNoNPlusKPatterns</option></primary></indexterm>
826
827 <para>
828 <literal>n+k</literal> pattern support is enabled by default. To disable
829 it, you can use the <option>-XNoNPlusKPatterns</option> flag.
830 </para>
831
832 </sect2>
833
834     <!-- ===================== Recursive do-notation ===================  -->
835
836 <sect2 id="recursive-do-notation">
837 <title>The recursive do-notation
838 </title>
839
840 <para>
841 The do-notation of Haskell 98 does not allow <emphasis>recursive bindings</emphasis>,
842 that is, the variables bound in a do-expression are visible only in the textually following 
843 code block. Compare this to a let-expression, where bound variables are visible in the entire binding
844 group. It turns out that several applications can benefit from recursive bindings in
845 the do-notation.  The <option>-XDoRec</option> flag provides the necessary syntactic support.
846 </para>
847 <para>
848 Here is a simple (albeit contrived) example:
849 <programlisting>
850 {-# LANGUAGE DoRec #-}
851 justOnes = do { rec { xs &lt;- Just (1:xs) }
852               ; return (map negate xs) }
853 </programlisting>
854 As you can guess <literal>justOnes</literal> will evaluate to <literal>Just [-1,-1,-1,...</literal>.
855 </para>
856 <para>
857 The background and motivation for recursive do-notation is described in
858 <ulink url="http://sites.google.com/site/leventerkok/">A recursive do for Haskell</ulink>,
859 by Levent Erkok, John Launchbury,
860 Haskell Workshop 2002, pages: 29-37. Pittsburgh, Pennsylvania. 
861 The theory behind monadic value recursion is explained further in Erkok's thesis
862 <ulink url="http://sites.google.com/site/leventerkok/erkok-thesis.pdf">Value Recursion in Monadic Computations</ulink>.
863 However, note that GHC uses a different syntax than the one described in these documents.
864 </para>
865
866 <sect3>
867 <title>Details of recursive do-notation</title>
868 <para>
869 The recursive do-notation is enabled with the flag <option>-XDoRec</option> or, equivalently,
870 the LANGUAGE pragma <option>DoRec</option>.  It introduces the single new keyword "<literal>rec</literal>",
871 which wraps a mutually-recursive group of monadic statements,
872 producing a single statement.
873 </para>
874 <para>Similar to a <literal>let</literal>
875 statement, the variables bound in the <literal>rec</literal> are 
876 visible throughout the <literal>rec</literal> group, and below it.
877 For example, compare
878 <programlisting>
879 do { a &lt;- getChar              do { a &lt;- getChar                    
880    ; let { r1 = f a r2             ; rec { r1 &lt;- f a r2      
881          ; r2 = g r1 }                   ; r2 &lt;- g r1 }      
882    ; return (r1 ++ r2) }          ; return (r1 ++ r2) }
883 </programlisting>
884 In both cases, <literal>r1</literal> and <literal>r2</literal> are 
885 available both throughout the <literal>let</literal> or <literal>rec</literal> block, and
886 in the statements that follow it.  The difference is that <literal>let</literal> is non-monadic,
887 while <literal>rec</literal> is monadic.  (In Haskell <literal>let</literal> is 
888 really <literal>letrec</literal>, of course.)
889 </para>
890 <para>
891 The static and dynamic semantics of <literal>rec</literal> can be described as follows:  
892 <itemizedlist>
893 <listitem><para>
894 First,
895 similar to let-bindings, the <literal>rec</literal> is broken into 
896 minimal recursive groups, a process known as <emphasis>segmentation</emphasis>.
897 For example:
898 <programlisting>
899 rec { a &lt;- getChar      ===>     a &lt;- getChar
900     ; b &lt;- f a c                 rec { b &lt;- f a c
901     ; c &lt;- f b a                     ; c &lt;- f b a }
902     ; putChar c }                putChar c 
903 </programlisting>
904 The details of segmentation are described in Section 3.2 of
905 <ulink url="http://sites.google.com/site/leventerkok/">A recursive do for Haskell</ulink>.
906 Segmentation improves polymorphism, reduces the size of the recursive "knot", and, as the paper 
907 describes, also has a semantic effect (unless the monad satisfies the right-shrinking law).
908 </para></listitem>
909 <listitem><para>
910 Then each resulting <literal>rec</literal> is desugared, using a call to <literal>Control.Monad.Fix.mfix</literal>.
911 For example, the <literal>rec</literal> group in the preceding example is desugared like this:
912 <programlisting>
913 rec { b &lt;- f a c     ===>    (b,c) &lt;- mfix (\~(b,c) -> do { b &lt;- f a c
914     ; c &lt;- f b a }                                        ; c &lt;- f b a
915                                                           ; return (b,c) })
916 </programlisting>
917 In general, the statment <literal>rec <replaceable>ss</replaceable></literal>
918 is desugared to the statement
919 <programlisting>
920 <replaceable>vs</replaceable> &lt;- mfix (\~<replaceable>vs</replaceable> -&gt; do { <replaceable>ss</replaceable>; return <replaceable>vs</replaceable> })
921 </programlisting>
922 where <replaceable>vs</replaceable> is a tuple of the variables bound by <replaceable>ss</replaceable>.
923 </para><para>
924 The original <literal>rec</literal> typechecks exactly 
925 when the above desugared version would do so.  For example, this means that 
926 the variables <replaceable>vs</replaceable> are all monomorphic in the statements
927 following the <literal>rec</literal>, because they are bound by a lambda.
928 </para>
929 <para>
930 The <literal>mfix</literal> function is defined in the <literal>MonadFix</literal> 
931 class, in <literal>Control.Monad.Fix</literal>, thus:
932 <programlisting>
933 class Monad m => MonadFix m where
934    mfix :: (a -> m a) -> m a
935 </programlisting>
936 </para>
937 </listitem>
938 </itemizedlist>
939 </para>
940 <para>
941 Here are some other important points in using the recursive-do notation:
942 <itemizedlist>
943 <listitem><para>
944 It is enabled with the flag <literal>-XDoRec</literal>, which is in turn implied by
945 <literal>-fglasgow-exts</literal>.
946 </para></listitem>
947
948 <listitem><para>
949 If recursive bindings are required for a monad,
950 then that monad must be declared an instance of the <literal>MonadFix</literal> class.
951 </para></listitem>
952
953 <listitem><para>
954 The following instances of <literal>MonadFix</literal> are automatically provided: List, Maybe, IO. 
955 Furthermore, the Control.Monad.ST and Control.Monad.ST.Lazy modules provide the instances of the MonadFix class 
956 for Haskell's internal state monad (strict and lazy, respectively).
957 </para></listitem>
958
959 <listitem><para>
960 Like <literal>let</literal> and <literal>where</literal> bindings,
961 name shadowing is not allowed within a <literal>rec</literal>; 
962 that is, all the names bound in a single <literal>rec</literal> must
963 be distinct (Section 3.3 of the paper).
964 </para></listitem>
965 <listitem><para>
966 It supports rebindable syntax (see <xref linkend="rebindable-syntax"/>).
967 </para></listitem>
968 </itemizedlist>
969 </para>
970 </sect3>
971
972 <sect3 id="mdo-notation"> <title> Mdo-notation (deprecated) </title>
973
974 <para> GHC used to support the flag <option>-XRecursiveDo</option>,
975 which enabled the keyword <literal>mdo</literal>, precisely as described in
976 <ulink url="http://sites.google.com/site/leventerkok/">A recursive do for Haskell</ulink>,
977 but this is now deprecated.  Instead of <literal>mdo { Q; e }</literal>, write
978 <literal>do { rec Q; e }</literal>.
979 </para>
980 <para>
981 Historical note: The old implementation of the mdo-notation (and most
982 of the existing documents) used the name
983 <literal>MonadRec</literal> for the class and the corresponding library.
984 This name is not supported by GHC.
985 </para>
986 </sect3>
987
988 </sect2>
989
990
991    <!-- ===================== PARALLEL LIST COMPREHENSIONS ===================  -->
992
993   <sect2 id="parallel-list-comprehensions">
994     <title>Parallel List Comprehensions</title>
995     <indexterm><primary>list comprehensions</primary><secondary>parallel</secondary>
996     </indexterm>
997     <indexterm><primary>parallel list comprehensions</primary>
998     </indexterm>
999
1000     <para>Parallel list comprehensions are a natural extension to list
1001     comprehensions.  List comprehensions can be thought of as a nice
1002     syntax for writing maps and filters.  Parallel comprehensions
1003     extend this to include the zipWith family.</para>
1004
1005     <para>A parallel list comprehension has multiple independent
1006     branches of qualifier lists, each separated by a `|' symbol.  For
1007     example, the following zips together two lists:</para>
1008
1009 <programlisting>
1010    [ (x, y) | x &lt;- xs | y &lt;- ys ] 
1011 </programlisting>
1012
1013     <para>The behavior of parallel list comprehensions follows that of
1014     zip, in that the resulting list will have the same length as the
1015     shortest branch.</para>
1016
1017     <para>We can define parallel list comprehensions by translation to
1018     regular comprehensions.  Here's the basic idea:</para>
1019
1020     <para>Given a parallel comprehension of the form: </para>
1021
1022 <programlisting>
1023    [ e | p1 &lt;- e11, p2 &lt;- e12, ... 
1024        | q1 &lt;- e21, q2 &lt;- e22, ... 
1025        ... 
1026    ] 
1027 </programlisting>
1028
1029     <para>This will be translated to: </para>
1030
1031 <programlisting>
1032    [ e | ((p1,p2), (q1,q2), ...) &lt;- zipN [(p1,p2) | p1 &lt;- e11, p2 &lt;- e12, ...] 
1033                                          [(q1,q2) | q1 &lt;- e21, q2 &lt;- e22, ...] 
1034                                          ... 
1035    ] 
1036 </programlisting>
1037
1038     <para>where `zipN' is the appropriate zip for the given number of
1039     branches.</para>
1040
1041   </sect2>
1042   
1043   <!-- ===================== TRANSFORM LIST COMPREHENSIONS ===================  -->
1044
1045   <sect2 id="generalised-list-comprehensions">
1046     <title>Generalised (SQL-Like) List Comprehensions</title>
1047     <indexterm><primary>list comprehensions</primary><secondary>generalised</secondary>
1048     </indexterm>
1049     <indexterm><primary>extended list comprehensions</primary>
1050     </indexterm>
1051     <indexterm><primary>group</primary></indexterm>
1052     <indexterm><primary>sql</primary></indexterm>
1053
1054
1055     <para>Generalised list comprehensions are a further enhancement to the
1056     list comprehension syntactic sugar to allow operations such as sorting
1057     and grouping which are familiar from SQL.   They are fully described in the
1058         paper <ulink url="http://research.microsoft.com/~simonpj/papers/list-comp">
1059           Comprehensive comprehensions: comprehensions with "order by" and "group by"</ulink>,
1060     except that the syntax we use differs slightly from the paper.</para>
1061 <para>The extension is enabled with the flag <option>-XTransformListComp</option>.</para>
1062 <para>Here is an example: 
1063 <programlisting>
1064 employees = [ ("Simon", "MS", 80)
1065 , ("Erik", "MS", 100)
1066 , ("Phil", "Ed", 40)
1067 , ("Gordon", "Ed", 45)
1068 , ("Paul", "Yale", 60)]
1069
1070 output = [ (the dept, sum salary)
1071 | (name, dept, salary) &lt;- employees
1072 , then group by dept
1073 , then sortWith by (sum salary)
1074 , then take 5 ]
1075 </programlisting>
1076 In this example, the list <literal>output</literal> would take on 
1077     the value:
1078     
1079 <programlisting>
1080 [("Yale", 60), ("Ed", 85), ("MS", 180)]
1081 </programlisting>
1082 </para>
1083 <para>There are three new keywords: <literal>group</literal>, <literal>by</literal>, and <literal>using</literal>.
1084 (The function <literal>sortWith</literal> is not a keyword; it is an ordinary
1085 function that is exported by <literal>GHC.Exts</literal>.)</para>
1086
1087 <para>There are five new forms of comprehension qualifier,
1088 all introduced by the (existing) keyword <literal>then</literal>:
1089     <itemizedlist>
1090     <listitem>
1091     
1092 <programlisting>
1093 then f
1094 </programlisting>
1095
1096     This statement requires that <literal>f</literal> have the type <literal>
1097     forall a. [a] -> [a]</literal>. You can see an example of its use in the
1098     motivating example, as this form is used to apply <literal>take 5</literal>.
1099     
1100     </listitem>
1101     
1102     
1103     <listitem>
1104 <para>
1105 <programlisting>
1106 then f by e
1107 </programlisting>
1108
1109     This form is similar to the previous one, but allows you to create a function
1110     which will be passed as the first argument to f. As a consequence f must have 
1111     the type <literal>forall a. (a -> t) -> [a] -> [a]</literal>. As you can see
1112     from the type, this function lets f &quot;project out&quot; some information 
1113     from the elements of the list it is transforming.</para>
1114
1115     <para>An example is shown in the opening example, where <literal>sortWith</literal> 
1116     is supplied with a function that lets it find out the <literal>sum salary</literal> 
1117     for any item in the list comprehension it transforms.</para>
1118
1119     </listitem>
1120
1121
1122     <listitem>
1123
1124 <programlisting>
1125 then group by e using f
1126 </programlisting>
1127
1128     <para>This is the most general of the grouping-type statements. In this form,
1129     f is required to have type <literal>forall a. (a -> t) -> [a] -> [[a]]</literal>.
1130     As with the <literal>then f by e</literal> case above, the first argument
1131     is a function supplied to f by the compiler which lets it compute e on every
1132     element of the list being transformed. However, unlike the non-grouping case,
1133     f additionally partitions the list into a number of sublists: this means that
1134     at every point after this statement, binders occurring before it in the comprehension
1135     refer to <emphasis>lists</emphasis> of possible values, not single values. To help understand
1136     this, let's look at an example:</para>
1137     
1138 <programlisting>
1139 -- This works similarly to groupWith in GHC.Exts, but doesn't sort its input first
1140 groupRuns :: Eq b => (a -> b) -> [a] -> [[a]]
1141 groupRuns f = groupBy (\x y -> f x == f y)
1142
1143 output = [ (the x, y)
1144 | x &lt;- ([1..3] ++ [1..2])
1145 , y &lt;- [4..6]
1146 , then group by x using groupRuns ]
1147 </programlisting>
1148
1149     <para>This results in the variable <literal>output</literal> taking on the value below:</para>
1150
1151 <programlisting>
1152 [(1, [4, 5, 6]), (2, [4, 5, 6]), (3, [4, 5, 6]), (1, [4, 5, 6]), (2, [4, 5, 6])]
1153 </programlisting>
1154
1155     <para>Note that we have used the <literal>the</literal> function to change the type 
1156     of x from a list to its original numeric type. The variable y, in contrast, is left 
1157     unchanged from the list form introduced by the grouping.</para>
1158
1159     </listitem>
1160
1161     <listitem>
1162
1163 <programlisting>
1164 then group by e
1165 </programlisting>
1166
1167     <para>This form of grouping is essentially the same as the one described above. However,
1168     since no function to use for the grouping has been supplied it will fall back on the
1169     <literal>groupWith</literal> function defined in 
1170     <ulink url="&libraryBaseLocation;/GHC-Exts.html"><literal>GHC.Exts</literal></ulink>. This
1171     is the form of the group statement that we made use of in the opening example.</para>
1172
1173     </listitem>
1174     
1175     
1176     <listitem>
1177
1178 <programlisting>
1179 then group using f
1180 </programlisting>
1181
1182     <para>With this form of the group statement, f is required to simply have the type
1183     <literal>forall a. [a] -> [[a]]</literal>, which will be used to group up the
1184     comprehension so far directly. An example of this form is as follows:</para>
1185     
1186 <programlisting>
1187 output = [ x
1188 | y &lt;- [1..5]
1189 , x &lt;- "hello"
1190 , then group using inits]
1191 </programlisting>
1192
1193     <para>This will yield a list containing every prefix of the word "hello" written out 5 times:</para>
1194
1195 <programlisting>
1196 ["","h","he","hel","hell","hello","helloh","hellohe","hellohel","hellohell","hellohello","hellohelloh",...]
1197 </programlisting>
1198
1199     </listitem>
1200 </itemizedlist>
1201 </para>
1202   </sect2>
1203
1204    <!-- ===================== MONAD COMPREHENSIONS ===================== -->
1205
1206 <sect2 id="monad-comprehensions">
1207     <title>Monad comprehensions</title>
1208     <indexterm><primary>monad comprehensions</primary></indexterm>
1209
1210     <para>
1211         Monad comprehesions generalise the list comprehension notation,
1212         including parallel comprehensions 
1213         (<xref linkend="parallel-list-comprehensions"/>) and 
1214         transform comprenensions (<xref linkend="generalised-list-comprehensions"/>) 
1215         to work for any monad.
1216     </para>
1217
1218     <para>Monad comprehensions support:</para>
1219
1220     <itemizedlist>
1221         <listitem>
1222             <para>
1223                 Bindings:
1224             </para>
1225
1226 <programlisting>
1227 [ x + y | x &lt;- Just 1, y &lt;- Just 2 ]
1228 </programlisting>
1229
1230             <para>
1231                 Bindings are translated with the <literal>(&gt;&gt;=)</literal> and
1232                 <literal>return</literal> functions to the usual do-notation:
1233             </para>
1234
1235 <programlisting>
1236 do x &lt;- Just 1
1237    y &lt;- Just 2
1238    return (x+y)
1239 </programlisting>
1240
1241         </listitem>
1242         <listitem>
1243             <para>
1244                 Guards:
1245             </para>
1246
1247 <programlisting>
1248 [ x | x &lt;- [1..10], x &lt;= 5 ]
1249 </programlisting>
1250
1251             <para>
1252                 Guards are translated with the <literal>guard</literal> function,
1253                 which requires a <literal>MonadPlus</literal> instance:
1254             </para>
1255
1256 <programlisting>
1257 do x &lt;- [1..10]
1258    guard (x &lt;= 5)
1259    return x
1260 </programlisting>
1261
1262         </listitem>
1263         <listitem>
1264             <para>
1265                 Transform statements (as with <literal>-XTransformListComp</literal>):
1266             </para>
1267
1268 <programlisting>
1269 [ x+y | x &lt;- [1..10], y &lt;- [1..x], then take 2 ]
1270 </programlisting>
1271
1272             <para>
1273                 This translates to:
1274             </para>
1275
1276 <programlisting>
1277 do (x,y) &lt;- take 2 (do x &lt;- [1..10]
1278                        y &lt;- [1..x]
1279                        return (x,y))
1280    return (x+y)
1281 </programlisting>
1282
1283         </listitem>
1284         <listitem>
1285             <para>
1286                 Group statements (as with <literal>-XTransformListComp</literal>):
1287             </para>
1288
1289 <programlisting>
1290 [ x | x &lt;- [1,1,2,2,3], then group by x ]
1291 [ x | x &lt;- [1,1,2,2,3], then group by x using GHC.Exts.groupWith ]
1292 [ x | x &lt;- [1,1,2,2,3], then group using myGroup ]
1293 </programlisting>
1294
1295             <para>
1296                 The basic <literal>then group by e</literal> statement is
1297                 translated using the <literal>mgroupWith</literal> function, which
1298                 requires a <literal>MonadGroup</literal> instance, defined in
1299                 <ulink url="&libraryBaseLocation;/Control-Monad-Group.html"><literal>Control.Monad.Group</literal></ulink>:
1300             </para>
1301
1302 <programlisting>
1303 do x &lt;- mgroupWith (do x &lt;- [1,1,2,2,3]
1304                        return x)
1305    return x
1306 </programlisting>
1307
1308             <para>
1309                 Note that the type of <literal>x</literal> is changed by the
1310                 grouping statement.
1311             </para>
1312
1313             <para>
1314                 The grouping function can also be defined with the
1315                 <literal>using</literal> keyword.
1316             </para>
1317
1318         </listitem>
1319         <listitem>
1320             <para>
1321                 Parallel statements (as with <literal>-XParallelListComp</literal>):
1322             </para>
1323
1324 <programlisting>
1325 [ (x+y) | x &lt;- [1..10]
1326         | y &lt;- [11..20]
1327         ]
1328 </programlisting>
1329
1330             <para>
1331                 Parallel statements are translated using the
1332                 <literal>mzip</literal> function, which requires a
1333                 <literal>MonadZip</literal> instance defined in
1334                 <ulink url="&libraryBaseLocation;/Control-Monad-Zip.html"><literal>Control.Monad.Zip</literal></ulink>:
1335             </para>
1336
1337 <programlisting>
1338 do (x,y) &lt;- mzip (do x &lt;- [1..10]
1339                      return x)
1340                  (do y &lt;- [11..20]
1341                      return y)
1342    return (x+y)
1343 </programlisting>
1344
1345         </listitem>
1346     </itemizedlist>
1347
1348     <para>
1349         All these features are enabled by default if the
1350         <literal>MonadComprehensions</literal> extension is enabled. The types
1351         and more detailed examples on how to use comprehensions are explained
1352         in the previous chapters <xref
1353             linkend="generalised-list-comprehensions"/> and <xref
1354             linkend="parallel-list-comprehensions"/>. In general you just have
1355         to replace the type <literal>[a]</literal> with the type
1356         <literal>Monad m => m a</literal> for monad comprehensions.
1357     </para>
1358
1359     <para>
1360         Note: Even though most of these examples are using the list monad,
1361         monad comprehensions work for any monad.
1362         The <literal>base</literal> package offers all necessary instances for
1363         lists, which make <literal>MonadComprehensions</literal> backward
1364         compatible to built-in, transform and parallel list comprehensions.
1365     </para>
1366 <para> More formally, the desugaring is as follows.  We write <literal>D[ e | Q]</literal>
1367 to mean the desugaring of the monad comprehension <literal>[ e | Q]</literal>: 
1368 <programlisting>
1369 Expressions: e
1370 Declarations: d
1371 Lists of qualifiers: Q,R,S  
1372
1373 -- Basic forms
1374 D[ e | ]               = return e
1375 D[ e | p &lt;- e, Q ]     = e &gt;&gt;= \p -&gt; D[ e | Q ]
1376 D[ e | e, Q ]          = guard e &gt;&gt; \p -&gt; D[ e | Q ]
1377 D[ e | let d, Q ]      = let d in D[ e | Q ]
1378
1379 -- Parallel comprehensions (iterate for multiple parallel branches)
1380 D[ e | (Q | R), S ]    = mzip D[ Qv | Q ] D[ Rv | R ] &gt;&gt;= \(Qv,Rv) -&gt; D[ e | S ]
1381
1382 -- Transform comprehensions
1383 D[ e | Q then f, R ]                  = f D[ Qv | Q ] &gt;&gt;= \Qv -&gt; D[ e | R ]
1384
1385 D[ e | Q then f by b, R ]             = f b D[ Qv | Q ] &gt;&gt;= \Qv -&gt; D[ e | R ]
1386
1387 D[ e | Q then group using f, R ]      = f D[ Qv | Q ] &gt;&gt;= \ys -&gt; 
1388                                         case (fmap selQv1 ys, ..., fmap selQvn ys) of
1389                                              Qv -&gt; D[ e | R ]
1390
1391 D[ e | Q then group by b using f, R ] = f b D[ Qv | Q ] &gt;&gt;= \ys -&gt; 
1392                                         case (fmap selQv1 ys, ..., fmap selQvn ys) of
1393                                            Qv -&gt; D[ e | R ]
1394
1395 where  Qv is the tuple of variables bound by Q (and used subsequently)
1396        selQvi is a selector mapping Qv to the ith component of Qv
1397
1398 Operator     Standard binding       Expected type
1399 --------------------------------------------------------------------
1400 return       GHC.Base               t1 -&gt; m t2
1401 (&gt;&gt;=)        GHC.Base               m1 t1 -&gt; (t2 -&gt; m2 t3) -&gt; m3 t3
1402 (&gt;&gt;)         GHC.Base               m1 t1 -&gt; m2 t2         -&gt; m3 t3
1403 guard        Control.Monad          t1 -&gt; m t2
1404 fmap         GHC.Base               forall a b. (a-&gt;b) -&gt; n a -&gt; n b
1405 mgroupWith   Control.Monad.Group    forall a. (a -&gt; t) -&gt; m1 a -&gt; m2 (n a)
1406 mzip         Control.Monad.Zip      forall a b. m a -&gt; m b -&gt; m (a,b)
1407 </programlisting>                                          
1408 The comprehension should typecheck when its desugaring would typecheck. 
1409 </para>
1410 <para>
1411 Monad comprehensions support rebindable syntax (<xref linkend="rebindable-syntax"/>).  
1412 Without rebindable
1413 syntax, the operators from the "standard binding" module are used; with
1414 rebindable syntax, the operators are looked up in the current lexical scope.
1415 For example, parallel comprehensions will be typechecked and desugared
1416 using whatever "<literal>mzip</literal>" is in scope.
1417 </para>
1418 <para>
1419 The rebindable operators must have the "Expected type" given in the 
1420 table above.  These types are surprisingly general.  For example, you can
1421 use a bind operator with the type
1422 <programlisting>
1423 (>>=) :: T x y a -> (a -> T y z b) -> T x z b
1424 </programlisting>
1425 In the case of transform comprehensions, notice that the groups are
1426 parameterised over some arbitrary type <literal>n</literal> (provided it
1427 has an <literal>fmap</literal>, as well as
1428 the comprehension being over an arbitrary monad.
1429 </para>
1430 </sect2>
1431
1432    <!-- ===================== REBINDABLE SYNTAX ===================  -->
1433
1434 <sect2 id="rebindable-syntax">
1435 <title>Rebindable syntax and the implicit Prelude import</title>
1436
1437  <para><indexterm><primary>-XNoImplicitPrelude
1438  option</primary></indexterm> GHC normally imports
1439  <filename>Prelude.hi</filename> files for you.  If you'd
1440  rather it didn't, then give it a
1441  <option>-XNoImplicitPrelude</option> option.  The idea is
1442  that you can then import a Prelude of your own.  (But don't
1443  call it <literal>Prelude</literal>; the Haskell module
1444  namespace is flat, and you must not conflict with any
1445  Prelude module.)</para>
1446
1447             <para>Suppose you are importing a Prelude of your own
1448               in order to define your own numeric class
1449             hierarchy.  It completely defeats that purpose if the
1450             literal "1" means "<literal>Prelude.fromInteger
1451             1</literal>", which is what the Haskell Report specifies.
1452             So the <option>-XRebindableSyntax</option> 
1453               flag causes
1454             the following pieces of built-in syntax to refer to
1455             <emphasis>whatever is in scope</emphasis>, not the Prelude
1456             versions:
1457             <itemizedlist>
1458               <listitem>
1459                 <para>An integer literal <literal>368</literal> means
1460                 "<literal>fromInteger (368::Integer)</literal>", rather than
1461                 "<literal>Prelude.fromInteger (368::Integer)</literal>".
1462 </para> </listitem>         
1463
1464       <listitem><para>Fractional literals are handed in just the same way,
1465           except that the translation is 
1466               <literal>fromRational (3.68::Rational)</literal>.
1467 </para> </listitem>         
1468
1469           <listitem><para>The equality test in an overloaded numeric pattern
1470               uses whatever <literal>(==)</literal> is in scope.
1471 </para> </listitem>         
1472
1473           <listitem><para>The subtraction operation, and the
1474           greater-than-or-equal test, in <literal>n+k</literal> patterns
1475               use whatever <literal>(-)</literal> and <literal>(>=)</literal> are in scope.
1476               </para></listitem>
1477
1478               <listitem>
1479                 <para>Negation (e.g. "<literal>- (f x)</literal>")
1480                 means "<literal>negate (f x)</literal>", both in numeric
1481                 patterns, and expressions.
1482               </para></listitem>
1483
1484               <listitem>
1485                 <para>Conditionals (e.g. "<literal>if</literal> e1 <literal>then</literal> e2 <literal>else</literal> e3")
1486                 means "<literal>ifThenElse</literal> e1 e2 e3".  However <literal>case</literal> expressions are unaffected.
1487               </para></listitem>
1488
1489               <listitem>
1490           <para>"Do" notation is translated using whatever
1491               functions <literal>(>>=)</literal>,
1492               <literal>(>>)</literal>, and <literal>fail</literal>,
1493               are in scope (not the Prelude
1494               versions).  List comprehensions, mdo (<xref linkend="mdo-notation"/>), and parallel array
1495               comprehensions, are unaffected.  </para></listitem>
1496
1497               <listitem>
1498                 <para>Arrow
1499                 notation (see <xref linkend="arrow-notation"/>)
1500                 uses whatever <literal>arr</literal>,
1501                 <literal>(>>>)</literal>, <literal>first</literal>,
1502                 <literal>app</literal>, <literal>(|||)</literal> and
1503                 <literal>loop</literal> functions are in scope. But unlike the
1504                 other constructs, the types of these functions must match the
1505                 Prelude types very closely.  Details are in flux; if you want
1506                 to use this, ask!
1507               </para></listitem>
1508             </itemizedlist>
1509 <option>-XRebindableSyntax</option> implies <option>-XNoImplicitPrelude</option>.
1510 </para>
1511 <para>
1512 In all cases (apart from arrow notation), the static semantics should be that of the desugared form,
1513 even if that is a little unexpected. For example, the 
1514 static semantics of the literal <literal>368</literal>
1515 is exactly that of <literal>fromInteger (368::Integer)</literal>; it's fine for
1516 <literal>fromInteger</literal> to have any of the types:
1517 <programlisting>
1518 fromInteger :: Integer -> Integer
1519 fromInteger :: forall a. Foo a => Integer -> a
1520 fromInteger :: Num a => a -> Integer
1521 fromInteger :: Integer -> Bool -> Bool
1522 </programlisting>
1523 </para>
1524                 
1525              <para>Be warned: this is an experimental facility, with
1526              fewer checks than usual.  Use <literal>-dcore-lint</literal>
1527              to typecheck the desugared program.  If Core Lint is happy
1528              you should be all right.</para>
1529
1530 </sect2>
1531
1532 <sect2 id="postfix-operators">
1533 <title>Postfix operators</title>
1534
1535 <para>
1536   The <option>-XPostfixOperators</option> flag enables a small
1537 extension to the syntax of left operator sections, which allows you to
1538 define postfix operators.  The extension is this: the left section
1539 <programlisting>
1540   (e !)
1541 </programlisting>
1542 is equivalent (from the point of view of both type checking and execution) to the expression
1543 <programlisting>
1544   ((!) e)
1545 </programlisting>
1546 (for any expression <literal>e</literal> and operator <literal>(!)</literal>.
1547 The strict Haskell 98 interpretation is that the section is equivalent to
1548 <programlisting>
1549   (\y -> (!) e y)
1550 </programlisting>
1551 That is, the operator must be a function of two arguments.  GHC allows it to
1552 take only one argument, and that in turn allows you to write the function
1553 postfix.
1554 </para>
1555 <para>The extension does not extend to the left-hand side of function
1556 definitions; you must define such a function in prefix form.</para>
1557
1558 </sect2>
1559
1560 <sect2 id="tuple-sections">
1561 <title>Tuple sections</title>
1562
1563 <para>
1564   The <option>-XTupleSections</option> flag enables Python-style partially applied
1565   tuple constructors. For example, the following program
1566 <programlisting>
1567   (, True)
1568 </programlisting>
1569   is considered to be an alternative notation for the more unwieldy alternative
1570 <programlisting>
1571   \x -> (x, True)
1572 </programlisting>
1573 You can omit any combination of arguments to the tuple, as in the following
1574 <programlisting>
1575   (, "I", , , "Love", , 1337)
1576 </programlisting>
1577 which translates to
1578 <programlisting>
1579   \a b c d -> (a, "I", b, c, "Love", d, 1337)
1580 </programlisting>
1581 </para>
1582
1583 <para>
1584   If you have <link linkend="unboxed-tuples">unboxed tuples</link> enabled, tuple sections
1585   will also be available for them, like so
1586 <programlisting>
1587   (# , True #)
1588 </programlisting>
1589 Because there is no unboxed unit tuple, the following expression
1590 <programlisting>
1591   (# #)
1592 </programlisting>
1593 continues to stand for the unboxed singleton tuple data constructor.
1594 </para>
1595
1596 </sect2>
1597
1598 <sect2 id="disambiguate-fields">
1599 <title>Record field disambiguation</title>
1600 <para>
1601 In record construction and record pattern matching
1602 it is entirely unambiguous which field is referred to, even if there are two different
1603 data types in scope with a common field name.  For example:
1604 <programlisting>
1605 module M where
1606   data S = MkS { x :: Int, y :: Bool }
1607
1608 module Foo where
1609   import M
1610
1611   data T = MkT { x :: Int }
1612   
1613   ok1 (MkS { x = n }) = n+1   -- Unambiguous
1614   ok2 n = MkT { x = n+1 }     -- Unambiguous
1615
1616   bad1 k = k { x = 3 }  -- Ambiguous
1617   bad2 k = x k          -- Ambiguous
1618 </programlisting>
1619 Even though there are two <literal>x</literal>'s in scope,
1620 it is clear that the <literal>x</literal> in the pattern in the
1621 definition of <literal>ok1</literal> can only mean the field
1622 <literal>x</literal> from type <literal>S</literal>. Similarly for
1623 the function <literal>ok2</literal>.  However, in the record update
1624 in <literal>bad1</literal> and the record selection in <literal>bad2</literal>
1625 it is not clear which of the two types is intended.
1626 </para>
1627 <para>
1628 Haskell 98 regards all four as ambiguous, but with the
1629 <option>-XDisambiguateRecordFields</option> flag, GHC will accept
1630 the former two.  The rules are precisely the same as those for instance
1631 declarations in Haskell 98, where the method names on the left-hand side 
1632 of the method bindings in an instance declaration refer unambiguously
1633 to the method of that class (provided they are in scope at all), even
1634 if there are other variables in scope with the same name.
1635 This reduces the clutter of qualified names when you import two
1636 records from different modules that use the same field name.
1637 </para>
1638 <para>
1639 Some details:
1640 <itemizedlist>
1641 <listitem><para>
1642 Field disambiguation can be combined with punning (see <xref linkend="record-puns"/>). For exampe:
1643 <programlisting>
1644 module Foo where
1645   import M
1646   x=True
1647   ok3 (MkS { x }) = x+1   -- Uses both disambiguation and punning
1648 </programlisting>
1649 </para></listitem>
1650
1651 <listitem><para>
1652 With <option>-XDisambiguateRecordFields</option> you can use <emphasis>unqualifed</emphasis>
1653 field names even if the correponding selector is only in scope <emphasis>qualified</emphasis>
1654 For example, assuming the same module <literal>M</literal> as in our earlier example, this is legal:
1655 <programlisting>
1656 module Foo where
1657   import qualified M    -- Note qualified
1658
1659   ok4 (M.MkS { x = n }) = n+1   -- Unambiguous
1660 </programlisting>
1661 Since the constructore <literal>MkS</literal> is only in scope qualified, you must
1662 name it <literal>M.MkS</literal>, but the field <literal>x</literal> does not need
1663 to be qualified even though <literal>M.x</literal> is in scope but <literal>x</literal>
1664 is not.  (In effect, it is qualified by the constructor.)
1665 </para></listitem>
1666 </itemizedlist>
1667 </para>
1668
1669 </sect2>
1670
1671     <!-- ===================== Record puns ===================  -->
1672
1673 <sect2 id="record-puns">
1674 <title>Record puns
1675 </title>
1676
1677 <para>
1678 Record puns are enabled by the flag <literal>-XNamedFieldPuns</literal>.
1679 </para>
1680
1681 <para>
1682 When using records, it is common to write a pattern that binds a
1683 variable with the same name as a record field, such as:
1684
1685 <programlisting>
1686 data C = C {a :: Int}
1687 f (C {a = a}) = a
1688 </programlisting>
1689 </para>
1690
1691 <para>
1692 Record punning permits the variable name to be elided, so one can simply
1693 write
1694
1695 <programlisting>
1696 f (C {a}) = a
1697 </programlisting>
1698
1699 to mean the same pattern as above.  That is, in a record pattern, the
1700 pattern <literal>a</literal> expands into the pattern <literal>a =
1701 a</literal> for the same name <literal>a</literal>.  
1702 </para>
1703
1704 <para>
1705 Note that:
1706 <itemizedlist>
1707 <listitem><para>
1708 Record punning can also be used in an expression, writing, for example,
1709 <programlisting>
1710 let a = 1 in C {a}
1711 </programlisting>
1712 instead of 
1713 <programlisting>
1714 let a = 1 in C {a = a}
1715 </programlisting>
1716 The expansion is purely syntactic, so the expanded right-hand side
1717 expression refers to the nearest enclosing variable that is spelled the
1718 same as the field name.
1719 </para></listitem>
1720
1721 <listitem><para>
1722 Puns and other patterns can be mixed in the same record:
1723 <programlisting>
1724 data C = C {a :: Int, b :: Int}
1725 f (C {a, b = 4}) = a
1726 </programlisting>
1727 </para></listitem>
1728
1729 <listitem><para>
1730 Puns can be used wherever record patterns occur (e.g. in
1731 <literal>let</literal> bindings or at the top-level).  
1732 </para></listitem>
1733
1734 <listitem><para>
1735 A pun on a qualified field name is expanded by stripping off the module qualifier.
1736 For example:
1737 <programlisting>
1738 f (C {M.a}) = a
1739 </programlisting>
1740 means
1741 <programlisting>
1742 f (M.C {M.a = a}) = a
1743 </programlisting>
1744 (This is useful if the field selector <literal>a</literal> for constructor <literal>M.C</literal>
1745 is only in scope in qualified form.)
1746 </para></listitem>
1747 </itemizedlist>
1748 </para>
1749
1750
1751 </sect2>
1752
1753     <!-- ===================== Record wildcards ===================  -->
1754
1755 <sect2 id="record-wildcards">
1756 <title>Record wildcards
1757 </title>
1758
1759 <para>
1760 Record wildcards are enabled by the flag <literal>-XRecordWildCards</literal>.
1761 This flag implies <literal>-XDisambiguateRecordFields</literal>.
1762 </para>
1763
1764 <para>
1765 For records with many fields, it can be tiresome to write out each field
1766 individually in a record pattern, as in
1767 <programlisting>
1768 data C = C {a :: Int, b :: Int, c :: Int, d :: Int}
1769 f (C {a = 1, b = b, c = c, d = d}) = b + c + d
1770 </programlisting>
1771 </para>
1772
1773 <para>
1774 Record wildcard syntax permits a "<literal>..</literal>" in a record
1775 pattern, where each elided field <literal>f</literal> is replaced by the
1776 pattern <literal>f = f</literal>.  For example, the above pattern can be
1777 written as
1778 <programlisting>
1779 f (C {a = 1, ..}) = b + c + d
1780 </programlisting>
1781 </para>
1782
1783 <para>
1784 More details:
1785 <itemizedlist>
1786 <listitem><para>
1787 Wildcards can be mixed with other patterns, including puns
1788 (<xref linkend="record-puns"/>); for example, in a pattern <literal>C {a
1789 = 1, b, ..})</literal>.  Additionally, record wildcards can be used
1790 wherever record patterns occur, including in <literal>let</literal>
1791 bindings and at the top-level.  For example, the top-level binding
1792 <programlisting>
1793 C {a = 1, ..} = e
1794 </programlisting>
1795 defines <literal>b</literal>, <literal>c</literal>, and
1796 <literal>d</literal>.
1797 </para></listitem>
1798
1799 <listitem><para>
1800 Record wildcards can also be used in expressions, writing, for example,
1801 <programlisting>
1802 let {a = 1; b = 2; c = 3; d = 4} in C {..}
1803 </programlisting>
1804 in place of
1805 <programlisting>
1806 let {a = 1; b = 2; c = 3; d = 4} in C {a=a, b=b, c=c, d=d}
1807 </programlisting>
1808 The expansion is purely syntactic, so the record wildcard
1809 expression refers to the nearest enclosing variables that are spelled
1810 the same as the omitted field names.
1811 </para></listitem>
1812
1813 <listitem><para>
1814 The "<literal>..</literal>" expands to the missing 
1815 <emphasis>in-scope</emphasis> record fields, where "in scope"
1816 includes both unqualified and qualified-only.  
1817 Any fields that are not in scope are not filled in.  For example
1818 <programlisting>
1819 module M where
1820   data R = R { a,b,c :: Int }
1821 module X where
1822   import qualified M( R(a,b) )
1823   f a b = R { .. }
1824 </programlisting>
1825 The <literal>{..}</literal> expands to <literal>{M.a=a,M.b=b}</literal>,
1826 omitting <literal>c</literal> since it is not in scope at all.
1827 </para></listitem>
1828 </itemizedlist>
1829 </para>
1830
1831 </sect2>
1832
1833     <!-- ===================== Local fixity declarations ===================  -->
1834
1835 <sect2 id="local-fixity-declarations">
1836 <title>Local Fixity Declarations
1837 </title>
1838
1839 <para>A careful reading of the Haskell 98 Report reveals that fixity
1840 declarations (<literal>infix</literal>, <literal>infixl</literal>, and
1841 <literal>infixr</literal>) are permitted to appear inside local bindings
1842 such those introduced by <literal>let</literal> and
1843 <literal>where</literal>.  However, the Haskell Report does not specify
1844 the semantics of such bindings very precisely.
1845 </para>
1846
1847 <para>In GHC, a fixity declaration may accompany a local binding:
1848 <programlisting>
1849 let f = ...
1850     infixr 3 `f`
1851 in 
1852     ...
1853 </programlisting>
1854 and the fixity declaration applies wherever the binding is in scope.
1855 For example, in a <literal>let</literal>, it applies in the right-hand
1856 sides of other <literal>let</literal>-bindings and the body of the
1857 <literal>let</literal>C. Or, in recursive <literal>do</literal>
1858 expressions (<xref linkend="recursive-do-notation"/>), the local fixity
1859 declarations of a <literal>let</literal> statement scope over other
1860 statements in the group, just as the bound name does.
1861 </para>
1862
1863 <para>
1864 Moreover, a local fixity declaration *must* accompany a local binding of
1865 that name: it is not possible to revise the fixity of name bound
1866 elsewhere, as in
1867 <programlisting>
1868 let infixr 9 $ in ...
1869 </programlisting>
1870
1871 Because local fixity declarations are technically Haskell 98, no flag is
1872 necessary to enable them.
1873 </para>
1874 </sect2>
1875
1876 <sect2 id="package-imports">
1877   <title>Package-qualified imports</title>
1878
1879   <para>With the <option>-XPackageImports</option> flag, GHC allows
1880   import declarations to be qualified by the package name that the
1881     module is intended to be imported from.  For example:</para>
1882
1883 <programlisting>
1884 import "network" Network.Socket
1885 </programlisting>
1886   
1887   <para>would import the module <literal>Network.Socket</literal> from
1888     the package <literal>network</literal> (any version).  This may
1889     be used to disambiguate an import when the same module is
1890     available from multiple packages, or is present in both the
1891     current package being built and an external package.</para>
1892
1893   <para>Note: you probably don't need to use this feature, it was
1894     added mainly so that we can build backwards-compatible versions of
1895     packages when APIs change.  It can lead to fragile dependencies in
1896     the common case: modules occasionally move from one package to
1897     another, rendering any package-qualified imports broken.</para>
1898 </sect2>
1899
1900 <sect2 id="syntax-stolen">
1901 <title>Summary of stolen syntax</title>
1902
1903     <para>Turning on an option that enables special syntax
1904     <emphasis>might</emphasis> cause working Haskell 98 code to fail
1905     to compile, perhaps because it uses a variable name which has
1906     become a reserved word.  This section lists the syntax that is
1907     "stolen" by language extensions.
1908      We use
1909     notation and nonterminal names from the Haskell 98 lexical syntax
1910     (see the Haskell 98 Report).  
1911     We only list syntax changes here that might affect
1912     existing working programs (i.e. "stolen" syntax).  Many of these
1913     extensions will also enable new context-free syntax, but in all
1914     cases programs written to use the new syntax would not be
1915     compilable without the option enabled.</para>
1916
1917 <para>There are two classes of special
1918     syntax:
1919
1920     <itemizedlist>
1921       <listitem>
1922         <para>New reserved words and symbols: character sequences
1923         which are no longer available for use as identifiers in the
1924         program.</para>
1925       </listitem>
1926       <listitem>
1927         <para>Other special syntax: sequences of characters that have
1928         a different meaning when this particular option is turned
1929         on.</para>
1930       </listitem>
1931     </itemizedlist>
1932     
1933 The following syntax is stolen:
1934
1935     <variablelist>
1936       <varlistentry>
1937         <term>
1938           <literal>forall</literal>
1939           <indexterm><primary><literal>forall</literal></primary></indexterm>
1940         </term>
1941         <listitem><para>
1942         Stolen (in types) by: <option>-XExplicitForAll</option>, and hence by
1943             <option>-XScopedTypeVariables</option>,
1944             <option>-XLiberalTypeSynonyms</option>,
1945             <option>-XRank2Types</option>,
1946             <option>-XRankNTypes</option>,
1947             <option>-XPolymorphicComponents</option>,
1948             <option>-XExistentialQuantification</option>
1949           </para></listitem>
1950       </varlistentry>
1951
1952       <varlistentry>
1953         <term>
1954           <literal>mdo</literal>
1955           <indexterm><primary><literal>mdo</literal></primary></indexterm>
1956         </term>
1957         <listitem><para>
1958         Stolen by: <option>-XRecursiveDo</option>,
1959           </para></listitem>
1960       </varlistentry>
1961
1962       <varlistentry>
1963         <term>
1964           <literal>foreign</literal>
1965           <indexterm><primary><literal>foreign</literal></primary></indexterm>
1966         </term>
1967         <listitem><para>
1968         Stolen by: <option>-XForeignFunctionInterface</option>,
1969           </para></listitem>
1970       </varlistentry>
1971
1972       <varlistentry>
1973         <term>
1974           <literal>rec</literal>,
1975           <literal>proc</literal>, <literal>-&lt;</literal>,
1976           <literal>&gt;-</literal>, <literal>-&lt;&lt;</literal>,
1977           <literal>&gt;&gt;-</literal>, and <literal>(|</literal>,
1978           <literal>|)</literal> brackets
1979           <indexterm><primary><literal>proc</literal></primary></indexterm>
1980         </term>
1981         <listitem><para>
1982         Stolen by: <option>-XArrows</option>,
1983           </para></listitem>
1984       </varlistentry>
1985
1986       <varlistentry>
1987         <term>
1988           <literal>?<replaceable>varid</replaceable></literal>,
1989           <literal>%<replaceable>varid</replaceable></literal>
1990           <indexterm><primary>implicit parameters</primary></indexterm>
1991         </term>
1992         <listitem><para>
1993         Stolen by: <option>-XImplicitParams</option>,
1994           </para></listitem>
1995       </varlistentry>
1996
1997       <varlistentry>
1998         <term>
1999           <literal>[|</literal>,
2000           <literal>[e|</literal>, <literal>[p|</literal>,
2001           <literal>[d|</literal>, <literal>[t|</literal>,
2002           <literal>$(</literal>,
2003           <literal>$<replaceable>varid</replaceable></literal>
2004           <indexterm><primary>Template Haskell</primary></indexterm>
2005         </term>
2006         <listitem><para>
2007         Stolen by: <option>-XTemplateHaskell</option>,
2008           </para></listitem>
2009       </varlistentry>
2010
2011       <varlistentry>
2012         <term>
2013           <literal>[:<replaceable>varid</replaceable>|</literal>
2014           <indexterm><primary>quasi-quotation</primary></indexterm>
2015         </term>
2016         <listitem><para>
2017         Stolen by: <option>-XQuasiQuotes</option>,
2018           </para></listitem>
2019       </varlistentry>
2020
2021       <varlistentry>
2022         <term>
2023               <replaceable>varid</replaceable>{<literal>&num;</literal>},
2024               <replaceable>char</replaceable><literal>&num;</literal>,      
2025               <replaceable>string</replaceable><literal>&num;</literal>,    
2026               <replaceable>integer</replaceable><literal>&num;</literal>,    
2027               <replaceable>float</replaceable><literal>&num;</literal>,    
2028               <replaceable>float</replaceable><literal>&num;&num;</literal>,    
2029               <literal>(&num;</literal>, <literal>&num;)</literal>,         
2030         </term>
2031         <listitem><para>
2032         Stolen by: <option>-XMagicHash</option>,
2033           </para></listitem>
2034       </varlistentry>
2035     </variablelist>
2036 </para>
2037 </sect2>
2038 </sect1>
2039
2040
2041 <!-- TYPE SYSTEM EXTENSIONS -->
2042 <sect1 id="data-type-extensions">
2043 <title>Extensions to data types and type synonyms</title>
2044
2045 <sect2 id="nullary-types">
2046 <title>Data types with no constructors</title>
2047
2048 <para>With the <option>-fglasgow-exts</option> flag, GHC lets you declare
2049 a data type with no constructors.  For example:</para>
2050
2051 <programlisting>
2052   data S      -- S :: *
2053   data T a    -- T :: * -> *
2054 </programlisting>
2055
2056 <para>Syntactically, the declaration lacks the "= constrs" part.  The 
2057 type can be parameterised over types of any kind, but if the kind is
2058 not <literal>*</literal> then an explicit kind annotation must be used
2059 (see <xref linkend="kinding"/>).</para>
2060
2061 <para>Such data types have only one value, namely bottom.
2062 Nevertheless, they can be useful when defining "phantom types".</para>
2063 </sect2>
2064
2065 <sect2 id="datatype-contexts">
2066 <title>Data type contexts</title>
2067
2068 <para>Haskell allows datatypes to be given contexts, e.g.</para>
2069
2070 <programlisting>
2071 data Eq a => Set a = NilSet | ConsSet a (Set a)
2072 </programlisting>
2073
2074 <para>give constructors with types:</para>
2075
2076 <programlisting>
2077 NilSet :: Set a
2078 ConsSet :: Eq a => a -> Set a -> Set a
2079 </programlisting>
2080
2081 <para>In GHC this feature is an extension called
2082 <literal>DatatypeContexts</literal>, and on by default.</para>
2083 </sect2>
2084
2085 <sect2 id="infix-tycons">
2086 <title>Infix type constructors, classes, and type variables</title>
2087
2088 <para>
2089 GHC allows type constructors, classes, and type variables to be operators, and
2090 to be written infix, very much like expressions.  More specifically:
2091 <itemizedlist>
2092 <listitem><para>
2093   A type constructor or class can be an operator, beginning with a colon; e.g. <literal>:*:</literal>.
2094   The lexical syntax is the same as that for data constructors.
2095   </para></listitem>
2096 <listitem><para>
2097   Data type and type-synonym declarations can be written infix, parenthesised
2098   if you want further arguments.  E.g.
2099 <screen>
2100   data a :*: b = Foo a b
2101   type a :+: b = Either a b
2102   class a :=: b where ...
2103
2104   data (a :**: b) x = Baz a b x
2105   type (a :++: b) y = Either (a,b) y
2106 </screen>
2107   </para></listitem>
2108 <listitem><para>
2109   Types, and class constraints, can be written infix.  For example
2110   <screen>
2111         x :: Int :*: Bool
2112         f :: (a :=: b) => a -> b
2113   </screen>
2114   </para></listitem>
2115 <listitem><para>
2116   A type variable can be an (unqualified) operator e.g. <literal>+</literal>.
2117   The lexical syntax is the same as that for variable operators, excluding "(.)",
2118   "(!)", and "(*)".  In a binding position, the operator must be
2119   parenthesised.  For example:
2120 <programlisting>
2121    type T (+) = Int + Int
2122    f :: T Either
2123    f = Left 3
2124  
2125    liftA2 :: Arrow (~>)
2126           => (a -> b -> c) -> (e ~> a) -> (e ~> b) -> (e ~> c)
2127    liftA2 = ...
2128 </programlisting>
2129   </para></listitem>
2130 <listitem><para>
2131   Back-quotes work
2132   as for expressions, both for type constructors and type variables;  e.g. <literal>Int `Either` Bool</literal>, or
2133   <literal>Int `a` Bool</literal>.  Similarly, parentheses work the same; e.g.  <literal>(:*:) Int Bool</literal>.
2134   </para></listitem>
2135 <listitem><para>
2136   Fixities may be declared for type constructors, or classes, just as for data constructors.  However,
2137   one cannot distinguish between the two in a fixity declaration; a fixity declaration
2138   sets the fixity for a data constructor and the corresponding type constructor.  For example:
2139 <screen>
2140   infixl 7 T, :*:
2141 </screen>
2142   sets the fixity for both type constructor <literal>T</literal> and data constructor <literal>T</literal>,
2143   and similarly for <literal>:*:</literal>.
2144   <literal>Int `a` Bool</literal>.
2145   </para></listitem>
2146 <listitem><para>
2147   Function arrow is <literal>infixr</literal> with fixity 0.  (This might change; I'm not sure what it should be.)
2148   </para></listitem>
2149
2150 </itemizedlist>
2151 </para>
2152 </sect2>
2153
2154 <sect2 id="type-synonyms">
2155 <title>Liberalised type synonyms</title>
2156
2157 <para>
2158 Type synonyms are like macros at the type level, but Haskell 98 imposes many rules
2159 on individual synonym declarations.
2160 With the <option>-XLiberalTypeSynonyms</option> extension,
2161 GHC does validity checking on types <emphasis>only after expanding type synonyms</emphasis>.
2162 That means that GHC can be very much more liberal about type synonyms than Haskell 98. 
2163
2164 <itemizedlist>
2165 <listitem> <para>You can write a <literal>forall</literal> (including overloading)
2166 in a type synonym, thus:
2167 <programlisting>
2168   type Discard a = forall b. Show b => a -> b -> (a, String)
2169
2170   f :: Discard a
2171   f x y = (x, show y)
2172
2173   g :: Discard Int -> (Int,String)    -- A rank-2 type
2174   g f = f 3 True
2175 </programlisting>
2176 </para>
2177 </listitem>
2178
2179 <listitem><para>
2180 If you also use <option>-XUnboxedTuples</option>, 
2181 you can write an unboxed tuple in a type synonym:
2182 <programlisting>
2183   type Pr = (# Int, Int #)
2184
2185   h :: Int -> Pr
2186   h x = (# x, x #)
2187 </programlisting>
2188 </para></listitem>
2189
2190 <listitem><para>
2191 You can apply a type synonym to a forall type:
2192 <programlisting>
2193   type Foo a = a -> a -> Bool
2194  
2195   f :: Foo (forall b. b->b)
2196 </programlisting>
2197 After expanding the synonym, <literal>f</literal> has the legal (in GHC) type:
2198 <programlisting>
2199   f :: (forall b. b->b) -> (forall b. b->b) -> Bool
2200 </programlisting>
2201 </para></listitem>
2202
2203 <listitem><para>
2204 You can apply a type synonym to a partially applied type synonym:
2205 <programlisting>
2206   type Generic i o = forall x. i x -> o x
2207   type Id x = x
2208   
2209   foo :: Generic Id []
2210 </programlisting>
2211 After expanding the synonym, <literal>foo</literal> has the legal (in GHC) type:
2212 <programlisting>
2213   foo :: forall x. x -> [x]
2214 </programlisting>
2215 </para></listitem>
2216
2217 </itemizedlist>
2218 </para>
2219
2220 <para>
2221 GHC currently does kind checking before expanding synonyms (though even that
2222 could be changed.)
2223 </para>
2224 <para>
2225 After expanding type synonyms, GHC does validity checking on types, looking for
2226 the following mal-formedness which isn't detected simply by kind checking:
2227 <itemizedlist>
2228 <listitem><para>
2229 Type constructor applied to a type involving for-alls.
2230 </para></listitem>
2231 <listitem><para>
2232 Unboxed tuple on left of an arrow.
2233 </para></listitem>
2234 <listitem><para>
2235 Partially-applied type synonym.
2236 </para></listitem>
2237 </itemizedlist>
2238 So, for example,
2239 this will be rejected:
2240 <programlisting>
2241   type Pr = (# Int, Int #)
2242
2243   h :: Pr -> Int
2244   h x = ...
2245 </programlisting>
2246 because GHC does not allow  unboxed tuples on the left of a function arrow.
2247 </para>
2248 </sect2>
2249
2250
2251 <sect2 id="existential-quantification">
2252 <title>Existentially quantified data constructors
2253 </title>
2254
2255 <para>
2256 The idea of using existential quantification in data type declarations
2257 was suggested by Perry, and implemented in Hope+ (Nigel Perry, <emphasis>The Implementation
2258 of Practical Functional Programming Languages</emphasis>, PhD Thesis, University of
2259 London, 1991). It was later formalised by Laufer and Odersky
2260 (<emphasis>Polymorphic type inference and abstract data types</emphasis>,
2261 TOPLAS, 16(5), pp1411-1430, 1994).
2262 It's been in Lennart
2263 Augustsson's <command>hbc</command> Haskell compiler for several years, and
2264 proved very useful.  Here's the idea.  Consider the declaration:
2265 </para>
2266
2267 <para>
2268
2269 <programlisting>
2270   data Foo = forall a. MkFoo a (a -> Bool)
2271            | Nil
2272 </programlisting>
2273
2274 </para>
2275
2276 <para>
2277 The data type <literal>Foo</literal> has two constructors with types:
2278 </para>
2279
2280 <para>
2281
2282 <programlisting>
2283   MkFoo :: forall a. a -> (a -> Bool) -> Foo
2284   Nil   :: Foo
2285 </programlisting>
2286
2287 </para>
2288
2289 <para>
2290 Notice that the type variable <literal>a</literal> in the type of <function>MkFoo</function>
2291 does not appear in the data type itself, which is plain <literal>Foo</literal>.
2292 For example, the following expression is fine:
2293 </para>
2294
2295 <para>
2296
2297 <programlisting>
2298   [MkFoo 3 even, MkFoo 'c' isUpper] :: [Foo]
2299 </programlisting>
2300
2301 </para>
2302
2303 <para>
2304 Here, <literal>(MkFoo 3 even)</literal> packages an integer with a function
2305 <function>even</function> that maps an integer to <literal>Bool</literal>; and <function>MkFoo 'c'
2306 isUpper</function> packages a character with a compatible function.  These
2307 two things are each of type <literal>Foo</literal> and can be put in a list.
2308 </para>
2309
2310 <para>
2311 What can we do with a value of type <literal>Foo</literal>?.  In particular,
2312 what happens when we pattern-match on <function>MkFoo</function>?
2313 </para>
2314
2315 <para>
2316
2317 <programlisting>
2318   f (MkFoo val fn) = ???
2319 </programlisting>
2320
2321 </para>
2322
2323 <para>
2324 Since all we know about <literal>val</literal> and <function>fn</function> is that they
2325 are compatible, the only (useful) thing we can do with them is to
2326 apply <function>fn</function> to <literal>val</literal> to get a boolean.  For example:
2327 </para>
2328
2329 <para>
2330
2331 <programlisting>
2332   f :: Foo -> Bool
2333   f (MkFoo val fn) = fn val
2334 </programlisting>
2335
2336 </para>
2337
2338 <para>
2339 What this allows us to do is to package heterogeneous values
2340 together with a bunch of functions that manipulate them, and then treat
2341 that collection of packages in a uniform manner.  You can express
2342 quite a bit of object-oriented-like programming this way.
2343 </para>
2344
2345 <sect3 id="existential">
2346 <title>Why existential?
2347 </title>
2348
2349 <para>
2350 What has this to do with <emphasis>existential</emphasis> quantification?
2351 Simply that <function>MkFoo</function> has the (nearly) isomorphic type
2352 </para>
2353
2354 <para>
2355
2356 <programlisting>
2357   MkFoo :: (exists a . (a, a -> Bool)) -> Foo
2358 </programlisting>
2359
2360 </para>
2361
2362 <para>
2363 But Haskell programmers can safely think of the ordinary
2364 <emphasis>universally</emphasis> quantified type given above, thereby avoiding
2365 adding a new existential quantification construct.
2366 </para>
2367
2368 </sect3>
2369
2370 <sect3 id="existential-with-context">
2371 <title>Existentials and type classes</title>
2372
2373 <para>
2374 An easy extension is to allow
2375 arbitrary contexts before the constructor.  For example:
2376 </para>
2377
2378 <para>
2379
2380 <programlisting>
2381 data Baz = forall a. Eq a => Baz1 a a
2382          | forall b. Show b => Baz2 b (b -> b)
2383 </programlisting>
2384
2385 </para>
2386
2387 <para>
2388 The two constructors have the types you'd expect:
2389 </para>
2390
2391 <para>
2392
2393 <programlisting>
2394 Baz1 :: forall a. Eq a => a -> a -> Baz
2395 Baz2 :: forall b. Show b => b -> (b -> b) -> Baz
2396 </programlisting>
2397
2398 </para>
2399
2400 <para>
2401 But when pattern matching on <function>Baz1</function> the matched values can be compared
2402 for equality, and when pattern matching on <function>Baz2</function> the first matched
2403 value can be converted to a string (as well as applying the function to it).
2404 So this program is legal:
2405 </para>
2406
2407 <para>
2408
2409 <programlisting>
2410   f :: Baz -> String
2411   f (Baz1 p q) | p == q    = "Yes"
2412                | otherwise = "No"
2413   f (Baz2 v fn)            = show (fn v)
2414 </programlisting>
2415
2416 </para>
2417
2418 <para>
2419 Operationally, in a dictionary-passing implementation, the
2420 constructors <function>Baz1</function> and <function>Baz2</function> must store the
2421 dictionaries for <literal>Eq</literal> and <literal>Show</literal> respectively, and
2422 extract it on pattern matching.
2423 </para>
2424
2425 </sect3>
2426
2427 <sect3 id="existential-records">
2428 <title>Record Constructors</title>
2429
2430 <para>
2431 GHC allows existentials to be used with records syntax as well.  For example:
2432
2433 <programlisting>
2434 data Counter a = forall self. NewCounter
2435     { _this    :: self
2436     , _inc     :: self -> self
2437     , _display :: self -> IO ()
2438     , tag      :: a
2439     }
2440 </programlisting>
2441 Here <literal>tag</literal> is a public field, with a well-typed selector
2442 function <literal>tag :: Counter a -> a</literal>.  The <literal>self</literal>
2443 type is hidden from the outside; any attempt to apply <literal>_this</literal>,
2444 <literal>_inc</literal> or <literal>_display</literal> as functions will raise a
2445 compile-time error.  In other words, <emphasis>GHC defines a record selector function
2446 only for fields whose type does not mention the existentially-quantified variables</emphasis>.
2447 (This example used an underscore in the fields for which record selectors
2448 will not be defined, but that is only programming style; GHC ignores them.)
2449 </para>
2450
2451 <para>
2452 To make use of these hidden fields, we need to create some helper functions:
2453
2454 <programlisting>
2455 inc :: Counter a -> Counter a
2456 inc (NewCounter x i d t) = NewCounter
2457     { _this = i x, _inc = i, _display = d, tag = t } 
2458
2459 display :: Counter a -> IO ()
2460 display NewCounter{ _this = x, _display = d } = d x
2461 </programlisting>
2462
2463 Now we can define counters with different underlying implementations:
2464
2465 <programlisting>
2466 counterA :: Counter String 
2467 counterA = NewCounter
2468     { _this = 0, _inc = (1+), _display = print, tag = "A" }
2469
2470 counterB :: Counter String 
2471 counterB = NewCounter
2472     { _this = "", _inc = ('#':), _display = putStrLn, tag = "B" }
2473
2474 main = do
2475     display (inc counterA)         -- prints "1"
2476     display (inc (inc counterB))   -- prints "##"
2477 </programlisting>
2478
2479 Record update syntax is supported for existentials (and GADTs):
2480 <programlisting>
2481 setTag :: Counter a -> a -> Counter a
2482 setTag obj t = obj{ tag = t }
2483 </programlisting>
2484 The rule for record update is this: <emphasis>
2485 the types of the updated fields may
2486 mention only the universally-quantified type variables
2487 of the data constructor.  For GADTs, the field may mention only types
2488 that appear as a simple type-variable argument in the constructor's result
2489 type</emphasis>.  For example:
2490 <programlisting>
2491 data T a b where { T1 { f1::a, f2::b, f3::(b,c) } :: T a b } -- c is existential
2492 upd1 t x = t { f1=x }   -- OK:   upd1 :: T a b -> a' -> T a' b
2493 upd2 t x = t { f3=x }   -- BAD   (f3's type mentions c, which is
2494                         --        existentially quantified)
2495
2496 data G a b where { G1 { g1::a, g2::c } :: G a [c] }
2497 upd3 g x = g { g1=x }   -- OK:   upd3 :: G a b -> c -> G c b
2498 upd4 g x = g { g2=x }   -- BAD (f2's type mentions c, which is not a simple
2499                         --      type-variable argument in G1's result type)
2500 </programlisting>
2501 </para>
2502
2503 </sect3>
2504
2505
2506 <sect3>
2507 <title>Restrictions</title>
2508
2509 <para>
2510 There are several restrictions on the ways in which existentially-quantified
2511 constructors can be use.
2512 </para>
2513
2514 <para>
2515
2516 <itemizedlist>
2517 <listitem>
2518
2519 <para>
2520  When pattern matching, each pattern match introduces a new,
2521 distinct, type for each existential type variable.  These types cannot
2522 be unified with any other type, nor can they escape from the scope of
2523 the pattern match.  For example, these fragments are incorrect:
2524
2525
2526 <programlisting>
2527 f1 (MkFoo a f) = a
2528 </programlisting>
2529
2530
2531 Here, the type bound by <function>MkFoo</function> "escapes", because <literal>a</literal>
2532 is the result of <function>f1</function>.  One way to see why this is wrong is to
2533 ask what type <function>f1</function> has:
2534
2535
2536 <programlisting>
2537   f1 :: Foo -> a             -- Weird!
2538 </programlisting>
2539
2540
2541 What is this "<literal>a</literal>" in the result type? Clearly we don't mean
2542 this:
2543
2544
2545 <programlisting>
2546   f1 :: forall a. Foo -> a   -- Wrong!
2547 </programlisting>
2548
2549
2550 The original program is just plain wrong.  Here's another sort of error
2551
2552
2553 <programlisting>
2554   f2 (Baz1 a b) (Baz1 p q) = a==q
2555 </programlisting>
2556
2557
2558 It's ok to say <literal>a==b</literal> or <literal>p==q</literal>, but
2559 <literal>a==q</literal> is wrong because it equates the two distinct types arising
2560 from the two <function>Baz1</function> constructors.
2561
2562
2563 </para>
2564 </listitem>
2565 <listitem>
2566
2567 <para>
2568 You can't pattern-match on an existentially quantified
2569 constructor in a <literal>let</literal> or <literal>where</literal> group of
2570 bindings. So this is illegal:
2571
2572
2573 <programlisting>
2574   f3 x = a==b where { Baz1 a b = x }
2575 </programlisting>
2576
2577 Instead, use a <literal>case</literal> expression:
2578
2579 <programlisting>
2580   f3 x = case x of Baz1 a b -> a==b
2581 </programlisting>
2582
2583 In general, you can only pattern-match
2584 on an existentially-quantified constructor in a <literal>case</literal> expression or
2585 in the patterns of a function definition.
2586
2587 The reason for this restriction is really an implementation one.
2588 Type-checking binding groups is already a nightmare without
2589 existentials complicating the picture.  Also an existential pattern
2590 binding at the top level of a module doesn't make sense, because it's
2591 not clear how to prevent the existentially-quantified type "escaping".
2592 So for now, there's a simple-to-state restriction.  We'll see how
2593 annoying it is.
2594
2595 </para>
2596 </listitem>
2597 <listitem>
2598
2599 <para>
2600 You can't use existential quantification for <literal>newtype</literal>
2601 declarations.  So this is illegal:
2602
2603
2604 <programlisting>
2605   newtype T = forall a. Ord a => MkT a
2606 </programlisting>
2607
2608
2609 Reason: a value of type <literal>T</literal> must be represented as a
2610 pair of a dictionary for <literal>Ord t</literal> and a value of type
2611 <literal>t</literal>.  That contradicts the idea that
2612 <literal>newtype</literal> should have no concrete representation.
2613 You can get just the same efficiency and effect by using
2614 <literal>data</literal> instead of <literal>newtype</literal>.  If
2615 there is no overloading involved, then there is more of a case for
2616 allowing an existentially-quantified <literal>newtype</literal>,
2617 because the <literal>data</literal> version does carry an
2618 implementation cost, but single-field existentially quantified
2619 constructors aren't much use.  So the simple restriction (no
2620 existential stuff on <literal>newtype</literal>) stands, unless there
2621 are convincing reasons to change it.
2622
2623
2624 </para>
2625 </listitem>
2626 <listitem>
2627
2628 <para>
2629  You can't use <literal>deriving</literal> to define instances of a
2630 data type with existentially quantified data constructors.
2631
2632 Reason: in most cases it would not make sense. For example:;
2633
2634 <programlisting>
2635 data T = forall a. MkT [a] deriving( Eq )
2636 </programlisting>
2637
2638 To derive <literal>Eq</literal> in the standard way we would need to have equality
2639 between the single component of two <function>MkT</function> constructors:
2640
2641 <programlisting>
2642 instance Eq T where
2643   (MkT a) == (MkT b) = ???
2644 </programlisting>
2645
2646 But <varname>a</varname> and <varname>b</varname> have distinct types, and so can't be compared.
2647 It's just about possible to imagine examples in which the derived instance
2648 would make sense, but it seems altogether simpler simply to prohibit such
2649 declarations.  Define your own instances!
2650 </para>
2651 </listitem>
2652
2653 </itemizedlist>
2654
2655 </para>
2656
2657 </sect3>
2658 </sect2>
2659
2660 <!-- ====================== Generalised algebraic data types =======================  -->
2661
2662 <sect2 id="gadt-style">
2663 <title>Declaring data types with explicit constructor signatures</title>
2664
2665 <para>When the <literal>GADTSyntax</literal> extension is enabled,
2666 GHC allows you to declare an algebraic data type by
2667 giving the type signatures of constructors explicitly.  For example:
2668 <programlisting>
2669   data Maybe a where
2670       Nothing :: Maybe a
2671       Just    :: a -> Maybe a
2672 </programlisting>
2673 The form is called a "GADT-style declaration"
2674 because Generalised Algebraic Data Types, described in <xref linkend="gadt"/>, 
2675 can only be declared using this form.</para>
2676 <para>Notice that GADT-style syntax generalises existential types (<xref linkend="existential-quantification"/>).  
2677 For example, these two declarations are equivalent:
2678 <programlisting>
2679   data Foo = forall a. MkFoo a (a -> Bool)
2680   data Foo' where { MKFoo :: a -> (a->Bool) -> Foo' }
2681 </programlisting>
2682 </para>
2683 <para>Any data type that can be declared in standard Haskell-98 syntax 
2684 can also be declared using GADT-style syntax.
2685 The choice is largely stylistic, but GADT-style declarations differ in one important respect:
2686 they treat class constraints on the data constructors differently.
2687 Specifically, if the constructor is given a type-class context, that
2688 context is made available by pattern matching.  For example:
2689 <programlisting>
2690   data Set a where
2691     MkSet :: Eq a => [a] -> Set a
2692
2693   makeSet :: Eq a => [a] -> Set a
2694   makeSet xs = MkSet (nub xs)
2695
2696   insert :: a -> Set a -> Set a
2697   insert a (MkSet as) | a `elem` as = MkSet as
2698                       | otherwise   = MkSet (a:as)
2699 </programlisting>
2700 A use of <literal>MkSet</literal> as a constructor (e.g. in the definition of <literal>makeSet</literal>) 
2701 gives rise to a <literal>(Eq a)</literal>
2702 constraint, as you would expect.  The new feature is that pattern-matching on <literal>MkSet</literal>
2703 (as in the definition of <literal>insert</literal>) makes <emphasis>available</emphasis> an <literal>(Eq a)</literal>
2704 context.  In implementation terms, the <literal>MkSet</literal> constructor has a hidden field that stores
2705 the <literal>(Eq a)</literal> dictionary that is passed to <literal>MkSet</literal>; so
2706 when pattern-matching that dictionary becomes available for the right-hand side of the match.
2707 In the example, the equality dictionary is used to satisfy the equality constraint 
2708 generated by the call to <literal>elem</literal>, so that the type of
2709 <literal>insert</literal> itself has no <literal>Eq</literal> constraint.
2710 </para>
2711 <para>
2712 For example, one possible application is to reify dictionaries:
2713 <programlisting>
2714    data NumInst a where
2715      MkNumInst :: Num a => NumInst a
2716
2717    intInst :: NumInst Int
2718    intInst = MkNumInst
2719
2720    plus :: NumInst a -> a -> a -> a
2721    plus MkNumInst p q = p + q
2722 </programlisting>
2723 Here, a value of type <literal>NumInst a</literal> is equivalent 
2724 to an explicit <literal>(Num a)</literal> dictionary.
2725 </para>
2726 <para>
2727 All this applies to constructors declared using the syntax of <xref linkend="existential-with-context"/>.
2728 For example, the <literal>NumInst</literal> data type above could equivalently be declared 
2729 like this:
2730 <programlisting>
2731    data NumInst a 
2732       = Num a => MkNumInst (NumInst a)
2733 </programlisting>
2734 Notice that, unlike the situation when declaring an existential, there is 
2735 no <literal>forall</literal>, because the <literal>Num</literal> constrains the
2736 data type's universally quantified type variable <literal>a</literal>.  
2737 A constructor may have both universal and existential type variables: for example,
2738 the following two declarations are equivalent:
2739 <programlisting>
2740    data T1 a 
2741         = forall b. (Num a, Eq b) => MkT1 a b
2742    data T2 a where
2743         MkT2 :: (Num a, Eq b) => a -> b -> T2 a
2744 </programlisting>
2745 </para>
2746 <para>All this behaviour contrasts with Haskell 98's peculiar treatment of 
2747 contexts on a data type declaration (Section 4.2.1 of the Haskell 98 Report).
2748 In Haskell 98 the definition
2749 <programlisting>
2750   data Eq a => Set' a = MkSet' [a]
2751 </programlisting>
2752 gives <literal>MkSet'</literal> the same type as <literal>MkSet</literal> above.  But instead of 
2753 <emphasis>making available</emphasis> an <literal>(Eq a)</literal> constraint, pattern-matching
2754 on <literal>MkSet'</literal> <emphasis>requires</emphasis> an <literal>(Eq a)</literal> constraint!
2755 GHC faithfully implements this behaviour, odd though it is.  But for GADT-style declarations,
2756 GHC's behaviour is much more useful, as well as much more intuitive.
2757 </para>
2758
2759 <para>
2760 The rest of this section gives further details about GADT-style data
2761 type declarations.
2762
2763 <itemizedlist>
2764 <listitem><para>
2765 The result type of each data constructor must begin with the type constructor being defined.
2766 If the result type of all constructors 
2767 has the form <literal>T a1 ... an</literal>, where <literal>a1 ... an</literal>
2768 are distinct type variables, then the data type is <emphasis>ordinary</emphasis>;
2769 otherwise is a <emphasis>generalised</emphasis> data type (<xref linkend="gadt"/>).
2770 </para></listitem>
2771
2772 <listitem><para>
2773 As with other type signatures, you can give a single signature for several data constructors.
2774 In this example we give a single signature for <literal>T1</literal> and <literal>T2</literal>:
2775 <programlisting>
2776   data T a where
2777     T1,T2 :: a -> T a
2778     T3 :: T a
2779 </programlisting>
2780 </para></listitem>
2781
2782 <listitem><para>
2783 The type signature of
2784 each constructor is independent, and is implicitly universally quantified as usual. 
2785 In particular, the type variable(s) in the "<literal>data T a where</literal>" header 
2786 have no scope, and different constructors may have different universally-quantified type variables:
2787 <programlisting>
2788   data T a where        -- The 'a' has no scope
2789     T1,T2 :: b -> T b   -- Means forall b. b -> T b
2790     T3 :: T a           -- Means forall a. T a
2791 </programlisting>
2792 </para></listitem>
2793
2794 <listitem><para>
2795 A constructor signature may mention type class constraints, which can differ for
2796 different constructors.  For example, this is fine:
2797 <programlisting>
2798   data T a where
2799     T1 :: Eq b => b -> b -> T b
2800     T2 :: (Show c, Ix c) => c -> [c] -> T c
2801 </programlisting>
2802 When patten matching, these constraints are made available to discharge constraints
2803 in the body of the match. For example:
2804 <programlisting>
2805   f :: T a -> String
2806   f (T1 x y) | x==y      = "yes"
2807              | otherwise = "no"
2808   f (T2 a b)             = show a
2809 </programlisting>
2810 Note that <literal>f</literal> is not overloaded; the <literal>Eq</literal> constraint arising
2811 from the use of <literal>==</literal> is discharged by the pattern match on <literal>T1</literal>
2812 and similarly the <literal>Show</literal> constraint arising from the use of <literal>show</literal>.
2813 </para></listitem>
2814
2815 <listitem><para>
2816 Unlike a Haskell-98-style 
2817 data type declaration, the type variable(s) in the "<literal>data Set a where</literal>" header 
2818 have no scope.  Indeed, one can write a kind signature instead:
2819 <programlisting>
2820   data Set :: * -> * where ...
2821 </programlisting>
2822 or even a mixture of the two:
2823 <programlisting>
2824   data Bar a :: (* -> *) -> * where ...
2825 </programlisting>
2826 The type variables (if given) may be explicitly kinded, so we could also write the header for <literal>Foo</literal>
2827 like this:
2828 <programlisting>
2829   data Bar a (b :: * -> *) where ...
2830 </programlisting>
2831 </para></listitem>
2832
2833
2834 <listitem><para>
2835 You can use strictness annotations, in the obvious places
2836 in the constructor type:
2837 <programlisting>
2838   data Term a where
2839       Lit    :: !Int -> Term Int
2840       If     :: Term Bool -> !(Term a) -> !(Term a) -> Term a
2841       Pair   :: Term a -> Term b -> Term (a,b)
2842 </programlisting>
2843 </para></listitem>
2844
2845 <listitem><para>
2846 You can use a <literal>deriving</literal> clause on a GADT-style data type
2847 declaration.   For example, these two declarations are equivalent
2848 <programlisting>
2849   data Maybe1 a where {
2850       Nothing1 :: Maybe1 a ;
2851       Just1    :: a -> Maybe1 a
2852     } deriving( Eq, Ord )
2853
2854   data Maybe2 a = Nothing2 | Just2 a 
2855        deriving( Eq, Ord )
2856 </programlisting>
2857 </para></listitem>
2858
2859 <listitem><para>
2860 The type signature may have quantified type variables that do not appear
2861 in the result type:
2862 <programlisting>
2863   data Foo where
2864      MkFoo :: a -> (a->Bool) -> Foo
2865      Nil   :: Foo
2866 </programlisting>
2867 Here the type variable <literal>a</literal> does not appear in the result type
2868 of either constructor.  
2869 Although it is universally quantified in the type of the constructor, such
2870 a type variable is often called "existential".  
2871 Indeed, the above declaration declares precisely the same type as 
2872 the <literal>data Foo</literal> in <xref linkend="existential-quantification"/>.
2873 </para><para>
2874 The type may contain a class context too, of course:
2875 <programlisting>
2876   data Showable where
2877     MkShowable :: Show a => a -> Showable
2878 </programlisting>
2879 </para></listitem>
2880
2881 <listitem><para>
2882 You can use record syntax on a GADT-style data type declaration:
2883
2884 <programlisting>
2885   data Person where
2886       Adult :: { name :: String, children :: [Person] } -> Person
2887       Child :: Show a => { name :: !String, funny :: a } -> Person
2888 </programlisting>
2889 As usual, for every constructor that has a field <literal>f</literal>, the type of
2890 field <literal>f</literal> must be the same (modulo alpha conversion).
2891 The <literal>Child</literal> constructor above shows that the signature
2892 may have a context, existentially-quantified variables, and strictness annotations, 
2893 just as in the non-record case.  (NB: the "type" that follows the double-colon
2894 is not really a type, because of the record syntax and strictness annotations.
2895 A "type" of this form can appear only in a constructor signature.)
2896 </para></listitem>
2897
2898 <listitem><para> 
2899 Record updates are allowed with GADT-style declarations, 
2900 only fields that have the following property: the type of the field
2901 mentions no existential type variables.
2902 </para></listitem>
2903
2904 <listitem><para> 
2905 As in the case of existentials declared using the Haskell-98-like record syntax 
2906 (<xref linkend="existential-records"/>),
2907 record-selector functions are generated only for those fields that have well-typed
2908 selectors.  
2909 Here is the example of that section, in GADT-style syntax:
2910 <programlisting>
2911 data Counter a where
2912     NewCounter { _this    :: self
2913                , _inc     :: self -> self
2914                , _display :: self -> IO ()
2915                , tag      :: a
2916                }
2917         :: Counter a
2918 </programlisting>
2919 As before, only one selector function is generated here, that for <literal>tag</literal>.
2920 Nevertheless, you can still use all the field names in pattern matching and record construction.
2921 </para></listitem>
2922 </itemizedlist></para>
2923 </sect2>
2924
2925 <sect2 id="gadt">
2926 <title>Generalised Algebraic Data Types (GADTs)</title>
2927
2928 <para>Generalised Algebraic Data Types generalise ordinary algebraic data types 
2929 by allowing constructors to have richer return types.  Here is an example:
2930 <programlisting>
2931   data Term a where
2932       Lit    :: Int -> Term Int
2933       Succ   :: Term Int -> Term Int
2934       IsZero :: Term Int -> Term Bool   
2935       If     :: Term Bool -> Term a -> Term a -> Term a
2936       Pair   :: Term a -> Term b -> Term (a,b)
2937 </programlisting>
2938 Notice that the return type of the constructors is not always <literal>Term a</literal>, as is the
2939 case with ordinary data types.  This generality allows us to 
2940 write a well-typed <literal>eval</literal> function
2941 for these <literal>Terms</literal>:
2942 <programlisting>
2943   eval :: Term a -> a
2944   eval (Lit i)      = i
2945   eval (Succ t)     = 1 + eval t
2946   eval (IsZero t)   = eval t == 0
2947   eval (If b e1 e2) = if eval b then eval e1 else eval e2
2948   eval (Pair e1 e2) = (eval e1, eval e2)
2949 </programlisting>
2950 The key point about GADTs is that <emphasis>pattern matching causes type refinement</emphasis>.  
2951 For example, in the right hand side of the equation
2952 <programlisting>
2953   eval :: Term a -> a
2954   eval (Lit i) =  ...
2955 </programlisting>
2956 the type <literal>a</literal> is refined to <literal>Int</literal>.  That's the whole point!
2957 A precise specification of the type rules is beyond what this user manual aspires to, 
2958 but the design closely follows that described in
2959 the paper <ulink
2960 url="http://research.microsoft.com/%7Esimonpj/papers/gadt/">Simple
2961 unification-based type inference for GADTs</ulink>,
2962 (ICFP 2006).
2963 The general principle is this: <emphasis>type refinement is only carried out 
2964 based on user-supplied type annotations</emphasis>.
2965 So if no type signature is supplied for <literal>eval</literal>, no type refinement happens, 
2966 and lots of obscure error messages will
2967 occur.  However, the refinement is quite general.  For example, if we had:
2968 <programlisting>
2969   eval :: Term a -> a -> a
2970   eval (Lit i) j =  i+j
2971 </programlisting>
2972 the pattern match causes the type <literal>a</literal> to be refined to <literal>Int</literal> (because of the type
2973 of the constructor <literal>Lit</literal>), and that refinement also applies to the type of <literal>j</literal>, and
2974 the result type of the <literal>case</literal> expression.  Hence the addition <literal>i+j</literal> is legal.
2975 </para>
2976 <para>
2977 These and many other examples are given in papers by Hongwei Xi, and
2978 Tim Sheard. There is a longer introduction
2979 <ulink url="http://www.haskell.org/haskellwiki/GADT">on the wiki</ulink>,
2980 and Ralf Hinze's
2981 <ulink url="http://www.informatik.uni-bonn.de/~ralf/publications/With.pdf">Fun with phantom types</ulink> also has a number of examples. Note that papers
2982 may use different notation to that implemented in GHC.
2983 </para>
2984 <para>
2985 The rest of this section outlines the extensions to GHC that support GADTs.   The extension is enabled with 
2986 <option>-XGADTs</option>.  The <option>-XGADTs</option> flag also sets <option>-XRelaxedPolyRec</option>.
2987 <itemizedlist>
2988 <listitem><para>
2989 A GADT can only be declared using GADT-style syntax (<xref linkend="gadt-style"/>); 
2990 the old Haskell-98 syntax for data declarations always declares an ordinary data type.
2991 The result type of each constructor must begin with the type constructor being defined,
2992 but for a GADT the arguments to the type constructor can be arbitrary monotypes.  
2993 For example, in the <literal>Term</literal> data
2994 type above, the type of each constructor must end with <literal>Term ty</literal>, but
2995 the <literal>ty</literal> need not be a type variable (e.g. the <literal>Lit</literal>
2996 constructor).
2997 </para></listitem>
2998
2999 <listitem><para>
3000 It is permitted to declare an ordinary algebraic data type using GADT-style syntax.
3001 What makes a GADT into a GADT is not the syntax, but rather the presence of data constructors
3002 whose result type is not just <literal>T a b</literal>.
3003 </para></listitem>
3004
3005 <listitem><para>
3006 You cannot use a <literal>deriving</literal> clause for a GADT; only for
3007 an ordinary data type.
3008 </para></listitem>
3009
3010 <listitem><para>
3011 As mentioned in <xref linkend="gadt-style"/>, record syntax is supported.
3012 For example:
3013 <programlisting>
3014   data Term a where
3015       Lit    { val  :: Int }      :: Term Int
3016       Succ   { num  :: Term Int } :: Term Int
3017       Pred   { num  :: Term Int } :: Term Int
3018       IsZero { arg  :: Term Int } :: Term Bool  
3019       Pair   { arg1 :: Term a
3020              , arg2 :: Term b
3021              }                    :: Term (a,b)
3022       If     { cnd  :: Term Bool
3023              , tru  :: Term a
3024              , fls  :: Term a
3025              }                    :: Term a
3026 </programlisting>
3027 However, for GADTs there is the following additional constraint: 
3028 every constructor that has a field <literal>f</literal> must have
3029 the same result type (modulo alpha conversion)
3030 Hence, in the above example, we cannot merge the <literal>num</literal> 
3031 and <literal>arg</literal> fields above into a 
3032 single name.  Although their field types are both <literal>Term Int</literal>,
3033 their selector functions actually have different types:
3034
3035 <programlisting>
3036   num :: Term Int -> Term Int
3037   arg :: Term Bool -> Term Int
3038 </programlisting>
3039 </para></listitem>
3040
3041 <listitem><para>
3042 When pattern-matching against data constructors drawn from a GADT, 
3043 for example in a <literal>case</literal> expression, the following rules apply:
3044 <itemizedlist>
3045 <listitem><para>The type of the scrutinee must be rigid.</para></listitem>
3046 <listitem><para>The type of the entire <literal>case</literal> expression must be rigid.</para></listitem>
3047 <listitem><para>The type of any free variable mentioned in any of
3048 the <literal>case</literal> alternatives must be rigid.</para></listitem>
3049 </itemizedlist>
3050 A type is "rigid" if it is completely known to the compiler at its binding site.  The easiest
3051 way to ensure that a variable a rigid type is to give it a type signature.
3052 For more precise details see <ulink url="http://research.microsoft.com/%7Esimonpj/papers/gadt">
3053 Simple unification-based type inference for GADTs
3054 </ulink>. The criteria implemented by GHC are given in the Appendix.
3055
3056 </para></listitem>
3057
3058 </itemizedlist>
3059 </para>
3060
3061 </sect2>
3062 </sect1>
3063
3064 <!-- ====================== End of Generalised algebraic data types =======================  -->
3065
3066 <sect1 id="deriving">
3067 <title>Extensions to the "deriving" mechanism</title>
3068
3069 <sect2 id="deriving-inferred">
3070 <title>Inferred context for deriving clauses</title>
3071
3072 <para>
3073 The Haskell Report is vague about exactly when a <literal>deriving</literal> clause is
3074 legal.  For example:
3075 <programlisting>
3076   data T0 f a = MkT0 a         deriving( Eq )
3077   data T1 f a = MkT1 (f a)     deriving( Eq )
3078   data T2 f a = MkT2 (f (f a)) deriving( Eq )
3079 </programlisting>
3080 The natural generated <literal>Eq</literal> code would result in these instance declarations:
3081 <programlisting>
3082   instance Eq a         => Eq (T0 f a) where ...
3083   instance Eq (f a)     => Eq (T1 f a) where ...
3084   instance Eq (f (f a)) => Eq (T2 f a) where ...
3085 </programlisting>
3086 The first of these is obviously fine. The second is still fine, although less obviously. 
3087 The third is not Haskell 98, and risks losing termination of instances.
3088 </para>
3089 <para>
3090 GHC takes a conservative position: it accepts the first two, but not the third.  The  rule is this:
3091 each constraint in the inferred instance context must consist only of type variables, 
3092 with no repetitions.
3093 </para>
3094 <para>
3095 This rule is applied regardless of flags.  If you want a more exotic context, you can write
3096 it yourself, using the <link linkend="stand-alone-deriving">standalone deriving mechanism</link>.
3097 </para>
3098 </sect2>
3099
3100 <sect2 id="stand-alone-deriving">
3101 <title>Stand-alone deriving declarations</title>
3102
3103 <para>
3104 GHC now allows stand-alone <literal>deriving</literal> declarations, enabled by <literal>-XStandaloneDeriving</literal>:
3105 <programlisting>
3106   data Foo a = Bar a | Baz String
3107
3108   deriving instance Eq a => Eq (Foo a)
3109 </programlisting>
3110 The syntax is identical to that of an ordinary instance declaration apart from (a) the keyword
3111 <literal>deriving</literal>, and (b) the absence of the <literal>where</literal> part.
3112 Note the following points:
3113 <itemizedlist>
3114 <listitem><para>
3115 You must supply an explicit context (in the example the context is <literal>(Eq a)</literal>), 
3116 exactly as you would in an ordinary instance declaration.
3117 (In contrast, in a <literal>deriving</literal> clause 
3118 attached to a data type declaration, the context is inferred.) 
3119 </para></listitem>
3120
3121 <listitem><para>
3122 A <literal>deriving instance</literal> declaration
3123 must obey the same rules concerning form and termination as ordinary instance declarations,
3124 controlled by the same flags; see <xref linkend="instance-decls"/>.
3125 </para></listitem>
3126
3127 <listitem><para>
3128 Unlike a <literal>deriving</literal>
3129 declaration attached to a <literal>data</literal> declaration, the instance can be more specific
3130 than the data type (assuming you also use 
3131 <literal>-XFlexibleInstances</literal>, <xref linkend="instance-rules"/>).  Consider
3132 for example
3133 <programlisting>
3134   data Foo a = Bar a | Baz String
3135
3136   deriving instance Eq a => Eq (Foo [a])
3137   deriving instance Eq a => Eq (Foo (Maybe a))
3138 </programlisting>
3139 This will generate a derived instance for <literal>(Foo [a])</literal> and <literal>(Foo (Maybe a))</literal>,
3140 but other types such as <literal>(Foo (Int,Bool))</literal> will not be an instance of <literal>Eq</literal>.
3141 </para></listitem>
3142
3143 <listitem><para>
3144 Unlike a <literal>deriving</literal>
3145 declaration attached to a <literal>data</literal> declaration, 
3146 GHC does not restrict the form of the data type.  Instead, GHC simply generates the appropriate
3147 boilerplate code for the specified class, and typechecks it. If there is a type error, it is
3148 your problem. (GHC will show you the offending code if it has a type error.) 
3149 The merit of this is that you can derive instances for GADTs and other exotic
3150 data types, providing only that the boilerplate code does indeed typecheck.  For example:
3151 <programlisting>
3152   data T a where
3153      T1 :: T Int
3154      T2 :: T Bool
3155
3156   deriving instance Show (T a)
3157 </programlisting>
3158 In this example, you cannot say <literal>... deriving( Show )</literal> on the 
3159 data type declaration for <literal>T</literal>, 
3160 because <literal>T</literal> is a GADT, but you <emphasis>can</emphasis> generate
3161 the instance declaration using stand-alone deriving.
3162 </para>
3163 </listitem>
3164
3165 <listitem>
3166 <para>The stand-alone syntax is generalised for newtypes in exactly the same
3167 way that ordinary <literal>deriving</literal> clauses are generalised (<xref linkend="newtype-deriving"/>).
3168 For example:
3169 <programlisting>
3170   newtype Foo a = MkFoo (State Int a)
3171
3172   deriving instance MonadState Int Foo
3173 </programlisting>
3174 GHC always treats the <emphasis>last</emphasis> parameter of the instance
3175 (<literal>Foo</literal> in this example) as the type whose instance is being derived.
3176 </para></listitem>
3177 </itemizedlist></para>
3178
3179 </sect2>
3180
3181
3182 <sect2 id="deriving-typeable">
3183 <title>Deriving clause for extra classes (<literal>Typeable</literal>, <literal>Data</literal>, etc)</title>
3184
3185 <para>
3186 Haskell 98 allows the programmer to add "<literal>deriving( Eq, Ord )</literal>" to a data type 
3187 declaration, to generate a standard instance declaration for classes specified in the <literal>deriving</literal> clause.  
3188 In Haskell 98, the only classes that may appear in the <literal>deriving</literal> clause are the standard
3189 classes <literal>Eq</literal>, <literal>Ord</literal>, 
3190 <literal>Enum</literal>, <literal>Ix</literal>, <literal>Bounded</literal>, <literal>Read</literal>, and <literal>Show</literal>.
3191 </para>
3192 <para>
3193 GHC extends this list with several more classes that may be automatically derived:
3194 <itemizedlist>
3195 <listitem><para> With <option>-XDeriveDataTypeable</option>, you can derive instances of the classes
3196 <literal>Typeable</literal>, and <literal>Data</literal>, defined in the library
3197 modules <literal>Data.Typeable</literal> and <literal>Data.Generics</literal> respectively.
3198 </para>
3199 <para>An instance of <literal>Typeable</literal> can only be derived if the
3200 data type has seven or fewer type parameters, all of kind <literal>*</literal>.
3201 The reason for this is that the <literal>Typeable</literal> class is derived using the scheme
3202 described in
3203 <ulink url="http://research.microsoft.com/%7Esimonpj/papers/hmap/gmap2.ps">
3204 Scrap More Boilerplate: Reflection, Zips, and Generalised Casts
3205 </ulink>.
3206 (Section 7.4 of the paper describes the multiple <literal>Typeable</literal> classes that
3207 are used, and only <literal>Typeable1</literal> up to
3208 <literal>Typeable7</literal> are provided in the library.)
3209 In other cases, there is nothing to stop the programmer writing a <literal>TypableX</literal>
3210 class, whose kind suits that of the data type constructor, and
3211 then writing the data type instance by hand.
3212 </para>
3213 </listitem>
3214
3215 <listitem><para> With <option>-XDeriveFunctor</option>, you can derive instances of 
3216 the class <literal>Functor</literal>,
3217 defined in <literal>GHC.Base</literal>.
3218 </para></listitem>
3219
3220 <listitem><para> With <option>-XDeriveFoldable</option>, you can derive instances of 
3221 the class <literal>Foldable</literal>,
3222 defined in <literal>Data.Foldable</literal>.
3223 </para></listitem>
3224
3225 <listitem><para> With <option>-XDeriveTraversable</option>, you can derive instances of 
3226 the class <literal>Traversable</literal>,
3227 defined in <literal>Data.Traversable</literal>.
3228 </para></listitem>
3229 </itemizedlist>
3230 In each case the appropriate class must be in scope before it 
3231 can be mentioned in the <literal>deriving</literal> clause.
3232 </para>
3233 </sect2>
3234
3235 <sect2 id="newtype-deriving">
3236 <title>Generalised derived instances for newtypes</title>
3237
3238 <para>
3239 When you define an abstract type using <literal>newtype</literal>, you may want
3240 the new type to inherit some instances from its representation. In
3241 Haskell 98, you can inherit instances of <literal>Eq</literal>, <literal>Ord</literal>,
3242 <literal>Enum</literal> and <literal>Bounded</literal> by deriving them, but for any
3243 other classes you have to write an explicit instance declaration. For
3244 example, if you define
3245
3246 <programlisting>
3247   newtype Dollars = Dollars Int 
3248 </programlisting>
3249
3250 and you want to use arithmetic on <literal>Dollars</literal>, you have to
3251 explicitly define an instance of <literal>Num</literal>:
3252
3253 <programlisting>
3254   instance Num Dollars where
3255     Dollars a + Dollars b = Dollars (a+b)
3256     ...
3257 </programlisting>
3258 All the instance does is apply and remove the <literal>newtype</literal>
3259 constructor. It is particularly galling that, since the constructor
3260 doesn't appear at run-time, this instance declaration defines a
3261 dictionary which is <emphasis>wholly equivalent</emphasis> to the <literal>Int</literal>
3262 dictionary, only slower!
3263 </para>
3264
3265
3266 <sect3> <title> Generalising the deriving clause </title>
3267 <para>
3268 GHC now permits such instances to be derived instead, 
3269 using the flag <option>-XGeneralizedNewtypeDeriving</option>,
3270 so one can write 
3271 <programlisting>
3272   newtype Dollars = Dollars Int deriving (Eq,Show,Num)
3273 </programlisting>
3274
3275 and the implementation uses the <emphasis>same</emphasis> <literal>Num</literal> dictionary
3276 for <literal>Dollars</literal> as for <literal>Int</literal>. Notionally, the compiler
3277 derives an instance declaration of the form
3278
3279 <programlisting>
3280   instance Num Int => Num Dollars
3281 </programlisting>
3282
3283 which just adds or removes the <literal>newtype</literal> constructor according to the type.
3284 </para>
3285 <para>
3286
3287 We can also derive instances of constructor classes in a similar
3288 way. For example, suppose we have implemented state and failure monad
3289 transformers, such that
3290
3291 <programlisting>
3292   instance Monad m => Monad (State s m) 
3293   instance Monad m => Monad (Failure m)
3294 </programlisting>
3295 In Haskell 98, we can define a parsing monad by 
3296 <programlisting>
3297   type Parser tok m a = State [tok] (Failure m) a
3298 </programlisting>
3299
3300 which is automatically a monad thanks to the instance declarations
3301 above. With the extension, we can make the parser type abstract,
3302 without needing to write an instance of class <literal>Monad</literal>, via
3303
3304 <programlisting>
3305   newtype Parser tok m a = Parser (State [tok] (Failure m) a)
3306                          deriving Monad
3307 </programlisting>
3308 In this case the derived instance declaration is of the form 
3309 <programlisting>
3310   instance Monad (State [tok] (Failure m)) => Monad (Parser tok m) 
3311 </programlisting>
3312
3313 Notice that, since <literal>Monad</literal> is a constructor class, the
3314 instance is a <emphasis>partial application</emphasis> of the new type, not the
3315 entire left hand side. We can imagine that the type declaration is
3316 "eta-converted" to generate the context of the instance
3317 declaration.
3318 </para>
3319 <para>
3320
3321 We can even derive instances of multi-parameter classes, provided the
3322 newtype is the last class parameter. In this case, a ``partial
3323 application'' of the class appears in the <literal>deriving</literal>
3324 clause. For example, given the class
3325
3326 <programlisting>
3327   class StateMonad s m | m -> s where ... 
3328   instance Monad m => StateMonad s (State s m) where ... 
3329 </programlisting>
3330 then we can derive an instance of <literal>StateMonad</literal> for <literal>Parser</literal>s by 
3331 <programlisting>
3332   newtype Parser tok m a = Parser (State [tok] (Failure m) a)
3333                          deriving (Monad, StateMonad [tok])
3334 </programlisting>
3335
3336 The derived instance is obtained by completing the application of the
3337 class to the new type:
3338
3339 <programlisting>
3340   instance StateMonad [tok] (State [tok] (Failure m)) =>
3341            StateMonad [tok] (Parser tok m)
3342 </programlisting>
3343 </para>
3344 <para>
3345
3346 As a result of this extension, all derived instances in newtype
3347  declarations are treated uniformly (and implemented just by reusing
3348 the dictionary for the representation type), <emphasis>except</emphasis>
3349 <literal>Show</literal> and <literal>Read</literal>, which really behave differently for
3350 the newtype and its representation.
3351 </para>
3352 </sect3>
3353
3354 <sect3> <title> A more precise specification </title>
3355 <para>
3356 Derived instance declarations are constructed as follows. Consider the
3357 declaration (after expansion of any type synonyms)
3358
3359 <programlisting>
3360   newtype T v1...vn = T' (t vk+1...vn) deriving (c1...cm) 
3361 </programlisting>
3362
3363 where 
3364  <itemizedlist>
3365 <listitem><para>
3366   The <literal>ci</literal> are partial applications of
3367   classes of the form <literal>C t1'...tj'</literal>, where the arity of <literal>C</literal>
3368   is exactly <literal>j+1</literal>.  That is, <literal>C</literal> lacks exactly one type argument.
3369 </para></listitem>
3370 <listitem><para>
3371   The <literal>k</literal> is chosen so that <literal>ci (T v1...vk)</literal> is well-kinded.
3372 </para></listitem>
3373 <listitem><para>
3374   The type <literal>t</literal> is an arbitrary type.
3375 </para></listitem>
3376 <listitem><para>
3377   The type variables <literal>vk+1...vn</literal> do not occur in <literal>t</literal>, 
3378   nor in the <literal>ci</literal>, and
3379 </para></listitem>
3380 <listitem><para>
3381   None of the <literal>ci</literal> is <literal>Read</literal>, <literal>Show</literal>, 
3382                 <literal>Typeable</literal>, or <literal>Data</literal>.  These classes
3383                 should not "look through" the type or its constructor.  You can still
3384                 derive these classes for a newtype, but it happens in the usual way, not 
3385                 via this new mechanism.  
3386 </para></listitem>
3387 </itemizedlist>
3388 Then, for each <literal>ci</literal>, the derived instance
3389 declaration is:
3390 <programlisting>
3391   instance ci t => ci (T v1...vk)
3392 </programlisting>
3393 As an example which does <emphasis>not</emphasis> work, consider 
3394 <programlisting>
3395   newtype NonMonad m s = NonMonad (State s m s) deriving Monad 
3396 </programlisting>
3397 Here we cannot derive the instance 
3398 <programlisting>
3399   instance Monad (State s m) => Monad (NonMonad m) 
3400 </programlisting>
3401
3402 because the type variable <literal>s</literal> occurs in <literal>State s m</literal>,
3403 and so cannot be "eta-converted" away. It is a good thing that this
3404 <literal>deriving</literal> clause is rejected, because <literal>NonMonad m</literal> is
3405 not, in fact, a monad --- for the same reason. Try defining
3406 <literal>>>=</literal> with the correct type: you won't be able to.
3407 </para>
3408 <para>
3409
3410 Notice also that the <emphasis>order</emphasis> of class parameters becomes
3411 important, since we can only derive instances for the last one. If the
3412 <literal>StateMonad</literal> class above were instead defined as
3413
3414 <programlisting>
3415   class StateMonad m s | m -> s where ... 
3416 </programlisting>
3417
3418 then we would not have been able to derive an instance for the
3419 <literal>Parser</literal> type above. We hypothesise that multi-parameter
3420 classes usually have one "main" parameter for which deriving new
3421 instances is most interesting.
3422 </para>
3423 <para>Lastly, all of this applies only for classes other than
3424 <literal>Read</literal>, <literal>Show</literal>, <literal>Typeable</literal>, 
3425 and <literal>Data</literal>, for which the built-in derivation applies (section
3426 4.3.3. of the Haskell Report).
3427 (For the standard classes <literal>Eq</literal>, <literal>Ord</literal>,
3428 <literal>Ix</literal>, and <literal>Bounded</literal> it is immaterial whether
3429 the standard method is used or the one described here.)
3430 </para>
3431 </sect3>
3432 </sect2>
3433 </sect1>
3434
3435
3436 <!-- TYPE SYSTEM EXTENSIONS -->
3437 <sect1 id="type-class-extensions">
3438 <title>Class and instances declarations</title>
3439
3440 <sect2 id="multi-param-type-classes">
3441 <title>Class declarations</title>
3442
3443 <para>
3444 This section, and the next one, documents GHC's type-class extensions.
3445 There's lots of background in the paper <ulink
3446 url="http://research.microsoft.com/~simonpj/Papers/type-class-design-space/">Type
3447 classes: exploring the design space</ulink> (Simon Peyton Jones, Mark
3448 Jones, Erik Meijer).
3449 </para>
3450 <para>
3451 All the extensions are enabled by the <option>-fglasgow-exts</option> flag.
3452 </para>
3453
3454 <sect3>
3455 <title>Multi-parameter type classes</title>
3456 <para>
3457 Multi-parameter type classes are permitted, with flag <option>-XMultiParamTypeClasses</option>. 
3458 For example:
3459
3460
3461 <programlisting>
3462   class Collection c a where
3463     union :: c a -> c a -> c a
3464     ...etc.
3465 </programlisting>
3466
3467 </para>
3468 </sect3>
3469
3470 <sect3 id="superclass-rules">
3471 <title>The superclasses of a class declaration</title>
3472
3473 <para>
3474 In Haskell 98 the context of a class declaration (which introduces superclasses)
3475 must be simple; that is, each predicate must consist of a class applied to 
3476 type variables.  The flag <option>-XFlexibleContexts</option> 
3477 (<xref linkend="flexible-contexts"/>)
3478 lifts this restriction,
3479 so that the only restriction on the context in a class declaration is 
3480 that the class hierarchy must be acyclic.  So these class declarations are OK:
3481
3482
3483 <programlisting>
3484   class Functor (m k) => FiniteMap m k where
3485     ...
3486
3487   class (Monad m, Monad (t m)) => Transform t m where
3488     lift :: m a -> (t m) a
3489 </programlisting>
3490
3491
3492 </para>
3493 <para>
3494 As in Haskell 98, The class hierarchy must be acyclic.  However, the definition
3495 of "acyclic" involves only the superclass relationships.  For example,
3496 this is OK:
3497
3498
3499 <programlisting>
3500   class C a where {
3501     op :: D b => a -> b -> b
3502   }
3503
3504   class C a => D a where { ... }
3505 </programlisting>
3506
3507
3508 Here, <literal>C</literal> is a superclass of <literal>D</literal>, but it's OK for a
3509 class operation <literal>op</literal> of <literal>C</literal> to mention <literal>D</literal>.  (It
3510 would not be OK for <literal>D</literal> to be a superclass of <literal>C</literal>.)
3511 </para>
3512 </sect3>
3513
3514
3515
3516
3517 <sect3 id="class-method-types">
3518 <title>Class method types</title>
3519
3520 <para>
3521 Haskell 98 prohibits class method types to mention constraints on the
3522 class type variable, thus:
3523 <programlisting>
3524   class Seq s a where
3525     fromList :: [a] -> s a
3526     elem     :: Eq a => a -> s a -> Bool
3527 </programlisting>
3528 The type of <literal>elem</literal> is illegal in Haskell 98, because it
3529 contains the constraint <literal>Eq a</literal>, constrains only the 
3530 class type variable (in this case <literal>a</literal>).
3531 GHC lifts this restriction (flag <option>-XConstrainedClassMethods</option>).
3532 </para>
3533
3534
3535 </sect3>
3536 </sect2>
3537
3538 <sect2 id="functional-dependencies">
3539 <title>Functional dependencies
3540 </title>
3541
3542 <para> Functional dependencies are implemented as described by Mark Jones
3543 in &ldquo;<ulink url="http://citeseer.ist.psu.edu/jones00type.html">Type Classes with Functional Dependencies</ulink>&rdquo;, Mark P. Jones, 
3544 In Proceedings of the 9th European Symposium on Programming, 
3545 ESOP 2000, Berlin, Germany, March 2000, Springer-Verlag LNCS 1782,
3546 .
3547 </para>
3548 <para>
3549 Functional dependencies are introduced by a vertical bar in the syntax of a 
3550 class declaration;  e.g. 
3551 <programlisting>
3552   class (Monad m) => MonadState s m | m -> s where ...
3553
3554   class Foo a b c | a b -> c where ...
3555 </programlisting>
3556 There should be more documentation, but there isn't (yet).  Yell if you need it.
3557 </para>
3558
3559 <sect3><title>Rules for functional dependencies </title>
3560 <para>
3561 In a class declaration, all of the class type variables must be reachable (in the sense 
3562 mentioned in <xref linkend="flexible-contexts"/>)
3563 from the free variables of each method type.
3564 For example:
3565
3566 <programlisting>
3567   class Coll s a where
3568     empty  :: s
3569     insert :: s -> a -> s
3570 </programlisting>
3571
3572 is not OK, because the type of <literal>empty</literal> doesn't mention
3573 <literal>a</literal>.  Functional dependencies can make the type variable
3574 reachable:
3575 <programlisting>
3576   class Coll s a | s -> a where
3577     empty  :: s
3578     insert :: s -> a -> s
3579 </programlisting>
3580
3581 Alternatively <literal>Coll</literal> might be rewritten
3582
3583 <programlisting>
3584   class Coll s a where
3585     empty  :: s a
3586     insert :: s a -> a -> s a
3587 </programlisting>
3588
3589
3590 which makes the connection between the type of a collection of
3591 <literal>a</literal>'s (namely <literal>(s a)</literal>) and the element type <literal>a</literal>.
3592 Occasionally this really doesn't work, in which case you can split the
3593 class like this:
3594
3595
3596 <programlisting>
3597   class CollE s where
3598     empty  :: s
3599
3600   class CollE s => Coll s a where
3601     insert :: s -> a -> s
3602 </programlisting>
3603 </para>
3604 </sect3>
3605
3606
3607 <sect3>
3608 <title>Background on functional dependencies</title>
3609
3610 <para>The following description of the motivation and use of functional dependencies is taken
3611 from the Hugs user manual, reproduced here (with minor changes) by kind
3612 permission of Mark Jones.
3613 </para>
3614 <para> 
3615 Consider the following class, intended as part of a
3616 library for collection types:
3617 <programlisting>
3618    class Collects e ce where
3619        empty  :: ce
3620        insert :: e -> ce -> ce
3621        member :: e -> ce -> Bool
3622 </programlisting>
3623 The type variable e used here represents the element type, while ce is the type
3624 of the container itself. Within this framework, we might want to define
3625 instances of this class for lists or characteristic functions (both of which
3626 can be used to represent collections of any equality type), bit sets (which can
3627 be used to represent collections of characters), or hash tables (which can be
3628 used to represent any collection whose elements have a hash function). Omitting
3629 standard implementation details, this would lead to the following declarations: 
3630 <programlisting>
3631    instance Eq e => Collects e [e] where ...
3632    instance Eq e => Collects e (e -> Bool) where ...
3633    instance Collects Char BitSet where ...
3634    instance (Hashable e, Collects a ce)
3635               => Collects e (Array Int ce) where ...
3636 </programlisting>
3637 All this looks quite promising; we have a class and a range of interesting
3638 implementations. Unfortunately, there are some serious problems with the class
3639 declaration. First, the empty function has an ambiguous type: 
3640 <programlisting>
3641    empty :: Collects e ce => ce
3642 </programlisting>
3643 By "ambiguous" we mean that there is a type variable e that appears on the left
3644 of the <literal>=&gt;</literal> symbol, but not on the right. The problem with
3645 this is that, according to the theoretical foundations of Haskell overloading,
3646 we cannot guarantee a well-defined semantics for any term with an ambiguous
3647 type.
3648 </para>
3649 <para>
3650 We can sidestep this specific problem by removing the empty member from the
3651 class declaration. However, although the remaining members, insert and member,
3652 do not have ambiguous types, we still run into problems when we try to use
3653 them. For example, consider the following two functions: 
3654 <programlisting>
3655    f x y = insert x . insert y
3656    g     = f True 'a'
3657 </programlisting>
3658 for which GHC infers the following types: 
3659 <programlisting>
3660    f :: (Collects a c, Collects b c) => a -> b -> c -> c
3661    g :: (Collects Bool c, Collects Char c) => c -> c
3662 </programlisting>
3663 Notice that the type for f allows the two parameters x and y to be assigned
3664 different types, even though it attempts to insert each of the two values, one
3665 after the other, into the same collection. If we're trying to model collections
3666 that contain only one type of value, then this is clearly an inaccurate
3667 type. Worse still, the definition for g is accepted, without causing a type
3668 error. As a result, the error in this code will not be flagged at the point
3669 where it appears. Instead, it will show up only when we try to use g, which
3670 might even be in a different module.
3671 </para>
3672
3673 <sect4><title>An attempt to use constructor classes</title>
3674
3675 <para>
3676 Faced with the problems described above, some Haskell programmers might be
3677 tempted to use something like the following version of the class declaration: 
3678 <programlisting>
3679    class Collects e c where
3680       empty  :: c e
3681       insert :: e -> c e -> c e
3682       member :: e -> c e -> Bool
3683 </programlisting>
3684 The key difference here is that we abstract over the type constructor c that is
3685 used to form the collection type c e, and not over that collection type itself,
3686 represented by ce in the original class declaration. This avoids the immediate
3687 problems that we mentioned above: empty has type <literal>Collects e c => c
3688 e</literal>, which is not ambiguous. 
3689 </para>
3690 <para>
3691 The function f from the previous section has a more accurate type: 
3692 <programlisting>
3693    f :: (Collects e c) => e -> e -> c e -> c e
3694 </programlisting>
3695 The function g from the previous section is now rejected with a type error as
3696 we would hope because the type of f does not allow the two arguments to have
3697 different types. 
3698 This, then, is an example of a multiple parameter class that does actually work
3699 quite well in practice, without ambiguity problems.
3700 There is, however, a catch. This version of the Collects class is nowhere near
3701 as general as the original class seemed to be: only one of the four instances
3702 for <literal>Collects</literal>
3703 given above can be used with this version of Collects because only one of
3704 them---the instance for lists---has a collection type that can be written in
3705 the form c e, for some type constructor c, and element type e.
3706 </para>
3707 </sect4>
3708
3709 <sect4><title>Adding functional dependencies</title>
3710
3711 <para>
3712 To get a more useful version of the Collects class, Hugs provides a mechanism
3713 that allows programmers to specify dependencies between the parameters of a
3714 multiple parameter class (For readers with an interest in theoretical
3715 foundations and previous work: The use of dependency information can be seen
3716 both as a generalization of the proposal for `parametric type classes' that was
3717 put forward by Chen, Hudak, and Odersky, or as a special case of Mark Jones's
3718 later framework for "improvement" of qualified types. The
3719 underlying ideas are also discussed in a more theoretical and abstract setting
3720 in a manuscript [implparam], where they are identified as one point in a
3721 general design space for systems of implicit parameterization.).
3722
3723 To start with an abstract example, consider a declaration such as: 
3724 <programlisting>
3725    class C a b where ...
3726 </programlisting>
3727 which tells us simply that C can be thought of as a binary relation on types
3728 (or type constructors, depending on the kinds of a and b). Extra clauses can be
3729 included in the definition of classes to add information about dependencies
3730 between parameters, as in the following examples: 
3731 <programlisting>
3732    class D a b | a -> b where ...
3733    class E a b | a -> b, b -> a where ...
3734 </programlisting>
3735 The notation <literal>a -&gt; b</literal> used here between the | and where
3736 symbols --- not to be
3737 confused with a function type --- indicates that the a parameter uniquely
3738 determines the b parameter, and might be read as "a determines b." Thus D is
3739 not just a relation, but actually a (partial) function. Similarly, from the two
3740 dependencies that are included in the definition of E, we can see that E
3741 represents a (partial) one-one mapping between types.
3742 </para>
3743 <para>
3744 More generally, dependencies take the form <literal>x1 ... xn -&gt; y1 ... ym</literal>,
3745 where x1, ..., xn, and y1, ..., yn are type variables with n&gt;0 and
3746 m&gt;=0, meaning that the y parameters are uniquely determined by the x
3747 parameters. Spaces can be used as separators if more than one variable appears
3748 on any single side of a dependency, as in <literal>t -&gt; a b</literal>. Note that a class may be
3749 annotated with multiple dependencies using commas as separators, as in the
3750 definition of E above. Some dependencies that we can write in this notation are
3751 redundant, and will be rejected because they don't serve any useful
3752 purpose, and may instead indicate an error in the program. Examples of
3753 dependencies like this include  <literal>a -&gt; a </literal>,  
3754 <literal>a -&gt; a a </literal>,  
3755 <literal>a -&gt; </literal>, etc. There can also be
3756 some redundancy if multiple dependencies are given, as in  
3757 <literal>a-&gt;b</literal>, 
3758  <literal>b-&gt;c </literal>,  <literal>a-&gt;c </literal>, and
3759 in which some subset implies the remaining dependencies. Examples like this are
3760 not treated as errors. Note that dependencies appear only in class
3761 declarations, and not in any other part of the language. In particular, the
3762 syntax for instance declarations, class constraints, and types is completely
3763 unchanged.
3764 </para>
3765 <para>
3766 By including dependencies in a class declaration, we provide a mechanism for
3767 the programmer to specify each multiple parameter class more precisely. The
3768 compiler, on the other hand, is responsible for ensuring that the set of
3769 instances that are in scope at any given point in the program is consistent
3770 with any declared dependencies. For example, the following pair of instance
3771 declarations cannot appear together in the same scope because they violate the
3772 dependency for D, even though either one on its own would be acceptable: 
3773 <programlisting>
3774    instance D Bool Int where ...
3775    instance D Bool Char where ...
3776 </programlisting>
3777 Note also that the following declaration is not allowed, even by itself: 
3778 <programlisting>
3779    instance D [a] b where ...
3780 </programlisting>
3781 The problem here is that this instance would allow one particular choice of [a]
3782 to be associated with more than one choice for b, which contradicts the
3783 dependency specified in the definition of D. More generally, this means that,
3784 in any instance of the form: 
3785 <programlisting>
3786    instance D t s where ...
3787 </programlisting>
3788 for some particular types t and s, the only variables that can appear in s are
3789 the ones that appear in t, and hence, if the type t is known, then s will be
3790 uniquely determined.
3791 </para>
3792 <para>
3793 The benefit of including dependency information is that it allows us to define
3794 more general multiple parameter classes, without ambiguity problems, and with
3795 the benefit of more accurate types. To illustrate this, we return to the
3796 collection class example, and annotate the original definition of <literal>Collects</literal>
3797 with a simple dependency: 
3798 <programlisting>
3799    class Collects e ce | ce -> e where
3800       empty  :: ce
3801       insert :: e -> ce -> ce
3802       member :: e -> ce -> Bool
3803 </programlisting>
3804 The dependency <literal>ce -&gt; e</literal> here specifies that the type e of elements is uniquely
3805 determined by the type of the collection ce. Note that both parameters of
3806 Collects are of kind *; there are no constructor classes here. Note too that
3807 all of the instances of Collects that we gave earlier can be used
3808 together with this new definition.
3809 </para>
3810 <para>
3811 What about the ambiguity problems that we encountered with the original
3812 definition? The empty function still has type Collects e ce => ce, but it is no
3813 longer necessary to regard that as an ambiguous type: Although the variable e
3814 does not appear on the right of the => symbol, the dependency for class
3815 Collects tells us that it is uniquely determined by ce, which does appear on
3816 the right of the => symbol. Hence the context in which empty is used can still
3817 give enough information to determine types for both ce and e, without
3818 ambiguity. More generally, we need only regard a type as ambiguous if it
3819 contains a variable on the left of the => that is not uniquely determined
3820 (either directly or indirectly) by the variables on the right.
3821 </para>
3822 <para>
3823 Dependencies also help to produce more accurate types for user defined
3824 functions, and hence to provide earlier detection of errors, and less cluttered
3825 types for programmers to work with. Recall the previous definition for a
3826 function f: 
3827 <programlisting>
3828    f x y = insert x y = insert x . insert y
3829 </programlisting>
3830 for which we originally obtained a type: 
3831 <programlisting>
3832    f :: (Collects a c, Collects b c) => a -> b -> c -> c
3833 </programlisting>
3834 Given the dependency information that we have for Collects, however, we can
3835 deduce that a and b must be equal because they both appear as the second
3836 parameter in a Collects constraint with the same first parameter c. Hence we
3837 can infer a shorter and more accurate type for f: 
3838 <programlisting>
3839    f :: (Collects a c) => a -> a -> c -> c
3840 </programlisting>
3841 In a similar way, the earlier definition of g will now be flagged as a type error.
3842 </para>
3843 <para>
3844 Although we have given only a few examples here, it should be clear that the
3845 addition of dependency information can help to make multiple parameter classes
3846 more useful in practice, avoiding ambiguity problems, and allowing more general
3847 sets of instance declarations.
3848 </para>
3849 </sect4>
3850 </sect3>
3851 </sect2>
3852
3853 <sect2 id="instance-decls">
3854 <title>Instance declarations</title>
3855
3856 <para>An instance declaration has the form
3857 <screen>
3858   instance ( <replaceable>assertion</replaceable><subscript>1</subscript>, ..., <replaceable>assertion</replaceable><subscript>n</subscript>) =&gt; <replaceable>class</replaceable> <replaceable>type</replaceable><subscript>1</subscript> ... <replaceable>type</replaceable><subscript>m</subscript> where ...
3859 </screen>
3860 The part before the "<literal>=&gt;</literal>" is the
3861 <emphasis>context</emphasis>, while the part after the
3862 "<literal>=&gt;</literal>" is the <emphasis>head</emphasis> of the instance declaration.
3863 </para>
3864
3865 <sect3 id="flexible-instance-head">
3866 <title>Relaxed rules for the instance head</title>
3867
3868 <para>
3869 In Haskell 98 the head of an instance declaration
3870 must be of the form <literal>C (T a1 ... an)</literal>, where
3871 <literal>C</literal> is the class, <literal>T</literal> is a data type constructor,
3872 and the <literal>a1 ... an</literal> are distinct type variables.
3873 GHC relaxes these rules in two ways.
3874 <itemizedlist>
3875 <listitem>
3876 <para>
3877 The <option>-XFlexibleInstances</option> flag allows the head of the instance
3878 declaration to mention arbitrary nested types.
3879 For example, this becomes a legal instance declaration
3880 <programlisting>
3881   instance C (Maybe Int) where ...
3882 </programlisting>
3883 See also the <link linkend="instance-overlap">rules on overlap</link>.
3884 </para></listitem>
3885 <listitem><para>
3886 With the <option>-XTypeSynonymInstances</option> flag, instance heads may use type
3887 synonyms. As always, using a type synonym is just shorthand for
3888 writing the RHS of the type synonym definition.  For example:
3889
3890
3891 <programlisting>
3892   type Point = (Int,Int)
3893   instance C Point   where ...
3894   instance C [Point] where ...
3895 </programlisting>
3896
3897
3898 is legal.  However, if you added
3899
3900
3901 <programlisting>
3902   instance C (Int,Int) where ...
3903 </programlisting>
3904
3905
3906 as well, then the compiler will complain about the overlapping
3907 (actually, identical) instance declarations.  As always, type synonyms
3908 must be fully applied.  You cannot, for example, write:
3909
3910 <programlisting>
3911   type P a = [[a]]
3912   instance Monad P where ...
3913 </programlisting>
3914
3915 </para></listitem>
3916 </itemizedlist>
3917 </para>
3918 </sect3>
3919
3920 <sect3 id="instance-rules">
3921 <title>Relaxed rules for instance contexts</title>
3922
3923 <para>In Haskell 98, the assertions in the context of the instance declaration
3924 must be of the form <literal>C a</literal> where <literal>a</literal>
3925 is a type variable that occurs in the head.
3926 </para>
3927
3928 <para>
3929 The <option>-XFlexibleContexts</option> flag relaxes this rule, as well
3930 as the corresponding rule for type signatures (see <xref linkend="flexible-contexts"/>).
3931 With this flag the context of the instance declaration can each consist of arbitrary
3932 (well-kinded) assertions <literal>(C t1 ... tn)</literal> subject only to the
3933 following rules:
3934 <orderedlist>
3935 <listitem><para>
3936 The Paterson Conditions: for each assertion in the context
3937 <orderedlist>
3938 <listitem><para>No type variable has more occurrences in the assertion than in the head</para></listitem>
3939 <listitem><para>The assertion has fewer constructors and variables (taken together
3940       and counting repetitions) than the head</para></listitem>
3941 </orderedlist>
3942 </para></listitem>
3943
3944 <listitem><para>The Coverage Condition.  For each functional dependency,
3945 <replaceable>tvs</replaceable><subscript>left</subscript> <literal>-&gt;</literal>
3946 <replaceable>tvs</replaceable><subscript>right</subscript>,  of the class,
3947 every type variable in
3948 S(<replaceable>tvs</replaceable><subscript>right</subscript>) must appear in 
3949 S(<replaceable>tvs</replaceable><subscript>left</subscript>), where S is the
3950 substitution mapping each type variable in the class declaration to the
3951 corresponding type in the instance declaration.
3952 </para></listitem>
3953 </orderedlist>
3954 These restrictions ensure that context reduction terminates: each reduction
3955 step makes the problem smaller by at least one
3956 constructor.  Both the Paterson Conditions and the Coverage Condition are lifted 
3957 if you give the <option>-XUndecidableInstances</option> 
3958 flag (<xref linkend="undecidable-instances"/>).
3959 You can find lots of background material about the reason for these
3960 restrictions in the paper <ulink
3961 url="http://research.microsoft.com/%7Esimonpj/papers/fd%2Dchr/">
3962 Understanding functional dependencies via Constraint Handling Rules</ulink>.
3963 </para>
3964 <para>
3965 For example, these are OK:
3966 <programlisting>
3967   instance C Int [a]          -- Multiple parameters
3968   instance Eq (S [a])         -- Structured type in head
3969
3970       -- Repeated type variable in head
3971   instance C4 a a => C4 [a] [a] 
3972   instance Stateful (ST s) (MutVar s)
3973
3974       -- Head can consist of type variables only
3975   instance C a
3976   instance (Eq a, Show b) => C2 a b
3977
3978       -- Non-type variables in context
3979   instance Show (s a) => Show (Sized s a)
3980   instance C2 Int a => C3 Bool [a]
3981   instance C2 Int a => C3 [a] b
3982 </programlisting>
3983 But these are not:
3984 <programlisting>
3985       -- Context assertion no smaller than head
3986   instance C a => C a where ...
3987       -- (C b b) has more more occurrences of b than the head
3988   instance C b b => Foo [b] where ...
3989 </programlisting>
3990 </para>
3991
3992 <para>
3993 The same restrictions apply to instances generated by
3994 <literal>deriving</literal> clauses.  Thus the following is accepted:
3995 <programlisting>
3996   data MinHeap h a = H a (h a)
3997     deriving (Show)
3998 </programlisting>
3999 because the derived instance
4000 <programlisting>
4001   instance (Show a, Show (h a)) => Show (MinHeap h a)
4002 </programlisting>
4003 conforms to the above rules.
4004 </para>
4005
4006 <para>
4007 A useful idiom permitted by the above rules is as follows.
4008 If one allows overlapping instance declarations then it's quite
4009 convenient to have a "default instance" declaration that applies if
4010 something more specific does not:
4011 <programlisting>
4012   instance C a where
4013     op = ... -- Default
4014 </programlisting>
4015 </para>
4016 </sect3>
4017
4018 <sect3 id="undecidable-instances">
4019 <title>Undecidable instances</title>
4020
4021 <para>
4022 Sometimes even the rules of <xref linkend="instance-rules"/> are too onerous.
4023 For example, sometimes you might want to use the following to get the
4024 effect of a "class synonym":
4025 <programlisting>
4026   class (C1 a, C2 a, C3 a) => C a where { }
4027
4028   instance (C1 a, C2 a, C3 a) => C a where { }
4029 </programlisting>
4030 This allows you to write shorter signatures:
4031 <programlisting>
4032   f :: C a => ...
4033 </programlisting>
4034 instead of
4035 <programlisting>
4036   f :: (C1 a, C2 a, C3 a) => ...
4037 </programlisting>
4038 The restrictions on functional dependencies (<xref
4039 linkend="functional-dependencies"/>) are particularly troublesome.
4040 It is tempting to introduce type variables in the context that do not appear in
4041 the head, something that is excluded by the normal rules. For example:
4042 <programlisting>
4043   class HasConverter a b | a -> b where
4044      convert :: a -> b
4045    
4046   data Foo a = MkFoo a
4047
4048   instance (HasConverter a b,Show b) => Show (Foo a) where
4049      show (MkFoo value) = show (convert value)
4050 </programlisting>
4051 This is dangerous territory, however. Here, for example, is a program that would make the
4052 typechecker loop:
4053 <programlisting>
4054   class D a
4055   class F a b | a->b
4056   instance F [a] [[a]]
4057   instance (D c, F a c) => D [a]   -- 'c' is not mentioned in the head
4058 </programlisting>
4059 Similarly, it can be tempting to lift the coverage condition:
4060 <programlisting>
4061   class Mul a b c | a b -> c where
4062         (.*.) :: a -> b -> c
4063
4064   instance Mul Int Int Int where (.*.) = (*)
4065   instance Mul Int Float Float where x .*. y = fromIntegral x * y
4066   instance Mul a b c => Mul a [b] [c] where x .*. v = map (x.*.) v
4067 </programlisting>
4068 The third instance declaration does not obey the coverage condition;
4069 and indeed the (somewhat strange) definition:
4070 <programlisting>
4071   f = \ b x y -> if b then x .*. [y] else y
4072 </programlisting>
4073 makes instance inference go into a loop, because it requires the constraint
4074 <literal>(Mul a [b] b)</literal>.
4075 </para>
4076 <para>
4077 Nevertheless, GHC allows you to experiment with more liberal rules.  If you use
4078 the experimental flag <option>-XUndecidableInstances</option>
4079 <indexterm><primary>-XUndecidableInstances</primary></indexterm>, 
4080 both the Paterson Conditions and the Coverage Condition
4081 (described in <xref linkend="instance-rules"/>) are lifted.  Termination is ensured by having a
4082 fixed-depth recursion stack.  If you exceed the stack depth you get a
4083 sort of backtrace, and the opportunity to increase the stack depth
4084 with <option>-fcontext-stack=</option><emphasis>N</emphasis>.
4085 </para>
4086
4087 </sect3>
4088
4089
4090 <sect3 id="instance-overlap">
4091 <title>Overlapping instances</title>
4092 <para>
4093 In general, <emphasis>GHC requires that that it be unambiguous which instance
4094 declaration
4095 should be used to resolve a type-class constraint</emphasis>. This behaviour
4096 can be modified by two flags: <option>-XOverlappingInstances</option>
4097 <indexterm><primary>-XOverlappingInstances
4098 </primary></indexterm> 
4099 and <option>-XIncoherentInstances</option>
4100 <indexterm><primary>-XIncoherentInstances
4101 </primary></indexterm>, as this section discusses.  Both these
4102 flags are dynamic flags, and can be set on a per-module basis, using 
4103 an <literal>OPTIONS_GHC</literal> pragma if desired (<xref linkend="source-file-options"/>).</para>
4104 <para>
4105 When GHC tries to resolve, say, the constraint <literal>C Int Bool</literal>,
4106 it tries to match every instance declaration against the
4107 constraint,
4108 by instantiating the head of the instance declaration.  For example, consider
4109 these declarations:
4110 <programlisting>
4111   instance context1 => C Int a     where ...  -- (A)
4112   instance context2 => C a   Bool  where ...  -- (B)
4113   instance context3 => C Int [a]   where ...  -- (C)
4114   instance context4 => C Int [Int] where ...  -- (D)
4115 </programlisting>
4116 The instances (A) and (B) match the constraint <literal>C Int Bool</literal>, 
4117 but (C) and (D) do not.  When matching, GHC takes
4118 no account of the context of the instance declaration
4119 (<literal>context1</literal> etc).
4120 GHC's default behaviour is that <emphasis>exactly one instance must match the
4121 constraint it is trying to resolve</emphasis>.  
4122 It is fine for there to be a <emphasis>potential</emphasis> of overlap (by
4123 including both declarations (A) and (B), say); an error is only reported if a 
4124 particular constraint matches more than one.
4125 </para>
4126
4127 <para>
4128 The <option>-XOverlappingInstances</option> flag instructs GHC to allow
4129 more than one instance to match, provided there is a most specific one.  For
4130 example, the constraint <literal>C Int [Int]</literal> matches instances (A),
4131 (C) and (D), but the last is more specific, and hence is chosen.  If there is no
4132 most-specific match, the program is rejected.
4133 </para>
4134 <para>
4135 However, GHC is conservative about committing to an overlapping instance.  For example:
4136 <programlisting>
4137   f :: [b] -> [b]
4138   f x = ...
4139 </programlisting>
4140 Suppose that from the RHS of <literal>f</literal> we get the constraint
4141 <literal>C Int [b]</literal>.  But
4142 GHC does not commit to instance (C), because in a particular
4143 call of <literal>f</literal>, <literal>b</literal> might be instantiate 
4144 to <literal>Int</literal>, in which case instance (D) would be more specific still.
4145 So GHC rejects the program.  
4146 (If you add the flag <option>-XIncoherentInstances</option>,
4147 GHC will instead pick (C), without complaining about 
4148 the problem of subsequent instantiations.)
4149 </para>
4150 <para>
4151 Notice that we gave a type signature to <literal>f</literal>, so GHC had to
4152 <emphasis>check</emphasis> that <literal>f</literal> has the specified type.  
4153 Suppose instead we do not give a type signature, asking GHC to <emphasis>infer</emphasis>
4154 it instead.  In this case, GHC will refrain from
4155 simplifying the constraint <literal>C Int [b]</literal> (for the same reason
4156 as before) but, rather than rejecting the program, it will infer the type
4157 <programlisting>
4158   f :: C Int [b] => [b] -> [b]
4159 </programlisting>
4160 That postpones the question of which instance to pick to the 
4161 call site for <literal>f</literal>
4162 by which time more is known about the type <literal>b</literal>.
4163 You can write this type signature yourself if you use the 
4164 <link linkend="flexible-contexts"><option>-XFlexibleContexts</option></link>
4165 flag.
4166 </para>
4167 <para>
4168 Exactly the same situation can arise in instance declarations themselves.  Suppose we have
4169 <programlisting>
4170   class Foo a where
4171      f :: a -> a
4172   instance Foo [b] where
4173      f x = ...
4174 </programlisting>
4175 and, as before, the constraint <literal>C Int [b]</literal> arises from <literal>f</literal>'s
4176 right hand side.  GHC will reject the instance, complaining as before that it does not know how to resolve
4177 the constraint <literal>C Int [b]</literal>, because it matches more than one instance
4178 declaration.  The solution is to postpone the choice by adding the constraint to the context
4179 of the instance declaration, thus:
4180 <programlisting>
4181   instance C Int [b] => Foo [b] where
4182      f x = ...
4183 </programlisting>
4184 (You need <link linkend="instance-rules"><option>-XFlexibleInstances</option></link> to do this.)
4185 </para>
4186 <para>
4187 Warning: overlapping instances must be used with care.  They 
4188 can give rise to incoherence (ie different instance choices are made
4189 in different parts of the program) even without <option>-XIncoherentInstances</option>. Consider:
4190 <programlisting>
4191 {-# LANGUAGE OverlappingInstances #-}
4192 module Help where
4193
4194     class MyShow a where
4195       myshow :: a -> String
4196
4197     instance MyShow a => MyShow [a] where
4198       myshow xs = concatMap myshow xs
4199
4200     showHelp :: MyShow a => [a] -> String
4201     showHelp xs = myshow xs
4202
4203 {-# LANGUAGE FlexibleInstances, OverlappingInstances #-}
4204 module Main where
4205     import Help
4206
4207     data T = MkT
4208
4209     instance MyShow T where
4210       myshow x = "Used generic instance"
4211
4212     instance MyShow [T] where
4213       myshow xs = "Used more specific instance"
4214
4215     main = do { print (myshow [MkT]); print (showHelp [MkT]) }
4216 </programlisting>
4217 In function <literal>showHelp</literal> GHC sees no overlapping
4218 instances, and so uses the <literal>MyShow [a]</literal> instance
4219 without complaint.  In the call to <literal>myshow</literal> in <literal>main</literal>,
4220 GHC resolves the <literal>MyShow [T]</literal> constraint using the overlapping
4221 instance declaration in module <literal>Main</literal>. As a result, 
4222 the program prints
4223 <programlisting>
4224   "Used more specific instance"
4225   "Used generic instance"
4226 </programlisting>
4227 (An alternative possible behaviour, not currently implemented, 
4228 would be to reject module <literal>Help</literal>
4229 on the grounds that a later instance declaration might overlap the local one.)
4230 </para>
4231 <para>
4232 The willingness to be overlapped or incoherent is a property of 
4233 the <emphasis>instance declaration</emphasis> itself, controlled by the
4234 presence or otherwise of the <option>-XOverlappingInstances</option> 
4235 and <option>-XIncoherentInstances</option> flags when that module is
4236 being defined.  Specifically, during the lookup process:
4237 <itemizedlist>
4238 <listitem><para>
4239 If the constraint being looked up matches two instance declarations IA and IB,
4240 and
4241 <itemizedlist>
4242 <listitem><para>IB is a substitution instance of IA (but not vice versa);
4243 that is, IB is strictly more specific than IA</para></listitem>
4244 <listitem><para>either IA or IB was compiled with <option>-XOverlappingInstances</option></para></listitem>
4245 </itemizedlist>
4246 then the less-specific instance IA is ignored.
4247 </para></listitem>
4248 <listitem><para>
4249 Suppose an instance declaration does not match the constraint being looked up, but
4250 does <emphasis>unify</emphasis> with it, so that it might match when the constraint is further
4251 instantiated.  Usually GHC will regard this as a reason for not committing to
4252 some other constraint.  But if the instance declaration was compiled with
4253 <option>-XIncoherentInstances</option>, GHC will skip the "does-it-unify?" 
4254 check for that declaration.
4255 </para></listitem>
4256 </itemizedlist>
4257 These rules make it possible for a library author to design a library that relies on 
4258 overlapping instances without the library client having to know.  
4259 </para>
4260 <para>The <option>-XIncoherentInstances</option> flag implies the
4261 <option>-XOverlappingInstances</option> flag, but not vice versa.
4262 </para>
4263 </sect3>
4264
4265
4266
4267 </sect2>
4268
4269 <sect2 id="overloaded-strings">
4270 <title>Overloaded string literals
4271 </title>
4272
4273 <para>
4274 GHC supports <emphasis>overloaded string literals</emphasis>.  Normally a
4275 string literal has type <literal>String</literal>, but with overloaded string
4276 literals enabled (with <literal>-XOverloadedStrings</literal>)
4277  a string literal has type <literal>(IsString a) => a</literal>.
4278 </para>
4279 <para>
4280 This means that the usual string syntax can be used, e.g., for packed strings
4281 and other variations of string like types.  String literals behave very much
4282 like integer literals, i.e., they can be used in both expressions and patterns.
4283 If used in a pattern the literal with be replaced by an equality test, in the same
4284 way as an integer literal is.
4285 </para>
4286 <para>
4287 The class <literal>IsString</literal> is defined as:
4288 <programlisting>
4289 class IsString a where
4290     fromString :: String -> a
4291 </programlisting>
4292 The only predefined instance is the obvious one to make strings work as usual:
4293 <programlisting>
4294 instance IsString [Char] where
4295     fromString cs = cs
4296 </programlisting>
4297 The class <literal>IsString</literal> is not in scope by default.  If you want to mention
4298 it explicitly (for example, to give an instance declaration for it), you can import it
4299 from module <literal>GHC.Exts</literal>.
4300 </para>
4301 <para>
4302 Haskell's defaulting mechanism is extended to cover string literals, when <option>-XOverloadedStrings</option> is specified.
4303 Specifically:
4304 <itemizedlist>
4305 <listitem><para>
4306 Each type in a default declaration must be an 
4307 instance of <literal>Num</literal> <emphasis>or</emphasis> of <literal>IsString</literal>.
4308 </para></listitem>
4309
4310 <listitem><para>
4311 The standard defaulting rule (<ulink url="http://www.haskell.org/onlinereport/decls.html#sect4.3.4">Haskell Report, Section 4.3.4</ulink>)
4312 is extended thus: defaulting applies when all the unresolved constraints involve standard classes
4313 <emphasis>or</emphasis> <literal>IsString</literal>; and at least one is a numeric class
4314 <emphasis>or</emphasis> <literal>IsString</literal>.
4315 </para></listitem>
4316 </itemizedlist>
4317 </para>
4318 <para>
4319 A small example:
4320 <programlisting>
4321 module Main where
4322
4323 import GHC.Exts( IsString(..) )
4324
4325 newtype MyString = MyString String deriving (Eq, Show)
4326 instance IsString MyString where
4327     fromString = MyString
4328
4329 greet :: MyString -> MyString
4330 greet "hello" = "world"
4331 greet other = other
4332
4333 main = do
4334     print $ greet "hello"
4335     print $ greet "fool"
4336 </programlisting>
4337 </para>
4338 <para>
4339 Note that deriving <literal>Eq</literal> is necessary for the pattern matching
4340 to work since it gets translated into an equality comparison.
4341 </para>
4342 </sect2>
4343
4344 </sect1>
4345
4346 <sect1 id="type-families">
4347 <title>Type families</title>
4348
4349 <para>
4350   <firstterm>Indexed type families</firstterm> are a new GHC extension to
4351   facilitate type-level 
4352   programming. Type families are a generalisation of <firstterm>associated
4353   data types</firstterm> 
4354   (&ldquo;<ulink url="http://www.cse.unsw.edu.au/~chak/papers/CKPM05.html">Associated 
4355   Types with Class</ulink>&rdquo;, M. Chakravarty, G. Keller, S. Peyton Jones,
4356   and S. Marlow. In Proceedings of &ldquo;The 32nd Annual ACM SIGPLAN-SIGACT
4357      Symposium on Principles of Programming Languages (POPL'05)&rdquo;, pages
4358   1-13, ACM Press, 2005) and <firstterm>associated type synonyms</firstterm>
4359   (&ldquo;<ulink url="http://www.cse.unsw.edu.au/~chak/papers/CKP05.html">Type  
4360   Associated Type Synonyms</ulink>&rdquo;. M. Chakravarty, G. Keller, and
4361   S. Peyton Jones. 
4362   In Proceedings of &ldquo;The Tenth ACM SIGPLAN International Conference on
4363   Functional Programming&rdquo;, ACM Press, pages 241-253, 2005).  Type families
4364   themselves are described in the paper &ldquo;<ulink 
4365   url="http://www.cse.unsw.edu.au/~chak/papers/SPCS08.html">Type
4366   Checking with Open Type Functions</ulink>&rdquo;, T. Schrijvers,
4367   S. Peyton-Jones, 
4368   M. Chakravarty, and M. Sulzmann, in Proceedings of &ldquo;ICFP 2008: The
4369   13th ACM SIGPLAN International Conference on Functional
4370   Programming&rdquo;, ACM Press, pages 51-62, 2008. Type families
4371   essentially provide type-indexed data types and named functions on types,
4372   which are useful for generic programming and highly parameterised library
4373   interfaces as well as interfaces with enhanced static information, much like
4374   dependent types. They might also be regarded as an alternative to functional
4375   dependencies, but provide a more functional style of type-level programming
4376   than the relational style of functional dependencies. 
4377 </para>
4378 <para>
4379   Indexed type families, or type families for short, are type constructors that
4380   represent sets of types. Set members are denoted by supplying the type family
4381   constructor with type parameters, which are called <firstterm>type
4382   indices</firstterm>. The 
4383   difference between vanilla parametrised type constructors and family
4384   constructors is much like between parametrically polymorphic functions and
4385   (ad-hoc polymorphic) methods of type classes. Parametric polymorphic functions
4386   behave the same at all type instances, whereas class methods can change their
4387   behaviour in dependence on the class type parameters. Similarly, vanilla type
4388   constructors imply the same data representation for all type instances, but
4389   family constructors can have varying representation types for varying type
4390   indices. 
4391 </para>
4392 <para>
4393   Indexed type families come in two flavours: <firstterm>data
4394     families</firstterm> and <firstterm>type synonym 
4395     families</firstterm>. They are the indexed family variants of algebraic
4396   data types and type synonyms, respectively. The instances of data families
4397   can be data types and newtypes. 
4398 </para>
4399 <para>
4400   Type families are enabled by the flag <option>-XTypeFamilies</option>.
4401   Additional information on the use of type families in GHC is available on
4402   <ulink url="http://www.haskell.org/haskellwiki/GHC/Indexed_types">the
4403   Haskell wiki page on type families</ulink>.
4404 </para>
4405
4406 <sect2 id="data-families">
4407   <title>Data families</title>
4408
4409   <para>
4410     Data families appear in two flavours: (1) they can be defined on the
4411     toplevel 
4412     or (2) they can appear inside type classes (in which case they are known as
4413     associated types). The former is the more general variant, as it lacks the
4414     requirement for the type-indexes to coincide with the class
4415     parameters. However, the latter can lead to more clearly structured code and
4416     compiler warnings if some type instances were - possibly accidentally -
4417     omitted. In the following, we always discuss the general toplevel form first
4418     and then cover the additional constraints placed on associated types.
4419   </para>
4420
4421   <sect3 id="data-family-declarations"> 
4422     <title>Data family declarations</title>
4423
4424     <para>
4425       Indexed data families are introduced by a signature, such as 
4426 <programlisting>
4427 data family GMap k :: * -> *
4428 </programlisting>
4429       The special <literal>family</literal> distinguishes family from standard
4430       data declarations.  The result kind annotation is optional and, as
4431       usual, defaults to <literal>*</literal> if omitted.  An example is
4432 <programlisting>
4433 data family Array e
4434 </programlisting>
4435       Named arguments can also be given explicit kind signatures if needed.
4436       Just as with
4437       [http://www.haskell.org/ghc/docs/latest/html/users_guide/gadt.html GADT
4438       declarations] named arguments are entirely optional, so that we can
4439       declare <literal>Array</literal> alternatively with 
4440 <programlisting>
4441 data family Array :: * -> *
4442 </programlisting>
4443     </para>
4444
4445     <sect4 id="assoc-data-family-decl">
4446       <title>Associated data family declarations</title>
4447       <para>
4448         When a data family is declared as part of a type class, we drop
4449         the <literal>family</literal> special.  The <literal>GMap</literal>
4450         declaration takes the following form 
4451 <programlisting>
4452 class GMapKey k where
4453   data GMap k :: * -> *
4454   ...
4455 </programlisting>
4456         In contrast to toplevel declarations, named arguments must be used for
4457         all type parameters that are to be used as type-indexes.  Moreover,
4458         the argument names must be class parameters.  Each class parameter may
4459         only be used at most once per associated type, but some may be omitted
4460         and they may be in an order other than in the class head.  Hence, the
4461         following contrived example is admissible: 
4462 <programlisting>
4463   class C a b c where
4464   data T c a :: *
4465 </programlisting>
4466       </para>
4467     </sect4>
4468   </sect3>
4469
4470   <sect3 id="data-instance-declarations"> 
4471     <title>Data instance declarations</title>
4472
4473     <para>
4474       Instance declarations of data and newtype families are very similar to
4475       standard data and newtype declarations.  The only two differences are
4476       that the keyword <literal>data</literal> or <literal>newtype</literal>
4477       is followed by <literal>instance</literal> and that some or all of the
4478       type arguments can be non-variable types, but may not contain forall
4479       types or type synonym families.  However, data families are generally
4480       allowed in type parameters, and type synonyms are allowed as long as
4481       they are fully applied and expand to a type that is itself admissible -
4482       exactly as this is required for occurrences of type synonyms in class
4483       instance parameters.  For example, the <literal>Either</literal>
4484       instance for <literal>GMap</literal> is 
4485 <programlisting>
4486 data instance GMap (Either a b) v = GMapEither (GMap a v) (GMap b v)
4487 </programlisting>
4488       In this example, the declaration has only one variant.  In general, it
4489       can be any number.
4490     </para>
4491     <para>
4492       Data and newtype instance declarations are only permitted when an
4493       appropriate family declaration is in scope - just as a class instance declaratoin
4494       requires the class declaration to be visible.  Moreover, each instance
4495       declaration has to conform to the kind determined by its family
4496       declaration.  This implies that the number of parameters of an instance
4497       declaration matches the arity determined by the kind of the family.
4498     </para>
4499     <para>
4500       A data family instance declaration can use the full exprssiveness of
4501       ordinary <literal>data</literal> or <literal>newtype</literal> declarations:
4502       <itemizedlist>
4503       <listitem><para> Although, a data family is <emphasis>introduced</emphasis> with
4504       the keyword "<literal>data</literal>", a data family <emphasis>instance</emphasis> can 
4505       use either <literal>data</literal> or <literal>newtype</literal>. For example:
4506 <programlisting>
4507 data family T a
4508 data    instance T Int  = T1 Int | T2 Bool
4509 newtype instance T Char = TC Bool
4510 </programlisting>
4511       </para></listitem>
4512       <listitem><para> A <literal>data instance</literal> can use GADT syntax for the data constructors,
4513       and indeed can define a GADT.  For example:
4514 <programlisting>
4515 data family G a b
4516 data instance G [a] b where
4517    G1 :: c -> G [Int] b
4518    G2 :: G [a] Bool
4519 </programlisting>
4520       </para></listitem>
4521       <listitem><para> You can use a <literal>deriving</literal> clause on a
4522       <literal>data instance</literal> or <literal>newtype instance</literal>
4523       declaration.
4524       </para></listitem>
4525       </itemizedlist>
4526     </para>
4527
4528     <para>
4529       Even if type families are defined as toplevel declarations, functions
4530       that perform different computations for different family instances may still
4531       need to be defined as methods of type classes.  In particular, the
4532       following is not possible: 
4533 <programlisting>
4534 data family T a
4535 data instance T Int  = A
4536 data instance T Char = B
4537 foo :: T a -> Int
4538 foo A = 1             -- WRONG: These two equations together...
4539 foo B = 2             -- ...will produce a type error.
4540 </programlisting>
4541 Instead, you would have to write <literal>foo</literal> as a class operation, thus:
4542 <programlisting>
4543 class C a where 
4544   foo :: T a -> Int
4545 instance Foo Int where
4546   foo A = 1
4547 instance Foo Char where
4548   foo B = 2
4549 </programlisting>
4550       (Given the functionality provided by GADTs (Generalised Algebraic Data
4551       Types), it might seem as if a definition, such as the above, should be
4552       feasible.  However, type families are - in contrast to GADTs - are
4553       <emphasis>open;</emphasis> i.e., new instances can always be added,
4554       possibly in other 
4555       modules.  Supporting pattern matching across different data instances
4556       would require a form of extensible case construct.)
4557     </para>
4558
4559     <sect4 id="assoc-data-inst">
4560       <title>Associated data instances</title>
4561       <para>
4562         When an associated data family instance is declared within a type
4563         class instance, we drop the <literal>instance</literal> keyword in the
4564         family instance.  So, the <literal>Either</literal> instance
4565         for <literal>GMap</literal> becomes: 
4566 <programlisting>
4567 instance (GMapKey a, GMapKey b) => GMapKey (Either a b) where
4568   data GMap (Either a b) v = GMapEither (GMap a v) (GMap b v)
4569   ...
4570 </programlisting>
4571         The most important point about associated family instances is that the
4572         type indexes corresponding to class parameters must be identical to
4573         the type given in the instance head; here this is the first argument
4574         of <literal>GMap</literal>, namely <literal>Either a b</literal>,
4575         which coincides with the only class parameter.  Any parameters to the
4576         family constructor that do not correspond to class parameters, need to
4577         be variables in every instance; here this is the
4578         variable <literal>v</literal>. 
4579       </para>
4580       <para>
4581         Instances for an associated family can only appear as part of
4582         instances declarations of the class in which the family was declared -
4583         just as with the equations of the methods of a class.  Also in
4584         correspondence to how methods are handled, declarations of associated
4585         types can be omitted in class instances.  If an associated family
4586         instance is omitted, the corresponding instance type is not inhabited;
4587         i.e., only diverging expressions, such
4588         as <literal>undefined</literal>, can assume the type. 
4589       </para>
4590     </sect4>
4591
4592     <sect4 id="scoping-class-params">
4593       <title>Scoping of class parameters</title>
4594       <para>
4595         In the case of multi-parameter type classes, the visibility of class
4596         parameters in the right-hand side of associated family instances
4597         depends <emphasis>solely</emphasis> on the parameters of the data
4598         family.  As an example, consider the simple class declaration 
4599 <programlisting>
4600 class C a b where
4601   data T a
4602 </programlisting>
4603         Only one of the two class parameters is a parameter to the data
4604         family.  Hence, the following instance declaration is invalid: 
4605 <programlisting>
4606 instance C [c] d where
4607   data T [c] = MkT (c, d)    -- WRONG!!  'd' is not in scope
4608 </programlisting>
4609         Here, the right-hand side of the data instance mentions the type
4610         variable <literal>d</literal> that does not occur in its left-hand
4611         side.  We cannot admit such data instances as they would compromise
4612         type safety. 
4613       </para>
4614     </sect4>
4615
4616     <sect4 id="family-class-inst">
4617       <title>Type class instances of family instances</title>
4618       <para>
4619         Type class instances of instances of data families can be defined as
4620         usual, and in particular data instance declarations can
4621         have <literal>deriving</literal> clauses.  For example, we can write 
4622 <programlisting>
4623 data GMap () v = GMapUnit (Maybe v)
4624                deriving Show
4625 </programlisting>
4626         which implicitly defines an instance of the form
4627 <programlisting>
4628 instance Show v => Show (GMap () v) where ...
4629 </programlisting>
4630       </para>
4631       <para>
4632         Note that class instances are always for
4633         particular <emphasis>instances</emphasis> of a data family and never
4634         for an entire family as a whole.  This is for essentially the same
4635         reasons that we cannot define a toplevel function that performs
4636         pattern matching on the data constructors
4637         of <emphasis>different</emphasis> instances of a single type family.
4638         It would require a form of extensible case construct. 
4639       </para>
4640     </sect4>
4641
4642     <sect4 id="data-family-overlap">
4643       <title>Overlap of data instances</title>
4644       <para>
4645         The instance declarations of a data family used in a single program
4646         may not overlap at all, independent of whether they are associated or
4647         not.  In contrast to type class instances, this is not only a matter
4648         of consistency, but one of type safety. 
4649       </para>
4650     </sect4>
4651
4652   </sect3>
4653
4654   <sect3 id="data-family-import-export">
4655     <title>Import and export</title>
4656
4657     <para>
4658       The association of data constructors with type families is more dynamic
4659       than that is the case with standard data and newtype declarations.  In
4660       the standard case, the notation <literal>T(..)</literal> in an import or
4661       export list denotes the type constructor and all the data constructors
4662       introduced in its declaration.  However, a family declaration never
4663       introduces any data constructors; instead, data constructors are
4664       introduced by family instances.  As a result, which data constructors
4665       are associated with a type family depends on the currently visible
4666       instance declarations for that family.  Consequently, an import or
4667       export item of the form <literal>T(..)</literal> denotes the family
4668       constructor and all currently visible data constructors - in the case of
4669       an export item, these may be either imported or defined in the current
4670       module.  The treatment of import and export items that explicitly list
4671       data constructors, such as <literal>GMap(GMapEither)</literal>, is
4672       analogous. 
4673     </para>
4674
4675     <sect4 id="data-family-impexp-assoc">
4676       <title>Associated families</title>
4677       <para>
4678         As expected, an import or export item of the
4679         form <literal>C(..)</literal> denotes all of the class' methods and
4680         associated types.  However, when associated types are explicitly
4681         listed as subitems of a class, we need some new syntax, as uppercase
4682         identifiers as subitems are usually data constructors, not type
4683         constructors.  To clarify that we denote types here, each associated
4684         type name needs to be prefixed by the keyword <literal>type</literal>.
4685         So for example, when explicitly listing the components of
4686         the <literal>GMapKey</literal> class, we write <literal>GMapKey(type
4687         GMap, empty, lookup, insert)</literal>. 
4688       </para>
4689     </sect4>
4690
4691     <sect4 id="data-family-impexp-examples">
4692       <title>Examples</title>
4693       <para>
4694         Assuming our running <literal>GMapKey</literal> class example, let us
4695         look at some export lists and their meaning: 
4696         <itemizedlist>
4697           <listitem>
4698             <para><literal>module GMap (GMapKey) where...</literal>: Exports
4699               just the class name.</para>
4700           </listitem>
4701           <listitem>
4702             <para><literal>module GMap (GMapKey(..)) where...</literal>:
4703               Exports the class, the associated type <literal>GMap</literal>
4704               and the member
4705               functions <literal>empty</literal>, <literal>lookup</literal>,
4706               and <literal>insert</literal>.  None of the data constructors is 
4707               exported.</para>
4708           </listitem> 
4709           <listitem>
4710             <para><literal>module GMap (GMapKey(..), GMap(..))
4711                 where...</literal>: As before, but also exports all the data
4712               constructors <literal>GMapInt</literal>, 
4713               <literal>GMapChar</literal>,  
4714               <literal>GMapUnit</literal>, <literal>GMapPair</literal>,
4715               and <literal>GMapUnit</literal>.</para>
4716           </listitem>
4717           <listitem>
4718             <para><literal>module GMap (GMapKey(empty, lookup, insert),
4719             GMap(..)) where...</literal>: As before.</para>
4720           </listitem>
4721           <listitem>
4722             <para><literal>module GMap (GMapKey, empty, lookup, insert, GMap(..))
4723                 where...</literal>: As before.</para>
4724           </listitem>
4725         </itemizedlist>
4726       </para>
4727       <para>
4728         Finally, you can write <literal>GMapKey(type GMap)</literal> to denote
4729         both the class <literal>GMapKey</literal> as well as its associated
4730         type <literal>GMap</literal>.  However, you cannot
4731         write <literal>GMapKey(type GMap(..))</literal> &mdash; i.e.,
4732         sub-component specifications cannot be nested.  To
4733         specify <literal>GMap</literal>'s data constructors, you have to list
4734         it separately. 
4735       </para>
4736     </sect4>
4737
4738     <sect4 id="data-family-impexp-instances">
4739       <title>Instances</title>
4740       <para>
4741         Family instances are implicitly exported, just like class instances.
4742         However, this applies only to the heads of instances, not to the data
4743         constructors an instance defines. 
4744       </para>
4745     </sect4>
4746
4747   </sect3>
4748
4749 </sect2>
4750
4751 <sect2 id="synonym-families">
4752   <title>Synonym families</title>
4753
4754   <para>
4755     Type families appear in two flavours: (1) they can be defined on the
4756     toplevel or (2) they can appear inside type classes (in which case they
4757     are known as associated type synonyms).  The former is the more general
4758     variant, as it lacks the requirement for the type-indexes to coincide with
4759     the class parameters.  However, the latter can lead to more clearly
4760     structured code and compiler warnings if some type instances were -
4761     possibly accidentally - omitted.  In the following, we always discuss the
4762     general toplevel form first and then cover the additional constraints
4763     placed on associated types.
4764   </para>
4765
4766   <sect3 id="type-family-declarations">
4767     <title>Type family declarations</title>
4768
4769     <para>
4770       Indexed type families are introduced by a signature, such as 
4771 <programlisting>
4772 type family Elem c :: *
4773 </programlisting>
4774       The special <literal>family</literal> distinguishes family from standard
4775       type declarations.  The result kind annotation is optional and, as
4776       usual, defaults to <literal>*</literal> if omitted.  An example is 
4777 <programlisting>
4778 type family Elem c
4779 </programlisting>
4780       Parameters can also be given explicit kind signatures if needed.  We
4781       call the number of parameters in a type family declaration, the family's
4782       arity, and all applications of a type family must be fully saturated
4783       w.r.t. to that arity.  This requirement is unlike ordinary type synonyms
4784       and it implies that the kind of a type family is not sufficient to
4785       determine a family's arity, and hence in general, also insufficient to
4786       determine whether a type family application is well formed.  As an
4787       example, consider the following declaration: 
4788 <programlisting>
4789 type family F a b :: * -> *   -- F's arity is 2, 
4790                               -- although its overall kind is * -> * -> * -> *
4791 </programlisting>
4792       Given this declaration the following are examples of well-formed and
4793       malformed types: 
4794 <programlisting>
4795 F Char [Int]       -- OK!  Kind: * -> *
4796 F Char [Int] Bool  -- OK!  Kind: *
4797 F IO Bool          -- WRONG: kind mismatch in the first argument
4798 F Bool             -- WRONG: unsaturated application
4799 </programlisting>
4800       </para>
4801
4802     <sect4 id="assoc-type-family-decl">
4803       <title>Associated type family declarations</title>
4804       <para>
4805         When a type family is declared as part of a type class, we drop
4806         the <literal>family</literal> special.  The <literal>Elem</literal>
4807         declaration takes the following form 
4808 <programlisting>
4809 class Collects ce where
4810   type Elem ce :: *
4811   ...
4812 </programlisting>
4813         The argument names of the type family must be class parameters.  Each
4814         class parameter may only be used at most once per associated type, but
4815         some may be omitted and they may be in an order other than in the
4816         class head.  Hence, the following contrived example is admissible: 
4817 <programlisting>
4818 class C a b c where
4819   type T c a :: *
4820 </programlisting>
4821         These rules are exactly as for associated data families.
4822       </para>
4823     </sect4>
4824   </sect3>
4825
4826   <sect3 id="type-instance-declarations">
4827     <title>Type instance declarations</title>
4828     <para>
4829       Instance declarations of type families are very similar to standard type
4830       synonym declarations.  The only two differences are that the
4831       keyword <literal>type</literal> is followed
4832       by <literal>instance</literal> and that some or all of the type
4833       arguments can be non-variable types, but may not contain forall types or
4834       type synonym families. However, data families are generally allowed, and
4835       type synonyms are allowed as long as they are fully applied and expand
4836       to a type that is admissible - these are the exact same requirements as
4837       for data instances.  For example, the <literal>[e]</literal> instance
4838       for <literal>Elem</literal> is 
4839 <programlisting>
4840 type instance Elem [e] = e
4841 </programlisting>
4842     </para>
4843     <para>
4844       Type family instance declarations are only legitimate when an
4845       appropriate family declaration is in scope - just like class instances
4846       require the class declaration to be visible.  Moreover, each instance
4847       declaration has to conform to the kind determined by its family
4848       declaration, and the number of type parameters in an instance
4849       declaration must match the number of type parameters in the family
4850       declaration.   Finally, the right-hand side of a type instance must be a
4851       monotype (i.e., it may not include foralls) and after the expansion of
4852       all saturated vanilla type synonyms, no synonyms, except family synonyms
4853       may remain.  Here are some examples of admissible and illegal type
4854       instances: 
4855 <programlisting>
4856 type family F a :: *
4857 type instance F [Int]              = Int         -- OK!
4858 type instance F String             = Char        -- OK!
4859 type instance F (F a)              = a           -- WRONG: type parameter mentions a type family
4860 type instance F (forall a. (a, b)) = b           -- WRONG: a forall type appears in a type parameter
4861 type instance F Float              = forall a.a  -- WRONG: right-hand side may not be a forall type
4862
4863 type family G a b :: * -> *
4864 type instance G Int            = (,)     -- WRONG: must be two type parameters
4865 type instance G Int Char Float = Double  -- WRONG: must be two type parameters
4866 </programlisting>
4867     </para>
4868
4869     <sect4 id="assoc-type-instance">
4870       <title>Associated type instance declarations</title>
4871       <para>
4872         When an associated family instance is declared within a type class
4873         instance, we drop the <literal>instance</literal> keyword in the family
4874         instance.  So, the <literal>[e]</literal> instance
4875         for <literal>Elem</literal> becomes: 
4876 <programlisting>
4877 instance (Eq (Elem [e])) => Collects ([e]) where
4878   type Elem [e] = e
4879   ...
4880 </programlisting>
4881         The most important point about associated family instances is that the
4882         type indexes corresponding to class parameters must be identical to the
4883         type given in the instance head; here this is <literal>[e]</literal>,
4884         which coincides with the only class parameter. 
4885       </para>
4886       <para>
4887         Instances for an associated family can only appear as part of  instances
4888         declarations of the class in which the family was declared - just as
4889         with the equations of the methods of a class.  Also in correspondence to
4890         how methods are handled, declarations of associated types can be omitted
4891         in class instances.  If an associated family instance is omitted, the
4892         corresponding instance type is not inhabited; i.e., only diverging
4893         expressions, such as <literal>undefined</literal>, can assume the type. 
4894       </para>
4895     </sect4>
4896
4897     <sect4 id="type-family-overlap">
4898       <title>Overlap of type synonym instances</title>
4899       <para>
4900         The instance declarations of a type family used in a single program
4901         may only overlap if the right-hand sides of the overlapping instances
4902         coincide for the overlapping types.  More formally, two instance
4903         declarations overlap if there is a substitution that makes the
4904         left-hand sides of the instances syntactically the same.  Whenever
4905         that is the case, the right-hand sides of the instances must also be
4906         syntactically equal under the same substitution.  This condition is
4907         independent of whether the type family is associated or not, and it is
4908         not only a matter of consistency, but one of type safety. 
4909       </para>
4910       <para>
4911         Here are two example to illustrate the condition under which overlap
4912         is permitted. 
4913 <programlisting>
4914 type instance F (a, Int) = [a]
4915 type instance F (Int, b) = [b]   -- overlap permitted
4916
4917 type instance G (a, Int)  = [a]
4918 type instance G (Char, a) = [a]  -- ILLEGAL overlap, as [Char] /= [Int]
4919 </programlisting>
4920       </para>
4921     </sect4>
4922
4923     <sect4 id="type-family-decidability">
4924       <title>Decidability of type synonym instances</title>
4925       <para>
4926         In order to guarantee that type inference in the presence of type
4927         families decidable, we need to place a number of additional
4928         restrictions on the formation of type instance declarations (c.f.,
4929         Definition 5 (Relaxed Conditions) of &ldquo;<ulink 
4930         url="http://www.cse.unsw.edu.au/~chak/papers/SPCS08.html">Type
4931           Checking with Open Type Functions</ulink>&rdquo;).  Instance
4932           declarations have the general form 
4933 <programlisting>
4934 type instance F t1 .. tn = t
4935 </programlisting>
4936         where we require that for every type family application <literal>(G s1
4937         .. sm)</literal> in <literal>t</literal>,  
4938         <orderedlist>
4939           <listitem>
4940             <para><literal>s1 .. sm</literal> do not contain any type family
4941             constructors,</para>
4942           </listitem>
4943           <listitem>
4944             <para>the total number of symbols (data type constructors and type
4945             variables) in <literal>s1 .. sm</literal> is strictly smaller than
4946             in <literal>t1 .. tn</literal>, and</para> 
4947           </listitem>
4948           <listitem>
4949             <para>for every type
4950             variable <literal>a</literal>, <literal>a</literal> occurs
4951             in <literal>s1 .. sm</literal> at most as often as in <literal>t1
4952             .. tn</literal>.</para>
4953           </listitem>
4954         </orderedlist>
4955         These restrictions are easily verified and ensure termination of type
4956         inference.  However, they are not sufficient to guarantee completeness
4957         of type inference in the presence of, so called, ''loopy equalities'',
4958         such as <literal>a ~ [F a]</literal>, where a recursive occurrence of
4959         a type variable is underneath a family application and data
4960         constructor application - see the above mentioned paper for details.   
4961       </para>
4962       <para>
4963         If the option <option>-XUndecidableInstances</option> is passed to the
4964         compiler, the above restrictions are not enforced and it is on the
4965         programmer to ensure termination of the normalisation of type families
4966         during type inference. 
4967       </para>
4968     </sect4>
4969   </sect3>
4970
4971   <sect3 id-="equality-constraints">
4972     <title>Equality constraints</title>
4973     <para>
4974       Type context can include equality constraints of the form <literal>t1 ~
4975       t2</literal>, which denote that the types <literal>t1</literal>
4976       and <literal>t2</literal> need to be the same.  In the presence of type
4977       families, whether two types are equal cannot generally be decided
4978       locally.  Hence, the contexts of function signatures may include
4979       equality constraints, as in the following example: 
4980 <programlisting>
4981 sumCollects :: (Collects c1, Collects c2, Elem c1 ~ Elem c2) => c1 -> c2 -> c2
4982 </programlisting>
4983       where we require that the element type of <literal>c1</literal>
4984       and <literal>c2</literal> are the same.  In general, the
4985       types <literal>t1</literal> and <literal>t2</literal> of an equality
4986       constraint may be arbitrary monotypes; i.e., they may not contain any
4987       quantifiers, independent of whether higher-rank types are otherwise
4988       enabled. 
4989     </para>
4990     <para>
4991       Equality constraints can also appear in class and instance contexts.
4992       The former enable a simple translation of programs using functional
4993       dependencies into programs using family synonyms instead.  The general
4994       idea is to rewrite a class declaration of the form 
4995 <programlisting>
4996 class C a b | a -> b
4997 </programlisting>
4998       to
4999 <programlisting>
5000 class (F a ~ b) => C a b where
5001   type F a
5002 </programlisting>
5003       That is, we represent every functional dependency (FD) <literal>a1 .. an
5004       -> b</literal> by an FD type family <literal>F a1 .. an</literal> and a
5005       superclass context equality <literal>F a1 .. an ~ b</literal>,
5006       essentially giving a name to the functional dependency.  In class
5007       instances, we define the type instances of FD families in accordance
5008       with the class head.  Method signatures are not affected by that
5009       process. 
5010     </para>
5011     <para>
5012       NB: Equalities in superclass contexts are not fully implemented in
5013       GHC 6.10. 
5014     </para>
5015   </sect3>
5016
5017   <sect3 id-="ty-fams-in-instances">
5018     <title>Type families and instance declarations</title>
5019     <para>Type families require us to extend the rules for 
5020       the form of instance heads, which are given 
5021       in <xref linkend="flexible-instance-head"/>.
5022       Specifically:
5023 <itemizedlist>
5024  <listitem><para>Data type families may appear in an instance head</para></listitem>
5025  <listitem><para>Type synonym families may not appear (at all) in an instance head</para></listitem>
5026 </itemizedlist>
5027 The reason for the latter restriction is that there is no way to check for. Consider
5028 <programlisting>
5029    type family F a
5030    type instance F Bool = Int
5031
5032    class C a
5033
5034    instance C Int
5035    instance C (F a)
5036 </programlisting>
5037 Now a constraint <literal>(C (F Bool))</literal> would match both instances.
5038 The situation is especially bad because the type instance for <literal>F Bool</literal>
5039 might be in another module, or even in a module that is not yet written.
5040 </para>
5041 </sect3>
5042 </sect2>
5043
5044 </sect1>
5045
5046 <sect1 id="other-type-extensions">
5047 <title>Other type system extensions</title>
5048
5049 <sect2 id="explicit-foralls"><title>Explicit universal quantification (forall)</title>
5050 <para>
5051 Haskell type signatures are implicitly quantified.  When the language option <option>-XExplicitForAll</option>
5052 is used, the keyword <literal>forall</literal>
5053 allows us to say exactly what this means.  For example:
5054 </para>
5055 <para>
5056 <programlisting>
5057         g :: b -> b
5058 </programlisting>
5059 means this:
5060 <programlisting>
5061         g :: forall b. (b -> b)
5062 </programlisting>
5063 The two are treated identically.
5064 </para>
5065 <para>
5066 Of course <literal>forall</literal> becomes a keyword; you can't use <literal>forall</literal> as
5067 a type variable any more!
5068 </para>
5069 </sect2>
5070
5071
5072 <sect2 id="flexible-contexts"><title>The context of a type signature</title>
5073 <para>
5074 The <option>-XFlexibleContexts</option> flag lifts the Haskell 98 restriction
5075 that the type-class constraints in a type signature must have the 
5076 form <emphasis>(class type-variable)</emphasis> or
5077 <emphasis>(class (type-variable type-variable ...))</emphasis>. 
5078 With <option>-XFlexibleContexts</option>
5079 these type signatures are perfectly OK
5080 <programlisting>
5081   g :: Eq [a] => ...
5082   g :: Ord (T a ()) => ...
5083 </programlisting>
5084 The flag <option>-XFlexibleContexts</option> also lifts the corresponding
5085 restriction on class declarations (<xref linkend="superclass-rules"/>) and instance declarations
5086 (<xref linkend="instance-rules"/>).
5087 </para>
5088
5089 <para>
5090 GHC imposes the following restrictions on the constraints in a type signature.
5091 Consider the type:
5092
5093 <programlisting>
5094   forall tv1..tvn (c1, ...,cn) => type
5095 </programlisting>
5096
5097 (Here, we write the "foralls" explicitly, although the Haskell source
5098 language omits them; in Haskell 98, all the free type variables of an
5099 explicit source-language type signature are universally quantified,
5100 except for the class type variables in a class declaration.  However,
5101 in GHC, you can give the foralls if you want.  See <xref linkend="explicit-foralls"/>).
5102 </para>
5103
5104 <para>
5105
5106 <orderedlist>
5107 <listitem>
5108
5109 <para>
5110  <emphasis>Each universally quantified type variable
5111 <literal>tvi</literal> must be reachable from <literal>type</literal></emphasis>.
5112
5113 A type variable <literal>a</literal> is "reachable" if it appears
5114 in the same constraint as either a type variable free in
5115 <literal>type</literal>, or another reachable type variable.  
5116 A value with a type that does not obey 
5117 this reachability restriction cannot be used without introducing
5118 ambiguity; that is why the type is rejected.
5119 Here, for example, is an illegal type:
5120
5121
5122 <programlisting>
5123   forall a. Eq a => Int
5124 </programlisting>
5125
5126
5127 When a value with this type was used, the constraint <literal>Eq tv</literal>
5128 would be introduced where <literal>tv</literal> is a fresh type variable, and
5129 (in the dictionary-translation implementation) the value would be
5130 applied to a dictionary for <literal>Eq tv</literal>.  The difficulty is that we
5131 can never know which instance of <literal>Eq</literal> to use because we never
5132 get any more information about <literal>tv</literal>.
5133 </para>
5134 <para>
5135 Note
5136 that the reachability condition is weaker than saying that <literal>a</literal> is
5137 functionally dependent on a type variable free in
5138 <literal>type</literal> (see <xref
5139 linkend="functional-dependencies"/>).  The reason for this is there
5140 might be a "hidden" dependency, in a superclass perhaps.  So
5141 "reachable" is a conservative approximation to "functionally dependent".
5142 For example, consider:
5143 <programlisting>
5144   class C a b | a -> b where ...
5145   class C a b => D a b where ...
5146   f :: forall a b. D a b => a -> a
5147 </programlisting>
5148 This is fine, because in fact <literal>a</literal> does functionally determine <literal>b</literal>
5149 but that is not immediately apparent from <literal>f</literal>'s type.
5150 </para>
5151 </listitem>
5152 <listitem>
5153
5154 <para>
5155  <emphasis>Every constraint <literal>ci</literal> must mention at least one of the
5156 universally quantified type variables <literal>tvi</literal></emphasis>.
5157
5158 For example, this type is OK because <literal>C a b</literal> mentions the
5159 universally quantified type variable <literal>b</literal>:
5160
5161
5162 <programlisting>
5163   forall a. C a b => burble
5164 </programlisting>
5165
5166
5167 The next type is illegal because the constraint <literal>Eq b</literal> does not
5168 mention <literal>a</literal>:
5169
5170
5171 <programlisting>
5172   forall a. Eq b => burble
5173 </programlisting>
5174
5175
5176 The reason for this restriction is milder than the other one.  The
5177 excluded types are never useful or necessary (because the offending
5178 context doesn't need to be witnessed at this point; it can be floated
5179 out).  Furthermore, floating them out increases sharing. Lastly,
5180 excluding them is a conservative choice; it leaves a patch of
5181 territory free in case we need it later.
5182
5183 </para>
5184 </listitem>
5185
5186 </orderedlist>
5187
5188 </para>
5189
5190 </sect2>
5191
5192 <sect2 id="implicit-parameters">
5193 <title>Implicit parameters</title>
5194
5195 <para> Implicit parameters are implemented as described in 
5196 "Implicit parameters: dynamic scoping with static types", 
5197 J Lewis, MB Shields, E Meijer, J Launchbury,
5198 27th ACM Symposium on Principles of Programming Languages (POPL'00),
5199 Boston, Jan 2000.
5200 </para>
5201
5202 <para>(Most of the following, still rather incomplete, documentation is
5203 due to Jeff Lewis.)</para>
5204
5205 <para>Implicit parameter support is enabled with the option
5206 <option>-XImplicitParams</option>.</para>
5207
5208 <para>
5209 A variable is called <emphasis>dynamically bound</emphasis> when it is bound by the calling
5210 context of a function and <emphasis>statically bound</emphasis> when bound by the callee's
5211 context. In Haskell, all variables are statically bound. Dynamic
5212 binding of variables is a notion that goes back to Lisp, but was later
5213 discarded in more modern incarnations, such as Scheme. Dynamic binding
5214 can be very confusing in an untyped language, and unfortunately, typed
5215 languages, in particular Hindley-Milner typed languages like Haskell,
5216 only support static scoping of variables.
5217 </para>
5218 <para>
5219 However, by a simple extension to the type class system of Haskell, we
5220 can support dynamic binding. Basically, we express the use of a
5221 dynamically bound variable as a constraint on the type. These
5222 constraints lead to types of the form <literal>(?x::t') => t</literal>, which says "this
5223 function uses a dynamically-bound variable <literal>?x</literal> 
5224 of type <literal>t'</literal>". For
5225 example, the following expresses the type of a sort function,
5226 implicitly parameterized by a comparison function named <literal>cmp</literal>.
5227 <programlisting>
5228   sort :: (?cmp :: a -> a -> Bool) => [a] -> [a]
5229 </programlisting>
5230 The dynamic binding constraints are just a new form of predicate in the type class system.
5231 </para>
5232 <para>
5233 An implicit parameter occurs in an expression using the special form <literal>?x</literal>, 
5234 where <literal>x</literal> is
5235 any valid identifier (e.g. <literal>ord ?x</literal> is a valid expression). 
5236 Use of this construct also introduces a new
5237 dynamic-binding constraint in the type of the expression. 
5238 For example, the following definition
5239 shows how we can define an implicitly parameterized sort function in
5240 terms of an explicitly parameterized <literal>sortBy</literal> function:
5241 <programlisting>
5242   sortBy :: (a -> a -> Bool) -> [a] -> [a]
5243
5244   sort   :: (?cmp :: a -> a -> Bool) => [a] -> [a]
5245   sort    = sortBy ?cmp
5246 </programlisting>
5247 </para>
5248
5249 <sect3>
5250 <title>Implicit-parameter type constraints</title>
5251 <para>
5252 Dynamic binding constraints behave just like other type class
5253 constraints in that they are automatically propagated. Thus, when a
5254 function is used, its implicit parameters are inherited by the
5255 function that called it. For example, our <literal>sort</literal> function might be used
5256 to pick out the least value in a list:
5257 <programlisting>
5258   least   :: (?cmp :: a -> a -> Bool) => [a] -> a
5259   least xs = head (sort xs)
5260 </programlisting>
5261 Without lifting a finger, the <literal>?cmp</literal> parameter is
5262 propagated to become a parameter of <literal>least</literal> as well. With explicit
5263 parameters, the default is that parameters must always be explicit
5264 propagated. With implicit parameters, the default is to always
5265 propagate them.
5266 </para>
5267 <para>
5268 An implicit-parameter type constraint differs from other type class constraints in the
5269 following way: All uses of a particular implicit parameter must have
5270 the same type. This means that the type of <literal>(?x, ?x)</literal> 
5271 is <literal>(?x::a) => (a,a)</literal>, and not 
5272 <literal>(?x::a, ?x::b) => (a, b)</literal>, as would be the case for type
5273 class constraints.
5274 </para>
5275
5276 <para> You can't have an implicit parameter in the context of a class or instance
5277 declaration.  For example, both these declarations are illegal:
5278 <programlisting>
5279   class (?x::Int) => C a where ...
5280   instance (?x::a) => Foo [a] where ...
5281 </programlisting>
5282 Reason: exactly which implicit parameter you pick up depends on exactly where
5283 you invoke a function. But the ``invocation'' of instance declarations is done
5284 behind the scenes by the compiler, so it's hard to figure out exactly where it is done.
5285 Easiest thing is to outlaw the offending types.</para>
5286 <para>
5287 Implicit-parameter constraints do not cause ambiguity.  For example, consider:
5288 <programlisting>
5289    f :: (?x :: [a]) => Int -> Int
5290    f n = n + length ?x
5291
5292    g :: (Read a, Show a) => String -> String
5293    g s = show (read s)
5294 </programlisting>
5295 Here, <literal>g</literal> has an ambiguous type, and is rejected, but <literal>f</literal>
5296 is fine.  The binding for <literal>?x</literal> at <literal>f</literal>'s call site is 
5297 quite unambiguous, and fixes the type <literal>a</literal>.
5298 </para>
5299 </sect3>
5300
5301 <sect3>
5302 <title>Implicit-parameter bindings</title>
5303
5304 <para>
5305 An implicit parameter is <emphasis>bound</emphasis> using the standard
5306 <literal>let</literal> or <literal>where</literal> binding forms.
5307 For example, we define the <literal>min</literal> function by binding
5308 <literal>cmp</literal>.
5309 <programlisting>
5310   min :: [a] -> a
5311   min  = let ?cmp = (&lt;=) in least
5312 </programlisting>
5313 </para>
5314 <para>
5315 A group of implicit-parameter bindings may occur anywhere a normal group of Haskell
5316 bindings can occur, except at top level.  That is, they can occur in a <literal>let</literal> 
5317 (including in a list comprehension, or do-notation, or pattern guards), 
5318 or a <literal>where</literal> clause.
5319 Note the following points:
5320 <itemizedlist>
5321 <listitem><para>
5322 An implicit-parameter binding group must be a
5323 collection of simple bindings to implicit-style variables (no
5324 function-style bindings, and no type signatures); these bindings are
5325 neither polymorphic or recursive.  
5326 </para></listitem>
5327 <listitem><para>
5328 You may not mix implicit-parameter bindings with ordinary bindings in a 
5329 single <literal>let</literal>
5330 expression; use two nested <literal>let</literal>s instead.
5331 (In the case of <literal>where</literal> you are stuck, since you can't nest <literal>where</literal> clauses.)
5332 </para></listitem>
5333
5334 <listitem><para>
5335 You may put multiple implicit-parameter bindings in a
5336 single binding group; but they are <emphasis>not</emphasis> treated
5337 as a mutually recursive group (as ordinary <literal>let</literal> bindings are).
5338 Instead they are treated as a non-recursive group, simultaneously binding all the implicit
5339 parameter.  The bindings are not nested, and may be re-ordered without changing
5340 the meaning of the program.
5341 For example, consider:
5342 <programlisting>
5343   f t = let { ?x = t; ?y = ?x+(1::Int) } in ?x + ?y
5344 </programlisting>
5345 The use of <literal>?x</literal> in the binding for <literal>?y</literal> does not "see"
5346 the binding for <literal>?x</literal>, so the type of <literal>f</literal> is
5347 <programlisting>
5348   f :: (?x::Int) => Int -> Int
5349 </programlisting>
5350 </para></listitem>
5351 </itemizedlist>
5352 </para>
5353
5354 </sect3>
5355
5356 <sect3><title>Implicit parameters and polymorphic recursion</title>
5357
5358 <para>
5359 Consider these two definitions:
5360 <programlisting>
5361   len1 :: [a] -> Int
5362   len1 xs = let ?acc = 0 in len_acc1 xs
5363
5364   len_acc1 [] = ?acc
5365   len_acc1 (x:xs) = let ?acc = ?acc + (1::Int) in len_acc1 xs
5366
5367   ------------
5368
5369   len2 :: [a] -> Int
5370   len2 xs = let ?acc = 0 in len_acc2 xs
5371
5372   len_acc2 :: (?acc :: Int) => [a] -> Int
5373   len_acc2 [] = ?acc
5374   len_acc2 (x:xs) = let ?acc = ?acc + (1::Int) in len_acc2 xs
5375 </programlisting>
5376 The only difference between the two groups is that in the second group
5377 <literal>len_acc</literal> is given a type signature.
5378 In the former case, <literal>len_acc1</literal> is monomorphic in its own
5379 right-hand side, so the implicit parameter <literal>?acc</literal> is not
5380 passed to the recursive call.  In the latter case, because <literal>len_acc2</literal>
5381 has a type signature, the recursive call is made to the
5382 <emphasis>polymorphic</emphasis> version, which takes <literal>?acc</literal>
5383 as an implicit parameter.  So we get the following results in GHCi:
5384 <programlisting>
5385   Prog> len1 "hello"
5386   0
5387   Prog> len2 "hello"
5388   5
5389 </programlisting>
5390 Adding a type signature dramatically changes the result!  This is a rather
5391 counter-intuitive phenomenon, worth watching out for.
5392 </para>
5393 </sect3>
5394
5395 <sect3><title>Implicit parameters and monomorphism</title>
5396
5397 <para>GHC applies the dreaded Monomorphism Restriction (section 4.5.5 of the
5398 Haskell Report) to implicit parameters.  For example, consider:
5399 <programlisting>
5400  f :: Int -> Int
5401   f v = let ?x = 0     in
5402         let y = ?x + v in
5403         let ?x = 5     in
5404         y
5405 </programlisting>
5406 Since the binding for <literal>y</literal> falls under the Monomorphism
5407 Restriction it is not generalised, so the type of <literal>y</literal> is
5408 simply <literal>Int</literal>, not <literal>(?x::Int) => Int</literal>.
5409 Hence, <literal>(f 9)</literal> returns result <literal>9</literal>.
5410 If you add a type signature for <literal>y</literal>, then <literal>y</literal>
5411 will get type <literal>(?x::Int) => Int</literal>, so the occurrence of
5412 <literal>y</literal> in the body of the <literal>let</literal> will see the
5413 inner binding of <literal>?x</literal>, so <literal>(f 9)</literal> will return
5414 <literal>14</literal>.
5415 </para>
5416 </sect3>
5417 </sect2>
5418
5419     <!--   ======================= COMMENTED OUT ========================
5420
5421     We intend to remove linear implicit parameters, so I'm at least removing
5422     them from the 6.6 user manual
5423
5424 <sect2 id="linear-implicit-parameters">
5425 <title>Linear implicit parameters</title>
5426 <para>
5427 Linear implicit parameters are an idea developed by Koen Claessen,
5428 Mark Shields, and Simon PJ.  They address the long-standing
5429 problem that monads seem over-kill for certain sorts of problem, notably:
5430 </para>
5431 <itemizedlist>
5432 <listitem> <para> distributing a supply of unique names </para> </listitem>
5433 <listitem> <para> distributing a supply of random numbers </para> </listitem>
5434 <listitem> <para> distributing an oracle (as in QuickCheck) </para> </listitem>
5435 </itemizedlist>
5436
5437 <para>
5438 Linear implicit parameters are just like ordinary implicit parameters,
5439 except that they are "linear"; that is, they cannot be copied, and
5440 must be explicitly "split" instead.  Linear implicit parameters are
5441 written '<literal>%x</literal>' instead of '<literal>?x</literal>'.  
5442 (The '/' in the '%' suggests the split!)
5443 </para>
5444 <para>
5445 For example:
5446 <programlisting>
5447     import GHC.Exts( Splittable )
5448
5449     data NameSupply = ...
5450     
5451     splitNS :: NameSupply -> (NameSupply, NameSupply)
5452     newName :: NameSupply -> Name
5453
5454     instance Splittable NameSupply where
5455         split = splitNS
5456
5457
5458     f :: (%ns :: NameSupply) => Env -> Expr -> Expr
5459     f env (Lam x e) = Lam x' (f env e)
5460                     where
5461                       x'   = newName %ns
5462                       env' = extend env x x'
5463     ...more equations for f...
5464 </programlisting>
5465 Notice that the implicit parameter %ns is consumed 
5466 <itemizedlist>
5467 <listitem> <para> once by the call to <literal>newName</literal> </para> </listitem>
5468 <listitem> <para> once by the recursive call to <literal>f</literal> </para></listitem>
5469 </itemizedlist>
5470 </para>
5471 <para>
5472 So the translation done by the type checker makes
5473 the parameter explicit:
5474 <programlisting>
5475     f :: NameSupply -> Env -> Expr -> Expr
5476     f ns env (Lam x e) = Lam x' (f ns1 env e)
5477                        where
5478                          (ns1,ns2) = splitNS ns
5479                          x' = newName ns2
5480                          env = extend env x x'
5481 </programlisting>
5482 Notice the call to 'split' introduced by the type checker.
5483 How did it know to use 'splitNS'?  Because what it really did
5484 was to introduce a call to the overloaded function 'split',
5485 defined by the class <literal>Splittable</literal>:
5486 <programlisting>
5487         class Splittable a where
5488           split :: a -> (a,a)
5489 </programlisting>
5490 The instance for <literal>Splittable NameSupply</literal> tells GHC how to implement
5491 split for name supplies.  But we can simply write
5492 <programlisting>
5493         g x = (x, %ns, %ns)
5494 </programlisting>
5495 and GHC will infer
5496 <programlisting>
5497         g :: (Splittable a, %ns :: a) => b -> (b,a,a)
5498 </programlisting>
5499 The <literal>Splittable</literal> class is built into GHC.  It's exported by module 
5500 <literal>GHC.Exts</literal>.
5501 </para>
5502 <para>
5503 Other points:
5504 <itemizedlist>
5505 <listitem> <para> '<literal>?x</literal>' and '<literal>%x</literal>' 
5506 are entirely distinct implicit parameters: you 
5507   can use them together and they won't interfere with each other. </para>
5508 </listitem>
5509
5510 <listitem> <para> You can bind linear implicit parameters in 'with' clauses. </para> </listitem>
5511
5512 <listitem> <para>You cannot have implicit parameters (whether linear or not)
5513   in the context of a class or instance declaration. </para></listitem>
5514 </itemizedlist>
5515 </para>
5516
5517 <sect3><title>Warnings</title>
5518
5519 <para>
5520 The monomorphism restriction is even more important than usual.
5521 Consider the example above:
5522 <programlisting>
5523     f :: (%ns :: NameSupply) => Env -> Expr -> Expr
5524     f env (Lam x e) = Lam x' (f env e)
5525                     where
5526                       x'   = newName %ns
5527                       env' = extend env x x'
5528 </programlisting>
5529 If we replaced the two occurrences of x' by (newName %ns), which is
5530 usually a harmless thing to do, we get:
5531 <programlisting>
5532     f :: (%ns :: NameSupply) => Env -> Expr -> Expr
5533     f env (Lam x e) = Lam (newName %ns) (f env e)
5534                     where
5535                       env' = extend env x (newName %ns)
5536 </programlisting>
5537 But now the name supply is consumed in <emphasis>three</emphasis> places
5538 (the two calls to newName,and the recursive call to f), so
5539 the result is utterly different.  Urk!  We don't even have 
5540 the beta rule.
5541 </para>
5542 <para>
5543 Well, this is an experimental change.  With implicit
5544 parameters we have already lost beta reduction anyway, and
5545 (as John Launchbury puts it) we can't sensibly reason about
5546 Haskell programs without knowing their typing.
5547 </para>
5548
5549 </sect3>
5550
5551 <sect3><title>Recursive functions</title>
5552 <para>Linear implicit parameters can be particularly tricky when you have a recursive function
5553 Consider
5554 <programlisting>
5555         foo :: %x::T => Int -> [Int]
5556         foo 0 = []
5557         foo n = %x : foo (n-1)
5558 </programlisting>
5559 where T is some type in class Splittable.</para>
5560 <para>
5561 Do you get a list of all the same T's or all different T's
5562 (assuming that split gives two distinct T's back)?
5563 </para><para>
5564 If you supply the type signature, taking advantage of polymorphic
5565 recursion, you get what you'd probably expect.  Here's the
5566 translated term, where the implicit param is made explicit:
5567 <programlisting>
5568         foo x 0 = []
5569         foo x n = let (x1,x2) = split x
5570                   in x1 : foo x2 (n-1)
5571 </programlisting>
5572 But if you don't supply a type signature, GHC uses the Hindley
5573 Milner trick of using a single monomorphic instance of the function
5574 for the recursive calls. That is what makes Hindley Milner type inference
5575 work.  So the translation becomes
5576 <programlisting>
5577         foo x = let
5578                   foom 0 = []
5579                   foom n = x : foom (n-1)
5580                 in
5581                 foom
5582 </programlisting>
5583 Result: 'x' is not split, and you get a list of identical T's.  So the
5584 semantics of the program depends on whether or not foo has a type signature.
5585 Yikes!
5586 </para><para>
5587 You may say that this is a good reason to dislike linear implicit parameters
5588 and you'd be right.  That is why they are an experimental feature. 
5589 </para>
5590 </sect3>
5591
5592 </sect2>
5593
5594 ================ END OF Linear Implicit Parameters commented out -->
5595
5596 <sect2 id="kinding">
5597 <title>Explicitly-kinded quantification</title>
5598
5599 <para>
5600 Haskell infers the kind of each type variable.  Sometimes it is nice to be able
5601 to give the kind explicitly as (machine-checked) documentation, 
5602 just as it is nice to give a type signature for a function.  On some occasions,
5603 it is essential to do so.  For example, in his paper "Restricted Data Types in Haskell" (Haskell Workshop 1999)
5604 John Hughes had to define the data type:
5605 <screen>
5606      data Set cxt a = Set [a]
5607                     | Unused (cxt a -> ())
5608 </screen>
5609 The only use for the <literal>Unused</literal> constructor was to force the correct
5610 kind for the type variable <literal>cxt</literal>.
5611 </para>
5612 <para>
5613 GHC now instead allows you to specify the kind of a type variable directly, wherever
5614 a type variable is explicitly bound, with the flag <option>-XKindSignatures</option>.
5615 </para>
5616 <para>
5617 This flag enables kind signatures in the following places:
5618 <itemizedlist>
5619 <listitem><para><literal>data</literal> declarations:
5620 <screen>
5621   data Set (cxt :: * -> *) a = Set [a]
5622 </screen></para></listitem>
5623 <listitem><para><literal>type</literal> declarations:
5624 <screen>
5625   type T (f :: * -> *) = f Int
5626 </screen></para></listitem>
5627 <listitem><para><literal>class</literal> declarations:
5628 <screen>
5629   class (Eq a) => C (f :: * -> *) a where ...
5630 </screen></para></listitem>
5631 <listitem><para><literal>forall</literal>'s in type signatures:
5632 <screen>
5633   f :: forall (cxt :: * -> *). Set cxt Int
5634 </screen></para></listitem>
5635 </itemizedlist>
5636 </para>
5637
5638 <para>
5639 The parentheses are required.  Some of the spaces are required too, to
5640 separate the lexemes.  If you write <literal>(f::*->*)</literal> you
5641 will get a parse error, because "<literal>::*->*</literal>" is a
5642 single lexeme in Haskell.
5643 </para>
5644
5645 <para>
5646 As part of the same extension, you can put kind annotations in types
5647 as well.  Thus:
5648 <screen>
5649    f :: (Int :: *) -> Int
5650    g :: forall a. a -> (a :: *)
5651 </screen>
5652 The syntax is
5653 <screen>
5654    atype ::= '(' ctype '::' kind ')
5655 </screen>
5656 The parentheses are required.
5657 </para>
5658 </sect2>
5659
5660
5661 <sect2 id="universal-quantification">
5662 <title>Arbitrary-rank polymorphism
5663 </title>
5664
5665 <para>
5666 GHC's type system supports <emphasis>arbitrary-rank</emphasis> 
5667 explicit universal quantification in
5668 types. 
5669 For example, all the following types are legal:
5670 <programlisting>
5671     f1 :: forall a b. a -> b -> a
5672     g1 :: forall a b. (Ord a, Eq  b) => a -> b -> a
5673
5674     f2 :: (forall a. a->a) -> Int -> Int
5675     g2 :: (forall a. Eq a => [a] -> a -> Bool) -> Int -> Int
5676
5677     f3 :: ((forall a. a->a) -> Int) -> Bool -> Bool
5678
5679     f4 :: Int -> (forall a. a -> a)
5680 </programlisting>
5681 Here, <literal>f1</literal> and <literal>g1</literal> are rank-1 types, and
5682 can be written in standard Haskell (e.g. <literal>f1 :: a->b->a</literal>).
5683 The <literal>forall</literal> makes explicit the universal quantification that
5684 is implicitly added by Haskell.
5685 </para>
5686 <para>
5687 The functions <literal>f2</literal> and <literal>g2</literal> have rank-2 types;
5688 the <literal>forall</literal> is on the left of a function arrow.  As <literal>g2</literal>
5689 shows, the polymorphic type on the left of the function arrow can be overloaded.
5690 </para>
5691 <para>
5692 The function <literal>f3</literal> has a rank-3 type;
5693 it has rank-2 types on the left of a function arrow.
5694 </para>
5695 <para>
5696 GHC has three flags to control higher-rank types:
5697 <itemizedlist>
5698 <listitem><para>
5699  <option>-XPolymorphicComponents</option>: data constructors (only) can have polymorphic argument types.
5700 </para></listitem>
5701 <listitem><para>
5702  <option>-XRank2Types</option>: any function (including data constructors) can have a rank-2 type.
5703 </para></listitem>
5704 <listitem><para>
5705  <option>-XRankNTypes</option>: any function (including data constructors) can have an arbitrary-rank type.
5706 That is,  you can nest <literal>forall</literal>s
5707 arbitrarily deep in function arrows.
5708 In particular, a forall-type (also called a "type scheme"),
5709 including an operational type class context, is legal:
5710 <itemizedlist>
5711 <listitem> <para> On the left or right (see <literal>f4</literal>, for example)
5712 of a function arrow </para> </listitem>
5713 <listitem> <para> As the argument of a constructor, or type of a field, in a data type declaration. For
5714 example, any of the <literal>f1,f2,f3,g1,g2</literal> above would be valid
5715 field type signatures.</para> </listitem>
5716 <listitem> <para> As the type of an implicit parameter </para> </listitem>
5717 <listitem> <para> In a pattern type signature (see <xref linkend="scoped-type-variables"/>) </para> </listitem>
5718 </itemizedlist>
5719 </para></listitem>
5720 </itemizedlist>
5721 </para>
5722
5723
5724 <sect3 id="univ">
5725 <title>Examples
5726 </title>
5727
5728 <para>
5729 In a <literal>data</literal> or <literal>newtype</literal> declaration one can quantify
5730 the types of the constructor arguments.  Here are several examples:
5731 </para>
5732
5733 <para>
5734
5735 <programlisting>
5736 data T a = T1 (forall b. b -> b -> b) a
5737
5738 data MonadT m = MkMonad { return :: forall a. a -> m a,
5739                           bind   :: forall a b. m a -> (a -> m b) -> m b
5740                         }
5741
5742 newtype Swizzle = MkSwizzle (Ord a => [a] -> [a])
5743 </programlisting>
5744
5745 </para>
5746
5747 <para>
5748 The constructors have rank-2 types:
5749 </para>
5750
5751 <para>
5752
5753 <programlisting>
5754 T1 :: forall a. (forall b. b -> b -> b) -> a -> T a
5755 MkMonad :: forall m. (forall a. a -> m a)
5756                   -> (forall a b. m a -> (a -> m b) -> m b)
5757                   -> MonadT m
5758 MkSwizzle :: (Ord a => [a] -> [a]) -> Swizzle
5759 </programlisting>
5760
5761 </para>
5762
5763 <para>
5764 Notice that you don't need to use a <literal>forall</literal> if there's an
5765 explicit context.  For example in the first argument of the
5766 constructor <function>MkSwizzle</function>, an implicit "<literal>forall a.</literal>" is
5767 prefixed to the argument type.  The implicit <literal>forall</literal>
5768 quantifies all type variables that are not already in scope, and are
5769 mentioned in the type quantified over.
5770 </para>
5771
5772 <para>
5773 As for type signatures, implicit quantification happens for non-overloaded
5774 types too.  So if you write this:
5775
5776 <programlisting>
5777   data T a = MkT (Either a b) (b -> b)
5778 </programlisting>
5779
5780 it's just as if you had written this:
5781
5782 <programlisting>
5783   data T a = MkT (forall b. Either a b) (forall b. b -> b)
5784 </programlisting>
5785
5786 That is, since the type variable <literal>b</literal> isn't in scope, it's
5787 implicitly universally quantified.  (Arguably, it would be better
5788 to <emphasis>require</emphasis> explicit quantification on constructor arguments
5789 where that is what is wanted.  Feedback welcomed.)
5790 </para>
5791
5792 <para>
5793 You construct values of types <literal>T1, MonadT, Swizzle</literal> by applying
5794 the constructor to suitable values, just as usual.  For example,
5795 </para>
5796
5797 <para>
5798
5799 <programlisting>
5800     a1 :: T Int
5801     a1 = T1 (\xy->x) 3
5802     
5803     a2, a3 :: Swizzle
5804     a2 = MkSwizzle sort
5805     a3 = MkSwizzle reverse
5806     
5807     a4 :: MonadT Maybe
5808     a4 = let r x = Just x
5809              b m k = case m of
5810                        Just y -> k y
5811                        Nothing -> Nothing
5812          in
5813          MkMonad r b
5814
5815     mkTs :: (forall b. b -> b -> b) -> a -> [T a]
5816     mkTs f x y = [T1 f x, T1 f y]
5817 </programlisting>
5818
5819 </para>
5820
5821 <para>
5822 The type of the argument can, as usual, be more general than the type
5823 required, as <literal>(MkSwizzle reverse)</literal> shows.  (<function>reverse</function>
5824 does not need the <literal>Ord</literal> constraint.)
5825 </para>
5826
5827 <para>
5828 When you use pattern matching, the bound variables may now have
5829 polymorphic types.  For example:
5830 </para>
5831
5832 <para>
5833
5834 <programlisting>
5835     f :: T a -> a -> (a, Char)
5836     f (T1 w k) x = (w k x, w 'c' 'd')
5837
5838     g :: (Ord a, Ord b) => Swizzle -> [a] -> (a -> b) -> [b]
5839     g (MkSwizzle s) xs f = s (map f (s xs))
5840
5841     h :: MonadT m -> [m a] -> m [a]
5842     h m [] = return m []
5843     h m (x:xs) = bind m x          $ \y ->
5844                  bind m (h m xs)   $ \ys ->
5845                  return m (y:ys)
5846 </programlisting>
5847
5848 </para>
5849
5850 <para>
5851 In the function <function>h</function> we use the record selectors <literal>return</literal>
5852 and <literal>bind</literal> to extract the polymorphic bind and return functions
5853 from the <literal>MonadT</literal> data structure, rather than using pattern
5854 matching.
5855 </para>
5856 </sect3>
5857
5858 <sect3>
5859 <title>Type inference</title>
5860
5861 <para>
5862 In general, type inference for arbitrary-rank types is undecidable.
5863 GHC uses an algorithm proposed by Odersky and Laufer ("Putting type annotations to work", POPL'96)
5864 to get a decidable algorithm by requiring some help from the programmer.
5865 We do not yet have a formal specification of "some help" but the rule is this:
5866 </para>
5867 <para>
5868 <emphasis>For a lambda-bound or case-bound variable, x, either the programmer
5869 provides an explicit polymorphic type for x, or GHC's type inference will assume
5870 that x's type has no foralls in it</emphasis>.
5871 </para>
5872 <para>
5873 What does it mean to "provide" an explicit type for x?  You can do that by 
5874 giving a type signature for x directly, using a pattern type signature
5875 (<xref linkend="scoped-type-variables"/>), thus:
5876 <programlisting>
5877      \ f :: (forall a. a->a) -> (f True, f 'c')
5878 </programlisting>
5879 Alternatively, you can give a type signature to the enclosing
5880 context, which GHC can "push down" to find the type for the variable:
5881 <programlisting>
5882      (\ f -> (f True, f 'c')) :: (forall a. a->a) -> (Bool,Char)
5883 </programlisting>
5884 Here the type signature on the expression can be pushed inwards
5885 to give a type signature for f.  Similarly, and more commonly,
5886 one can give a type signature for the function itself:
5887 <programlisting>
5888      h :: (forall a. a->a) -> (Bool,Char)
5889      h f = (f True, f 'c')
5890 </programlisting>
5891 You don't need to give a type signature if the lambda bound variable
5892 is a constructor argument.  Here is an example we saw earlier:
5893 <programlisting>
5894     f :: T a -> a -> (a, Char)
5895     f (T1 w k) x = (w k x, w 'c' 'd')
5896 </programlisting>
5897 Here we do not need to give a type signature to <literal>w</literal>, because
5898 it is an argument of constructor <literal>T1</literal> and that tells GHC all
5899 it needs to know.
5900 </para>
5901
5902 </sect3>
5903
5904
5905 <sect3 id="implicit-quant">
5906 <title>Implicit quantification</title>
5907
5908 <para>
5909 GHC performs implicit quantification as follows.  <emphasis>At the top level (only) of 
5910 user-written types, if and only if there is no explicit <literal>forall</literal>,
5911 GHC finds all the type variables mentioned in the type that are not already
5912 in scope, and universally quantifies them.</emphasis>  For example, the following pairs are 
5913 equivalent:
5914 <programlisting>
5915   f :: a -> a
5916   f :: forall a. a -> a
5917
5918   g (x::a) = let
5919                 h :: a -> b -> b
5920                 h x y = y
5921              in ...
5922   g (x::a) = let
5923                 h :: forall b. a -> b -> b
5924                 h x y = y
5925              in ...
5926 </programlisting>
5927 </para>
5928 <para>
5929 Notice that GHC does <emphasis>not</emphasis> find the innermost possible quantification
5930 point.  For example:
5931 <programlisting>
5932   f :: (a -> a) -> Int
5933            -- MEANS
5934   f :: forall a. (a -> a) -> Int
5935            -- NOT
5936   f :: (forall a. a -> a) -> Int
5937
5938
5939   g :: (Ord a => a -> a) -> Int
5940            -- MEANS the illegal type
5941   g :: forall a. (Ord a => a -> a) -> Int
5942            -- NOT
5943   g :: (forall a. Ord a => a -> a) -> Int
5944 </programlisting>
5945 The latter produces an illegal type, which you might think is silly,
5946 but at least the rule is simple.  If you want the latter type, you
5947 can write your for-alls explicitly.  Indeed, doing so is strongly advised
5948 for rank-2 types.
5949 </para>
5950 </sect3>
5951 </sect2>
5952
5953
5954 <sect2 id="impredicative-polymorphism">
5955 <title>Impredicative polymorphism
5956 </title>
5957 <para>GHC supports <emphasis>impredicative polymorphism</emphasis>, 
5958 enabled with <option>-XImpredicativeTypes</option>.  
5959 This means
5960 that you can call a polymorphic function at a polymorphic type, and
5961 parameterise data structures over polymorphic types.  For example:
5962 <programlisting>
5963   f :: Maybe (forall a. [a] -> [a]) -> Maybe ([Int], [Char])
5964   f (Just g) = Just (g [3], g "hello")
5965   f Nothing  = Nothing
5966 </programlisting>
5967 Notice here that the <literal>Maybe</literal> type is parameterised by the
5968 <emphasis>polymorphic</emphasis> type <literal>(forall a. [a] ->
5969 [a])</literal>.
5970 </para>
5971 <para>The technical details of this extension are described in the paper
5972 <ulink url="http://research.microsoft.com/%7Esimonpj/papers/boxy/">Boxy types:
5973 type inference for higher-rank types and impredicativity</ulink>,
5974 which appeared at ICFP 2006.  
5975 </para>
5976 </sect2>
5977
5978 <sect2 id="scoped-type-variables">
5979 <title>Lexically scoped type variables
5980 </title>
5981
5982 <para>
5983 GHC supports <emphasis>lexically scoped type variables</emphasis>, without
5984 which some type signatures are simply impossible to write. For example:
5985 <programlisting>
5986 f :: forall a. [a] -> [a]
5987 f xs = ys ++ ys
5988      where
5989        ys :: [a]
5990        ys = reverse xs
5991 </programlisting>
5992 The type signature for <literal>f</literal> brings the type variable <literal>a</literal> into scope,
5993 because of the explicit <literal>forall</literal> (<xref linkend="decl-type-sigs"/>).
5994 The type variables bound by a <literal>forall</literal> scope over
5995 the entire definition of the accompanying value declaration.
5996 In this example, the type variable <literal>a</literal> scopes over the whole 
5997 definition of <literal>f</literal>, including over
5998 the type signature for <varname>ys</varname>. 
5999 In Haskell 98 it is not possible to declare
6000 a type for <varname>ys</varname>; a major benefit of scoped type variables is that
6001 it becomes possible to do so.
6002 </para>
6003 <para>Lexically-scoped type variables are enabled by
6004 <option>-XScopedTypeVariables</option>.  This flag implies <option>-XRelaxedPolyRec</option>.
6005 </para>
6006 <para>Note: GHC 6.6 contains substantial changes to the way that scoped type
6007 variables work, compared to earlier releases.  Read this section
6008 carefully!</para>
6009
6010 <sect3>
6011 <title>Overview</title>
6012
6013 <para>The design follows the following principles
6014 <itemizedlist>
6015 <listitem><para>A scoped type variable stands for a type <emphasis>variable</emphasis>, and not for
6016 a <emphasis>type</emphasis>. (This is a change from GHC's earlier
6017 design.)</para></listitem>
6018 <listitem><para>Furthermore, distinct lexical type variables stand for distinct
6019 type variables.  This means that every programmer-written type signature
6020 (including one that contains free scoped type variables) denotes a
6021 <emphasis>rigid</emphasis> type; that is, the type is fully known to the type
6022 checker, and no inference is involved.</para></listitem>
6023 <listitem><para>Lexical type variables may be alpha-renamed freely, without
6024 changing the program.</para></listitem>
6025 </itemizedlist>
6026 </para>
6027 <para>
6028 A <emphasis>lexically scoped type variable</emphasis> can be bound by:
6029 <itemizedlist>
6030 <listitem><para>A declaration type signature (<xref linkend="decl-type-sigs"/>)</para></listitem>
6031 <listitem><para>An expression type signature (<xref linkend="exp-type-sigs"/>)</para></listitem>
6032 <listitem><para>A pattern type signature (<xref linkend="pattern-type-sigs"/>)</para></listitem>
6033 <listitem><para>Class and instance declarations (<xref linkend="cls-inst-scoped-tyvars"/>)</para></listitem>
6034 </itemizedlist>
6035 </para>
6036 <para>
6037 In Haskell, a programmer-written type signature is implicitly quantified over
6038 its free type variables (<ulink
6039 url="http://www.haskell.org/onlinereport/decls.html#sect4.1.2">Section
6040 4.1.2</ulink> 
6041 of the Haskell Report).
6042 Lexically scoped type variables affect this implicit quantification rules
6043 as follows: any type variable that is in scope is <emphasis>not</emphasis> universally
6044 quantified. For example, if type variable <literal>a</literal> is in scope,
6045 then
6046 <programlisting>
6047   (e :: a -> a)     means     (e :: a -> a)
6048   (e :: b -> b)     means     (e :: forall b. b->b)
6049   (e :: a -> b)     means     (e :: forall b. a->b)
6050 </programlisting>
6051 </para>
6052
6053
6054 </sect3>
6055
6056
6057 <sect3 id="decl-type-sigs">
6058 <title>Declaration type signatures</title>
6059 <para>A declaration type signature that has <emphasis>explicit</emphasis>
6060 quantification (using <literal>forall</literal>) brings into scope the
6061 explicitly-quantified
6062 type variables, in the definition of the named function.  For example:
6063 <programlisting>
6064   f :: forall a. [a] -> [a]
6065   f (x:xs) = xs ++ [ x :: a ]
6066 </programlisting>
6067 The "<literal>forall a</literal>" brings "<literal>a</literal>" into scope in
6068 the definition of "<literal>f</literal>".
6069 </para>
6070 <para>This only happens if:
6071 <itemizedlist>
6072 <listitem><para> The quantification in <literal>f</literal>'s type
6073 signature is explicit.  For example:
6074 <programlisting>
6075   g :: [a] -> [a]
6076   g (x:xs) = xs ++ [ x :: a ]
6077 </programlisting>
6078 This program will be rejected, because "<literal>a</literal>" does not scope
6079 over the definition of "<literal>g</literal>", so "<literal>x::a</literal>"
6080 means "<literal>x::forall a. a</literal>" by Haskell's usual implicit
6081 quantification rules.
6082 </para></listitem>
6083 <listitem><para> The signature gives a type for a function binding or a bare variable binding, 
6084 not a pattern binding.
6085 For example:
6086 <programlisting>
6087   f1 :: forall a. [a] -> [a]
6088   f1 (x:xs) = xs ++ [ x :: a ]   -- OK
6089
6090   f2 :: forall a. [a] -> [a]
6091   f2 = \(x:xs) -> xs ++ [ x :: a ]   -- OK
6092
6093   f3 :: forall a. [a] -> [a] 
6094   Just f3 = Just (\(x:xs) -> xs ++ [ x :: a ])   -- Not OK!
6095 </programlisting>
6096 The binding for <literal>f3</literal> is a pattern binding, and so its type signature
6097 does not bring <literal>a</literal> into scope.   However <literal>f1</literal> is a
6098 function binding, and <literal>f2</literal> binds a bare variable; in both cases
6099 the type signature brings <literal>a</literal> into scope.
6100 </para></listitem>
6101 </itemizedlist>
6102 </para>
6103 </sect3>
6104
6105 <sect3 id="exp-type-sigs">
6106 <title>Expression type signatures</title>
6107
6108 <para>An expression type signature that has <emphasis>explicit</emphasis>
6109 quantification (using <literal>forall</literal>) brings into scope the
6110 explicitly-quantified
6111 type variables, in the annotated expression.  For example:
6112 <programlisting>
6113   f = runST ( (op >>= \(x :: STRef s Int) -> g x) :: forall s. ST s Bool )
6114 </programlisting>
6115 Here, the type signature <literal>forall s. ST s Bool</literal> brings the 
6116 type variable <literal>s</literal> into scope, in the annotated expression 
6117 <literal>(op >>= \(x :: STRef s Int) -> g x)</literal>.
6118 </para>
6119
6120 </sect3>
6121
6122 <sect3 id="pattern-type-sigs">
6123 <title>Pattern type signatures</title>
6124 <para>
6125 A type signature may occur in any pattern; this is a <emphasis>pattern type
6126 signature</emphasis>. 
6127 For example:
6128 <programlisting>
6129   -- f and g assume that 'a' is already in scope
6130   f = \(x::Int, y::a) -> x
6131   g (x::a) = x
6132   h ((x,y) :: (Int,Bool)) = (y,x)
6133 </programlisting>
6134 In the case where all the type variables in the pattern type signature are
6135 already in scope (i.e. bound by the enclosing context), matters are simple: the
6136 signature simply constrains the type of the pattern in the obvious way.
6137 </para>
6138 <para>
6139 Unlike expression and declaration type signatures, pattern type signatures are not implicitly generalised.
6140 The pattern in a <emphasis>pattern binding</emphasis> may only mention type variables
6141 that are already in scope.  For example:
6142 <programlisting>
6143   f :: forall a. [a] -> (Int, [a])
6144   f xs = (n, zs)
6145     where
6146       (ys::[a], n) = (reverse xs, length xs) -- OK
6147       zs::[a] = xs ++ ys                     -- OK
6148
6149       Just (v::b) = ...  -- Not OK; b is not in scope
6150 </programlisting>
6151 Here, the pattern signatures for <literal>ys</literal> and <literal>zs</literal>
6152 are fine, but the one for <literal>v</literal> is not because <literal>b</literal> is
6153 not in scope. 
6154 </para>
6155 <para>
6156 However, in all patterns <emphasis>other</emphasis> than pattern bindings, a pattern
6157 type signature may mention a type variable that is not in scope; in this case,
6158 <emphasis>the signature brings that type variable into scope</emphasis>.
6159 This is particularly important for existential data constructors.  For example:
6160 <programlisting>
6161   data T = forall a. MkT [a]
6162
6163   k :: T -> T
6164   k (MkT [t::a]) = MkT t3
6165                  where
6166                    t3::[a] = [t,t,t]
6167 </programlisting>
6168 Here, the pattern type signature <literal>(t::a)</literal> mentions a lexical type
6169 variable that is not already in scope.  Indeed, it <emphasis>cannot</emphasis> already be in scope,
6170 because it is bound by the pattern match.  GHC's rule is that in this situation
6171 (and only then), a pattern type signature can mention a type variable that is
6172 not already in scope; the effect is to bring it into scope, standing for the
6173 existentially-bound type variable.
6174 </para>
6175 <para>
6176 When a pattern type signature binds a type variable in this way, GHC insists that the 
6177 type variable is bound to a <emphasis>rigid</emphasis>, or fully-known, type variable.
6178 This means that any user-written type signature always stands for a completely known type.
6179 </para>
6180 <para>
6181 If all this seems a little odd, we think so too.  But we must have
6182 <emphasis>some</emphasis> way to bring such type variables into scope, else we
6183 could not name existentially-bound type variables in subsequent type signatures.
6184 </para>
6185 <para>
6186 This is (now) the <emphasis>only</emphasis> situation in which a pattern type 
6187 signature is allowed to mention a lexical variable that is not already in
6188 scope.
6189 For example, both <literal>f</literal> and <literal>g</literal> would be
6190 illegal if <literal>a</literal> was not already in scope.
6191 </para>
6192
6193
6194 </sect3>
6195
6196 <!-- ==================== Commented out part about result type signatures 
6197
6198 <sect3 id="result-type-sigs">
6199 <title>Result type signatures</title>
6200
6201 <para>
6202 The result type of a function, lambda, or case expression alternative can be given a signature, thus:
6203
6204 <programlisting>
6205   {- f assumes that 'a' is already in scope -}
6206   f x y :: [a] = [x,y,x]
6207
6208   g = \ x :: [Int] -> [3,4]
6209
6210   h :: forall a. [a] -> a
6211   h xs = case xs of
6212             (y:ys) :: a -> y
6213 </programlisting>
6214 The final <literal>:: [a]</literal> after the patterns of <literal>f</literal> gives the type of 
6215 the result of the function.  Similarly, the body of the lambda in the RHS of
6216 <literal>g</literal> is <literal>[Int]</literal>, and the RHS of the case
6217 alternative in <literal>h</literal> is <literal>a</literal>.
6218 </para>
6219 <para> A result type signature never brings new type variables into scope.</para>
6220 <para>
6221 There are a couple of syntactic wrinkles.  First, notice that all three
6222 examples would parse quite differently with parentheses:
6223 <programlisting>
6224   {- f assumes that 'a' is already in scope -}
6225   f x (y :: [a]) = [x,y,x]
6226
6227   g = \ (x :: [Int]) -> [3,4]
6228
6229   h :: forall a. [a] -> a
6230   h xs = case xs of
6231             ((y:ys) :: a) -> y
6232 </programlisting>
6233 Now the signature is on the <emphasis>pattern</emphasis>; and
6234 <literal>h</literal> would certainly be ill-typed (since the pattern
6235 <literal>(y:ys)</literal> cannot have the type <literal>a</literal>.
6236
6237 Second, to avoid ambiguity, the type after the &ldquo;<literal>::</literal>&rdquo; in a result
6238 pattern signature on a lambda or <literal>case</literal> must be atomic (i.e. a single
6239 token or a parenthesised type of some sort).  To see why,
6240 consider how one would parse this:
6241 <programlisting>
6242   \ x :: a -> b -> x
6243 </programlisting>
6244 </para>
6245 </sect3>
6246
6247  -->
6248
6249 <sect3 id="cls-inst-scoped-tyvars">
6250 <title>Class and instance declarations</title>
6251 <para>
6252
6253 The type variables in the head of a <literal>class</literal> or <literal>instance</literal> declaration
6254 scope over the methods defined in the <literal>where</literal> part.  For example:
6255
6256
6257 <programlisting>
6258   class C a where
6259     op :: [a] -> a
6260
6261     op xs = let ys::[a]
6262                 ys = reverse xs
6263             in
6264             head ys
6265 </programlisting>
6266 </para>
6267 </sect3>
6268
6269 </sect2>
6270
6271
6272 <sect2 id="typing-binds">
6273 <title>Generalised typing of mutually recursive bindings</title>
6274
6275 <para>
6276 The Haskell Report specifies that a group of bindings (at top level, or in a
6277 <literal>let</literal> or <literal>where</literal>) should be sorted into
6278 strongly-connected components, and then type-checked in dependency order
6279 (<ulink url="http://www.haskell.org/onlinereport/decls.html#sect4.5.1">Haskell
6280 Report, Section 4.5.1</ulink>).  
6281 As each group is type-checked, any binders of the group that
6282 have
6283 an explicit type signature are put in the type environment with the specified
6284 polymorphic type,
6285 and all others are monomorphic until the group is generalised 
6286 (<ulink url="http://www.haskell.org/onlinereport/decls.html#sect4.5.2">Haskell Report, Section 4.5.2</ulink>).
6287 </para>
6288
6289 <para>Following a suggestion of Mark Jones, in his paper
6290 <ulink url="http://citeseer.ist.psu.edu/424440.html">Typing Haskell in
6291 Haskell</ulink>,
6292 GHC implements a more general scheme.  If <option>-XRelaxedPolyRec</option> is
6293 specified:
6294 <emphasis>the dependency analysis ignores references to variables that have an explicit
6295 type signature</emphasis>.
6296 As a result of this refined dependency analysis, the dependency groups are smaller, and more bindings will
6297 typecheck.  For example, consider:
6298 <programlisting>
6299   f :: Eq a =&gt; a -> Bool
6300   f x = (x == x) || g True || g "Yes"
6301   
6302   g y = (y &lt;= y) || f True
6303 </programlisting>
6304 This is rejected by Haskell 98, but under Jones's scheme the definition for
6305 <literal>g</literal> is typechecked first, separately from that for
6306 <literal>f</literal>,
6307 because the reference to <literal>f</literal> in <literal>g</literal>'s right
6308 hand side is ignored by the dependency analysis.  Then <literal>g</literal>'s
6309 type is generalised, to get
6310 <programlisting>
6311   g :: Ord a =&gt; a -> Bool
6312 </programlisting>
6313 Now, the definition for <literal>f</literal> is typechecked, with this type for
6314 <literal>g</literal> in the type environment.
6315 </para>
6316
6317 <para>
6318 The same refined dependency analysis also allows the type signatures of 
6319 mutually-recursive functions to have different contexts, something that is illegal in
6320 Haskell 98 (Section 4.5.2, last sentence).  With
6321 <option>-XRelaxedPolyRec</option>
6322 GHC only insists that the type signatures of a <emphasis>refined</emphasis> group have identical
6323 type signatures; in practice this means that only variables bound by the same
6324 pattern binding must have the same context.  For example, this is fine:
6325 <programlisting>
6326   f :: Eq a =&gt; a -> Bool
6327   f x = (x == x) || g True
6328   
6329   g :: Ord a =&gt; a -> Bool
6330   g y = (y &lt;= y) || f True
6331 </programlisting>
6332 </para>
6333 </sect2>
6334
6335 <sect2 id="mono-local-binds">
6336 <title>Monomorphic local bindings</title>
6337 <para>
6338 We are actively thinking of simplifying GHC's type system, by <emphasis>not generalising local bindings</emphasis>.
6339 The rationale is described in the paper 
6340 <ulink url="http://research.microsoft.com/~simonpj/papers/constraints/index.htm">Let should not be generalised</ulink>.
6341 </para>
6342 <para>
6343 The experimental new behaviour is enabled by the flag <option>-XMonoLocalBinds</option>.  The effect is
6344 that local (that is, non-top-level) bindings without a type signature are not generalised at all.  You can
6345 think of it as an extreme (but much more predictable) version of the Monomorphism Restriction.
6346 If you supply a type signature, then the flag has no effect.
6347 </para>
6348 </sect2>
6349
6350 </sect1>
6351 <!-- ==================== End of type system extensions =================  -->
6352   
6353 <!-- ====================== TEMPLATE HASKELL =======================  -->
6354
6355 <sect1 id="template-haskell">
6356 <title>Template Haskell</title>
6357
6358 <para>Template Haskell allows you to do compile-time meta-programming in
6359 Haskell.  
6360 The background to
6361 the main technical innovations is discussed in "<ulink
6362 url="http://research.microsoft.com/~simonpj/papers/meta-haskell/">
6363 Template Meta-programming for Haskell</ulink>" (Proc Haskell Workshop 2002).
6364 </para>
6365 <para>
6366 There is a Wiki page about
6367 Template Haskell at <ulink url="http://www.haskell.org/haskellwiki/Template_Haskell">
6368 http://www.haskell.org/haskellwiki/Template_Haskell</ulink>, and that is the best place to look for
6369 further details.
6370 You may also 
6371 consult the <ulink
6372 url="http://www.haskell.org/ghc/docs/latest/html/libraries/index.html">online
6373 Haskell library reference material</ulink> 
6374 (look for module <literal>Language.Haskell.TH</literal>).
6375 Many changes to the original design are described in 
6376       <ulink url="http://research.microsoft.com/~simonpj/papers/meta-haskell/notes2.ps">
6377 Notes on Template Haskell version 2</ulink>.
6378 Not all of these changes are in GHC, however.
6379 </para>
6380
6381 <para> The first example from that paper is set out below (<xref linkend="th-example"/>) 
6382 as a worked example to help get you started. 
6383 </para>
6384
6385 <para>
6386 The documentation here describes the realisation of Template Haskell in GHC.  It is not detailed enough to 
6387 understand Template Haskell; see the <ulink url="http://haskell.org/haskellwiki/Template_Haskell">
6388 Wiki page</ulink>.
6389 </para>
6390
6391     <sect2>
6392       <title>Syntax</title>
6393
6394       <para> Template Haskell has the following new syntactic
6395       constructions.  You need to use the flag
6396       <option>-XTemplateHaskell</option>
6397         <indexterm><primary><option>-XTemplateHaskell</option></primary>
6398       </indexterm>to switch these syntactic extensions on
6399       (<option>-XTemplateHaskell</option> is no longer implied by
6400       <option>-fglasgow-exts</option>).</para>
6401
6402         <itemizedlist>
6403               <listitem><para>
6404                   A splice is written <literal>$x</literal>, where <literal>x</literal> is an
6405                   identifier, or <literal>$(...)</literal>, where the "..." is an arbitrary expression.
6406                   There must be no space between the "$" and the identifier or parenthesis.  This use
6407                   of "$" overrides its meaning as an infix operator, just as "M.x" overrides the meaning
6408                   of "." as an infix operator.  If you want the infix operator, put spaces around it.
6409                   </para>
6410               <para> A splice can occur in place of 
6411                   <itemizedlist>
6412                     <listitem><para> an expression; the spliced expression must
6413                     have type <literal>Q Exp</literal></para></listitem>
6414                     <listitem><para> an type; the spliced expression must
6415                     have type <literal>Q Typ</literal></para></listitem>
6416                     <listitem><para> a list of top-level declarations; the spliced expression 
6417                     must have type <literal>Q [Dec]</literal></para></listitem>
6418                     </itemizedlist>
6419             Note that pattern splices are not supported.
6420             Inside a splice you can can only call functions defined in imported modules,
6421             not functions defined elsewhere in the same module.</para></listitem>
6422
6423               <listitem><para>
6424                   A expression quotation is written in Oxford brackets, thus:
6425                   <itemizedlist>
6426                     <listitem><para> <literal>[| ... |]</literal>, or <literal>[e| ... |]</literal>, 
6427                              where the "..." is an expression; 
6428                              the quotation has type <literal>Q Exp</literal>.</para></listitem>
6429                     <listitem><para> <literal>[d| ... |]</literal>, where the "..." is a list of top-level declarations;
6430                              the quotation has type <literal>Q [Dec]</literal>.</para></listitem>
6431                     <listitem><para> <literal>[t| ... |]</literal>, where the "..." is a type;
6432                              the quotation has type <literal>Q Type</literal>.</para></listitem>
6433                     <listitem><para> <literal>[p| ... |]</literal>, where the "..." is a pattern;
6434                              the quotation has type <literal>Q Pat</literal>.</para></listitem>
6435                   </itemizedlist></para></listitem>
6436
6437               <listitem><para>
6438                   A quasi-quotation can appear in either a pattern context or an
6439                   expression context and is also written in Oxford brackets:
6440                   <itemizedlist>
6441                     <listitem><para> <literal>[<replaceable>varid</replaceable>| ... |]</literal>,
6442                         where the "..." is an arbitrary string; a full description of the
6443                         quasi-quotation facility is given in <xref linkend="th-quasiquotation"/>.</para></listitem>
6444                   </itemizedlist></para></listitem>
6445
6446               <listitem><para>
6447                   A name can be quoted with either one or two prefix single quotes:
6448                   <itemizedlist>
6449                     <listitem><para> <literal>'f</literal> has type <literal>Name</literal>, and names the function <literal>f</literal>.
6450                   Similarly <literal>'C</literal> has type <literal>Name</literal> and names the data constructor <literal>C</literal>.
6451                   In general <literal>'</literal><replaceable>thing</replaceable> interprets <replaceable>thing</replaceable> in an expression context.
6452                      </para></listitem> 
6453                     <listitem><para> <literal>''T</literal> has type <literal>Name</literal>, and names the type constructor  <literal>T</literal>.
6454                   That is, <literal>''</literal><replaceable>thing</replaceable> interprets <replaceable>thing</replaceable> in a type context.
6455                      </para></listitem> 
6456                   </itemizedlist>
6457                   These <literal>Names</literal> can be used to construct Template Haskell expressions, patterns, declarations etc.  They
6458                   may also be given as an argument to the <literal>reify</literal> function.
6459                  </para>
6460                 </listitem>
6461
6462               <listitem><para> You may omit the <literal>$(...)</literal> in a top-level declaration splice. 
6463               Simply writing an expression (rather than a declaration) implies a splice.  For example, you can write
6464 <programlisting>
6465 module Foo where
6466 import Bar
6467
6468 f x = x
6469
6470 $(deriveStuff 'f)   -- Uses the $(...) notation
6471
6472 g y = y+1
6473
6474 deriveStuff 'g      -- Omits the $(...)
6475
6476 h z = z-1
6477 </programlisting>
6478             This abbreviation makes top-level declaration slices quieter and less intimidating.
6479             </para></listitem>
6480
6481                   
6482         </itemizedlist>
6483 (Compared to the original paper, there are many differences of detail.
6484 The syntax for a declaration splice uses "<literal>$</literal>" not "<literal>splice</literal>".
6485 The type of the enclosed expression must be  <literal>Q [Dec]</literal>, not  <literal>[Q Dec]</literal>.
6486 Pattern splices and quotations are not implemented.)
6487
6488 </sect2>
6489
6490 <sect2>  <title> Using Template Haskell </title>
6491 <para>
6492 <itemizedlist>
6493     <listitem><para>
6494     The data types and monadic constructor functions for Template Haskell are in the library
6495     <literal>Language.Haskell.THSyntax</literal>.
6496     </para></listitem>
6497
6498     <listitem><para>
6499     You can only run a function at compile time if it is imported from another module.  That is,
6500             you can't define a function in a module, and call it from within a splice in the same module.
6501             (It would make sense to do so, but it's hard to implement.)
6502    </para></listitem>
6503
6504    <listitem><para>
6505    You can only run a function at compile time if it is imported
6506    from another module <emphasis>that is not part of a mutually-recursive group of modules
6507    that includes the module currently being compiled</emphasis>.  Furthermore, all of the modules of 
6508    the mutually-recursive group must be reachable by non-SOURCE imports from the module where the
6509    splice is to be run.</para>
6510    <para>
6511    For example, when compiling module A,
6512    you can only run Template Haskell functions imported from B if B does not import A (directly or indirectly).
6513    The reason should be clear: to run B we must compile and run A, but we are currently type-checking A.
6514    </para></listitem>
6515
6516     <listitem><para>
6517             The flag <literal>-ddump-splices</literal> shows the expansion of all top-level splices as they happen.
6518    </para></listitem>
6519     <listitem><para>
6520             If you are building GHC from source, you need at least a stage-2 bootstrap compiler to
6521               run Template Haskell.  A stage-1 compiler will reject the TH constructs.  Reason: TH
6522               compiles and runs a program, and then looks at the result.  So it's important that
6523               the program it compiles produces results whose representations are identical to
6524               those of the compiler itself.
6525    </para></listitem>
6526 </itemizedlist>
6527 </para>
6528 <para> Template Haskell works in any mode (<literal>--make</literal>, <literal>--interactive</literal>,
6529         or file-at-a-time).  There used to be a restriction to the former two, but that restriction 
6530         has been lifted.
6531 </para>
6532 </sect2>
6533  
6534 <sect2 id="th-example">  <title> A Template Haskell Worked Example </title>
6535 <para>To help you get over the confidence barrier, try out this skeletal worked example.
6536   First cut and paste the two modules below into "Main.hs" and "Printf.hs":</para>
6537
6538 <programlisting>
6539
6540 {- Main.hs -}
6541 module Main where
6542
6543 -- Import our template "pr"
6544 import Printf ( pr )
6545
6546 -- The splice operator $ takes the Haskell source code
6547 -- generated at compile time by "pr" and splices it into
6548 -- the argument of "putStrLn".
6549 main = putStrLn ( $(pr "Hello") )
6550
6551
6552 {- Printf.hs -}
6553 module Printf where
6554
6555 -- Skeletal printf from the paper.
6556 -- It needs to be in a separate module to the one where
6557 -- you intend to use it.
6558
6559 -- Import some Template Haskell syntax
6560 import Language.Haskell.TH
6561
6562 -- Describe a format string
6563 data Format = D | S | L String
6564
6565 -- Parse a format string.  This is left largely to you
6566 -- as we are here interested in building our first ever
6567 -- Template Haskell program and not in building printf.
6568 parse :: String -> [Format]
6569 parse s   = [ L s ]
6570
6571 -- Generate Haskell source code from a parsed representation
6572 -- of the format string.  This code will be spliced into
6573 -- the module which calls "pr", at compile time.
6574 gen :: [Format] -> Q Exp
6575 gen [D]   = [| \n -> show n |]
6576 gen [S]   = [| \s -> s |]
6577 gen [L s] = stringE s
6578
6579 -- Here we generate the Haskell code for the splice
6580 -- from an input format string.
6581 pr :: String -> Q Exp
6582 pr s = gen (parse s)
6583 </programlisting>
6584
6585 <para>Now run the compiler (here we are a Cygwin prompt on Windows):
6586 </para>
6587 <programlisting>
6588 $ ghc --make -XTemplateHaskell main.hs -o main.exe
6589 </programlisting>
6590
6591 <para>Run "main.exe" and here is your output:</para>
6592
6593 <programlisting>
6594 $ ./main
6595 Hello
6596 </programlisting>
6597
6598 </sect2>
6599
6600 <sect2>
6601 <title>Using Template Haskell with Profiling</title>
6602 <indexterm><primary>profiling</primary><secondary>with Template Haskell</secondary></indexterm>
6603  
6604 <para>Template Haskell relies on GHC's built-in bytecode compiler and
6605 interpreter to run the splice expressions.  The bytecode interpreter
6606 runs the compiled expression on top of the same runtime on which GHC
6607 itself is running; this means that the compiled code referred to by
6608 the interpreted expression must be compatible with this runtime, and
6609 in particular this means that object code that is compiled for
6610 profiling <emphasis>cannot</emphasis> be loaded and used by a splice
6611 expression, because profiled object code is only compatible with the
6612 profiling version of the runtime.</para>
6613
6614 <para>This causes difficulties if you have a multi-module program
6615 containing Template Haskell code and you need to compile it for
6616 profiling, because GHC cannot load the profiled object code and use it
6617 when executing the splices.  Fortunately GHC provides a workaround.
6618 The basic idea is to compile the program twice:</para>
6619
6620 <orderedlist>
6621 <listitem>
6622   <para>Compile the program or library first the normal way, without
6623   <option>-prof</option><indexterm><primary><option>-prof</option></primary></indexterm>.</para>
6624 </listitem>
6625 <listitem>
6626   <para>Then compile it again with <option>-prof</option>, and
6627   additionally use <option>-osuf
6628   p_o</option><indexterm><primary><option>-osuf</option></primary></indexterm>
6629   to name the object files differently (you can choose any suffix
6630   that isn't the normal object suffix here).  GHC will automatically
6631   load the object files built in the first step when executing splice
6632   expressions.  If you omit the <option>-osuf</option> flag when
6633   building with <option>-prof</option> and Template Haskell is used,
6634   GHC will emit an error message. </para>
6635 </listitem>
6636 </orderedlist>
6637 </sect2>
6638
6639 <sect2 id="th-quasiquotation">  <title> Template Haskell Quasi-quotation </title>
6640 <para>Quasi-quotation allows patterns and expressions to be written using
6641 programmer-defined concrete syntax; the motivation behind the extension and
6642 several examples are documented in
6643 "<ulink url="http://www.eecs.harvard.edu/~mainland/ghc-quasiquoting/">Why It's
6644 Nice to be Quoted: Quasiquoting for Haskell</ulink>" (Proc Haskell Workshop
6645 2007). The example below shows how to write a quasiquoter for a simple
6646 expression language.</para>
6647 <para>
6648 Here are the salient features
6649 <itemizedlist>
6650 <listitem><para>
6651 A quasi-quote has the form
6652 <literal>[<replaceable>quoter</replaceable>| <replaceable>string</replaceable> |]</literal>.
6653 <itemizedlist>
6654 <listitem><para>
6655 The <replaceable>quoter</replaceable> must be the (unqualified) name of an imported 
6656 quoter; it cannot be an arbitrary expression.  
6657 </para></listitem>
6658 <listitem><para>
6659 The <replaceable>quoter</replaceable> cannot be "<literal>e</literal>", 
6660 "<literal>t</literal>", "<literal>d</literal>", or "<literal>p</literal>", since
6661 those overlap with Template Haskell quotations.
6662 </para></listitem>
6663 <listitem><para>
6664 There must be no spaces in the token
6665 <literal>[<replaceable>quoter</replaceable>|</literal>.
6666 </para></listitem>
6667 <listitem><para>
6668 The quoted <replaceable>string</replaceable> 
6669 can be arbitrary, and may contain newlines.
6670 </para></listitem>
6671 </itemizedlist>
6672 </para></listitem>
6673
6674 <listitem><para>
6675 A quasiquote may appear in place of
6676 <itemizedlist>
6677 <listitem><para>An expression</para></listitem>
6678 <listitem><para>A pattern</para></listitem>
6679 <listitem><para>A type</para></listitem>
6680 <listitem><para>A top-level declaration</para></listitem>
6681 </itemizedlist>
6682 (Only the first two are described in the paper.)
6683 </para></listitem>
6684
6685 <listitem><para>
6686 A quoter is a value of type <literal>Language.Haskell.TH.Quote.QuasiQuoter</literal>, 
6687 which is defined thus:
6688 <programlisting>
6689 data QuasiQuoter = QuasiQuoter { quoteExp  :: String -> Q Exp,
6690                                  quotePat  :: String -> Q Pat,
6691                                  quoteType :: String -> Q Type,
6692                                  quoteDec  :: String -> Q [Dec] }
6693 </programlisting>
6694 That is, a quoter is a tuple of four parsers, one for each of the contexts
6695 in which a quasi-quote can occur.
6696 </para></listitem>
6697 <listitem><para>
6698 A quasi-quote is expanded by applying the appropriate parser to the string
6699 enclosed by the Oxford brackets.  The context of the quasi-quote (expression, pattern,
6700 type, declaration) determines which of the parsers is called.
6701 </para></listitem>
6702 </itemizedlist>
6703 </para>
6704 <para>
6705 The example below shows quasi-quotation in action.  The quoter <literal>expr</literal>
6706 is bound to a value of type <literal>QuasiQuoter</literal> defined in module <literal>Expr</literal>.
6707 The example makes use of an antiquoted
6708 variable <literal>n</literal>, indicated by the syntax <literal>'int:n</literal>
6709 (this syntax for anti-quotation was defined by the parser's
6710 author, <emphasis>not</emphasis> by GHC). This binds <literal>n</literal> to the
6711 integer value argument of the constructor <literal>IntExpr</literal> when
6712 pattern matching. Please see the referenced paper for further details regarding
6713 anti-quotation as well as the description of a technique that uses SYB to
6714 leverage a single parser of type <literal>String -> a</literal> to generate both
6715 an expression parser that returns a value of type <literal>Q Exp</literal> and a
6716 pattern parser that returns a value of type <literal>Q Pat</literal>.
6717 </para>
6718
6719 <para>
6720 Quasiquoters must obey the same stage restrictions as Template Haskell, e.g., in
6721 the example, <literal>expr</literal> cannot be defined
6722 in <literal>Main.hs</literal> where it is used, but must be imported.
6723 </para>
6724
6725 <programlisting>
6726 {- ------------- file Main.hs --------------- -}
6727 module Main where
6728
6729 import Expr
6730
6731 main :: IO ()
6732 main = do { print $ eval [expr|1 + 2|]
6733           ; case IntExpr 1 of
6734               { [expr|'int:n|] -> print n
6735               ;  _              -> return ()
6736               }
6737           }
6738
6739
6740 {- ------------- file Expr.hs --------------- -}
6741 module Expr where
6742
6743 import qualified Language.Haskell.TH as TH
6744 import Language.Haskell.TH.Quote
6745
6746 data Expr  =  IntExpr Integer
6747            |  AntiIntExpr String
6748            |  BinopExpr BinOp Expr Expr
6749            |  AntiExpr String
6750     deriving(Show, Typeable, Data)
6751
6752 data BinOp  =  AddOp
6753             |  SubOp
6754             |  MulOp
6755             |  DivOp
6756     deriving(Show, Typeable, Data)
6757
6758 eval :: Expr -> Integer
6759 eval (IntExpr n)        = n
6760 eval (BinopExpr op x y) = (opToFun op) (eval x) (eval y)
6761   where
6762     opToFun AddOp = (+)
6763     opToFun SubOp = (-)
6764     opToFun MulOp = (*)
6765     opToFun DivOp = div
6766
6767 expr = QuasiQuoter { quoteExp = parseExprExp, quotePat =  parseExprPat }
6768
6769 -- Parse an Expr, returning its representation as
6770 -- either a Q Exp or a Q Pat. See the referenced paper
6771 -- for how to use SYB to do this by writing a single
6772 -- parser of type String -> Expr instead of two
6773 -- separate parsers.
6774
6775 parseExprExp :: String -> Q Exp
6776 parseExprExp ...
6777
6778 parseExprPat :: String -> Q Pat
6779 parseExprPat ...
6780 </programlisting>
6781
6782 <para>Now run the compiler:
6783 <programlisting>
6784 $ ghc --make -XQuasiQuotes Main.hs -o main
6785 </programlisting>
6786 </para>
6787
6788 <para>Run "main" and here is your output:
6789 <programlisting>
6790 $ ./main
6791 3
6792 1
6793 </programlisting>
6794 </para>
6795 </sect2>
6796
6797 </sect1>
6798
6799 <!-- ===================== Arrow notation ===================  -->
6800
6801 <sect1 id="arrow-notation">
6802 <title>Arrow notation
6803 </title>
6804
6805 <para>Arrows are a generalization of monads introduced by John Hughes.
6806 For more details, see
6807 <itemizedlist>
6808
6809 <listitem>
6810 <para>
6811 &ldquo;Generalising Monads to Arrows&rdquo;,
6812 John Hughes, in <citetitle>Science of Computer Programming</citetitle> 37,
6813 pp67&ndash;111, May 2000.
6814 The paper that introduced arrows: a friendly introduction, motivated with
6815 programming examples.
6816 </para>
6817 </listitem>
6818
6819 <listitem>
6820 <para>
6821 &ldquo;<ulink url="http://www.soi.city.ac.uk/~ross/papers/notation.html">A New Notation for Arrows</ulink>&rdquo;,
6822 Ross Paterson, in <citetitle>ICFP</citetitle>, Sep 2001.
6823 Introduced the notation described here.
6824 </para>
6825 </listitem>
6826
6827 <listitem>
6828 <para>
6829 &ldquo;<ulink url="http://www.soi.city.ac.uk/~ross/papers/fop.html">Arrows and Computation</ulink>&rdquo;,
6830 Ross Paterson, in <citetitle>The Fun of Programming</citetitle>,
6831 Palgrave, 2003.
6832 </para>
6833 </listitem>
6834
6835 <listitem>
6836 <para>
6837 &ldquo;<ulink url="http://www.cs.chalmers.se/~rjmh/afp-arrows.pdf">Programming with Arrows</ulink>&rdquo;,
6838 John Hughes, in <citetitle>5th International Summer School on
6839 Advanced Functional Programming</citetitle>,
6840 <citetitle>Lecture Notes in Computer Science</citetitle> vol. 3622,
6841 Springer, 2004.
6842 This paper includes another introduction to the notation,
6843 with practical examples.
6844 </para>
6845 </listitem>
6846
6847 <listitem>
6848 <para>
6849 &ldquo;<ulink url="http://www.haskell.org/ghc/docs/papers/arrow-rules.pdf">Type and Translation Rules for Arrow Notation in GHC</ulink>&rdquo;,
6850 Ross Paterson and Simon Peyton Jones, September 16, 2004.
6851 A terse enumeration of the formal rules used
6852 (extracted from comments in the source code).
6853 </para>
6854 </listitem>
6855
6856 <listitem>
6857 <para>
6858 The arrows web page at
6859 <ulink url="http://www.haskell.org/arrows/"><literal>http://www.haskell.org/arrows/</literal></ulink>.
6860 </para>
6861 </listitem>
6862
6863 </itemizedlist>
6864 With the <option>-XArrows</option> flag, GHC supports the arrow
6865 notation described in the second of these papers,
6866 translating it using combinators from the
6867 <ulink url="&libraryBaseLocation;/Control-Arrow.html"><literal>Control.Arrow</literal></ulink>
6868 module.
6869 What follows is a brief introduction to the notation;
6870 it won't make much sense unless you've read Hughes's paper.
6871 </para>
6872
6873 <para>The extension adds a new kind of expression for defining arrows:
6874 <screen>
6875 <replaceable>exp</replaceable><superscript>10</superscript> ::= ...
6876        |  proc <replaceable>apat</replaceable> -> <replaceable>cmd</replaceable>
6877 </screen>
6878 where <literal>proc</literal> is a new keyword.
6879 The variables of the pattern are bound in the body of the 
6880 <literal>proc</literal>-expression,
6881 which is a new sort of thing called a <firstterm>command</firstterm>.
6882 The syntax of commands is as follows:
6883 <screen>
6884 <replaceable>cmd</replaceable>   ::= <replaceable>exp</replaceable><superscript>10</superscript> -&lt;  <replaceable>exp</replaceable>
6885        |  <replaceable>exp</replaceable><superscript>10</superscript> -&lt;&lt; <replaceable>exp</replaceable>
6886        |  <replaceable>cmd</replaceable><superscript>0</superscript>
6887 </screen>
6888 with <replaceable>cmd</replaceable><superscript>0</superscript> up to
6889 <replaceable>cmd</replaceable><superscript>9</superscript> defined using
6890 infix operators as for expressions, and
6891 <screen>
6892 <replaceable>cmd</replaceable><superscript>10</superscript> ::= \ <replaceable>apat</replaceable> ... <replaceable>apat</replaceable> -> <replaceable>cmd</replaceable>
6893        |  let <replaceable>decls</replaceable> in <replaceable>cmd</replaceable>
6894        |  if <replaceable>exp</replaceable> then <replaceable>cmd</replaceable> else <replaceable>cmd</replaceable>
6895        |  case <replaceable>exp</replaceable> of { <replaceable>calts</replaceable> }
6896        |  do { <replaceable>cstmt</replaceable> ; ... <replaceable>cstmt</replaceable> ; <replaceable>cmd</replaceable> }
6897        |  <replaceable>fcmd</replaceable>
6898
6899 <replaceable>fcmd</replaceable>  ::= <replaceable>fcmd</replaceable> <replaceable>aexp</replaceable>
6900        |  ( <replaceable>cmd</replaceable> )
6901        |  (| <replaceable>aexp</replaceable> <replaceable>cmd</replaceable> ... <replaceable>cmd</replaceable> |)
6902
6903 <replaceable>cstmt</replaceable> ::= let <replaceable>decls</replaceable>
6904        |  <replaceable>pat</replaceable> &lt;- <replaceable>cmd</replaceable>
6905        |  rec { <replaceable>cstmt</replaceable> ; ... <replaceable>cstmt</replaceable> [;] }
6906        |  <replaceable>cmd</replaceable>
6907 </screen>
6908 where <replaceable>calts</replaceable> are like <replaceable>alts</replaceable>
6909 except that the bodies are commands instead of expressions.
6910 </para>
6911
6912 <para>
6913 Commands produce values, but (like monadic computations)
6914 may yield more than one value,
6915 or none, and may do other things as well.
6916 For the most part, familiarity with monadic notation is a good guide to
6917 using commands.
6918 However the values of expressions, even monadic ones,
6919 are determined by the values of the variables they contain;
6920 this is not necessarily the case for commands.
6921 </para>
6922
6923 <para>
6924 A simple example of the new notation is the expression
6925 <screen>
6926 proc x -> f -&lt; x+1
6927 </screen>
6928 We call this a <firstterm>procedure</firstterm> or
6929 <firstterm>arrow abstraction</firstterm>.
6930 As with a lambda expression, the variable <literal>x</literal>
6931 is a new variable bound within the <literal>proc</literal>-expression.
6932 It refers to the input to the arrow.
6933 In the above example, <literal>-&lt;</literal> is not an identifier but an
6934 new reserved symbol used for building commands from an expression of arrow
6935 type and an expression to be fed as input to that arrow.
6936 (The weird look will make more sense later.)
6937 It may be read as analogue of application for arrows.
6938 The above example is equivalent to the Haskell expression
6939 <screen>
6940 arr (\ x -> x+1) >>> f
6941 </screen>
6942 That would make no sense if the expression to the left of
6943 <literal>-&lt;</literal> involves the bound variable <literal>x</literal>.
6944 More generally, the expression to the left of <literal>-&lt;</literal>
6945 may not involve any <firstterm>local variable</firstterm>,
6946 i.e. a variable bound in the current arrow abstraction.
6947 For such a situation there is a variant <literal>-&lt;&lt;</literal>, as in
6948 <screen>
6949 proc x -> f x -&lt;&lt; x+1
6950 </screen>
6951 which is equivalent to
6952 <screen>
6953 arr (\ x -> (f x, x+1)) >>> app
6954 </screen>
6955 so in this case the arrow must belong to the <literal>ArrowApply</literal>
6956 class.
6957 Such an arrow is equivalent to a monad, so if you're using this form
6958 you may find a monadic formulation more convenient.
6959 </para>
6960
6961 <sect2>
6962 <title>do-notation for commands</title>
6963
6964 <para>
6965 Another form of command is a form of <literal>do</literal>-notation.
6966 For example, you can write
6967 <screen>
6968 proc x -> do
6969         y &lt;- f -&lt; x+1
6970         g -&lt; 2*y
6971         let z = x+y
6972         t &lt;- h -&lt; x*z
6973         returnA -&lt; t+z
6974 </screen>
6975 You can read this much like ordinary <literal>do</literal>-notation,
6976 but with commands in place of monadic expressions.
6977 The first line sends the value of <literal>x+1</literal> as an input to
6978 the arrow <literal>f</literal>, and matches its output against
6979 <literal>y</literal>.
6980 In the next line, the output is discarded.
6981 The arrow <function>returnA</function> is defined in the
6982 <ulink url="&libraryBaseLocation;/Control-Arrow.html"><literal>Control.Arrow</literal></ulink>
6983 module as <literal>arr id</literal>.
6984 The above example is treated as an abbreviation for
6985 <screen>
6986 arr (\ x -> (x, x)) >>>
6987         first (arr (\ x -> x+1) >>> f) >>>
6988         arr (\ (y, x) -> (y, (x, y))) >>>
6989         first (arr (\ y -> 2*y) >>> g) >>>
6990         arr snd >>>
6991         arr (\ (x, y) -> let z = x+y in ((x, z), z)) >>>
6992         first (arr (\ (x, z) -> x*z) >>> h) >>>
6993         arr (\ (t, z) -> t+z) >>>
6994         returnA
6995 </screen>
6996 Note that variables not used later in the composition are projected out.
6997 After simplification using rewrite rules (see <xref linkend="rewrite-rules"/>)
6998 defined in the
6999 <ulink url="&libraryBaseLocation;/Control-Arrow.html"><literal>Control.Arrow</literal></ulink>
7000 module, this reduces to
7001 <screen>
7002 arr (\ x -> (x+1, x)) >>>
7003         first f >>>
7004         arr (\ (y, x) -> (2*y, (x, y))) >>>
7005         first g >>>
7006         arr (\ (_, (x, y)) -> let z = x+y in (x*z, z)) >>>
7007         first h >>>
7008         arr (\ (t, z) -> t+z)
7009 </screen>
7010 which is what you might have written by hand.
7011 With arrow notation, GHC keeps track of all those tuples of variables for you.
7012 </para>
7013
7014 <para>
7015 Note that although the above translation suggests that
7016 <literal>let</literal>-bound variables like <literal>z</literal> must be
7017 monomorphic, the actual translation produces Core,
7018 so polymorphic variables are allowed.
7019 </para>
7020
7021 <para>
7022 It's also possible to have mutually recursive bindings,
7023 using the new <literal>rec</literal> keyword, as in the following example:
7024 <programlisting>
7025 counter :: ArrowCircuit a => a Bool Int
7026 counter = proc reset -> do
7027         rec     output &lt;- returnA -&lt; if reset then 0 else next
7028                 next &lt;- delay 0 -&lt; output+1
7029         returnA -&lt; output
7030 </programlisting>
7031 The translation of such forms uses the <function>loop</function> combinator,
7032 so the arrow concerned must belong to the <literal>ArrowLoop</literal> class.
7033 </para>
7034
7035 </sect2>
7036
7037 <sect2>
7038 <title>Conditional commands</title>
7039
7040 <para>
7041 In the previous example, we used a conditional expression to construct the
7042 input for an arrow.
7043 Sometimes we want to conditionally execute different commands, as in
7044 <screen>
7045 proc (x,y) ->
7046         if f x y
7047         then g -&lt; x+1
7048         else h -&lt; y+2
7049 </screen>
7050 which is translated to
7051 <screen>
7052 arr (\ (x,y) -> if f x y then Left x else Right y) >>>
7053         (arr (\x -> x+1) >>> f) ||| (arr (\y -> y+2) >>> g)
7054 </screen>
7055 Since the translation uses <function>|||</function>,
7056 the arrow concerned must belong to the <literal>ArrowChoice</literal> class.
7057 </para>
7058
7059 <para>
7060 There are also <literal>case</literal> commands, like
7061 <screen>
7062 case input of
7063     [] -> f -&lt; ()
7064     [x] -> g -&lt; x+1
7065     x1:x2:xs -> do
7066         y &lt;- h -&lt; (x1, x2)
7067         ys &lt;- k -&lt; xs
7068         returnA -&lt; y:ys
7069 </screen>
7070 The syntax is the same as for <literal>case</literal> expressions,
7071 except that the bodies of the alternatives are commands rather than expressions.
7072 The translation is similar to that of <literal>if</literal> commands.
7073 </para>
7074
7075 </sect2>
7076
7077 <sect2>
7078 <title>Defining your own control structures</title>
7079
7080 <para>
7081 As we're seen, arrow notation provides constructs,
7082 modelled on those for expressions,
7083 for sequencing, value recursion and conditionals.
7084 But suitable combinators,
7085 which you can define in ordinary Haskell,
7086 may also be used to build new commands out of existing ones.
7087 The basic idea is that a command defines an arrow from environments to values.
7088 These environments assign values to the free local variables of the command.
7089 Thus combinators that produce arrows from arrows
7090 may also be used to build commands from commands.
7091 For example, the <literal>ArrowChoice</literal> class includes a combinator
7092 <programlisting>
7093 ArrowChoice a => (&lt;+>) :: a e c -> a e c -> a e c
7094 </programlisting>
7095 so we can use it to build commands:
7096 <programlisting>
7097 expr' = proc x -> do
7098                 returnA -&lt; x
7099         &lt;+> do
7100                 symbol Plus -&lt; ()
7101                 y &lt;- term -&lt; ()
7102                 expr' -&lt; x + y
7103         &lt;+> do
7104                 symbol Minus -&lt; ()
7105                 y &lt;- term -&lt; ()
7106                 expr' -&lt; x - y
7107 </programlisting>
7108 (The <literal>do</literal> on the first line is needed to prevent the first
7109 <literal>&lt;+> ...</literal> from being interpreted as part of the
7110 expression on the previous line.)
7111 This is equivalent to
7112 <programlisting>
7113 expr' = (proc x -> returnA -&lt; x)
7114         &lt;+> (proc x -> do
7115                 symbol Plus -&lt; ()
7116                 y &lt;- term -&lt; ()
7117                 expr' -&lt; x + y)
7118         &lt;+> (proc x -> do
7119                 symbol Minus -&lt; ()
7120                 y &lt;- term -&lt; ()
7121                 expr' -&lt; x - y)
7122 </programlisting>
7123 It is essential that this operator be polymorphic in <literal>e</literal>
7124 (representing the environment input to the command
7125 and thence to its subcommands)
7126 and satisfy the corresponding naturality property
7127 <screen>
7128 arr k >>> (f &lt;+> g) = (arr k >>> f) &lt;+> (arr k >>> g)
7129 </screen>
7130 at least for strict <literal>k</literal>.
7131 (This should be automatic if you're not using <function>seq</function>.)
7132 This ensures that environments seen by the subcommands are environments
7133 of the whole command,
7134 and also allows the translation to safely trim these environments.
7135 The operator must also not use any variable defined within the current
7136 arrow abstraction.
7137 </para>
7138
7139 <para>
7140 We could define our own operator
7141 <programlisting>
7142 untilA :: ArrowChoice a => a e () -> a e Bool -> a e ()
7143 untilA body cond = proc x ->
7144         b &lt;- cond -&lt; x
7145         if b then returnA -&lt; ()
7146         else do
7147                 body -&lt; x
7148                 untilA body cond -&lt; x
7149 </programlisting>
7150 and use it in the same way.
7151 Of course this infix syntax only makes sense for binary operators;
7152 there is also a more general syntax involving special brackets:
7153 <screen>
7154 proc x -> do
7155         y &lt;- f -&lt; x+1
7156         (|untilA (increment -&lt; x+y) (within 0.5 -&lt; x)|)
7157 </screen>
7158 </para>
7159
7160 </sect2>
7161
7162 <sect2>
7163 <title>Primitive constructs</title>
7164
7165 <para>
7166 Some operators will need to pass additional inputs to their subcommands.
7167 For example, in an arrow type supporting exceptions,
7168 the operator that attaches an exception handler will wish to pass the
7169 exception that occurred to the handler.
7170 Such an operator might have a type
7171 <screen>
7172 handleA :: ... => a e c -> a (e,Ex) c -> a e c
7173 </screen>
7174 where <literal>Ex</literal> is the type of exceptions handled.
7175 You could then use this with arrow notation by writing a command
7176 <screen>
7177 body `handleA` \ ex -> handler
7178 </screen>
7179 so that if an exception is raised in the command <literal>body</literal>,
7180 the variable <literal>ex</literal> is bound to the value of the exception
7181 and the command <literal>handler</literal>,
7182 which typically refers to <literal>ex</literal>, is entered.
7183 Though the syntax here looks like a functional lambda,
7184 we are talking about commands, and something different is going on.
7185 The input to the arrow represented by a command consists of values for
7186 the free local variables in the command, plus a stack of anonymous values.
7187 In all the prior examples, this stack was empty.
7188 In the second argument to <function>handleA</function>,
7189 this stack consists of one value, the value of the exception.
7190 The command form of lambda merely gives this value a name.
7191 </para>
7192
7193 <para>
7194 More concretely,
7195 the values on the stack are paired to the right of the environment.
7196 So operators like <function>handleA</function> that pass
7197 extra inputs to their subcommands can be designed for use with the notation
7198 by pairing the values with the environment in this way.
7199 More precisely, the type of each argument of the operator (and its result)
7200 should have the form
7201 <screen>
7202 a (...(e,t1), ... tn) t
7203 </screen>
7204 where <replaceable>e</replaceable> is a polymorphic variable
7205 (representing the environment)
7206 and <replaceable>ti</replaceable> are the types of the values on the stack,
7207 with <replaceable>t1</replaceable> being the <quote>top</quote>.
7208 The polymorphic variable <replaceable>e</replaceable> must not occur in
7209 <replaceable>a</replaceable>, <replaceable>ti</replaceable> or
7210 <replaceable>t</replaceable>.
7211 However the arrows involved need not be the same.
7212 Here are some more examples of suitable operators:
7213 <screen>
7214 bracketA :: ... => a e b -> a (e,b) c -> a (e,c) d -> a e d
7215 runReader :: ... => a e c -> a' (e,State) c
7216 runState :: ... => a e c -> a' (e,State) (c,State)
7217 </screen>
7218 We can supply the extra input required by commands built with the last two
7219 by applying them to ordinary expressions, as in
7220 <screen>
7221 proc x -> do
7222         s &lt;- ...
7223         (|runReader (do { ... })|) s
7224 </screen>
7225 which adds <literal>s</literal> to the stack of inputs to the command
7226 built using <function>runReader</function>.
7227 </para>
7228
7229 <para>
7230 The command versions of lambda abstraction and application are analogous to
7231 the expression versions.
7232 In particular, the beta and eta rules describe equivalences of commands.
7233 These three features (operators, lambda abstraction and application)
7234 are the core of the notation; everything else can be built using them,
7235 though the results would be somewhat clumsy.
7236 For example, we could simulate <literal>do</literal>-notation by defining
7237 <programlisting>
7238 bind :: Arrow a => a e b -> a (e,b) c -> a e c
7239 u `bind` f = returnA &amp;&amp;&amp; u >>> f
7240
7241 bind_ :: Arrow a => a e b -> a e c -> a e c
7242 u `bind_` f = u `bind` (arr fst >>> f)
7243 </programlisting>
7244 We could simulate <literal>if</literal> by defining
7245 <programlisting>
7246 cond :: ArrowChoice a => a e b -> a e b -> a (e,Bool) b
7247 cond f g = arr (\ (e,b) -> if b then Left e else Right e) >>> f ||| g
7248 </programlisting>
7249 </para>
7250
7251 </sect2>
7252
7253 <sect2>
7254 <title>Differences with the paper</title>
7255
7256 <itemizedlist>
7257
7258 <listitem>
7259 <para>Instead of a single form of arrow application (arrow tail) with two
7260 translations, the implementation provides two forms
7261 <quote><literal>-&lt;</literal></quote> (first-order)
7262 and <quote><literal>-&lt;&lt;</literal></quote> (higher-order).
7263 </para>
7264 </listitem>
7265
7266 <listitem>
7267 <para>User-defined operators are flagged with banana brackets instead of
7268 a new <literal>form</literal> keyword.
7269 </para>
7270 </listitem>
7271
7272 </itemizedlist>
7273
7274 </sect2>
7275
7276 <sect2>
7277 <title>Portability</title>
7278
7279 <para>
7280 Although only GHC implements arrow notation directly,
7281 there is also a preprocessor
7282 (available from the 
7283 <ulink url="http://www.haskell.org/arrows/">arrows web page</ulink>)
7284 that translates arrow notation into Haskell 98
7285 for use with other Haskell systems.
7286 You would still want to check arrow programs with GHC;
7287 tracing type errors in the preprocessor output is not easy.
7288 Modules intended for both GHC and the preprocessor must observe some
7289 additional restrictions:
7290 <itemizedlist>
7291
7292 <listitem>
7293 <para>
7294 The module must import
7295 <ulink url="&libraryBaseLocation;/Control-Arrow.html"><literal>Control.Arrow</literal></ulink>.
7296 </para>
7297 </listitem>
7298
7299 <listitem>
7300 <para>
7301 The preprocessor cannot cope with other Haskell extensions.
7302 These would have to go in separate modules.
7303 </para>
7304 </listitem>
7305
7306 <listitem>
7307 <para>
7308 Because the preprocessor targets Haskell (rather than Core),
7309 <literal>let</literal>-bound variables are monomorphic.
7310 </para>
7311 </listitem>
7312
7313 </itemizedlist>
7314 </para>
7315
7316 </sect2>
7317
7318 </sect1>
7319
7320 <!-- ==================== BANG PATTERNS =================  -->
7321
7322 <sect1 id="bang-patterns">
7323 <title>Bang patterns
7324 <indexterm><primary>Bang patterns</primary></indexterm>
7325 </title>
7326 <para>GHC supports an extension of pattern matching called <emphasis>bang
7327 patterns</emphasis>, written <literal>!<replaceable>pat</replaceable></literal>.   
7328 Bang patterns are under consideration for Haskell Prime.
7329 The <ulink
7330 url="http://hackage.haskell.org/trac/haskell-prime/wiki/BangPatterns">Haskell
7331 prime feature description</ulink> contains more discussion and examples
7332 than the material below.
7333 </para>
7334 <para>
7335 The key change is the addition of a new rule to the 
7336 <ulink url="http://haskell.org/onlinereport/exps.html#sect3.17.2">semantics of pattern matching in the Haskell 98 report</ulink>.
7337 Add new bullet 10, saying: Matching the pattern <literal>!</literal><replaceable>pat</replaceable> 
7338 against a value <replaceable>v</replaceable> behaves as follows:
7339 <itemizedlist>
7340 <listitem><para>if <replaceable>v</replaceable> is bottom, the match diverges</para></listitem>
7341 <listitem><para>otherwise, <replaceable>pat</replaceable> is matched against <replaceable>v</replaceable>  </para></listitem>
7342 </itemizedlist>
7343 </para>
7344 <para>
7345 Bang patterns are enabled by the flag <option>-XBangPatterns</option>.
7346 </para>
7347
7348 <sect2 id="bang-patterns-informal">
7349 <title>Informal description of bang patterns
7350 </title>
7351 <para>
7352 The main idea is to add a single new production to the syntax of patterns:
7353 <programlisting>
7354   pat ::= !pat
7355 </programlisting>
7356 Matching an expression <literal>e</literal> against a pattern <literal>!p</literal> is done by first
7357 evaluating <literal>e</literal> (to WHNF) and then matching the result against <literal>p</literal>.
7358 Example:
7359 <programlisting>
7360 f1 !x = True
7361 </programlisting>
7362 This definition makes <literal>f1</literal> is strict in <literal>x</literal>,
7363 whereas without the bang it would be lazy.
7364 Bang patterns can be nested of course:
7365 <programlisting>
7366 f2 (!x, y) = [x,y]
7367 </programlisting>
7368 Here, <literal>f2</literal> is strict in <literal>x</literal> but not in
7369 <literal>y</literal>.  
7370 A bang only really has an effect if it precedes a variable or wild-card pattern:
7371 <programlisting>
7372 f3 !(x,y) = [x,y]
7373 f4 (x,y)  = [x,y]
7374 </programlisting>
7375 Here, <literal>f3</literal> and <literal>f4</literal> are identical; 
7376 putting a bang before a pattern that
7377 forces evaluation anyway does nothing.
7378 </para>
7379 <para>
7380 There is one (apparent) exception to this general rule that a bang only
7381 makes a difference when it precedes a variable or wild-card: a bang at the
7382 top level of a <literal>let</literal> or <literal>where</literal>
7383 binding makes the binding strict, regardless of the pattern.
7384 (We say "apparent" exception because the Right Way to think of it is that the bang
7385 at the top of a binding is not part of the <emphasis>pattern</emphasis>; rather it
7386 is part of the syntax of the <emphasis>binding</emphasis>,
7387 creating a "bang-pattern binding".)
7388 For example:
7389 <programlisting>
7390 let ![x,y] = e in b
7391 </programlisting>
7392 is a bang-pattern binding. Operationally, it behaves just like a case expression:
7393 <programlisting>
7394 case e of [x,y] -> b
7395 </programlisting>
7396 Like a case expression, a bang-pattern binding must be non-recursive, and
7397 is monomorphic.
7398
7399 However, <emphasis>nested</emphasis> bangs in a pattern binding behave uniformly with all other forms of
7400 pattern matching.  For example
7401 <programlisting>
7402 let (!x,[y]) = e in b
7403 </programlisting>
7404 is equivalent to this:
7405 <programlisting>
7406 let { t = case e of (x,[y]) -> x `seq` (x,y)
7407       x = fst t
7408       y = snd t }
7409 in b
7410 </programlisting>
7411 The binding is lazy, but when either <literal>x</literal> or <literal>y</literal> is
7412 evaluated by <literal>b</literal> the entire pattern is matched, including forcing the
7413 evaluation of <literal>x</literal>.
7414 </para>
7415 <para>
7416 Bang patterns work in <literal>case</literal> expressions too, of course:
7417 <programlisting>
7418 g5 x = let y = f x in body
7419 g6 x = case f x of { y -&gt; body }
7420 g7 x = case f x of { !y -&gt; body }
7421 </programlisting>
7422 The functions <literal>g5</literal> and <literal>g6</literal> mean exactly the same thing.  
7423 But <literal>g7</literal> evaluates <literal>(f x)</literal>, binds <literal>y</literal> to the
7424 result, and then evaluates <literal>body</literal>.
7425 </para>
7426 </sect2>
7427
7428
7429 <sect2 id="bang-patterns-sem">
7430 <title>Syntax and semantics
7431 </title>
7432 <para>
7433
7434 We add a single new production to the syntax of patterns:
7435 <programlisting>
7436   pat ::= !pat
7437 </programlisting>
7438 There is one problem with syntactic ambiguity.  Consider:
7439 <programlisting>
7440 f !x = 3
7441 </programlisting>
7442 Is this a definition of the infix function "<literal>(!)</literal>",
7443 or of the "<literal>f</literal>" with a bang pattern? GHC resolves this
7444 ambiguity in favour of the latter.  If you want to define
7445 <literal>(!)</literal> with bang-patterns enabled, you have to do so using
7446 prefix notation:
7447 <programlisting>
7448 (!) f x = 3
7449 </programlisting>
7450 The semantics of Haskell pattern matching is described in <ulink
7451 url="http://www.haskell.org/onlinereport/exps.html#sect3.17.2">
7452 Section 3.17.2</ulink> of the Haskell Report.  To this description add 
7453 one extra item 10, saying:
7454 <itemizedlist><listitem><para>Matching
7455 the pattern <literal>!pat</literal> against a value <literal>v</literal> behaves as follows:
7456 <itemizedlist><listitem><para>if <literal>v</literal> is bottom, the match diverges</para></listitem>
7457                 <listitem><para>otherwise, <literal>pat</literal> is matched against
7458                 <literal>v</literal></para></listitem>
7459 </itemizedlist>
7460 </para></listitem></itemizedlist>
7461 Similarly, in Figure 4 of  <ulink url="http://www.haskell.org/onlinereport/exps.html#sect3.17.3">
7462 Section 3.17.3</ulink>, add a new case (t):
7463 <programlisting>
7464 case v of { !pat -> e; _ -> e' }
7465    = v `seq` case v of { pat -> e; _ -> e' }
7466 </programlisting>
7467 </para><para>
7468 That leaves let expressions, whose translation is given in 
7469 <ulink url="http://www.haskell.org/onlinereport/exps.html#sect3.12">Section
7470 3.12</ulink>
7471 of the Haskell Report.
7472 In the translation box, first apply 
7473 the following transformation:  for each pattern <literal>pi</literal> that is of 
7474 form <literal>!qi = ei</literal>, transform it to <literal>(xi,!qi) = ((),ei)</literal>, and and replace <literal>e0</literal> 
7475 by <literal>(xi `seq` e0)</literal>.  Then, when none of the left-hand-side patterns
7476 have a bang at the top, apply the rules in the existing box.
7477 </para>
7478 <para>The effect of the let rule is to force complete matching of the pattern
7479 <literal>qi</literal> before evaluation of the body is begun.  The bang is
7480 retained in the translated form in case <literal>qi</literal> is a variable,
7481 thus:
7482 <programlisting>
7483   let !y = f x in b
7484 </programlisting>
7485
7486 </para>
7487 <para>
7488 The let-binding can be recursive.  However, it is much more common for
7489 the let-binding to be non-recursive, in which case the following law holds:
7490 <literal>(let !p = rhs in body)</literal>
7491      is equivalent to
7492 <literal>(case rhs of !p -> body)</literal>
7493 </para>
7494 <para>
7495 A pattern with a bang at the outermost level is not allowed at the top level of
7496 a module.
7497 </para>
7498 </sect2>
7499 </sect1>
7500
7501 <!-- ==================== ASSERTIONS =================  -->
7502
7503 <sect1 id="assertions">
7504 <title>Assertions
7505 <indexterm><primary>Assertions</primary></indexterm>
7506 </title>
7507
7508 <para>
7509 If you want to make use of assertions in your standard Haskell code, you
7510 could define a function like the following:
7511 </para>
7512
7513 <para>
7514
7515 <programlisting>
7516 assert :: Bool -> a -> a
7517 assert False x = error "assertion failed!"
7518 assert _     x = x
7519 </programlisting>
7520
7521 </para>
7522
7523 <para>
7524 which works, but gives you back a less than useful error message --
7525 an assertion failed, but which and where?
7526 </para>
7527
7528 <para>
7529 One way out is to define an extended <function>assert</function> function which also
7530 takes a descriptive string to include in the error message and
7531 perhaps combine this with the use of a pre-processor which inserts
7532 the source location where <function>assert</function> was used.
7533 </para>
7534
7535 <para>
7536 Ghc offers a helping hand here, doing all of this for you. For every
7537 use of <function>assert</function> in the user's source:
7538 </para>
7539
7540 <para>
7541
7542 <programlisting>
7543 kelvinToC :: Double -> Double
7544 kelvinToC k = assert (k &gt;= 0.0) (k+273.15)
7545 </programlisting>
7546
7547 </para>
7548
7549 <para>
7550 Ghc will rewrite this to also include the source location where the
7551 assertion was made,
7552 </para>
7553
7554 <para>
7555
7556 <programlisting>
7557 assert pred val ==> assertError "Main.hs|15" pred val
7558 </programlisting>
7559
7560 </para>
7561
7562 <para>
7563 The rewrite is only performed by the compiler when it spots
7564 applications of <function>Control.Exception.assert</function>, so you
7565 can still define and use your own versions of
7566 <function>assert</function>, should you so wish. If not, import
7567 <literal>Control.Exception</literal> to make use
7568 <function>assert</function> in your code.
7569 </para>
7570
7571 <para>
7572 GHC ignores assertions when optimisation is turned on with the
7573       <option>-O</option><indexterm><primary><option>-O</option></primary></indexterm> flag.  That is, expressions of the form
7574 <literal>assert pred e</literal> will be rewritten to
7575 <literal>e</literal>.  You can also disable assertions using the
7576       <option>-fignore-asserts</option>
7577       option<indexterm><primary><option>-fignore-asserts</option></primary>
7578       </indexterm>.</para>
7579
7580 <para>
7581 Assertion failures can be caught, see the documentation for the
7582 <literal>Control.Exception</literal> library for the details.
7583 </para>
7584
7585 </sect1>
7586
7587
7588 <!-- =============================== PRAGMAS ===========================  -->
7589
7590   <sect1 id="pragmas">
7591     <title>Pragmas</title>
7592
7593     <indexterm><primary>pragma</primary></indexterm>
7594
7595     <para>GHC supports several pragmas, or instructions to the
7596     compiler placed in the source code.  Pragmas don't normally affect
7597     the meaning of the program, but they might affect the efficiency
7598     of the generated code.</para>
7599
7600     <para>Pragmas all take the form
7601
7602 <literal>{-# <replaceable>word</replaceable> ... #-}</literal>  
7603
7604     where <replaceable>word</replaceable> indicates the type of
7605     pragma, and is followed optionally by information specific to that
7606     type of pragma.  Case is ignored in
7607     <replaceable>word</replaceable>.  The various values for
7608     <replaceable>word</replaceable> that GHC understands are described
7609     in the following sections; any pragma encountered with an
7610     unrecognised <replaceable>word</replaceable> is
7611     ignored. The layout rule applies in pragmas, so the closing <literal>#-}</literal>
7612     should start in a column to the right of the opening <literal>{-#</literal>. </para> 
7613
7614     <para>Certain pragmas are <emphasis>file-header pragmas</emphasis>:
7615       <itemizedlist>
7616       <listitem><para>
7617           A file-header
7618           pragma must precede the <literal>module</literal> keyword in the file.
7619           </para></listitem>
7620       <listitem><para>
7621       There can be as many file-header pragmas as you please, and they can be
7622       preceded or followed by comments.  
7623           </para></listitem>
7624       <listitem><para>
7625       File-header pragmas are read once only, before
7626       pre-processing the file (e.g. with cpp).
7627           </para></listitem>
7628       <listitem><para>
7629          The file-header pragmas are: <literal>{-# LANGUAGE #-}</literal>,
7630         <literal>{-# OPTIONS_GHC #-}</literal>, and
7631         <literal>{-# INCLUDE #-}</literal>.
7632           </para></listitem>
7633       </itemizedlist>
7634       </para>
7635
7636     <sect2 id="language-pragma">
7637       <title>LANGUAGE pragma</title>
7638
7639       <indexterm><primary>LANGUAGE</primary><secondary>pragma</secondary></indexterm>
7640       <indexterm><primary>pragma</primary><secondary>LANGUAGE</secondary></indexterm>
7641
7642       <para>The <literal>LANGUAGE</literal> pragma allows language extensions to be enabled 
7643         in a portable way.
7644         It is the intention that all Haskell compilers support the
7645         <literal>LANGUAGE</literal> pragma with the same syntax, although not
7646         all extensions are supported by all compilers, of
7647         course.  The <literal>LANGUAGE</literal> pragma should be used instead
7648         of <literal>OPTIONS_GHC</literal>, if possible.</para>
7649
7650       <para>For example, to enable the FFI and preprocessing with CPP:</para>
7651
7652 <programlisting>{-# LANGUAGE ForeignFunctionInterface, CPP #-}</programlisting>
7653
7654         <para><literal>LANGUAGE</literal> is a file-header pragma (see <xref linkend="pragmas"/>).</para>
7655
7656       <para>Every language extension can also be turned into a command-line flag
7657         by prefixing it with "<literal>-X</literal>"; for example <option>-XForeignFunctionInterface</option>.
7658         (Similarly, all "<literal>-X</literal>" flags can be written as <literal>LANGUAGE</literal> pragmas.
7659       </para>
7660
7661       <para>A list of all supported language extensions can be obtained by invoking
7662         <literal>ghc --supported-extensions</literal> (see <xref linkend="modes"/>).</para>
7663
7664       <para>Any extension from the <literal>Extension</literal> type defined in
7665         <ulink
7666           url="&libraryCabalLocation;/Language-Haskell-Extension.html"><literal>Language.Haskell.Extension</literal></ulink>
7667         may be used.  GHC will report an error if any of the requested extensions are not supported.</para>
7668     </sect2>
7669
7670
7671     <sect2 id="options-pragma">
7672       <title>OPTIONS_GHC pragma</title>
7673       <indexterm><primary>OPTIONS_GHC</primary>
7674       </indexterm>
7675       <indexterm><primary>pragma</primary><secondary>OPTIONS_GHC</secondary>
7676       </indexterm>
7677
7678       <para>The <literal>OPTIONS_GHC</literal> pragma is used to specify
7679       additional options that are given to the compiler when compiling
7680       this source file.  See <xref linkend="source-file-options"/> for
7681       details.</para>
7682
7683       <para>Previous versions of GHC accepted <literal>OPTIONS</literal> rather
7684         than <literal>OPTIONS_GHC</literal>, but that is now deprecated.</para>
7685     </sect2>
7686
7687         <para><literal>OPTIONS_GHC</literal> is a file-header pragma (see <xref linkend="pragmas"/>).</para>
7688
7689     <sect2 id="include-pragma">
7690       <title>INCLUDE pragma</title>
7691
7692       <para>The <literal>INCLUDE</literal> used to be necessary for
7693         specifying header files to be included when using the FFI and
7694         compiling via C.  It is no longer required for GHC, but is
7695         accepted (and ignored) for compatibility with other
7696         compilers.</para>
7697     </sect2>
7698
7699     <sect2 id="warning-deprecated-pragma">
7700       <title>WARNING and DEPRECATED pragmas</title>
7701       <indexterm><primary>WARNING</primary></indexterm>
7702       <indexterm><primary>DEPRECATED</primary></indexterm>
7703
7704       <para>The WARNING pragma allows you to attach an arbitrary warning
7705       to a particular function, class, or type.
7706       A DEPRECATED pragma lets you specify that
7707       a particular function, class, or type is deprecated.
7708       There are two ways of using these pragmas.
7709
7710       <itemizedlist>
7711         <listitem>
7712           <para>You can work on an entire module thus:</para>
7713 <programlisting>
7714    module Wibble {-# DEPRECATED "Use Wobble instead" #-} where
7715      ...
7716 </programlisting>
7717       <para>Or:</para>
7718 <programlisting>
7719    module Wibble {-# WARNING "This is an unstable interface." #-} where
7720      ...
7721 </programlisting>
7722           <para>When you compile any module that import
7723           <literal>Wibble</literal>, GHC will print the specified
7724           message.</para>
7725         </listitem>
7726
7727         <listitem>
7728           <para>You can attach a warning to a function, class, type, or data constructor, with the
7729           following top-level declarations:</para>
7730 <programlisting>
7731    {-# DEPRECATED f, C, T "Don't use these" #-}
7732    {-# WARNING unsafePerformIO "This is unsafe; I hope you know what you're doing" #-}
7733 </programlisting>
7734           <para>When you compile any module that imports and uses any
7735           of the specified entities, GHC will print the specified
7736           message.</para>
7737           <para> You can only attach to entities declared at top level in the module
7738           being compiled, and you can only use unqualified names in the list of
7739           entities. A capitalised name, such as <literal>T</literal>
7740           refers to <emphasis>either</emphasis> the type constructor <literal>T</literal>
7741           <emphasis>or</emphasis> the data constructor <literal>T</literal>, or both if
7742           both are in scope.  If both are in scope, there is currently no way to
7743       specify one without the other (c.f. fixities
7744       <xref linkend="infix-tycons"/>).</para>
7745         </listitem>
7746       </itemizedlist>
7747       Warnings and deprecations are not reported for
7748       (a) uses within the defining module, and
7749       (b) uses in an export list.
7750       The latter reduces spurious complaints within a library
7751       in which one module gathers together and re-exports 
7752       the exports of several others.
7753       </para>
7754       <para>You can suppress the warnings with the flag
7755       <option>-fno-warn-warnings-deprecations</option>.</para>
7756     </sect2>
7757
7758     <sect2 id="inline-noinline-pragma">
7759       <title>INLINE and NOINLINE pragmas</title>
7760
7761       <para>These pragmas control the inlining of function
7762       definitions.</para>
7763
7764       <sect3 id="inline-pragma">
7765         <title>INLINE pragma</title>
7766         <indexterm><primary>INLINE</primary></indexterm>
7767
7768         <para>GHC (with <option>-O</option>, as always) tries to
7769         inline (or &ldquo;unfold&rdquo;) functions/values that are
7770         &ldquo;small enough,&rdquo; thus avoiding the call overhead
7771         and possibly exposing other more-wonderful optimisations.
7772         Normally, if GHC decides a function is &ldquo;too
7773         expensive&rdquo; to inline, it will not do so, nor will it
7774         export that unfolding for other modules to use.</para>
7775
7776         <para>The sledgehammer you can bring to bear is the
7777         <literal>INLINE</literal><indexterm><primary>INLINE
7778         pragma</primary></indexterm> pragma, used thusly:</para>
7779
7780 <programlisting>
7781 key_function :: Int -> String -> (Bool, Double)
7782 {-# INLINE key_function #-}
7783 </programlisting>
7784
7785         <para>The major effect of an <literal>INLINE</literal> pragma
7786         is to declare a function's &ldquo;cost&rdquo; to be very low.
7787         The normal unfolding machinery will then be very keen to
7788         inline it.  However, an <literal>INLINE</literal> pragma for a 
7789         function "<literal>f</literal>" has a number of other effects:
7790 <itemizedlist>
7791 <listitem><para>
7792 While GHC is keen to inline the function, it does not do so
7793 blindly.  For example, if you write
7794 <programlisting>
7795 map key_function xs
7796 </programlisting>
7797 there really isn't any point in inlining <literal>key_function</literal> to get
7798 <programlisting>
7799 map (\x -> <replaceable>body</replaceable>) xs
7800 </programlisting>
7801 In general, GHC only inlines the function if there is some reason (no matter
7802 how slight) to supose that it is useful to do so.
7803 </para></listitem>
7804
7805 <listitem><para>
7806 Moreover, GHC will only inline the function if it is <emphasis>fully applied</emphasis>, 
7807 where "fully applied"
7808 means applied to as many arguments as appear (syntactically) 
7809 on the LHS of the function
7810 definition.  For example:
7811 <programlisting>
7812 comp1 :: (b -> c) -> (a -> b) -> a -> c
7813 {-# INLINE comp1 #-}
7814 comp1 f g = \x -> f (g x)
7815
7816 comp2 :: (b -> c) -> (a -> b) -> a -> c
7817 {-# INLINE comp2 #-}
7818 comp2 f g x = f (g x)
7819 </programlisting>
7820 The two functions <literal>comp1</literal> and <literal>comp2</literal> have the 
7821 same semantics, but <literal>comp1</literal> will be inlined when applied
7822 to <emphasis>two</emphasis> arguments, while <literal>comp2</literal> requires
7823 <emphasis>three</emphasis>.  This might make a big difference if you say
7824 <programlisting>
7825 map (not `comp1` not) xs
7826 </programlisting>
7827 which will optimise better than the corresponding use of `comp2`.
7828 </para></listitem>
7829
7830 <listitem><para> 
7831 It is useful for GHC to optimise the definition of an
7832 INLINE function <literal>f</literal> just like any other non-INLINE function, 
7833 in case the non-inlined version of <literal>f</literal> is
7834 ultimately called.  But we don't want to inline 
7835 the <emphasis>optimised</emphasis> version
7836 of <literal>f</literal>;
7837 a major reason for INLINE pragmas is to expose functions 
7838 in <literal>f</literal>'s RHS that have
7839 rewrite rules, and it's no good if those functions have been optimised
7840 away.
7841 </para>
7842 <para>
7843 So <emphasis>GHC guarantees to inline precisely the code that you wrote</emphasis>, no more
7844 and no less.  It does this by capturing a copy of the definition of the function to use
7845 for inlining (we call this the "inline-RHS"), which it leaves untouched,
7846 while optimising the ordinarly RHS as usual.  For externally-visible functions
7847 the inline-RHS (not the optimised RHS) is recorded in the interface file.
7848 </para></listitem>
7849 <listitem><para>
7850 An INLINE function is not worker/wrappered by strictness analysis.
7851 It's going to be inlined wholesale instead.
7852 </para></listitem>
7853 </itemizedlist>
7854 </para>
7855 <para>GHC ensures that inlining cannot go on forever: every mutually-recursive
7856 group is cut by one or more <emphasis>loop breakers</emphasis> that is never inlined
7857 (see <ulink url="http://research.microsoft.com/%7Esimonpj/Papers/inlining/index.htm">
7858 Secrets of the GHC inliner, JFP 12(4) July 2002</ulink>).
7859 GHC tries not to select a function with an INLINE pragma as a loop breaker, but
7860 when there is no choice even an INLINE function can be selected, in which case
7861 the INLINE pragma is ignored.
7862 For example, for a self-recursive function, the loop breaker can only be the function
7863 itself, so an INLINE pragma is always ignored.</para>
7864
7865         <para>Syntactically, an <literal>INLINE</literal> pragma for a
7866         function can be put anywhere its type signature could be
7867         put.</para>
7868
7869         <para><literal>INLINE</literal> pragmas are a particularly
7870         good idea for the
7871         <literal>then</literal>/<literal>return</literal> (or
7872         <literal>bind</literal>/<literal>unit</literal>) functions in
7873         a monad.  For example, in GHC's own
7874         <literal>UniqueSupply</literal> monad code, we have:</para>
7875
7876 <programlisting>
7877 {-# INLINE thenUs #-}
7878 {-# INLINE returnUs #-}
7879 </programlisting>
7880
7881         <para>See also the <literal>NOINLINE</literal> (<xref linkend="inlinable-pragma"/>) 
7882         and <literal>INLINABLE</literal> (<xref linkend="noinline-pragma"/>) 
7883         pragmas.</para>
7884
7885         <para>Note: the HBC compiler doesn't like <literal>INLINE</literal> pragmas,
7886           so if you want your code to be HBC-compatible you'll have to surround
7887           the pragma with C pre-processor directives 
7888           <literal>#ifdef __GLASGOW_HASKELL__</literal>...<literal>#endif</literal>.</para>
7889
7890       </sect3>
7891
7892       <sect3 id="inlinable-pragma">
7893         <title>INLINABLE pragma</title>
7894
7895 <para>An <literal>{-# INLINABLE f #-}</literal> pragma on a
7896 function <literal>f</literal> has the following behaviour:
7897 <itemizedlist>
7898 <listitem><para>
7899 While <literal>INLINE</literal> says "please inline me", the <literal>INLINABLE</literal>
7900 says "feel free to inline me; use your
7901 discretion".  In other words the choice is left to GHC, which uses the same
7902 rules as for pragma-free functions.  Unlike <literal>INLINE</literal>, that decision is made at
7903 the <emphasis>call site</emphasis>, and
7904 will therefore be affected by the inlining threshold, optimisation level etc.
7905 </para></listitem>
7906 <listitem><para>
7907 Like <literal>INLINE</literal>, the <literal>INLINABLE</literal> pragma retains a
7908 copy of the original RHS for
7909 inlining purposes, and persists it in the interface file, regardless of
7910 the size of the RHS.
7911 </para></listitem>
7912
7913 <listitem><para>
7914 One way to use <literal>INLINABLE</literal> is in conjunction with
7915 the special function <literal>inline</literal> (<xref linkend="special-ids"/>).
7916 The call <literal>inline f</literal> tries very hard to inline <literal>f</literal>.
7917 To make sure that <literal>f</literal> can be inlined,
7918 it is a good idea to mark the definition
7919 of <literal>f</literal> as <literal>INLINABLE</literal>,
7920 so that GHC guarantees to expose an unfolding regardless of how big it is.
7921 Moreover, by annotating <literal>f</literal> as <literal>INLINABLE</literal>,
7922 you ensure that <literal>f</literal>'s original RHS is inlined, rather than
7923 whatever random optimised version of <literal>f</literal> GHC's optimiser
7924 has produced.
7925 </para></listitem>
7926
7927 <listitem><para>
7928 The <literal>INLINABLE</literal> pragma also works with <literal>SPECIALISE</literal>:
7929 if you mark function <literal>f</literal> as <literal>INLINABLE</literal>, then
7930 you can subsequently <literal>SPECIALISE</literal> in another module
7931 (see <xref linkend="specialize-pragma"/>).</para></listitem>
7932
7933 <listitem><para>
7934 Unlike <literal>INLINE</literal>, it is OK to use
7935 an <literal>INLINABLE</literal> pragma on a recursive function.
7936 The principal reason do to so to allow later use of <literal>SPECIALISE</literal>
7937 </para></listitem>
7938 </itemizedlist>
7939 </para>
7940
7941       </sect3>
7942
7943       <sect3 id="noinline-pragma">
7944         <title>NOINLINE pragma</title>
7945         
7946         <indexterm><primary>NOINLINE</primary></indexterm>
7947         <indexterm><primary>NOTINLINE</primary></indexterm>
7948
7949         <para>The <literal>NOINLINE</literal> pragma does exactly what
7950         you'd expect: it stops the named function from being inlined
7951         by the compiler.  You shouldn't ever need to do this, unless
7952         you're very cautious about code size.</para>
7953
7954         <para><literal>NOTINLINE</literal> is a synonym for
7955         <literal>NOINLINE</literal> (<literal>NOINLINE</literal> is
7956         specified by Haskell 98 as the standard way to disable
7957         inlining, so it should be used if you want your code to be
7958         portable).</para>
7959       </sect3>
7960
7961       <sect3 id="conlike-pragma">
7962         <title>CONLIKE modifier</title>
7963         <indexterm><primary>CONLIKE</primary></indexterm>
7964         <para>An INLINE or NOINLINE pragma may have a CONLIKE modifier, 
7965         which affects matching in RULEs (only).  See <xref linkend="conlike"/>.
7966         </para>
7967       </sect3>
7968
7969       <sect3 id="phase-control">
7970         <title>Phase control</title>
7971
7972         <para> Sometimes you want to control exactly when in GHC's
7973         pipeline the INLINE pragma is switched on.  Inlining happens
7974         only during runs of the <emphasis>simplifier</emphasis>.  Each
7975         run of the simplifier has a different <emphasis>phase
7976         number</emphasis>; the phase number decreases towards zero.
7977         If you use <option>-dverbose-core2core</option> you'll see the
7978         sequence of phase numbers for successive runs of the
7979         simplifier.  In an INLINE pragma you can optionally specify a
7980         phase number, thus:
7981         <itemizedlist>
7982           <listitem>
7983             <para>"<literal>INLINE[k] f</literal>" means: do not inline
7984             <literal>f</literal>
7985               until phase <literal>k</literal>, but from phase
7986               <literal>k</literal> onwards be very keen to inline it.
7987             </para></listitem>
7988           <listitem>
7989             <para>"<literal>INLINE[~k] f</literal>" means: be very keen to inline
7990             <literal>f</literal>
7991               until phase <literal>k</literal>, but from phase
7992               <literal>k</literal> onwards do not inline it.
7993             </para></listitem>
7994           <listitem>
7995             <para>"<literal>NOINLINE[k] f</literal>" means: do not inline
7996             <literal>f</literal>
7997               until phase <literal>k</literal>, but from phase
7998               <literal>k</literal> onwards be willing to inline it (as if
7999               there was no pragma).
8000             </para></listitem>
8001             <listitem>
8002             <para>"<literal>NOINLINE[~k] f</literal>" means: be willing to inline
8003             <literal>f</literal>
8004               until phase <literal>k</literal>, but from phase
8005               <literal>k</literal> onwards do not inline it.
8006             </para></listitem>
8007         </itemizedlist>
8008 The same information is summarised here:
8009 <programlisting>
8010                            -- Before phase 2     Phase 2 and later
8011   {-# INLINE   [2]  f #-}  --      No                 Yes
8012   {-# INLINE   [~2] f #-}  --      Yes                No
8013   {-# NOINLINE [2]  f #-}  --      No                 Maybe
8014   {-# NOINLINE [~2] f #-}  --      Maybe              No
8015
8016   {-# INLINE   f #-}       --      Yes                Yes
8017   {-# NOINLINE f #-}       --      No                 No
8018 </programlisting>
8019 By "Maybe" we mean that the usual heuristic inlining rules apply (if the
8020 function body is small, or it is applied to interesting-looking arguments etc).
8021 Another way to understand the semantics is this:
8022 <itemizedlist>
8023 <listitem><para>For both INLINE and NOINLINE, the phase number says
8024 when inlining is allowed at all.</para></listitem>
8025 <listitem><para>The INLINE pragma has the additional effect of making the
8026 function body look small, so that when inlining is allowed it is very likely to
8027 happen.
8028 </para></listitem>
8029 </itemizedlist>
8030 </para>
8031 <para>The same phase-numbering control is available for RULES
8032         (<xref linkend="rewrite-rules"/>).</para>
8033       </sect3>
8034     </sect2>
8035
8036     <sect2 id="annotation-pragmas">
8037       <title>ANN pragmas</title>
8038       
8039       <para>GHC offers the ability to annotate various code constructs with additional
8040       data by using three pragmas.  This data can then be inspected at a later date by
8041       using GHC-as-a-library.</para>
8042             
8043       <sect3 id="ann-pragma">
8044         <title>Annotating values</title>
8045         
8046         <indexterm><primary>ANN</primary></indexterm>
8047         
8048         <para>Any expression that has both <literal>Typeable</literal> and <literal>Data</literal> instances may be attached to a top-level value
8049         binding using an <literal>ANN</literal> pragma. In particular, this means you can use <literal>ANN</literal>
8050         to annotate data constructors (e.g. <literal>Just</literal>) as well as normal values (e.g. <literal>take</literal>).
8051         By way of example, to annotate the function <literal>foo</literal> with the annotation <literal>Just "Hello"</literal>
8052         you would do this:</para>
8053         
8054 <programlisting>
8055 {-# ANN foo (Just "Hello") #-}
8056 foo = ...
8057 </programlisting>
8058         
8059         <para>
8060           A number of restrictions apply to use of annotations:
8061           <itemizedlist>
8062             <listitem><para>The binder being annotated must be at the top level (i.e. no nested binders)</para></listitem>
8063             <listitem><para>The binder being annotated must be declared in the current module</para></listitem>
8064             <listitem><para>The expression you are annotating with must have a type with <literal>Typeable</literal> and <literal>Data</literal> instances</para></listitem>
8065             <listitem><para>The <ulink linkend="using-template-haskell">Template Haskell staging restrictions</ulink> apply to the
8066             expression being annotated with, so for example you cannot run a function from the module being compiled.</para>
8067             
8068             <para>To be precise, the annotation <literal>{-# ANN x e #-}</literal> is well staged if and only if <literal>$(e)</literal> would be 
8069             (disregarding the usual type restrictions of the splice syntax, and the usual restriction on splicing inside a splice - <literal>$([|1|])</literal> is fine as an annotation, albeit redundant).</para></listitem>
8070           </itemizedlist>
8071           
8072           If you feel strongly that any of these restrictions are too onerous, <ulink url="http://hackage.haskell.org/trac/ghc/wiki/MailingListsAndIRC">
8073           please give the GHC team a shout</ulink>.
8074         </para>
8075         
8076         <para>However, apart from these restrictions, many things are allowed, including expressions which are not fully evaluated!
8077         Annotation expressions will be evaluated by the compiler just like Template Haskell splices are. So, this annotation is fine:</para>
8078         
8079 <programlisting>
8080 {-# ANN f SillyAnnotation { foo = (id 10) + $([| 20 |]), bar = 'f } #-}
8081 f = ...
8082 </programlisting>
8083       </sect3>
8084       
8085       <sect3 id="typeann-pragma">
8086         <title>Annotating types</title>
8087         
8088         <indexterm><primary>ANN type</primary></indexterm>
8089         <indexterm><primary>ANN</primary></indexterm>
8090         
8091         <para>You can annotate types with the <literal>ANN</literal> pragma by using the <literal>type</literal> keyword. For example:</para>
8092         
8093 <programlisting>
8094 {-# ANN type Foo (Just "A `Maybe String' annotation") #-}
8095 data Foo = ...
8096 </programlisting>
8097       </sect3>
8098       
8099       <sect3 id="modann-pragma">
8100         <title>Annotating modules</title>
8101         
8102         <indexterm><primary>ANN module</primary></indexterm>
8103         <indexterm><primary>ANN</primary></indexterm>
8104         
8105         <para>You can annotate modules with the <literal>ANN</literal> pragma by using the <literal>module</literal> keyword. For example:</para>
8106         
8107 <programlisting>
8108 {-# ANN module (Just "A `Maybe String' annotation") #-}
8109 </programlisting>
8110       </sect3>
8111     </sect2>
8112
8113     <sect2 id="line-pragma">
8114       <title>LINE pragma</title>
8115
8116       <indexterm><primary>LINE</primary><secondary>pragma</secondary></indexterm>
8117       <indexterm><primary>pragma</primary><secondary>LINE</secondary></indexterm>
8118       <para>This pragma is similar to C's <literal>&num;line</literal>
8119       pragma, and is mainly for use in automatically generated Haskell
8120       code.  It lets you specify the line number and filename of the
8121       original code; for example</para>
8122
8123 <programlisting>{-# LINE 42 "Foo.vhs" #-}</programlisting>
8124
8125       <para>if you'd generated the current file from something called
8126       <filename>Foo.vhs</filename> and this line corresponds to line
8127       42 in the original.  GHC will adjust its error messages to refer
8128       to the line/file named in the <literal>LINE</literal>
8129       pragma.</para>
8130     </sect2>
8131
8132     <sect2 id="rules">
8133       <title>RULES pragma</title>
8134
8135       <para>The RULES pragma lets you specify rewrite rules.  It is
8136       described in <xref linkend="rewrite-rules"/>.</para>
8137     </sect2>
8138
8139     <sect2 id="specialize-pragma">
8140       <title>SPECIALIZE pragma</title>
8141
8142       <indexterm><primary>SPECIALIZE pragma</primary></indexterm>
8143       <indexterm><primary>pragma, SPECIALIZE</primary></indexterm>
8144       <indexterm><primary>overloading, death to</primary></indexterm>
8145
8146       <para>(UK spelling also accepted.)  For key overloaded
8147       functions, you can create extra versions (NB: more code space)
8148       specialised to particular types.  Thus, if you have an
8149       overloaded function:</para>
8150
8151 <programlisting>
8152   hammeredLookup :: Ord key => [(key, value)] -> key -> value
8153 </programlisting>
8154
8155       <para>If it is heavily used on lists with
8156       <literal>Widget</literal> keys, you could specialise it as
8157       follows:</para>
8158
8159 <programlisting>
8160   {-# SPECIALIZE hammeredLookup :: [(Widget, value)] -> Widget -> value #-}
8161 </programlisting>
8162
8163       <para>A <literal>SPECIALIZE</literal> pragma for a function can
8164       be put anywhere its type signature could be put.</para>
8165
8166       <para>A <literal>SPECIALIZE</literal> has the effect of generating
8167       (a) a specialised version of the function and (b) a rewrite rule
8168       (see <xref linkend="rewrite-rules"/>) that rewrites a call to the
8169       un-specialised function into a call to the specialised one.</para>
8170
8171       <para>The type in a SPECIALIZE pragma can be any type that is less
8172         polymorphic than the type of the original function.  In concrete terms,
8173         if the original function is <literal>f</literal> then the pragma
8174 <programlisting>
8175   {-# SPECIALIZE f :: &lt;type&gt; #-}
8176 </programlisting>
8177       is valid if and only if the definition
8178 <programlisting>
8179   f_spec :: &lt;type&gt;
8180   f_spec = f
8181 </programlisting>
8182       is valid.  Here are some examples (where we only give the type signature
8183       for the original function, not its code):
8184 <programlisting>
8185   f :: Eq a => a -> b -> b
8186   {-# SPECIALISE f :: Int -> b -> b #-}
8187
8188   g :: (Eq a, Ix b) => a -> b -> b
8189   {-# SPECIALISE g :: (Eq a) => a -> Int -> Int #-}
8190
8191   h :: Eq a => a -> a -> a
8192   {-# SPECIALISE h :: (Eq a) => [a] -> [a] -> [a] #-}
8193 </programlisting>
8194 The last of these examples will generate a 
8195 RULE with a somewhat-complex left-hand side (try it yourself), so it might not fire very
8196 well.  If you use this kind of specialisation, let us know how well it works.
8197 </para>
8198
8199     <sect3 id="specialize-inline">
8200       <title>SPECIALIZE INLINE</title>
8201
8202 <para>A <literal>SPECIALIZE</literal> pragma can optionally be followed with a
8203 <literal>INLINE</literal> or <literal>NOINLINE</literal> pragma, optionally 
8204 followed by a phase, as described in <xref linkend="inline-noinline-pragma"/>.
8205 The <literal>INLINE</literal> pragma affects the specialised version of the
8206 function (only), and applies even if the function is recursive.  The motivating
8207 example is this:
8208 <programlisting>
8209 -- A GADT for arrays with type-indexed representation
8210 data Arr e where
8211   ArrInt :: !Int -> ByteArray# -> Arr Int
8212   ArrPair :: !Int -> Arr e1 -> Arr e2 -> Arr (e1, e2)
8213
8214 (!:) :: Arr e -> Int -> e
8215 {-# SPECIALISE INLINE (!:) :: Arr Int -> Int -> Int #-}
8216 {-# SPECIALISE INLINE (!:) :: Arr (a, b) -> Int -> (a, b) #-}
8217 (ArrInt _ ba)     !: (I# i) = I# (indexIntArray# ba i)
8218 (ArrPair _ a1 a2) !: i      = (a1 !: i, a2 !: i)
8219 </programlisting>
8220 Here, <literal>(!:)</literal> is a recursive function that indexes arrays
8221 of type <literal>Arr e</literal>.  Consider a call to  <literal>(!:)</literal>
8222 at type <literal>(Int,Int)</literal>.  The second specialisation will fire, and
8223 the specialised function will be inlined.  It has two calls to
8224 <literal>(!:)</literal>,
8225 both at type <literal>Int</literal>.  Both these calls fire the first
8226 specialisation, whose body is also inlined.  The result is a type-based
8227 unrolling of the indexing function.</para>
8228 <para>Warning: you can make GHC diverge by using <literal>SPECIALISE INLINE</literal>
8229 on an ordinarily-recursive function.</para>
8230 </sect3>
8231
8232 <sect3><title>SPECIALIZE for imported functions</title>
8233
8234 <para>
8235 Generally, you can only give a <literal>SPECIALIZE</literal> pragma
8236 for a function defined in the same module.
8237 However if a function <literal>f</literal> is given an <literal>INLINABLE</literal>
8238 pragma at its definition site, then it can subequently be specialised by
8239 importing modules (see <xref linkend="inlinable-pragma"/>).
8240 For example
8241 <programlisting>
8242 module Map( lookup, blah blah ) where
8243   lookup :: Ord key => [(key,a)] -> key -> Maybe a
8244   lookup = ...
8245   {-# INLINABLE lookup #-}
8246
8247 module Client where
8248   import Map( lookup )
8249
8250   data T = T1 | T2 deriving( Eq, Ord )
8251   {-# SPECIALISE lookup :: [(T,a)] -> T -> Maybe a
8252 </programlisting>
8253 Here, <literal>lookup</literal> is declared <literal>INLINABLE</literal>, but
8254 it cannot be specialised for type <literal>T</literal> at its definition site,
8255 because that type does not exist yet.  Instead a client module can define <literal>T</literal>
8256 and then specialise <literal>lookup</literal> at that type.
8257 </para>
8258 <para>
8259 Moreover, every module that imports <literal>Client</literal> (or imports a module
8260 that imports <literal>Client</literal>, transitively) will "see", and make use of,
8261 the specialised version of <literal>lookup</literal>.  You don't need to put
8262 a <literal>SPECIALIZE</literal> pragma in every module.
8263 </para>
8264 <para>
8265 Moreover you often don't even need the <literal>SPECIALIZE</literal> pragma in the
8266 first place. When compiling a module M,
8267 GHC's optimiser (with -O) automatically considers each top-level
8268 overloaded function declared in M, and specialises it
8269 for the different types at which it is called in M.  The optimiser
8270 <emphasis>also</emphasis> considers each <emphasis>imported</emphasis>
8271 <literal>INLINABLE</literal> overloaded function, and specialises it
8272 for the different types at which it is called in M.
8273 So in our example, it would be enough for <literal>lookup</literal> to
8274 be called at type <literal>T</literal>:
8275 <programlisting>
8276 module Client where
8277   import Map( lookup )
8278
8279   data T = T1 | T2 deriving( Eq, Ord )
8280
8281   findT1 :: [(T,a)] -> Maybe a
8282   findT1 m = lookup m T1   -- A call of lookup at type T
8283 </programlisting>
8284 However, sometimes there are no such calls, in which case the
8285 pragma can be useful.
8286 </para>
8287 </sect3>
8288
8289 <sect3><title>Obselete SPECIALIZE syntax</title>
8290
8291       <para>Note: In earlier versions of GHC, it was possible to provide your own
8292       specialised function for a given type:
8293
8294 <programlisting>
8295 {-# SPECIALIZE hammeredLookup :: [(Int, value)] -> Int -> value = intLookup #-}
8296 </programlisting>
8297
8298       This feature has been removed, as it is now subsumed by the
8299       <literal>RULES</literal> pragma (see <xref linkend="rule-spec"/>).</para>
8300 </sect3>
8301
8302     </sect2>
8303
8304 <sect2 id="specialize-instance-pragma">
8305 <title>SPECIALIZE instance pragma
8306 </title>
8307
8308 <para>
8309 <indexterm><primary>SPECIALIZE pragma</primary></indexterm>
8310 <indexterm><primary>overloading, death to</primary></indexterm>
8311 Same idea, except for instance declarations.  For example:
8312
8313 <programlisting>
8314 instance (Eq a) => Eq (Foo a) where { 
8315    {-# SPECIALIZE instance Eq (Foo [(Int, Bar)]) #-}
8316    ... usual stuff ...
8317  }
8318 </programlisting>
8319 The pragma must occur inside the <literal>where</literal> part
8320 of the instance declaration.
8321 </para>
8322 <para>
8323 Compatible with HBC, by the way, except perhaps in the placement
8324 of the pragma.
8325 </para>
8326
8327 </sect2>
8328
8329     <sect2 id="unpack-pragma">
8330       <title>UNPACK pragma</title>
8331
8332       <indexterm><primary>UNPACK</primary></indexterm>
8333       
8334       <para>The <literal>UNPACK</literal> indicates to the compiler
8335       that it should unpack the contents of a constructor field into
8336       the constructor itself, removing a level of indirection.  For
8337       example:</para>
8338
8339 <programlisting>
8340 data T = T {-# UNPACK #-} !Float
8341            {-# UNPACK #-} !Float
8342 </programlisting>
8343
8344       <para>will create a constructor <literal>T</literal> containing
8345       two unboxed floats.  This may not always be an optimisation: if
8346       the <function>T</function> constructor is scrutinised and the
8347       floats passed to a non-strict function for example, they will
8348       have to be reboxed (this is done automatically by the
8349       compiler).</para>
8350
8351       <para>Unpacking constructor fields should only be used in
8352       conjunction with <option>-O</option>, in order to expose
8353       unfoldings to the compiler so the reboxing can be removed as
8354       often as possible.  For example:</para>
8355
8356 <programlisting>
8357 f :: T -&#62; Float
8358 f (T f1 f2) = f1 + f2
8359 </programlisting>
8360
8361       <para>The compiler will avoid reboxing <function>f1</function>
8362       and <function>f2</function> by inlining <function>+</function>
8363       on floats, but only when <option>-O</option> is on.</para>
8364
8365       <para>Any single-constructor data is eligible for unpacking; for
8366       example</para>
8367
8368 <programlisting>
8369 data T = T {-# UNPACK #-} !(Int,Int)
8370 </programlisting>
8371
8372       <para>will store the two <literal>Int</literal>s directly in the
8373       <function>T</function> constructor, by flattening the pair.
8374       Multi-level unpacking is also supported:
8375
8376 <programlisting>
8377 data T = T {-# UNPACK #-} !S
8378 data S = S {-# UNPACK #-} !Int {-# UNPACK #-} !Int
8379 </programlisting>
8380
8381       will store two unboxed <literal>Int&num;</literal>s
8382       directly in the <function>T</function> constructor.  The
8383       unpacker can see through newtypes, too.</para>
8384
8385       <para>See also the <option>-funbox-strict-fields</option> flag,
8386       which essentially has the effect of adding
8387       <literal>{-#&nbsp;UNPACK&nbsp;#-}</literal> to every strict
8388       constructor field.</para>
8389     </sect2>
8390
8391     <sect2 id="source-pragma">
8392       <title>SOURCE pragma</title>
8393
8394       <indexterm><primary>SOURCE</primary></indexterm>
8395      <para>The <literal>{-# SOURCE #-}</literal> pragma is used only in <literal>import</literal> declarations,
8396      to break a module loop.  It is described in detail in <xref linkend="mutual-recursion"/>.
8397      </para>
8398 </sect2>
8399
8400 </sect1>
8401
8402 <!--  ======================= REWRITE RULES ======================== -->
8403
8404 <sect1 id="rewrite-rules">
8405 <title>Rewrite rules
8406
8407 <indexterm><primary>RULES pragma</primary></indexterm>
8408 <indexterm><primary>pragma, RULES</primary></indexterm>
8409 <indexterm><primary>rewrite rules</primary></indexterm></title>
8410
8411 <para>
8412 The programmer can specify rewrite rules as part of the source program
8413 (in a pragma).  
8414 Here is an example:
8415
8416 <programlisting>
8417   {-# RULES
8418   "map/map"    forall f g xs.  map f (map g xs) = map (f.g) xs
8419     #-}
8420 </programlisting>
8421 </para>
8422 <para>
8423 Use the debug flag <option>-ddump-simpl-stats</option> to see what rules fired.
8424 If you need more information, then <option>-ddump-rule-firings</option> shows you
8425 each individual rule firing and <option>-ddump-rule-rewrites</option> also shows what the code looks like before and after the rewrite.
8426 </para>
8427
8428 <sect2>
8429 <title>Syntax</title>
8430
8431 <para>
8432 From a syntactic point of view:
8433
8434 <itemizedlist>
8435
8436 <listitem>
8437 <para>
8438  There may be zero or more rules in a <literal>RULES</literal> pragma, separated by semicolons (which
8439  may be generated by the layout rule).
8440 </para>
8441 </listitem>
8442
8443 <listitem>
8444 <para>
8445 The layout rule applies in a pragma.
8446 Currently no new indentation level
8447 is set, so if you put several rules in single RULES pragma and wish to use layout to separate them,
8448 you must lay out the starting in the same column as the enclosing definitions.
8449 <programlisting>
8450   {-# RULES
8451   "map/map"    forall f g xs.  map f (map g xs) = map (f.g) xs
8452   "map/append" forall f xs ys. map f (xs ++ ys) = map f xs ++ map f ys
8453     #-}
8454 </programlisting>
8455 Furthermore, the closing <literal>#-}</literal>
8456 should start in a column to the right of the opening <literal>{-#</literal>.
8457 </para>
8458 </listitem>
8459
8460 <listitem>
8461 <para>
8462  Each rule has a name, enclosed in double quotes.  The name itself has
8463 no significance at all.  It is only used when reporting how many times the rule fired.
8464 </para>
8465 </listitem>
8466
8467 <listitem>
8468 <para>
8469 A rule may optionally have a phase-control number (see <xref linkend="phase-control"/>),
8470 immediately after the name of the rule.  Thus:
8471 <programlisting>
8472   {-# RULES
8473         "map/map" [2]  forall f g xs. map f (map g xs) = map (f.g) xs
8474     #-}
8475 </programlisting>
8476 The "[2]" means that the rule is active in Phase 2 and subsequent phases.  The inverse
8477 notation "[~2]" is also accepted, meaning that the rule is active up to, but not including,
8478 Phase 2.
8479 </para>
8480 </listitem>
8481
8482
8483
8484 <listitem>
8485 <para>
8486  Each variable mentioned in a rule must either be in scope (e.g. <function>map</function>),
8487 or bound by the <literal>forall</literal> (e.g. <function>f</function>, <function>g</function>, <function>xs</function>).  The variables bound by
8488 the <literal>forall</literal> are called the <emphasis>pattern</emphasis> variables.  They are separated
8489 by spaces, just like in a type <literal>forall</literal>.
8490 </para>
8491 </listitem>
8492 <listitem>
8493
8494 <para>
8495  A pattern variable may optionally have a type signature.
8496 If the type of the pattern variable is polymorphic, it <emphasis>must</emphasis> have a type signature.
8497 For example, here is the <literal>foldr/build</literal> rule:
8498
8499 <programlisting>
8500 "fold/build"  forall k z (g::forall b. (a->b->b) -> b -> b) .
8501               foldr k z (build g) = g k z
8502 </programlisting>
8503
8504 Since <function>g</function> has a polymorphic type, it must have a type signature.
8505
8506 </para>
8507 </listitem>
8508 <listitem>
8509
8510 <para>
8511 The left hand side of a rule must consist of a top-level variable applied
8512 to arbitrary expressions.  For example, this is <emphasis>not</emphasis> OK:
8513
8514 <programlisting>
8515 "wrong1"   forall e1 e2.  case True of { True -> e1; False -> e2 } = e1
8516 "wrong2"   forall f.      f True = True
8517 </programlisting>
8518
8519 In <literal>"wrong1"</literal>, the LHS is not an application; in <literal>"wrong2"</literal>, the LHS has a pattern variable
8520 in the head.
8521 </para>
8522 </listitem>
8523 <listitem>
8524
8525 <para>
8526  A rule does not need to be in the same module as (any of) the
8527 variables it mentions, though of course they need to be in scope.
8528 </para>
8529 </listitem>
8530 <listitem>
8531
8532 <para>
8533  All rules are implicitly exported from the module, and are therefore
8534 in force in any module that imports the module that defined the rule, directly
8535 or indirectly.  (That is, if A imports B, which imports C, then C's rules are
8536 in force when compiling A.)  The situation is very similar to that for instance
8537 declarations.
8538 </para>
8539 </listitem>
8540
8541 <listitem>
8542
8543 <para>
8544 Inside a RULE "<literal>forall</literal>" is treated as a keyword, regardless of
8545 any other flag settings.  Furthermore, inside a RULE, the language extension
8546 <option>-XScopedTypeVariables</option> is automatically enabled; see 
8547 <xref linkend="scoped-type-variables"/>.
8548 </para>
8549 </listitem>
8550 <listitem>
8551
8552 <para>
8553 Like other pragmas, RULE pragmas are always checked for scope errors, and
8554 are typechecked. Typechecking means that the LHS and RHS of a rule are typechecked, 
8555 and must have the same type.  However, rules are only <emphasis>enabled</emphasis>
8556 if the <option>-fenable-rewrite-rules</option> flag is 
8557 on (see <xref linkend="rule-semantics"/>).
8558 </para>
8559 </listitem>
8560 </itemizedlist>
8561
8562 </para>
8563
8564 </sect2>
8565
8566 <sect2 id="rule-semantics">
8567 <title>Semantics</title>
8568
8569 <para>
8570 From a semantic point of view:
8571
8572 <itemizedlist>
8573 <listitem>
8574 <para>
8575 Rules are enabled (that is, used during optimisation)
8576 by the <option>-fenable-rewrite-rules</option> flag.
8577 This flag is implied by <option>-O</option>, and may be switched
8578 off (as usual) by <option>-fno-enable-rewrite-rules</option>.
8579 (NB: enabling <option>-fenable-rewrite-rules</option> without <option>-O</option> 
8580 may not do what you expect, though, because without <option>-O</option> GHC 
8581 ignores all optimisation information in interface files;
8582 see <option>-fignore-interface-pragmas</option>, <xref linkend="options-f"/>.)
8583 Note that <option>-fenable-rewrite-rules</option> is an <emphasis>optimisation</emphasis> flag, and
8584 has no effect on parsing or typechecking.
8585 </para>
8586 </listitem>
8587
8588 <listitem>
8589 <para>
8590  Rules are regarded as left-to-right rewrite rules.
8591 When GHC finds an expression that is a substitution instance of the LHS
8592 of a rule, it replaces the expression by the (appropriately-substituted) RHS.
8593 By "a substitution instance" we mean that the LHS can be made equal to the
8594 expression by substituting for the pattern variables.
8595
8596 </para>
8597 </listitem>
8598 <listitem>
8599
8600 <para>
8601  GHC makes absolutely no attempt to verify that the LHS and RHS
8602 of a rule have the same meaning.  That is undecidable in general, and
8603 infeasible in most interesting cases.  The responsibility is entirely the programmer's!
8604
8605 </para>
8606 </listitem>
8607 <listitem>
8608
8609 <para>
8610  GHC makes no attempt to make sure that the rules are confluent or
8611 terminating.  For example:
8612
8613 <programlisting>
8614   "loop"        forall x y.  f x y = f y x
8615 </programlisting>
8616
8617 This rule will cause the compiler to go into an infinite loop.
8618
8619 </para>
8620 </listitem>
8621 <listitem>
8622
8623 <para>
8624  If more than one rule matches a call, GHC will choose one arbitrarily to apply.
8625
8626 </para>
8627 </listitem>
8628 <listitem>
8629 <para>
8630  GHC currently uses a very simple, syntactic, matching algorithm
8631 for matching a rule LHS with an expression.  It seeks a substitution
8632 which makes the LHS and expression syntactically equal modulo alpha
8633 conversion.  The pattern (rule), but not the expression, is eta-expanded if
8634 necessary.  (Eta-expanding the expression can lead to laziness bugs.)
8635 But not beta conversion (that's called higher-order matching).
8636 </para>
8637
8638 <para>
8639 Matching is carried out on GHC's intermediate language, which includes
8640 type abstractions and applications.  So a rule only matches if the
8641 types match too.  See <xref linkend="rule-spec"/> below.
8642 </para>
8643 </listitem>
8644 <listitem>
8645
8646 <para>
8647  GHC keeps trying to apply the rules as it optimises the program.
8648 For example, consider:
8649
8650 <programlisting>
8651   let s = map f
8652       t = map g
8653   in
8654   s (t xs)
8655 </programlisting>
8656
8657 The expression <literal>s (t xs)</literal> does not match the rule <literal>"map/map"</literal>, but GHC
8658 will substitute for <varname>s</varname> and <varname>t</varname>, giving an expression which does match.
8659 If <varname>s</varname> or <varname>t</varname> was (a) used more than once, and (b) large or a redex, then it would
8660 not be substituted, and the rule would not fire.
8661
8662 </para>
8663 </listitem>
8664 </itemizedlist>
8665
8666 </para>
8667
8668 </sect2>
8669
8670 <sect2 id="conlike">
8671 <title>How rules interact with INLINE/NOINLINE and CONLIKE pragmas</title>
8672
8673 <para>
8674 Ordinary inlining happens at the same time as rule rewriting, which may lead to unexpected
8675 results.  Consider this (artificial) example
8676 <programlisting>
8677 f x = x
8678 g y = f y
8679 h z = g True
8680
8681 {-# RULES "f" f True = False #-}
8682 </programlisting>
8683 Since <literal>f</literal>'s right-hand side is small, it is inlined into <literal>g</literal>,
8684 to give
8685 <programlisting>
8686 g y = y
8687 </programlisting>
8688 Now <literal>g</literal> is inlined into <literal>h</literal>, but <literal>f</literal>'s RULE has
8689 no chance to fire.  
8690 If instead GHC had first inlined <literal>g</literal> into <literal>h</literal> then there
8691 would have been a better chance that <literal>f</literal>'s RULE might fire.  
8692 </para>
8693 <para>
8694 The way to get predictable behaviour is to use a NOINLINE 
8695 pragma, or an INLINE[<replaceable>phase</replaceable>] pragma, on <literal>f</literal>, to ensure
8696 that it is not inlined until its RULEs have had a chance to fire.
8697 </para>
8698 <para>
8699 GHC is very cautious about duplicating work.  For example, consider
8700 <programlisting>
8701 f k z xs = let xs = build g
8702            in ...(foldr k z xs)...sum xs...
8703 {-# RULES "foldr/build" forall k z g. foldr k z (build g) = g k z #-}
8704 </programlisting>
8705 Since <literal>xs</literal> is used twice, GHC does not fire the foldr/build rule.  Rightly
8706 so, because it might take a lot of work to compute <literal>xs</literal>, which would be
8707 duplicated if the rule fired.
8708 </para>
8709 <para>
8710 Sometimes, however, this approach is over-cautious, and we <emphasis>do</emphasis> want the
8711 rule to fire, even though doing so would duplicate redex.  There is no way that GHC can work out
8712 when this is a good idea, so we provide the CONLIKE pragma to declare it, thus:
8713 <programlisting>
8714 {-# INLINE[1] CONLIKE f #-}
8715 f x = <replaceable>blah</replaceable>
8716 </programlisting>
8717 CONLIKE is a modifier to an INLINE or NOINLINE pragam.  It specifies that an application
8718 of f to one argument (in general, the number of arguments to the left of the '=' sign)
8719 should be considered cheap enough to duplicate, if such a duplication would make rule
8720 fire.  (The name "CONLIKE" is short for "constructor-like", because constructors certainly
8721 have such a property.)
8722 The CONLIKE pragam is a modifier to INLINE/NOINLINE because it really only makes sense to match 
8723 <literal>f</literal> on the LHS of a rule if you are sure that <literal>f</literal> is
8724 not going to be inlined before the rule has a chance to fire.
8725 </para>
8726 </sect2>
8727
8728 <sect2>
8729 <title>List fusion</title>
8730
8731 <para>
8732 The RULES mechanism is used to implement fusion (deforestation) of common list functions.
8733 If a "good consumer" consumes an intermediate list constructed by a "good producer", the
8734 intermediate list should be eliminated entirely.
8735 </para>
8736
8737 <para>
8738 The following are good producers:
8739
8740 <itemizedlist>
8741 <listitem>
8742
8743 <para>
8744  List comprehensions
8745 </para>
8746 </listitem>
8747 <listitem>
8748
8749 <para>
8750  Enumerations of <literal>Int</literal> and <literal>Char</literal> (e.g. <literal>['a'..'z']</literal>).
8751 </para>
8752 </listitem>
8753 <listitem>
8754
8755 <para>
8756  Explicit lists (e.g. <literal>[True, False]</literal>)
8757 </para>
8758 </listitem>
8759 <listitem>
8760
8761 <para>
8762  The cons constructor (e.g <literal>3:4:[]</literal>)
8763 </para>
8764 </listitem>
8765 <listitem>
8766
8767 <para>
8768  <function>++</function>
8769 </para>
8770 </listitem>
8771
8772 <listitem>
8773 <para>
8774  <function>map</function>
8775 </para>
8776 </listitem>
8777
8778 <listitem>
8779 <para>
8780 <function>take</function>, <function>filter</function>
8781 </para>
8782 </listitem>
8783 <listitem>
8784
8785 <para>
8786  <function>iterate</function>, <function>repeat</function>
8787 </para>
8788 </listitem>
8789 <listitem>
8790
8791 <para>
8792  <function>zip</function>, <function>zipWith</function>
8793 </para>
8794 </listitem>
8795
8796 </itemizedlist>
8797
8798 </para>
8799
8800 <para>
8801 The following are good consumers:
8802
8803 <itemizedlist>
8804 <listitem>
8805
8806 <para>
8807  List comprehensions
8808 </para>
8809 </listitem>
8810 <listitem>
8811
8812 <para>
8813  <function>array</function> (on its second argument)
8814 </para>
8815 </listitem>
8816 <listitem>
8817
8818 <para>
8819  <function>++</function> (on its first argument)
8820 </para>
8821 </listitem>
8822
8823 <listitem>
8824 <para>
8825  <function>foldr</function>
8826 </para>
8827 </listitem>
8828
8829 <listitem>
8830 <para>
8831  <function>map</function>
8832 </para>
8833 </listitem>
8834 <listitem>
8835
8836 <para>
8837 <function>take</function>, <function>filter</function>
8838 </para>
8839 </listitem>
8840 <listitem>
8841
8842 <para>
8843  <function>concat</function>
8844 </para>
8845 </listitem>
8846 <listitem>
8847
8848 <para>
8849  <function>unzip</function>, <function>unzip2</function>, <function>unzip3</function>, <function>unzip4</function>
8850 </para>
8851 </listitem>
8852 <listitem>
8853
8854 <para>
8855  <function>zip</function>, <function>zipWith</function> (but on one argument only; if both are good producers, <function>zip</function>
8856 will fuse with one but not the other)
8857 </para>
8858 </listitem>
8859 <listitem>
8860
8861 <para>
8862  <function>partition</function>
8863 </para>
8864 </listitem>
8865 <listitem>
8866
8867 <para>
8868  <function>head</function>
8869 </para>
8870 </listitem>
8871 <listitem>
8872
8873 <para>
8874  <function>and</function>, <function>or</function>, <function>any</function>, <function>all</function>
8875 </para>
8876 </listitem>
8877 <listitem>
8878
8879 <para>
8880  <function>sequence&lowbar;</function>
8881 </para>
8882 </listitem>
8883 <listitem>
8884
8885 <para>
8886  <function>msum</function>
8887 </para>
8888 </listitem>
8889 <listitem>
8890
8891 <para>
8892  <function>sortBy</function>
8893 </para>
8894 </listitem>
8895
8896 </itemizedlist>
8897
8898 </para>
8899
8900  <para>
8901 So, for example, the following should generate no intermediate lists:
8902
8903 <programlisting>
8904 array (1,10) [(i,i*i) | i &#60;- map (+ 1) [0..9]]
8905 </programlisting>
8906
8907 </para>
8908
8909 <para>
8910 This list could readily be extended; if there are Prelude functions that you use
8911 a lot which are not included, please tell us.
8912 </para>
8913
8914 <para>
8915 If you want to write your own good consumers or producers, look at the
8916 Prelude definitions of the above functions to see how to do so.
8917 </para>
8918
8919 </sect2>
8920
8921 <sect2 id="rule-spec">
8922 <title>Specialisation
8923 </title>
8924
8925 <para>
8926 Rewrite rules can be used to get the same effect as a feature
8927 present in earlier versions of GHC.
8928 For example, suppose that:
8929
8930 <programlisting>
8931 genericLookup :: Ord a => Table a b   -> a   -> b
8932 intLookup     ::          Table Int b -> Int -> b
8933 </programlisting>
8934
8935 where <function>intLookup</function> is an implementation of
8936 <function>genericLookup</function> that works very fast for
8937 keys of type <literal>Int</literal>.  You might wish
8938 to tell GHC to use <function>intLookup</function> instead of
8939 <function>genericLookup</function> whenever the latter was called with
8940 type <literal>Table Int b -&gt; Int -&gt; b</literal>.
8941 It used to be possible to write
8942
8943 <programlisting>
8944 {-# SPECIALIZE genericLookup :: Table Int b -> Int -> b = intLookup #-}
8945 </programlisting>
8946
8947 This feature is no longer in GHC, but rewrite rules let you do the same thing:
8948
8949 <programlisting>
8950 {-# RULES "genericLookup/Int" genericLookup = intLookup #-}
8951 </programlisting>
8952
8953 This slightly odd-looking rule instructs GHC to replace
8954 <function>genericLookup</function> by <function>intLookup</function>
8955 <emphasis>whenever the types match</emphasis>.
8956 What is more, this rule does not need to be in the same
8957 file as <function>genericLookup</function>, unlike the
8958 <literal>SPECIALIZE</literal> pragmas which currently do (so that they
8959 have an original definition available to specialise).
8960 </para>
8961
8962 <para>It is <emphasis>Your Responsibility</emphasis> to make sure that
8963 <function>intLookup</function> really behaves as a specialised version
8964 of <function>genericLookup</function>!!!</para>
8965
8966 <para>An example in which using <literal>RULES</literal> for
8967 specialisation will Win Big:
8968
8969 <programlisting>
8970 toDouble :: Real a => a -> Double
8971 toDouble = fromRational . toRational
8972
8973 {-# RULES "toDouble/Int" toDouble = i2d #-}
8974 i2d (I# i) = D# (int2Double# i) -- uses Glasgow prim-op directly
8975 </programlisting>
8976
8977 The <function>i2d</function> function is virtually one machine
8978 instruction; the default conversion&mdash;via an intermediate
8979 <literal>Rational</literal>&mdash;is obscenely expensive by
8980 comparison.
8981 </para>
8982
8983 </sect2>
8984
8985 <sect2 id="controlling-rules">
8986 <title>Controlling what's going on in rewrite rules</title>
8987
8988 <para>
8989
8990 <itemizedlist>
8991 <listitem>
8992
8993 <para>
8994 Use <option>-ddump-rules</option> to see the rules that are defined
8995 <emphasis>in this module</emphasis>.
8996 This includes rules generated by the specialisation pass, but excludes
8997 rules imported from other modules. 
8998 </para>
8999 </listitem>
9000
9001 <listitem>
9002 <para>
9003  Use <option>-ddump-simpl-stats</option> to see what rules are being fired.
9004 If you add <option>-dppr-debug</option> you get a more detailed listing.
9005 </para>
9006 </listitem>
9007
9008 <listitem>
9009 <para>
9010  Use <option>-ddump-rule-firings</option> or <option>-ddump-rule-rewrites</option>
9011 to see in great detail what rules are being fired.
9012 If you add <option>-dppr-debug</option> you get a still more detailed listing.
9013 </para>
9014 </listitem>
9015
9016 <listitem>
9017 <para>
9018  The definition of (say) <function>build</function> in <filename>GHC/Base.lhs</filename> looks like this:
9019
9020 <programlisting>
9021         build   :: forall a. (forall b. (a -> b -> b) -> b -> b) -> [a]
9022         {-# INLINE build #-}
9023         build g = g (:) []
9024 </programlisting>
9025
9026 Notice the <literal>INLINE</literal>!  That prevents <literal>(:)</literal> from being inlined when compiling
9027 <literal>PrelBase</literal>, so that an importing module will &ldquo;see&rdquo; the <literal>(:)</literal>, and can
9028 match it on the LHS of a rule.  <literal>INLINE</literal> prevents any inlining happening
9029 in the RHS of the <literal>INLINE</literal> thing.  I regret the delicacy of this.
9030
9031 </para>
9032 </listitem>
9033 <listitem>
9034
9035 <para>
9036  In <filename>libraries/base/GHC/Base.lhs</filename> look at the rules for <function>map</function> to
9037 see how to write rules that will do fusion and yet give an efficient
9038 program even if fusion doesn't happen.  More rules in <filename>GHC/List.lhs</filename>.
9039 </para>
9040 </listitem>
9041
9042 </itemizedlist>
9043
9044 </para>
9045
9046 </sect2>
9047
9048 <sect2 id="core-pragma">
9049   <title>CORE pragma</title>
9050
9051   <indexterm><primary>CORE pragma</primary></indexterm>
9052   <indexterm><primary>pragma, CORE</primary></indexterm>
9053   <indexterm><primary>core, annotation</primary></indexterm>
9054
9055 <para>
9056   The external core format supports <quote>Note</quote> annotations;
9057   the <literal>CORE</literal> pragma gives a way to specify what these
9058   should be in your Haskell source code.  Syntactically, core
9059   annotations are attached to expressions and take a Haskell string
9060   literal as an argument.  The following function definition shows an
9061   example:
9062
9063 <programlisting>
9064 f x = ({-# CORE "foo" #-} show) ({-# CORE "bar" #-} x)
9065 </programlisting>
9066
9067   Semantically, this is equivalent to:
9068
9069 <programlisting>
9070 g x = show x
9071 </programlisting>
9072 </para>
9073
9074 <para>
9075   However, when external core is generated (via
9076   <option>-fext-core</option>), there will be Notes attached to the
9077   expressions <function>show</function> and <varname>x</varname>.
9078   The core function declaration for <function>f</function> is:
9079 </para>
9080
9081 <programlisting>
9082   f :: %forall a . GHCziShow.ZCTShow a ->
9083                    a -> GHCziBase.ZMZN GHCziBase.Char =
9084     \ @ a (zddShow::GHCziShow.ZCTShow a) (eta::a) ->
9085         (%note "foo"
9086          %case zddShow %of (tpl::GHCziShow.ZCTShow a)
9087            {GHCziShow.ZCDShow
9088             (tpl1::GHCziBase.Int ->
9089                    a ->
9090                    GHCziBase.ZMZN GHCziBase.Char -> GHCziBase.ZMZN GHCziBase.Cha
9091 r)
9092             (tpl2::a -> GHCziBase.ZMZN GHCziBase.Char)
9093             (tpl3::GHCziBase.ZMZN a ->
9094                    GHCziBase.ZMZN GHCziBase.Char -> GHCziBase.ZMZN GHCziBase.Cha
9095 r) ->
9096               tpl2})
9097         (%note "bar"
9098          eta);
9099 </programlisting>
9100
9101 <para>
9102   Here, we can see that the function <function>show</function> (which
9103   has been expanded out to a case expression over the Show dictionary)
9104   has a <literal>%note</literal> attached to it, as does the
9105   expression <varname>eta</varname> (which used to be called
9106   <varname>x</varname>).
9107 </para>
9108
9109 </sect2>
9110
9111 </sect1>
9112
9113 <sect1 id="special-ids">
9114 <title>Special built-in functions</title>
9115 <para>GHC has a few built-in functions with special behaviour.  These
9116 are now described in the module <ulink
9117 url="&libraryGhcPrimLocation;/GHC-Prim.html"><literal>GHC.Prim</literal></ulink>
9118 in the library documentation.
9119 In particular:
9120 <itemizedlist>
9121 <listitem><para>
9122 <ulink url="&libraryGhcPrimLocation;/GHC-Prim.html#v%3Ainline"><literal>inline</literal></ulink>
9123 allows control over inlining on a per-call-site basis.
9124 </para></listitem>
9125 <listitem><para>
9126 <ulink url="&libraryGhcPrimLocation;/GHC-Prim.html#v%3Alazy"><literal>lazy</literal></ulink>
9127 restrains the strictness analyser.
9128 </para></listitem>
9129 <listitem><para>
9130 <ulink url="&libraryGhcPrimLocation;/GHC-Prim.html#v%3AunsafeCoerce%23"><literal>lazy</literal></ulink> 
9131 allows you to fool the type checker.
9132 </para></listitem>
9133 </itemizedlist>
9134 </para>
9135 </sect1>
9136
9137
9138 <sect1 id="generic-classes">
9139 <title>Generic classes</title>
9140
9141 <para>
9142 The ideas behind this extension are described in detail in "Derivable type classes",
9143 Ralf Hinze and Simon Peyton Jones, Haskell Workshop, Montreal Sept 2000, pp94-105.
9144 An example will give the idea:
9145 </para>
9146
9147 <programlisting>
9148   import Data.Generics
9149
9150   class Bin a where
9151     toBin   :: a -> [Int]
9152     fromBin :: [Int] -> (a, [Int])
9153   
9154     toBin {| Unit |}    Unit      = []
9155     toBin {| a :+: b |} (Inl x)   = 0 : toBin x
9156     toBin {| a :+: b |} (Inr y)   = 1 : toBin y
9157     toBin {| a :*: b |} (x :*: y) = toBin x ++ toBin y
9158   
9159     fromBin {| Unit |}    bs      = (Unit, bs)
9160     fromBin {| a :+: b |} (0:bs)  = (Inl x, bs')    where (x,bs') = fromBin bs
9161     fromBin {| a :+: b |} (1:bs)  = (Inr y, bs')    where (y,bs') = fromBin bs
9162     fromBin {| a :*: b |} bs      = (x :*: y, bs'') where (x,bs' ) = fromBin bs
9163                                                           (y,bs'') = fromBin bs'
9164 </programlisting>
9165 <para>
9166 This class declaration explains how <literal>toBin</literal> and <literal>fromBin</literal>
9167 work for arbitrary data types.  They do so by giving cases for unit, product, and sum,
9168 which are defined thus in the library module <literal>Data.Generics</literal>:
9169 </para>
9170 <programlisting>
9171   data Unit    = Unit
9172   data a :+: b = Inl a | Inr b
9173   data a :*: b = a :*: b
9174 </programlisting>
9175 <para>
9176 Now you can make a data type into an instance of Bin like this:
9177 <programlisting>
9178   instance (Bin a, Bin b) => Bin (a,b)
9179   instance Bin a => Bin [a]
9180 </programlisting>
9181 That is, just leave off the "where" clause.  Of course, you can put in the
9182 where clause and over-ride whichever methods you please.
9183 </para>
9184
9185     <sect2>
9186       <title> Using generics </title>
9187       <para>To use generics you need to</para>
9188       <itemizedlist>
9189         <listitem>
9190           <para>
9191             Use the flags <option>-XGenerics</option> (to enable the
9192             extra syntax and generate extra per-data-type code),
9193             and <option>-package syb</option> (to make the
9194             <literal>Data.Generics</literal> module available.
9195           </para>
9196         </listitem>
9197         <listitem>
9198           <para>Import the module <literal>Data.Generics</literal> from the
9199           <literal>syb</literal> package.  This import brings into
9200           scope the data types <literal>Unit</literal>,
9201           <literal>:*:</literal>, and <literal>:+:</literal>.  (You
9202           don't need this import if you don't mention these types
9203           explicitly; for example, if you are simply giving instance
9204           declarations.)</para>
9205         </listitem>
9206       </itemizedlist>
9207     </sect2>
9208
9209 <sect2> <title> Changes wrt the paper </title>
9210 <para>
9211 Note that the type constructors <literal>:+:</literal> and <literal>:*:</literal> 
9212 can be written infix (indeed, you can now use
9213 any operator starting in a colon as an infix type constructor).  Also note that
9214 the type constructors are not exactly as in the paper (Unit instead of 1, etc).
9215 Finally, note that the syntax of the type patterns in the class declaration
9216 uses "<literal>{|</literal>" and "<literal>|}</literal>" brackets; curly braces
9217 alone would ambiguous when they appear on right hand sides (an extension we 
9218 anticipate wanting).
9219 </para>
9220 </sect2>
9221
9222 <sect2> <title>Terminology and restrictions</title>
9223 <para>
9224 Terminology.  A "generic default method" in a class declaration
9225 is one that is defined using type patterns as above.
9226 A "polymorphic default method" is a default method defined as in Haskell 98.
9227 A "generic class declaration" is a class declaration with at least one
9228 generic default method.
9229 </para>
9230
9231 <para>
9232 Restrictions:
9233 <itemizedlist>
9234 <listitem>
9235 <para>
9236 Alas, we do not yet implement the stuff about constructor names and 
9237 field labels.
9238 </para>
9239 </listitem>
9240
9241 <listitem>
9242 <para>
9243 A generic class can have only one parameter; you can't have a generic
9244 multi-parameter class.
9245 </para>
9246 </listitem>
9247
9248 <listitem>
9249 <para>
9250 A default method must be defined entirely using type patterns, or entirely
9251 without.  So this is illegal:
9252 <programlisting>
9253   class Foo a where
9254     op :: a -> (a, Bool)
9255     op {| Unit |} Unit = (Unit, True)
9256     op x               = (x,    False)
9257 </programlisting>
9258 However it is perfectly OK for some methods of a generic class to have 
9259 generic default methods and others to have polymorphic default methods.
9260 </para>
9261 </listitem>
9262
9263 <listitem>
9264 <para>
9265 The type variable(s) in the type pattern for a generic method declaration
9266 scope over the right hand side.  So this is legal (note the use of the type variable ``p'' in a type signature on the right hand side:
9267 <programlisting>
9268   class Foo a where
9269     op :: a -> Bool
9270     op {| p :*: q |} (x :*: y) = op (x :: p)
9271     ...
9272 </programlisting>
9273 </para>
9274 </listitem>
9275
9276 <listitem>
9277 <para>
9278 The type patterns in a generic default method must take one of the forms:
9279 <programlisting>
9280        a :+: b
9281        a :*: b
9282        Unit
9283 </programlisting>
9284 where "a" and "b" are type variables.  Furthermore, all the type patterns for
9285 a single type constructor (<literal>:*:</literal>, say) must be identical; they
9286 must use the same type variables.  So this is illegal:
9287 <programlisting>
9288   class Foo a where
9289     op :: a -> Bool
9290     op {| a :+: b |} (Inl x) = True
9291     op {| p :+: q |} (Inr y) = False
9292 </programlisting>
9293 The type patterns must be identical, even in equations for different methods of the class.
9294 So this too is illegal:
9295 <programlisting>
9296   class Foo a where
9297     op1 :: a -> Bool
9298     op1 {| a :*: b |} (x :*: y) = True
9299
9300     op2 :: a -> Bool
9301     op2 {| p :*: q |} (x :*: y) = False
9302 </programlisting>
9303 (The reason for this restriction is that we gather all the equations for a particular type constructor
9304 into a single generic instance declaration.)
9305 </para>
9306 </listitem>
9307
9308 <listitem>
9309 <para>
9310 A generic method declaration must give a case for each of the three type constructors.
9311 </para>
9312 </listitem>
9313
9314 <listitem>
9315 <para>
9316 The type for a generic method can be built only from:
9317   <itemizedlist>
9318   <listitem> <para> Function arrows </para> </listitem>
9319   <listitem> <para> Type variables </para> </listitem>
9320   <listitem> <para> Tuples </para> </listitem>
9321   <listitem> <para> Arbitrary types not involving type variables </para> </listitem>
9322   </itemizedlist>
9323 Here are some example type signatures for generic methods:
9324 <programlisting>
9325     op1 :: a -> Bool
9326     op2 :: Bool -> (a,Bool)
9327     op3 :: [Int] -> a -> a
9328     op4 :: [a] -> Bool
9329 </programlisting>
9330 Here, op1, op2, op3 are OK, but op4 is rejected, because it has a type variable
9331 inside a list.  
9332 </para>
9333 <para>
9334 This restriction is an implementation restriction: we just haven't got around to
9335 implementing the necessary bidirectional maps over arbitrary type constructors.
9336 It would be relatively easy to add specific type constructors, such as Maybe and list,
9337 to the ones that are allowed.</para>
9338 </listitem>
9339
9340 <listitem>
9341 <para>
9342 In an instance declaration for a generic class, the idea is that the compiler
9343 will fill in the methods for you, based on the generic templates.  However it can only
9344 do so if
9345   <itemizedlist>
9346   <listitem>
9347   <para>
9348   The instance type is simple (a type constructor applied to type variables, as in Haskell 98).
9349   </para>
9350   </listitem>
9351   <listitem>
9352   <para>
9353   No constructor of the instance type has unboxed fields.
9354   </para>
9355   </listitem>
9356   </itemizedlist>
9357 (Of course, these things can only arise if you are already using GHC extensions.)
9358 However, you can still give an instance declarations for types which break these rules,
9359 provided you give explicit code to override any generic default methods.
9360 </para>
9361 </listitem>
9362
9363 </itemizedlist>
9364 </para>
9365
9366 <para>
9367 The option <option>-ddump-deriv</option> dumps incomprehensible stuff giving details of 
9368 what the compiler does with generic declarations.
9369 </para>
9370
9371 </sect2>
9372
9373 <sect2> <title> Another example </title>
9374 <para>
9375 Just to finish with, here's another example I rather like:
9376 <programlisting>
9377   class Tag a where
9378     nCons :: a -> Int
9379     nCons {| Unit |}    _ = 1
9380     nCons {| a :*: b |} _ = 1
9381     nCons {| a :+: b |} _ = nCons (bot::a) + nCons (bot::b)
9382   
9383     tag :: a -> Int
9384     tag {| Unit |}    _       = 1
9385     tag {| a :*: b |} _       = 1   
9386     tag {| a :+: b |} (Inl x) = tag x
9387     tag {| a :+: b |} (Inr y) = nCons (bot::a) + tag y
9388 </programlisting>
9389 </para>
9390 </sect2>
9391 </sect1>
9392
9393 <sect1 id="monomorphism">
9394 <title>Control over monomorphism</title>
9395
9396 <para>GHC supports two flags that control the way in which generalisation is
9397 carried out at let and where bindings.
9398 </para>
9399
9400 <sect2>
9401 <title>Switching off the dreaded Monomorphism Restriction</title>
9402           <indexterm><primary><option>-XNoMonomorphismRestriction</option></primary></indexterm>
9403
9404 <para>Haskell's monomorphism restriction (see 
9405 <ulink url="http://www.haskell.org/onlinereport/decls.html#sect4.5.5">Section
9406 4.5.5</ulink>
9407 of the Haskell Report)
9408 can be completely switched off by
9409 <option>-XNoMonomorphismRestriction</option>.
9410 </para>
9411 </sect2>
9412
9413 <sect2>
9414 <title>Monomorphic pattern bindings</title>
9415           <indexterm><primary><option>-XNoMonoPatBinds</option></primary></indexterm>
9416           <indexterm><primary><option>-XMonoPatBinds</option></primary></indexterm>
9417
9418           <para> As an experimental change, we are exploring the possibility of
9419           making pattern bindings monomorphic; that is, not generalised at all.  
9420             A pattern binding is a binding whose LHS has no function arguments,
9421             and is not a simple variable.  For example:
9422 <programlisting>
9423   f x = x                    -- Not a pattern binding
9424   f = \x -> x                -- Not a pattern binding
9425   f :: Int -> Int = \x -> x  -- Not a pattern binding
9426
9427   (g,h) = e                  -- A pattern binding
9428   (f) = e                    -- A pattern binding
9429   [x] = e                    -- A pattern binding
9430 </programlisting>
9431 Experimentally, GHC now makes pattern bindings monomorphic <emphasis>by
9432 default</emphasis>.  Use <option>-XNoMonoPatBinds</option> to recover the
9433 standard behaviour.
9434 </para>
9435 </sect2>
9436 </sect1>
9437
9438
9439
9440 <!-- Emacs stuff:
9441      ;;; Local Variables: ***
9442      ;;; sgml-parent-document: ("users_guide.xml" "book" "chapter" "sect1") ***
9443      ;;; ispell-local-dictionary: "british" ***
9444      ;;; End: ***
9445  -->
9446