Add (a) CoreM monad, (b) new Annotations feature

This patch, written by Max Bolingbroke,  does two things

1.  It adds a new CoreM monad (defined in simplCore/CoreMonad),
    which is used as the top-level monad for all the Core-to-Core
    transformations (starting at SimplCore).  It supports
       * I/O (for debug printing)
       * Unique supply
       * Statistics gathering
       * Access to the HscEnv, RuleBase, Annotations, Module
    The patch therefore refactors the top "skin" of every Core-to-Core
    pass, but does not change their functionality.

2.  It adds a completely new facility to GHC: Core "annotations".
    The idea is that you can say
       {#- ANN foo (Just "Hello") #-}
    which adds the annotation (Just "Hello") to the top level function
    foo.  These annotations can be looked up in any Core-to-Core pass,
    and are persisted into interface files.  (Hence a Core-to-Core pass
    can also query the annotations of imported things.)  Furthermore,
    a Core-to-Core pass can add new annotations (eg strictness info)
    of its own, which can be queried by importing modules.

The design of the annotation system is somewhat in flux.  It's
designed to work with the (upcoming) dynamic plug-ins mechanism,
but is meanwhile independently useful.

Do not merge to 6.10!

Fix Trac #2674: in TH reject empty case expressions and function definitions

Change naming conventions for compiler-generated dictionaries and type functions

Up to now, the data constructor dictionary for class C as been called
":DC". But there is no reason for the colon to be at the front; indeed
it confuses the (simple-minded) pretty-printer for types.  So this
patch changes it to be "D:C".  This makes Core a lot easier to read.
Having a colon in the middle ensures that it can't clash with a user-written
data type.

Similarly I changed

  T:C     Data type corresponding a class dictionary (was :TC)
  D:C    Data constructor for class dictionary (was :DC)

  NTCo:T   Coercion mapping from a newtype T to its representation type
(was :CoT)

  TFCo:R   Coercion mapping from a data family to its respresentation type R
(was :CoFR)

  Rn:T     The n'th respresentation data type for a data type T
(was :RnT)

Do not merge to 6.10.

HEADS-UP: you'll need to recompile libraries from scratch.

ROMAN: you could do the same for OccName.mkVectTyConOcc etc, if you wanted.

Fix tcrun031: yet more tidying up in TcDeriv

Add Outputable instance for CoercionI

Fix Trac #2720: inlining and casts

The issue here is what happens when we have

(f |> co) x

where f is itself marked INLINE.  We want callSiteInline to "see"
the fact that the function is applied, and hence have some incentive
to inline.  I've done this by extending CoreUnfold.CallCtxt with
ValAppCtxt.  I think that should catch this case without messing up
any of the others.

Clarify documentatoin

Update library version numbers in the release notes

various updates to the release notes

Add library release notes

Add release notes for the compiler

Doc fix

Rename some variables in docs

Fix typos

Mostly-fix Trac #2595: updates for existentials

Ganesh wanted to update records that involve existentials.  That
seems reasonable to me, and this patch covers existentials, GADTs,
and data type families.

The restriction is that
  The types of the updated fields may mention only the
  universally-quantified type variables of the data constructor

This doesn't allow everything in #2595 (it allows 'g' but not 'f' in
the ticket), but it gets a lot closer.

Lots of the new lines are comments!

Fix Trac #2723: keep track of record field names in the renamer

The idea here is that with -XNamedFieldPuns and -XRecordWildCards we don't
want to report shadowing errors for
let fld = <blah> in C { .. }
But to suppress such shadowing errors, the renamer needs to know that
'fld' *is* a record selector.  Hence the new NameSet in
TcRnFypes.RecFieldEnv

Remove dead code

Fix Trac #2713: refactor and tidy up renaming of fixity decls

In fixing #2713, this patch also eliminates two almost-unused
functions from RnEnv (lookupBndr and lookupBndr_maybe).  The
net lines of code is prety much unchanged, but more of them
are comments!

Fix Trac #2701: make deriving check better for unlifted args

Getting the automatic deriving mechanism to work really smoothly
is surprisingly hard.  I keep finding myself in TcDeriv!

Anyway, this is a nice clean fix to Trac #2701.

Use pdflatex rather than latex for building
The Windows builder is having problems running ps2pdf, so this works
aroudn the problem.

Remove an unmatched } in core.tex

Add a usepackage{url}

Update ANNOUNCE

Fix a bug in the new scheduler
If the current thread blocks, we should yield the Capability
immediately, because the thread and hence possibly the current Task
are now owned by someone else.  This worked in the old scheduler, but
we moved where the yield happens in the new scheduler which broke it.

add an assertion

fix a warning

traverse the spark pools only once during GC rather than twice

Refactoring and reorganisation of the scheduler

Change the way we look for work in the scheduler.  Previously,
checking to see whether there was anything to do was a
non-side-effecting operation, but this has changed now that we do
work-stealing.  This lead to a refactoring of the inner loop of the
scheduler.

Also, lots of cleanup in the new work-stealing code, but no functional
changes.

One new statistic is added to the +RTS -s output:

  SPARKS: 1430 (2 converted, 1427 pruned)

lets you know something about the use of `par` in the program.

Work stealing for sparks

   Spark stealing support for PARALLEL_HASKELL and THREADED_RTS versions of the RTS.

  Spark pools are per capability, separately allocated and held in the Capability
  structure. The implementation uses Double-Ended Queues (deque) and cas-protected
  access.

  The write end of the queue (position bottom) can only be used with
  mutual exclusion, i.e. by exactly one caller at a time.
  Multiple readers can steal()/findSpark() from the read end
  (position top), and are synchronised without a lock, based on a cas
  of the top position. One reader wins, the others return NULL for a
  failure.

  Work stealing is called when Capabilities find no other work (inside yieldCapability),
  and tries all capabilities 0..n-1 twice, unless a theft succeeds.

  Inside schedulePushWork, all considered cap.s (those which were idle and could
  be grabbed) are woken up. Future versions should wake up capabilities immediately when
  putting a new spark in the local pool, from newSpark().

Patch has been re-recorded due to conflicting bugfixes in the sparks.c, also fixing a
(strange) conflict in the scheduler.

include an elapsed time table

generate a valid summary for older GHC versions too

Fix Trac #2714 (a minor wibble)

In boxy_match (which is a pure function used by preSubType) we can
encounter TyVars not just TcTyVars; this patch takes account of that.

Reject programs with superclass equalities for now
- The current implementation of type families cannot properly deal
  with superclass equalities.  Instead of making a half-hearted attempt at
  supporting them, which mostly ends in cryptic error message, rejecting
  right away with an appropriate message.

  MERGE TO 6.10

Fix doc syntax

Don't put the README file in the Windows installer; fixes trac #2698
The README file talks about getting and building the sources, which
doesn't make sense for the installer.

Comments and parens only

Do proper cloning in worker/wrapper splitting

See Note [Freshen type variables] in WwLib.  We need to clone type
variables when building a worker/wrapper split, else we simply get
bogus code, admittedly in rather obscure situations.  I can't quite
remember what program showed this up, unfortunately, but there
definitely *was* one!  (You get a Lint error.)

Don't float an expression wrapped in a cast

There is no point in floating out an expression wrapped in a coercion;
If we do we'll transform
lvl = e |> co [_$_]
to
lvl' = e; lvl = lvl' |> co
and then inline lvl.  Better just to float out the payload (e).

Fix Trac #2668, and refactor TcDeriv

TcDeriv deals with both standalone and ordinary 'deriving';
and with both data types and 'newtype deriving'.  The result
is really rather compilcated and ad hoc.  Ryan discovered
#2668; this patch fixes that bug, and makes the internal interfces
#more uniform.  Specifically, the business of knocking off
type arguments from the instance type until it matches the kind of the
class, is now done by derivTyData, not mkNewTypeEqn, because the
latter is shared with standalone derriving, whree the trimmed
type application is what the user wrote.

Spelling error in comment

White space only

Comments to explain strict overlap checking for type family instances

Allow type families to use GADT syntax (and be GADTs)

We've always intended to allow you to use GADT syntax for
data families:
data instance T [a] where
  T1 :: a -> T [a]
and indeed to allow data instances to *be* GADTs
data intsance T [a] where
  T1 :: Int -> T [Int]
  T2 :: a -> b -> T [(a,b)]

This patch fixes the renamer and type checker to allow this.

Improve crash message from applyTys and applyTypeToArgs

Wibble to ungrammatical error message

Comments only: replace ":=:" by "~" (notation for equality predicates)

FIX #2693
- As long as the first reduceContext in tcSimplifyRestricted potentially
  performs improvement, we need to zonk again before the second reduceContext.
  It would be better to prevent the improvement in the first place, but given
  the current situation zonking is definitely the right thing to do.

  MERGE TO 6.10

Restore the terminal attributes even if ghci does not exit normally.

FIX #2688
- Change in TcSimplify.reduceContext:

     We do *not* go around for new extra_eqs.  Morally, we should,
     but we can't without risking non-termination (see #2688).  By
     not going around, we miss some legal programs mixing FDs and
     TFs, but we never claimed to support such programs in the
     current implementation anyway.

  MERGE TO 6.10

Move documentation within 80 column boundary.

Improve haddock documentation for 'GHC.topSortModuleGraph'.

Improve haddock documentation for HsExpr module.

Improve Haddock-markup for HsDecls module.

Run Haddock with compacting GC and show RTS statistics.

FIX (partially) #2703: bug in stack overflow handling when inside block
As a result of a previous ticket (#767) we disabled the generation of
StackOverflow exceptions when inside a Control.Exception.block, on the
grounds that StackOverflow is like an asynchronous exception.  Instead
we just increase the stack size.  However, the stack size calculation
was wrong, and ended up not increasing the size of the stack, with the
result that the runtime just kept re-allocating the stack and filling
up memory.

Re-export Located(..) and related functions
So that clients don't need to import SrcLoc

whitespace fix

FIX #2691: Manually reset the terminal to its initial settings; works around a bug in libedit.

Eliminate duplicate flags in the tab completion of ghci's :set command.

Add dph haddock docs to the doc index

Clean the bootstrapping extensible-exceptions package

Fix trac #2687
OtherPunctuation, ConnectorPunctuation and DashPunctuation are now
treated as symbols, rather than merely graphic characters.

Fix trac #2680; avoid quadratic behaviour from (++)

Fix the build when the bootstrapping compiler has a newer Cabal than us
We need to forcibly use the in-tree Cabal, or we get version mismatch errors

Fix the name of prologue.txt when making bindists

Comments only

Fix Trac #2497; two separate typos in Lexer.x

The patch to switch on lexing of 'forall' inside a RULES pragma
wasn't working.  This fixes it so that it does.

Update manual: tidy up instances, say more about type families in instance decls

Make tags work on Unices, too.

Undefine __PIC__ before defining it to work around "multiple definitions of __PIC__" warnings

Add "dyn" to GhcRTSWays when compiling --enable-shared

Fill out the ghc package's cabal file

Patching libffi so it can be built as DLL

libffi-dllize-3.0.6.patch should be pushed upstream

Add 'etags' makefile target.

This only works with stage2 since `ghctags' is built against stage1
but not against the bootstrapping compiler.  Also note that all of GHC
must typecheck for this target to succeed.  Perhaps we should not
overwrite the old TAGS file by default then.

Use cabal information to get GHC's flags to `ghctags'.

By giving the dist-directory to ghctags we can get all the GHC API
flags we need in order to load the required modules.  The flag name
could perhaps be improved, but apart from that it seems to work well.

Version bump for libffi to 3.0.6

Encode shared/static configuration into stamps to do the right thing when rebuilding

Add a link to the GHC API docs from the library haddock index

Link to the GHC API documentation from the main doc page

Whitespace only in docs/index.html

Tweak gen_contents_index
It now works again after it has been installed, as well as while it is
in a source tree.
After it's been installed it filters out the ghc package, as that
currently swamps everything else in the index.

Build fixes for DLLized rts

Do not filter the rts from linked libraries in linkDynLib as Windows does not allow unresolved symbols

Add HsFFI.o to INSTALL_LIBS

Rename symbol macros to a consistant naming scheme

Fix #2685: two Bool arguments to tidyTypeEnv were the wrong way around
So -XTemplateHaskell was behaving like -fomit-interface-file-pragmas,
and vice versa.

Simplify the "is $bindir in $PATH" test

Correct the "is $bindir in $PATH" test
We were testing neq instead of eq

Fix a typo which was causing ghci to quit on commands errors

Drop libm from the linker dependencies for libffi

Do not generate haddock documentation when running install-docs in libffi

When waking up thread blocked on TVars, wake oldest first (#2319)
StgTVarWatchQueue contains the threads blocked on a TVar in order
youngest first. The list has to be traversed backwards to unpark the threads
oldest first.

This improves the fairness when using STM in some situations.

add readTVarIO :: TVar a -> IO a

fix #2636: throw missing module errors as SourceErrors, not ErrMsg

atomicModifyIORef: use a local cas() instead of the global lock
This should improve scaling when using atomicModifyIORef

Delay building libffi until package.conf is created and fix bindist

Install a versioned ghc-pkg script; fixes trac #2662

Fix bindist creation: Only the main RTS was being put in the bindists

pushAtom: add missing case for MachNullAddr (#2589)

undo incorrect assertion, and fix comments