Type families: new algorithm to solve equalities
- This adds the new equational solver based on the notion of normalised
  equalities.
- The new algorithm is conceptually much simpler and will eventually enable us
  to implement a fully integrated solver that solves equality and dictionary
  constraints together.
- More details are at
  <http://hackage.haskell.org/trac/ghc/wiki/TypeFunctionsSolving>
- The code is there, but it is not being used yet.

Don't build latex docs by default
"LATEX_DOCS = YES" enables them

Now that haddock is in-tree, build haddock docs by default

Add an explanation of the format of the packages file format

Install the stage 2 ghc package when installing; fixes trac #2567

Update the users guide to point at the in-tree core.ps.gz
It used to point to a file on haskell.org, which didn't necessarily
describe the right version of core.

Compress the ext-core docs

Install the ext-core docs

Make ext-core when making all in docs

Remove the haddock detection
Now that we build haddock in the GHC build, we don't need to look for it
on the path.

Add a comment to utils/Makefile

Fix up the instance-declaration re-engineering story

This patch deals with a rather complicated situation involving
overlapping instances.  It's all explained in the commments
   Note [Subtle interaction of recursion and overlap]

The absence of this case make DoCon and regex-base fail with
an error about overlapping instances.  Now they work properly
again.

Comments only

Minor refactoring to share InstEnv.instanceBindFun

Remove unused constructors AvoidMe, WildCard

More specialiser wibbles

Several things

 * Only gather call details for local things, not imported ones

 * When making auxiliary dictionary bindings in specDefn, remember
   to give them an unfolding.  Otherwise we don't gather call details
   for functions applied to them.

Retain unfoldings even with SimplGently

When binding x = e, we now attach an unfolding to 'x' even if
it won't be used because SimplGently is on.

Reason: the specialiser runs right after SimplGently, and it (now)
only gathers call information for calls whose dictionary arguments are
"interesting" -- i.e. have an unfolding of some kind.

Comments only

Better debug panic messages in applyTys

Make ASSERT2 mention msg even when debug is off (avoid warnings)

Move the "This is a generated file" to the top of GHC.Prim

Make genprimopcode generate code that haddock 2 understands
Mainly this means adding a binding for all the exports, e.g. as well as
    gtAddr# :: Addr# -> Addr# -> Bool
we also generate
    gtAddr# = let x = x in x

Define _BSD_SOURCE in Stg.h
This means S_ISSOCK gets defined on Linux

Add a note explaining a couple of seq's

fix message for missing packages

An incorrect libraries/ prefix was being added.

add assertion to check that UniqFM is only passed "positive" uniques
The insertion code in UniqFM fails if a unique key
produces a negative FastInt. I've added an assertion to check
that each insertion uses a positive Unique.

Where do the negative uniques come from? Both Simom M and
I have run into this problem when computing hashes for data structures.
In both cases, we have avoided the problem by ensuring that
the hashes remain positive.

Add darcs-all usage info

Re-merge concurrent,timeout,unique,st,getopt into base

Fix ifBuildable
Required libraries now have 3 fields in the packages file, not 2

Major change in compilation of instance declarations (fix Trac #955, #2328)

This patch makes an important change to the way that dictionary
functions are handled.  Before, they were unconditionally marked
INLIINE, but all the code written by the user in the instance
was inside that unconditionally-inlined function.  Result: massive
code bloat in programs that use complicated instances.

This patch make instances behave rather as if all the methods
were written in separate definitions.  That dramatically reduces
bloat.  The new plan is described in TcInstDcls
Note [How instance declarations are translated]

Everything validates.  The major code-bloat bug is squashed: in particular
DoCon is fine now (Trac #2328) and I believe that #955 is also better.

Nofib results:

Binary sizes
        -1 s.d.      +2.5%
        +1 s.d.      +3.1%
        Average      +2.8%

Allocations
        -1 s.d.      -6.4%
        +1 s.d.      +2.5%
        Average      -2.0%

Note that 2% improvement.  Some programs improve by 20% (rewrite)!
Two get slightly worse: pic (2.1%), and gameteb (3.2%), but all others
improve or stay the same.

I am not absolutely 100% certain that all the corners are correct; for
example, when default methods are marked INLINE, are they inlined?  But
overall it's better.

It's nice that the patch also removes a lot of code.  I deleted some
out of date comments, but there's something like 100 fewer lines of
code in the new version!  (In the line counts below, there are a lot
of new comments.)

Improved specialisation of recursive groups

This patch significantly improves the way in which recursive groups
are specialised.  This turns out ot be very important when specilising
the bindings that (now) emerge from instance declarations.

Consider
    let rec { f x = ...g x'...
            ; g y = ...f y'.... }
    in f 'a'
Here we specialise 'f' at Char; but that is very likely to lead to
a specialisation of 'g' at Char.  We must do the latter, else the
whole point of specialisation is lost.  This was not happening before.

The whole thing is desribed in
    Note [Specialising a recursive group]

Simon

Cope with recent versions of Perl that lack the $* feature

FIX #2554: GHC.TopHandler.{runIO,runNonIO} should be GC roots

Check the modification times of libraries in --make link step
When linking in --make we check the modification time of the
executable against the modification time of the object files, and only
re-link if any object file is newer.  However, we should also check
the modification times of packages, since the recompilation checker
also tracks dependencies in packages.

In a GHC build this means that if you recompile stage2 and don't
manage to change any fingerpints, we won't recompile Main but we'll
still re-link it.

Make the dynlibs, ghci and ncg flags manual too

Squash a space leak

Fix a space leak

fix a space leak

Make ghc.cabal's editline flag manual, to simplify the Makefile

Don't build ghc in stage1 with editline (since we already don't build ghci).  Fixes #2557.

If we want a profiled GHC then use -auto-all when building the GHC lib

Fix building the GHC API with profiling

Actually, that's use a separate haddock repo for now
Everything will be changing in a couple of weeks anyway, so let's
just keep it simple for the time being.

Always build docs/{ext-core,storage-mgt}, even when making a bindist

Fix linkage on OpenBSD.

push-all needs to skip  repos, as we don't know how to push to them
Alternatives would be to have a GHC haddock repo (which I believe David
is keen to avoid), or to put the SSH URL in the packages file too (which
would probably mean moving to a more structured file format).

Remove install-inplace directories when cleaning

Use the right ghc-pkg when installing the rts package

When installing, we can't rely on the ghc-pkg we just installed to work
If DESTDIR is defined, then on *nix machines ghc-pkg is a script that
doesn't point to the right path. Therefore we use the ghc-pkg binary
directly.

Tweaks for installs into a DESTDIR

Handle the html target in compiler/ and ghc/

Turn on optimisation for stage2 when validating
This brings my validate down from 22mins to 16 mins.
Compiling stage2 takes longer, but we gain a faster haddock, faster
running of the tests, and faster building of the utils to be installed.

haddock 2 doc fixes

Remove an erroneous comma from the Makefile

Disambiguate some names in haddock comments

Update the build system to handle building and using haddock2
One side-effect of this is that we need to build the install-utils with
stage2 rather than stage1 as we need the ghc package.

Fix a haddock2 failure

Don't check that we have found haddock
We now use an in-tree haddock instead

Don't fail if libraries/bootstrapping already exists

When haddocking the libraries, tell Cabal where haddock is
We can't do it when configuring, because we haven't built haddock yet

Build haddock with the stage1 compiler

Teach darcs-all about absolute repos, and add haddock to packages

Improve documentation of stolen syntax

This patch adds a section that summarises what syntax is stolen by
which flags.  The section is at the end of the "syntactic extensions"
section of the manual.

Fix Trac #2529: derived read for prefix constructor operators

Fix Trac #745: improve error recoevery for type signatures

It turns out that fixing Trac #745 is easy using mapAndRecoverM,
and tidies up the code nicely in several places.  Hurrah.

Fix Trac #2538: better error messages when validating types

This fix solely concerns error messages, and uses a bit of contextual
information to suggest plausible flags.

It was rather more fiddly to implement than I expected.  Oh well.

Fix Trac #2520: duplicate symbols

The problem here was that were were quantifying over an *External* Name,
which causes no end of confusion.  See Note [Const rule dicts] in DsBinds.

The fix is very easy, I'm happy to say.

Only specialise on dictionaries that have some interesting structure

I discovered by accident that we were generating utterly useless
specialisations.  See Note [Interesting dictionary arguments] in Specialise.

This patch used SimplUtils.interestingArg to restrict specialisation to
cases where the dictionary acutally has some information to give us.

Better documentation for -XLiberalTypeSynonyms, and steal forall keyword

In my travels through the front end I discoverd that -XLiberalTypeSynonyms is
rather thinly described.  Furthermore, it alleges that you can write a
forall on the RHS of a type synonym decl, so that means it should enable
the forall keyword.

re-fix of #1205, fix #2542
New form of :load in GHCi:

> :load *A

forces A to be loaded as byte-code.  See the manual for details.  The
previous behaviour for specifying filenames vs. module names on the
command line and in :load has been restored.

The Target datatype has a new Bool field, which is True if the target
is allowed to be loaded from compiled code, or False otherwise, so
this functionality is available via the GHC API.  guessTarget
understands the *-prefix form for specifying targets.

Improve documentation of MagicHash and primitive types generally (Trac #2547)

Give locations of flag warnings/errors

Remove a now-redundant comment

Separate the static flag parser from the static global variables
This allows us to avoid a module import loop:
CmdLineParser -> SrcLoc -> Outputable -> StaticFlags -> CmdLineParser

Move pprFastFilePath from SrcLoc to Outputable

Fix flaggery for RULES (cf Trac #2497)

This patch executes the plan described in the discussion in Trac #2497.
Specficially:

    * Inside a RULE, switch on the forall-as-keyword in the lexer,
      unconditionally. (Actually this is done by an earlier patch.)

    * Merge the -XScopedTypeVariables and -XPatternSignatures flags,
      and deprecate the latter. Distinguishing them isn't senseless,
      but it's jolly confusing.

    * Inside a RULE, switch on -XScopedTypeVariables unconditionally.

    * Change -frewrite-rules to -fenable-rewrite-rules; deprecate the former.
      Internally the DynFlag is now Opt_EnableRewriteRules.

There's a test in typecheck/should_compile/T2497.hs

always treat 'forall' and '.' as reserved keywords inside RULES pragmas

Fix a nasty float-in bug

This is a long-standing bug in FloatIn, which I somehow managed to
tickle (it's actually surprisingly hard to provoke which is why
it has not shown up before).

The problem was that we had a specialisation like this:

  let
f_spec = ...
  in let
{-# RULE f Int = f_spec #-}
f = ...
  in
<body>

The 'f_spec' binding was being floated inside the binding for 'f',
which makes the RULE invalid becuase 'f_spec' isn't in scope.

We just need to add the free variables of the RULE in the right
places...

Make rule printing wobble less

a) When generating specialisations, include the types in the name
   of the rule, to avoid having rules with duplicate names.
   (The rule name is used to put rules in canonical order for
   fingerprinting.)

b) In Specialise and SpecConstr use a new function Rules.pprRulesForUser
   to print rules in canonical order.  This reduces unnecessary wobbling
   in test output, notably in T2486

syb is now in its own package

Fix "runghc foo" where the program is foo.hs or foo.lhs

When making bindists, check that we know where we are

Fix the ghci script; fixes trac #2485

Update .darcs-boring for the new libraries, plus some other odds and ends

Read the packages file in strictly in darcs-all and push-all
This fixes a problem where darcs tries to update it while perl has it
open. On Windows this fails. Spotted by Claus Reinke.

Remove the InstallShield directory; it is no longer used

Remove the now-unused WindowsInstaller directory

Set datadir=libdir; fixes trac #2541
GHC needs package.conf and things like unlit to be in the same place

Get everything building with base 4 in the HEAD
Some things were using the base3 compat library.

Change references to the old BIN_DIST_TARBALL to the new BIN_DIST_TAR_BZ2

Fix the "have we got all the bootlibs" check
The packages file has an extra component (for "darcs" or "git") so we need
to take that into account when grepping.

concurrent, unique, timeout have now been split off from base

Actually tar up Windows bindists

getopt is now split off from base

st is now split off from base

Ignore install-docs in compiler/Makefile and ghc/Makefile

Fix making bindists
We were looking for executable things, but not requiring that they were
files. So we were adding lots of directories (and thus their contents)
to the bindists, massively inflating their size.

mk/cabal.mk now turns on -Wall

Fix warnings in runghc

Make some utils -Wall clean