RTS tidyup sweep, first phase

The first phase of this tidyup is focussed on the header files, and in
particular making sure we are exposinng publicly exactly what we need
to, and no more.

 - Rts.h now includes everything that the RTS exposes publicly,
   rather than a random subset of it.

 - Most of the public header files have moved into subdirectories, and
   many of them have been renamed.  But clients should not need to
   include any of the other headers directly, just #include the main
   public headers: Rts.h, HsFFI.h, RtsAPI.h.

 - All the headers needed for via-C compilation have moved into the
   stg subdirectory, which is self-contained.  Most of the headers for
   the rest of the RTS APIs have moved into the rts subdirectory.

 - I left MachDeps.h where it is, because it is so widely used in
   Haskell code.

 - I left a deprecated stub for RtsFlags.h in place.  The flag
   structures are now exposed by Rts.h.

 - Various internal APIs are no longer exposed by public header files.

 - Various bits of dead code and declarations have been removed

 - More gcc warnings are turned on, and the RTS code is more
   warning-clean.

 - More source files #include "PosixSource.h", and hence only use
   standard POSIX (1003.1c-1995) interfaces.

There is a lot more tidying up still to do, this is just the first
pass.  I also intend to standardise the names for external RTS APIs
(e.g use the rts_ prefix consistently), and declare the internal APIs
as hidden for shared libraries.

replace sparc-specific Int64 code with calls to platform-independent macros

remove old incarnation of .NET support

Windows build fix

rts_stop_on_exception is a C int, not a W_
amazing this hasn't caused any problems before now

Fix #3412: the worker of an Id might not be a local Id

Add -r option to darcs-all, and remove push-all (#3375)
Contributed by: seliopou@gmail.com

This patch modifies darcs-all to have feature parity with push-all by
recognizing two new options.

    * -i, equivalent to --ignore-failure in push-all
    * -r <repo>, specifies the remote repository darcs commands will use

Some example commands:

Get the libraries from a repository of your choosing. This is useful
when working with a git mirror:

    $ ./darcs-all -r http://darcs.haskell.org get

Pull changes. Used to be:

    $ ./push-all --pull http://darcs.haskell.org

Is now:

    $ ./darcs-all -r http://darcs.haskell.org pull

Or to use the default remote of the ghc repository:

    $ ./darcs-all pull

remove dead code

fix warnings

Implement "ghc --abi-hash M1 M2 ..."
This prints a combined hash of the ABIs exposed by the modules listed
on the command line.  It will be used by Cabal for generating a
package Id based on the actual ABI of a package.

Clean GMP properly; fixes #3411

Fix permissions when installing

Fix creation of library doc index, and put the library docs in bindists

Remove a TODO item that's been done

Add a publish-docs rule

Add docs to bindists

Fix "make show" in a bindist

Make the new build system install the documentation

whitespace tweaks in rules/docbook.mk

Fix configure when alex/happy are installed to a directory containing spaces

Allow more than 64k instructions in a BCO; fixes #789

If ghci runs out of labels, panic

Fix the 64k insns overflow check in ghci, and add more checks

Fix cleaning the integer package

Fix warnings when building with the HEAD

Remove some redundant fromIntegral's

Fix space problems in ghci
We were making arrays with range (0, n-1) which is bad if n == 0 now
that we are using Word types.

Make the types we use when creating GHCi bytecode better match reality
We were keeping things as Int, and then converting them to Word16 at
the last minute, when really they ought to have been Word16 all along.

Add an (Outputable Word16) instance

Fix whitespace in ByteCodeAsm.lhs

Add CHECK(p), like ASSERT(p) but works even when !defined(DEBUG)
For inexpensive assertions

enable the x86-specific versions of atomic_inc()/atomic_dec()

fix warning

fix warning

fix a warning

Be a bit more sensible about choosing external OccNames

Instead of chr_$wchr, we now just get $wchr.  In general, when an
OccName is system-generated, we leave it out of the final external
name, preferring to use the name of the exported parent instead (which
is necessarily a user-written name).

Names should be no less deterministic, but should be shorter and more
readable.

Remove old 'foreign import dotnet' code
It still lives in darcs, if anyone wants to revive it sometime.

remove a couple of ToDos

buildinfo files need a $$(wildcard)

Slight tweak to avoid overflowing the command-line size in bindist
Not a real fix: if this bites us again we'll have to rethink

avoid (benign) error about overriding rules for binary-dist

Give a better error message for hidden packages when building Cabal package
Fixes #3168

Add a -fbuilding-cabal-package flag
This means GHC knows whether it's building a Cabal package, or just
Haskell sources. For example, it may wish to give different error
messages when building a Cabal package.

Add an extension to disable n+k patterns

Fix a warning on Windows

Remove GHC's haskell98 dependency

add number of bytes to +RTS -DS leak reports

free the gc_thread structures during shutdown

Add atomic_inc()/atomic_dec(), and use them to replace gc_running_mutex
This also fixes a memory leak on Windows with -threaded, because we
were calling initMutex(&gc_running_mutex) for each GC, which allocates
memory.

Rewrite the foreign import string parser using ReadP
And kill the duplicate one in HsSyn.Convert

point to the wiki

Remove note about avoiding use of #def in libraries
It should be safe to use now that we aren't relying on C prototypes
for foreign functions in via-C code.

refactorings

Fix Trac #3391: make generic to/from bindings only for newly-declared types

Before this patch we were bogusly making to/from bindings for all data types
in the TcGblEnv.  But that is wrong when we have multiple "chunks" of
bindings in Template Haskell.  We should start from the declarations
themselves.  Easy.

Print explicit braces and semicolons in do-notation

By printing explicit braces we make it more likely that pretty-printed
code will be acceptable if fed back into GHC.

See http://www.haskell.org/pipermail/glasgow-haskell-users/2009-July/017554.html

Documentation for stand-alone deriving (Trac #3012)

Windows only: set the encoding on stdin to utf8
Otherwise it defaults to latin1.

Fix Trac #3012: allow more free-wheeling in standalone deriving

In standalone deriving, we now do *not* check side conditions.
We simply generate the code and typecheck it.  If there's a type
error, it's the programmer's problem.

This means that you can do 'deriving instance Show (T a)', where
T is a GADT, for example, provided of course that the boilerplate
code does in fact typecheck.

I put some work into getting a decent error message.  In particular
if there's a type error in a method, GHC will show the entire code
for that method (since, after all, the user did not write it).
Most of the changes are to achieve that goal.

Still to come: changes in the documentation.

Use the ErrMsg record type

Stop generating redundant parens in 'deriving' code

This makes the code printed by -ddump-deriv look prettier

Wibble to printing tuple sections

Fix Trac #3193: improve line number reporting for equality constraints

When reporting an error from a failed equality constraint, we were
setting the *context* but not the *line number* in TcTyFuns.eqInstMisMatch
As a result, the line number didn't match the context at all.  It's
trivial to fix.

I'm 99% certain this fixes #3193, but it's too complicated to
reproduce, so I have not actually tested it.

Add fmapM_maybe :: Monad m => (a -> m b) -> Maybe a -> m (Maybe b)

This function isn't used at the moment, but Max added it, and it
looks useful.

Add tuple sections as a new feature

This patch adds tuple sections, so that

(x,,z)  means   \y -> (x,y,z)

Thanks for Max Bolinbroke for doing the hard work.

In the end, instead of using two constructors in HsSyn, I used
just one (still called ExplicitTuple) whose arguments can be
Present (LHsExpr id)
or Missing PostTcType

While I was at it, I did a bit of refactoring too.

NetBSD defines _REENTRANT in its header files, so compiling ghc gives
redefinition warnings for all files that are including includes/Rts.h.

Contributed by: Krister Walfridsson <krister.walfridsson@gmail.com>

includes/TSO.h: kill trailing whitespace

Say what StgTSOBlockInfo is for, where to read about it.

Make the Integer library used directly configurable in GHC and base
Rather than indirecting through an integer package

Fix cleaning with the new integer changes

Add integer-simple as a build option

Tweak whitespace

thenIO, bindIO, returnIO moved to GHC.Base

remove unused $(HscIfaceFileVersion)

Choose external names more predictably

Now, for a compiler-generated binding "x", if "x" is referred to by
the exported "f", then it will be named "f_x" rather than something
like "x23".  This means that hopefully

  - compilation will more often product the same results given the
    same input (the choice of names is not dependent on the
    non-deterministic order of bindings within the compiler).

  - less recompilation will be necessary after making changes

  - navigating Core might be a bit easier.

unfortunately, compilation with -O still does not consistently produce
the same ABI.  The simplifier sometimes does different things,
apparently.

Names will be longer, but I can't see a way around that.

Use stable ordering in the dependencies
Fixes another cause of wobbly interface files and unnecessary recompilation.

fall back on libffi for 'foreign import "wrapper"' if necessary

Take account of GADTs when reporting patterm-match overlap

When matching against a GADT, some of the constructors may be impossible.
For example
data T a where
          T1 :: T Int
          T2 :: T Bool
          T3 :: T a

        f :: T Int -> Int
        f T1 = 3
        f T3 = 4

Here, does not have any missing cases, despite omittting T2, because
T2 :: T Bool.

This patch teaches the overlap checker about GADTs, which happily
turned out to be rather easy even though the overlap checker needs
a serious rewrite.

Fix Trac #3382: desugaring of NPats

Max spotted that the short-cut rules for desugaring NPats (where
we compare against a literal) were wrong now that we have overloaded
strings.

Add a -fwarn-dodgy-exports flag; fixes #1911
This is used to control warnings that were previously unconditional.

Build terminfo if we /aren't/ on Windows, not if we /are/

Change how PACKAGES is constructed, so that everything gets cleaned properly
If Windows wasn't defined properly then the Win32 package wasn't being
cleaned, as it wasn't added to PACKAGES. Now we always add everything to
PACKAGES when CLEANING=YES.

temporarily turn off unused import warnings for the time library

Follow the split directory rename in the GHC build system rules

Add osuf to the name we use for the split dir
This avoids a collision between the directories we use when compiling
multiple ways, which in turn leads to a race condition in parallel
builds.

Temporarily turn off unused-do-bind warnings for the time package

Make ghc-cabal handle "Custom" Setup.hs files that have a configure script

Add the time library, and support for libraries in tarballs

Always serialise Int as 64bit values; fixes trac #3041
This means that, provided the values are small enough, files
serialized are portable between architectures. In particular,
.haddock files are portable.

Remove some code that has always been commented out

Fix Trac #3346: tcSimplify for LHS of RULES with type equalities

Allow mixed case in the LINE pragma; patch from squadette; fixes #1817

Comment only

Add missing case for eq_note.

Rename parameters to make debugging code compile.

Comment fix: use the same variable names in the conclusion as in the premise.

Typo fixes, from Alexey Mahotkin

Use names like '$fOrdInt' for dfuns (and TF instances), rather than '$f21'

2 reasons for this:
  - compilation is more predictable.  Adding or removing an instance
    is less likely to force unnecessary recompilation due to
    renumbering other dfun names.
  - it makes it easier to read Core / C-- / asm

The names aren't completely deterministic.  To do that, we'd have to
include package and module names, which would make the symbol names
long and reduce readability.  So the compromise is that if there's a
clash, we disambiguate by adding an integer suffix.  This is fairly
unlikely in practice unless you're using overlapping instances.

Type family instances are handled in the same way, with the same
disambiguation strategy.

Use a stable ordering for the export list in the interface
The export list was ordered according to the whim of FastStrings,
which meant that interface fingerprints could change for no good
reason, causing spurious recompilation.

Don't put all of $CFLAGS into $SRC_CC_OPTS
Instead, we just put the flags we need in there (e.g. -m64 on OS X 64).
This fixes a problem found by Simon M, where we were compiling
everything with -g, leading to a bloated RTS.

Move showOpt into DynFlags