Make allocatePinned use local storage, and other refactorings

This is a batch of refactoring to remove some of the GC's global
state, as we move towards CPU-local GC.

  - allocateLocal() now allocates large objects into the local
    nursery, rather than taking a global lock and allocating
    then in gen 0 step 0.

  - allocatePinned() was still allocating from global storage and
    taking a lock each time, now it uses local storage.
    (mallocForeignPtrBytes should be faster with -threaded).

  - We had a gen 0 step 0, distinct from the nurseries, which are
    stored in a separate nurseries[] array.  This is slightly strange.
    I removed the g0s0 global that pointed to gen 0 step 0, and
    removed all uses of it.  I think now we don't use gen 0 step 0 at
    all, except possibly when there is only one generation.  Possibly
    more tidying up is needed here.

  - I removed the global allocate() function, and renamed
    allocateLocal() to allocate().

  - the alloc_blocks global is gone.  MAYBE_GC() and
    doYouWantToGC() now check the local nursery only.

Free full_prog_argv at exit, closing a memory leak

free cap->saved_mut_lists too
fixes some memory leakage at shutdown

exitScheduler: move boundTaskExiting call outside #ifdef THREADED_RTS
Fixes a little leaked memory at shutdown in non-threaded RTS

Use dlltool from the in-tree mingw installation
We only use dlltool on Windows, and this way we don't require that
the user has it installed.

Fix Commentary link in the HACKING file; trac #3706

Add an entry fo the ghci command :run to the user guide

Fix typo in docs

Delay expansion of some makefile variables until they are available

Call $(SED) rather than sed

Look for sed as gsed first
Solaris's sed apparently doesn't understand [:space:]

Avoid running empty for loops; fixes trac #3683
Solaris's sh gives
    /bin/sh: syntax error at line 1: `;' unexpected
when faced with something like
    for x in ; do ...; done
Patch from Christian Maeder.

Fix PS file generation
(the image doesn't work, but at least db2latex doesn't fall over)

Implement a new heap-tuning option: -H

-H alone causes the RTS to use a larger nursery, but without exceeding
the amount of memory that the application is already using.  It trades
off GC time against locality: the default setting is to use a
fixed-size 512k nursery, but this is sometimes worse than using a very
large nursery despite the worse locality.

Not all programs get faster, but some programs that use large heaps do
much better with -H.  e.g. this helps a lot with #3061 (binary-trees),
though not as much as specifying -H<large>.  Typically using -H<large>
is better than plain -H, because the runtime doesn't know ahead of
time how much memory you want to use.

Should -H be on by default?  I'm not sure, it makes some programs go
slower, but others go faster.

Store a destination step in the block descriptor
At the moment, this just saves a memory reference in the GC inner loop
(worth a percent or two of GC time).  Later, it will hopefully let me
experiment with partial steps, and simplifying the generation/step
infrastructure.

Fix the prof_scc.png image in the profiling section (#3694)

document 'recache' command in the help output (#3684)

Check whether the main function is actually exported (#414)

Avoid using non-standard GNU tar option --force-local

Reorder ALL_RTS_LIBS

ALL_RTS_LIBS is (ab)used for linking ghc when BootingFromHc=Yes,
which needs libHSrtsmain.a before libHSrts.a.

Update dependencies

Follow Cabal changes

Tweak layout to work with alternative layout rule

Tweak the alternative layout rule: {} contains commas

Correct the advanceSrcLoc calculation for tabs
It was off-by-one

Tweak alternative layout rule

Make the alternative layout rule cope with file pragmas

Give more informative error messages
We used to just get
    ghc: panic! (the 'impossible' happened)
      (GHC version 6.13.20091128 for x86_64-unknown-linux):
        too few bytes. Failed reading at byte position 32753
with no indication of what was being parsed.

Teach advanceSrcLoc about tab characters

Whitespace only

Columns now start at 1, as lines already did
Also corrected a couple of line 0's to line 1

Remove configure tests on tarballs that no longer exist

Implement non-decreasing do indentation in the alternative layout rule

add docs for Unicode entities in #2978

Apply patch from #2978: add more Unicode syntax

Use UTF-8 explicitly for InstalledPackageInfo
So ghc-pkg register/update takes input in UTF-8, and ghc-pkg dump
outputs in UTF-8.  Textual package config files in the package DB are
assumed to be in UTF-8.

Comments only, esp about RecStmts

Fix a bug in alternative layout rule

Fix a bug in alternative layout
And make the code simpler in the process!

Bug fix for alternative layout rule

Tweak alternative layout rule

Add unboxed parentheses to the alternative layout rule

Tweak the warning suppression flags used in Lexer

Implement the alternative layout rule
Caution: Largely untested

Fix some warning in Lexer

threadStackOverflow: check whether stack squeezing released some stack (#3677)

In a stack overflow situation, stack squeezing may reduce the stack
size, but we don't know whether it has been reduced enough for the
stack check to succeed if we try again.  Fortunately stack squeezing
is idempotent, so all we need to do is record whether *any* squeezing
happened.  If we are at the stack's absolute -K limit, and stack
squeezing happened, then we try running the thread again.

We also want to avoid enlarging the stack if squeezing has already
released some of it.  However, we don't want to get into a
pathalogical situation where a thread has a nearly full stack (near
its current limit, but not near the absolute -K limit), keeps
allocating a little bit, squeezing removes a little bit, and then it
runs again.  So to avoid this, if we squeezed *and* there is still
less than BLOCK_SIZE_W words free, then we enlarge the stack anyway.

add a comment to TSO_MARKED

Pass --no-user-package-conf to ghc-pkg in bindisttest

Add a note saying what Haddock relies on about Instance.is_dfun

Treat () as an enumeration tycon
This fixes deriving Ord (), which previously failed with
  ghc-stage1: panic! (the 'impossible' happened)
    (GHC version 6.13.20091123 for x86_64-unknown-linux):
          TcGenDeriv:mk_FunBind

Whitespace only

inline has moved to GHC.Magic

Use the ghc-perl tarball on Windows, instead of the msys one

Install perl on Windows

Remove cprAnalysis directory from hs-source-dirs

Remove -fasm from mk/validate-settings.mk
Makes it easier to do unregisterised validate runs

Fix some dependencies in bindists
We can't depend on sources in a bindist, because we don't have the sources.

Add a rule to allow us to sdist libraries easily

Check upper/lower bounds on various RTS flags (#3633)

Also, make K mean 1024 rather than 1000, in RTS flags (similarly for M
and G).  The main reason I want to change it is that otherwise this
might be confusing:

exp3_8: error in RTS option -H4k: size outside allowed range (4096 - 18446744073709551615)

And I think the original reason for using 1000 instead of 1024,
worries about direct-mapped caches, is not an issue in this context
(even if you can find a direct-mapped cache these days).

define HS_WORD_MAX

Print the prog name in errorBelch() even if prog_argv is not set yet
This means we get the prog name in error messages from the flag parser

Remove dead code

Remove the (very) old strictness analyser

I finally got tired of the #ifdef OLD_STRICTNESS stuff.  I had been
keeping it around in the hope of doing old-to-new comparisions, but
have failed to do so for many years, so I don't think it's going to
happen.  This patch deletes the clutter.

Make INLINE warning more precise

Implement -fexpose-all-unfoldings, and fix a non-termination bug

The -fexpose-all-unfoldings flag arranges to put unfoldings for *everything*
in the interface file.  Of course,  this makes the file a lot bigger, but
it also makes it complete, and that's great for supercompilation; or indeed
any whole-program work.

Consequences:
  * Interface files need to record loop-breaker-hood.  (Previously,
    loop breakers were never exposed, so that info wasn't necessary.)
    Hence a small interface file format change.

  * When inlining, must check loop-breaker-hood. (Previously, loop
    breakers didn't have an unfolding at all, so no need to check.)

  * Ditto in exprIsConApp_maybe.  Roman actually tripped this bug,
    because a DFun, which had an unfolding, was also a loop breaker

  * TidyPgm.tidyIdInfo must be careful to preserve loop-breaker-hood

So Id.idUnfolding checks for loop-breaker-hood and returns NoUnfolding
if so. When you want the unfolding regardless of loop-breaker-hood,
use Id.realIdUnfolding.

I have not documented the flag yet, because it's experimental.  Nor
have I tested it thoroughly.  But with the flag off (the normal case)
everything should work.

Re-implement the binder-swap stuff in OccurAnal

This is a pretty big patch, but it has a very local effect.
It affects only the binder-swap mechanism in OccurAnal, which
was not working well becuase it's more subtle than I'd realised
(See Note [getProxies is subtle]).  I think this does a much
better job.

Try harder not to make DFuns into loop breakers

See Note [DFuns should not be loop breakers]

Extend the GHCi FAQ slightly

Add gnutar to the list of names we use when looking for GNU tar

Add support for the man page to the new build system

Refactor case-merging and identical-alternative optimisations

These two optimisations were originally done by SimplUtils.mkCase
*after* all the pieces have been simplified.  Some while ago I
moved them *before*, so they were done by SimplUtils.prepareAlts.
It think the reason was that I couldn't rely on the dead-binder
information on OutIds, and that info is useful in these optimisations.

However,
 (a) Other changes (notably moving case-binder-swap to OccurAnal)
     have meant that dead-binder information is accurate in
     OutIds

 (b) When there is a cascade of case-merges, they happen in
     one sweep if you do it after, but in many sweeps if you
     do it before.  Reason: doing it after means you are looking
     at nice simplified Core.

Fix a nasty infelicity in the size computation of CoreUnfold

The size computation was treating gigantic case expressions as
practically free, which they really aren't.  It was exacerbated by
recent decisions to charge 0 for naked variables and constructors, so
the RHS of the case might look free too.  A good example was
Foreign.C.Error.errnoToIOError, which hsa lots of join points
that were getting inlined way to vigorously, so we had:

  *** Simplifier Phase 2 [main]:
      Result size = 2983
  *** Core Linted result of Simplifier mode 2 [main], iteration 1 out of 4:
      Result size = 640327
  *** Core Linted result of Simplifier mode 2 [main], iteration 2 out of 4:
      Result size = 1659

Notice that gigantic intermediate!

This patch adds a small charge for each *alternative*.  Of course,
that'll also mean that there's a bit less inling of things involving
case expressions.

Comments and white space only

Fix splitAppTys

Windows DLLs: Slurp across the actually static version of libffi

Windows DLLs: Don't rely on stg/DLL.h being included in RtsAPI.h

Fix warnings about unused imports

Windows DLLs: stifle more warnings about auto imported symbols

Windows DLLs: stifle warnings about symbols being auto imported from DLLs

Windows DLLs: add #ifdefery to turn off DLL import of libffi when building statically.

Windows DLLs: disable extra shutdownHaskell() when unloading the RTS DLL

Windows DLLs: remove dup symbol from def file

Use opt_PIC not #defined __PIC__ in compiler source.

Windows DLLs: CHARLIKE_closure and INTLIKE_closure aren't defined in this way.

If a comment says "Is this correct?", it's not.

Windows DLLs: gmp is in the integer-gmp package now.

Use DLL aware runIO_closure instead of base_GHCziTopHandler_runIO_closure directly

RTS also uses runSparks_closure from base

Provide extralibs when linking Windows DLLs

Don't share low valued Int and Char closures with Windows DLLs

Windows DLLs: use one import lib for each DLL the RTS needs.

Add autoconf code to locate dlltool on Windows

Break recursive imports between the RTS and base library on Windows.

The file rts/win32/libHSbase.def contains a list of all the
symbols from the base library that the RTS needs.

When building the RTS into a DLL on Windows, we want to link the DLL
for the RTS before we link the DLL for the base library. We use
libHSbase.def to make the "import library" libHSbase.so.a, which
contains stubs for each of the symbols from the base library that
the RTS needs.

Add the msysCORE*.tar.gz tarball to the list of tarballs we unpack

Put the libffi files to be installed into a dist directory
This meakes it easier to correctly clean libffi

Add ghc-tarballs to the list of directories that go into an sdist

Remove redundant libffi/tarball directory
We now use the tarball in the ghc-tarballs repo

Fix gen_contents_index on MSYS
On MSYS
    sed 's/.*[ \t]//'
wasn't matching
    version:<tab>1.0
so I've switched to
    's/.*[[:space:]]//'
which works on Linux, cygwin and MSYS.

include the GHC package docs in a bindist

exclude some haddock-related rules during BINDIST