fix for large stack allocations

Implement stack chunks and separate TSO/STACK objects

This patch makes two changes to the way stacks are managed:

1. The stack is now stored in a separate object from the TSO.

This means that it is easier to replace the stack object for a thread
when the stack overflows or underflows; we don't have to leave behind
the old TSO as an indirection any more.  Consequently, we can remove
ThreadRelocated and deRefTSO(), which were a pain.

This is obviously the right thing, but the last time I tried to do it
it made performance worse.  This time I seem to have cracked it.

2. Stacks are now represented as a chain of chunks, rather than
   a single monolithic object.

The big advantage here is that individual chunks are marked clean or
dirty according to whether they contain pointers to the young
generation, and the GC can avoid traversing clean stack chunks during
a young-generation collection.  This means that programs with deep
stacks will see a big saving in GC overhead when using the default GC
settings.

A secondary advantage is that there is much less copying involved as
the stack grows.  Programs that quickly grow a deep stack will see big
improvements.

In some ways the implementation is simpler, as nothing special needs
to be done to reclaim stack as the stack shrinks (the GC just recovers
the dead stack chunks).  On the other hand, we have to manage stack
underflow between chunks, so there's a new stack frame
(UNDERFLOW_FRAME), and we now have separate TSO and STACK objects.
The total amount of code is probably about the same as before.

There are new RTS flags:

   -ki<size> Sets the initial thread stack size (default 1k)  Egs: -ki4k -ki2m
   -kc<size> Sets the stack chunk size (default 32k)
   -kb<size> Sets the stack chunk buffer size (default 1k)

-ki was previously called just -k, and the old name is still accepted
for backwards compatibility.  These new options are documented.

comments on SRC_HC_OPTS (#4829)

fix another sanity error, and refactor/tidy up

Fix a bug in functorLikeTraverse, which was giving wrong answer for tuples

This bug led to Trac #4816, which is hereby fixed

Improve printing for -ddump-deriv

Tighten up what it means to be an "enumeration data constructor"

See Note [Enumeration types] in TyCon, and comments in Trac #4528

Allow enumerations to have phantom arguments.

The bytecode generator was being too eager.
Fixes Trac #4528, or rather, a near variant.

Instance declaration overlap allowed if *either* has -XOverlappingInstances

This satisfies Trac #3877.  Documentation is changed too.
I'm not sure if this should go in 7.0.2.

Fix Trac #4841: behave right with TypeSynonymInstances and NoFlexibleInstances

When we have TypeSynonymInstances without FlexibleInstances we should still
insist on a H98-style instance head, after looking through the synonym.

This patch also make FlexibleInstances imply TypeSynonymInstances.  Anything
else is a bit awkward, and not very useful.

Fix Trac #3731: more superclass subtlety (sigh)

I will add more comments, but I want to commit this tonight,
so the overnight builds get it.

Less verbose debug print

Wibble to InstEnv.instanceHead

Fixes an accidental glitch in T1835

Remove dead code now that we require the bootstrapping compiler be >= 6.12

GHC 6.12 is now needed to build the HEAD

Add libstdc++-4.5.0-1-mingw32-dll-6.tar.lzma to mingw tarballs

Fix recursive superclasses (again).  Fixes Trac #4809.

This patch finally deals with the super-delicate question of
superclases in possibly-recursive dictionaries.  The key idea
is the DFun Superclass Invariant (see TcInstDcls):

     In the body of a DFun, every superclass argument to the
     returned dictionary is
       either   * one of the arguments of the DFun,
       or       * constant, bound at top level

To establish the invariant, we add new "silent" superclass
argument(s) to each dfun, so that the dfun does not do superclass
selection internally.  There's a bit of hoo-ha to make sure that
we don't print those silent arguments in error messages; a knock
on effect was a change in interface-file format.

A second change is that instead of the complex and fragile
"self dictionary binding" in TcInstDcls and TcClassDcl,
using the same mechanism for existential pattern bindings.
See Note [Subtle interaction of recursion and overlap] in TcInstDcls
and Note [Binding when looking up instances] in InstEnv.

Main notes are here:

  * Note [Silent Superclass Arguments] in TcInstDcls,
    including the DFun Superclass Invariant

Main code changes are:

  * The code for MkId.mkDictFunId and mkDictFunTy

  * DFunUnfoldings get a little more complicated;
    their arguments are a new type DFunArg (in CoreSyn)

  * No "self" argument in tcInstanceMethod
  * No special tcSimplifySuperClasss
  * No "dependents" argument to EvDFunApp

IMPORTANT
   It turns out that it's quite tricky to generate the right
   DFunUnfolding for a specialised dfun, when you use SPECIALISE
   INSTANCE.  For now I've just commented it out (in DsBinds) but
   that'll lose some optimisation, and I need to get back to
   this.

Doing the smart canonicalization only if we are not simplifying a Rule LHS.
Also, same thing now applies for adding superclasses.

Moved canonicalisation inside solveInteract

Moreover canonicalisation now is "clever", i.e. it never canonicalizes a class
constraint if it can already discharge it from some other inert or previously
encountered constraints. See Note [Avoiding the superclass explosion]

GHCi linker: Assume non-Haskell libraries are dynamic libs
This works around a segfault we get when trying to load libiconv.a on
some platforms.

Add --version support to ghc-cabal

Don't link the GHC RTS into our C-only programs

Build a copy of ghc-cabal with the in-tree compiler, for the bindist

Add a test that all programs in the bindist were built with the right GHC
They should use the GHC from the build tree, not the bootstrapping compiler.

Fix Trac #4534: renamer bug

The renamer wasn't attaching the right used-variables to a
TransformStmt constructor.

The real modification is in RnExpr; the rest is just
pretty-printing and white space.

White space only

Comments only

Make the case-to-let transformation a little less eager

See Note [Case elimination: lifted case].
Thanks to Roman for identifying this case.

warning fix: don't redefine BLOCKS_PER_MBLOCK

Only reset the event log if logging is turned on (addendum to #4512)

allocate enough room for the longer filename (addendum to #4512)

Fix Windows build: move rtsTimerSignal to the POSIX-only section

Default the value of -dppr-cols when the static flags aren't initialised yet
If GHC's command line options are bad then the options parser uses the
pretty printer before the -dppr-cols flag has been read.

Defensify naked read in LLVM mangler

Formatting only

Always ppr case alts on separate lines

Add -dppr-colsN to set width of dumps

Add -dppr-case-as-let to print "strict lets" as actual lets

Suppress more info with -dsuppress-idinfo

Implement -dsuppress-type-signatures

Add more suppression flags
 -dsuppress-all
 -dsuppress-type-applications
 -dsuppress-idinfo

fix ticket number (#4505)

fix warnings

Catch too-large allocations and emit an error message (#4505)

This is a temporary measure until we fix the bug properly (which is
somewhat tricky, and we think might be easier in the new code
generator).

For now we get:

ghc-stage2: sorry! (unimplemented feature or known bug)
  (GHC version 7.1 for i386-unknown-linux):
        Trying to allocate more than 1040384 bytes.

See: http://hackage.haskell.org/trac/ghc/ticket/4550
Suggestion: read data from a file instead of having large static data
structures in the code.

Export the value of the signal used by scheduler (#4504)

Tweak the "sorry" message a bit

- "sorry! (this is work in progress)\n"
+ "sorry! (unimplemented feature or known bug)\n"

:unset settings support
Added support for settings [args, prog, prompt, editor and stop].
Now :unset supports the same set of options as :set.

Fix Windows memory freeing: add a check for fb == NULL; fixes trac #4506
Also added a few comments, and a load of code got indented 1 level deeper.

Fixes for #4512: EventLog.c - provides ability to terminate event logging, Schedule.c - uses them in forkProcess.

Make CPPFLAGS variables, as well as CFLAGS and LDFLAGS
This fixes the "does unsetenv return void" test in the unix package on
OS X, if I tell it to make 10.4-compatible binaries. The test uses
CPPFLAGS but not CFLAGS, so it thought it returned int (as it was
in 10.5-mode), but the C compiler (using CFLAGS, so in 10.4 mode)
thought it returned void.

I also added CONF_LD_OPTS_STAGE$3 to the list of things in LDFLAGS,
which looks like an accidental ommission.

Add a configure message

Link even programs containing no Haskell modules with GHC
I don't remember why we made it use gcc instead, but going back to
using ghc doesn't seem to break anything, and should fix the build
on OS X 10.6.

Correct the stage that the includes/ tools are built in

Tweak the cleaning of inplace/; fixes trac #4320

Close .ghci files after reading them; fixes trac #4487

Fix the behaviour of :history for ticks surrounding top level functions

Don't warn of duplicate exports in case of module exports.

But only when the module exports refer to different modules.
See ticket #4478.

Fix whitespace/layout in RnNames.

Tell gcc to support back to OS X 10.5

Make RelaxedLayout off by default
I suspect this is a vary rarely used extension to the official layout
rule.

Fix up TcInstDcls

I really don't know how this module got left out of my last
patch, namely
  Thu Dec  2 12:35:47 GMT 2010  simonpj@microsoft.com
  * Re-jig simplifySuperClass (again)

I suggest you don't pull either the patch above, or this
one, unless you really have to.  I'm not fully confident
that it works properly yet.  Ran out of time. Sigh.

throwTo: report the why_blocked value in the barf()

handle ThreadMigrating in throwTo() (#4811)
If a throwTo targets a thread that has just been created with
forkOnIO, then it is possible the exception strikes while the thread
is still in the process of migrating.  throwTo() didn't handle this
case, but it's fairly straightforward.

removeThreadFromQueue: stub out the link field before returning (#4813)

small tidyup

Fix a recomp bug: make classes/datatypes depend directly on DFuns (#4469)
And remove the old mechanism of recording dfun uses separately,
because it didn't work.

This wiki page describes recompilation avoidance and fingerprinting.
I'll update it to describe the new method and what went wrong with the
old method:

http://hackage.haskell.org/trac/ghc/wiki/Commentary/Compiler/RecompilationAvoidance

make a panic message more informative and suggest -dcore-lint (see #4534)

Re-jig simplifySuperClass (again)

This fixes the current loop in T3731, and will fix other
reported loops.  The loops show up when we are generating
evidence for superclasses in an instance declaration.

The trick is to make the "self" dictionary simplifySuperClass
depend *explicitly* on the superclass we are currently trying
to build.  See Note [Dependencies in self dictionaries] in TcSimplify.

That in turn means that EvDFunApp needs a dependency-list, used
when chasing dependencies in isGoodRecEv.

A little refactoring (remove redundant argument passed to isGoodRecEv)

Make rebindable if-then-else a little more permissive

See Note [Rebindable syntax for if].  Fixes Trac #4798.
Thanks to Nils Schweinsberg <mail@n-sch.de>

Improve error message (Trac #4799)

Fix a nasty bug in RULE matching: Trac #4814

See Note [Matching lets], which explains it all in detail.
It took me a day to think of a nice way to fix the bug,
but I think the result is quite respectable. Subtle, though.

Rename -XPArr to -XParallelArrays

FIX #1845 (unconditional relative branch out of range)

Don't use mmap on powerpc-apple-darwin as mmap doesn't support
reallocating but we need to allocate jump islands just after each
object images. Otherwise relative branches to jump islands can fail
due to 24-bits displacement overflow.

rts/Linker.c (loadArchive):

This routine should be aware of Mach-O misalignment of malloc'ed memory regions.

rts/Linker.c (machoGetMisalignment):

Use fseek(3) instead of rewind(3) to move the file position indicator back to the initial position. Otherwise we can't use this function in loadArchive().

rts/Linker.c (ocFlushInstructionCache):

I found this function causes a segfault when ocAllocateSymbolExtras() has allocated a separate memory region for jump islands.

Remove NewQualifiedOperators
The extension was rejected by Haskell', and deprecated in 7.0.

fix ref to utils/ext-core, which moved to Hackage (extcore package)

fix floating-point/FFI section: fenv is C99, not POSIX

Fixed some 'unused vars' warnings

vectScalarLam handles int, float, and double now

Handling of lets, letrec and case when checking if a lambda expr needs to be vectorised

Document the behaviour of fenv.h functions with GHC (#4391)

Remove the no-ghci-lib warning in ghc-pkg
GHCi libs are no longer necessary, as we can use the .a or .so versions
instead.

Add GNU-variant support to the .a parser, and other improvements/tidyups

Re-indent only

Improve linker debugging for archive files

Always enable the archive-loading code
If the GHCi .o lib doesn't exist, load the .a instead

Inherit the ForceSpecConstr flag in non-recursive nested bindings

This makes sure that join points are fully specialised in loops which are
marked as ForceSpecConstr.

Document -ddump-rule-firings and -ddump-rule-rewrites

New flag -dddump-rule-rewrites

Now, -ddump-rule-firings only shows the names of the rules that fired (it would
show "before" and "after" with -dverbose-core2core previously) and
-ddump-rule-rewrites always shows the "before" and "after" bits, even without
-dverbose-core2core.

Acutally, wild-card variables *can* have occurrences

This patch removes the Lint test, and comments why

Tidy up the handling of wild-card binders, and make Lint check it

See Note [WildCard binders] in SimplEnv.  Spotted by Roman.

Substitution should just substitute, not optimise

This was causing Trac #4524, by optimising
     (e |> co)  to   e
on the LHS of a rule.  Result, the template variable
'co' wasn't bound any more.

Now that substition doesn't optimise, it seems sensible to call
simpleOptExpr rather than substExpr when substituting in the
RHS of rules.  Not a big deal either way.

Make SpecConstr "look through" identity coercions

Comment only

White space only

Keep a maximum of 6 spare worker threads per Capability (#4262)

Unicide OtherNumber category should be allowed in identifiers (#4373)