Improve error reports for kind checking (Trac #2994)

I followed the suggestion in Trac #2994, which took longer than I
expected.  As usual I did a bit of tidying up at the same time,
and improved a few other error reports.

Further wibbles to 'deriving' for functor-like things

leave out rts/ from include-dirs in the inplace rts package
it shouldn't be there, and might hide bugs

Fix Trac #2999: change an ASSERT to a WARN

A bug in the constraint simplifier means that an equality can be solved
twice.  It's harmless, and will go away with the new constraint simplifier.
Hence warning, to avoid unnecessary outright failure on eg Trac #2999.

Improve transferPolyIdInfo for value-arg abstraction

If we float a binding out of a *value* lambda, the fixing-up of IdInfo
is a bit more complicated than before.  Since in principle FloatOut
can do this (and thus can do full lambda lifting), it's imporrtant
that transferPolyIdInfo does the Right Thing.

This doensn't matter unless you use FloatOut's abilty to lambda-lift,
which GHC mostly doesn't, yet.  But Max used it and tripped over this bug.

Two small improvements to LiberateCase

Max Bolingbroke suggested these two small improvements to LiberateCase
(most of the size increase is comments :-)):

a) Do LiberateCase on small functions even if they are mutually recursive
   See Note [Small enough]

b) Don't do LiberateCase on functions for which it'd be fruitless,
   namely when a free varible is scrutinised *outside* the function
   See Note [Avoiding fruitless liberate-case]

There is virtually no effect on nofib, but Max tripped over cases
where it mattered slightly.

Robustify lookupFamInstEnv, plus some refactoring

This patch deals with the following remark

     Suppose we have
            type family T a :: * -> *
            type instance T Int = []

     and now we encounter the type (T Int Bool).  If we call
     lookupFamInstEnv on (T Int Bool) we'll fail, because T has arity 1.
     Indeed, I *think* it's a precondition of lookupFamInstEnv that the
     supplied types exactly match the arity of the type function.  But
     that precondition is neither stated, nor is there an assertion to
     check it.

With this patch, lookupFamInstEnv can take "extra" type arguments in
the over-saturated case, and does the Right Thing.

There was a nearly-identical function lookupFamInstEnvUnify, which
required the precisely analogous change, so I took the opportunity
to combine the two into one function, so that bugs can be fixed in one
place.  This was a bit harder than I expected, but I think the result
is ok.  The conflict-decision function moves from FamInst to FamInstEnv.
Net lines code decreases, although there are more comments.

Robustify lookupFamInstEnv

Suppose we have
        type family T a :: * -> *
        type instance T Int = []

and now we encounter the type (T Int Bool).  That is perfectly
fine, even though T is over-saturated here.

This patch makes lookupFamInstEnv robust to such over-saturation.
Previously one caller (TcTyFuns.tcUnfoldSynFamInst) dealt with
the over-saturation case, but the others did not. It's better
to desl with the issue at the root, in lookupFamInstEnv itself.

Improve trace message

Build dph with the stage2 compiler
It will use TH, so needs to be built with stage2.

Optimise writing out the .s file
I noticed while working on the new IO library that GHC was writing out
the .s file in lots of little chunks.  It turns out that this is a
result of using multiple printDocs to avoid space leaks in the NCG,
where each printDoc is finishing up with an hFlush.

What's worse, is that this makes poor use of the optimisation inside
printDoc that uses its own buffering to avoid hitting the Handle all
the time.

So I hacked around this by making the buffering optimisation inside
Pretty visible from the outside, for use in the NCG.  The changes are
quite small.

better error message for missing package-qualified modules in ghc -M

add wiki commentary links

Force the result of user-defined commands
so that exceptions are reported with "*** Exception" instead of as a panic.

Improve error reporting for precedence errors

Adopt the suggestion of Trac #2993, and tidy up the reporting of
precedence parsing errors somewhat.

Add the ability to derive instances of Functor, Foldable, Traversable

This patch is a straightforward extension of the 'deriving' mechanism.
The ability to derive classes Functor, Foldable, Traverable is controlled
by a single flag  -XDeriveFunctor.  (Maybe that's a poor name.)

Still to come: documentation

Thanks to twanvl for developing the patch

Comments about injecting implicit bindings

Warn in configure if it looks like make 3.80 is about to be used
We get caught by
    http://savannah.gnu.org/bugs/index.php?1516
    $(eval ...) inside conditionals causes errors
with make 3.80, so warn the user if it looks like they're about to
try to use it.

Fix Trac #2985: generating superclasses and recursive dictionaries

The Note [Recursive instances and superclases] explains the subtle
issues to do with generating the bindings for superclasses when
we compile an instance declaration, at least if we want to do the
clever "recursive superclass" idea from the SYB3 paper.

The old implementation of tcSimplifySuperClasses stumbled when
type equalities entered the picture (details in the Note); this
patch fixes the problem using a slightly hacky trick.  When we
re-engineer the constraint solver we'll want to keep an eye on
this.

Probably worth merging to the 6.10 branch.

White space only

Two more wibbles to CorePrep (fixes HTTP package and DPH)

Ensuring that
  a) lambdas show up only on the RHSs of binding after CorePrep
  b) the arity of a binding exactly matches the maifest lambdas
is surprisingly tricky.

I got it wrong (again) in my recent CorePrep shuffling, which broke
packages HTTP and DPH.  This patch fixes both.

Remove the doc/ contents from the GMP tarball
They are GFDLed, which causes problems for Debian

#2973: we should virtualise the CWD inside the GHC API, not in the client
The problem is that we install the client's CWD before calling
runStmt, but runStmt has to load modules before running the code.  We
need to install the CWD just before running the code instead, which
means it has to be done inside runStmt (and resume).

Fix detection of i386 vs. x86_64 for -pc-solaris
From #2951

Implement #2191 (traceCcs# -- prints CCS of a value when available -- take 3)
In this version, I untag R1 before using it, and even enter R2 at the
end rather than simply returning it (which didn't work right when R2
was a thunk).

add comment for ASSERT_LOCK_HELD()

Fix #2961: we lost some of the generated code for stack args in genCCall
A real bug in the x86_64 native code gen: nice!

This bug would have been caught by -Wall, and I would have gone though
and Walled this file but I know Ben is hacking on this file quite
heavily and I don't want to create undue conflicts.  Ben: it would be
nice to enable -Wall here when you have time.

Make the libffi patch files portable
Solaris's patch can't apply them if the lines beginning "---" aren't
preceeded by a "diff -ur foo bar" line.

SPARC NCG: Also do misaligned reads (this time for sure!)

SPARC NCG: Also do misaligned reads

When converting TH syntax to GHC syntax, need to put sections in parentheses
Fixes trac #2956

SPARC NCG: Add a SPARC version of rts_mkInt64 that handles misaligned closure payloads.

SPARC NCG: Reenable out of line 32 bit float ops

SPARC NCG: Clean up formatting and add comments in genCCall

SPARC NCG: Fix format problem when converting float to int

SPARC NCG: fill branch delay slot after tabled jump (doh!)

SPARC NCG: Add tabled switch

SPARC NCG: Fix 64bit integers returned from ccalls

#2875: Correct SYB's representation of Char

Fix #2759: add ability to serialize Rational

SPARC NCG: Fix warnings

SPARC NCG: Remove a comment that was confusing haddock

SPARC NCG: ppr 64 bit store sizes

SPARC NCG: Fix generation of 64 bit ops on 32 bit sparc

SPARC NCG: Add support for hardware divide

SPARC NCG: Redo code for integer sign extension

SPARC NCG: Fix signed/unsigned operand format bug

More fixes to the SPARC native code generator

 * Fix loading of 64bit floats
 * Put SRT and other read only static data in the .text segment

Start fixing the SPARC native code generator

  * Use BlockIds in branch instructions instead of Imms.
  * Assign FP values returned from C calls to the right regs
  * Fix loading of F32s
  * Add a SPARC version of the FreeRegs map to the linear allcator.

Fix some holes in the SPARC native code generator.

This makes about half the tests in codeGen/should_run work.

Untag closure pointers before trying to print them.

In RTS tracing code, need to untag the pointer before trying
to load the info table in printClosure()

Add missing documention of -Da DEBUG: apply flag to RTS help.

Better panic message in RegAllocLinear

Make the SPARC NCG compile again - it's still broken though.

Enable the native code generator for SPARC

Always use PTHREAD_MUTEX_ERRORCHECK to create mutexes when -DDEBUG
Linux defines PTHREAD_MUTEX_ERRORCHECK = PTHREAD_MUTEX_ERRORCHECK_NP
anyway, so there's no need to special-case it.

Use error-checking mutexes on all platforms when DEBUG is on
Otherwise ASSERT_LOCK_HELD will cause deadlocks

Reinstate: Always check the result of pthread_mutex_lock() and pthread_mutex_unlock().
Sun Jan  4 19:24:43 GMT 2009  Matthias Kilian <kili@outback.escape.de>
    Don't check pthread_mutex_*lock() only on Linux and/or only if DEBUG
    is defined. The return values of those functions are well defined
    and should be supported on all operation systems with pthreads. The
    checks are cheap enough to do them even in the default build (without
    -DDEBUG).

    While here, recycle an unused macro ASSERT_LOCK_NOTHELD, and let
    the debugBelch part enabled with -DLOCK_DEBUG work independently
    of -DDEBUG.

Initialise and deinitialise the file_lock_mutex

Create package.conf when installing a bindist

validate fix on 32-bit

fix validate on Windows

UNDO: Always check the result of pthread_mutex_lock() and pthread_mutex_unlock().
This patch caused problems on Mac OS X, undoing until we can do it better.

rolling back:

Sun Jan  4 19:24:43 GMT 2009  Matthias Kilian <kili@outback.escape.de>
  * Always check the result of pthread_mutex_lock() and pthread_mutex_unlock().

  Don't check pthread_mutex_*lock() only on Linux and/or only if DEBUG
  is defined. The return values of those functions are well defined
  and should be supported on all operation systems with pthreads. The
  checks are cheap enough to do them even in the default build (without
  -DDEBUG).

  While here, recycle an unused macro ASSERT_LOCK_NOTHELD, and let
  the debugBelch part enabled with -DLOCK_DEBUG work independently
  of -DDEBUG.

    M ./includes/OSThreads.h -30 +10

Update config.guess, config.sub and install.sh from automake-1.10.2
In particular, config.guess should now know about x86_64-pc-solaris2

More useful error message when a package .hi file cannot be found:

> import System.Process
Could not find module `System.Process':
  There are files missing in the process-1.0.1.1 package,
  try running 'ghc-pkg check'.
  Use -v to see a list of the files searched for.

soup-up "ghc-pkg check"

We now look for missing files (including .hi files), and report all
the packages that are transitively broken.

$ ghc-pkg check
There are problems in package syb-0.1.0.0:
  dependency foo-4.0.0.0 doesn't exist
There are problems in package process-1.0.1.1:
  file System/Process.hi is missing

The following packages are broken, either because they have a problem
listed above, or because they depend on a broken package.
syb-0.1.0.0
process-1.0.1.1
base-3.0.3.0
Cabal-1.7.0
haskell98-1.0.1.0
haddock-2.4.2
ghc-6.11

document -feager-blackholing

External Core: re-add code I removed mistakenly in last commit

External Core lib: lots of cleanup

- Factor out code for applying newtypes from Check into CoreUtils
- Use this code in Prep, which allowed for some simplification
- Change Merge and ElimDeadCode to not flatten top-level binds
- Add a flag for elimDeadCode to tell it whether to keep
exported bindings or not.
- Other things.

External Core: print out more precise dependency info

Print out the same recursive/non-recursive binding groups
that existed in internal Core in an External Core file,
rather than dumping everything into one big recursive group.

Fix "make install": Put "[]" in the install package.conf

Remove redundant import; spotted by Thorkil Naur

Remove a redundant import

Detect when a C finalizer calls back to Haskell
This is illegal now, after the fix for #1364, but it turns out that
the existing check for dodgy callbacks doesn't catch finalizers
calling back, so we need another test.  This will be particularly
important for 6.10.2, because the behaviour has changed.

Fix Trac #2931

Fix the lexical analyser when it encounters 'x<EOF> and Template
Haskell is on.

Rewrite CorePrep and improve eta expansion

This patch does two main things

a) Rewrite most of CorePrep to be much easier to understand (I hope!).
   The invariants established by CorePrep are now written out, and
   the code is more perspicuous.  It is surpringly hard to get right,
   and the old code had become quite incomprehensible.

b) Rewrite the eta-expander so that it does a bit of simplifying
   on-the-fly, and thereby guarantees to maintain the CorePrep
   invariants.  This make it much easier to use from CorePrep, and
   is a generally good thing anyway.

A couple of pieces of re-structuring:

*  I moved the eta-expander and arity analysis stuff into a new
   module coreSyn/CoreArity.

   Max will find that the type CoreArity.EtaInfo looks strangely
   familiar.

*  I moved a bunch of comments from Simplify to OccurAnal; that's
   why it looks as though there's a lot of lines changed in those
   modules.

On the way I fixed various things

  - Function arguments are eta expanded
       f (map g)  ===>  let s = \x. map g x in f s

  - Trac #2368

The result is a modest performance gain, I think mainly due
to the first of these changes:

--------------------------------------------------------------------------------
        Program           Size    Allocs   Runtime   Elapsed
--------------------------------------------------------------------------------
            Min          -1.0%    -17.4%    -19.1%    -46.4%
            Max          +0.3%     +0.5%     +5.4%    +53.8%
 Geometric Mean          -0.1%     -0.3%     -7.0%    -10.2%

Rename isIdentityCoercion to isIdentityCoI; add Coercion.isIdentityCoercion

Spelling in comment only

Make the ASSERT more informative

Export mapOL from OrdList

Improve error messages slightly

Do not do SpecConstr on functions that unconditionally diverge

There is no point in specialising a function that is guaranteed to
diverge, and doing so screwed up arity stuff.

See Note [Do not specialise diverging functions].

Make -XTypeFamilies imply -XRelaxedPolyRec (Trac #2944)

Fix Trac #2937: deserialising assoicated type definitions

The deserialiser (TcIface) for associated type definitions wasn't
taking into account that the class decl brings into scope some
type variables that scope over the data/type family declaration.

Easy to fix: the new function is TcIface.bindIfaceTyVars_AT

Always check the result of pthread_mutex_lock() and pthread_mutex_unlock().

Don't check pthread_mutex_*lock() only on Linux and/or only if DEBUG
is defined. The return values of those functions are well defined
and should be supported on all operation systems with pthreads. The
checks are cheap enough to do them even in the default build (without
-DDEBUG).

While here, recycle an unused macro ASSERT_LOCK_NOTHELD, and let
the debugBelch part enabled with -DLOCK_DEBUG work independently
of -DDEBUG.

sanity checking fixes

Keep the remembered sets local to each thread during parallel GC
This turns out to be quite vital for parallel programs:

  - The way we discover which threads to traverse is by finding
    dirty threads via the remembered sets (aka mutable lists).

  - A dirty thread will be on the remembered set of the capability
    that was running it, and we really want to traverse that thread's
    stack using the GC thread for the capability, because it is in
    that CPU's cache.  If we get this wrong, we get penalised badly by
    the memory system.

Previously we had per-capability mutable lists but they were
aggregated before GC and traversed by just one of the GC threads.
This resulted in very poor performance particularly for parallel
programs with deep stacks.

Now we keep per-capability remembered sets throughout GC, which also
removes a lock (recordMutableGen_sync).

indicate which TSOs are dirty in the printAllThreads() output

Fix Trac #2584: Pretty printing of types with HsDocTy

The pretty printing clause for HsDocTy was wrong, causing brackets to be left
out. We now print Haddock comments on types as if they were postfix type
operators.

Add "Word size" to the +RTS --info output

Check that make supports eval

Add some more fields to +RTS --info

FIX BUILD on Windows (fix for #2873 broke it)

when calling mmap() with MAP_ANON, the fd argument should be -1
might fix #2925

Fix Trac #2914: record wild cards and assoicated types

Fix #2873: should fail if a package DB desn't exist
We allowed non-existence before because the user DB is allowed to not
exist, so now we have an explicit exception for that case.

Close the races between throwTo and thread completion
Any threads we missed were being caught by the GC (possibly the idle
GC if the system was otherwise inactive), but that's not ideal.  The
fix (from Bertram Felgenhauer) is to use lockTSO to synchronise,
imposing an unconditional lockTSO on thread exit.  I couldn't measure
any performance overhead from doing this, so it seems reasonable.

add comment

Fix two more locking issues in throwTo()

maybePerformBlockedException() should handle ThreadComplete/ThreadKilled
Part of the fix for #2910