Improve optimisation of cost centres

This patch fixes test failures for the profiling way for drv001.
The problem was that the arity of a function was decreasing during
"optimisation" because of interaction with SCC annotations.
In particular
      f = /\a. scc "f" (h x)    -- where h had arity 2
and h gets inlined, led to
      f = /\a. scc "f" let v = scc "f" x in \y. <blah>

Two main changes:

1.  exprIsTrivial now says True for (scc "f" x)
    See Note [SCCs are trivial] in CoreUtils

2.  The simplifier eliminates nested pushing of the same cost centre:
   scc "f" (...(scc "f" e)...)
   ==>  scc "f" (...e...)

Fix build with GHC <= 6.10.1

loosen base dependency to allow base-3

remove superfluous trailing backslash

Work around bug in old bytestring versions by reading the package DB strictly

Add cmm-notes, describing Simon and John's work on Cmm pipeline

Wibble to error message

add comment: __thread is not supported by gcc on OS X yet

Fix #3320: we forgot to save/restore the GC register variable

put back F_, just in case the via-C codegen uses it

remove debugging/testing code that got here by mistake

fix installation of header files (#3451)

Three improvements to Template Haskell (fixes #3467)

This patch implements three significant improvements to Template Haskell.

Declaration-level splices with no "$"
~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
This change simply allows you to omit the "$(...)" wrapper for
declaration-level TH splices.  An expression all by itself is
not legal, so we now treat it as a TH splice.  Thus you can now
say
data T = T1 | T2
  deriveMyStuff ''T

where deriveMyStuff :: Name -> Q [Dec]
This makes a much nicer interface for clients of libraries that use
TH: no scary $(deriveMyStuff ''T).

Nested top-level splices
~~~~~~~~~~~~~~~~~~~~~~~~
Previously TH would reject this, saying that splices cannot be nested:
f x = $(g $(h 'x))
But there is no reason for this not to work.  First $(h 'x) is run,
yielding code <blah> that is spliced instead of the $(h 'x). Then (g
<blah>) is typechecked and run, yielding code that replaces the
$(g ...) splice.

So this simply lifts the restriction.

Fix Trac #3467: non-top-level type splices
~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~

It appears that when I added the ability to splice types in TH
programs, I failed to pay attention to non-top-level splices -- that
is, splices inside quotatation brackets.

This patch fixes the problem.  I had to modify HsType, so there's a
knock-on change to Haddock.

Its seems that a lot of lines of code has changed, but almost all the
new lines are comments!

General tidying up
~~~~~~~~~~~~~~~~~~
As a result of thinking all this out I re-jigged the data type ThStage,
which had far too many values before.  And I wrote a nice state transition
diagram to make it all precise;
   see Note [Template Haskell state diagram] in TcSplice

Lots more refactoring in TcSplice, resulting in significantly less code.
(A few more lines, but actually less code -- the rest is comments.)

I think the result is significantly cleaner.

Refactor the parsing of data type declarations

This is a minor change to the parser that tidies it up a bit,
and allows us to parse

data T :: *
        data S :: * -> *

just like

data T
data S a

Remove unused data constructor ITpragma in type Lexer.Token

Comments in Cmm

fix warnings

binary has unused-import warnings

Change the representation of the package database

 - the package DB is a directory containing one file per package
   instance (#723)

 - there is a binary cache of the database (#593, #2089)

 - the binary package is now a boot package

 - there is a new package, bin-package-db, containing the Binary
   instance of InstalledPackageInfo for the binary cache.

Also included in this patch

 - Use colour in 'ghc-pkg list' to indicate broken or hidden packages

   Broken packages are red, hidden packages are

   Colour support comes from the terminfo package, and is only used when
    - not --simple-output
    - stdout is a TTY
    - the terminal type has colour capability

 - Fix the bug that 'ghc-pkg list --user' shows everything as broken

Improve the user guide section on shared libs
Make it clear that Haskell code to be used by other Haskell code
must be built as a package.

FIX #711 implement osFreeAllMBlocks for unix

NO_CLEAN_GMP fixes

Omit visibility pragmas on Windows (fixes warnings/validate failures)

Comments only, on Cmm data types

Fix up logic to decide whether shared libs are being built or not

Now, adding dyn to $(GhcLibWays) is how shared libs are enabled.
Everything else keys off that, rather than testing
$(BuildSharedLibs).

remove a ToDo that is Done

comment fix

refactor *_OPTS settings in the build system; no functional changes

add $(CONF_*_OPTS) for options that come from ./configure (fixes #3426)

Add -package-id, improve package shadowing behaviour and error messages
A few changes bundled together here:

 - Add -package-id flag, like -package but takes an
   InstalledPackageId as an argument (mainly for Cabal)
   (docs to follow)

 - Fix the shadowing behaviour: if we end up with
   two packages with the same name/version that came from
   different package databases, then one will shadow the
   other.  This may mean we have to disable other packages
   that depended on the now-shadowed package.  Lots of
   refactoring to ensure that we can get reasonable diagnostics when
   this happens

<command line>: cannot satisfy -package shadowdep:
    shadowdep-1-XXX is unusable due to missing or recursive dependencies:
      shadow-1-XXX
    (use -v for more information)

remove --enable-hc-boot-unregisterised (implied by --enable-hc-boot now)
and fix up related cruft

fix a warning

fix warnings

fix warnings

remove Haddock-lexing/parsing/renaming from GHC

Fix Trac #3403: interaction of CPR and pattern-match failure

A fine bug report (#3403) demonstrated that we were losing the tail
call property when a complicated pattern match was involved.  After
a bit of investigation I discovered that the culprit was the failure
join-point introduced by the pattern matcher.  It was a zero-argument
thunk, which is not very CPR-friendly, and that interacted badly with
CPR worker/wrapper.

It's easy to fix, the same way that we fix other join points, by supplying
a dummy argument (that is not really passed at runtime.

Fix Trac #3468: improve checking for hs-boot interfaces

When checking the interface exported by a hs-boot file against the
Real Thing, I'd failed to check the kind of a type constructor.  If you
get it wrong, the inconsistency leads to all manner of mischief, as
'wkahl' reports in #3468.

This patch should do the job.

Allow TH/annotations to be used with -dynamic

Fix warnings on 64-bit platforms; fixes validate on x86-64

fix -u flags (after changes for #3310)

Unify event logging and debug tracing.

  - tracing facilities are now enabled with -DTRACING, and -DDEBUG
    additionally enables debug-tracing.  -DEVENTLOG has been
    removed.

  - -debug now implies -eventlog

  - events can be printed to stderr instead of being sent to the
    binary .eventlog file by adding +RTS -v (which is implied by the
    +RTS -Dx options).

  - -Dx debug messages can be sent to the binary .eventlog file
    by adding +RTS -l.  This should help debugging by reducing
    the impact of debug tracing on execution time.

  - Various debug messages that duplicated the information in events
    have been removed.

waitForReturnCapability: fix logic bug
The check for whether a Capability was free was inverted, which harmed
performance for callbacks.

Handle renames from #3310

Also add a panic for resurrecting a thread blocked on an exception,
since it should never happen.

add RTS_PRIVATE attribute

Fix incorrectly hidden RTS symbols

Maintain Task/Capability invariants in performPendingThrowTos
Fixes an ASSERTION failure with concprog001, -threaded -debug, +RTS -N2

Declare RTS-private prototypes with __attribute__((visibility("hidden")))
This has no effect with static libraries, but when the RTS is in a
shared library it does two things:

 - it prevents the function from being exposed by the shared library

 - internal calls to the function can use the faster non-PLT calls,
   because the function cannot be overriden at link time.

Configurable iconv header and library locations
Should help to fix the build on OpenBSD (together with a corresponding
patch to libraries/base).

Use -W, not -Werror, for gcc older than 3.4

Don't mess up absolute INCLUDE_DIRS
When there are some absolute include dirs, don't create arguments
like -Ilibraries/base//usr/local/include.

I need this fix for injecting the iconv include dir (which is
/usr/local/include on OpenBSD) into the build of libraries/base.

Fix #3461: protect the use of keepCAFs with #ifdef DYNAMIC

fix 'darcs-all rec' (amongst other things)

REDO: Add -r option to darcs-all, and remove push-all (#3375)

rolling back:

Mon Aug  3 11:44:13 BST 2009  Simon Marlow <marlowsd@gmail.com>
  UNDO: Add -r option to darcs-all, and remove push-all (#3375)
  Contributed by: seliopou@gmail.com

  This patch modifies darcs-all to have feature parity with push-all by
  recognizing two new options.

      * -i, equivalent to --ignore-failure in push-all
      * -r <repo>, specifies the remote repository darcs commands will use

  Some example commands:

  Get the libraries from a repository of your choosing. This is useful
  when working with a git mirror:

      $ ./darcs-all -r http://darcs.haskell.org get

  Pull changes. Used to be:

      $ ./push-all --pull http://darcs.haskell.org

  Is now:

      $ ./darcs-all -r http://darcs.haskell.org pull

  Or to use the default remote of the ghc repository:

      $ ./darcs-all pull

    M ./darcs-all -79 +33
    A ./push-all

Add a link to hp2any from the profiling section.

Fix "make install"
We need to change a dependency on
    pkg-inplace
to
    pkg-$abihash
when installing

"ghc-cabal install" now needs to know where GHC is, to get the ABI hash

Fix bindist creation
We were running into problems like:
    for f in  LICENSE configure config.sub config.guess [...]
    make[2]: execvp: /bin/sh: Argument list too long
This patch moves the loop into make, rather than the shell.

UNDO: fix the inplace runghc (it broke the installed runghc)

Fix part of #3398: pretty-printing always goes via the I/O library encoding
That is, unless we're printing in LeftMode, where we bypass encoding
for speed.  This is safe, because LeftMode is used for outputting C or
asm, where everyting is Z-encoded and hence ASCII.

Error messages and other compiler output containing Unicode will now
appear correctly according to the locale settings.

Tidy up file headers and copyrights; point to the wiki for docs

I've updated the wiki page about the RTS headers
  http://hackage.haskell.org/trac/ghc/wiki/Commentary/SourceTree/Includes
to reflect the new layout and explain some of the rationale.  All the
header files now point to this page.

Follow changes in Cabal: package -> sourcePackageId

fix an unused-import warning

Add unique package identifiers (InstalledPackageId) in the package DB
See commentary at
http://hackage.haskell.org/trac/ghc/wiki/Commentary/Packages

Move the standalone-deriving flag test from parser to renamer

This is just a tiny refactoring.  In general, we're trying to
get rid of parser errors in favour of later, more civlised, errors.

Error message wibble

Fix Trac #3406 (albeit not very satisfactorily): scoped type variables

The issue here is this:

  type ItemColID a b = Int  -- Discards a,b

  get :: ItemColID a b -> a -> ItemColID a b
  get (x :: ItemColID a b) = x :: ItemColID a b

The pattern signature for 'x' doesn't actually rigidly bind a,b.
This crashed GHC 6.10 with a 'readFilledBox' panic.  Now we fail
with an erroe message

With the new outside-in algorithm we'll be able to accept this program.

Make FastString thread-safe.

This is needed both for per-session parallelism and for allowing
multiple concurrent sessions in the same process.  With the help of
atomicModifyIORef and unsafePerformIO it is also quite fast--an MVar
would most likely be slower.  On a full compilation of Cabal's head
branch it was about 1-2 percent slower, but then overall compilation
times varied by about 4 percent, so I think it's worth it.

Improve docs on -XFlexibleContexts

fix do-notation warnings

Use explicit Word32/Int32 in place of Int in the on-disk .hi file
For: FastStrings, Names, and Bin values.  This makes .hi files smaller
on 64-bit platforms, while also making the format a bit more robust.

Fix the interface-file incompatibility crash (#3435)

We now have a dummy 32/64-bit field near the beginning of a .hi file
for backward-compatibility reasons; see comments (Note [dummy iface
field]) in BinIface.hs.

trim Data.Sequence import, in preparation for expanding its API

Remove bitrotted IA64 code in Linker.c
It breaks the unregisterised build on IA64.

Make consIORef atomic.

Make updates to external package state idempotent.

Without this, concurrent updates to the EPS could introduce
overlapping instances (even though they came from the same module).

Fix Trac #3423: missed instantiation for newtype-derived instances

Somehow I'd forgotten to instantiate the coercion that is stored in a
'NewtypeDerived' constructor in an InstInfo.  The necessary code is
in TcInstDcls.tc_inst_decl2.

The result was ghc: panic! (the 'impossible' happened)
   (GHC version 6.10.3 for x86_64-unknown-linux):
   No match in record selector Var.tcTyVarDetails
because we were looking at an (uninstantiated) TyVar instead of
an (instantiated) TcTyVar.

Put "dl" back in rts/package.conf if HAVE_DL is defined
Fixes linking with -dynamic

Link CMM objects into dynamic libraries
This fixes linking hello world with -dynamic. I've also added some more
variables, so there is less duplication between the different ways of
linking.

-fPIC -fvia-C issues a warning and ignores -fvia-C
Also, -fPIC causes an error if the target is registerised and has no
native code generator.

Use allocateLocal() rather than allocate() in the interpreter
This gives about a 15% performance boost in GHCi for me.  nice!

Another tiny tidy-up to RnPat

Fix Trac #3437: strictness of specialised functions

'lilac' helpful pin-pointed a space leak that was due to a specialised
function being insufficiently strict.  Here's the new comment in SpecConstr:

Note [Transfer strictness]
~~~~~~~~~~~~~~~~~~~~~~~~~~
We must transfer strictness information from the original function to
the specialised one.  Suppose, for example

  f has strictness     SS
        and a RULE     f (a:as) b = f_spec a as b

Now we want f_spec to have strictess  LLS, otherwise we'll use call-by-need
when calling f_spec instead of call-by-value.  And that can result in
unbounded worsening in space (cf the classic foldl vs foldl')

See Trac #3437 for a good example.

The function calcSpecStrictness performs the calculation.

Wibbles to field-label puns

Fix library installation; fixes #3374
When configuring packages, enable library profiling and shared libraries
based on the ways in GhcLibWays.

Escape some $s in makefiles for consistency

Wibble to RnPat refactoring

Rollback: use cas() to claim the closure in copyPart(), to match copy_tag()

rolling back:

  * use cas() to claim the closure in copyPart(), to match copy_tag()
  * rename whitehole_spin to evac_collision, and update it properly

This introduced a new failure in parallel GC.  I'll rollback for now
until I've fixed it.

Relax the assumption that all objects fit in a single block (#3424)

It is possible for the program to allocate single object larger than a
block, without going through the normal large-object mechanisms that
we have for arrays and threads and so on.

The GC was assuming that no object was larger than a block, but #3424
contains a program that breaks the assumption.  This patch removes the
assumption.  The objects in question will still be copied, that is
they don't get the normal large-object treatment, but this case is
unlikely to occur often in practice.

In the future we may improve things by generating code to allocate
them as large objects in the first place.

remove a bogus assertion

Restore the GHC version check
I'm not sure what happened here, but the ordering of tests was messed
up, with the result that the GHC version check was being omitted.

fix the inplace runghc

It was invoking $(TOP)/inplace/bin/ghc rather than
$(TOP)/inplace/bin/ghc-stage2

Add a case for IND (and a comment).  Fixes #3424, perhaps only partially.

Improvements to record puns, wildcards

* Make C { A.a } work with punning, expanding to C { A.a = a }

* Make it so that, with -fwarn-unused-matches,
        f (C {..}) = x
  does not complain about the bindings introduced by the "..".

* Make -XRecordWildCards implies -XDisambiguateRecordFields.

* Overall refactoring of RnPat, which had become very crufty.
  In particular, there is now a monad, CpsRn, private to RnPat,
  which deals with the cps-style plumbing.  This is why so many
  lines of RnPat have changed.

* Refactor the treatment of renaming of record fields into two passes
- rnHsRecFields1, used both for patterns and expressions,
     which expands puns, wild-cards
   - a local renamer in RnPat for fields in patterns
- a local renamer in RnExpr for fields in construction and update
  This make it all MUCH easier to understand

* Improve documentation of record puns, wildcards, and disambiguation

Make -dppr-debug print locations in HsSyn

Show SrcSpans for Located things might be overkill, but it's sometimes
useful.

I also added
  ppWhen, ppUnless :: Bool -> SDoc -> SDoc
to Outputable

Make -dynamic a proper way, so we read the .dyn_hi files
Also, I cleaned up some of the way-related infrastructure, removing
two global variables.

There's more that could be done here, but it's a start.  The way flags
probably don't need to be static any more.

fix warning

generalise the type of "on"

need to check $(HADDOCK_DOCS) around contents/index generation

WAY_dyn_LIB_TARGET is not used anywhere; kill it

Rolling back: Add a kludge to fix building shared libs