remove Haddock-lexing/parsing/renaming from GHC

Fix Trac #3403: interaction of CPR and pattern-match failure

A fine bug report (#3403) demonstrated that we were losing the tail
call property when a complicated pattern match was involved.  After
a bit of investigation I discovered that the culprit was the failure
join-point introduced by the pattern matcher.  It was a zero-argument
thunk, which is not very CPR-friendly, and that interacted badly with
CPR worker/wrapper.

It's easy to fix, the same way that we fix other join points, by supplying
a dummy argument (that is not really passed at runtime.

Fix Trac #3468: improve checking for hs-boot interfaces

When checking the interface exported by a hs-boot file against the
Real Thing, I'd failed to check the kind of a type constructor.  If you
get it wrong, the inconsistency leads to all manner of mischief, as
'wkahl' reports in #3468.

This patch should do the job.

Allow TH/annotations to be used with -dynamic

Fix warnings on 64-bit platforms; fixes validate on x86-64

fix -u flags (after changes for #3310)

Unify event logging and debug tracing.

  - tracing facilities are now enabled with -DTRACING, and -DDEBUG
    additionally enables debug-tracing.  -DEVENTLOG has been
    removed.

  - -debug now implies -eventlog

  - events can be printed to stderr instead of being sent to the
    binary .eventlog file by adding +RTS -v (which is implied by the
    +RTS -Dx options).

  - -Dx debug messages can be sent to the binary .eventlog file
    by adding +RTS -l.  This should help debugging by reducing
    the impact of debug tracing on execution time.

  - Various debug messages that duplicated the information in events
    have been removed.

waitForReturnCapability: fix logic bug
The check for whether a Capability was free was inverted, which harmed
performance for callbacks.

Handle renames from #3310

Also add a panic for resurrecting a thread blocked on an exception,
since it should never happen.

add RTS_PRIVATE attribute

Fix incorrectly hidden RTS symbols

Maintain Task/Capability invariants in performPendingThrowTos
Fixes an ASSERTION failure with concprog001, -threaded -debug, +RTS -N2

Declare RTS-private prototypes with __attribute__((visibility("hidden")))
This has no effect with static libraries, but when the RTS is in a
shared library it does two things:

 - it prevents the function from being exposed by the shared library

 - internal calls to the function can use the faster non-PLT calls,
   because the function cannot be overriden at link time.

Configurable iconv header and library locations
Should help to fix the build on OpenBSD (together with a corresponding
patch to libraries/base).

Use -W, not -Werror, for gcc older than 3.4

Don't mess up absolute INCLUDE_DIRS
When there are some absolute include dirs, don't create arguments
like -Ilibraries/base//usr/local/include.

I need this fix for injecting the iconv include dir (which is
/usr/local/include on OpenBSD) into the build of libraries/base.

Fix #3461: protect the use of keepCAFs with #ifdef DYNAMIC

fix 'darcs-all rec' (amongst other things)

REDO: Add -r option to darcs-all, and remove push-all (#3375)

rolling back:

Mon Aug  3 11:44:13 BST 2009  Simon Marlow <marlowsd@gmail.com>
  UNDO: Add -r option to darcs-all, and remove push-all (#3375)
  Contributed by: seliopou@gmail.com

  This patch modifies darcs-all to have feature parity with push-all by
  recognizing two new options.

      * -i, equivalent to --ignore-failure in push-all
      * -r <repo>, specifies the remote repository darcs commands will use

  Some example commands:

  Get the libraries from a repository of your choosing. This is useful
  when working with a git mirror:

      $ ./darcs-all -r http://darcs.haskell.org get

  Pull changes. Used to be:

      $ ./push-all --pull http://darcs.haskell.org

  Is now:

      $ ./darcs-all -r http://darcs.haskell.org pull

  Or to use the default remote of the ghc repository:

      $ ./darcs-all pull

    M ./darcs-all -79 +33
    A ./push-all

Add a link to hp2any from the profiling section.

Fix "make install"
We need to change a dependency on
    pkg-inplace
to
    pkg-$abihash
when installing

"ghc-cabal install" now needs to know where GHC is, to get the ABI hash

Fix bindist creation
We were running into problems like:
    for f in  LICENSE configure config.sub config.guess [...]
    make[2]: execvp: /bin/sh: Argument list too long
This patch moves the loop into make, rather than the shell.

UNDO: fix the inplace runghc (it broke the installed runghc)

Fix part of #3398: pretty-printing always goes via the I/O library encoding
That is, unless we're printing in LeftMode, where we bypass encoding
for speed.  This is safe, because LeftMode is used for outputting C or
asm, where everyting is Z-encoded and hence ASCII.

Error messages and other compiler output containing Unicode will now
appear correctly according to the locale settings.

Tidy up file headers and copyrights; point to the wiki for docs

I've updated the wiki page about the RTS headers
  http://hackage.haskell.org/trac/ghc/wiki/Commentary/SourceTree/Includes
to reflect the new layout and explain some of the rationale.  All the
header files now point to this page.

Follow changes in Cabal: package -> sourcePackageId

fix an unused-import warning

Add unique package identifiers (InstalledPackageId) in the package DB
See commentary at
http://hackage.haskell.org/trac/ghc/wiki/Commentary/Packages

Move the standalone-deriving flag test from parser to renamer

This is just a tiny refactoring.  In general, we're trying to
get rid of parser errors in favour of later, more civlised, errors.

Error message wibble

Fix Trac #3406 (albeit not very satisfactorily): scoped type variables

The issue here is this:

  type ItemColID a b = Int  -- Discards a,b

  get :: ItemColID a b -> a -> ItemColID a b
  get (x :: ItemColID a b) = x :: ItemColID a b

The pattern signature for 'x' doesn't actually rigidly bind a,b.
This crashed GHC 6.10 with a 'readFilledBox' panic.  Now we fail
with an erroe message

With the new outside-in algorithm we'll be able to accept this program.

Make FastString thread-safe.

This is needed both for per-session parallelism and for allowing
multiple concurrent sessions in the same process.  With the help of
atomicModifyIORef and unsafePerformIO it is also quite fast--an MVar
would most likely be slower.  On a full compilation of Cabal's head
branch it was about 1-2 percent slower, but then overall compilation
times varied by about 4 percent, so I think it's worth it.

Improve docs on -XFlexibleContexts

fix do-notation warnings

Use explicit Word32/Int32 in place of Int in the on-disk .hi file
For: FastStrings, Names, and Bin values.  This makes .hi files smaller
on 64-bit platforms, while also making the format a bit more robust.

Fix the interface-file incompatibility crash (#3435)

We now have a dummy 32/64-bit field near the beginning of a .hi file
for backward-compatibility reasons; see comments (Note [dummy iface
field]) in BinIface.hs.

trim Data.Sequence import, in preparation for expanding its API

Remove bitrotted IA64 code in Linker.c
It breaks the unregisterised build on IA64.

Make consIORef atomic.

Make updates to external package state idempotent.

Without this, concurrent updates to the EPS could introduce
overlapping instances (even though they came from the same module).

Fix Trac #3423: missed instantiation for newtype-derived instances

Somehow I'd forgotten to instantiate the coercion that is stored in a
'NewtypeDerived' constructor in an InstInfo.  The necessary code is
in TcInstDcls.tc_inst_decl2.

The result was ghc: panic! (the 'impossible' happened)
   (GHC version 6.10.3 for x86_64-unknown-linux):
   No match in record selector Var.tcTyVarDetails
because we were looking at an (uninstantiated) TyVar instead of
an (instantiated) TcTyVar.

Put "dl" back in rts/package.conf if HAVE_DL is defined
Fixes linking with -dynamic

Link CMM objects into dynamic libraries
This fixes linking hello world with -dynamic. I've also added some more
variables, so there is less duplication between the different ways of
linking.

-fPIC -fvia-C issues a warning and ignores -fvia-C
Also, -fPIC causes an error if the target is registerised and has no
native code generator.

Use allocateLocal() rather than allocate() in the interpreter
This gives about a 15% performance boost in GHCi for me.  nice!

Another tiny tidy-up to RnPat

Fix Trac #3437: strictness of specialised functions

'lilac' helpful pin-pointed a space leak that was due to a specialised
function being insufficiently strict.  Here's the new comment in SpecConstr:

Note [Transfer strictness]
~~~~~~~~~~~~~~~~~~~~~~~~~~
We must transfer strictness information from the original function to
the specialised one.  Suppose, for example

  f has strictness     SS
        and a RULE     f (a:as) b = f_spec a as b

Now we want f_spec to have strictess  LLS, otherwise we'll use call-by-need
when calling f_spec instead of call-by-value.  And that can result in
unbounded worsening in space (cf the classic foldl vs foldl')

See Trac #3437 for a good example.

The function calcSpecStrictness performs the calculation.

Wibbles to field-label puns

Fix library installation; fixes #3374
When configuring packages, enable library profiling and shared libraries
based on the ways in GhcLibWays.

Escape some $s in makefiles for consistency

Wibble to RnPat refactoring

Rollback: use cas() to claim the closure in copyPart(), to match copy_tag()

rolling back:

  * use cas() to claim the closure in copyPart(), to match copy_tag()
  * rename whitehole_spin to evac_collision, and update it properly

This introduced a new failure in parallel GC.  I'll rollback for now
until I've fixed it.

Relax the assumption that all objects fit in a single block (#3424)

It is possible for the program to allocate single object larger than a
block, without going through the normal large-object mechanisms that
we have for arrays and threads and so on.

The GC was assuming that no object was larger than a block, but #3424
contains a program that breaks the assumption.  This patch removes the
assumption.  The objects in question will still be copied, that is
they don't get the normal large-object treatment, but this case is
unlikely to occur often in practice.

In the future we may improve things by generating code to allocate
them as large objects in the first place.

remove a bogus assertion

Restore the GHC version check
I'm not sure what happened here, but the ordering of tests was messed
up, with the result that the GHC version check was being omitted.

fix the inplace runghc

It was invoking $(TOP)/inplace/bin/ghc rather than
$(TOP)/inplace/bin/ghc-stage2

Add a case for IND (and a comment).  Fixes #3424, perhaps only partially.

Improvements to record puns, wildcards

* Make C { A.a } work with punning, expanding to C { A.a = a }

* Make it so that, with -fwarn-unused-matches,
        f (C {..}) = x
  does not complain about the bindings introduced by the "..".

* Make -XRecordWildCards implies -XDisambiguateRecordFields.

* Overall refactoring of RnPat, which had become very crufty.
  In particular, there is now a monad, CpsRn, private to RnPat,
  which deals with the cps-style plumbing.  This is why so many
  lines of RnPat have changed.

* Refactor the treatment of renaming of record fields into two passes
- rnHsRecFields1, used both for patterns and expressions,
     which expands puns, wild-cards
   - a local renamer in RnPat for fields in patterns
- a local renamer in RnExpr for fields in construction and update
  This make it all MUCH easier to understand

* Improve documentation of record puns, wildcards, and disambiguation

Make -dppr-debug print locations in HsSyn

Show SrcSpans for Located things might be overkill, but it's sometimes
useful.

I also added
  ppWhen, ppUnless :: Bool -> SDoc -> SDoc
to Outputable

Make -dynamic a proper way, so we read the .dyn_hi files
Also, I cleaned up some of the way-related infrastructure, removing
two global variables.

There's more that could be done here, but it's a start.  The way flags
probably don't need to be static any more.

fix warning

generalise the type of "on"

need to check $(HADDOCK_DOCS) around contents/index generation

WAY_dyn_LIB_TARGET is not used anywhere; kill it

Rolling back: Add a kludge to fix building shared libs

rename whitehole_spin to evac_collision, and update it properly

use cas() to claim the closure in copyPart(), to match copy_tag()

copyPart() was still using the old WHITEHOLE mechanism for locking the
closure.  I don't think this fixes any actual bugs, but it removes a
gratuitous difference between two functions that should look similar.

Always yieldCapabilty() when a bound thread blocks
Fixes crash in concprog002(threaded2_qw), and possibly other problems

FIX #2767 & original problem of #3208

Improve the "Stack space overflow" error; fixes trac #3296

Detect C finalizer callbacks in rts_lock() instead of schedule()
Otherwise, finalizer callbacks cause a deadlock in the threaded RTS
(including GHCi)

Bump Happy requirement from 1.15 to 1.16
Now that the haskell98 dependency of GHC has been removed, the
Happy-generated parsers must import Data.Array rather than Array, and
that change was made in Happy 1.16.

Restore the entry field in StgInfoTable when !defined(TABLES_NEXT_TO_CODE)
Somehow this got lost, probably in the recent RTS tidy-up.
Fixes segfaults in unregisterised compilation.

Fix warnings

Put a newtype wrapper around ModuleEnv

Make the thr_dyn RTS ways optional on GhcUnregisterised

Fixes this failure in the unreigsterised build:
  /usr/bin/ld: cannot find -lHSrts_thr

fix an include

remove some redundant declarations

Remove the lock around NameCache for readBinIface.

Turns out using atomic update instead of a full-blown lock was easier
than I thought.  It should also be safe in the case where we
concurrently read the same interface file.  Whichever thread loses the
race will simply find that all of the names are already defined and
will have no effect on the name cache.

Fix #3429: a tricky race condition

There were two bugs, and had it not been for the first one we would
not have noticed the second one, so this is quite fortunate.

The first bug is in stg_unblockAsyncExceptionszh_ret, when we found a
pending exception to raise, but don't end up raising it, there was a
missing adjustment to the stack pointer.

The second bug was that this case was actually happening at all: it
ought to be incredibly rare, because the pending exception thread
would have to be killed between us finding it and attempting to raise
the exception.  This made me suspicious.  It turned out that there was
a race condition on the tso->flags field; multiple threads were
updating this bitmask field non-atomically (one of the bits is the
dirty-bit for the generational GC).  The fix is to move the dirty bit
into its own field of the TSO, making the TSO one word larger (sadly).

comment fixes (install.mk.in, not dirs.mk.in)

Fix configure summary: --enable-shared has gone

comment fix

remove unused file

Fix unregisterised build

FIX #3405

Make the dynamic linker thread-safe.

The current implementation is rather pessimistic.  The persistent
linker state is now an MVar and all exported Linker functions are
wrapped in modifyMVar calls.  This is serves as a big lock around all
linker functions.

There might be a chance for more concurrency in a few places. E.g.,
extending the closure environment and loading packages might be
independent in some cases.  But for now it's better to be on the safe
side.

Make access to NameCache atomic.  Sometimes needs a lock.

'readBinIface' updates the name cache in a way that is hard to use
with atomicModifyIORef, so this patch introduces a lock for this case.
All other updates use atomicModifyIORef.

Having a single lock is quite pessimistic, so it remains to be seen
whether this will become a problem.  In principle we only need to make
sure that we do not load the same file concurrently (or that it's
idempotent).  In practice we also need to ensure that concurrent reads
do not cancel each other out (since the new NameCache may be based on
an outdated version).

Make updates to the Finder caches atomic.  Well, almost.

Flushing and uncaching a single module is not completely atomic since
both caches a cleared separately.  However, flushing is only done when
changing the working directory which shouldn't be done concurrently to
other threads.  Uncaching is only done in 'summariseModule' which
requires some more work to become thread-safe anyway.

Make updates to the external package state atomic.

Minor documentation fixes.

bindist fix

Build fixes

Remove the old platform code from the bindist configure.ac

Make our install variables etc compliant with GNU standards; fixes #1924

Improve fix to Trac #3007

This patch tides up Ian's fix a little. In particular, if if you
{-# SOURCE #-} import a module from a different package, you now
get a much more civlised error message.

Only look up whether a module's SOURCE-imported if it's in the current package
Suppose we import anotherPackage:M, which exports things from
anotherPackage:Internal. Then GHC will want to read
anotherPackage:Internal.hi.

However, if we have also SOURCE-imported thisPackage:Internal then
we don't want GHC to try to read anotherPackage:Internal.hi-boot
instead.

The mapping that tells us whether a module is SOURCE-imported uses just
the module name for the key, so we have to check the package ID before
looking it up.

Fixes #3007.

Fix Trac #3409: type synonyms that discard their arguments

Type synonyms that don't mention one of their type parameters on the
RHS are a pain in the neck.  This patch fixes a long-standing bug (that
simply has not appeared before) in that exprType could return a type
mentioning an existentially-quantified variable (in one of those ignored
argument positions).

See CoreUtils Note [Existential variables and silly type synonyms]

The fix is not entirely beautiful, but it works, and is very localised.

Add support for multi-line deprecated pragmas; trac #3303