remove the last bits of the ghc/ subdir

Fix a bug related to threads blocked on blackholes
We weren't making them live early enough, with the result that
finalizable objects referred to only by a thread blocked on a black
hole could be finalized too early (see conc057 test).

Reorganisation of the source tree
Most of the other users of the fptools build system have migrated to
Cabal, and with the move to darcs we can now flatten the source tree
without losing history, so here goes.

The main change is that the ghc/ subdir is gone, and most of what it
contained is now at the top level.  The build system now makes no
pretense at being multi-project, it is just the GHC build system.

No doubt this will break many things, and there will be a period of
instability while we fix the dependencies.  A straightforward build
should work, but I haven't yet fixed binary/source distributions.
Changes to the Building Guide will follow, too.

remove empty dir

rempve some unused files

Add stage2/ghci to ghc-api's import list.

Don't build GHC with breakpoint support by default.

GHC.Base.breakpoint isn't vaporware anymore.

-fignore-breakpoints can be used to ignore breakpoints.

Add SA_RESTART flag to the timer signal handler.
This seems to be necessary to prevent readline being confused by our
SIGALRM handler.

Better messages from HscTypes.showModMsg.

Turn the "too many hs_exit()s" fatal error into a warning

add freeStorage() prototype

add support for x86_64; foreign import is now supported in GHCi on x86_64

Correct spelling mistake: GhcState1HcOpts -> GhcStage1HcOpts

oops, undo accidental patch

fix profiling on Win32
The recent patch to free memory in hs_exit() on Win32 unfortunately broke
profiling, because it freed the memory slightly too early.

fix for GHC >= 6.5 again

in stage1, we should get isPrint and isUpper from Compat.Unicode, not Data.Char

Darwin/x86: correct stack alignment in ByteCodeFFI

Deal with non-executable memory on Darwin (only an issue on Darwin/x86 so far)

add forkOnzh_fast symbol

Add a new primitive forkOn#, for forking a thread on a specific Capability

This gives some control over affinity, while we figure out the best
way to automatically schedule threads to make best use of the
available parallelism.

In addition to the primitive, there is also:

  GHC.Conc.forkOnIO :: Int -> IO () -> IO ThreadId

where 'forkOnIO i m' creates a thread on Capability (i `rem` N), where
N is the number of available Capabilities set by +RTS -N.

Threads forked by forkOnIO do not automatically migrate when there are
free Capabilities, like normal threads do.  Still, if you're using
forkOnIO exclusively, it's a good idea to do +RTS -qm to disable work
pushing anyway (work pushing takes too much time when the run queues
are large, this is something we need to fix).

eliminate a warning

elimiante a couple of warnings

fix a warning

Add some more flexibility to the multiproc scheduler

There are two new options in the -threaded RTS:

  -qm       Don't automatically migrate threads between CPUs
  -qw       Migrate a thread to the current CPU when it is woken up

previously both of these were effectively off, i.e. threads were
migrated between CPUs willy-milly, and threads were always migrated to
the current CPU when woken up.  This is the first step in tweaking the
scheduling for more effective work balancing, there will no doubt be
more to come.

mkDerivedConstants.c depends on ghcplatform.h
I think this missing dep is what broke my parallel build
I used make -j2 with ghc-6.4.2.20060323 and got:

------------------------------------------------------------------------
==fptools== make boot -wr --jobserver-fds=3,11 -j;
in /var/tmp/portage/ghc-6.4.2_pre20060323/work/ghc-6.4.2.20060323/ghc/includes
------------------------------------------------------------------------
Creating ghcplatform.h...
Done.
gcc -O -O2 -march=k8 -pipe -Wa,--noexecstack    -c mkDerivedConstants.c -o mkDerivedConstants.o
In file included from ghcconfig.h:5,
                 from Stg.h:42,
                 from Rts.h:19,
                 from mkDerivedConstants.c:20:
ghcplatform.h:1:1: unterminated #ifndef
Done.

With this patch applied I can no longer repoduce this build bug.
So I think this patch should be applied to the cvs ghc-6-4-branch too.

small updates

Allow users of the GHC library to specify which packages have already been loaded.

This is pretty important when using the linker/bytecode-compiler from binaries
other than GHCi.

Fix Darwin/x86 stack alignment
... again.
For now, I've added a TODO comment, but sooner or later this will have to
be made gcc-version-independent.

Ranlib is required on Darwin/x86, too

Darwin Mangler: include alignment statements for symbol stubs

mark recordMutableCap() with [R1] to avoid saving all regs across it

omit the __DISCARD__() call if unregisterised

Accept amd64-*-freebsd architecture

gcc is getting smarter, so we need to hit it with a bigger stick
On x86_64 we are using C argument registers for global registers in
the STG machine.  This is always going to be problematic when it comes
to making C calls from STG and compiling via C.  Prior to GCC 4.1.0
(approx) it was possible to just assign the argument expressions to
temporaries to avoid a clash.  Now, we need to add an extra dummy
function call as a barrier between the temporary assignments and the
actual call.  The dummy call is removed by the mangler.

-fno-code shouldn't be a mode.

I've removed -fno-code from Main to make it work
equally well with --make and -c.
I've also allowed it not to write hi files unless
-fwrite-iface is given.

Don't generate stub files when -fno-code is given.

Documentation for -fno-code and -fwrite-iface.

on second thoughts, revert the ppc/darwin part of the previous patch

fix for gcc 4.1.x
We need to use GNUC3_ATTRIBUTE(used) to force gcc to keep the
definition of StgRunIsImplementedInAssembler() around.  In some cases
we had already made this function external rather than static to get
around the problem, but GNUC3_ATTRIBUTE(used) is a better fix.

support for STM objects in the retainer profiler
addresses #492

small changes to fix retainer profiling on HEAD

tiny cleanup

powerpc64 does not support GHCi right now

oops, remove temporary testing code

stopTicker(): wait for the timer thread to exit

fix Win32 build

Documentation for -fno-code and -fwrite-iface.

Don't generate stub files when -fno-code is given.

-fno-code shouldn't be a mode.

I've removed -fno-code from Main to make it work
equally well with --make and -c.
I've also allowed it not to write hi files unless
-fwrite-iface is given.

Cleanup after the OPTIONS parsing was moved.

fix build for certain picky versions of gcc

forkProcess(): watch out for ThreadRelocated

Make -fliberate-case work for GADTs

turn on unregisterised by default for alpha, hppa

remove accidental extra in previous patch

fix a warning

fix up Win32 build

sanity checking: make sure we don't mix registerised and unreg'd code

fix non-threaded way

Free all memory when shutting down.  XXX not implemented for Posix.

Improvements to forkProcess()
fixes failures in yesterday's testsuite run

discardTask(): reset task->tso to avoid confusion later

Improvements to shutting down of the runtime
Yet another attempt at shutdown & interruption.  This one appears to
work better; ^C is more responsive in multi threaded / SMP, and I
fixed one case where the runtime wasn't responding to ^C at all.

improve panic messages a bit, with the GHC version and platform

Bug fixes in my refactored RnNames code.

ENTER(): avoid re-reading the info pointer of the closure when entering it
This fixes another instance of a subtle SMP bug (see patch "really
nasty bug in SMP").

small improvements to the debug printer

Make it a fatal error to try to enter a PAP
This is just an assertion, in effect: we should never enter a PAP, but
for convenience we previously attached the PAP apply code to the PAP
info table.  The problem with this was that it makes it harder to track
down bugs that result in entering a PAP...

Fix a really nasty bug in SMP
In SMP mode a THUNK can change to an IND at any time.  The generic
apply code (stg_ap_p etc.) examines a closure to determine how to
apply it to its arguments, if it is a THUNK it must enter it first in
order to evaluate it.  The problem was that in order to enter the
THUNK, we were re-reading the info pointer, and possibly ending up
with an IND instead of the original THUNK.  It isn't safe to enter the
IND, because it points to a function (functions are never "entered",
only applied).  Solution: we must not re-read the info pointer.

fix bug in previous patch to this file

add another SMP assertion

fix a rather subtle SMP bug in anyWorkForMe()

Enable shortcutting of stack squeezing
Not sure why it was disabled, probably by accident.

extra sanity checking: call checkTSO() in resumeThread()

Give WHITEHOLE the BLACKHOLE closure type, instead of INVALID_OBJECT
Just to keep sanity checking happy, and so we don't need a completely
new closure type.

Look for a package.conf.d directory containing per-package .conf files
Contributed by Duncan Coutts, with changes to merge into the HEAD.
This isn't the full deal, ghc-pkg still modifies files only, but it's
enough to help the Gentoo folk along.

Move the very broad "i[[3456]]86-*-gnu*" HostPlatform pattern to the end.

fix the build with GHC 6.4 (not 6.4.1)

Wibble in HscMain.

Initial foundation for quickcheck tests.

I have no idea how to use the testsuite so I'll start
making QuickCheck tests instead.
I've included tests for 'HeaderInfo.getOptions'.

Parse OPTIONS properly and cache the result.

Use the lexer to parse OPTIONS, LANGUAGE and INCLUDE pragmas.
This gives us greater flexibility and far better error
messages. However, I had to make a few quirks:
  * The token parser is written manually since Happy doesn't
    like lexer errors (we need to extract options before the
    buffer is passed through 'cpp'). Still better than
    manually parsing a String, though.
  * The StringBuffer API has been extended so files can be
    read in blocks.
I also made a new field in ModSummary called ms_hspp_opts
which stores the updated DynFlags. Oh, and I took the liberty
of moving 'getImports' into HeaderInfo together with
'getOptions'.

Fix -ddump-if-trace

Bug fix in the new HscMain code.

I'm not sure what really happens here but this is how it's
done in the old HscMain code and it appears to work.

fix one #ifdef SMP that didn't get turned into #ifdef THREADED_RTS

x86_64: add -fno-builtin to gcc command line for .hc files.
This seems to be required now that we're stealing more registers.

More work thrown at HscMain.

MkIface.writeIfaceFile doesn't check GhcMode anymore. All it does
is what the name say: write an interface to disk.
I've refactored HscMain so the logic is easier to manage. That means
we can avoid running the simplifier when typechecking (: And best of
all, HscMain doesn't use GhcMode at all, anymore!

The new HscMain intro looks like this:

It's the task of the compilation proper to compile Haskell, hs-boot and
core files to either byte-code, hard-code (C, asm, Java, ect) or to
nothing at all (the module is still parsed and type-checked. This
feature is mostly used by IDE's and the likes).
Compilation can happen in either 'one-shot', 'batch', 'nothing',
or 'interactive' mode. 'One-shot' mode targets hard-code, 'batch' mode
targets hard-code, 'nothing' mode targets nothing and 'interactive' mode
targets byte-code.
The modes are kept separate because of their different types and meanings.
In 'one-shot' mode, we're only compiling a single file and can therefore
discard the new ModIface and ModDetails. This is also the reason it only
targets hard-code; compiling to byte-code or nothing doesn't make sense
when we discard the result.
'Batch' mode is like 'one-shot' except that we keep the resulting ModIface
and ModDetails. 'Batch' mode doesn't target byte-code since that require
us to return the newly compiled byte-code.
'Nothing' mode has exactly the same type as 'batch' mode but they're still
kept separate. This is because compiling to nothing is fairly special: We
don't output any interface files, we don't run the simplifier and we don't
generate any code.
'Interactive' mode is similar to 'batch' mode except that we return the
compiled byte-code together with the ModIface and ModDetails.

Make it clear when the symbols are using by the interpreter.

Use Darwin-compatible x86 assembly syntax in SMP.h (lock/cmpxchg with a slash)

Darwin/x86: Implement object splitting

Mach-O Linker: handle multiple import sections

In the rare event that a .o file contains more than one flavour of a
[non]lazy pointers sections, resolve all of them, not just one.

Import symbols needed by the interpreter.

The parser needs a set of parentheses when we don't use unsafeCoerce.

'have_object' isn't needed in a typed environment.

FIXME's.

Why name a function 'getGhciMode' when it returns GhcMode?

I've changed the name to 'getGhcMode'. If someone changes
it back, please write an explanation above it.

Enumerate imports and remove dead code.

Use hscCodeGenNothing instead of hscCodeGenSimple.

Comments and esthetical changes.