Add a new primitive forkOn#, for forking a thread on a specific Capability

This gives some control over affinity, while we figure out the best
way to automatically schedule threads to make best use of the
available parallelism.

In addition to the primitive, there is also:

  GHC.Conc.forkOnIO :: Int -> IO () -> IO ThreadId

where 'forkOnIO i m' creates a thread on Capability (i `rem` N), where
N is the number of available Capabilities set by +RTS -N.

Threads forked by forkOnIO do not automatically migrate when there are
free Capabilities, like normal threads do.  Still, if you're using
forkOnIO exclusively, it's a good idea to do +RTS -qm to disable work
pushing anyway (work pushing takes too much time when the run queues
are large, this is something we need to fix).

eliminate a warning

elimiante a couple of warnings

fix a warning

Add some more flexibility to the multiproc scheduler

There are two new options in the -threaded RTS:

  -qm       Don't automatically migrate threads between CPUs
  -qw       Migrate a thread to the current CPU when it is woken up

previously both of these were effectively off, i.e. threads were
migrated between CPUs willy-milly, and threads were always migrated to
the current CPU when woken up.  This is the first step in tweaking the
scheduling for more effective work balancing, there will no doubt be
more to come.

mkDerivedConstants.c depends on ghcplatform.h
I think this missing dep is what broke my parallel build
I used make -j2 with ghc-6.4.2.20060323 and got:

------------------------------------------------------------------------
==fptools== make boot -wr --jobserver-fds=3,11 -j;
in /var/tmp/portage/ghc-6.4.2_pre20060323/work/ghc-6.4.2.20060323/ghc/includes
------------------------------------------------------------------------
Creating ghcplatform.h...
Done.
gcc -O -O2 -march=k8 -pipe -Wa,--noexecstack    -c mkDerivedConstants.c -o mkDerivedConstants.o
In file included from ghcconfig.h:5,
                 from Stg.h:42,
                 from Rts.h:19,
                 from mkDerivedConstants.c:20:
ghcplatform.h:1:1: unterminated #ifndef
Done.

With this patch applied I can no longer repoduce this build bug.
So I think this patch should be applied to the cvs ghc-6-4-branch too.

small updates

Allow users of the GHC library to specify which packages have already been loaded.

This is pretty important when using the linker/bytecode-compiler from binaries
other than GHCi.

Fix Darwin/x86 stack alignment
... again.
For now, I've added a TODO comment, but sooner or later this will have to
be made gcc-version-independent.

Ranlib is required on Darwin/x86, too

Darwin Mangler: include alignment statements for symbol stubs

mark recordMutableCap() with [R1] to avoid saving all regs across it

omit the __DISCARD__() call if unregisterised

Accept amd64-*-freebsd architecture

gcc is getting smarter, so we need to hit it with a bigger stick
On x86_64 we are using C argument registers for global registers in
the STG machine.  This is always going to be problematic when it comes
to making C calls from STG and compiling via C.  Prior to GCC 4.1.0
(approx) it was possible to just assign the argument expressions to
temporaries to avoid a clash.  Now, we need to add an extra dummy
function call as a barrier between the temporary assignments and the
actual call.  The dummy call is removed by the mangler.

-fno-code shouldn't be a mode.

I've removed -fno-code from Main to make it work
equally well with --make and -c.
I've also allowed it not to write hi files unless
-fwrite-iface is given.

Don't generate stub files when -fno-code is given.

Documentation for -fno-code and -fwrite-iface.

on second thoughts, revert the ppc/darwin part of the previous patch

fix for gcc 4.1.x
We need to use GNUC3_ATTRIBUTE(used) to force gcc to keep the
definition of StgRunIsImplementedInAssembler() around.  In some cases
we had already made this function external rather than static to get
around the problem, but GNUC3_ATTRIBUTE(used) is a better fix.

support for STM objects in the retainer profiler
addresses #492

small changes to fix retainer profiling on HEAD

tiny cleanup

powerpc64 does not support GHCi right now

oops, remove temporary testing code

stopTicker(): wait for the timer thread to exit

fix Win32 build

Documentation for -fno-code and -fwrite-iface.

Don't generate stub files when -fno-code is given.

-fno-code shouldn't be a mode.

I've removed -fno-code from Main to make it work
equally well with --make and -c.
I've also allowed it not to write hi files unless
-fwrite-iface is given.

Cleanup after the OPTIONS parsing was moved.

fix build for certain picky versions of gcc

forkProcess(): watch out for ThreadRelocated

Make -fliberate-case work for GADTs

turn on unregisterised by default for alpha, hppa

remove accidental extra in previous patch

fix a warning

fix up Win32 build

sanity checking: make sure we don't mix registerised and unreg'd code

fix non-threaded way

Free all memory when shutting down.  XXX not implemented for Posix.

Improvements to forkProcess()
fixes failures in yesterday's testsuite run

discardTask(): reset task->tso to avoid confusion later

Improvements to shutting down of the runtime
Yet another attempt at shutdown & interruption.  This one appears to
work better; ^C is more responsive in multi threaded / SMP, and I
fixed one case where the runtime wasn't responding to ^C at all.

improve panic messages a bit, with the GHC version and platform

Bug fixes in my refactored RnNames code.

ENTER(): avoid re-reading the info pointer of the closure when entering it
This fixes another instance of a subtle SMP bug (see patch "really
nasty bug in SMP").

small improvements to the debug printer

Make it a fatal error to try to enter a PAP
This is just an assertion, in effect: we should never enter a PAP, but
for convenience we previously attached the PAP apply code to the PAP
info table.  The problem with this was that it makes it harder to track
down bugs that result in entering a PAP...

Fix a really nasty bug in SMP
In SMP mode a THUNK can change to an IND at any time.  The generic
apply code (stg_ap_p etc.) examines a closure to determine how to
apply it to its arguments, if it is a THUNK it must enter it first in
order to evaluate it.  The problem was that in order to enter the
THUNK, we were re-reading the info pointer, and possibly ending up
with an IND instead of the original THUNK.  It isn't safe to enter the
IND, because it points to a function (functions are never "entered",
only applied).  Solution: we must not re-read the info pointer.

fix bug in previous patch to this file

add another SMP assertion

fix a rather subtle SMP bug in anyWorkForMe()

Enable shortcutting of stack squeezing
Not sure why it was disabled, probably by accident.

extra sanity checking: call checkTSO() in resumeThread()

Give WHITEHOLE the BLACKHOLE closure type, instead of INVALID_OBJECT
Just to keep sanity checking happy, and so we don't need a completely
new closure type.

Look for a package.conf.d directory containing per-package .conf files
Contributed by Duncan Coutts, with changes to merge into the HEAD.
This isn't the full deal, ghc-pkg still modifies files only, but it's
enough to help the Gentoo folk along.

Move the very broad "i[[3456]]86-*-gnu*" HostPlatform pattern to the end.

fix the build with GHC 6.4 (not 6.4.1)

Wibble in HscMain.

Initial foundation for quickcheck tests.

I have no idea how to use the testsuite so I'll start
making QuickCheck tests instead.
I've included tests for 'HeaderInfo.getOptions'.

Parse OPTIONS properly and cache the result.

Use the lexer to parse OPTIONS, LANGUAGE and INCLUDE pragmas.
This gives us greater flexibility and far better error
messages. However, I had to make a few quirks:
  * The token parser is written manually since Happy doesn't
    like lexer errors (we need to extract options before the
    buffer is passed through 'cpp'). Still better than
    manually parsing a String, though.
  * The StringBuffer API has been extended so files can be
    read in blocks.
I also made a new field in ModSummary called ms_hspp_opts
which stores the updated DynFlags. Oh, and I took the liberty
of moving 'getImports' into HeaderInfo together with
'getOptions'.

Fix -ddump-if-trace

Bug fix in the new HscMain code.

I'm not sure what really happens here but this is how it's
done in the old HscMain code and it appears to work.

fix one #ifdef SMP that didn't get turned into #ifdef THREADED_RTS

x86_64: add -fno-builtin to gcc command line for .hc files.
This seems to be required now that we're stealing more registers.

More work thrown at HscMain.

MkIface.writeIfaceFile doesn't check GhcMode anymore. All it does
is what the name say: write an interface to disk.
I've refactored HscMain so the logic is easier to manage. That means
we can avoid running the simplifier when typechecking (: And best of
all, HscMain doesn't use GhcMode at all, anymore!

The new HscMain intro looks like this:

It's the task of the compilation proper to compile Haskell, hs-boot and
core files to either byte-code, hard-code (C, asm, Java, ect) or to
nothing at all (the module is still parsed and type-checked. This
feature is mostly used by IDE's and the likes).
Compilation can happen in either 'one-shot', 'batch', 'nothing',
or 'interactive' mode. 'One-shot' mode targets hard-code, 'batch' mode
targets hard-code, 'nothing' mode targets nothing and 'interactive' mode
targets byte-code.
The modes are kept separate because of their different types and meanings.
In 'one-shot' mode, we're only compiling a single file and can therefore
discard the new ModIface and ModDetails. This is also the reason it only
targets hard-code; compiling to byte-code or nothing doesn't make sense
when we discard the result.
'Batch' mode is like 'one-shot' except that we keep the resulting ModIface
and ModDetails. 'Batch' mode doesn't target byte-code since that require
us to return the newly compiled byte-code.
'Nothing' mode has exactly the same type as 'batch' mode but they're still
kept separate. This is because compiling to nothing is fairly special: We
don't output any interface files, we don't run the simplifier and we don't
generate any code.
'Interactive' mode is similar to 'batch' mode except that we return the
compiled byte-code together with the ModIface and ModDetails.

Make it clear when the symbols are using by the interpreter.

Use Darwin-compatible x86 assembly syntax in SMP.h (lock/cmpxchg with a slash)

Darwin/x86: Implement object splitting

Mach-O Linker: handle multiple import sections

In the rare event that a .o file contains more than one flavour of a
[non]lazy pointers sections, resolve all of them, not just one.

Import symbols needed by the interpreter.

The parser needs a set of parentheses when we don't use unsafeCoerce.

'have_object' isn't needed in a typed environment.

FIXME's.

Why name a function 'getGhciMode' when it returns GhcMode?

I've changed the name to 'getGhcMode'. If someone changes
it back, please write an explanation above it.

Enumerate imports and remove dead code.

Use hscCodeGenNothing instead of hscCodeGenSimple.

Comments and esthetical changes.

Remove the old HscMain code.

Use the new HscMain API in DriverPipeline.

Export the new HscMain API.

Allow hscCompileMake to target HscNothing.

Description of the new HscMain.

Initial hack on the new low-level compiler API.

None of the new code is in use yet.

The current Haskell compiler (HscMain.hscMain) isn't as typed
and as hack-free as we'd like. Here's a list of the things it
does wrong:
  * In one shot mode, it returns the new interface as _|_,
    when recompilation isn't required. It's then up to the
    users of hscMain to keep their hands off the result.
  * (Maybe ModIface) is passed around when it's known that it's
    a Just. Hey, we got a type-system, let's use it.
  * In one shot mode, the backend is returning _|_ for the
    new interface. This is done to prevent space leaks since
    we know that the result of a one shot compilation is never
    used. Again, it's up to the users of hscMain to keep their
    hands off the result.
  * It is allowed to compile a hs-boot file to bytecode even
    though that doesn't make sense (it always returns
    Nothing::Maybe CompiledByteCode).
  * Logic and grunt work is completely mixed. The frontend
    and backend keeps checking what kind of input they're handling.
    This makes it very hard to get an idea of what the functions
    actually do.
  * Extra work is performed when using a null code generator.

The new code refactors out the frontends (Haskell, Core), the
backends (Haskell, boot) and the code generators (one-shot, make,
nothing, interactive) and allows them to be combined in typesafe ways.
A one-shot compilation doesn't return new interfaces at all so we
don't need the _|_ space-leak hack. In 'make' mode (when not
targeting bytecode) the result doesn't contain
Nothing::Maybe CompiledByteCode. In interactive mode, the result
is always a CompiledByteCode. The code gens are completely separate
so compiling to Nothing doesn't perform any extra work.

DriverPipeline needs a bit of work before it can use the new
API.

callerSaveVolatileRegs: fix the Nothing case
When the volatile regs attached to a CmmCall is Nothing, it means
"save everything", not "save nothing".

Darwin/x86: Support __IMPORT segments in the Linker

Darwin/x86 Mangler: Make sure each imported symbol stub gets a separate chunk.

Darwin/x86: Print 64-bit literals in a way Apple understands.

Darwin/x86: Handle IMPORT sections in mangler

Fix free-variable finder

After a long hunt I discovered that the reason that GHC.Enum.eftIntFB
was being marked as a loop-breaker was the bizare behaviour of exprFreeVars,
which returned not only the free variables of an expression but also the
free variables of RULES attached to variables occuring in the expression!

This was clearly deliberate (the comment was CoreFVs rev 1.1 in 1999) but
I've removed it; I've left the comment with further notes in case there
turns out to be a Deep Reason.

Make -split-objs work with --make
This turned out to be a lot easier than I thought.  Just moving a few
bits of -split-objs support from the build system into the compiler
was enough.  The only thing that Cabal needs to do in order to support
-split-objs now is to pass the names of the split objects rather than
the monolithic ones to 'ar'.

fix for compiling the base package with --make

replace several 'fromJust's with 'expectJust's

minor cleanup; remove one use of fromJust

Sigh: one more fix to undoing the erroneous patch

Remember the free vars in HsRule.

Complete undo of Simplify-the-IdInfo-before-any-RHSs

Disable the NCG if GhcUnregisterised=YES
The NCG cannot be used in an unregisterised compiler, so there's no
point in including it.

Undo patch Simplify-the-IdInfo-before-any-RHSs

Sadly the above patch wasn't right, because it fouls
up pre/postInlineUnconditionally.  This patch puts
things back as they were functionally, but with slightly
tidied-up code.