The hash table implementation had some static free lists that were
not protected by locks in the threaded RTS.  This moves the free lists
to the individual hash tables and removes the static variables.

Spotted by Marcin Orczyk <orczykm@dcs.gla.ac.uk>, thanks!  This could
definitely cause actual crashes.

fix a shutdown memory leak

Revert "Generalized assignment rewriting pass."

This reverts commit 2ec796239b782505cfb305af2789abcfa820baaf.

Merge branch 'master' of /Users/benl/devel/ghc/ghc-head

Generalized assignment rewriting pass.

This assignment rewriting pass subsumes the previous reload
sinking pass, and also performs basic inlining.

Signed-off-by: Edward Z. Yang <ezyang@mit.edu>

Disable check word address lint check, due to inlined pointer tags.

Signed-off-by: Edward Z. Yang <ezyang@mit.edu>

Add GenCmmGraph, which is a generic version of CmmGraph.

Signed-off-by: Edward Z. Yang <ezyang@mit.edu>

Check for ^M in packages file when booting

If we find one then we print an error message and fail.

Fix typo in docs; spotted by Rustom Mody in beginners@

Make the boot script complain if mk/build.mk doesn't exist

If we aren't validating and mk/build.mk doesn't exist then boot
prints a warning, pointing at instructions for setting up mk/build.mk.

Refactor how dependencies are included; fixes #5109

This avoids duplicating some logic around the build system.

Add a final newline to the link-time C file that we generate,
otherwise some versions of gcc complain about a missing final newline.

Avoid accumulating slop in the pinned_object_block.

The pinned_object_block is where we allocate small pinned ByteArray#
objects.  At a GC the pinned_object_block was being treated like other
large objects and promoted to the next step/generation, even if it was
only partly full.  Under some ByteString-heavy workloads this would
accumulate on average 2k of slop per GC, and this memory is never
released until the ByteArray# objects in the block are freed.

So now, we keep allocating into the pinned_object_block until it is
completely full, at which point it is handed over to the GC as before.
The pinned_object_block might therefore contain objects which a large
range of ages, but I don't think this is any worse than the situation
before.  We still have the fragmentation issue in general, but the new
scheme can improve the memory overhead for some workloads
dramatically.

Don't -dsuppress-uniques with -dsuppress-all

Admonish the user to read the wiki page!

Signed-off-by: Edward Z. Yang <ezyang@mit.edu>

For BC labels, emit empty data section instead of empty proc.

This fixes two bugs:

    - The new code generator doesn't like procedures with
      empty graphs, and panicked in labelAGraph.

    - LLVM optimizes away empty procedures but not empty
      data sections, so now the backwards-compatibility
      labels actually work with -fllvm.

Signed-off-by: Edward Z. Yang <ezyang@mit.edu>

Merge branch 'master' of darcs.haskell.org/ghc

Now that -fvia-C is gone, we don't need -march=i686 on i386 Darwin

This fixes #5106 (objc compilation was failing on i386 Darwin).

Add adjustUFM, adjustUFM_Directly and joinUFM to UniqFM.

Renamed adjustUFM in GraphOps to adjustUFM_C, to account
for alternate argument order.

Signed-off-by: Edward Z. Yang <ezyang@mit.edu>

Always support optimization fuel.

Signed-off-by: Edward Z. Yang <ezyang@mit.edu>

Update CmmRegOff shorthand for CmmMachOp.

Signed-off-by: Edward Z. Yang <ezyang@mit.edu>

fix a bug introduced in 1fb38442d3a55ac92795aa6c5ed4df82011df724,
symptom was 2047(threaded2) was crashing.

Fix compiling on linux-powerpc.

Change the way module initialisation is done (#3252, #4417)

Previously the code generator generated small code fragments labelled
with __stginit_M for each module M, and these performed whatever
initialisation was necessary for that module and recursively invoked
the initialisation functions for imported modules.  This appraoch had
drawbacks:

 - FFI users had to call hs_add_root() to ensure the correct
   initialisation routines were called.  This is a non-standard,
   and ugly, API.

 - unless we were using -split-objs, the __stginit dependencies would
   entail linking the whole transitive closure of modules imported,
   whether they were actually used or not.  In an extreme case (#4387,
   #4417), a module from GHC might be imported for use in Template
   Haskell or an annotation, and that would force the whole of GHC to
   be needlessly linked into the final executable.

So now instead we do our initialisation with C functions marked with
__attribute__((constructor)), which are automatically invoked at
program startup time (or DSO load-time).  The C initialisers are
emitted into the stub.c file.  This means that every time we compile
with -prof or -hpc, we now get a stub file, but thanks to #3687 that
is now invisible to the user.

There are some refactorings in the RTS (particularly for HPC) to
handle the fact that initialisers now get run earlier than they did
before.

The __stginit symbols are still generated, and the hs_add_root()
function still exists (but does nothing), for backwards compatibility.

Cleanup sweep and fix a bug in RTS flag processing.

This code has accumulated a great deal of cruft over the years, this
pass cleans up a lot of the surrounding cruft but leaves the actual
argument processing alone - so there's still more that could be done.

Bug fixed:

  - ghc_rts_opts should not be subject to the --rtsopts setting.  If
    the programmer explicitly declares options with ghc_rts_opts, they
    shouldn't also have to accept command-line RTS options to make them
    work.

isAlive: re-apply the tag if we find a forwarding pointer. This is a
real bug, spotted by Marcin Orczyk (thanks!).  I'm not sure if it lead
to any actual crashes.

Remove debugging CmmComment from old code generator.

Warning: This change seems to tickle a bug in ghc-stage1 compiler
built with GHC 6.12.1 during validates.

Signed-off-by: Edward Z. Yang <ezyang@mit.edu>

Flag for defaulting the codegen GhcStageXDefaultNewCodegen.

Signed-off-by: Edward Z. Yang <ezyang@mit.edu>

Implement mapUFM_Directly.

Signed-off-by: Edward Z. Yang <ezyang@mit.edu>

Unsafe foreign calls (fat machine instructions) do not kill all registers.

The new code generator was doing some interesting spilling across
unsafe foreign calls:

     _c1ao::I32 = Hp - 4;
     I32[Sp - 20] = _c1ao::I32;
     foreign "ccall"
       newCAF((BaseReg, PtrHint), (R1, PtrHint))[_unsafe_call_];
     _c1ao::I32 = I32[Sp - 20];

This is fairly unnecessary, and resulted from over-conservative
liveness analysis from CmmLive.  We can see that the old code
generator only saved volatile registers across unsafe foreign calls:
spilling variables was done by saveVolatileVarsAndRegs, which was
only performed for ordinary calls.

This commit removes the excess kill from the liveness analysis, as well
as the *redundant* excess kill from spilling-and-reloading, and adds a
note to CmmNode to this effect.  The only registers we need to kill
are the ones that the foreign call assigns to, just like any other
machine instruction.

Signed-off-by: Edward Z. Yang <ezyang@mit.edu>

Refactoring and tidy up

This is a port of some of the changes from my private local-GC branch
(which is still in darcs, I haven't converted it to git yet).  There
are a couple of small functional differences in the GC stats: first,
per-thread GC timings should now be more accurate, and secondly we now
report average and maximum pause times. e.g. from minimax +RTS -N8 -s:

                                    Tot time (elapsed)  Avg pause  Max pause
  Gen  0      2755 colls,  2754 par   13.16s    0.93s     0.0003s    0.0150s
  Gen  1       769 colls,   769 par    3.71s    0.26s     0.0003s    0.0059s

ghc-pkg dependency on ghc-cabal should be an order-only dependency,
otherwise we repeatedly try to rebuild ghc-pkg if ghc-cabal is newer.

tweak to cleanTempFilesExcept

add casMutVar#

Whitespace only in main/Finder.lhs

Add "./sync-all reset" command

Support fat archives on OS X

Based on the darcs patch from Greg Wright in #4828.

Add "./sync-all config" command

rts/Linker.c tidyups and debug belches

Part of the patch from #5062, from Greg Wright.

gen_contents_index: Improve parsing of packages file

We are now more lenient in parsing the packages file, and
we don't use any GNUisms. Based on a patch from Matthias Kilian.

- disable shared lib support on Solaris 10 and older (fixes #4973)

Force re-linking if the options have changed (#4451)

A common sequence of commands (at least for me) is this:

$ ghc hello
1 of 1] Compiling Main             ( hello.hs, hello.o )
Linking hello ...
$ ./hello +RTS -s
hello: Most RTS options are disabled. Link with -rtsopts to enable them.
$ ghc hello -rtsopts
$

grr, nothing happened.  I could use -fforce-recomp, but if this was a
large program I probably don't want to recompile it all again, so:

$ rm hello
removed `hello'
$ ghc hello -rtsopts
Linking hello ...
$ ./hello +RTS -s
./hello +RTS -s
Hello World!
          51,264 bytes allocated in the heap
           2,904 bytes copied during GC
          43,808 bytes maximum residency (1 sample(s))
          17,632 bytes maximum slop
etc.

With this patch, GHC notices when the options have changed and forces
a relink, so you don't need to rm the binary or use -fforce-recomp.
This is done by adding the pertinent stuff to the binary in a special
section called ".debug-ghc-link-info":

$ readelf -p .debug-ghc-link-info ./hello
String dump of section 'ghc-linker-opts':
  [     0]  (["-lHSbase-4.3.1.0","-lHSinteger-gmp-0.2.0.2","-lgmp","-lHSghc-prim-0.2.0.0","-lHSrts","-lm","-lrt","-ldl","-u","ghczmprim_GHCziTypes_Izh_static_info","-u","ghczmprim_GHCziTypes_Czh_static_info","-u","ghczmprim_GHCziTypes_Fzh_static_info","-u","ghczmprim_GHCziTypes_Dzh_static_info","-u","base_GHCziPtr_Ptr_static_info","-u","base_GHCziWord_Wzh_static_info","-u","base_GHCziInt_I8zh_static_info","-u","base_GHCziInt_I16zh_static_info","-u","base_GHCziInt_I32zh_static_info","-u","base_GHCziInt_I64zh_static_info","-u","base_GHCziWord_W8zh_static_info","-u","base_GHCziWord_W16zh_static_info","-u","base_GHCziWord_W32zh_static_info","-u","base_GHCziWord_W64zh_static_info","-u","base_GHCziStable_StablePtr_static_info","-u","ghczmprim_GHCziTypes_Izh_con_info","-u","ghczmprim_GHCziTypes_Czh_con_info","-u","ghczmprim_GHCziTypes_Fzh_con_info","-u","ghczmprim_GHCziTypes_Dzh_con_info","-u","base_GHCziPtr_Ptr_con_info","-u","base_GHCziPtr_FunPtr_con_info","-u","base_GHCziStable_StablePtr_con_info","-u","ghczmprim_GHCziTypes_False_closure","-u","ghczmprim_GHCziTypes_True_closure","-u","base_GHCziPack_unpackCString_closure","-u","base_GHCziIOziException_stackOverflow_closure","-u","base_GHCziIOziException_heapOverflow_closure","-u","base_ControlziExceptionziBase_nonTermination_closure","-u","base_GHCziIOziException_blockedIndefinitelyOnMVar_closure","-u","base_GHCziIOziException_blockedIndefinitelyOnSTM_closure","-u","base_ControlziExceptionziBase_nestedAtomically_closure","-u","base_GHCziWeak_runFinalizzerBatch_closure","-u","base_GHCziTopHandler_runIO_closure","-u","base_GHCziTopHandler_runNonIO_closure","-u","base_GHCziConcziIO_ensureIOManagerIsRunning_closure","-u","base_GHCziConcziSync_runSparks_closure","-u","base_GHCziConcziSignal_runHandlers_closure","-lHSffi"],Nothing,RtsOptsAll,False,[],[])

And GHC itself uses the readelf command to extract it when deciding
whether to relink.  The reason for the name ".debug-ghc-link-info" is
that sections beginning with ".debug" are removed automatically by
strip.

This currently only works on Linux; Windows and OS X still have the
old behaviour.

Handle '\r's in boot-pkgs files

By default, git will clone in autocrlf mode, which on Windows means
we get '\r's added to the ghc-packages files.

bugfix for stub generation: create the directory for the _stub.h file,
not the _stub.c file, because the latter is now created as a temporary
file.

sync-all: Push doesn't take a repo path either

Merge remote branch 'origin/patch-4404'

Merge branch 'master' of darcs.haskell.org/ghc

sync-all: Don't give remote repo paths and branches to git pull

You can set up remotes and give them as an argument
"./sync-all pull someremote" instead. The old way meant
that the patches would be pulled, but remotes/origin/master
wouldn't be updated.

Add "commit" to the list of commands sync-all supports

Fix bug in X86 codegen: use GMOV instead of MOV for F64 w/o SSE2.

Signed-off-by: Edward Z. Yang <ezyang@mit.edu>

Merge remote branch 'origin'

* origin:
  Revert "Suppress dumpTcRn when -dno-debug-output is enabled."

Merge branch 'trac_5025' of https://github.com/thoughtpolice/ghc

* 'trac_5025' of https://github.com/thoughtpolice/ghc:
  Teach GHC to compile objective-c files; trac #5025

Conflicts:
compiler/main/DriverPipeline.hs

Revert "Suppress dumpTcRn when -dno-debug-output is enabled."

This reverts commit 12929a219671cd7794b5a533cebdfef11d2f8ff4.

Merge branch 'master' of /home/simonmar/ghc-git/.

Add 'sync-all grep'

remove debugging output

Fix -split-objs: there was a bad interaction with the recent changes
to the way stub files were handled.

doc fix: -package-name is more static than dynamic.  It can't be used
in a LANGUAGE pragma, but it is parsed by parseDynamicFlags, and it
can be set per-session in the GHC API.  We don't have a name for this
type of flag, but from the user's point of view "static" is probably
less confusing.

Add 'sync-all status' as an alias for 'sync-all whatsnew' (to match git syntax)

Make sync-all work with the GitHub mirror over HTTPS

Make sync-all work with the GitHub mirror.

CmmOpt cannot assume single assignment for hand-written or new codegen Cmm.

This change may constitute a substantial performance hit, due to the new
creation of a set for every instruction we emit.

Signed-off-by: Edward Z. Yang <ezyang@mit.edu>

Suppress dumpTcRn when -dno-debug-output is enabled.

Signed-off-by: Edward Z. Yang <ezyang@mit.edu>

Merge branch 'master' of /home/simonmar/ghc-git

allocateRegsAndSpill: disable a panic for the time being (see comment)

fix warning

Merge _stub.o files into the main .o file (Fixes #3687 and #706)
Now GHC still generates the _stub.c files, but the object file is
automatically merged into the main .o file for a module.  This means
that build systems (including GHC's own) no longer need to worry about
looking for _stub.o files and including them when linking.

I had to do lots of refactoring in DriverPipeline to make this work;
now there's a monad to carry around all the information, and
everything is a lot tidier.

The _stub.c is now created as a temporary file and removed after
compilation (unless the -keep-tmp-files flag is on).

remove ^Ms; comment updates

Give infinite fuel to required C-- transformations. Fixes #4971.

Signed-off-by: Edward Z. Yang <ezyang@mit.edu>

remove set-origin and set-push commands; add "remote set-url [--push]" (to match git syntax).

'fetch' and 'new' can take branch names as arguments (defaulting to 'origin')

e.g.

   ./sync-all -r ~/git/ghc-working remote add working
   ./sync-all fetch working

Add "remote add" and "remote rm" commands

To add and delete remote branches from all subrepos. e.g.

    ./sync-all -r ~/git/ghc-working remote add working
    ./sync-all remote rm working

suppress warning about --partial

Fix linear register allocator bug involving read/write to same registers.

When we read a temporary value from memory, we should update its
assignment to be both in memory and in register.  This was only
occurring when there was a free register, but not if we needed
to spill an existing value in a register to the stack.  I generalized
the code for this case and applied it to the other two cases where
this occurs (spilled value is in memory and in a register, and when
the spilled value is only in a register.)

Furthermore, I tightened the invariants on allocRegsAndSpill_spill
with a new data type SpillLoc that captures more precisely than
Maybe Loc the possible locations we are spilling from.

Signed-off-by: Edward Z. Yang <ezyang@mit.edu>

Remove dead code, now that -fvia-c is a no-op

Remove redundant packages.git file

Remove redundant darcs-all script

Merge branch 'master' of darcs.haskell.org/ghc

Turn on autoflush in sync-all

darcs-all did it, so sync-all probably should too.

Add some comments to sync-all, based on darcs-all's comments

Ignore tags files.

Signed-off-by: Edward Z. Yang <ezyang@mit.edu>

Fix typos and add Outputable constraints to aid debugging.

Signed-off-by: Edward Z. Yang <ezyang@mit.edu>

Minor documentation improvement about pointer tagging.

Signed-off-by: Edward Z. Yang <ezyang@mit.edu>

Add "./sync-all set-push"

Use like this:

  ./sync-all -r me@darcs.haskell.org:/home/darcs set-push

to set the default repo to push to (in remotes/origin) for each of
the sub-repos.

Teach GHC to compile objective-c files; trac #5025

Take strlen of archive filenames.

On OS X at least, the filename size is the size of the filename
field. The actual filename may be shorter.

Also a number of code style improvements and debug prints.

This is part of the patch from #5062, from Greg Wright.

Update darcs references to git in README

Fix build

Trivial change to HACKING: github testing againh

Trivial change to README to observe error I get during github push

Make compilation of hscRnImportDecls conditional: fixes stage1 build

Merge branch 'master' of ssh://darcs.haskell.org/srv/darcs/ghc

Use tcRnImports rather than rnImports with GHCi "import" statement: fixes #4832

The bug here was that just using rnImports does not ensure that any dependent
orphan modules are loaded, so instances declared by such modules will not be
usable from the GHCi command line after an "import".

This did not affect the :m syntax because it takes a different code path and
uses getModuleExports directly, which contains its own calls to the orphan-module
loading stuff.

Fix parsing constructors containing dots; fixes trac #4891

Merge branch 'master' of darcs.haskell.org/ghc

Update boot scripts for git

Merge branch 'master' of ssh://darcs.haskell.org/srv/darcs/ghc

Prefer builtin commands to macros in GHCi command resolution (#3858)

Current precedence rules in GHCi are that:

 * User macros are *always* preferred in command resolution
 * User macros that are defined earlier are preferred to those that
   are defined earlier on
 * Builtin commands have lowest precedence

However this caused user confusion because e.g. defining a macro beginning
with "i" would override the standard :info command whenever the user typed
the abbreviated command :i.

The new precedence rules are based on the view that things defined earlier
are always preferred to things defined later. The builtin commands are logically
defined earliest of all (when GHCi starts) so they always take precedence.

Update README to talk about git rather than darcs

Ignore names introduced "implicitly" in unused-variable warnings (Fix #4404)

We collect variables introduced by the {...} part of a let-like record wildcard
pattern and do not warn if the user then doesn't actually use them.