[project @ 2002-07-17 09:21:48 by simonmar]
[ghc-hetmet.git] / ghc / rts / Storage.c
index 9080bf6..f7a321d 100644 (file)
@@ -1,5 +1,5 @@
 /* -----------------------------------------------------------------------------
- * $Id: Storage.c,v 1.53 2001/11/08 12:46:31 simonmar Exp $
+ * $Id: Storage.c,v 1.67 2002/07/17 09:21:51 simonmar Exp $
  *
  * (c) The GHC Team, 1998-1999
  *
 
 #include "Storage.h"
 #include "Schedule.h"
+#include "OSThreads.h"
 #include "StoragePriv.h"
 
+#include "RetainerProfile.h"   // for counting memory blocks (memInventory)
+
+#include <stdlib.h>
+#include <string.h>
+
+#ifdef darwin_TARGET_OS
+#include <mach-o/getsect.h>
+unsigned long macho_etext = 0;
+unsigned long macho_edata = 0;
+
+static void macosx_get_memory_layout(void)
+{
+  struct segment_command *seg;
+
+  seg = getsegbyname("__TEXT");
+  macho_etext = seg->vmaddr + seg->vmsize;
+  seg = getsegbyname("__DATA");
+  macho_edata = seg->vmaddr + seg->vmsize;
+}
+#endif
+
 StgClosure    *caf_list         = NULL;
 
 bdescr *small_alloc_list;      /* allocate()d small objects */
@@ -46,7 +68,7 @@ lnat total_allocated = 0;     /* total memory allocated during run */
  * simultaneous access by two STG threads.
  */
 #ifdef SMP
-pthread_mutex_t sm_mutex = PTHREAD_MUTEX_INITIALIZER;
+Mutex sm_mutex = INIT_MUTEX_VAR;
 #endif
 
 /*
@@ -63,22 +85,29 @@ initStorage( void )
   step *stp;
   generation *gen;
 
-  /* If we're doing heap profiling, we want a two-space heap with a
-   * fixed-size allocation area so that we get roughly even-spaced
-   * samples.
-   */
-
-  /* As an experiment, try a 2 generation collector
-   */
+#if defined(darwin_TARGET_OS)
+    macosx_get_memory_layout();
+#endif
 
-#if defined(PROFILING) || defined(DEBUG)
-  if (RtsFlags.ProfFlags.doHeapProfile) {
-    RtsFlags.GcFlags.generations = 1;
-    RtsFlags.GcFlags.steps = 1;
-    RtsFlags.GcFlags.oldGenFactor = 0;
-    RtsFlags.GcFlags.heapSizeSuggestion = 0;
+    /* Sanity check to make sure we are able to make the distinction
+     * between closures and infotables
+     */
+  if (!LOOKS_LIKE_GHC_INFO(&stg_BLACKHOLE_info)) {
+    barf("LOOKS_LIKE_GHC_INFO+ is incorrectly defined");
+    exit(0);
+  }
+  if (LOOKS_LIKE_GHC_INFO(&stg_dummy_ret_closure)) {
+    barf("LOOKS_LIKE_GHC_INFO- is incorrectly defined");
+    exit(0);
+  }
+  if (LOOKS_LIKE_STATIC_CLOSURE(&stg_BLACKHOLE_info)) {
+    barf("LOOKS_LIKE_STATIC_CLOSURE- is incorrectly defined");
+    exit(0);
+  }
+  if (!LOOKS_LIKE_STATIC_CLOSURE(&stg_dummy_ret_closure)) {
+    barf("LOOKS_LIKE_STATIC_CLOSURE+ is incorrectly defined");
+    exit(0);
   }
-#endif
 
   if (RtsFlags.GcFlags.maxHeapSize != 0 &&
       RtsFlags.GcFlags.heapSizeSuggestion > 
@@ -95,6 +124,10 @@ initStorage( void )
 
   initBlockAllocator();
   
+#if defined(SMP)
+  initCondition(&sm_mutex);
+#endif
+
   /* allocate generation info array */
   generations = (generation *)stgMallocBytes(RtsFlags.GcFlags.generations 
                                             * sizeof(struct _generation),
@@ -205,8 +238,8 @@ initStorage( void )
   /* Tell GNU multi-precision pkg about our custom alloc functions */
   mp_set_memory_functions(stgAllocForGMP, stgReallocForGMP, stgDeallocForGMP);
 
-#ifdef SMP
-  pthread_mutex_init(&sm_mutex, NULL);
+#if defined(SMP)
+  initMutex(&sm_mutex);
 #endif
 
   IF_DEBUG(gc, statDescribeGens());
@@ -269,7 +302,7 @@ newCAF(StgClosure* caf)
    * come to do a major GC we won't need the mut_link field
    * any more and can use it as a STATIC_LINK.
    */
-  ACQUIRE_LOCK(&sm_mutex);
+  ACQUIRE_SM_LOCK;
 
   if (is_dynamically_loaded_rwdata_ptr((StgPtr)caf)) {
       ((StgIndStatic *)caf)->saved_info  = (StgInfoTable *)caf->header.info;
@@ -281,7 +314,7 @@ newCAF(StgClosure* caf)
       oldest_gen->mut_once_list = (StgMutClosure *)caf;
   }
 
-  RELEASE_LOCK(&sm_mutex);
+  RELEASE_SM_LOCK;
 
 #ifdef PAR
   /* If we are PAR or DIST then  we never forget a CAF */
@@ -308,9 +341,9 @@ allocNurseries( void )
     g0s0->blocks = NULL;
     g0s0->n_blocks = 0;
     for (cap = free_capabilities; cap != NULL; cap = cap->link) {
-      cap->rNursery = allocNursery(NULL, RtsFlags.GcFlags.minAllocAreaSize);
-      cap->rCurrentNursery = cap->rNursery;
-      for (bd = cap->rNursery; bd != NULL; bd = bd->link) {
+      cap->r.rNursery = allocNursery(NULL, RtsFlags.GcFlags.minAllocAreaSize);
+      cap->r.rCurrentNursery = cap->r.rNursery;
+      for (bd = cap->r.rNursery; bd != NULL; bd = bd->link) {
        bd->u.back = (bdescr *)cap;
       }
     }
@@ -340,13 +373,13 @@ resetNurseries( void )
   ASSERT(n_free_capabilities == RtsFlags.ParFlags.nNodes);
 
   for (cap = free_capabilities; cap != NULL; cap = cap->link) {
-    for (bd = cap->rNursery; bd; bd = bd->link) {
+    for (bd = cap->r.rNursery; bd; bd = bd->link) {
       bd->free = bd->start;
       ASSERT(bd->gen_no == 0);
       ASSERT(bd->step == g0s0);
       IF_DEBUG(sanity,memset(bd->start, 0xaa, BLOCK_SIZE));
     }
-    cap->rCurrentNursery = cap->rNursery;
+    cap->r.rCurrentNursery = cap->r.rNursery;
   }
 #else
   for (bd = g0s0->blocks; bd; bd = bd->link) {
@@ -370,6 +403,12 @@ allocNursery (bdescr *tail, nat blocks)
   // cons them on to the front of the list, not forgetting to update
   // the back pointer on the tail of the list to point to the new block.
   for (i=0; i < blocks; i++) {
+    // @LDV profiling
+    /*
+      processNursery() in LdvProfile.c assumes that every block group in
+      the nursery contains only a single block. So, if a block group is
+      given multiple blocks, change processNursery() accordingly.
+     */
     bd = allocBlock();
     bd->link = tail;
     // double-link the nursery: we might need to insert blocks
@@ -447,7 +486,7 @@ allocate( nat n )
   bdescr *bd;
   StgPtr p;
 
-  ACQUIRE_LOCK(&sm_mutex);
+  ACQUIRE_SM_LOCK;
 
   TICK_ALLOC_HEAP_NOCTR(n);
   CCS_ALLOC(CCCS,n);
@@ -468,7 +507,7 @@ allocate( nat n )
      * much difference.
      */
     alloc_blocks += req_blocks;
-    RELEASE_LOCK(&sm_mutex);
+    RELEASE_SM_LOCK;
     return bd->start;
 
   /* small allocation (<LARGE_OBJECT_THRESHOLD) */
@@ -489,7 +528,7 @@ allocate( nat n )
 
   p = alloc_Hp;
   alloc_Hp += n;
-  RELEASE_LOCK(&sm_mutex);
+  RELEASE_SM_LOCK;
   return p;
 }
 
@@ -528,7 +567,7 @@ allocatePinned( nat n )
     StgPtr p;
     bdescr *bd = pinned_object_block;
 
-    ACQUIRE_LOCK(&sm_mutex);
+    ACQUIRE_SM_LOCK;
     
     TICK_ALLOC_HEAP_NOCTR(n);
     CCS_ALLOC(CCCS,n);
@@ -536,10 +575,17 @@ allocatePinned( nat n )
     // If the request is for a large object, then allocate()
     // will give us a pinned object anyway.
     if (n >= LARGE_OBJECT_THRESHOLD/sizeof(W_)) {
-       RELEASE_LOCK(&sm_mutex);
+       RELEASE_SM_LOCK;
        return allocate(n);
     }
 
+    // we always return 8-byte aligned memory.  bd->free must be
+    // 8-byte aligned to begin with, so we just round up n to
+    // the nearest multiple of 8 bytes.
+    if (sizeof(StgWord) == 4) {
+       n = (n+1) & ~1;
+    }
+
     // If we don't have a block of pinned objects yet, or the current
     // one isn't large enough to hold the new object, allocate a new one.
     if (bd == NULL || (bd->free + n) > (bd->start + BLOCK_SIZE_W)) {
@@ -554,7 +600,7 @@ allocatePinned( nat n )
 
     p = bd->free;
     bd->free += n;
-    RELEASE_LOCK(&sm_mutex);
+    RELEASE_SM_LOCK;
     return p;
 }
 
@@ -575,10 +621,8 @@ stgAllocForGMP (size_t size_in_bytes)
   StgArrWords* arr;
   nat data_size_in_words, total_size_in_words;
   
-  /* should be a multiple of sizeof(StgWord) (whole no. of limbs) */
-  ASSERT(size_in_bytes % sizeof(W_) == 0);
-  
-  data_size_in_words  = size_in_bytes / sizeof(W_);
+  /* round up to a whole number of words */
+  data_size_in_words  = (size_in_bytes + sizeof(W_) + 1) / sizeof(W_);
   total_size_in_words = sizeofW(StgArrWords) + data_size_in_words;
   
   /* allocate and fill it in. */
@@ -644,13 +688,13 @@ calcAllocated( void )
     + allocated_bytes();
 
   for (cap = free_capabilities; cap != NULL; cap = cap->link) {
-    for ( bd = cap->rCurrentNursery->link; bd != NULL; bd = bd->link ) {
+    for ( bd = cap->r.rCurrentNursery->link; bd != NULL; bd = bd->link ) {
       allocated -= BLOCK_SIZE_W;
     }
-    if (cap->rCurrentNursery->free < cap->rCurrentNursery->start 
+    if (cap->r.rCurrentNursery->free < cap->r.rCurrentNursery->start 
        + BLOCK_SIZE_W) {
-      allocated -= (cap->rCurrentNursery->start + BLOCK_SIZE_W)
-       - cap->rCurrentNursery->free;
+      allocated -= (cap->r.rCurrentNursery->start + BLOCK_SIZE_W)
+       - cap->r.rCurrentNursery->free;
     }
   }
 
@@ -786,7 +830,14 @@ memInventory(void)
   for (bd = large_alloc_list; bd; bd = bd->link) {
     total_blocks += bd->blocks;
   }
-  
+
+#ifdef PROFILING
+  if (RtsFlags.ProfFlags.doHeapProfile == HEAP_BY_RETAINER) {
+    for (bd = firstStack; bd != NULL; bd = bd->link) 
+      total_blocks += bd->blocks;
+  }
+#endif
+
   // count the blocks allocated by the arena allocator
   total_blocks += arenaBlocks();
 
@@ -844,4 +895,13 @@ checkSanity( void )
     }
 }
 
+// handy function for use in gdb, because Bdescr() is inlined.
+extern bdescr *_bdescr( StgPtr p );
+
+bdescr *
+_bdescr( StgPtr p )
+{
+    return Bdescr(p);
+}
+
 #endif