ghc/rts/Stable.c

   1 /* -----------------------------------------------------------------------------
   2  * $Id: Stable.c,v 1.21 2002/04/24 13:29:01 simonmar Exp $
   3  *
   4  * (c) The GHC Team, 1998-1999
   5  *
   6  * Stable names and stable pointers.
   7  *
   8  * ---------------------------------------------------------------------------*/
   9
  10 #include "PosixSource.h"
  11 #include "Rts.h"
  12 #include "Hash.h"
  13 #include "StablePriv.h"
  14 #include "RtsUtils.h"
  15 #include "Storage.h"
  16 #include "RtsAPI.h"
  17 #include "RtsFlags.h"
  18
  19 /* Comment from ADR's implementation in old RTS:
  20
  21   This files (together with @ghc/runtime/storage/PerformIO.lhc@ and a
  22   small change in @HpOverflow.lc@) consists of the changes in the
  23   runtime system required to implement "Stable Pointers". But we're
  24   getting a bit ahead of ourselves --- what is a stable pointer and what
  25   is it used for?
  26
  27   When Haskell calls C, it normally just passes over primitive integers,
  28   floats, bools, strings, etc.  This doesn't cause any problems at all
  29   for garbage collection because the act of passing them makes a copy
  30   from the heap, stack or wherever they are onto the C-world stack.
  31   However, if we were to pass a heap object such as a (Haskell) @String@
  32   and a garbage collection occured before we finished using it, we'd run
  33   into problems since the heap object might have been moved or even
  34   deleted.
  35
  36   So, if a C call is able to cause a garbage collection or we want to
  37   store a pointer to a heap object between C calls, we must be careful
  38   when passing heap objects. Our solution is to keep a table of all
  39   objects we've given to the C-world and to make sure that the garbage
  40   collector collects these objects --- updating the table as required to
  41   make sure we can still find the object.
  42
  43
  44   Of course, all this rather begs the question: why would we want to
  45   pass a boxed value?
  46
  47   One very good reason is to preserve laziness across the language
  48   interface. Rather than evaluating an integer or a string because it
  49   {\em might\/} be required by the C function, we can wait until the C
  50   function actually wants the value and then force an evaluation.
  51
  52   Another very good reason (the motivating reason!) is that the C code
  53   might want to execute an object of sort $IO ()$ for the side-effects
  54   it will produce. For example, this is used when interfacing to an X
  55   widgets library to allow a direct implementation of callbacks.
  56
  57
  58   The @makeStablePointer :: a -> IO (StablePtr a)@ function
  59   converts a value into a stable pointer.  It is part of the @PrimIO@
  60   monad, because we want to be sure we don't allocate one twice by
  61   accident, and then only free one of the copies.
  62
  63   \begin{verbatim}
  64   makeStablePtr#  :: a -> State# RealWorld -> (# RealWorld, a #)
  65   freeStablePtr#  :: StablePtr# a -> State# RealWorld -> State# RealWorld
  66   deRefStablePtr# :: StablePtr# a -> State# RealWorld ->
  67         (# State# RealWorld, a #)
  68   \end{verbatim}
  69
  70   There may be additional functions on the C side to allow evaluation,
  71   application, etc of a stable pointer.
  72
  73   When Haskell calls C, it normally just passes over primitive integers,
  74   floats, bools, strings, etc.  This doesn't cause any problems at all
  75   for garbage collection because the act of passing them makes a copy
  76   from the heap, stack or wherever they are onto the C-world stack.
  77   However, if we were to pass a heap object such as a (Haskell) @String@
  78   and a garbage collection occured before we finished using it, we'd run
  79   into problems since the heap object might have been moved or even
  80   deleted.
  81
  82   So, if a C call is able to cause a garbage collection or we want to
  83   store a pointer to a heap object between C calls, we must be careful
  84   when passing heap objects. Our solution is to keep a table of all
  85   objects we've given to the C-world and to make sure that the garbage
  86   collector collects these objects --- updating the table as required to
  87   make sure we can still find the object.
  88 */
  89
  90 snEntry *stable_ptr_table;
  91 snEntry *stable_ptr_free;
  92
  93 unsigned int SPT_size;
  94
  95 /* This hash table maps Haskell objects to stable names, so that every
  96  * call to lookupStableName on a given object will return the same
  97  * stable name.
  98  *
  99  * OLD COMMENTS about reference counting follow.  The reference count
 100  * in a stable name entry is now just a counter.
 101  *
 102  * Reference counting
 103  * ------------------
 104  * A plain stable name entry has a zero reference count, which means
 105  * the entry will dissappear when the object it points to is
 106  * unreachable.  For stable pointers, we need an entry that sticks
 107  * around and keeps the object it points to alive, so each stable name
 108  * entry has an associated reference count.
 109  *
 110  * A stable pointer has a weighted reference count N attached to it
 111  * (actually in its upper 5 bits), which represents the weight
 112  * 2^(N-1).  The stable name entry keeps a 32-bit reference count, which
 113  * represents any weight between 1 and 2^32 (represented as zero).
 114  * When the weight is 2^32, the stable name table owns "all" of the
 115  * stable pointers to this object, and the entry can be garbage
 116  * collected if the object isn't reachable.
 117  *
 118  * A new stable pointer is given the weight log2(W/2), where W is the
 119  * weight stored in the table entry.  The new weight in the table is W
 120  * - 2^log2(W/2).
 121  *
 122  * A stable pointer can be "split" into two stable pointers, by
 123  * dividing the weight by 2 and giving each pointer half.
 124  * When freeing a stable pointer, the weight of the pointer is added
 125  * to the weight stored in the table entry.
 126  * */
 127
 128 HashTable *addrToStableHash;
 129
 130 #define INIT_SPT_SIZE 64
 131
 132 static inline void
 133 initFreeList(snEntry *table, nat n, snEntry *free)
 134 {
 135   snEntry *p;
 136
 137   for (p = table + n - 1; p >= table; p--) {
 138     p->addr   = (P_)free;
 139     p->old    = NULL;
 140     p->ref    = 0;
 141     p->sn_obj = NULL;
 142     free = p;
 143   }
 144   stable_ptr_free = table;
 145 }
 146
 147 void
 148 initStablePtrTable(void)
 149 {
 150   /* the table will be allocated the first time makeStablePtr is
 151    * called */
 152   stable_ptr_table = NULL;
 153   stable_ptr_free  = NULL;
 154   addrToStableHash = NULL;
 155   SPT_size = 0;
 156 }
 157
 158 /*
 159  * get at the real stuff...remove indirections.
 160  *
 161  * ToDo: move to a better home.
 162  */
 163 static
 164 StgClosure*
 165 removeIndirections(StgClosure* p)
 166 {
 167   StgClosure* q = p;
 168
 169   while (get_itbl(q)->type == IND ||
 170          get_itbl(q)->type == IND_STATIC ||
 171          get_itbl(q)->type == IND_OLDGEN ||
 172          get_itbl(q)->type == IND_PERM ||
 173          get_itbl(q)->type == IND_OLDGEN_PERM ) {
 174       q = ((StgInd *)q)->indirectee;
 175   }
 176   return q;
 177 }
 178
 179 StgWord
 180 lookupStableName(StgPtr p)
 181 {
 182   StgWord sn;
 183
 184   if (stable_ptr_free == NULL) {
 185     enlargeStablePtrTable();
 186   }
 187
 188   /* removing indirections increases the likelihood
 189    * of finding a match in the stable name hash table.
 190    */
 191   p = (StgPtr)removeIndirections((StgClosure*)p);
 192
 193   (void *)sn = lookupHashTable(addrToStableHash,(W_)p);
 194
 195   if (sn != 0) {
 196     ASSERT(stable_ptr_table[sn].addr == p);
 197     IF_DEBUG(stable,fprintf(stderr,"cached stable name %d at %p\n",sn,p));
 198     return sn;
 199   } else {
 200     sn = stable_ptr_free - stable_ptr_table;
 201     (P_)stable_ptr_free  = stable_ptr_free->addr;
 202     stable_ptr_table[sn].ref = 0;
 203     stable_ptr_table[sn].addr = p;
 204     stable_ptr_table[sn].sn_obj = NULL;
 205     /* IF_DEBUG(stable,fprintf(stderr,"new stable name %d at
 206        %p\n",sn,p)); */
 207
 208     /* add the new stable name to the hash table */
 209     insertHashTable(addrToStableHash, (W_)p, (void *)sn);
 210
 211     return sn;
 212   }
 213 }
 214
 215 static inline void
 216 freeStableName(snEntry *sn)
 217 {
 218   ASSERT(sn->sn_obj == NULL);
 219   if (sn->addr != NULL) {
 220       removeHashTable(addrToStableHash, (W_)sn->addr, NULL);
 221   }
 222   sn->addr = (P_)stable_ptr_free;
 223   stable_ptr_free = sn;
 224 }
 225
 226 StgStablePtr
 227 getStablePtr(StgPtr p)
 228 {
 229   StgWord sn;
 230
 231   sn = lookupStableName(p);
 232   stable_ptr_table[sn].ref++;
 233   return (StgStablePtr)(sn);
 234 }
 235
 236 void
 237 freeStablePtr(StgStablePtr sp)
 238 {
 239     snEntry *sn = &stable_ptr_table[(StgWord)sp];
 240
 241     ASSERT((StgWord)sp < SPT_size  &&  sn->addr != NULL  &&  sn->ref > 0);
 242
 243     sn->ref--;
 244
 245     // If this entry has no StableName attached, then just free it
 246     // immediately.  This is important; it might be a while before the
 247     // next major GC which actually collects the entry.
 248     if (sn->sn_obj == NULL && sn->ref == 0) {
 249         freeStableName(sn);
 250     }
 251 }
 252
 253 void
 254 enlargeStablePtrTable(void)
 255 {
 256   nat old_SPT_size = SPT_size;
 257
 258   if (SPT_size == 0) {
 259     // 1st time
 260     SPT_size = INIT_SPT_SIZE;
 261     stable_ptr_table = stgMallocWords(SPT_size * sizeof(snEntry),
 262                                       "initStablePtrTable");
 263
 264     /* we don't use index 0 in the stable name table, because that
 265      * would conflict with the hash table lookup operations which
 266      * return NULL if an entry isn't found in the hash table.
 267      */
 268     initFreeList(stable_ptr_table+1,INIT_SPT_SIZE-1,NULL);
 269     addrToStableHash = allocHashTable();
 270   }
 271   else {
 272     // 2nd and subsequent times
 273     SPT_size *= 2;
 274     stable_ptr_table =
 275       stgReallocWords(stable_ptr_table, SPT_size * sizeof(snEntry),
 276                       "enlargeStablePtrTable");
 277
 278     initFreeList(stable_ptr_table + old_SPT_size, old_SPT_size, NULL);
 279   }
 280 }
 281
 282 /* -----------------------------------------------------------------------------
 283  * Treat stable pointers as roots for the garbage collector.
 284  *
 285  * A stable pointer is any stable name entry with a ref > 0.  We'll
 286  * take the opportunity to zero the "keep" flags at the same time.
 287  * -------------------------------------------------------------------------- */
 288
 289 void
 290 markStablePtrTable(evac_fn evac)
 291 {
 292     snEntry *p, *end_stable_ptr_table;
 293     StgPtr q;
 294
 295     end_stable_ptr_table = &stable_ptr_table[SPT_size];
 296
 297     // Mark all the stable *pointers* (not stable names).
 298     // _starting_ at index 1; index 0 is unused.
 299     for (p = stable_ptr_table+1; p < end_stable_ptr_table; p++) {
 300         q = p->addr;
 301
 302         // Internal pointers are free slots.  If q == NULL, it's a
 303         // stable name where the object has been GC'd, but the
 304         // StableName object (sn_obj) is still alive.
 305         if (q && (q < (P_)stable_ptr_table || q >= (P_)end_stable_ptr_table)) {
 306
 307             // save the current addr away: we need to be able to tell
 308             // whether the objects moved in order to be able to update
 309             // the hash table later.
 310             p->old = p->addr;
 311
 312             // if the ref is non-zero, treat addr as a root
 313             if (p->ref != 0) {
 314                 evac((StgClosure **)&p->addr);
 315             }
 316         }
 317     }
 318 }
 319
 320 /* -----------------------------------------------------------------------------
 321  * Thread the stable pointer table for compacting GC.
 322  *
 323  * Here we must call the supplied evac function for each pointer into
 324  * the heap from the stable pointer table, because the compacting
 325  * collector may move the object it points to.
 326  * -------------------------------------------------------------------------- */
 327
 328 void
 329 threadStablePtrTable( evac_fn evac )
 330 {
 331     snEntry *p, *end_stable_ptr_table;
 332     StgPtr q;
 333
 334     end_stable_ptr_table = &stable_ptr_table[SPT_size];
 335
 336     for (p = stable_ptr_table+1; p < end_stable_ptr_table; p++) {
 337
 338         if (p->sn_obj != NULL) {
 339             evac((StgClosure **)&p->sn_obj);
 340         }
 341
 342         q = p->addr;
 343         if (q && (q < (P_)stable_ptr_table || q >= (P_)end_stable_ptr_table)) {
 344             evac((StgClosure **)&p->addr);
 345         }
 346     }
 347 }
 348
 349 /* -----------------------------------------------------------------------------
 350  * Garbage collect any dead entries in the stable pointer table.
 351  *
 352  * A dead entry has:
 353  *
 354  *          - a zero reference count
 355  *          - a dead sn_obj
 356  *
 357  * Both of these conditions must be true in order to re-use the stable
 358  * name table entry.  We can re-use stable name table entries for live
 359  * heap objects, as long as the program has no StableName objects that
 360  * refer to the entry.
 361  * -------------------------------------------------------------------------- */
 362
 363 void
 364 gcStablePtrTable( void )
 365 {
 366     snEntry *p, *end_stable_ptr_table;
 367     StgPtr q;
 368
 369     end_stable_ptr_table = &stable_ptr_table[SPT_size];
 370
 371     // NOTE: _starting_ at index 1; index 0 is unused.
 372     for (p = stable_ptr_table + 1; p < end_stable_ptr_table; p++) {
 373
 374         // Update the pointer to the StableName object, if there is one
 375         if (p->sn_obj != NULL) {
 376             p->sn_obj = isAlive(p->sn_obj);
 377         }
 378
 379         // Internal pointers are free slots.  If q == NULL, it's a
 380         // stable name where the object has been GC'd, but the
 381         // StableName object (sn_obj) is still alive.
 382         q = p->addr;
 383         if (q && (q < (P_)stable_ptr_table || q >= (P_)end_stable_ptr_table)) {
 384
 385             // StableNames only:
 386             if (p->ref == 0) {
 387                 if (p->sn_obj == NULL) {
 388                     // StableName object is dead
 389                     freeStableName(p);
 390                     IF_DEBUG(stable, fprintf(stderr,"GC'd Stable name %d\n",
 391                                              p - stable_ptr_table));
 392                     continue;
 393
 394                 } else {
 395                     (StgClosure *)p->addr = isAlive((StgClosure *)p->addr);
 396                     IF_DEBUG(stable, fprintf(stderr,"Stable name %d still alive at %p, ref %d\n", p - stable_ptr_table, p->addr, p->ref));
 397                 }
 398             }
 399         }
 400     }
 401 }
 402
 403 /* -----------------------------------------------------------------------------
 404  * Update the StablePtr/StableName hash table
 405  *
 406  * The boolean argument 'full' indicates that a major collection is
 407  * being done, so we might as well throw away the hash table and build
 408  * a new one.  For a minor collection, we just re-hash the elements
 409  * that changed.
 410  * -------------------------------------------------------------------------- */
 411
 412 void
 413 updateStablePtrTable(rtsBool full)
 414 {
 415     snEntry *p, *end_stable_ptr_table;
 416
 417     if (full && addrToStableHash != NULL) {
 418         freeHashTable(addrToStableHash,NULL);
 419         addrToStableHash = allocHashTable();
 420     }
 421
 422     end_stable_ptr_table = &stable_ptr_table[SPT_size];
 423
 424     // NOTE: _starting_ at index 1; index 0 is unused.
 425     for (p = stable_ptr_table + 1; p < end_stable_ptr_table; p++) {
 426
 427         if (p->addr == NULL) {
 428             if (p->old != NULL) {
 429                 // The target has been garbage collected.  Remove its
 430                 // entry from the hash table.
 431                 removeHashTable(addrToStableHash, (W_)p->old, NULL);
 432                 p->old = NULL;
 433             }
 434         }
 435         else if (p->addr < (P_)stable_ptr_table
 436                  || p->addr >= (P_)end_stable_ptr_table) {
 437             // Target still alive, Re-hash this stable name
 438             if (full) {
 439                 insertHashTable(addrToStableHash, (W_)p->addr,
 440                                 (void *)(p - stable_ptr_table));
 441             } else if (p->addr != p->old) {
 442                 removeHashTable(addrToStableHash, (W_)p->old, NULL);
 443                 insertHashTable(addrToStableHash, (W_)p->addr,
 444                                 (void *)(p - stable_ptr_table));
 445             }
 446         }
 447     }
 448 }