remove ^Ms; comment updates
[ghc-hetmet.git] / includes / Stg.h
1 /* -----------------------------------------------------------------------------
2  *
3  * (c) The GHC Team, 1998-2009
4  *
5  * Top-level include file for everything required when compiling .hc
6  * code.  NOTE: in .hc files, Stg.h must be included *before* any
7  * other headers, because we define some register variables which must
8  * be done before any inline functions are defined (some system
9  * headers have been known to define the odd inline function).
10  *
11  * We generally try to keep as little visible as possible when
12  * compiling .hc files.  So for example the definitions of the
13  * InfoTable structs, closure structs and other RTS types are not
14  * visible here.  The compiler knows enough about the representations
15  * of these types to generate code which manipulates them directly
16  * with pointer arithmetic.
17  *
18  * In ordinary C code, do not #include this file directly: #include
19  * "Rts.h" instead.
20  *
21  * To understand the structure of the RTS headers, see the wiki:
22  *   http://hackage.haskell.org/trac/ghc/wiki/Commentary/SourceTree/Includes
23  *
24  * ---------------------------------------------------------------------------*/
25
26 #ifndef STG_H
27 #define STG_H
28
29 /*
30  * If we are compiling a .hc file, then we want all the register
31  * variables.  This is the what happens if you #include "Stg.h" first:
32  * we assume this is a .hc file, and set IN_STG_CODE==1, which later
33  * causes the register variables to be enabled in stg/Regs.h.
34  *
35  * If instead "Rts.h" is included first, then we are compiling a
36  * vanilla C file.  Everything from Stg.h is provided, except that
37  * IN_STG_CODE is not defined, and the register variables will not be
38  * active.
39  */
40 #ifndef IN_STG_CODE
41 # define IN_STG_CODE 1
42
43 // Turn on C99 for .hc code.  This gives us the INFINITY and NAN
44 // constants from math.h, which we occasionally need to use in .hc (#1861)
45 # define _ISOC99_SOURCE
46
47 // We need _BSD_SOURCE so that math.h defines things like gamma
48 // on Linux
49 # define _BSD_SOURCE
50 #endif
51
52 #if IN_STG_CODE == 0
53 # define NO_GLOBAL_REG_DECLS    /* don't define fixed registers */
54 #endif
55
56 /* Configuration */
57 #include "ghcconfig.h"
58
59 /* The code generator calls the math functions directly in .hc code.
60    NB. after configuration stuff above, because this sets #defines
61    that depend on config info, such as __USE_FILE_OFFSET64 */
62 #include <math.h>
63
64 // On Solaris, we don't get the INFINITY and NAN constants unless we
65 // #define _STDC_C99, and we can't do that unless we also use -std=c99,
66 // because _STDC_C99 causes the headers to use C99 syntax (e.g. restrict).
67 // We aren't ready for -std=c99 yet, so define INFINITY/NAN by hand using
68 // the gcc builtins.
69 #if !defined(INFINITY)
70 #if defined(__GNUC__)
71 #define INFINITY __builtin_inf()
72 #else
73 #error No definition for INFINITY
74 #endif
75 #endif
76
77 #if !defined(NAN)
78 #if defined(__GNUC__)
79 #define NAN __builtin_nan("")
80 #else
81 #error No definition for NAN
82 #endif
83 #endif
84
85 /* -----------------------------------------------------------------------------
86    Useful definitions
87    -------------------------------------------------------------------------- */
88
89 /*
90  * The C backend likes to refer to labels by just mentioning their
91  * names.  Howevver, when a symbol is declared as a variable in C, the
92  * C compiler will implicitly dereference it when it occurs in source.
93  * So we must subvert this behaviour for .hc files by declaring
94  * variables as arrays, which eliminates the implicit dereference.
95  */
96 #if IN_STG_CODE
97 #define RTS_VAR(x) (x)[]
98 #define RTS_DEREF(x) (*(x))
99 #else
100 #define RTS_VAR(x) x
101 #define RTS_DEREF(x) x
102 #endif
103
104 /* bit macros
105  */
106 #define BITS_PER_BYTE 8
107 #define BITS_IN(x) (BITS_PER_BYTE * sizeof(x))
108
109 /* Compute offsets of struct fields
110  */
111 #define STG_FIELD_OFFSET(s_type, field) ((StgWord)&(((s_type*)0)->field))
112
113 /*
114  * 'Portable' inlining:
115  * INLINE_HEADER is for inline functions in header files (macros)
116  * STATIC_INLINE is for inline functions in source files
117  * EXTERN_INLINE is for functions that we want to inline sometimes 
118  * (we also compile a static version of the function; see Inlines.c)
119  */
120 #if defined(__GNUC__) || defined( __INTEL_COMPILER)
121
122 # define INLINE_HEADER static inline
123 # define INLINE_ME inline
124 # define STATIC_INLINE INLINE_HEADER
125
126 // The special "extern inline" behaviour is now only supported by gcc
127 // when _GNUC_GNU_INLINE__ is defined, and you have to use
128 // __attribute__((gnu_inline)).  So when we don't have this, we use
129 // ordinary static inline.
130 //
131 // Apple's gcc defines __GNUC_GNU_INLINE__ without providing
132 // gnu_inline, so we exclude MacOS X and fall through to the safe
133 // version.
134 //
135 #if defined(__GNUC_GNU_INLINE__) && !defined(__APPLE__)
136 #  if defined(KEEP_INLINES)
137 #    define EXTERN_INLINE inline
138 #  else
139 #    define EXTERN_INLINE extern inline __attribute__((gnu_inline))
140 #  endif
141 #else
142 #  if defined(KEEP_INLINES)
143 #    define EXTERN_INLINE
144 #  else
145 #    define EXTERN_INLINE INLINE_HEADER
146 #  endif
147 #endif
148
149 #elif defined(_MSC_VER)
150
151 # define INLINE_HEADER __inline static
152 # define INLINE_ME __inline
153 # define STATIC_INLINE INLINE_HEADER
154
155 # if defined(KEEP_INLINES)
156 #  define EXTERN_INLINE __inline
157 # else
158 #  define EXTERN_INLINE __inline extern
159 # endif
160
161 #else
162
163 # error "Don't know how to inline functions with your C compiler."
164
165 #endif
166
167
168 /*
169  * GCC attributes
170  */
171 #if defined(__GNUC__)
172 #define GNU_ATTRIBUTE(at) __attribute__((at))
173 #else
174 #define GNU_ATTRIBUTE(at)
175 #endif
176
177 #if __GNUC__ >= 3 
178 #define GNUC3_ATTRIBUTE(at) __attribute__((at))
179 #else
180 #define GNUC3_ATTRIBUTE(at)
181 #endif
182
183 #if __GNUC__ > 4 || __GNUC__ == 4 && __GNUC_MINOR__ >= 3
184 #define GNUC_ATTR_HOT __attribute__((hot))
185 #else
186 #define GNUC_ATTR_HOT /* nothing */
187 #endif
188
189 #define STG_UNUSED    GNUC3_ATTRIBUTE(__unused__)
190
191 /* -----------------------------------------------------------------------------
192    Global type definitions
193    -------------------------------------------------------------------------- */
194
195 #include "MachDeps.h"
196 #include "stg/Types.h"
197
198 /* -----------------------------------------------------------------------------
199    Shorthand forms
200    -------------------------------------------------------------------------- */
201
202 typedef StgChar         C_;
203 typedef StgWord         W_;
204 typedef StgWord*        P_;
205 typedef StgInt          I_;
206 typedef StgWord StgWordArray[];
207 typedef StgFunPtr       F_;
208
209 #define EI_(X)          extern StgWordArray (X) GNU_ATTRIBUTE(aligned (8))
210 #define II_(X)          static StgWordArray (X) GNU_ATTRIBUTE(aligned (8))
211 #define IF_(f)          static StgFunPtr GNUC3_ATTRIBUTE(used) f(void) 
212 #define FN_(f)          StgFunPtr f(void)
213 #define EF_(f)          extern StgFunPtr f(void)
214
215 /* -----------------------------------------------------------------------------
216    Tail calls
217
218    This needs to be up near the top as the register line on alpha needs
219    to be before all procedures (inline & out-of-line).
220    -------------------------------------------------------------------------- */
221
222 #include "stg/TailCalls.h"
223
224 /* -----------------------------------------------------------------------------
225    Other Stg stuff...
226    -------------------------------------------------------------------------- */
227
228 #include "stg/DLL.h"
229 #include "stg/MachRegs.h"
230 #include "stg/Regs.h"
231 #include "stg/Ticky.h"
232
233 #if IN_STG_CODE
234 /*
235  * This is included later for RTS sources, after definitions of
236  * StgInfoTable, StgClosure and so on. 
237  */
238 #include "stg/MiscClosures.h"
239 #endif
240
241 #include "stg/SMP.h" // write_barrier() inline is required 
242
243 /* -----------------------------------------------------------------------------
244    Moving Floats and Doubles
245
246    ASSIGN_FLT is for assigning a float to memory (usually the
247               stack/heap).  The memory address is guaranteed to be
248               StgWord aligned (currently == sizeof(void *)).
249
250    PK_FLT     is for pulling a float out of memory.  The memory is
251               guaranteed to be StgWord aligned.
252    -------------------------------------------------------------------------- */
253
254 INLINE_HEADER void        ASSIGN_FLT (W_ [], StgFloat);
255 INLINE_HEADER StgFloat    PK_FLT     (W_ []);
256
257 #if ALIGNMENT_FLOAT <= ALIGNMENT_LONG
258
259 INLINE_HEADER void     ASSIGN_FLT(W_ p_dest[], StgFloat src) { *(StgFloat *)p_dest = src; }
260 INLINE_HEADER StgFloat PK_FLT    (W_ p_src[])                { return *(StgFloat *)p_src; }
261
262 #else  /* ALIGNMENT_FLOAT > ALIGNMENT_UNSIGNED_INT */
263
264 INLINE_HEADER void ASSIGN_FLT(W_ p_dest[], StgFloat src)
265 {
266     float_thing y;
267     y.f = src;
268     *p_dest = y.fu;
269 }
270
271 INLINE_HEADER StgFloat PK_FLT(W_ p_src[])
272 {
273     float_thing y;
274     y.fu = *p_src;
275     return(y.f);
276 }
277
278 #endif /* ALIGNMENT_FLOAT > ALIGNMENT_LONG */
279
280 #if ALIGNMENT_DOUBLE <= ALIGNMENT_LONG
281
282 INLINE_HEADER void        ASSIGN_DBL (W_ [], StgDouble);
283 INLINE_HEADER StgDouble   PK_DBL     (W_ []);
284
285 INLINE_HEADER void      ASSIGN_DBL(W_ p_dest[], StgDouble src) { *(StgDouble *)p_dest = src; }
286 INLINE_HEADER StgDouble PK_DBL    (W_ p_src[])                 { return *(StgDouble *)p_src; }
287
288 #else   /* ALIGNMENT_DOUBLE > ALIGNMENT_LONG */
289
290 /* Sparc uses two floating point registers to hold a double.  We can
291  * write ASSIGN_DBL and PK_DBL by directly accessing the registers
292  * independently - unfortunately this code isn't writable in C, we
293  * have to use inline assembler.
294  */
295 #if sparc_HOST_ARCH
296
297 #define ASSIGN_DBL(dst0,src) \
298     { StgPtr dst = (StgPtr)(dst0); \
299       __asm__("st %2,%0\n\tst %R2,%1" : "=m" (((P_)(dst))[0]), \
300         "=m" (((P_)(dst))[1]) : "f" (src)); \
301     }
302
303 #define PK_DBL(src0) \
304     ( { StgPtr src = (StgPtr)(src0); \
305         register double d; \
306       __asm__("ld %1,%0\n\tld %2,%R0" : "=f" (d) : \
307         "m" (((P_)(src))[0]), "m" (((P_)(src))[1])); d; \
308     } )
309
310 #else /* ! sparc_HOST_ARCH */
311
312 INLINE_HEADER void        ASSIGN_DBL (W_ [], StgDouble);
313 INLINE_HEADER StgDouble   PK_DBL     (W_ []);
314
315 typedef struct
316   { StgWord dhi;
317     StgWord dlo;
318   } unpacked_double;
319
320 typedef union
321   { StgDouble d;
322     unpacked_double du;
323   } double_thing;
324
325 INLINE_HEADER void ASSIGN_DBL(W_ p_dest[], StgDouble src)
326 {
327     double_thing y;
328     y.d = src;
329     p_dest[0] = y.du.dhi;
330     p_dest[1] = y.du.dlo;
331 }
332
333 /* GCC also works with this version, but it generates
334    the same code as the previous one, and is not ANSI
335
336 #define ASSIGN_DBL( p_dest, src ) \
337         *p_dest = ((double_thing) src).du.dhi; \
338         *(p_dest+1) = ((double_thing) src).du.dlo \
339 */
340
341 INLINE_HEADER StgDouble PK_DBL(W_ p_src[])
342 {
343     double_thing y;
344     y.du.dhi = p_src[0];
345     y.du.dlo = p_src[1];
346     return(y.d);
347 }
348
349 #endif /* ! sparc_HOST_ARCH */
350
351 #endif /* ALIGNMENT_DOUBLE > ALIGNMENT_UNSIGNED_INT */
352
353
354 /* -----------------------------------------------------------------------------
355    Moving 64-bit quantities around
356
357    ASSIGN_Word64      assign an StgWord64/StgInt64 to a memory location
358    PK_Word64          load an StgWord64/StgInt64 from a amemory location
359
360    In both cases the memory location might not be 64-bit aligned.
361    -------------------------------------------------------------------------- */
362
363 #if SIZEOF_HSWORD == 4
364
365 typedef struct
366   { StgWord dhi;
367     StgWord dlo;
368   } unpacked_double_word;
369
370 typedef union
371   { StgInt64 i;
372     unpacked_double_word iu;
373   } int64_thing;
374
375 typedef union
376   { StgWord64 w;
377     unpacked_double_word wu;
378   } word64_thing;
379
380 INLINE_HEADER void ASSIGN_Word64(W_ p_dest[], StgWord64 src)
381 {
382     word64_thing y;
383     y.w = src;
384     p_dest[0] = y.wu.dhi;
385     p_dest[1] = y.wu.dlo;
386 }
387
388 INLINE_HEADER StgWord64 PK_Word64(W_ p_src[])
389 {
390     word64_thing y;
391     y.wu.dhi = p_src[0];
392     y.wu.dlo = p_src[1];
393     return(y.w);
394 }
395
396 INLINE_HEADER void ASSIGN_Int64(W_ p_dest[], StgInt64 src)
397 {
398     int64_thing y;
399     y.i = src;
400     p_dest[0] = y.iu.dhi;
401     p_dest[1] = y.iu.dlo;
402 }
403
404 INLINE_HEADER StgInt64 PK_Int64(W_ p_src[])
405 {
406     int64_thing y;
407     y.iu.dhi = p_src[0];
408     y.iu.dlo = p_src[1];
409     return(y.i);
410 }
411
412 #elif SIZEOF_VOID_P == 8
413
414 INLINE_HEADER void ASSIGN_Word64(W_ p_dest[], StgWord64 src)
415 {
416         p_dest[0] = src;
417 }
418
419 INLINE_HEADER StgWord64 PK_Word64(W_ p_src[])
420 {
421     return p_src[0];
422 }
423
424 INLINE_HEADER void ASSIGN_Int64(W_ p_dest[], StgInt64 src)
425 {
426     p_dest[0] = src;
427 }
428
429 INLINE_HEADER StgInt64 PK_Int64(W_ p_src[])
430 {
431     return p_src[0];
432 }
433
434 #endif /* SIZEOF_HSWORD == 4 */
435
436 /* -----------------------------------------------------------------------------
437    Split markers
438    -------------------------------------------------------------------------- */
439
440 #if defined(USE_SPLIT_MARKERS)
441 #if defined(LEADING_UNDERSCORE)
442 #define __STG_SPLIT_MARKER __asm__("\n___stg_split_marker:");
443 #else
444 #define __STG_SPLIT_MARKER __asm__("\n__stg_split_marker:");
445 #endif
446 #else
447 #define __STG_SPLIT_MARKER /* nothing */
448 #endif
449
450 /* -----------------------------------------------------------------------------
451    Write-combining store
452    -------------------------------------------------------------------------- */
453
454 INLINE_HEADER void
455 wcStore (StgPtr p, StgWord w)
456 {
457 #ifdef x86_64_HOST_ARCH    
458     __asm__(
459         "movnti\t%1, %0"
460         : "=m" (*p)
461         : "r" (w)
462         );
463 #else
464       *p = w;
465 #endif
466 }
467
468 /* -----------------------------------------------------------------------------
469    Integer multiply with overflow
470    -------------------------------------------------------------------------- */
471
472 /* Multiply with overflow checking.
473  *
474  * This is tricky - the usual sign rules for add/subtract don't apply.  
475  *
476  * On 32-bit machines we use gcc's 'long long' types, finding
477  * overflow with some careful bit-twiddling.
478  *
479  * On 64-bit machines where gcc's 'long long' type is also 64-bits,
480  * we use a crude approximation, testing whether either operand is
481  * larger than 32-bits; if neither is, then we go ahead with the
482  * multiplication.
483  *
484  * Return non-zero if there is any possibility that the signed multiply
485  * of a and b might overflow.  Return zero only if you are absolutely sure
486  * that it won't overflow.  If in doubt, return non-zero.
487  */
488
489 #if SIZEOF_VOID_P == 4
490
491 #ifdef WORDS_BIGENDIAN
492 #define RTS_CARRY_IDX__ 0
493 #define RTS_REM_IDX__  1
494 #else
495 #define RTS_CARRY_IDX__ 1
496 #define RTS_REM_IDX__ 0
497 #endif
498
499 typedef union {
500     StgInt64 l;
501     StgInt32 i[2];
502 } long_long_u ;
503
504 #define mulIntMayOflo(a,b)                      \
505 ({                                              \
506   StgInt32 r, c;                                \
507   long_long_u z;                                \
508   z.l = (StgInt64)a * (StgInt64)b;              \
509   r = z.i[RTS_REM_IDX__];                       \
510   c = z.i[RTS_CARRY_IDX__];                     \
511   if (c == 0 || c == -1) {                      \
512     c = ((StgWord)((a^b) ^ r))                  \
513       >> (BITS_IN (I_) - 1);                    \
514   }                                             \
515   c;                                            \
516 })
517
518 /* Careful: the carry calculation above is extremely delicate.  Make sure
519  * you test it thoroughly after changing it.
520  */
521
522 #else
523
524 /* Approximate version when we don't have long arithmetic (on 64-bit archs) */
525
526 /* If we have n-bit words then we have n-1 bits after accounting for the
527  * sign bit, so we can fit the result of multiplying 2 (n-1)/2-bit numbers */
528 #define HALF_POS_INT  (((I_)1) << ((BITS_IN (I_) - 1) / 2))
529 #define HALF_NEG_INT  (-HALF_POS_INT)
530
531 #define mulIntMayOflo(a,b)                      \
532 ({                                              \
533   I_ c;                                         \
534   if ((I_)a <= HALF_NEG_INT || a >= HALF_POS_INT    \
535       || (I_)b <= HALF_NEG_INT || b >= HALF_POS_INT) {\
536     c = 1;                                      \
537   } else {                                      \
538     c = 0;                                      \
539   }                                             \
540   c;                                            \
541 })
542 #endif
543
544 #endif /* STG_H */