src/org/ibex/js/Parser.java

   1 // Copyright 2004 Adam Megacz, see the COPYING file for licensing [GPL]
   2 package org.ibex.js;
   3
   4 import org.ibex.util.*;
   5 import java.io.*;
   6
   7 /**
   8  *  Parses a stream of lexed tokens into a tree of JSFunction's.
   9  *
  10  *  There are three kinds of things we parse: blocks, statements, and
  11  *  expressions.
  12  *
  13  *  - Expressions are a special type of statement that evaluates to a
  14  *    value (for example, "break" is not an expression, * but "3+2"
  15  *    is).  Some tokens sequences start expressions (for * example,
  16  *    literal numbers) and others continue an expression which * has
  17  *    already been begun (for example, '+').  Finally, some *
  18  *    expressions are valid targets for an assignment operation; after
  19  *    * each of these expressions, continueExprAfterAssignable() is
  20  *    called * to check for an assignment operation.
  21  *
  22  *  - A statement ends with a semicolon and does not return a value.
  23  *
  24  *  - A block is a single statement or a sequence of statements
  25  *    surrounded by curly braces.
  26  *
  27  *  Each parsing method saves the parserLine before doing its actual
  28  *  work and restores it afterwards.  This ensures that parsing a
  29  *  subexpression does not modify the line number until a token
  30  *  *after* the subexpression has been consumed by the parent
  31  *  expression.
  32  *
  33  *  Technically it would be a better design for this class to build an
  34  *  intermediate parse tree and use that to emit bytecode.  Here's the
  35  *  tradeoff:
  36  *
  37  *  Advantages of building a parse tree:
  38  *  - easier to apply optimizations
  39  *  - would let us handle more sophisticated languages than JavaScript
  40  *
  41  *  Advantages of leaving out the parse tree
  42  *  - faster compilation
  43  *  - less load on the garbage collector
  44  *  - much simpler code, easier to understand
  45  *  - less error-prone
  46  *
  47  *  Fortunately JS is such a simple language that we can get away with
  48  *  the half-assed approach and still produce a working, complete
  49  *  compiler.
  50  *
  51  *  The bytecode language emitted doesn't really cause any appreciable
  52  *  semantic loss, and is itself a parseable language very similar to
  53  *  Forth or a postfix variant of LISP.  This means that the bytecode
  54  *  can be transformed into a parse tree, which can be manipulated.
  55  *  So if we ever want to add an optimizer, it could easily be done by
  56  *  producing a parse tree from the bytecode, optimizing that tree,
  57  *  and then re-emitting the bytecode.  The parse tree node class
  58  *  would also be much simpler since the bytecode language has so few
  59  *  operators.
  60  *
  61  *  Actually, the above paragraph is slightly inaccurate -- there are
  62  *  places where we push a value and then perform an arbitrary number
  63  *  of operations using it before popping it; this doesn't parse well.
  64  *  But these cases are clearly marked and easy to change if we do
  65  *  need to move to a parse tree format.
  66  */
  67 class Parser extends Lexer implements ByteCodes {
  68
  69
  70     // Constructors //////////////////////////////////////////////////////
  71
  72     public Parser(Reader r, String sourceName, int line) throws IOException { super(r, sourceName, line); }
  73
  74     /** for debugging */
  75     public static void main(String[] s) throws IOException {
  76         JS block = JS.fromReader("stdin", 0, new InputStreamReader(System.in));
  77         if (block == null) return;
  78         System.out.println(block);
  79     }
  80
  81
  82     // Statics ////////////////////////////////////////////////////////////
  83
  84     static byte[] precedence = new byte[MAX_TOKEN + 1];
  85     static boolean[] isRightAssociative = new boolean[MAX_TOKEN + 1];
  86     // Use this as the precedence when we want anything up to the comma
  87     private final static int NO_COMMA = 2;
  88     static {
  89         isRightAssociative[ASSIGN] =
  90             isRightAssociative[ASSIGN_BITOR] =
  91             isRightAssociative[ASSIGN_BITXOR] =
  92             isRightAssociative[ASSIGN_BITAND] =
  93             isRightAssociative[ASSIGN_LSH] =
  94             isRightAssociative[ASSIGN_RSH] =
  95             isRightAssociative[ASSIGN_URSH] =
  96             isRightAssociative[ASSIGN_ADD] =
  97             isRightAssociative[ASSIGN_SUB] =
  98             isRightAssociative[ASSIGN_MUL] =
  99             isRightAssociative[ASSIGN_DIV] =
 100             isRightAssociative[ASSIGN_MOD] =
 101             isRightAssociative[ADD_TRAP] =
 102             isRightAssociative[DEL_TRAP] =
 103             true;
 104
 105         precedence[COMMA] = 1;
 106         // 2 is intentionally left unassigned. we use minPrecedence==2 for comma separated lists
 107         precedence[ASSIGN] =
 108             precedence[ASSIGN_BITOR] =
 109             precedence[ASSIGN_BITXOR] =
 110             precedence[ASSIGN_BITAND] =
 111             precedence[ASSIGN_LSH] =
 112             precedence[ASSIGN_RSH] =
 113             precedence[ASSIGN_URSH] =
 114             precedence[ASSIGN_ADD] =
 115             precedence[ASSIGN_SUB] =
 116             precedence[ASSIGN_MUL] =
 117             precedence[ASSIGN_DIV] =
 118             precedence[ADD_TRAP] =
 119             precedence[DEL_TRAP] =
 120             precedence[ASSIGN_MOD] = 3;
 121         precedence[HOOK] = 4;
 122         precedence[OR] = 5;
 123         precedence[AND] = 6;
 124         precedence[BITOR] = 7;
 125         precedence[BITXOR] = 8;
 126         precedence[BITAND] = 9;
 127         precedence[EQ] = precedence[NE] = precedence[SHEQ] = precedence[SHNE] = 10;
 128         precedence[LT] = precedence[LE] = precedence[GT] = precedence[GE] = 11;
 129         precedence[LSH] = precedence[RSH] = precedence[URSH] = 12;
 130         precedence[ADD] = precedence[SUB] = 12;
 131         precedence[MUL] = precedence[DIV] = precedence[MOD] = 13;
 132         precedence[BITNOT] =  precedence[BANG] = precedence[TYPEOF] = 14;
 133         precedence[DOT] = precedence[LB] = precedence[LP] =  precedence[INC] = precedence[DEC] = 15;
 134     }
 135
 136
 137     // Parsing Logic /////////////////////////////////////////////////////////
 138
 139     /** gets a token and throws an exception if it is not <tt>code</tt> */
 140     private void consume(int code) throws IOException {
 141         if (getToken() != code) {
 142             if(code == NAME) switch(op) {
 143                 case RETURN: case TYPEOF: case BREAK: case CONTINUE: case TRY: case THROW:
 144                 case ASSERT: case NULL: case TRUE: case FALSE: case IN: case IF: case ELSE:
 145                 case SWITCH: case CASE: case DEFAULT: case WHILE: case VAR: case WITH:
 146                 case CATCH: case FINALLY:
 147                     throw pe("Bad variable name; '" + codeToString[op].toLowerCase() + "' is a javascript keyword");
 148             }
 149             throw pe("expected " + codeToString[code] + ", got " + (op == -1 ? "EOF" : codeToString[op]));
 150         }
 151     }
 152
 153     /**
 154      *  Parse the largest possible expression containing no operators
 155      *  of precedence below <tt>minPrecedence</tt> and append the
 156      *  bytecodes for that expression to <tt>appendTo</tt>; the
 157      *  appended bytecodes MUST grow the stack by exactly one element.
 158      */
 159     private void startExpr(JSFunction appendTo, int minPrecedence) throws IOException {
 160         int saveParserLine = parserLine;
 161         _startExpr(appendTo, minPrecedence);
 162         parserLine = saveParserLine;
 163     }
 164     private void _startExpr(JSFunction appendTo, int minPrecedence) throws IOException {
 165         int tok = getToken();
 166         JSFunction b = appendTo;
 167
 168         switch (tok) {
 169         case -1: throw pe("expected expression");
 170
 171         // all of these simply push values onto the stack
 172         case NUMBER: b.add(parserLine, LITERAL, JS.N(number)); break;
 173         case STRING: b.add(parserLine, LITERAL, JSString.intern(string)); break;
 174         case NULL: b.add(parserLine, LITERAL, null); break;
 175         case TRUE: case FALSE: b.add(parserLine, LITERAL, tok == TRUE ? JS.T : JS.F); break;
 176
 177         // (.foo) syntax
 178         case DOT: {
 179             consume(NAME);
 180             b.add(parserLine, TOPSCOPE);
 181             b.add(parserLine, LITERAL, JSString.intern(""));
 182             b.add(parserLine, GET);
 183             b.add(parserLine, LITERAL, JSString.intern(string));
 184             b.add(parserLine, GET);
 185             continueExpr(b, minPrecedence);
 186             break;
 187         }
 188
 189         case LB: {
 190             b.add(parserLine, ARRAY, JS.ZERO);                       // push an array onto the stack
 191             int size0 = b.size;
 192             int i = 0;
 193             if (peekToken() != RB)
 194                 while(true) {                                               // iterate over the initialization values
 195                     b.add(parserLine, LITERAL, JS.N(i++));           // push the index in the array to place it into
 196                     if (peekToken() == COMMA || peekToken() == RB)
 197                         b.add(parserLine, LITERAL, null);                   // for stuff like [1,,2,]
 198                     else
 199                         startExpr(b, NO_COMMA);                             // push the value onto the stack
 200                     b.add(parserLine, PUT);                                 // put it into the array
 201                     b.add(parserLine, POP);                                 // discard the value remaining on the stack
 202                     if (peekToken() == RB) break;
 203                     consume(COMMA);
 204                 }
 205             b.set(size0 - 1, JS.N(i));                               // back at the ARRAY instruction, write the size of the array
 206             consume(RB);
 207             break;
 208         }
 209         case SUB: case ADD: {
 210             if(peekToken() == NUMBER) {   // literal
 211                 consume(NUMBER);
 212                 b.add(parserLine, LITERAL, JS.N(number.doubleValue() * (tok == SUB ? -1 : 1)));
 213             } else { // unary +/- operator
 214                 if(tok == SUB) b.add(parserLine, LITERAL, JS.ZERO);
 215                 // BITNOT has the same precedence as the unary +/- operators
 216                 startExpr(b,precedence[BITNOT]);
 217                 if(tok == ADD) b.add(parserLine, LITERAL, JS.ZERO); // HACK to force expr into a numeric context
 218                 b.add(parserLine, SUB);
 219             }
 220             break;
 221         }
 222         case LP: {  // grouping (not calling)
 223             startExpr(b, -1);
 224             consume(RP);
 225             break;
 226         }
 227         case INC: case DEC: {  // prefix (not postfix)
 228             startExpr(b, precedence[tok]);
 229             int prev = b.size - 1;
 230             if (b.get(prev) == GET && b.getArg(prev) != null)
 231                 b.set(prev, LITERAL, b.getArg(prev));
 232             else if(b.get(prev) == GET)
 233                 b.pop();
 234             else
 235                 throw pe("prefixed increment/decrement can only be performed on a valid assignment target");
 236             b.add(parserLine, GET_PRESERVE, Boolean.TRUE);
 237             b.add(parserLine, LITERAL, JS.N(1));
 238             b.add(parserLine, tok == INC ? ADD : SUB, JS.N(2));
 239             b.add(parserLine, PUT, null);
 240             b.add(parserLine, SWAP, null);
 241             b.add(parserLine, POP, null);
 242             break;
 243         }
 244         case BANG: case BITNOT: case TYPEOF: {
 245             startExpr(b, precedence[tok]);
 246             b.add(parserLine, tok);
 247             break;
 248         }
 249         case LC: { // object constructor
 250             b.add(parserLine, OBJECT, null);                                     // put an object on the stack
 251             if (peekToken() != RC)
 252                 while(true) {
 253                     if (peekToken() != NAME && peekToken() != STRING)
 254                         throw pe("expected NAME or STRING");
 255                     getToken();
 256                     b.add(parserLine, LITERAL, JSString.intern(string));                          // grab the key
 257                     consume(COLON);
 258                     startExpr(b, NO_COMMA);                                      // grab the value
 259                     b.add(parserLine, PUT);                                      // put the value into the object
 260                     b.add(parserLine, POP);                                      // discard the remaining value
 261                     if (peekToken() == RC) break;
 262                     consume(COMMA);
 263                     if (peekToken() == RC) break;                                // we permit {,,} -- I'm not sure if ECMA does
 264                 }
 265             consume(RC);
 266             break;
 267         }
 268         case NAME: {
 269             b.add(parserLine, TOPSCOPE);
 270             b.add(parserLine, LITERAL, JSString.intern(string));
 271             continueExprAfterAssignable(b,minPrecedence);
 272             break;
 273         }
 274         case FUNCTION: {
 275             consume(LP);
 276             int numArgs = 0;
 277             JSFunction b2 = new JSFunction(sourceName, parserLine, null);
 278             b.add(parserLine, NEWFUNCTION, b2);
 279
 280             // function prelude; arguments array is already on the stack
 281             b2.add(parserLine, TOPSCOPE);
 282             b2.add(parserLine, SWAP);
 283             b2.add(parserLine, DECLARE, JSString.intern("arguments"));    // declare arguments (equivalent to 'var arguments;')
 284             b2.add(parserLine, SWAP);                                     // set this.arguments and leave the value on the stack
 285             b2.add(parserLine, PUT);
 286
 287             while(peekToken() != RP) {                                    // run through the list of argument names
 288                 numArgs++;
 289                 if (peekToken() == NAME) {
 290                     consume(NAME);                                        // a named argument
 291                     JS varName = JSString.intern(string);
 292
 293                     b2.add(parserLine, DUP);                              // dup the args array
 294                     b2.add(parserLine, GET, JS.N(numArgs - 1));   // retrieve it from the arguments array
 295                     b2.add(parserLine, TOPSCOPE);
 296                     b2.add(parserLine, SWAP);
 297                     b2.add(parserLine, DECLARE, varName);                  // declare the name
 298                     b2.add(parserLine, SWAP);
 299                     b2.add(parserLine, PUT);
 300                     b2.add(parserLine, POP);                               // pop the value
 301                     b2.add(parserLine, POP);                               // pop the scope
 302                 }
 303                 if (peekToken() == RP) break;
 304                 consume(COMMA);
 305             }
 306             consume(RP);
 307
 308             b2.numFormalArgs = numArgs;
 309             b2.add(parserLine, POP);                                      // pop off the arguments array
 310             b2.add(parserLine, POP);                                      // pop off TOPSCOPE
 311
 312            if(peekToken() != LC)
 313                 throw pe("JSFunctions must have a block surrounded by curly brackets");
 314
 315             parseBlock(b2, null);                                   // the function body
 316
 317             b2.add(parserLine, LITERAL, null);                        // in case we "fall out the bottom", return NULL
 318             b2.add(parserLine, RETURN);
 319
 320             break;
 321         }
 322         default: throw pe("expected expression, found " + codeToString[tok] + ", which cannot start an expression");
 323         }
 324
 325         // attempt to continue the expression
 326         continueExpr(b, minPrecedence);
 327     }
 328     /*
 329     private Grammar parseGrammar(Grammar g) throws IOException {
 330         int tok = getToken();
 331         if (g != null)
 332             switch(tok) {
 333                 case BITOR: return new Grammar.Alternative(g, parseGrammar(null));
 334                 case ADD:   return parseGrammar(new Grammar.Repetition(g, 1, Integer.MAX_VALUE));
 335                 case MUL:   return parseGrammar(new Grammar.Repetition(g, 0, Integer.MAX_VALUE));
 336                 case HOOK:  return parseGrammar(new Grammar.Repetition(g, 0, 1));
 337             }
 338         Grammar g0 = null;
 339         switch(tok) {
 340             //case NUMBER: g0 = new Grammar.Literal(number); break;
 341             case NAME: g0 = new Grammar.Reference(string); break;
 342             case STRING:
 343                 g0 = new Grammar.Literal(string);
 344                 if (peekToken() == DOT) {
 345                     String old = string;
 346                     consume(DOT);
 347                     consume(DOT);
 348                     consume(STRING);
 349                     if (old.length() != 1 || string.length() != 1) throw pe("literal ranges must be single-char strings");
 350                     g0 = new Grammar.Range(old.charAt(0), string.charAt(0));
 351                 }
 352                 break;
 353             case LP:     g0 = parseGrammar(null); consume(RP); break;
 354             default:     pushBackToken(); return g;
 355         }
 356         if (g == null) return parseGrammar(g0);
 357         return parseGrammar(new Grammar.Juxtaposition(g, g0));
 358     }
 359     */
 360     /**
 361      *  Assuming that a complete assignable (lvalue) has just been
 362      *  parsed and the object and key are on the stack,
 363      *  <tt>continueExprAfterAssignable</tt> will attempt to parse an
 364      *  expression that modifies the assignable.  This method always
 365      *  decreases the stack depth by exactly one element.
 366      */
 367     private void continueExprAfterAssignable(JSFunction b,int minPrecedence) throws IOException {
 368         int saveParserLine = parserLine;
 369         _continueExprAfterAssignable(b,minPrecedence);
 370         parserLine = saveParserLine;
 371     }
 372     private void _continueExprAfterAssignable(JSFunction b,int minPrecedence) throws IOException {
 373         if (b == null) throw new Error("got null b; this should never happen");
 374         int tok = getToken();
 375         if (minPrecedence != -1 && (precedence[tok] < minPrecedence || (precedence[tok] == minPrecedence && !isRightAssociative[tok])))
 376             // force the default case
 377             tok = -1;
 378         switch(tok) {
 379             /*
 380         case GRAMMAR: {
 381             b.add(parserLine, GET_PRESERVE);
 382             Grammar g = parseGrammar(null);
 383             if (peekToken() == LC) {
 384                 g.action = new JSFunction(sourceName, parserLine, null);
 385                 parseBlock((JSFunction)g.action);
 386                 ((JSFunction)g.action).add(parserLine, LITERAL, null);         // in case we "fall out the bottom", return NULL
 387                 ((JSFunction)g.action).add(parserLine, RETURN);
 388             }
 389             b.add(parserLine, MAKE_GRAMMAR, g);
 390             b.add(parserLine, PUT);
 391             break;
 392         }
 393             */
 394         case ASSIGN_BITOR: case ASSIGN_BITXOR: case ASSIGN_BITAND: case ASSIGN_LSH: case ASSIGN_RSH: case ASSIGN_URSH:
 395         case ASSIGN_MUL: case ASSIGN_DIV: case ASSIGN_MOD: case ASSIGN_ADD: case ASSIGN_SUB: case ADD_TRAP: case DEL_TRAP: {
 396             if (tok != ADD_TRAP && tok != DEL_TRAP) b.add(parserLine, GET_PRESERVE);
 397
 398             startExpr(b,  precedence[tok]);
 399
 400             if (tok != ADD_TRAP && tok != DEL_TRAP) {
 401                 // tok-1 is always s/^ASSIGN_// (0 is BITOR, 1 is ASSIGN_BITOR, etc)
 402                 b.add(parserLine, tok - 1, tok-1==ADD ? JS.N(2) : null);
 403                 b.add(parserLine, PUT);
 404                 b.add(parserLine, SWAP);
 405                 b.add(parserLine, POP);
 406             } else {
 407                 b.add(parserLine, tok);
 408             }
 409             break;
 410         }
 411         case INC: case DEC: { // postfix
 412             b.add(parserLine, GET_PRESERVE, Boolean.TRUE);
 413             b.add(parserLine, LITERAL, JS.N(1));
 414             b.add(parserLine, tok == INC ? ADD : SUB, JS.N(2));
 415             b.add(parserLine, PUT, null);
 416             b.add(parserLine, SWAP, null);
 417             b.add(parserLine, POP, null);
 418             b.add(parserLine, LITERAL, JS.N(1));
 419             b.add(parserLine, tok == INC ? SUB : ADD, JS.N(2));   // undo what we just did, since this is postfix
 420             break;
 421         }
 422         case ASSIGN: {
 423             startExpr(b, precedence[tok]);
 424             b.add(parserLine, PUT);
 425             b.add(parserLine, SWAP);
 426             b.add(parserLine, POP);
 427             break;
 428         }
 429         case LP: {
 430
 431             // Method calls are implemented by doing a GET_PRESERVE
 432             // first.  If the object supports method calls, it will
 433             // return JS.METHOD
 434             b.add(parserLine, GET_PRESERVE);
 435             int n = parseArgs(b);
 436             b.add(parserLine, CALLMETHOD, JS.N(n));
 437             break;
 438         }
 439         default: {
 440             pushBackToken();
 441             if(b.get(b.size-1) == LITERAL && b.getArg(b.size-1) != null)
 442                 b.set(b.size-1,GET,b.getArg(b.size-1));
 443             else
 444                 b.add(parserLine, GET);
 445             return;
 446         }
 447         }
 448     }
 449
 450
 451     /**
 452      *  Assuming that a complete expression has just been parsed,
 453      *  <tt>continueExpr</tt> will attempt to extend this expression by
 454      *  parsing additional tokens and appending additional bytecodes.
 455      *
 456      *  No operators with precedence less than <tt>minPrecedence</tt>
 457      *  will be parsed.
 458      *
 459      *  If any bytecodes are appended, they will not alter the stack
 460      *  depth.
 461      */
 462     private void continueExpr(JSFunction b, int minPrecedence) throws IOException {
 463         int saveParserLine = parserLine;
 464         _continueExpr(b, minPrecedence);
 465         parserLine = saveParserLine;
 466     }
 467     private void _continueExpr(JSFunction b, int minPrecedence) throws IOException {
 468         if (b == null) throw new Error("got null b; this should never happen");
 469         int tok = getToken();
 470         if (tok == -1) return;
 471         if (minPrecedence != -1 && (precedence[tok] < minPrecedence || (precedence[tok] == minPrecedence && !isRightAssociative[tok]))) {
 472             pushBackToken();
 473             return;
 474         }
 475
 476         switch (tok) {
 477         case LP: {  // invocation (not grouping)
 478             int n = parseArgs(b);
 479             b.add(parserLine, CALL, JS.N(n));
 480             break;
 481         }
 482         case BITOR: case BITXOR: case BITAND: case SHEQ: case SHNE: case LSH:
 483         case RSH: case URSH: case MUL: case DIV: case MOD:
 484         case GT: case GE: case EQ: case NE: case LT: case LE: case SUB: {
 485             startExpr(b, precedence[tok]);
 486             b.add(parserLine, tok);
 487             break;
 488         }
 489         case ADD: {
 490             int count=1;
 491             int nextTok;
 492             do {
 493                 startExpr(b,precedence[tok]);
 494                 count++;
 495                 nextTok = getToken();
 496             } while(nextTok == tok);
 497             pushBackToken();
 498             b.add(parserLine, tok, JS.N(count));
 499             break;
 500         }
 501         case OR: case AND: {
 502             b.add(parserLine, tok == AND ? JSFunction.JF : JSFunction.JT, JS.ZERO);       // test to see if we can short-circuit
 503             int size = b.size;
 504             startExpr(b, precedence[tok]);                                     // otherwise check the second value
 505             b.add(parserLine, JMP, JS.N(2));                            // leave the second value on the stack and jump to the end
 506             b.add(parserLine, LITERAL, tok == AND ?
 507                   JS.B(false) : JS.B(true));                     // target of the short-circuit jump is here
 508             b.set(size - 1, JS.N(b.size - size));                     // write the target of the short-circuit jump
 509             break;
 510         }
 511         case DOT: {
 512             // support foo..bar syntax for foo[""].bar
 513             if (peekToken() == DOT) {
 514                 string = "";
 515             } else {
 516                 consume(NAME);
 517             }
 518             b.add(parserLine, LITERAL, JSString.intern(string));
 519             continueExprAfterAssignable(b,minPrecedence);
 520             break;
 521         }
 522         case LB: { // subscripting (not array constructor)
 523             startExpr(b, -1);
 524             consume(RB);
 525             continueExprAfterAssignable(b,minPrecedence);
 526             break;
 527         }
 528         case HOOK: {
 529             b.add(parserLine, JF, JS.ZERO);                // jump to the if-false expression
 530             int size = b.size;
 531             startExpr(b, minPrecedence);                          // write the if-true expression
 532             b.add(parserLine, JMP, JS.ZERO);               // if true, jump *over* the if-false expression
 533             b.set(size - 1, JS.N(b.size - size + 1));    // now we know where the target of the jump is
 534             consume(COLON);
 535             size = b.size;
 536             startExpr(b, minPrecedence);                          // write the if-false expression
 537             b.set(size - 1, JS.N(b.size - size + 1));    // this is the end; jump to here
 538             break;
 539         }
 540         case COMMA: {
 541             // pop the result of the previous expression, it is ignored
 542             b.add(parserLine,POP);
 543             startExpr(b,-1);
 544             break;
 545         }
 546         default: {
 547             pushBackToken();
 548             return;
 549         }
 550         }
 551
 552         continueExpr(b, minPrecedence);                           // try to continue the expression
 553     }
 554
 555     // parse a set of comma separated function arguments, assume LP has already been consumed
 556     private int parseArgs(JSFunction b) throws IOException {
 557         int i = 0;
 558         while(peekToken() != RP) {
 559             i++;
 560             if (peekToken() != COMMA) {
 561                 startExpr(b, NO_COMMA);
 562                 if (peekToken() == RP) break;
 563             }
 564             consume(COMMA);
 565         }
 566         consume(RP);
 567         return i;
 568     }
 569
 570     /** Parse a block of statements which must be surrounded by LC..RC. */
 571     void parseBlock(JSFunction b) throws IOException { parseBlock(b, null); }
 572     void parseBlock(JSFunction b, String label) throws IOException {
 573         int saveParserLine = parserLine;
 574         _parseBlock(b, label);
 575         parserLine = saveParserLine;
 576     }
 577     void _parseBlock(JSFunction b, String label) throws IOException {
 578         if (peekToken() == -1) return;
 579         else if (peekToken() != LC) parseStatement(b, null);
 580         else {
 581             consume(LC);
 582             while(peekToken() != RC && peekToken() != -1) parseStatement(b, null);
 583             consume(RC);
 584         }
 585     }
 586
 587     /** Parse a single statement, consuming the RC or SEMI which terminates it. */
 588     void parseStatement(JSFunction b, String label) throws IOException {
 589         int saveParserLine = parserLine;
 590         _parseStatement(b, label);
 591         parserLine = saveParserLine;
 592     }
 593     void _parseStatement(JSFunction b, String label) throws IOException {
 594         int tok = peekToken();
 595         if (tok == -1) return;
 596         switch(tok = getToken()) {
 597
 598         case THROW: case ASSERT: case RETURN: {
 599             if (tok == RETURN && peekToken() == SEMI)
 600                 b.add(parserLine, LITERAL, null);
 601             else
 602                 startExpr(b, -1);
 603             b.add(parserLine, tok);
 604             consume(SEMI);
 605             break;
 606         }
 607         case BREAK: case CONTINUE: {
 608             if (peekToken() == NAME) consume(NAME);
 609             b.add(parserLine, tok, string);
 610             consume(SEMI);
 611             break;
 612         }
 613         case VAR: {
 614             b.add(parserLine, TOPSCOPE);                         // push the current scope
 615             while(true) {
 616                 consume(NAME);
 617                 b.add(parserLine, DECLARE, JSString.intern(string)); // declare it
 618                 if (peekToken() == ASSIGN) {                     // if there is an '=' after the variable name
 619                     consume(ASSIGN);
 620                     startExpr(b, NO_COMMA);
 621                     b.add(parserLine, PUT);                      // assign it
 622                     b.add(parserLine, POP);                      // clean the stack
 623                 } else {
 624                     b.add(parserLine, POP);                      // pop the string pushed by declare
 625                 }
 626                 if (peekToken() != COMMA) break;
 627                 consume(COMMA);
 628             }
 629             b.add(parserLine, POP);                              // pop off the topscope
 630             if ((mostRecentlyReadToken != RC || peekToken() == SEMI) && peekToken() != -1 && mostRecentlyReadToken != SEMI) consume(SEMI);
 631             break;
 632         }
 633         case IF: {
 634             consume(LP);
 635             startExpr(b, -1);
 636             consume(RP);
 637
 638             b.add(parserLine, JF, JS.ZERO);                    // if false, jump to the else-block
 639             int size = b.size;
 640             parseStatement(b, null);
 641
 642             if (peekToken() == ELSE) {
 643                 consume(ELSE);
 644                 b.add(parserLine, JMP, JS.ZERO);               // if we took the true-block, jump over the else-block
 645                 b.set(size - 1, JS.N(b.size - size + 1));
 646                 size = b.size;
 647                 parseStatement(b, null);
 648             }
 649             b.set(size - 1, JS.N(b.size - size + 1));        // regardless of which branch we took, b[size] needs to point here
 650             break;
 651         }
 652         case WHILE: {
 653             consume(LP);
 654             if (label != null) b.add(parserLine, LABEL, label);
 655             b.add(parserLine, LOOP);
 656             int size = b.size;
 657             b.add(parserLine, POP);                                   // discard the first-iteration indicator
 658             startExpr(b, -1);
 659             b.add(parserLine, JT, JS.N(2));                    // if the while() clause is true, jump over the BREAK
 660             b.add(parserLine, BREAK);
 661             consume(RP);
 662             parseStatement(b, null);
 663             b.add(parserLine, CONTINUE);                              // if we fall out of the end, definately continue
 664             b.set(size - 1, JS.N(b.size - size + 1));        // end of the loop
 665             break;
 666         }
 667         case SWITCH: {
 668             consume(LP);
 669             if (label != null) b.add(parserLine, LABEL, label);
 670             b.add(parserLine, LOOP);
 671             int size0 = b.size;
 672             startExpr(b, -1);
 673             consume(RP);
 674             consume(LC);
 675             while(true)
 676                 if (peekToken() == CASE) {                         // we compile CASE statements like a bunch of if..else's
 677                     consume(CASE);
 678                     b.add(parserLine, DUP);                        // duplicate the switch() value; we'll consume one copy
 679                     startExpr(b, -1);
 680                     consume(COLON);
 681                     b.add(parserLine, EQ);                         // check if we should do this case-block
 682                     b.add(parserLine, JF, JS.ZERO);         // if not, jump to the next one
 683                     int size = b.size;
 684                     while(peekToken() != CASE && peekToken() != DEFAULT && peekToken() != RC) parseStatement(b, null);
 685                     b.set(size - 1, JS.N(1 + b.size - size));
 686                 } else if (peekToken() == DEFAULT) {
 687                     consume(DEFAULT);
 688                     consume(COLON);
 689                     while(peekToken() != CASE && peekToken() != DEFAULT && peekToken() != RC) parseStatement(b, null);
 690                 } else if (peekToken() == RC) {
 691                     consume(RC);
 692                     b.add(parserLine, BREAK);                      // break out of the loop if we 'fall through'
 693                     break;
 694                 } else {
 695                     throw pe("expected CASE, DEFAULT, or RC; got " + codeToString[peekToken()]);
 696                 }
 697             b.set(size0 - 1, JS.N(b.size - size0 + 1));      // end of the loop
 698             break;
 699         }
 700
 701         case DO: {
 702             if (label != null) b.add(parserLine, LABEL, label);
 703             b.add(parserLine, LOOP);
 704             int size = b.size;
 705             parseStatement(b, null);
 706             consume(WHILE);
 707             consume(LP);
 708             startExpr(b, -1);
 709             b.add(parserLine, JT, JS.N(2));                  // check the while() clause; jump over the BREAK if true
 710             b.add(parserLine, BREAK);
 711             b.add(parserLine, CONTINUE);
 712             consume(RP);
 713             consume(SEMI);
 714             b.set(size - 1, JS.N(b.size - size + 1));      // end of the loop; write this location to the LOOP instruction
 715             break;
 716         }
 717
 718         case TRY: {
 719             b.add(parserLine, TRY); // try bytecode causes a TryMarker to be pushed
 720             int tryInsn = b.size - 1;
 721             // parse the expression to be TRYed
 722             parseStatement(b, null);
 723             // pop the try  marker. this is pushed when the TRY bytecode is executed
 724             b.add(parserLine, POP);
 725             // jump forward to the end of the catch block, start of the finally block
 726             b.add(parserLine, JMP);
 727             int successJMPInsn = b.size - 1;
 728
 729             if (peekToken() != CATCH && peekToken() != FINALLY)
 730                 throw pe("try without catch or finally");
 731
 732             int catchJMPDistance = -1;
 733             if (peekToken() == CATCH) {
 734                 Vec catchEnds = new Vec();
 735                 boolean catchAll = false;
 736
 737                 catchJMPDistance = b.size - tryInsn;
 738
 739                 while(peekToken() == CATCH && !catchAll) {
 740                     String exceptionVar;
 741                     getToken();
 742                     consume(LP);
 743                     consume(NAME);
 744                     exceptionVar = string;
 745                     int[] writebacks = new int[] { -1, -1, -1 };
 746                     if (peekToken() != RP) {
 747                         // extended Ibex catch block: catch(e faultCode "foo.bar.baz")
 748                         consume(NAME);
 749                         b.add(parserLine, DUP);
 750                         b.add(parserLine, LITERAL, JSString.intern(string));
 751                         b.add(parserLine, GET);
 752                         b.add(parserLine, DUP);
 753                         b.add(parserLine, LITERAL, null);
 754                         b.add(parserLine, EQ);
 755                         b.add(parserLine, JT);
 756                         writebacks[0] = b.size - 1;
 757                         if (peekToken() == STRING) {
 758                             consume(STRING);
 759                             b.add(parserLine, DUP);
 760                             b.add(parserLine, LITERAL, string);
 761                             b.add(parserLine, LT);
 762                             b.add(parserLine, JT);
 763                             writebacks[1] = b.size - 1;
 764                             b.add(parserLine, DUP);
 765                             b.add(parserLine, LITERAL, string + "/");   // (slash is ASCII after dot)
 766                             b.add(parserLine, GE);
 767                             b.add(parserLine, JT);
 768                             writebacks[2] = b.size - 1;
 769                         } else {
 770                             consume(NUMBER);
 771                             b.add(parserLine, DUP);
 772                             b.add(parserLine, LITERAL, number);
 773                             b.add(parserLine, EQ);
 774                             b.add(parserLine, JF);
 775                             writebacks[1] = b.size - 1;
 776                         }
 777                         b.add(parserLine, POP);  // pop the element thats on the stack from the compare
 778                     } else {
 779                         catchAll = true;
 780                     }
 781                     consume(RP);
 782                     // the exception is on top of the stack; put it to the chosen name
 783                     b.add(parserLine, NEWSCOPE);
 784                     b.add(parserLine, TOPSCOPE);
 785                     b.add(parserLine, SWAP);
 786                     b.add(parserLine, LITERAL,JSString.intern(exceptionVar));
 787                     b.add(parserLine, DECLARE);
 788                     b.add(parserLine, SWAP);
 789                     b.add(parserLine, PUT);
 790                     b.add(parserLine, POP);
 791                     b.add(parserLine, POP);
 792                     parseBlock(b, null);
 793                     b.add(parserLine, OLDSCOPE);
 794
 795                     b.add(parserLine, JMP);
 796                     catchEnds.addElement(new Integer(b.size-1));
 797
 798                     for(int i=0; i<3; i++) if (writebacks[i] != -1) b.set(writebacks[i], JS.N(b.size-writebacks[i]));
 799                     b.add(parserLine, POP); // pop the element thats on the stack from the compare
 800                 }
 801
 802                 if(!catchAll)
 803                     b.add(parserLine, THROW);
 804
 805                 for(int i=0;i<catchEnds.size();i++) {
 806                     int n = ((Integer)catchEnds.elementAt(i)).intValue();
 807                     b.set(n, JS.N(b.size-n));
 808                 }
 809
 810                 // pop the try and catch markers
 811                 b.add(parserLine,POP);
 812                 b.add(parserLine,POP);
 813             }
 814
 815             // jump here if no exception was thrown
 816             b.set(successJMPInsn, JS.N(b.size - successJMPInsn));
 817
 818             int finallyJMPDistance = -1;
 819             if (peekToken() == FINALLY) {
 820                 b.add(parserLine, LITERAL, null); // null FinallyData
 821                 finallyJMPDistance = b.size - tryInsn;
 822                 consume(FINALLY);
 823                 parseStatement(b, null);
 824                 b.add(parserLine,FINALLY_DONE);
 825             }
 826
 827             // setup the TRY arguments
 828             b.set(tryInsn, new int[] { catchJMPDistance, finallyJMPDistance });
 829
 830             break;
 831         }
 832
 833         case FOR: {
 834             consume(LP);
 835
 836             tok = getToken();
 837             boolean hadVar = false;                                      // if it's a for..in, we ignore the VAR
 838             if (tok == VAR) { hadVar = true; tok = getToken(); }
 839             String varName = string;
 840             boolean forIn = peekToken() == IN;                           // determine if this is a for..in loop or not
 841             pushBackToken(tok, varName);
 842
 843             if (forIn) {
 844                 consume(NAME);
 845                 consume(IN);
 846                 startExpr(b,-1);
 847                 consume(RP);
 848
 849                 b.add(parserLine, PUSHKEYS);
 850
 851                 int size = b.size;
 852                 b.add(parserLine, LOOP);
 853                 b.add(parserLine, POP);
 854
 855                 b.add(parserLine,SWAP); // get the keys enumeration object on top
 856                 b.add(parserLine,DUP);
 857                 b.add(parserLine,GET,JS.S("hasMoreElements"));
 858                 int size2 = b.size;
 859                 b.add(parserLine,JT);
 860                 b.add(parserLine,SWAP);
 861                 b.add(parserLine,BREAK);
 862                 b.set(size2, JS.N(b.size - size2));
 863                 b.add(parserLine,DUP);
 864                 b.add(parserLine,GET,JS.S("nextElement"));
 865
 866                 b.add(parserLine, NEWSCOPE);
 867
 868                 b.add(parserLine,TOPSCOPE);
 869                 b.add(parserLine,SWAP);
 870                 b.add(parserLine, hadVar ? DECLARE : LITERAL, JSString.intern(varName));
 871                 b.add(parserLine,SWAP);
 872                 b.add(parserLine,PUT);
 873                 b.add(parserLine,POP);
 874                 b.add(parserLine,POP);
 875                 b.add(parserLine,SWAP);
 876
 877                 parseStatement(b, null);
 878
 879                 b.add(parserLine, OLDSCOPE);
 880                 b.add(parserLine, CONTINUE);
 881                 // jump here on break
 882                 b.set(size, JS.N(b.size - size));
 883
 884                 b.add(parserLine, POP);
 885             } else {
 886                 if (hadVar) pushBackToken(VAR, null);                    // yeah, this actually matters
 887                 b.add(parserLine, NEWSCOPE);                             // grab a fresh scope
 888
 889                 parseStatement(b, null);                                 // initializer
 890                 JSFunction e2 =                                    // we need to put the incrementor before the test
 891                     new JSFunction(sourceName, parserLine, null);  // so we save the test here
 892                 if (peekToken() != SEMI)
 893                     startExpr(e2, -1);
 894                 else
 895                     e2.add(parserLine, JSFunction.LITERAL, JS.T);         // handle the for(foo;;foo) case
 896                 consume(SEMI);
 897                 if (label != null) b.add(parserLine, LABEL, label);
 898                 b.add(parserLine, LOOP);
 899                 int size2 = b.size;
 900
 901                 b.add(parserLine, JT, JS.ZERO);                   // if we're on the first iteration, jump over the incrementor
 902                 int size = b.size;
 903                 if (peekToken() != RP) {                                 // do the increment thing
 904                     startExpr(b, -1);
 905                     b.add(parserLine, POP);
 906                 }
 907                 b.set(size - 1, JS.N(b.size - size + 1));
 908                 consume(RP);
 909
 910                 b.paste(e2);                                             // ok, *now* test if we're done yet
 911                 b.add(parserLine, JT, JS.N(2));                   // break out if we don't meet the test
 912                 b.add(parserLine, BREAK);
 913                 parseStatement(b, null);
 914                 b.add(parserLine, CONTINUE);                             // if we fall out the bottom, CONTINUE
 915                 b.set(size2 - 1, JS.N(b.size - size2 + 1));     // end of the loop
 916
 917                 b.add(parserLine, OLDSCOPE);                             // get our scope back
 918             }
 919             break;
 920         }
 921
 922         case NAME: {  // either a label or an identifier; this is the one place we're not LL(1)
 923             String possiblyTheLabel = string;
 924             if (peekToken() == COLON) {      // label
 925                 consume(COLON);
 926                 parseStatement(b, possiblyTheLabel);
 927                 break;
 928             } else {                         // expression
 929                 pushBackToken(NAME, possiblyTheLabel);
 930                 startExpr(b, -1);
 931                 b.add(parserLine, POP);
 932                 if ((mostRecentlyReadToken != RC || peekToken() == SEMI) && peekToken() != -1 && mostRecentlyReadToken != SEMI) consume(SEMI);
 933                 break;
 934             }
 935         }
 936
 937         case SEMI: return;                                               // yep, the null statement is valid
 938
 939         case LC: {  // blocks are statements too
 940             pushBackToken();
 941             b.add(parserLine, NEWSCOPE);
 942             parseBlock(b, label);
 943             b.add(parserLine, OLDSCOPE);
 944             break;
 945         }
 946
 947         default: {  // hope that it's an expression
 948             pushBackToken();
 949             startExpr(b, -1);
 950             b.add(parserLine, POP);
 951             if ((mostRecentlyReadToken != RC || peekToken() == SEMI) && peekToken() != -1 && mostRecentlyReadToken != SEMI) consume(SEMI);
 952             break;
 953         }
 954         }
 955     }
 956
 957
 958     // ParserException //////////////////////////////////////////////////////////////////////
 959     private IOException pe(String s) { return new IOException(sourceName + ":" + line + " " + s); }
 960
 961 }
 962