2003/06/13 09:19:10
[org.ibex.core.git] / src / org / xwt / js / Parser.java
index 861432c..f5ddd42 100644 (file)
+// Copyright 2003 Adam Megacz, see the COPYING file for licensing [GPL]
 package org.xwt.js;
+
+// FIXME: line number accuracy
+
 import org.xwt.util.*;
 import java.io.*;
 
-// FIXME: for..in
-// FIXME: delete keyword
-public class Parser extends Lexer {
+/**
+ *  Parses a stream of lexed tokens into a tree of CompiledFunction's.
+ *
 
-    public Parser(Reader r) throws IOException { super(r); }
-    private Parser skipToken() throws IOException { getToken(); return this; }
-    
-    /** sorta like gcc trees */
-    public static class Expr {
-       int code = -1;
+ *  There are three kinds of things we parse: blocks, statements,
+ *  expressions.  Expressions are a special type of statement that
+ *  evaluates to a value (for example, "break" is not an expression,
+ *  but "3+2" is).  AssignmentTargets are a special kind of expression
+ *  that can be 'put' to (for example, "foo()" is not an
+ *  assignmentTarget, but "foo[7]" is). FIXME.
+
+ *
+ *  Technically it would be a better design for this class to build an
+ *  intermediate parse tree and use that to emit bytecode.  Here's the
+ *  tradeoff:
+ *
+ *  Advantages of building a parse tree:
+ *  - easier to apply optimizations
+ *  - would let us handle more sophisticated languages than JavaScript
+ *
+ *  Advantages of leaving out the parse tree
+ *  - faster compilation
+ *  - less load on the garbage collector
+ *  - much simpler code, easier to understand
+ *  - less error-prone
+ *
+ *  Fortunately JS is such a simple language that we can get away with
+ *  the half-assed approach and still produce a working, complete
+ *  compiler.
+ *
+ *  The bytecode language emitted doesn't really cause any appreciable
+ *  semantic loss, and is itself a parseable language very similar to
+ *  Forth or a postfix variant of LISP.  This means that the bytecode
+ *  can be transformed into a parse tree, which can be manipulated.
+ *  So if we ever want to add an optimizer, it could easily be done by
+ *  producing a parse tree from the bytecode, optimizing that tree,
+ *  and then re-emitting the bytecode.  The parse tree node class
+ *  would also be much simpler since the bytecode language has so few
+ *  operators.
+ *
+ *  Actually, the above paragraph is slightly inaccurate -- there are
+ *  places where we push a value and then perform an arbitrary number
+ *  of operations using it before popping it; this doesn't parse well.
+ *  But these cases are clearly marked and easy to change if we do
+ *  need to move to a parse tree format.
+ */
+class Parser extends Lexer implements ByteCodes {
 
-       Expr left = null;
-       Expr right = null;
-       Expr extra = null;
 
-       Expr next = null;   // if this expr is part of a list
+    // Constructors //////////////////////////////////////////////////////
 
-       String string = null;
+    public Parser(Reader r, String sourceName, int line) throws IOException { super(r, sourceName, line); }
 
-       public Expr(String s) { this.string = s; }  // an identifier or label
-       public Expr(int code) { this(code, null, null, null); }
-       public Expr(int code, Expr left) { this(code, left, null, null); }
-       public Expr(int code, Expr left, Expr right) { this(code, left, right, null); }
-       public Expr(int code, Expr left, Expr right, Expr extra) { this.left = left; this.right = right; this.extra = extra; this.code = code; }
+    /** for debugging */
+    public static void main(String[] s) throws Exception {
+       CompiledFunction block = new CompiledFunction("stdin", 0, new InputStreamReader(System.in), null);
+       if (block == null) return;
+       System.out.println(block);
     }
-    
-    /** parses a single statement */
-    public Expr parseStatement() throws IOException {
-       int tok;
-       Expr ret;
-       switch(tok = peekToken()) {
-
-       case LC:
-           ret = parseBlock(true);
-
-       case THROW: case RETURN: case ASSERT:
-           ret = new Expr(ASSERT, skipToken().parseExpr());
-
-       case GOTO: case BREAK: case CONTINUE:
-           skipToken();
-           if (getToken() == NAME)
-               ret = new Expr(tok, new Expr(string));
-           else if (tok == GOTO)
-               throw new Error("goto must be followed by a label");
-           else
-               ret = new Expr(tok);
-                       
-       default:
-           ret = parseExpr();
-       }
-
-       if (getToken() != SEMI) throw new Error("expected ;");
-       return ret;
+
+
+    // Statics ////////////////////////////////////////////////////////////
+
+    static byte[] precedence = new byte[MAX_TOKEN + 1];
+    static boolean[] isRightAssociative = new boolean[MAX_TOKEN + 1];
+    static {
+       isRightAssociative[ASSIGN] = true;
+
+       precedence[ASSIGN] = 1;
+       precedence[HOOK] = 2;
+       precedence[COMMA] = 3;
+       precedence[OR] = precedence[AND] = 4;
+       precedence[GT] = precedence[GE] = 5;
+       precedence[BITOR] = 6;
+       precedence[BITXOR] = 7;
+       precedence[BITAND] = 8;
+       precedence[EQ] = precedence[NE] = 9;
+       precedence[LT] = precedence[LE] = 10;
+       precedence[SHEQ] = precedence[SHNE] = 11;
+       precedence[LSH] = precedence[RSH] = precedence[URSH] = 12;
+       precedence[ADD] = precedence[SUB] = 13;
+       precedence[MUL] = precedence[DIV] = precedence[MOD] = 14;
+       precedence[BITNOT] =  15;
+       precedence[INC] = precedence[DEC] = 16;
+       precedence[LP] = 17;
+       precedence[LB] = 18;
+       precedence[DOT] = 19;
     }
 
-    /** a block is either a single statement or a list of statements surrounded by curly braces; all expressions are also statements */
-    public Expr parseBlock(boolean requireBraces) throws IOException {
-       int tok = peekToken();
-       if (requireBraces && tok != LC) throw new Error("expected {");
-       if (tok != LC) return parseStatement();
-       skipToken();
-       Expr head = null;
-       Expr tail = null;
-       while(peekToken() != RC)
-           if (head == null) head = tail = parseStatement(); else tail = tail.next = parseStatement();
-       skipToken();
-       return new Expr(LC, head);
+
+    // Parsing Logic /////////////////////////////////////////////////////////
+
+    /** gets a token and throws an exception if it is not <tt>code</tt> */
+    private void consume(int code) throws IOException {
+       if (getToken() != code) throw new ParserException("expected " + codeToString[code] + ", got " + (op == -1 ? "EOF" : codeToString[op]));
     }
 
-    /** Subexpressions come in two flavors: starters and continuers.
-     *  Starters can appear at the start of an expression or after a
-     *  continuer, and continuers, which can appear after a starter.
+    /**
+     *  Parse the largest possible expression containing no operators
+     *  of precedence below <tt>minPrecedence</tt> and append the
+     *  bytecodes for that expression to <tt>appendTo</tt>; the
+     *  appended bytecodes MUST grow the stack by exactly one element.
      */
-    public Expr parseExpr() throws IOException {
-       Expr e = parseStarter();
-       while(true) {
-           Expr e2 = parseContinuer(e);
-           if (e2 == null) return e;
-           e = e2;
+    private void startExpr(CompiledFunction appendTo, int minPrecedence) throws IOException {
+       int tok = getToken();
+       CompiledFunction b = appendTo;
+
+       switch (tok) {
+       case -1: throw new ParserException("expected expression");
+
+        // all of these simply push values onto the stack
+       case NUMBER: b.add(line, LITERAL, number); break;
+       case STRING: b.add(line, LITERAL, string); break;
+       case THIS: b.add(line, TOPSCOPE, null); break;
+       case NULL: b.add(line, LITERAL, null); break;
+       case TRUE: case FALSE: b.add(line, LITERAL, new Boolean(tok == TRUE)); break;
+
+       case LB: {
+           b.add(line, ARRAY, new Integer(0));                       // push an array onto the stack
+           int size0 = b.size();
+           int i = 0;
+           if (peekToken() != RB)
+               while(true) {                                         // iterate over the initialization values
+                   int size = b.size();
+                   if (peekToken() == COMMA || peekToken() == RB)
+                       b.add(line, LITERAL, null);                   // for stuff like [1,,2,]
+                   else
+                       startExpr(b, -1);                             // push the value onto the stack
+                   b.add(line, LITERAL, new Integer(i++));           // push the index in the array to place it into
+                   b.add(line, PUT);                                 // put it into the array
+                   b.add(line, POP);                                 // discard the value remaining on the stack
+                   if (peekToken() == RB) break;
+                   consume(COMMA);
+               }
+           b.set(size0 - 1, new Integer(i));                         // back at the ARRAY instruction, write the size of the array
+           consume(RB);
+           break;
+       }
+       case SUB: {  // negative literal (like "3 * -1")
+           consume(NUMBER);
+           b.add(line, LITERAL, new Double(number.doubleValue() * -1));
+           break;
+       }
+       case LP: {  // grouping (not calling)
+           startExpr(b, -1);
+           consume(RP);
+           break;
+       }
+       case INC: case DEC: {  // prefix (not postfix)
+           startExpr(b, precedence[tok]);
+           b.set(b.size() - 1, tok, new Boolean(true));    // FIXME, ugly; need startAssignTarget
+           break;
+       }
+       case BANG: case BITNOT: case TYPEOF: {
+           startExpr(b, precedence[tok]);
+           b.add(line, tok);
+           break;
+       }
+       case LC: { // object constructor
+           b.add(line, OBJECT, null);                                           // put an object on the stack
+           if (peekToken() != RC)
+               while(true) {
+                   if (peekToken() != NAME && peekToken() != STRING)
+                       throw new ParserException("expected NAME or STRING");
+                   getToken();
+                   b.add(line, LITERAL, string);                                // grab the key
+                   consume(COLON);
+                   startExpr(b, -1);                                            // grab the value
+                   b.add(line, PUT);                                            // put the value into the object
+                   b.add(line, POP);                                            // discard the remaining value
+                   if (peekToken() == RC) break;
+                   consume(COMMA);
+                   if (peekToken() == RC) break;                                // we permit {,,} -- I'm not sure if ECMA does
+               }
+           consume(RC);
+           break;
+       }
+       case NAME: {    // FIXME; this is an lvalue
+           String name = string;
+           if (peekToken() == ASSIGN) {
+               consume(ASSIGN);
+               b.add(line, TOPSCOPE);
+               b.add(line, LITERAL, name);
+               startExpr(b, minPrecedence);
+               b.add(line, PUT);
+               b.add(line, SWAP);
+               b.add(line, POP);
+           } else {
+               b.add(line, TOPSCOPE);
+               b.add(line, LITERAL, name);
+               b.add(line, GET);
+           }
+           break;
        }
+       case FUNCTION: {
+           consume(LP);
+           int numArgs = 0;
+           CompiledFunction b2 = new CompiledFunction(sourceName, line, null);    
+           b.add(line, NEWFUNCTION, b2);
+
+           // function prelude; arguments array is already on the stack
+           b2.add(line, TOPSCOPE);                                                // push the scope onto the stack
+           b2.add(line, SWAP);                                                    // swap 'this' and 'arguments'
+
+           b2.add(line, LITERAL, "arguments");                                    // declare arguments (equivalent to 'var arguments;')
+           b2.add(line, DECLARE);
+
+           b2.add(line, LITERAL, "arguments");                                    // set this.arguments and leave the value on the stack
+           b2.add(line, SWAP);
+           b2.add(line, PUT);
+           b2.add(line, SWAP);
+           b2.add(line, POP);
+
+           while(peekToken() != RP) {                              // run through the list of argument names
+               if (peekToken() == NAME) {
+                   consume(NAME);                                  // a named argument
+                   
+                   b2.add(line, LITERAL, string);                  // declare the name
+                   b2.add(line, DECLARE);
+                   
+                   b2.add(line, LITERAL, new Integer(numArgs));    // retrieve it from the arguments array
+                   b2.add(line, GET_PRESERVE);
+                   b2.add(line, SWAP);
+                   b2.add(line, POP);
+                   
+                   b2.add(line, TOPSCOPE);                         // put it to the current scope
+                   b2.add(line, SWAP);
+                   b2.add(line, LITERAL, string);
+                   b2.add(line, SWAP);
+                   b2.add(line, PUT);
+                   
+                   b2.add(line, POP);                              // clean the stack
+                   b2.add(line, POP);
+               }
+               if (peekToken() == RP) break;
+               consume(COMMA);
+               numArgs++;
+           }
+           consume(RP);
+
+           b2.add(line, POP);                                      // pop off the arguments array
+
+           parseStatement(b2, null);                               // the function body
+
+           b2.add(line, LITERAL, null);                            // in case we "fall out the bottom", return NULL
+           b2.add(line, RETURN);
+
+           break;
+       }
+       default: throw new ParserException("expected expression, found " + codeToString[tok] + ", which cannot start an expression");
+       }
+
+       // attempt to continue the expression
+       continueExpr(b, minPrecedence);
     }
 
-    public Expr parseStarter() throws IOException {
-       Expr e1 = null;     
-       Expr e2 = null;     
-       Expr e3 = null;     
-       Expr head = null;
-       Expr tail = null;
+    /**
+     *  Assuming that a complete expression has just been parsed,
+     *  <tt>continueExpr</tt> will attempt to extend this expression by
+     *  parsing additional tokens and appending additional bytecodes.
+     *
+     *  No operators with precedence less than <tt>minPrecedence</tt>
+     *  will be parsed.
+     *
+     *  If any bytecodes are appended, they will not alter the stack
+     *  depth.
+     */
+    private void continueExpr(CompiledFunction b, int minPrecedence) throws IOException {
+       if (b == null) throw new Error("got null b; this should never happen");
        int tok = getToken();
-       switch(tok) {
-           
-       case SWITCH: {
-           if (getToken() != LP) throw new Error("expected left paren");
-           Expr switchExpr = parseExpr();
-           if (getToken() != RP) throw new Error("expected left paren");
-           if (getToken() != LC) throw new Error("expected left brace");
-           Expr firstExpr = null;
-           Expr lastExpr = null;
-           while(true) {
-               if (getToken() != CASE) throw new Error("expected CASE");
-               Expr caseExpr = parseExpr();
-               if (getToken() != COLON) throw new Error("expected COLON");
-               Expr e = new Expr(CASE, caseExpr, parseBlock(false));
-               if (lastExpr == null) firstExpr = e;
-               else lastExpr.next = e;
-               lastExpr = e;
-               if (getToken() == RC) return new Expr(SWITCH, switchExpr, firstExpr);
+       if (tok == -1) return;
+       if (minPrecedence != -1 && (precedence[tok] < minPrecedence || (precedence[tok] == minPrecedence && !isRightAssociative[tok]))) {
+           pushBackToken();
+           return;
+       }
+
+       switch (tok) {
+        case ASSIGN_BITOR: case ASSIGN_BITXOR: case ASSIGN_BITAND: case ASSIGN_LSH: case ASSIGN_RSH: case ASSIGN_URSH:
+       case ASSIGN_ADD: case ASSIGN_SUB: case ASSIGN_MUL: case ASSIGN_DIV: case ASSIGN_MOD: {
+           b.set(b.size() - 1, b.GET_PRESERVE, new Boolean(true));  // FIXME should use AssignTarget
+           startExpr(b, precedence[tok - 1]);
+           b.add(line, tok - 1);
+           b.add(line, PUT);
+           b.add(line, SWAP);
+           b.add(line, POP);
+           break;
+       }
+       case INC: case DEC: { // postfix
+           b.set(b.size() - 1, tok, new Boolean(false));   // FIXME use assignmenttarget
+           break;
+       }
+       case LP: {  // invocation (not grouping)
+           int i = 0;
+           while(peekToken() != RP) {
+               i++;
+               if (peekToken() != COMMA) {
+                   startExpr(b, -1);
+                   if (peekToken() == RP) break;
+               }
+               consume(COMMA);
            }
+           consume(RP);
+           b.add(line, CALL, new Integer(i));
+           break;
        }
-           
-       case FUNCTION: {
-           if (getToken() != LP) throw new Error("function keyword must be followed by a left paren");
-           Expr formalArgs = null, cur = null;
-           tok = getToken();
-           while(tok != RP) {
-               if (tok != NAME) throw new Error("expected a variable name");
-               if (cur == null) { formalArgs = cur = new Expr(string); }
-               else { cur.next = new Expr(string); cur = cur.next; }
-               tok = getToken();
-               if (tok == RP) break;
-               if (tok != COMMA) throw new Error("function argument list must consist of alternating NAMEs and COMMAs");
-               tok = getToken();
+        case BITOR: case BITXOR: case BITAND: case SHEQ: case SHNE: case LSH:
+       case RSH: case URSH: case ADD: case MUL: case DIV: case MOD:
+       case GT: case GE: case EQ: case NE: case LT: case LE: case SUB: {
+           startExpr(b, precedence[tok]);
+           b.add(line, tok);
+           break;
+       }
+       case OR: case AND: {
+           b.add(line, tok == AND ? b.JF : b.JT, new Integer(0));                     // test to see if we can short-circuit
+           int size = b.size();
+           startExpr(b, precedence[tok]);                                             // otherwise check the second value
+           b.add(line, JMP, new Integer(2));                                          // leave the second value on the stack and jump to the end
+           b.add(line, LITERAL, tok == AND ? new Boolean(false) : new Boolean(true)); // target of the short-circuit jump is here
+           b.set(size - 1, new Integer(b.size() - size));                             // write the target of the short-circuit jump
+           break;
+       }
+       case DOT: {  // FIXME, assigntarget
+           consume(NAME);
+           String target = string;
+           if (peekToken() == ASSIGN) {
+               consume(ASSIGN);
+               b.add(line, LITERAL, target);
+               startExpr(b, -1);
+               b.add(line, PUT);
+               b.add(line, SWAP);
+               b.add(line, POP);
+           } else {
+               b.add(line, LITERAL, target);
+               b.add(line, GET);
+           }
+           break;
+       }
+       case LB: { // subscripting (not array constructor)
+           startExpr(b, -1);
+           consume(RB);
+           if (peekToken() == ASSIGN) { // FIXME: assigntarget
+               consume(ASSIGN);
+               startExpr(b, -1);
+               b.add(line, PUT);
+               b.add(line, SWAP);
+               b.add(line, POP);
+           } else {
+               b.add(line, GET);
            }
-           return new Expr(tok, formalArgs, parseBlock(true));
+           break;
+       }
+       case HOOK: {
+           b.add(line, JF, new Integer(0));                      // jump to the if-false expression
+           int size = b.size();
+           startExpr(b, -1);                                     // write the if-true expression
+           b.add(line, JMP, new Integer(0));                     // if true, jump *over* the if-false expression     
+           b.set(size - 1, new Integer(b.size() - size + 1));    // now we know where the target of the jump is
+           consume(COLON);
+           size = b.size();
+           startExpr(b, -1);                                     // write the if-false expression
+           b.set(size - 1, new Integer(b.size() - size + 1));    // this is the end; jump to here
+           break;
+       }
+       default: {
+           pushBackToken();
+           return;
+       }
+       }
+
+       continueExpr(b, minPrecedence);                           // try to continue the expression
+    }
+    
+    /** Parse a block of statements which must be surrounded by LC..RC. */
+    void parseBlock(CompiledFunction b) throws IOException { parseBlock(b, null); }
+    void parseBlock(CompiledFunction b, String label) throws IOException {
+       if (peekToken() == -1) return;
+       else if (peekToken() != LC) parseStatement(b, null);
+       else {
+           consume(LC);
+           while(peekToken() != RC && peekToken() != -1) parseStatement(b, null);
+           consume(RC);
+       }
+    }
+
+    /** Parse a single statement, consuming the RC or SEMI which terminates it. */
+    void parseStatement(CompiledFunction b, String label) throws IOException {
+       int tok = peekToken();
+       if (tok == -1) return;
+       switch(tok = getToken()) {
+           
+       case THROW: case ASSERT: case RETURN: {
+           if (tok == RETURN && peekToken() == SEMI) b.add(line, LITERAL, null);
+           else startExpr(b, -1);
+           b.add(line, tok);
+           consume(SEMI);
+           break;
+       }
+           
+       case BREAK: case CONTINUE: {
+           if (peekToken() == NAME) consume(NAME);
+           b.add(line, tok, string);
+           consume(SEMI);
+           break;
        }
            
-       case VAR:
+       case VAR: {
+           b.add(line, TOPSCOPE);                               // push the current scope
            while(true) {
-               if (getToken() != NAME) throw new Error("variable declarations must start with a variable name");
-               Expr name = new Expr(string);
-               Expr initVal = null;
-               tok = peekToken();
-               if (tok == ASSIGN) {
-                   skipToken();
-                   initVal = parseExpr();
-                   tok = peekToken();
+               consume(NAME);
+               String name = string;
+               b.add(line, LITERAL, name);                // push the name to be declared
+               b.add(line, DECLARE);                      // declare it
+               if (peekToken() == ASSIGN) {           // if there is an '=' after the variable name
+                   b.add(line, LITERAL, name);            // put the var name back on the stack
+                   consume(ASSIGN);
+                   startExpr(b, -1);
+                   b.add(line, PUT);
+                   b.add(line, POP);
                }
-               Expr e = new Expr(VAR, name, initVal);
-               if (head == null) head = tail = e; else tail = tail.next = e;
-               if (tok != COMMA) break;
-               skipToken();
+               if (peekToken() != COMMA) break;
+               consume(COMMA);
            }
-           return new Expr(VAR, head);
+           b.add(line, POP);
+           if ((mostRecentlyReadToken != RC || peekToken() == SEMI) && peekToken() != -1) consume(SEMI);
+           break;
+       }
            
-       case LC:
-           tok = getToken();
-           while(true) {
-               if (tok == RP) return new Expr(LC, head);
-               if (tok != NAME) throw new Error("expecting name");
-               Expr name = parseExpr();
-               if (tok != COLON) throw new Error("expecting colon");           
-               e1 = new Expr(COLON, name, parseExpr());
-               if (head == null) head = tail = e1; else tail = tail.next = e1;
-               tok = getToken();
-               if (tok != COMMA && tok != RP) throw new Error("expected right curly or comma");
-           }
+       case IF: {
+           consume(LP);
+           startExpr(b, -1);
+           consume(RP);
            
-       case LB:
-           tok = getToken();
-           while(true) {
-               if (tok == RB) return new Expr(LB, head);
-               if (head == null) head = tail = parseExpr(); else tail = tail.next = parseExpr();
-               tok = getToken();
-               if (tok != COMMA && tok != RP) throw new Error("expected right bracket or comma");
+           b.add(line, JF, new Integer(0));
+           int size = b.size();
+           parseStatement(b, null);
+           
+           if (peekToken() == ELSE) {
+               consume(ELSE);
+               b.set(size - 1, new Integer(2 + b.size() - size));
+               b.add(line, JMP, new Integer(0));
+               size = b.size();
+               parseStatement(b, null);
            }
+           b.set(size - 1, new Integer(1 + b.size() - size));
+           break;
+       }
            
-       case NAME:
-           return new Expr(string);
-    
-       case INC: case DEC: case TYPEOF:
-           return new Expr(tok, parseExpr());
+       case WHILE: {
+           consume(LP);
+           if (label != null) b.add(line, LABEL, label);
+           b.add(line, LOOP);
+           int size = b.size();
+           b.add(line, POP);
+           startExpr(b, -1);
+           b.add(line, JT, new Integer(2));
+           b.add(line, BREAK);
+           consume(RP);
+           parseStatement(b, null);
+           b.add(line, CONTINUE);                                    // if we fall out of the end, definately continue
+           b.set(size - 1, new Integer(b.size() - size + 1));  // end of the loop
+           break;
+       }
+           
+       case SWITCH: {
+           consume(LP);
+           if (label != null) b.add(line, LABEL, label);
+           b.add(line, LOOP);
+           int size0 = b.size();
+           startExpr(b, -1);
+           consume(RP);
+           consume(LC);
+           while(true)
+               if (peekToken() == CASE) {
+                   consume(CASE);
+                   b.add(line, DUP);
+                   startExpr(b, -1);
+                   consume(COLON);
+                   b.add(line, EQ);
+                   b.add(line, JF, new Integer(0));
+                   int size = b.size();
+                   while(peekToken() != CASE && peekToken() != DEFAULT && peekToken() != RC) {
+                       int size2 = b.size();
+                       parseStatement(b, null);
+                       if (size2 == b.size()) break;
+                   }
+                   b.set(size - 1, new Integer(1 + b.size() - size));
+               } else if (peekToken() == DEFAULT) {
+                   consume(DEFAULT);
+                   consume(COLON);
+                   while(peekToken() != CASE && peekToken() != DEFAULT && peekToken() != RC) {
+                       int size2 = b.size();
+                       parseStatement(b, null);
+                       if (size2 == b.size()) break;
+                   }
+               } else if (peekToken() == RC) {
+                   consume(RC);
+                   b.add(line, BREAK);
+                   break;
+               } else {
+                   throw new ParserException("expected CASE, DEFAULT, or RC; got " + codeToString[peekToken()]);
+               }
+           b.add(line, BREAK);
+           b.set(size0 - 1, new Integer(b.size() - size0 + 1));      // end of the loop
+           break;
+       }
            
-       case TRUE: case FALSE: case NOP:
-           return new Expr(tok);
+       case DO: {
+           if (label != null) b.add(line, LABEL, label);
+           b.add(line, LOOP);
+           int size = b.size();
+           parseStatement(b, null);
+           consume(WHILE);
+           consume(LP);
+           startExpr(b, -1);
+           b.add(line, JT, new Integer(2));
+           b.add(line, BREAK);
+           b.add(line, CONTINUE);
+           consume(RP);
+           consume(SEMI);
+           b.set(size - 1, new Integer(b.size() - size + 1));      // end of the loop
+           break;
+       }
            
        case TRY: {
-           // FIXME: we deliberately allow you to omit braces in catch{}/finally{} if they are single statements...
-           Expr tryBlock = parseBlock(true);
-           while ((tok = peekToken()) == CATCH)
-               if (head == null) head = tail = parseBlock(false); else tail = tail.next = parseBlock(false);
-           if (head == null) throw new Error("try without catch");
-           return new Expr(TRY, tryBlock, head, tok == FINALLY ? skipToken().parseBlock(false) : null);
-       }
+           // We deliberately allow you to omit braces in catch{}/finally{} if they are single statements...
+           b.add(line, TRY);
+           int size = b.size();
+           parseBlock(b, null);
+           b.add(line, POP);                                 // pop the TryMarker
+           b.add(line, JMP);                                 // jump forward to the end of the catch block
+           int size2 = b.size();
+           b.set(size - 1, new Integer(b.size() - size + 1));// the TRY argument points at the start of the CATCH block
            
-       case IF: case WHILE: {
-           if (getToken() != LP) throw new Error("expected left paren");
-           Expr parenExpr = parseExpr();
-           if (getToken() != RP) throw new Error("expected right paren");
-           Expr firstBlock = parseBlock(false);
-           if (tok == IF && peekToken() == ELSE) return new Expr(tok, parenExpr, firstBlock, skipToken().parseBlock(false));
-           return new Expr(tok, parenExpr, firstBlock);
-       }
-
-       case FOR:
-           // FIXME: for..in
-           if (getToken() != LP) throw new Error("expected left paren");
-           e1 = parseStatement();
-           e2 = parseStatement();
-           e3 = parseStatement();  // FIXME: this guy has to be okay with ending via a )
-           if (getToken() != RP) throw new Error("expected right paren");
-           throw new Error("not yet implemented");
-           //return new Expr(FOR, e1, e2, e3, parseBlock(false));
+           if (peekToken() == CATCH) {
+               getToken();
+               consume(LP);
+               consume(NAME);
+               consume(RP);
+               // FIXME, we need an extra scope here
+               b.add(line, TOPSCOPE);                        // the exception is on top of the stack; put it to the variable
+               b.add(line, SWAP);
+               b.add(line, LITERAL);
+               b.add(line, SWAP);
+               b.add(line, PUT);
+               b.add(line, POP);
+               b.add(line, POP);
+               parseStatement(b, null);
+           }
            
-       case DO: {
-           Expr firstBlock = parseBlock(false);
-           if (getToken() != WHILE) throw new Error("expecting WHILE");
-           if (getToken() != LP) throw new Error("expected left paren");
-           Expr whileExpr = parseExpr();
-           if (getToken() != RP) throw new Error("expected right paren");
-           if (getToken() != SEMI) throw new Error("semicolon");
-           return new Expr(DO, firstBlock, whileExpr);
+           b.set(size2 - 1, new Integer(b.size() - size2 + 1)); // jump here if no exception was thrown
+           
+           // FIXME: not implemented correctly
+           if (peekToken() == FINALLY) {
+               consume(FINALLY);
+               parseStatement(b, null);
+           }
+           break;
        }
            
-       case VOID: case RESERVED:
-           throw new Error("reserved word that you shouldn't be using");
-
-       case WITH:
-           throw new Error("WITH not yet implemented"); // FIXME
-
-       default: throw new Error("I wasn't expecting a " + tok);
+       case FOR: {
+           consume(LP);
+           
+           tok = getToken();
+           boolean hadVar = false;
+           if (tok == VAR) { hadVar = true; tok = getToken(); }
+           String varName = string;
+           boolean forIn = peekToken() == IN;
+           pushBackToken(tok, varName);
+           
+           if (forIn) {
+               // FIXME: break needs to work in here
+               consume(NAME);
+               consume(IN);
+               startExpr(b, -1);
+               b.add(line, PUSHKEYS);
+               b.add(line, LITERAL, "length");
+               b.add(line, GET);
+               consume(RP);
+               CompiledFunction b2 = new CompiledFunction(sourceName, line, null);
+                   
+               b.add(line, NEWSCOPE);
+                   
+               b.add(line, LITERAL, new Integer(1));
+               b.add(line, SUB);
+               b.add(line, DUP);
+               b.add(line, LITERAL, new Integer(0));
+               b.add(line, LT);
+               b.add(line, JT, new Integer(7));
+               b.add(line, GET_PRESERVE);
+               b.add(line, LITERAL, varName);
+               b.add(line, LITERAL, varName);
+               b.add(line, DECLARE);
+               b.add(line, PUT);
+               parseStatement(b, null);
+                   
+               b.add(line, OLDSCOPE);
+                   
+               break;
+                   
+           } else {
+               if (hadVar) pushBackToken(VAR, null);
+               b.add(line, NEWSCOPE);
+                   
+               parseStatement(b, null);
+               CompiledFunction e2 = new CompiledFunction(sourceName, line, null);
+               if (peekToken() != SEMI) {
+                   startExpr(e2, -1);
+               } else {
+                   e2.add(line, b.LITERAL, Boolean.TRUE);
+               }
+               consume(SEMI);
+               if (label != null) b.add(line, LABEL, label);
+               b.add(line, LOOP);
+               int size2 = b.size();
+                   
+               b.add(line, JT, new Integer(0));
+               int size = b.size();
+               if (peekToken() != RP) {
+                   startExpr(b, -1);
+                   b.add(line, POP);
+               }
+               b.set(size - 1, new Integer(b.size() - size + 1));
+               consume(RP);
+                   
+               b.paste(e2);
+               b.add(line, JT, new Integer(2));
+               b.add(line, BREAK);
+               parseStatement(b, null);
+               b.add(line, CONTINUE);
+               b.set(size2 - 1, new Integer(b.size() - size2 + 1));      // end of the loop
+                   
+               b.add(line, OLDSCOPE);
+               break;
+           }
        }
-    }
-       
-    // called after each parseExpr(); returns null if we can't make the expression any bigger
-    public Expr parseContinuer(Expr prefix) throws IOException {
-       Expr head = null;
-       Expr tail = null;
-       Expr e1, e2, e3;
-       Expr ret = null;
-       int tok;
-
-       // FIXME: postfix and infix operators -- need to handle precedence
-       switch (tok = getToken()) {
-
-       case BITOR: case BITXOR: case BITAND: case EQ: case NE: case LT: case LE:
-       case GT: case GE: case LSH: case RSH: case URSH: case ADD: case SUB: case MUL:
-       case DIV: case MOD: case BITNOT: case SHEQ: case SHNE: case INSTANCEOF:
-       case OR: case AND: case COMMA: case INC: case DEC:
-           throw new Error("haven't figured out how to handle postfix/infix operators yet");
-           //return new Expr(tok, prefix, (tok == INC || tok == DEC) ? null : parseExpr());
-
-       case ASSIGN:
-           throw new Error("haven't figured out how to handle postfix/infix operators yet");
-
-       case LP:
-           while(peekToken() != RP) {
-               if (head == null) head = tail = parseExpr(); else tail = tail.next = parseExpr();
-               tok = getToken();
-               if (tok == RP) break;
-               if (tok != COMMA) throw new Error("expected comma or right paren");
+               
+       case NAME: {
+           String possiblyTheLabel = string;
+           if (peekToken() == COLON) {
+               consume(COLON);
+               label = possiblyTheLabel;
+               parseStatement(b, label);
+               break;
+           } else {
+               pushBackToken(NAME, possiblyTheLabel);
+               startExpr(b, -1);
+               b.add(line, POP);
+               if ((mostRecentlyReadToken != RC || peekToken() == SEMI) && peekToken() != -1) consume(SEMI);
+               break;
            }
-           return new Expr(LP, prefix, head);
+       }
 
-       case LB:
-           e1 = parseExpr();
-           if (getToken() != RB) throw new Error("expected a right brace");
-           return new Expr(LB, prefix, e1);
-           
-       case HOOK:
-           e2 = parseExpr();
-           if (getToken() != COLON) throw new Error("expected colon to close ?: expression");
-           e3 = parseExpr();
-           return new Expr(HOOK, prefix, e2, e3);
-           
-       default:
+       case SEMI: return;
+       case LC: {
            pushBackToken();
-           return null;
+           parseBlock(b, label);
+           break;
+       }
+
+       default: {
+           pushBackToken();
+           startExpr(b, -1);
+           b.add(line, POP);
+           if ((mostRecentlyReadToken != RC || peekToken() == SEMI) && peekToken() != -1) consume(SEMI);
+           break;
+       }
        }
     }
+
+
+    // ParserException //////////////////////////////////////////////////////////////////////
+    
+    private class ParserException extends IOException { public ParserException(String s) { super(sourceName + ":" + line + " " + s); } }
     
 }