2004/01/03 04:27:27
[org.ibex.core.git] / src / org / xwt / js / Parser.java
index e82b408..b67b59c 100644 (file)
@@ -1,23 +1,34 @@
 // Copyright 2003 Adam Megacz, see the COPYING file for licensing [GPL]
 package org.xwt.js;
 
-// FIXME: line number accuracy
-// FIXME: scope management
-
 import org.xwt.util.*;
 import java.io.*;
 
 /**
- *  Parses a stream of lexed tokens into a tree of CompiledFunction's.
+ *  Parses a stream of lexed tokens into a tree of JSFunction's.
  *
-
- *  There are three kinds of things we parse: blocks, statements,
- *  expressions.  Expressions are a special type of statement that
- *  evaluates to a value (for example, "break" is not an expression,
- *  but "3+2" is).  AssignmentTargets are a special kind of expression
- *  that can be 'put' to (for example, "foo()" is not an
- *  assignmentTarget, but "foo[7]" is). FIXME.
-
+ *  There are three kinds of things we parse: blocks, statements, and
+ *  expressions.
+ *
+ *  - Expressions are a special type of statement that evaluates to a
+ *    value (for example, "break" is not an expression, * but "3+2"
+ *    is).  Some tokens sequences start expressions (for * example,
+ *    literal numbers) and others continue an expression which * has
+ *    already been begun (for example, '+').  Finally, some *
+ *    expressions are valid targets for an assignment operation; after
+ *    * each of these expressions, continueExprAfterAssignable() is
+ *    called * to check for an assignment operation.
+ *
+ *  - A statement ends with a semicolon and does not return a value.
+ *
+ *  - A block is a single statement or a sequence of statements
+ *    surrounded by curly braces.
+ *
+ *  Each parsing method saves the parserLine before doing its actual
+ *  work and restores it afterwards.  This ensures that parsing a
+ *  subexpression does not modify the line number until a token
+ *  *after* the subexpression has been consumed by the parent
+ *  expression.
  *
  *  Technically it would be a better design for this class to build an
  *  intermediate parse tree and use that to emit bytecode.  Here's the
@@ -62,7 +73,7 @@ class Parser extends Lexer implements ByteCodes {
 
     /** for debugging */
     public static void main(String[] s) throws Exception {
-        CompiledFunction block = new CompiledFunction("stdin", 0, new InputStreamReader(System.in), null);
+        JSFunction block = JSFunction.fromReader("stdin", 0, new InputStreamReader(System.in));
         if (block == null) return;
         System.out.println(block);
     }
@@ -72,28 +83,49 @@ class Parser extends Lexer implements ByteCodes {
 
     static byte[] precedence = new byte[MAX_TOKEN + 1];
     static boolean[] isRightAssociative = new boolean[MAX_TOKEN + 1];
+    // Use this as the precedence when we want anything up to the comma
+    private final static int NO_COMMA = 2;
     static {
-        isRightAssociative[ASSIGN] = true;
-
-        precedence[ASSIGN] = 1;
-        precedence[HOOK] = 2;
-        precedence[COMMA] = 3;
-        precedence[OR] = precedence[AND] = 4;
-        precedence[GT] = precedence[GE] = 5;
-        precedence[BITOR] = 6;
-        precedence[BITXOR] = 7;
-        precedence[BITAND] = 8;
-        precedence[EQ] = precedence[NE] = 9;
-        precedence[LT] = precedence[LE] = 10;
-        precedence[SHEQ] = precedence[SHNE] = 11;
+        isRightAssociative[ASSIGN] =
+            isRightAssociative[ASSIGN_BITOR] =
+            isRightAssociative[ASSIGN_BITXOR] =
+            isRightAssociative[ASSIGN_BITAND] =
+            isRightAssociative[ASSIGN_LSH] =
+            isRightAssociative[ASSIGN_RSH] =
+            isRightAssociative[ASSIGN_URSH] =
+            isRightAssociative[ASSIGN_ADD] =
+            isRightAssociative[ASSIGN_SUB] =
+            isRightAssociative[ASSIGN_MUL] =
+            isRightAssociative[ASSIGN_DIV] =
+            isRightAssociative[ASSIGN_MOD] = true;
+
+        precedence[COMMA] = 1;
+        // 2 is intentionally left unassigned. we use minPrecedence==2 for comma separated lists
+        precedence[ASSIGN] =
+            precedence[ASSIGN_BITOR] =
+            precedence[ASSIGN_BITXOR] =
+            precedence[ASSIGN_BITAND] =
+            precedence[ASSIGN_LSH] =
+            precedence[ASSIGN_RSH] =
+            precedence[ASSIGN_URSH] =
+            precedence[ASSIGN_ADD] =
+            precedence[ASSIGN_SUB] =
+            precedence[ASSIGN_MUL] =
+            precedence[ASSIGN_DIV] =
+            precedence[ASSIGN_MOD] = 3;
+        precedence[HOOK] = 4;
+        precedence[OR] = 5;
+        precedence[AND] = 6;
+        precedence[BITOR] = 7;
+        precedence[BITXOR] = 8;
+        precedence[BITAND] = 9;
+        precedence[EQ] = precedence[NE] = precedence[SHEQ] = precedence[SHNE] = 10;
+        precedence[LT] = precedence[LE] = precedence[GT] = precedence[GE] = 11;
         precedence[LSH] = precedence[RSH] = precedence[URSH] = 12;
-        precedence[ADD] = precedence[SUB] = 13;
-        precedence[MUL] = precedence[DIV] = precedence[MOD] = 14;
-        precedence[BITNOT] =  15;
-        precedence[INC] = precedence[DEC] = 16;
-        precedence[LP] = 17;
-        precedence[LB] = 18;
-        precedence[DOT] = 19;
+        precedence[ADD] = precedence[SUB] = 12;
+        precedence[MUL] = precedence[DIV] = precedence[MOD] = 13;
+        precedence[BITNOT] =  precedence[BANG] = precedence[TYPEOF] = 14;
+        precedence[DOT] = precedence[LB] = precedence[LP] =  precedence[INC] = precedence[DEC] = 15;
     }
 
 
@@ -101,7 +133,16 @@ class Parser extends Lexer implements ByteCodes {
 
     /** gets a token and throws an exception if it is not <tt>code</tt> */
     private void consume(int code) throws IOException {
-        if (getToken() != code) throw new ParserException("expected " + codeToString[code] + ", got " + (op == -1 ? "EOF" : codeToString[op]));
+        if (getToken() != code) {
+            if(code == NAME) switch(op) {
+                case RETURN: case TYPEOF: case BREAK: case CONTINUE: case TRY: case THROW:
+                case ASSERT: case NULL: case TRUE: case FALSE: case IN: case IF: case ELSE:
+                case SWITCH: case CASE: case DEFAULT: case WHILE: case VAR: case WITH:
+                case CATCH: case FINALLY:
+                    throw pe("Bad variable name; '" + codeToString[op].toLowerCase() + "' is a javascript keyword");
+            }
+            throw pe("expected " + codeToString[code] + ", got " + (op == -1 ? "EOF" : codeToString[op]));
+        }
     }
 
     /**
@@ -109,45 +150,61 @@ class Parser extends Lexer implements ByteCodes {
      *  of precedence below <tt>minPrecedence</tt> and append the
      *  bytecodes for that expression to <tt>appendTo</tt>; the
      *  appended bytecodes MUST grow the stack by exactly one element.
-     */
-    private void startExpr(CompiledFunction appendTo, int minPrecedence) throws IOException {
+     */ 
+    private void startExpr(JSFunction appendTo, int minPrecedence) throws IOException {
+        int saveParserLine = parserLine;
+        _startExpr(appendTo, minPrecedence);
+        parserLine = saveParserLine;
+    }
+    private void _startExpr(JSFunction appendTo, int minPrecedence) throws IOException {
         int tok = getToken();
-        CompiledFunction b = appendTo;
+        JSFunction b = appendTo;
 
         switch (tok) {
-        case -1: throw new ParserException("expected expression");
+        case -1: throw pe("expected expression");
 
         // all of these simply push values onto the stack
-        case NUMBER: b.add(line, LITERAL, number); break;
-        case STRING: b.add(line, LITERAL, string); break;
-        case THIS: b.add(line, TOPSCOPE, null); break;
-        case NULL: b.add(line, LITERAL, null); break;
-        case TRUE: case FALSE: b.add(line, LITERAL, new Boolean(tok == TRUE)); break;
+        case NUMBER: b.add(parserLine, LITERAL, number); break;
+        case STRING: b.add(parserLine, LITERAL, string); break;
+        case NULL: b.add(parserLine, LITERAL, null); break;
+        case TRUE: case FALSE: b.add(parserLine, LITERAL, JS.B(tok == TRUE)); break;
+
+        // (.foo) syntax
+        case DOT: {
+            consume(NAME);
+            b.add(parserLine, TOPSCOPE);
+            b.add(parserLine, LITERAL, "");
+            b.add(parserLine, GET);
+            b.add(parserLine, LITERAL, string);
+            b.add(parserLine, GET);
+            continueExpr(b, minPrecedence);
+            break;
+        }
 
         case LB: {
-            b.add(line, ARRAY, new Integer(0));                       // push an array onto the stack
-            int size0 = b.size();
+            b.add(parserLine, ARRAY, JS.ZERO);                       // push an array onto the stack
+            int size0 = b.size;
             int i = 0;
             if (peekToken() != RB)
-                while(true) {                                         // iterate over the initialization values
-                    int size = b.size();
+                while(true) {                                               // iterate over the initialization values
+                    int size = b.size;
+                    b.add(parserLine, LITERAL, JS.N(i++));           // push the index in the array to place it into
                     if (peekToken() == COMMA || peekToken() == RB)
-                        b.add(line, LITERAL, null);                   // for stuff like [1,,2,]
+                        b.add(parserLine, LITERAL, null);                   // for stuff like [1,,2,]
                     else
-                        startExpr(b, -1);                             // push the value onto the stack
-                    b.add(line, LITERAL, new Integer(i++));           // push the index in the array to place it into
-                    b.add(line, PUT);                                 // put it into the array
-                    b.add(line, POP);                                 // discard the value remaining on the stack
+                        startExpr(b, NO_COMMA);                             // push the value onto the stack
+                    b.add(parserLine, PUT);                                 // put it into the array
+                    b.add(parserLine, POP);                                 // discard the value remaining on the stack
                     if (peekToken() == RB) break;
                     consume(COMMA);
                 }
-            b.set(size0 - 1, new Integer(i));                         // back at the ARRAY instruction, write the size of the array
+            b.set(size0 - 1, JS.N(i));                               // back at the ARRAY instruction, write the size of the array
             consume(RB);
             break;
         }
         case SUB: {  // negative literal (like "3 * -1")
             consume(NUMBER);
-            b.add(line, LITERAL, new Double(number.doubleValue() * -1));
+            b.add(parserLine, LITERAL, JS.N(number.doubleValue() * -1));
             break;
         }
         case LP: {  // grouping (not calling)
@@ -157,26 +214,38 @@ class Parser extends Lexer implements ByteCodes {
         }
         case INC: case DEC: {  // prefix (not postfix)
             startExpr(b, precedence[tok]);
-            b.set(b.size() - 1, tok, new Boolean(true));    // FIXME, ugly; need startAssignTarget
+            int prev = b.size - 1;
+            if (b.get(prev) == GET && b.getArg(prev) != null)
+                b.set(prev, LITERAL, b.getArg(prev));
+            else if(b.get(prev) == GET)
+                b.pop();
+            else
+                throw pe("prefixed increment/decrement can only be performed on a valid assignment target");
+            b.add(parserLine, GET_PRESERVE, Boolean.TRUE);
+            b.add(parserLine, LITERAL, JS.N(1));
+            b.add(parserLine, tok == INC ? ADD : SUB, JS.N(2));
+            b.add(parserLine, PUT, null);
+            b.add(parserLine, SWAP, null);
+            b.add(parserLine, POP, null);
             break;
         }
         case BANG: case BITNOT: case TYPEOF: {
             startExpr(b, precedence[tok]);
-            b.add(line, tok);
+            b.add(parserLine, tok);
             break;
         }
         case LC: { // object constructor
-            b.add(line, OBJECT, null);                                           // put an object on the stack
+            b.add(parserLine, OBJECT, null);                                     // put an object on the stack
             if (peekToken() != RC)
                 while(true) {
                     if (peekToken() != NAME && peekToken() != STRING)
-                        throw new ParserException("expected NAME or STRING");
+                        throw pe("expected NAME or STRING");
                     getToken();
-                    b.add(line, LITERAL, string);                                // grab the key
+                    b.add(parserLine, LITERAL, string);                          // grab the key
                     consume(COLON);
-                    startExpr(b, -1);                                            // grab the value
-                    b.add(line, PUT);                                            // put the value into the object
-                    b.add(line, POP);                                            // discard the remaining value
+                    startExpr(b, NO_COMMA);                                      // grab the value
+                    b.add(parserLine, PUT);                                      // put the value into the object
+                    b.add(parserLine, POP);                                      // discard the remaining value
                     if (peekToken() == RC) break;
                     consume(COMMA);
                     if (peekToken() == RC) break;                                // we permit {,,} -- I'm not sure if ECMA does
@@ -184,85 +253,143 @@ class Parser extends Lexer implements ByteCodes {
             consume(RC);
             break;
         }
-        case NAME: {    // FIXME; this is an lvalue
-            String name = string;
-            if (peekToken() == ASSIGN) {
-                consume(ASSIGN);
-                b.add(line, TOPSCOPE);
-                b.add(line, LITERAL, name);
-                startExpr(b, minPrecedence);
-                b.add(line, PUT);
-                b.add(line, SWAP);
-                b.add(line, POP);
-            } else {
-                b.add(line, TOPSCOPE);
-                b.add(line, LITERAL, name);
-                b.add(line, GET);
-            }
+        case NAME: {
+            b.add(parserLine, TOPSCOPE);
+            b.add(parserLine, LITERAL, string);
+            continueExprAfterAssignable(b,minPrecedence);
             break;
         }
         case FUNCTION: {
             consume(LP);
             int numArgs = 0;
-            CompiledFunction b2 = new CompiledFunction(sourceName, line, null);    
-            b.add(line, NEWFUNCTION, b2);
+            JSFunction b2 = new JSFunction(sourceName, parserLine, null);
+            b.add(parserLine, NEWFUNCTION, b2);
 
             // function prelude; arguments array is already on the stack
-            b2.add(line, TOPSCOPE);                                                // push the scope onto the stack
-            b2.add(line, SWAP);                                                    // swap 'this' and 'arguments'
+            b2.add(parserLine, TOPSCOPE);
+            b2.add(parserLine, SWAP);
+            b2.add(parserLine, DECLARE, "arguments");                     // declare arguments (equivalent to 'var arguments;')
+            b2.add(parserLine, SWAP);                                     // set this.arguments and leave the value on the stack
+            b2.add(parserLine, PUT);
 
-            b2.add(line, LITERAL, "arguments");                                    // declare arguments (equivalent to 'var arguments;')
-            b2.add(line, DECLARE);
-
-            b2.add(line, LITERAL, "arguments");                                    // set this.arguments and leave the value on the stack
-            b2.add(line, SWAP);
-            b2.add(line, PUT);
-            b2.add(line, SWAP);
-            b2.add(line, POP);
-
-            while(peekToken() != RP) {                              // run through the list of argument names
+            while(peekToken() != RP) {                                    // run through the list of argument names
+                numArgs++;
                 if (peekToken() == NAME) {
-                    consume(NAME);                                  // a named argument
-                    
-                    b2.add(line, LITERAL, string);                  // declare the name
-                    b2.add(line, DECLARE);
-                    
-                    b2.add(line, LITERAL, new Integer(numArgs));    // retrieve it from the arguments array
-                    b2.add(line, GET_PRESERVE);
-                    b2.add(line, SWAP);
-                    b2.add(line, POP);
-                    
-                    b2.add(line, TOPSCOPE);                         // put it to the current scope
-                    b2.add(line, SWAP);
-                    b2.add(line, LITERAL, string);
-                    b2.add(line, SWAP);
-                    b2.add(line, PUT);
+                    consume(NAME);                                        // a named argument
+                    String varName = string;
                     
-                    b2.add(line, POP);                              // clean the stack
-                    b2.add(line, POP);
+                    b2.add(parserLine, DUP);                              // dup the args array 
+                    b2.add(parserLine, GET, JS.N(numArgs - 1));   // retrieve it from the arguments array
+                    b2.add(parserLine, TOPSCOPE);
+                    b2.add(parserLine, SWAP);
+                    b2.add(parserLine, DECLARE, varName);                  // declare the name
+                    b2.add(parserLine, SWAP);
+                    b2.add(parserLine, PUT); 
+                    b2.add(parserLine, POP);                               // pop the value
+                    b2.add(parserLine, POP);                               // pop the scope                  
                 }
                 if (peekToken() == RP) break;
                 consume(COMMA);
-                numArgs++;
             }
             consume(RP);
 
-            b2.add(line, POP);                                      // pop off the arguments array
-
-            parseStatement(b2, null);                               // the function body
+            b2.numFormalArgs = numArgs;
+            b2.add(parserLine, POP);                                      // pop off the arguments array
+            b2.add(parserLine, POP);                                      // pop off TOPSCOPE
+            
+           if(peekToken() != LC)
+                throw pe("JSFunctions must have a block surrounded by curly brackets");
+                
+            parseBlock(b2, null);                                   // the function body
 
-            b2.add(line, LITERAL, null);                            // in case we "fall out the bottom", return NULL
-            b2.add(line, RETURN);
+            b2.add(parserLine, LITERAL, null);                        // in case we "fall out the bottom", return NULL
+            b2.add(parserLine, RETURN);
 
             break;
         }
-        default: throw new ParserException("expected expression, found " + codeToString[tok] + ", which cannot start an expression");
+        default: throw pe("expected expression, found " + codeToString[tok] + ", which cannot start an expression");
         }
 
         // attempt to continue the expression
         continueExpr(b, minPrecedence);
     }
 
+
+    /**
+     *  Assuming that a complete assignable (lvalue) has just been
+     *  parsed and the object and key are on the stack,
+     *  <tt>continueExprAfterAssignable</tt> will attempt to parse an
+     *  expression that modifies the assignable.  This method always
+     *  decreases the stack depth by exactly one element.
+     */
+    private void continueExprAfterAssignable(JSFunction b,int minPrecedence) throws IOException {
+        int saveParserLine = parserLine;
+        _continueExprAfterAssignable(b,minPrecedence);
+        parserLine = saveParserLine;
+    }
+    private void _continueExprAfterAssignable(JSFunction b,int minPrecedence) throws IOException {
+        if (b == null) throw new Error("got null b; this should never happen");
+        int tok = getToken();
+        if (minPrecedence != -1 && (precedence[tok] < minPrecedence || (precedence[tok] == minPrecedence && !isRightAssociative[tok])))
+            // force the default case
+            tok = -1;
+        switch(tok) {
+        case ASSIGN_BITOR: case ASSIGN_BITXOR: case ASSIGN_BITAND: case ASSIGN_LSH: case ASSIGN_RSH: case ASSIGN_URSH:
+        case ASSIGN_MUL: case ASSIGN_DIV: case ASSIGN_MOD: case ASSIGN_ADD: case ASSIGN_SUB: {
+            b.add(parserLine, GET_PRESERVE);
+            startExpr(b,  precedence[tok]);
+            int size = b.size;
+            if (tok == ASSIGN_ADD || tok == ASSIGN_SUB) {
+                b.add(parserLine, tok);
+            }
+            // tok-1 is always s/^ASSIGN_// (0 is BITOR, 1 is ASSIGN_BITOR, etc) 
+            b.add(parserLine, tok - 1, tok-1==ADD ? JS.N(2) : null);
+            b.add(parserLine, PUT);
+            b.add(parserLine, SWAP);
+            b.add(parserLine, POP);
+            if (tok == ASSIGN_ADD || tok == ASSIGN_SUB) b.set(size, tok, JS.N(b.size - size));
+            break;
+        }
+        case INC: case DEC: { // postfix
+            b.add(parserLine, GET_PRESERVE, Boolean.TRUE);
+            b.add(parserLine, LITERAL, JS.N(1));
+            b.add(parserLine, tok == INC ? ADD : SUB, JS.N(2));
+            b.add(parserLine, PUT, null);
+            b.add(parserLine, SWAP, null);
+            b.add(parserLine, POP, null);
+            b.add(parserLine, LITERAL, JS.N(1));
+            b.add(parserLine, tok == INC ? SUB : ADD, null);   // undo what we just did, since this is postfix
+            break;
+        }
+        case ASSIGN: {
+            startExpr(b, precedence[tok]);
+            b.add(parserLine, PUT);
+            b.add(parserLine, SWAP);
+            b.add(parserLine, POP);
+            break;
+        }
+        case LP: {
+
+            // Method calls are implemented by doing a GET_PRESERVE
+            // first.  If the object supports method calls, it will
+            // return JS.METHOD
+            int n = parseArgs(b, 2);
+            b.add(parserLine, GET_PRESERVE);
+            b.add(parserLine, CALLMETHOD, JS.N(n));
+            break;
+        }
+        default: {
+            pushBackToken();
+            if(b.get(b.size-1) == LITERAL && b.getArg(b.size-1) != null)
+                b.set(b.size-1,GET,b.getArg(b.size-1));
+            else
+                b.add(parserLine, GET);
+            return;
+        }
+        }
+    }
+
+
     /**
      *  Assuming that a complete expression has just been parsed,
      *  <tt>continueExpr</tt> will attempt to extend this expression by
@@ -274,7 +401,12 @@ class Parser extends Lexer implements ByteCodes {
      *  If any bytecodes are appended, they will not alter the stack
      *  depth.
      */
-    private void continueExpr(CompiledFunction b, int minPrecedence) throws IOException {
+    private void continueExpr(JSFunction b, int minPrecedence) throws IOException {
+        int saveParserLine = parserLine;
+        _continueExpr(b, minPrecedence);
+        parserLine = saveParserLine;
+    }
+    private void _continueExpr(JSFunction b, int minPrecedence) throws IOException {
         if (b == null) throw new Error("got null b; this should never happen");
         int tok = getToken();
         if (tok == -1) return;
@@ -284,90 +416,73 @@ class Parser extends Lexer implements ByteCodes {
         }
 
         switch (tok) {
-        case ASSIGN_BITOR: case ASSIGN_BITXOR: case ASSIGN_BITAND: case ASSIGN_LSH: case ASSIGN_RSH: case ASSIGN_URSH:
-        case ASSIGN_ADD: case ASSIGN_SUB: case ASSIGN_MUL: case ASSIGN_DIV: case ASSIGN_MOD: {
-            b.set(b.size() - 1, b.GET_PRESERVE, new Boolean(true));  // FIXME should use AssignTarget
-            startExpr(b, precedence[tok - 1]);
-            b.add(line, tok - 1);
-            b.add(line, PUT);
-            b.add(line, SWAP);
-            b.add(line, POP);
-            break;
-        }
-        case INC: case DEC: { // postfix
-            b.set(b.size() - 1, tok, new Boolean(false));   // FIXME use assignmenttarget
-            break;
-        }
         case LP: {  // invocation (not grouping)
-            int i = 0;
-            while(peekToken() != RP) {
-                i++;
-                if (peekToken() != COMMA) {
-                    startExpr(b, -1);
-                    if (peekToken() == RP) break;
-                }
-                consume(COMMA);
-            }
-            consume(RP);
-            b.add(line, CALL, new Integer(i));
+            int n = parseArgs(b, 1);
+            b.add(parserLine, CALL, JS.N(n));
             break;
         }
         case BITOR: case BITXOR: case BITAND: case SHEQ: case SHNE: case LSH:
-        case RSH: case URSH: case ADD: case MUL: case DIV: case MOD:
+        case RSH: case URSH: case MUL: case DIV: case MOD:
         case GT: case GE: case EQ: case NE: case LT: case LE: case SUB: {
             startExpr(b, precedence[tok]);
-            b.add(line, tok);
+            b.add(parserLine, tok);
+            break;
+        }
+        case ADD: {
+            int count=1;
+            int nextTok;
+            do {
+                startExpr(b,precedence[tok]);
+                count++;
+                nextTok = getToken();
+            } while(nextTok == tok);
+            pushBackToken();
+            b.add(parserLine, tok, JS.N(count));
             break;
         }
         case OR: case AND: {
-            b.add(line, tok == AND ? b.JF : b.JT, new Integer(0));                     // test to see if we can short-circuit
-            int size = b.size();
-            startExpr(b, precedence[tok]);                                             // otherwise check the second value
-            b.add(line, JMP, new Integer(2));                                          // leave the second value on the stack and jump to the end
-            b.add(line, LITERAL, tok == AND ? new Boolean(false) : new Boolean(true)); // target of the short-circuit jump is here
-            b.set(size - 1, new Integer(b.size() - size));                             // write the target of the short-circuit jump
+            b.add(parserLine, tok == AND ? b.JF : b.JT, JS.ZERO);       // test to see if we can short-circuit
+            int size = b.size;
+            startExpr(b, precedence[tok]);                                     // otherwise check the second value
+            b.add(parserLine, JMP, JS.N(2));                            // leave the second value on the stack and jump to the end
+            b.add(parserLine, LITERAL, tok == AND ?
+                  JS.B(false) : JS.B(true));                     // target of the short-circuit jump is here
+            b.set(size - 1, JS.N(b.size - size));                     // write the target of the short-circuit jump
             break;
         }
-        case DOT: {  // FIXME, assigntarget
-            consume(NAME);
-            String target = string;
-            if (peekToken() == ASSIGN) {
-                consume(ASSIGN);
-                b.add(line, LITERAL, target);
-                startExpr(b, -1);
-                b.add(line, PUT);
-                b.add(line, SWAP);
-                b.add(line, POP);
+        case DOT: {
+            // support foo..bar syntax for foo[""].bar
+            if (peekToken() == DOT) {
+                string = "";
             } else {
-                b.add(line, LITERAL, target);
-                b.add(line, GET);
+                consume(NAME);
             }
+            b.add(parserLine, LITERAL, string);
+            continueExprAfterAssignable(b,minPrecedence);
             break;
         }
         case LB: { // subscripting (not array constructor)
             startExpr(b, -1);
             consume(RB);
-            if (peekToken() == ASSIGN) { // FIXME: assigntarget
-                consume(ASSIGN);
-                startExpr(b, -1);
-                b.add(line, PUT);
-                b.add(line, SWAP);
-                b.add(line, POP);
-            } else {
-                b.add(line, GET);
-            }
+            continueExprAfterAssignable(b,minPrecedence);
             break;
         }
         case HOOK: {
-            b.add(line, JF, new Integer(0));                      // jump to the if-false expression
-            int size = b.size();
-            startExpr(b, -1);                                     // write the if-true expression
-            b.add(line, JMP, new Integer(0));                     // if true, jump *over* the if-false expression     
-            b.set(size - 1, new Integer(b.size() - size + 1));    // now we know where the target of the jump is
+            b.add(parserLine, JF, JS.ZERO);                // jump to the if-false expression
+            int size = b.size;
+            startExpr(b, minPrecedence);                          // write the if-true expression
+            b.add(parserLine, JMP, JS.ZERO);               // if true, jump *over* the if-false expression     
+            b.set(size - 1, JS.N(b.size - size + 1));    // now we know where the target of the jump is
             consume(COLON);
-            size = b.size();
-            startExpr(b, -1);                                     // write the if-false expression
-            b.set(size - 1, new Integer(b.size() - size + 1));    // this is the end; jump to here
+            size = b.size;
+            startExpr(b, minPrecedence);                          // write the if-false expression
+            b.set(size - 1, JS.N(b.size - size + 1));    // this is the end; jump to here
+            break;
+        }
+        case COMMA: {
+            // pop the result of the previous expression, it is ignored
+            b.add(parserLine,POP);
+            startExpr(b,-1);
             break;
         }
         default: {
@@ -379,9 +494,31 @@ class Parser extends Lexer implements ByteCodes {
         continueExpr(b, minPrecedence);                           // try to continue the expression
     }
     
+    // parse a set of comma separated function arguments, assume LP has already been consumed
+    // if swap is true, (because the function is already on the stack) we will SWAP after each argument to keep it on top
+    private int parseArgs(JSFunction b, int pushdown) throws IOException {
+        int i = 0;
+        while(peekToken() != RP) {
+            i++;
+            if (peekToken() != COMMA) {
+                startExpr(b, NO_COMMA);
+                b.add(parserLine, SWAP, JS.N(pushdown));
+                if (peekToken() == RP) break;
+            }
+            consume(COMMA);
+        }
+        consume(RP);
+        return i;
+    }
+    
     /** Parse a block of statements which must be surrounded by LC..RC. */
-    void parseBlock(CompiledFunction b) throws IOException { parseBlock(b, null); }
-    void parseBlock(CompiledFunction b, String label) throws IOException {
+    void parseBlock(JSFunction b) throws IOException { parseBlock(b, null); }
+    void parseBlock(JSFunction b, String label) throws IOException {
+        int saveParserLine = parserLine;
+        _parseBlock(b, label);
+        parserLine = saveParserLine;
+    }
+    void _parseBlock(JSFunction b, String label) throws IOException {
         if (peekToken() == -1) return;
         else if (peekToken() != LC) parseStatement(b, null);
         else {
@@ -392,45 +529,49 @@ class Parser extends Lexer implements ByteCodes {
     }
 
     /** Parse a single statement, consuming the RC or SEMI which terminates it. */
-    void parseStatement(CompiledFunction b, String label) throws IOException {
+    void parseStatement(JSFunction b, String label) throws IOException {
+        int saveParserLine = parserLine;
+        _parseStatement(b, label);
+        parserLine = saveParserLine;
+    }
+    void _parseStatement(JSFunction b, String label) throws IOException {
         int tok = peekToken();
         if (tok == -1) return;
         switch(tok = getToken()) {
             
         case THROW: case ASSERT: case RETURN: {
             if (tok == RETURN && peekToken() == SEMI)
-                b.add(line, LITERAL, null);
+                b.add(parserLine, LITERAL, null);
             else
                 startExpr(b, -1);
-            b.add(line, tok);
+            b.add(parserLine, tok);
             consume(SEMI);
             break;
         }
         case BREAK: case CONTINUE: {
             if (peekToken() == NAME) consume(NAME);
-            b.add(line, tok, string);
+            b.add(parserLine, tok, string);
             consume(SEMI);
             break;
         }
         case VAR: {
-            b.add(line, TOPSCOPE);                         // push the current scope
+            b.add(parserLine, TOPSCOPE);                         // push the current scope
             while(true) {
                 consume(NAME);
-                String name = string;
-                b.add(line, LITERAL, name);                // push the name to be declared
-                b.add(line, DECLARE);                      // declare it
-                if (peekToken() == ASSIGN) {               // if there is an '=' after the variable name
-                    b.add(line, LITERAL, name);            // put the var name back on the stack
+                b.add(parserLine, DECLARE, string);               // declare it
+                if (peekToken() == ASSIGN) {                     // if there is an '=' after the variable name
                     consume(ASSIGN);
-                    startExpr(b, -1);
-                    b.add(line, PUT);                      // assign it
-                    b.add(line, POP);                      // clean the stack
-                }
+                    startExpr(b, NO_COMMA);
+                    b.add(parserLine, PUT);                      // assign it
+                    b.add(parserLine, POP);                      // clean the stack
+                } else {
+                    b.add(parserLine, POP);                      // pop the string pushed by declare
+                }   
                 if (peekToken() != COMMA) break;
                 consume(COMMA);
             }
-            b.add(line, POP);                              // pop off the topscope
-            if ((mostRecentlyReadToken != RC || peekToken() == SEMI) && peekToken() != -1) consume(SEMI);
+            b.add(parserLine, POP);                              // pop off the topscope
+            if ((mostRecentlyReadToken != RC || peekToken() == SEMI) && peekToken() != -1 && mostRecentlyReadToken != SEMI) consume(SEMI);
             break;
         }
         case IF: {
@@ -438,119 +579,137 @@ class Parser extends Lexer implements ByteCodes {
             startExpr(b, -1);
             consume(RP);
             
-            b.add(line, JF, new Integer(0));                    // if false, jump to the else-block
-            int size = b.size();
+            b.add(parserLine, JF, JS.ZERO);                    // if false, jump to the else-block
+            int size = b.size;
             parseStatement(b, null);
             
             if (peekToken() == ELSE) {
                 consume(ELSE);
-                b.add(line, JMP, new Integer(0));               // if we took the true-block, jump over the else-block
-                b.set(size - 1, new Integer(b.size() - size + 1));
-                size = b.size();
+                b.add(parserLine, JMP, JS.ZERO);               // if we took the true-block, jump over the else-block
+                b.set(size - 1, JS.N(b.size - size + 1));
+                size = b.size;
                 parseStatement(b, null);
             }
-            b.set(size - 1, new Integer(b.size() - size + 1));  // regardless of which branch we took, b[size] needs to point here
+            b.set(size - 1, JS.N(b.size - size + 1));        // regardless of which branch we took, b[size] needs to point here
             break;
         }
         case WHILE: {
             consume(LP);
-            if (label != null) b.add(line, LABEL, label);
-            b.add(line, LOOP);
-            int size = b.size();
-            b.add(line, POP);                                   // discard the first-iteration indicator
+            if (label != null) b.add(parserLine, LABEL, label);
+            b.add(parserLine, LOOP);
+            int size = b.size;
+            b.add(parserLine, POP);                                   // discard the first-iteration indicator
             startExpr(b, -1);
-            b.add(line, JT, new Integer(2));                    // if the while() clause is true, jump over the BREAK
-            b.add(line, BREAK);
+            b.add(parserLine, JT, JS.N(2));                    // if the while() clause is true, jump over the BREAK
+            b.add(parserLine, BREAK);
             consume(RP);
             parseStatement(b, null);
-            b.add(line, CONTINUE);                              // if we fall out of the end, definately continue
-            b.set(size - 1, new Integer(b.size() - size + 1));  // end of the loop
+            b.add(parserLine, CONTINUE);                              // if we fall out of the end, definately continue
+            b.set(size - 1, JS.N(b.size - size + 1));        // end of the loop
             break;
         }
         case SWITCH: {
             consume(LP);
-            if (label != null) b.add(line, LABEL, label);
-            b.add(line, LOOP);
-            int size0 = b.size();
+            if (label != null) b.add(parserLine, LABEL, label);
+            b.add(parserLine, LOOP);
+            int size0 = b.size;
             startExpr(b, -1);
             consume(RP);
             consume(LC);
             while(true)
-                if (peekToken() == CASE) {                   // we compile CASE statements like a bunch of if..else's
+                if (peekToken() == CASE) {                         // we compile CASE statements like a bunch of if..else's
                     consume(CASE);
-                    b.add(line, DUP);                        // duplicate the switch() value; we'll consume one copy
+                    b.add(parserLine, DUP);                        // duplicate the switch() value; we'll consume one copy
                     startExpr(b, -1);
                     consume(COLON);
-                    b.add(line, EQ);                         // check if we should do this case-block
-                    b.add(line, JF, new Integer(0));         // if not, jump to the next one
-                    int size = b.size();
+                    b.add(parserLine, EQ);                         // check if we should do this case-block
+                    b.add(parserLine, JF, JS.ZERO);         // if not, jump to the next one
+                    int size = b.size;
                     while(peekToken() != CASE && peekToken() != DEFAULT && peekToken() != RC) parseStatement(b, null);
-                    b.set(size - 1, new Integer(1 + b.size() - size));
+                    b.set(size - 1, JS.N(1 + b.size - size));
                 } else if (peekToken() == DEFAULT) {
                     consume(DEFAULT);
                     consume(COLON);
                     while(peekToken() != CASE && peekToken() != DEFAULT && peekToken() != RC) parseStatement(b, null);
                 } else if (peekToken() == RC) {
                     consume(RC);
-                    b.add(line, BREAK);                      // break out of the loop if we 'fall through'
+                    b.add(parserLine, BREAK);                      // break out of the loop if we 'fall through'
                     break;
                 } else {
-                    throw new ParserException("expected CASE, DEFAULT, or RC; got " + codeToString[peekToken()]);
+                    throw pe("expected CASE, DEFAULT, or RC; got " + codeToString[peekToken()]);
                 }
-            b.set(size0 - 1, new Integer(b.size() - size0 + 1));      // end of the loop
+            b.set(size0 - 1, JS.N(b.size - size0 + 1));      // end of the loop
             break;
         }
             
         case DO: {
-            if (label != null) b.add(line, LABEL, label);
-            b.add(line, LOOP);
-            int size = b.size();
+            if (label != null) b.add(parserLine, LABEL, label);
+            b.add(parserLine, LOOP);
+            int size = b.size;
             parseStatement(b, null);
             consume(WHILE);
             consume(LP);
             startExpr(b, -1);
-            b.add(line, JT, new Integer(2));                        // check the while() clause; jump over the BREAK if true
-            b.add(line, BREAK);
-            b.add(line, CONTINUE);
+            b.add(parserLine, JT, JS.N(2));                  // check the while() clause; jump over the BREAK if true
+            b.add(parserLine, BREAK);
+            b.add(parserLine, CONTINUE);
             consume(RP);
             consume(SEMI);
-            b.set(size - 1, new Integer(b.size() - size + 1));      // end of the loop; write this location to the LOOP instruction
+            b.set(size - 1, JS.N(b.size - size + 1));      // end of the loop; write this location to the LOOP instruction
             break;
         }
             
         case TRY: {
-            b.add(line, TRY);
-            int size = b.size();
-            parseStatement(b, null);                           // parse the expression to be TRYed
-            b.add(line, POP);                                  // pop the TryMarker
-            b.add(line, JMP);                                  // jump forward to the end of the catch block
-            int size2 = b.size();
-            b.set(size - 1, new Integer(b.size() - size + 1)); // the TRY argument points at the start of the CATCH block
+            b.add(parserLine, TRY); // try bytecode causes a TryMarker to be pushed
+            int tryInsn = b.size - 1;
+            // parse the expression to be TRYed
+            parseStatement(b, null); 
+            // pop the try  marker. this is pushed when the TRY bytecode is executed                              
+            b.add(parserLine, POP);
+            // jump forward to the end of the catch block, start of the finally block                             
+            b.add(parserLine, JMP);                                  
+            int successJMPInsn = b.size - 1;
             
+            if (peekToken() != CATCH && peekToken() != FINALLY)
+                throw pe("try without catch or finally");
+            
+            int catchJMPDistance = -1;
             if (peekToken() == CATCH) {
+                catchJMPDistance = b.size - tryInsn;
+                String exceptionVar;
                 getToken();
                 consume(LP);
                 consume(NAME);
+                exceptionVar = string;
                 consume(RP);
-                // FIXME, we need an extra scope here
-                b.add(line, TOPSCOPE);                        // the exception is on top of the stack; put it to the chosen name
-                b.add(line, SWAP);
-                b.add(line, LITERAL);
-                b.add(line, SWAP);
-                b.add(line, PUT);
-                b.add(line, POP);
-                b.add(line, POP);
+                b.add(parserLine, TOPSCOPE);                        // the exception is on top of the stack; put it to the chosen name
+                b.add(parserLine, SWAP);
+                b.add(parserLine, LITERAL,exceptionVar);
+                b.add(parserLine, SWAP);
+                b.add(parserLine, PUT);
+                b.add(parserLine, POP);
+                b.add(parserLine, POP);
                 parseStatement(b, null);
+                // pop the try and catch markers
+                b.add(parserLine,POP);
+                b.add(parserLine,POP);
             }
             
             // jump here if no exception was thrown
-            b.set(size2 - 1, new Integer(b.size() - size2 + 1)); 
-            
-            // FIXME: not implemented correctly
+            b.set(successJMPInsn, JS.N(b.size - successJMPInsn)); 
+                        
+            int finallyJMPDistance = -1;
             if (peekToken() == FINALLY) {
+                b.add(parserLine, LITERAL, null); // null FinallyData
+                finallyJMPDistance = b.size - tryInsn;
                 consume(FINALLY);
                 parseStatement(b, null);
+                b.add(parserLine,FINALLY_DONE); 
             }
+            
+            // setup the TRY arguments
+            b.set(tryInsn, new int[] { catchJMPDistance, finallyJMPDistance });
+            
             break;
         }
             
@@ -558,77 +717,77 @@ class Parser extends Lexer implements ByteCodes {
             consume(LP);
             
             tok = getToken();
-            boolean hadVar = false;                                // if it's a for..in, we ignore the VAR
+            boolean hadVar = false;                                      // if it's a for..in, we ignore the VAR
             if (tok == VAR) { hadVar = true; tok = getToken(); }
             String varName = string;
-            boolean forIn = peekToken() == IN;                     // determine if this is a for..in loop or not
+            boolean forIn = peekToken() == IN;                           // determine if this is a for..in loop or not
             pushBackToken(tok, varName);
             
             if (forIn) {
-                b.add(line, NEWSCOPE);
-                b.add(line, LITERAL, varName);                     // declare the new variable
-                b.add(line, DECLARE);
+                b.add(parserLine, NEWSCOPE);                             // for-loops always create new scopes
+                b.add(parserLine, LITERAL, varName);                     // declare the new variable
+                b.add(parserLine, DECLARE);
                     
-                b.add(line, LOOP);                                 // we actually only add this to ensure that BREAK works
-                b.add(line, POP);                                  // discard the first-iteration indicator
-                int size = b.size();
+                b.add(parserLine, LOOP);                                 // we actually only add this to ensure that BREAK works
+                b.add(parserLine, POP);                                  // discard the first-iteration indicator
+                int size = b.size;
                 consume(NAME);
                 consume(IN);
                 startExpr(b, -1);
-                b.add(line, PUSHKEYS);                             // push the keys as an array; check the length
-                b.add(line, LITERAL, "length");
-                b.add(line, GET);
+                b.add(parserLine, PUSHKEYS);                             // push the keys as an array; check the length
+                b.add(parserLine, LITERAL, "length");
+                b.add(parserLine, GET);
                 consume(RP);
                     
-                b.add(line, LITERAL, new Integer(1));              // decrement the length
-                b.add(line, SUB);
-                b.add(line, DUP);
-                b.add(line, LITERAL, new Integer(0));              // see if we've exhausted all the elements
-                b.add(line, LT);
-                b.add(line, JF, new Integer(2));
-                b.add(line, BREAK);                                // if we have, then BREAK
-                b.add(line, GET_PRESERVE);                         // get the key out of the keys array
-                b.add(line, LITERAL, varName);
-                b.add(line, PUT);                                  // write it to this[varName]                          
-                parseStatement(b, null);                           // do some stuff
-                b.add(line, CONTINUE);                             // continue if we fall out the bottom
-
-                b.set(size - 1, new Integer(b.size() - size + 1)); // BREAK to here
-                b.add(line, OLDSCOPE);                             // restore the scope
+                b.add(parserLine, LITERAL, JS.N(1));              // decrement the length
+                b.add(parserLine, SUB);
+                b.add(parserLine, DUP);
+                b.add(parserLine, LITERAL, JS.ZERO);              // see if we've exhausted all the elements
+                b.add(parserLine, LT);
+                b.add(parserLine, JF, JS.N(2));
+                b.add(parserLine, BREAK);                                // if we have, then BREAK
+                b.add(parserLine, GET_PRESERVE);                         // get the key out of the keys array
+                b.add(parserLine, LITERAL, varName);
+                b.add(parserLine, PUT);                                  // write it to this[varName]                          
+                parseStatement(b, null);                                 // do some stuff
+                b.add(parserLine, CONTINUE);                             // continue if we fall out the bottom
+
+                b.set(size - 1, JS.N(b.size - size + 1));       // BREAK to here
+                b.add(parserLine, OLDSCOPE);                             // restore the scope
                     
             } else {
-                if (hadVar) pushBackToken(VAR, null);              // yeah, this actually matters
-                b.add(line, NEWSCOPE);                             // grab a fresh scope
+                if (hadVar) pushBackToken(VAR, null);                    // yeah, this actually matters
+                b.add(parserLine, NEWSCOPE);                             // grab a fresh scope
                     
-                parseStatement(b, null);                           // initializer
-                CompiledFunction e2 =                              // we need to put the incrementor before the test
-                    new CompiledFunction(sourceName, line, null);  // so we save the test here
+                parseStatement(b, null);                                 // initializer
+                JSFunction e2 =                                    // we need to put the incrementor before the test
+                    new JSFunction(sourceName, parserLine, null);  // so we save the test here
                 if (peekToken() != SEMI)
                     startExpr(e2, -1);
                 else
-                    e2.add(line, b.LITERAL, Boolean.TRUE);         // handle the for(foo;;foo) case
+                    e2.add(parserLine, b.LITERAL, Boolean.TRUE);         // handle the for(foo;;foo) case
                 consume(SEMI);
-                if (label != null) b.add(line, LABEL, label);
-                b.add(line, LOOP);
-                int size2 = b.size();
+                if (label != null) b.add(parserLine, LABEL, label);
+                b.add(parserLine, LOOP);
+                int size2 = b.size;
                     
-                b.add(line, JT, new Integer(0));                   // if we're on the first iteration, jump over the incrementor
-                int size = b.size();
-                if (peekToken() != RP) {                           // do the increment thing
+                b.add(parserLine, JT, JS.ZERO);                   // if we're on the first iteration, jump over the incrementor
+                int size = b.size;
+                if (peekToken() != RP) {                                 // do the increment thing
                     startExpr(b, -1);
-                    b.add(line, POP);
+                    b.add(parserLine, POP);
                 }
-                b.set(size - 1, new Integer(b.size() - size + 1));
+                b.set(size - 1, JS.N(b.size - size + 1));
                 consume(RP);
                     
-                b.paste(e2);                                      // ok, *now* test if we're done yet
-                b.add(line, JT, new Integer(2));                  // break out if we don't meet the test
-                b.add(line, BREAK);
+                b.paste(e2);                                             // ok, *now* test if we're done yet
+                b.add(parserLine, JT, JS.N(2));                   // break out if we don't meet the test
+                b.add(parserLine, BREAK);
                 parseStatement(b, null);
-                b.add(line, CONTINUE);                            // if we fall out the bottom, CONTINUE
-                b.set(size2 - 1, new Integer(b.size() - size2 + 1));      // end of the loop
+                b.add(parserLine, CONTINUE);                             // if we fall out the bottom, CONTINUE
+                b.set(size2 - 1, JS.N(b.size - size2 + 1));     // end of the loop
                     
-                b.add(line, OLDSCOPE);                            // get our scope back
+                b.add(parserLine, OLDSCOPE);                             // get our scope back
             }
             break;
         }
@@ -642,25 +801,27 @@ class Parser extends Lexer implements ByteCodes {
             } else {                         // expression
                 pushBackToken(NAME, possiblyTheLabel);  
                 startExpr(b, -1);
-                b.add(line, POP);
-                if ((mostRecentlyReadToken != RC || peekToken() == SEMI) && peekToken() != -1) consume(SEMI);
+                b.add(parserLine, POP);
+                if ((mostRecentlyReadToken != RC || peekToken() == SEMI) && peekToken() != -1 && mostRecentlyReadToken != SEMI) consume(SEMI);
                 break;
             }
         }
 
-        case SEMI: return;                  // yep, the null statement is valid
+        case SEMI: return;                                               // yep, the null statement is valid
 
         case LC: {  // blocks are statements too
             pushBackToken();
+            b.add(parserLine, NEWSCOPE);
             parseBlock(b, label);
+            b.add(parserLine, OLDSCOPE);
             break;
         }
 
         default: {  // hope that it's an expression
             pushBackToken();
             startExpr(b, -1);
-            b.add(line, POP);
-            if ((mostRecentlyReadToken != RC || peekToken() == SEMI) && peekToken() != -1) consume(SEMI);
+            b.add(parserLine, POP);
+            if ((mostRecentlyReadToken != RC || peekToken() == SEMI) && peekToken() != -1 && mostRecentlyReadToken != SEMI) consume(SEMI);
             break;
         }
         }
@@ -668,8 +829,7 @@ class Parser extends Lexer implements ByteCodes {
 
 
     // ParserException //////////////////////////////////////////////////////////////////////
-    
-    private class ParserException extends IOException { public ParserException(String s) { super(sourceName + ":" + line + " " + s); } }
+    private IOException pe(String s) { return new IOException(sourceName + ":" + parserLine + " " + s); }
     
 }