checkpoint
[sbp.git] / src / edu / berkeley / sbp / GSS.java
index 04a6310..0b6064d 100644 (file)
@@ -21,40 +21,31 @@ import java.lang.reflect.*;
 //          class is meant to remain simple and easy to understand;
 //          optimizations which obscure that do not belong here (they
 //          should go into the compiled version instead)
 //          class is meant to remain simple and easy to understand;
 //          optimizations which obscure that do not belong here (they
 //          should go into the compiled version instead)
-//
-// - most of our time is now spent creating and storing Reduct instances
-// - we should be able to perform Reduct's immediately after creating them...
-//
 
 /** implements Tomita's Graph Structured Stack */
 class GSS {
 
     public GSS() { }
 
 
 /** implements Tomita's Graph Structured Stack */
 class GSS {
 
     public GSS() { }
 
+    private Phase.Node[] reducing_list = null;
+
     /** corresponds to a positions <i>between tokens</i> the input stream; same as Tomita's U_i's */
     public class Phase {
 
         /** the token immediately after this phase */
         public  final Token token;
 
     /** corresponds to a positions <i>between tokens</i> the input stream; same as Tomita's U_i's */
     public class Phase {
 
         /** the token immediately after this phase */
         public  final Token token;
 
+        boolean reducing = false;
+
         /** currently this is necessary only for the code() hack -- it doesn't actually correspond to the input */
         private final int pos;
 
         /** FIXME */
         public  Forest.Ref finalResult = null;
 
         /** currently this is necessary only for the code() hack -- it doesn't actually correspond to the input */
         private final int pos;
 
         /** FIXME */
         public  Forest.Ref finalResult = null;
 
-        /** all reductions (pending and completed) */
-        private HashSet<Phase.Reduct> reductions = new HashSet<Phase.Reduct>();     /* ALLOC */
-        
         /** all nodes, keyed by the value returned by code() */
         private HashMap<Long,Phase.Node> hash    = new HashMap<Long,Phase.Node>();  /* ALLOC */
 
         /** all nodes, keyed by the value returned by code() */
         private HashMap<Long,Phase.Node> hash    = new HashMap<Long,Phase.Node>();  /* ALLOC */
 
-        /** the number of pending reductions */
-        private int pendingReductions = 0;
-        private int totalReductions = 0;
-        //private HashSet<Reduct> pendingReduct = new HashSet<Reduct>();
-        private LinkedList<Reduct> pendingReduct = new LinkedList<Reduct>();
-
         /** the number of nodes in this phase */
         private int numNodes = 0;
 
         /** the number of nodes in this phase */
         private int numNodes = 0;
 
@@ -91,9 +82,8 @@ class GSS {
         }
         private void newNode2(Node p, Node parent, Forest pending, Parser.Table.State state, boolean fromEmptyReduction, Phase start) {
             p.holder.merge(pending);
         }
         private void newNode2(Node p, Node parent, Forest pending, Parser.Table.State state, boolean fromEmptyReduction, Phase start) {
             p.holder.merge(pending);
-            if (p.parents.contains(parent)) return;
-            p.parents.add(parent, true);
-            if (p!=parent && !fromEmptyReduction) p.queueReductions(parent);
+            if (p.parents().contains(parent)) return;
+            p.addParent(parent, fromEmptyReduction);
         }
         private void newNode3(Node parent, Forest pending, Parser.Table.State state, boolean fromEmptyReduction, Phase start) {
             do {
         }
         private void newNode3(Node parent, Forest pending, Parser.Table.State state, boolean fromEmptyReduction, Phase start) {
             do {
@@ -103,7 +93,7 @@ class GSS {
                 int count = 0;
                 Parser.Table.Reduction r = null;
                 for(Parser.Table.Reduction red : token==null ? state.getEofReductions() : state.getReductions(token)) { r = red; count++; }
                 int count = 0;
                 Parser.Table.Reduction r = null;
                 for(Parser.Table.Reduction red : token==null ? state.getEofReductions() : state.getReductions(token)) { r = red; count++; }
-                //if (count==0) return;     // BEWARE! this optimization is suspected to cause really nasty heisenbugs
+                if (count==0) return;     // BEWARE! this optimization is suspected to cause really nasty heisenbugs
                 //if (count > 1) break;
                 //if (r.numPop == 0) break;
                 //r.reduce(pending, parent, null, Phase.this, null);
                 //if (count > 1) break;
                 //if (r.numPop == 0) break;
                 //r.reduce(pending, parent, null, Phase.this, null);
@@ -112,20 +102,24 @@ class GSS {
 
             Node n = new Node(parent, pending, state, start);  // ALLOC
             n.queueEmptyReductions();
 
             Node n = new Node(parent, pending, state, start);  // ALLOC
             n.queueEmptyReductions();
-            if (!fromEmptyReduction) n.queueReductions();
+            if (!fromEmptyReduction) n.queueReductions(parent);
         }
 
         
         }
 
         
-        boolean reducing = false;
         /** perform all reduction operations */
         public void reduce() {
             reducing = true;
         /** perform all reduction operations */
         public void reduce() {
             reducing = true;
-            HashSet<Phase.Node> s = new HashSet<Phase.Node>();
-            s.addAll(hash.values());
-            //while(pendingReduct.size()>0)
-            //pendingReduct.removeFirst().go();
-            for(Phase.Node n : s) n.queueEmptyReductions();
-            for(Phase.Node n : s) n.queueReductions();
+            if (reducing_list==null || reducing_list.length < hash.size())
+                reducing_list = new Phase.Node[hash.size() * 4];
+            Collection<Node> hv = hash.values();
+            hv.toArray(reducing_list);
+            int num = hv.size();
+            for(int i=0; i<num; i++) {
+                Node n = reducing_list[i];
+                reducing_list[i] = null;
+                n.queueEmptyReductions();
+                n.queueReductions();
+            }
         }
 
         /** perform all shift operations, adding promoted nodes to <tt>next</tt> */
         }
 
         /** perform all shift operations, adding promoted nodes to <tt>next</tt> */
@@ -153,65 +147,92 @@ class GSS {
             if (!ok && token != null) {
                 StringBuffer error = new StringBuffer();
                 error.append("error: unable to shift token \"" + token + "\"\n");
             if (!ok && token != null) {
                 StringBuffer error = new StringBuffer();
                 error.append("error: unable to shift token \"" + token + "\"\n");
-                error.append("  before: " +pendingReductions+ "\n");
-                error.append("  before: " +totalReductions+ "\n");
+                //error.append("  before: " +pendingReductions+ "\n");
+                //error.append("  before: " +totalReductions+ "\n");
                 //for(Phase.Node n : hash.values()) {
                 //n.queueReductions();
                 //n.queueEmptyReductions();
                 //}
                 //for(Phase.Node n : hash.values()) {
                 //n.queueReductions();
                 //n.queueEmptyReductions();
                 //}
-                error.append("  after: " +pendingReductions+ "\n");
-                error.append("  candidate states:\n");
-                for(Phase.Node n : hash.values()) {
+                //error.append("  after: " +pendingReductions+ "\n");
+                //error.append("  candidate states:\n");
+                //for(Phase.Node n : hash.values()) {
                     //for(Sequence.Position p : n.state) error.append("        " + p + "\n");
                     //error.append("        --\n");
                     //for(Sequence.Position p : n.state) error.append("        " + p + "\n");
                     //error.append("        --\n");
-                    for(Parser.Table.Reduction r : n.state.getReductions(token)) error.append("        " + r + "\n");
+                //for(Parser.Table.Reduction r : n.state.getReductions(token)) error.append("        " + r + "\n");
                     //error.append("        ==\n");
                     //error.append("        ==\n");
-                }
+                //}
                 next.error = error.toString();
             }
 
             // this massively improves GC performance
                 next.error = error.toString();
             }
 
             // this massively improves GC performance
-            reductions = null;
             hash = null;
         }
 
        
         // GSS Nodes //////////////////////////////////////////////////////////////////////////////
 
             hash = null;
         }
 
        
         // GSS Nodes //////////////////////////////////////////////////////////////////////////////
 
-        //private HashMap<Parser.Table.Reduction,Forest> pcache = new HashMap<Parser.Table.Reduction,Forest>();
         /** a node in the GSS */
         /** a node in the GSS */
-        public final class Node {
+        public final class Node extends FastSet<Node> {
+
+            public void addParent(Node parent, boolean fromEmptyReduction) {
+                parents().add(parent, true);
+                if (this!=parent && !fromEmptyReduction) queueReductions(parent);
+            }
 
             private Forest.Ref holder = null;
 
             private Forest.Ref holder = null;
+            private boolean allqueued = false;
 
             private HashMap<Parser.Table.Reduction,Forest> cache = null;
 
             /** the set of nodes to which there is an edge starting at this node */
 
             private HashMap<Parser.Table.Reduction,Forest> cache = null;
 
             /** the set of nodes to which there is an edge starting at this node */
-            public final FastSet<Node> parents = new FastSet<Node>();  /* ALLOC */
+            //public final FastSet<Node> parents = new FastSet<Node>();  /* ALLOC */
 
             /** what state this node is in */
             public final Parser.Table.State state;
 
             /** what state this node is in */
             public final Parser.Table.State state;
+
             /** which Phase this Node belongs to (node that Node is also a non-static inner class of Phase) */
             public final Phase phase = Phase.this;
 
             public  HashMap<Parser.Table.Reduction,Forest> cache() {
             /** which Phase this Node belongs to (node that Node is also a non-static inner class of Phase) */
             public final Phase phase = Phase.this;
 
             public  HashMap<Parser.Table.Reduction,Forest> cache() {
-                return cache==null ? (cache = new HashMap<Parser.Table.Reduction,Forest>()) : cache; }
+                return cache==null ? (cache = new HashMap<Parser.Table.Reduction,Forest>()) : cache;
+            }
             public  Forest.Ref holder() { return holder==null ? (holder = new Forest.Ref()) : holder; }
             public  Forest pending() { return Phase.this.closed ? holder().resolve() : holder; }
             public  Forest.Ref holder() { return holder==null ? (holder = new Forest.Ref()) : holder; }
             public  Forest pending() { return Phase.this.closed ? holder().resolve() : holder; }
-            public  FastSet<Node> parents() { return parents; }
+            public  FastSet<Node> parents() { return this; }
 
             /** FIXME */
             public void queueReductions() {
 
             /** FIXME */
             public void queueReductions() {
-                for(Node n2 : parents)
-                    queueReductions(n2);
+                if (allqueued) return;
+                allqueued = true;
+                int where = parents().size();
+                for(int i=0; i<where; i++) queueReductions(get(i));
             }
 
             }
 
-            private HashSet<Node> queued = new HashSet<Node>();
             /** FIXME */
             public void queueReductions(Node n2) {
             /** FIXME */
             public void queueReductions(Node n2) {
-                if (queued.contains(n2)) return;
-                queued.add(n2);
-                new Reduct(this, n2, null).go();
+                if (!allqueued) { queueReductions(); return; }
+                Node n = this;
+                for(Parser.Table.Reduction r : token==null ? n.state.getEofReductions() : n.state.getReductions(token)) {
+                    
+                    // UGLY HACK
+                    // The problem here is that a "reduction of length 1"
+                    // performed twice with different values of n2 needs
+                    // to only create a *single* new result, but must add
+                    // multiple parents to the node holding that result.
+                    // The current reducer doesn't differentiate between
+                    // the next node of an n-pop reduction and the
+                    // ultimate parent of the last pop, so we need to
+                    // cache instances here as a way of avoiding
+                    // recreating them.
+                    if (r.numPop <= 0) continue;
+                    if (r.numPop == 1) {
+                        Forest ret = n.cache().get(r);
+                        if (ret != null) r.reduce(n, n2, n.phase, ret);
+                        else n.cache().put(r, r.reduce(n, n2, n.phase, null));
+                    } else {
+                        r.reduce(n, n2, Phase.this, null);
+                    }
+                }
             }
 
 
             }
 
 
@@ -226,7 +247,7 @@ class GSS {
             private Node(Node parent, Forest pending, Parser.Table.State state, Phase start) {
                 this.state = state;
                 if (pending != null) this.holder().merge(pending);
             private Node(Node parent, Forest pending, Parser.Table.State state, Phase start) {
                 this.state = state;
                 if (pending != null) this.holder().merge(pending);
-                if (parent != null) parents.add(parent, true);
+                if (parent != null) parents().add(parent, true);
                 if (Phase.this.hash.get(code(state, start)) != null) throw new Error("severe problem!");
                 Phase.this.hash.put(code(state, start), this);
                 Phase.this.numNodes++;
                 if (Phase.this.hash.get(code(state, start)) != null) throw new Error("severe problem!");
                 Phase.this.hash.put(code(state, start), this);
                 Phase.this.numNodes++;
@@ -234,90 +255,6 @@ class GSS {
             }
         }
 
             }
         }
 
-        // Forest / Completed Reductions //////////////////////////////////////////////////////////////////////////////
-
-        /** a pending or completed reduction */
-        class Reduct {
-            
-            /** the node from which the reduction should begin */
-            public Node n = null;
-
-            /** the node on the other end of the edge to be reduced along (either: null, the second node of the reduction,
-             *  or the parent of the result of a length-one reduction)
-             */
-            public Node n2 = null;
-
-            /** true iff the reduction has already been performed */
-            private boolean done = false;
-
-            /** the reduction to be applied */
-            public Parser.Table.Reduction r;
-
-            public Tree<String> result = null;
-
-            public Reduct(Node n, Node n2, Parser.Table.Reduction r) {
-                this.n = n;
-                this.n2 = n2;
-                this.r = r;
-                if (reductions.contains(this)) { done = true; return; }
-                reductions.add(this);
-                pendingReduct.addFirst(this);
-                pendingReductions++;
-                go();
-            }
-
-            /** perform the reduction */
-            public void go() {
-                if (done) return;
-                done = true;
-                pendingReduct.remove(this);
-                pendingReductions--;
-
-                if (r==null) {
-                    for(Parser.Table.Reduction r : token==null ? n.state.getEofReductions() : n.state.getReductions(token)) {
-                        
-                        // UGLY HACK
-                        // The problem here is that a "reduction of length 1"
-                        // performed twice with different values of n2 needs
-                        // to only create a *single* new result, but must add
-                        // multiple parents to the node holding that result.
-                        // The current reducer doesn't differentiate between
-                        // the next node of an n-pop reduction and the
-                        // ultimate parent of the last pop, so we need to
-                        // cache instances here as a way of avoiding
-                        // recreating them.
-
-                        // currently we have this weird problem where we
-                        // have to do an individual reduct for each child
-                        // when the reduction length is one (ie the
-                        // children wind up being children of the newly
-                        // created node rather than part of the popped
-                        // sequence
-                        if (r.numPop <= 0) continue;
-                        if (r.numPop == 1) {
-                            Forest ret = n.cache().get(r);
-                            if (ret != null) r.reduce(n, n2, n.phase, ret);
-                            else n.cache().put(r, r.reduce(n, n2, n.phase, null));
-                        } else {
-                            r.reduce(n, n2, Phase.this, null);
-                        }
-                    }
-                } else if (r.numPop != 1) {
-                    r.reduce(n, n2, Phase.this, null);
-                }
-            }
-
-            // FIXME: this is a PITA
-            public int hashCode() { return n.hashCode() ^ (r==null ? 0 : r.hashCode()) ^ (n2==null ? 0 : n2.hashCode()); }
-            public boolean equals(Object o) {
-                if (o==null) return false;
-                if (o==this) return true;
-                if (!(o instanceof Reduct)) return false;
-                Reduct other = (Reduct)o;
-                return equal(r, other.r) && equal(n, other.n) && equal(n2, other.n2);
-            }
-        }
-
     }
 
     /** helper method */
     }
 
     /** helper method */
@@ -331,5 +268,4 @@ class GSS {
     private static long code(Parser.Table.State state, Phase start) {
         return (((long)state.idx) << 32) | (start==null ? 0 : start.pos);
     }
     private static long code(Parser.Table.State state, Phase start) {
         return (((long)state.idx) << 32) | (start==null ? 0 : start.pos);
     }
-    public boolean yak = false;
 }
 }