preliminary support for serialization of parse tables
[sbp.git] / src / edu / berkeley / sbp / Sequence.java
index f431518..d0c3dfd 100644 (file)
@@ -1,3 +1,5 @@
+// Copyright 2006-2007 all rights reserved; see LICENSE file for BSD-style license
+
 package edu.berkeley.sbp;
 import edu.berkeley.sbp.util.*;
 import edu.berkeley.sbp.*;
@@ -8,41 +10,58 @@ import java.lang.reflect.*;
 import java.lang.ref.*;
 
 /** <font color=green>juxtaposition; zero or more adjacent Elements; can specify a rewriting</font> */
-public abstract class Sequence extends Element implements Iterable<Element> {
+public abstract class Sequence implements Iterable<Element>, SequenceOrElement, Serializable {
 
-    protected final Element[] elements;
+    protected transient final Element[] elements;
 
-    final HashSet<Sequence> hated  = new HashSet<Sequence>();
+    boolean needed_or_hated = false;
+    boolean in_a_union = false;
 
     final HashSet<Sequence> needs  = new HashSet<Sequence>();
     final HashSet<Sequence> hates  = new HashSet<Sequence>();
 
-    final Position          firstp;
+    // FIXME: these are ugly -- migrate into Grammar
+    HashMap<Sequence,Boolean> canNeed = new HashMap<Sequence,Boolean>();
+    HashMap<Sequence,Boolean> canKill = new HashMap<Sequence,Boolean>();
 
-    Atom follow = null;
+    final Position firstp;
 
-    // Static Constructors //////////////////////////////////////////////////////////////////////////////
+    transient Atom follow = null;
 
-    abstract Sequence _clone();
-    Sequence dup() {
-        Sequence ret = _clone();
-        for(Sequence s : needs) { ret.needs.add(s); }
-        for(Sequence s : hates) { ret.hates.add(s); s.hated.add(ret); }
-        ret.follow = follow;
+    private static int global_sernum = 0;
+    private int sernum = global_sernum++;
+    int[] needs_int() {
+        int[] ret = new int[needs.size()];
+        int i = 0;
+        for(Sequence s : needs) ret[i++] = s.sernum;
+        return ret;
+    }
+    int[] hates_int() {
+        int[] ret = new int[hates.size()];
+        int i = 0;
+        for(Sequence s : hates) ret[i++] = s.sernum;
         return ret;
     }
 
-    /** create an empty sequence (matches the empty string) */
-    public static Sequence create() { return new Sequence.Constant.Empty(); }
+
+    // Static Constructors //////////////////////////////////////////////////////////////////////////////
 
     /** create a sequence of one element */
     public static Sequence create(Element e) { return create(new Element[] { e }, 0); }
 
     /** create a sequence which drops the result of all but one of its element */
-    public static Sequence create(Element[] e, int which) { return new Singleton(e, which); }
+    public static Sequence create(Element[] e, int which) {
+        return new Singleton(e, which); }
 
     /** create a sequence which always evaluates to a constant result  */
-    public static Sequence create(Element[] e, Object result) { return new Constant(e, result); }
+    public static Sequence create(Object result, Element[] e) {
+        return new RewritingSequence(result, e, trues(e.length)); }
+
+    private static boolean[] trues(int length) {
+        boolean[] ret = new boolean[length];
+        for(int i=0; i<ret.length; i++) ret[i] = true;
+        return ret;
+    }
 
     /**
      *  create a sequence (general form)
@@ -50,106 +69,175 @@ public abstract class Sequence extends Element implements Iterable<Element> {
      *  @param e      the elements to match
      *  @param drop   only elements of <tt>e</tt> whose corresponding <tt>boolean</tt> in <tt>drops</tt>
      *                is <i>false</i> will be included in the output tree
-     *  @param foster if true, all children of the last child (ie
-     *                grandchildren) are promoted to children of this
-     *                node; this is very useful for matching repetitions
+     *  @param lifts  which (if any) child trees to lift
      **/
-    public static Sequence create(Object head, Element[] e, boolean[] drop, boolean foster) {
-        return foster
-            ? new Unwrap(e, head, drop)
-            : new RewritingSequence(head, e, drop);
+    public static Sequence create(Object head, Element[] e, boolean[] drop) {
+        return create(head, e, drop, new boolean[e.length]); }
+    public static Sequence create(Object head, Element[] e, boolean[] drop, boolean[] lifts) {
+        if (lifts==null) lifts = new boolean[e.length];
+        return new RewritingSequence(head, e, drop, lifts);
     }
 
-    ////////////////////////////////////////////////////////////////////////////////
-
     /** return a new sequence identical to this one, but with a positive conjunct <tt>s</tt> */
-    public Sequence and(Sequence s) { Sequence ret = dup(); ret.needs.add(s); return ret; }
+    public Sequence and(Sequence s) {
+        if (s.in_a_union)
+            throw new RuntimeException("you may not use a sequence as a conjunct if it belongs to a Union");
+        Sequence ret = dup();
+        ret.needs.add(s);
+        s.needed_or_hated=true;
+        return ret;
+    }
 
     /** return a new sequence identical to this one, but with a negative conjunct <tt>s</tt> */
-    public Sequence not(Sequence s) { Sequence ret = dup(); ret.hates.add(s); s.hated.add(ret); return ret; }
+    public Sequence andnot(Sequence s) {
+        if (s.in_a_union)
+            throw new RuntimeException("you may not use a sequence as a conjunct if it belongs to a Union");
+        Sequence ret = dup();
+        ret.hates.add(s);
+        s.needed_or_hated=true;
+        return ret;
+    }
 
     /** return a new sequence identical to this one, but with a follow-set restricted to <tt>a</tt> */
     public Sequence followedBy(Atom a) { Sequence ret = dup(); ret.follow = a; return ret; }
 
+    ////////////////////////////////////////////////////////////////////////////////
+
+    abstract Sequence _clone();
+    private Sequence dup() {
+        Sequence ret = _clone();
+        for(Sequence s : needs) { ret.needs.add(s); }
+        for(Sequence s : hates) { ret.hates.add(s); }
+        ret.follow = follow;
+        return ret;
+    }
+
     Iterable<Sequence> needs() { return needs; }
     Iterable<Sequence> hates() { return hates; }
 
-    Position firstp() { return firstp; }
+    Pos firstp() { return firstp; }
+    Pos lastp() { return firstp().last(); }
 
     public Iterator<Element> iterator()    { return new ArrayIterator<Element>(elements); }
     protected Sequence(Element[] elements) {
         this.elements = elements;
-        this.firstp = new Position(0);
+        for(int i=0; i<elements.length; i++)
+            if (elements[i]==null)
+                throw new RuntimeException("cannot have nulls in a sequence: " + this);
+        this.firstp = new Position(this, 0, null);
     }
 
-    // DO NOT MESS WITH THE FOLLOWING LINE!!!
-    private Forest.Many epsilonForm = null;
-    Forest epsilonForm() {
-        if (epsilonForm!=null) return epsilonForm;
-        epsilonForm = new Forest.Many();
-        epsilonForm.merge(firstp().rewrite(null, false));
-        return epsilonForm;
-    }
+    abstract Forest epsilonForm(Input.Region loc);
 
     protected abstract <T> Forest<T> postReduce(Input.Region loc, Forest<T>[] args, Position p);
 
 
     // Position //////////////////////////////////////////////////////////////////////////////
 
-    /** the imaginary position before or after an element of a sequence; corresponds to an "LR item" */
-    class Position implements IntegerMappable {
+    static abstract class Pos implements IntegerMappable, Comparable<Pos>, Serializable {
+
+        public int ord = -1;
+        private Sequence owner;
+
+        public int ord()     { return ord; }
+
+        final Forest[] holder;
 
-        private Forest zero = null;
-        public Forest zero() {
-            if (zero != null) return zero;
-            if (pos > 0) throw new Error();
-            return zero = rewrite(null);
+        Pos(int len, Sequence owner) {
+            this.owner = owner;
+            this.holder = new Forest[len];
         }
 
+        public abstract int   provides();
+        public abstract int[] needs();
+        public abstract int[] hates();
+        public abstract boolean            owner_needed_or_hated();
+
+        public abstract boolean isFirst();
+        public abstract boolean isLast();
+        public abstract Pos last();
+        public abstract Pos prev();
+        public abstract Pos next();
+
+        /** the element which produces the sequence to which this Position belongs */
+        public Sequence owner() { return owner; }
+
+        abstract Element  element();
 
-                final int      pos;
-        private final Position next;
-                final Forest[] holder;
+        public abstract int numPops();
+        public abstract <T> Forest<T> rewrite(Input.Region loc);
+    }
+
+    /** the imaginary position before or after an element of a sequence; corresponds to an "LR item" */
+    private static class Position extends Pos implements IntegerMappable {
+        /*
+        public Pos getPos() {
+            return new DumbPos(elements.length, provides(), needs(), hates(), owner_needed_or_hated(), numPops(), 
+                public int   provides();
+                public int[] needs();
+                public int[] hates();
+                public boolean            owner_needed_or_hated();
+                public int numPops();
+                public <T> Forest<T> rewrite(Input.Region loc)
+            };
+        }
+        */
+        public int numPops() { return pos; }
+
+                final     int      pos;
+        private final     Position next;
+        private final     Position prev;
+
+        public int     provides() { return owner().sernum; }
+        public int[]   needs() { return owner().needs_int(); }
+        public int[]   hates() { return owner().hates_int(); }
+        public boolean owner_needed_or_hated() { return owner().needed_or_hated; }
         
-        private Position(int pos) {
+        private Position(Sequence owner, int pos, Position prev) {
+            super(owner.elements.length,owner);
             this.pos      = pos;
-            this.next     = pos==elements.length ? null : new Position(pos+1);
-            this.holder   = new Forest[elements.length];
+            this.next     = pos==owner.elements.length ? null : new Position(owner, pos+1, this);
+            this.prev     = prev;
         }
 
-        boolean isFirst() { return pos==0; }
+        public int compareTo(Pos p) {
+            return ord - ((Position)p).ord;
+        }
 
-        /** the element immediately after this Position, or null if this is the last Position */
-        public Element  element() { return pos>=elements.length ? null : elements[pos]; }
+        public boolean isFirst() { return pos==0; }
+        public int pos() { return pos; }
 
-        /** the element which produces the sequence to which this Position belongs */
-        public Sequence owner() { return Sequence.this; }
+        /** the element immediately after this Position, or null if this is the last Position */
+        public Element  element() { return pos>=owner().elements.length ? null : owner().elements[pos]; }
 
         /** the next Position (the Position after <tt>this.element()</tt>) */
         public Position next() { return next; }
 
         /** true iff this Position is the last one in the sequence */
         public boolean isLast() { return next()==null; }
+        public Position last() { return isLast() ? this : next().last(); }
+        public Position prev() { return prev; }
 
         // Position /////////////////////////////////////////////////////////////////////////////////
 
-        final <T> Forest<T> rewrite(Input.Region loc) { return rewrite(loc, true); }
-        private final <T> Forest<T> rewrite(Input.Region loc, boolean epsilonCheck) {
-            if (epsilonCheck && this==firstp()) return epsilonForm();
+        public final <T> Forest<T> rewrite(Input.Region loc) {
+            if (isFirst()) return owner().epsilonForm(loc);
             for(int i=0; i<pos; i++) if (holder[i]==null) throw new Error("realbad " + i);
-            for(int i=pos; i<elements.length; i++) {
-                if (holder[i]==null) holder[i] = elements[i].epsilonForm();
-                if (holder[i]==null) throw new Error("bad " + i);
+            Position p = this;
+            for(int i=pos; p!=null && p.next()!=null; p=p.next(), i++) {
+                if (holder[i]==null)
+                    holder[i] = owner().elements==null
+                        ? new Forest.Many() /* FIXME */
+                        : ((Union)owner().elements[i]).epsilonForm(loc);
+                if (holder[i]==null) throw new Error("bad");
             }
-            Forest<T> ret = Sequence.this.postReduce(loc, holder, this);
-            //for(int k=0; k<pos; k++) holder[k] = null; // to help GC
-            return ret;
+            return owner().postReduce(loc, holder, this);
         }
 
         public String   toString() {
             StringBuffer ret = new StringBuffer();
             ret.append("<{");
-            for(Position p = Sequence.this.firstp(); p != null; p = p.next()) {
+            for(Position p = (Position)owner().firstp(); p != null; p = p.next()) {
                 ret.append(' ');
                 if (p==this) ret.append(" | ");
                 if (p.element()!=null) ret.append(p.element());
@@ -163,101 +251,70 @@ public abstract class Sequence extends Element implements Iterable<Element> {
     }
     private static int master_position_idx = 0;
 
+
     // toString //////////////////////////////////////////////////////////////////////////////
 
     public String toString() { return toString(new StringBuffer(), false).toString(); }
     StringBuffer toString(StringBuffer sb) { return toString(sb, true); }
     StringBuffer toString(StringBuffer sb, boolean spacing) {
         for(int i=0; i<elements.length; i++) {
-            sb.append(elements[i].toString());
+            sb.append(elements[i]+"");
             sb.append(' ');
         }
         if (follow != null) {
             sb.append("-> ");
             sb.append(follow);
         }
+        for(Sequence s : needs) {
+            sb.append("& ");
+            sb.append(s);
+        }
+        for(Sequence s : hates) {
+            sb.append("&~ ");
+            sb.append(s);
+        }
         return sb;
     }
 
-
     // Specialized Subclasses //////////////////////////////////////////////////////////////////////////////
 
-    static class Constant extends Sequence {
-        private final Object result;
-        public Constant(Element[] e, Object result) { super(e); this.result = result; }
-        Sequence _clone() { return new Constant(elements, result); }
-        public <T> Forest<T> postReduce(Input.Region loc, Forest<T>[] args, Position p) {
-            return (Forest<T>)Forest.create(loc, result, null, false);
-        }
-        static class Drop extends Constant {
-            Sequence _clone() { return new Drop(elements); }
-            public Drop(Element[] e) { super(e, null); }
-        }
-        static class Empty extends Sequence.Constant.Drop {
-            Sequence _clone() { return new Empty(); }
-            public Empty() { super(new Element[] { }); } }
-    }
-
     static class Singleton extends Sequence {
         private final int idx;
         public Singleton(Element e) { this(new Element[] { e }, 0); }
         public Singleton(Element[] e, int idx) { super(e); this.idx = idx; }
         public <T> Forest<T> postReduce(Input.Region loc, Forest<T>[] args, Position p) { return args[idx]; }
         Sequence _clone() { return new Singleton(elements,idx); }
-    }
-
-    static class Unwrap extends Sequence {
-        private boolean[] drops;
-        private final Object tag;
-        public Unwrap(Element[] e, Object tag)                  { super(e); this.drops = null; this.tag = tag; }
-        public Unwrap(Element[] e, Object tag, boolean[] drops) { super(e); this.drops = drops; this.tag = tag; }
-        Sequence _clone() { return new Unwrap(elements, tag, drops); }
-        public <T> Forest<T> postReduce(Input.Region loc, Forest<T>[] args, Position p) {
-            for(int i=0; i<args.length; i++) if (args[i]==null) throw new Error();
-            if (drops==null) return Forest.create(loc, (T)tag, args, true);
-            int count = 0;
-            for(int i=0; i<drops.length; i++) if (!drops[i]) count++;
-            Forest<T>[] args2 = new Forest[count];
-            int j = 0;
-            for(int i=0; i<args.length; i++) if (!drops[i]) args2[j++] = args[i];
-            return Forest.create(loc, (T)tag, args2, true);
-        }
-    }
-
-
-
-    static class RegionRewritingSequence extends RewritingSequence {
-        private Functor<Input.Region, Object> tagf;
-        public RegionRewritingSequence(Functor<Input.Region,Object> tagfunctor, Element[] e, boolean[] drops) {
-            super(null, e, drops);
-            this.tagf = tagfunctor;
-        }
-        public <T> Forest<T> postReduce(Input.Region loc, Forest<T>[] args, Position p) {
-            this.tag = tagf.invoke(loc);
-            Forest<T> ret = super.postReduce(loc, args, p);
-            this.tag = null;
-            return ret;
+        Forest epsilonForm(Input.Region loc) {
+            if (elements==null) return new Forest.Many(); /* FIXME */
+            return ((Union)elements[idx]).epsilonForm(loc);
         }
     }
 
     static class RewritingSequence extends Sequence {
-        /*private*/public /*final*/ Object tag;
+        private final Object    tag;
         private final boolean[] drops;
-        private int count = 0;
+        private final boolean[] lifts;
         Sequence _clone() { return new RewritingSequence(tag, elements, drops); }
         public RewritingSequence(Object tag, Element[] e) { this(tag, e, null); }
-        public RewritingSequence(Object tag, Element[] e, boolean[] drops) {
+        public RewritingSequence(Object tag, Element[] e, boolean[] drops) { this(tag, e, drops, new boolean[e.length]); }
+        public RewritingSequence(Object tag, Element[] e, boolean[] drops, boolean[] lifts) {
             super(e);
+            if (tag==null) throw new Error();
             this.tag = tag;
             this.drops = drops == null ? new boolean[e.length] : drops;
+            int count = 0;
             for(int i=0; i<this.drops.length; i++) if (!this.drops[i]) count++;
+            this.lifts = new boolean[count];
+            int j = 0;
+            for(int i=0; i<this.drops.length; i++)
+                if (!this.drops[i])
+                    this.lifts[j++] = lifts[i];
         }
         public <T> Forest<T> postReduce(Input.Region loc, Forest<T>[] args, Position p) {
-            Forest<T>[] args2 = new Forest[count];
+            Forest<T>[] args2 = new Forest[lifts.length];
             int j = 0;
             for(int i=0; i<args.length; i++) if (!drops[i]) args2[j++] = args[i];
-            //System.out.println("reduce \""+tag+"\"");
-            return Forest.create(loc, (T)tag, args2, false);
+            return Forest.create(loc, (T)tag, args2, lifts);
         }
         public StringBuffer toString(StringBuffer sb, boolean spacing) {
             int len = sb.length();
@@ -268,6 +325,8 @@ public abstract class Sequence extends Element implements Iterable<Element> {
             if (spacing) for(int i=0; i<50-len; i++) sb.append(' ');
             return sb;
         }
+        Forest epsilonForm(Input.Region loc) {
+            return Forest.create(loc, tag, new Forest[0], lifts);
+        }
     }
-
 }