src/edu/berkeley/sbp/misc/CharToken.java

   1 package edu.berkeley.sbp.misc;
   2 import java.io.*;
   3 import java.util.*;
   4 import java.lang.reflect.*;
   5 import java.lang.ref.*;
   6 import edu.berkeley.sbp.*;
   7 import edu.berkeley.sbp.Token.Location;
   8 import edu.berkeley.sbp.util.*;
   9
  10 /** an implementation of Token for streams of Java <tt>char</tt> values */
  11 public class CharToken implements IntegerMappable {
  12
  13     public static class CharToStringParser extends Parser<CharToken,String> {
  14         public CharToStringParser(Union u) { super(u, new IntegerTopology<CharToken>()); }
  15         public Forest<String> shiftToken(CharToken ct, Location loc) {
  16             return Forest.create(loc, ct.result(), null, false, false);
  17         }
  18     }
  19
  20     public static class CharRange extends Atom<CharToken> {
  21         private String esc(char c) { return StringUtil.escapify(c+"", "[]-~\\\"\'"); }
  22         private Topology<CharToken> t;
  23         public CharRange(Topology<CharToken> t) { this.t = t; }
  24         public Topology<CharToken> top() { return t; }
  25         public String toString() {
  26             StringBuffer sb = new StringBuffer();
  27             sb.append('[');
  28             Range.Set ranges = ((IntegerTopology)top()).getRanges();
  29             if (ranges.size() == -1 || ranges.size() > Character.MAX_VALUE/2) {
  30                 sb.append('~');
  31                 ranges = ranges.complement();
  32             }
  33             ranges = ranges.intersect(all);
  34             for(Range r : ranges) {
  35                 if (r.isMinNegInf() || r.isMaxPosInf()) throw new Error("should not happen");
  36                 if (r.getMin()==r.getMax()) {
  37                     sb.append(esc((char)r.getMin()));
  38                 } else{
  39                     sb.append(esc((char)r.getMin()));
  40                     sb.append('-');
  41                     sb.append(esc((char)r.getMax()));
  42                 }
  43             }
  44             sb.append(']');
  45             return sb.toString();
  46         }
  47     }
  48
  49     /** returns an element matching all characters between <tt>start</tt> and <tt>end</tt>, inclusive */
  50     public static Atom positiveRange(char start, char end) {
  51         return new CharRange(new IntegerTopology<CharToken>(new Range.Set(new Range((int)start, (int)end))));
  52     }
  53
  54     /** returns an element matching all characters <b>not</b> between <tt>start</tt> and <tt>end</tt>, inclusive */
  55     public static Atom negativeRange(char start, char end) {
  56         return new CharRange(new IntegerTopology<CharToken>(new Range.Set(new Range((int)start, (int)end)).complement().intersect(all)));
  57     }
  58
  59     public static final Atom leftBrace  = new CharRange(new IntegerTopology<CharToken>(9998)) { public String toString() { return "{"; } };
  60     public static final Atom rightBrace = new CharRange(new IntegerTopology<CharToken>(9999)) { public String toString() { return "}"; } };
  61     public static final CharToken left       = new CharToken((char)9998);
  62     public static final CharToken right      = new CharToken((char)9999);
  63
  64     private static final Range.Set all = new Range.Set(new Range(0, Character.MAX_VALUE));
  65     public  static final Atom      any = new CharRange(new IntegerTopology<CharToken>(all));
  66     public  static final Atom     none = new CharRange(new IntegerTopology<CharToken>());
  67     public static IntegerTopology<CharToken> range(Range r) { return new IntegerTopology<CharToken>(r); }
  68     public static Atom set(Range.Set r) { return new CharRange(new IntegerTopology<CharToken>(r)); }
  69
  70     /** returns an element which exactly matches the string given */
  71     public static Element string(String s) {
  72         if (s.length() == 0) return Union.epsilon;
  73         final String escapified = "\""+StringUtil.escapify(s, "\"\r\n\\")+"\"";
  74         Element ret;
  75         if (s.length() == 1) {
  76             ret =
  77                 new CharRange(new IntegerTopology<CharToken>((int)s.charAt(0))) {
  78                     public String toString() { return escapified; } };
  79         } else {
  80             Union ret2 = new Union("\""+s+"\"_str", true) {
  81                     public String toString() { return escapified; } };
  82             Element[] refs = new Element[s.length()];
  83             for(int i=0; i<refs.length; i++) refs[i] = new CharRange(new IntegerTopology<CharToken>((int)s.charAt(i)));
  84             ret2.add(Sequence.constant(refs, s, null, null));
  85             ret = ret2;
  86         }
  87         return ret;
  88     }
  89
  90     /** FIXME */
  91     public static Topology<CharToken> top() { return new IntegerTopology<CharToken>(); }
  92     public static Topology<CharToken> top(String s) throws java.text.ParseException {
  93         return new IntegerTopology<CharToken>(Range.Set.parse(s));
  94     }
  95
  96     // Private //////////////////////////////////////////////////////////////////////////////
  97
  98     public final char c;
  99     public CharToken(char c)        { this.c = c; }
 100     public String result()          { return c+""; }
 101     public String  toString()       { return "\'"+StringUtil.escapify(c+"")+"\'"; }
 102
 103     //////////////////////////////////////////////////////////////////////////////////////////
 104
 105     public int toInt() { return (int)c; }
 106
 107     public static class Stream extends CartesianInput<CharToken> {
 108         private final Reader r;
 109
 110         public Stream(String s)                { this(new StringReader(s)); }
 111         public Stream(Reader r)                { this(r, null); }
 112         public Stream(Reader r,      String s) { this.r = r; }
 113         public Stream(InputStream i)           { this(i, null); }
 114         public Stream(InputStream i, String s) { this(new InputStreamReader(i), s); }
 115
 116         boolean cr = false;
 117         public boolean   isCR() { return cr; }
 118         public CharToken next() throws IOException {
 119             cr = false;
 120             int i = r.read();
 121             if (i==-1) return null;
 122             char c = (char)i;
 123             cr = c=='\n';
 124             return new CharToken(c);
 125         }
 126     }
 127 }