src/edu/berkeley/sbp/misc/CharToken.java

   1 package edu.berkeley.sbp.misc;
   2 import java.io.*;
   3 import java.util.*;
   4 import java.lang.reflect.*;
   5 import java.lang.ref.*;
   6 import edu.berkeley.sbp.*;
   7 import edu.berkeley.sbp.Token.Location;
   8 import edu.berkeley.sbp.util.*;
   9
  10 /** an implementation of Token for streams of Java <tt>char</tt> values */
  11 public class CharToken implements IntegerMappable {
  12
  13     /** returns an element matching all characters between <tt>start</tt> and <tt>end</tt>, inclusive */
  14     public static Atom positiveRange(char start, char end) {
  15         return new CharRange(new IntegerTopology<CharToken>(new Range.Set(new Range((int)start, (int)end))));
  16     }
  17
  18     /** returns an element matching all characters <b>not</b> between <tt>start</tt> and <tt>end</tt>, inclusive */
  19     public static Atom negativeRange(char start, char end) {
  20         return new CharRange(new IntegerTopology<CharToken>(new Range.Set(new Range((int)start, (int)end)).complement().intersect(all)));
  21     }
  22
  23     public static final Atom leftBrace  = new CharRange(new IntegerTopology<CharToken>(9998)) { public String toString() { return "{"; } };
  24     public static final Atom rightBrace = new CharRange(new IntegerTopology<CharToken>(9999)) { public String toString() { return "}"; } };
  25     public static final CharToken left       = new CharToken((char)9998);
  26     public static final CharToken right      = new CharToken((char)9999);
  27
  28     static final Range.Set all = new Range.Set(new Range(0, Character.MAX_VALUE));
  29     public  static final Atom      any = new CharRange(new IntegerTopology<CharToken>(all));
  30     public  static final Atom     none = new CharRange(new IntegerTopology<CharToken>());
  31     public static IntegerTopology<CharToken> range(Range r) { return new IntegerTopology<CharToken>(r); }
  32     public static Atom set(Range.Set r) { return new CharRange(new IntegerTopology<CharToken>(r)); }
  33
  34     /** returns an element which exactly matches the string given */
  35     public static Element string(String s) {
  36         if (s.length() == 0) return Union.epsilon;
  37         final String escapified = "\""+StringUtil.escapify(s, "\"\r\n\\")+"\"";
  38         Element ret;
  39         if (s.length() == 1) {
  40             ret =
  41                 new CharRange(new IntegerTopology<CharToken>((int)s.charAt(0))) {
  42                     public String toString() { return escapified; } };
  43         } else {
  44             Union ret2 = new Union("\""+s+"\"_str", true) {
  45                     public String toString() { return escapified; } };
  46             Element[] refs = new Element[s.length()];
  47             for(int i=0; i<refs.length; i++) refs[i] = new CharRange(new IntegerTopology<CharToken>((int)s.charAt(i)));
  48             ret2.add(Sequence.constant(refs, s, null, null));
  49             ret = ret2;
  50         }
  51         return ret;
  52     }
  53
  54     /** FIXME */
  55     public static Topology<CharToken> top() { return new IntegerTopology<CharToken>(); }
  56     public static Topology<CharToken> top(String s) throws java.text.ParseException {
  57         return new IntegerTopology<CharToken>(Range.Set.parse(s));
  58     }
  59
  60     // Private //////////////////////////////////////////////////////////////////////////////
  61
  62     public final char c;
  63     public CharToken(char c)        { this.c = c; }
  64     public String result()          { return c+""; }
  65     public String  toString()       { return "\'"+StringUtil.escapify(c+"")+"\'"; }
  66
  67     //////////////////////////////////////////////////////////////////////////////////////////
  68
  69     public int toInt() { return (int)c; }
  70
  71     public static class Stream extends CartesianInput<CharToken> {
  72         private final Reader r;
  73
  74         public Stream(String s)                { this(new StringReader(s)); }
  75         public Stream(Reader r)                { this(r, null); }
  76         public Stream(Reader r,      String s) { this.r = r; }
  77         public Stream(InputStream i)           { this(i, null); }
  78         public Stream(InputStream i, String s) { this(new InputStreamReader(i), s); }
  79
  80         boolean cr = false;
  81         public boolean   isCR() { return cr; }
  82         public CharToken next() throws IOException {
  83             cr = false;
  84             int i = r.read();
  85             if (i==-1) return null;
  86             char c = (char)i;
  87             cr = c=='\n';
  88             return new CharToken(c);
  89         }
  90     }
  91 }