src/edu/berkeley/sbp/misc/CharToken.java

   1 package edu.berkeley.sbp.misc;
   2 import java.io.*;
   3 import java.util.*;
   4 import java.lang.reflect.*;
   5 import java.lang.ref.*;
   6 import edu.berkeley.sbp.*;
   7 import edu.berkeley.sbp.Token.Location;
   8 import edu.berkeley.sbp.util.*;
   9
  10 /** an implementation of Token for streams of Java <tt>char</tt> values */
  11 public class CharToken implements IntegerMappable {
  12
  13     public static final Atom leftBrace  = new CharRange(new IntegerTopology<CharToken>(9998)) { public String toString() { return "{"; } };
  14     public static final Atom rightBrace = new CharRange(new IntegerTopology<CharToken>(9999)) { public String toString() { return "}"; } };
  15     public static final CharToken left       = new CharToken((char)9998);
  16     public static final CharToken right      = new CharToken((char)9999);
  17
  18     static final Range.Set all = new Range.Set(new Range(0, Character.MAX_VALUE));
  19     public  static final Atom      any = new CharRange(new IntegerTopology<CharToken>(all));
  20     public  static final Atom     none = new CharRange(new IntegerTopology<CharToken>());
  21     public static IntegerTopology<CharToken> range(Range r) { return new IntegerTopology<CharToken>(r); }
  22     //public static Atom set(Range.Set r) { return new CharRange(new IntegerTopology<CharToken>(r)); }
  23
  24     // Private //////////////////////////////////////////////////////////////////////////////
  25
  26     public final char c;
  27     public CharToken(char c)        { this.c = c; }
  28     public String result()          { return c+""; }
  29     public String  toString()       { return "\'"+StringUtil.escapify(c+"")+"\'"; }
  30
  31     //////////////////////////////////////////////////////////////////////////////////////////
  32
  33     public int toInt() { return (int)c; }
  34
  35     public static class Stream extends CartesianInput<CharToken> {
  36         private final Reader r;
  37
  38         public Stream(String s)                { this(new StringReader(s)); }
  39         public Stream(Reader r)                { this(r, null); }
  40         public Stream(Reader r,      String s) { this.r = r; }
  41         public Stream(InputStream i)           { this(i, null); }
  42         public Stream(InputStream i, String s) { this(new InputStreamReader(i), s); }
  43
  44         boolean cr = false;
  45         public boolean   isCR() { return cr; }
  46         public CharToken next() throws IOException {
  47             cr = false;
  48             int i = r.read();
  49             if (i==-1) return null;
  50             char c = (char)i;
  51             cr = c=='\n';
  52             return new CharToken(c);
  53         }
  54     }
  55 }