src/org/ibex/util/BytecodePruner.java

   1 package org.ibex.util;
   2 import java.util.*;
   3 import java.io.*;
   4 import java.util.zip.*;
   5 import org.apache.bcel.*;
   6 import org.apache.bcel.generic.*;
   7 import org.apache.bcel.classfile.*;
   8 import org.apache.bcel.util.*;
   9
  10 // Reachability rules:
  11
  12 // - a constructor is reachable iff it is called
  13 // - a static method is reachable iff it is called
  14 // - a nonstatic method is reachable
  15 // - a static field is reachable iff it is referenced
  16 // - a nonstatic field is reachable iff it is referenced
  17 // - <clinit> is reachable iff any methods, static methods, fields, or constructors are reachable
  18
  19 // - if a method is reachable, all the methods it overrides are reachable
  20
  21 // try eliminating instance methods/fields if no ctor is reachable...
  22 // distinguish between overloaded forms of a given method
  23 // slim down the set of loadAllMethod() classes
  24 // field pruning?
  25
  26 // FIXME: nonstatic method invocation or field access implies that object will be constructed (ie hint)
  27
  28 public class BytecodePruner {
  29
  30     public static final boolean deleteMethods = false;
  31
  32     // FIXME
  33     public static SyntheticRepository repo = null;
  34
  35     public static HashSet dest = new HashSet();
  36
  37     public static String outdir = ".";
  38
  39     public void loadAllMethods(String classname) throws Exception {
  40         visitJavaClass(repo.loadClass(classname));
  41         Method[] meths = getMethods(repo.loadClass(classname));
  42         for(int i=0; i<meths.length; i++) visitJavaMethod(repo.loadClass(classname), meths[i]);
  43     }
  44
  45     public void loadField(String classAndMethodName) throws Exception {
  46         String classname = classAndMethodName.substring(0, classAndMethodName.lastIndexOf('.'));
  47         String methodname = classAndMethodName.substring(classAndMethodName.lastIndexOf('.') + 1);
  48         visitJavaClass(repo.loadClass(classname));
  49         Field[] meths = repo.loadClass(classname).getFields();
  50         for(int i=0; i<meths.length; i++)
  51             if (meths[i].getName().equals(methodname))
  52                 visitJavaField(meths[i]);
  53     }
  54
  55
  56     public void loadMethod(String classAndMethodName) throws Exception {
  57         String classname = classAndMethodName.substring(0, classAndMethodName.lastIndexOf('.'));
  58         String methodname = classAndMethodName.substring(classAndMethodName.lastIndexOf('.') + 1);
  59         visitJavaClass(repo.loadClass(classname));
  60         Method[] meths = getMethods(repo.loadClass(classname));
  61         for(int i=0; i<meths.length; i++)
  62             if (meths[i].getName().equals(methodname))
  63                 visitJavaMethod(repo.loadClass(classname), meths[i]);
  64     }
  65     public static void main(String[] s) throws Exception {
  66         int start = 1;
  67         if (s.length >= 3 && s[1].equals("-o")) { outdir = s[2]; start += 2; }
  68         repo = SyntheticRepository.getInstance(new ClassPath(s[0]));
  69
  70         BytecodePruner bcp = new BytecodePruner();
  71         for(int i=start; i<s.length; i++) {
  72             try {
  73                 if (s[i].endsWith(".class")) {
  74                     bcp.visitJavaClass(repo.loadClass(s[i].substring(0, s[i].length() - 6)));
  75                 } else {
  76                     JavaClass cl = repo.loadClass(s[i].substring(0, s[i].lastIndexOf('.')));;
  77                     bcp.visitJavaClass(cl);
  78                     Method[] meths = getMethods(cl);
  79                     for(int j=0; j<meths.length; j++) {
  80                         if (meths[j].getName().equals(s[i].substring(s[i].lastIndexOf('.') + 1)))
  81                             bcp.visitJavaMethod(cl, meths[j]);
  82                     }
  83                 }
  84             } catch (Exception e) {
  85                 System.out.println("WARNING: couldn't load class for " + s[i]);
  86             }
  87         }
  88
  89         System.out.println("\n\n======================================================================\n");
  90
  91         // we call start(), but the VM calls run()...
  92         bcp.loadMethod("java.lang.Thread.run");
  93         bcp.loadAllMethods("java.lang.SecurityContext");
  94         bcp.visitJavaClass(repo.loadClass("java.awt.AWTPermission"));
  95         bcp.visitJavaClass(repo.loadClass("gnu.classpath.Configuration"));
  96         bcp.loadAllMethods("java.lang.ThreadDeath");
  97
  98         bcp.loadAllMethods("java.util.Hashtable$HashIterator");
  99         bcp.loadMethod("java.util.SimpleTimeZone.useDaylightTime");
 100         /*
 101         bcp.loadAllMethods("java.lang.Throwable");
 102         bcp.loadAllMethods("java.io.PrintStream");
 103         bcp.loadAllMethods("java.util.PropertyPermission");
 104         bcp.loadAllMethods("java.security.cert.Certificate");
 105         bcp.loadAllMethods("java.security.cert.CertificateEncodingException");
 106         bcp.loadMethod("java.util.TimeZone.getAvailableIDs");
 107         bcp.loadMethod("java.util.TimeZone.getDefaultTimeZoneId");
 108         bcp.loadAllMethods("gnu.gcj.runtime.StringBuffer");
 109         bcp.loadAllMethods("gnu.gcj.runtime.VMClassLoader");
 110         bcp.visitJavaClass(repo.loadClass("gnu.gcj.runtime.JNIWeakRef"));
 111         */
 112         /*
 113         bcp.visitJavaClass(repo.loadClass("gnu.gcj.protocol.http.Handler"));
 114         bcp.visitJavaClass(repo.loadClass("gnu.gcj.protocol.file.Handler"));
 115         bcp.visitJavaClass(repo.loadClass("gnu.gcj.protocol.jar.Handler"));
 116         bcp.visitJavaClass(repo.loadClass("gnu.gcj.protocol.core.Handler"));
 117         */
 118         bcp.visitJavaClass(repo.loadClass("gnu.gcj.runtime.FinalizerThread"));
 119         bcp.visitJavaClass(repo.loadClass("gnu.gcj.runtime.FirstThread"));
 120
 121         // SecurityManager hacks to avoid java.security?
 122         // URL and all descendents?  Probably impossible.
 123         // ObjectInput/ObjectOutput?  Serialization?
 124
 125         // often called from native subclasses....
 126         bcp.loadAllMethods("org.ibex.Surface");
 127         bcp.loadAllMethods("org.ibex.Template$TemplateHelper$1");
 128         bcp.loadAllMethods("org.ibex.Surface$DoubleBufferedSurface");
 129         bcp.loadAllMethods("org.ibex.Surface$3");
 130         bcp.loadAllMethods("org.ibex.Surface$2");
 131         bcp.loadAllMethods("org.ibex.Picture");
 132         bcp.loadAllMethods("org.ibex.PixelBuffer");
 133         bcp.loadAllMethods("org.ibex.Platform");
 134         bcp.loadAllMethods("org.ibex.Scheduler");
 135         bcp.loadAllMethods("org.ibex.plat.X11");
 136         bcp.loadAllMethods("org.ibex.plat.X11$X11Picture");
 137         bcp.loadAllMethods("org.ibex.plat.X11$X11PixelBuffer");
 138         bcp.loadAllMethods("org.ibex.plat.X11$X11Surface");
 139         bcp.loadAllMethods("org.ibex.XMLRPC");
 140
 141         bcp.loadAllMethods("java.util.Date");
 142         bcp.loadAllMethods("java.text.DateFormat");
 143         bcp.loadAllMethods("java.text.NumberFormat");
 144
 145
 146         Method[] meths = getMethods(repo.loadClass("org.ibex.plat.Linux"));
 147         for(int i=0; i<meths.length; i++) {
 148             if (meths[i].getName().equals("main"))
 149                 bcp.visitJavaMethod(repo.loadClass("org.ibex.plat.Linux"), meths[i]);
 150         }
 151         System.out.println();
 152
 153         System.out.println("Dumping...");
 154
 155         StringTokenizer st = new StringTokenizer(s[0], ":");
 156         while(st.hasMoreTokens()) {
 157             ZipFile zf = new ZipFile(st.nextToken());
 158             Enumeration e = zf.entries();
 159             while(e.hasMoreElements()) {
 160                 String ss = ((ZipEntry)e.nextElement()).getName();
 161                 if (!ss.endsWith(".class")) continue;
 162                 ss = ss.substring(0, ss.length() - 6);
 163                 ss = ss.replace('/', '.');
 164                 dump(repo.loadClass(ss));
 165             }
 166         }
 167     }
 168
 169     public BytecodePruner() { }
 170
 171     public static void dump(JavaClass clazz) throws Exception {
 172         if (clazz.getClassName().startsWith("java.sql.")) return;
 173         if (!dest.contains(clazz)) return;
 174
 175         ConstantPoolGen newcpg = new ConstantPoolGen(clazz.getConstantPool());
 176         ClassGen cg = new ClassGen(clazz);
 177         InstructionFactory factory = new InstructionFactory(cg, newcpg);
 178         cg.setMajor(46);
 179         cg.setMinor(0);
 180         cg.setConstantPool(newcpg);
 181         Field[] fields = clazz.getFields();
 182         int numFields = 0;
 183         for(int i=0; i<fields.length; i++)
 184             if (!dest.contains(fields[i]) && false) {
 185                 System.out.println("  pruning " + clazz.getClassName() + "." + fields[i].getName());
 186                 fields[i] = null;
 187             } else numFields++;
 188
 189         // superprune: URLClassLoader, convert.In/Output other than needed, unneeded locales
 190         // reflective metadata is killing us...
 191
 192         Method[] methods = getMethods(clazz);
 193         int numMethods = 0;
 194         boolean good = false;
 195         for(int i=0; i<methods.length; i++)
 196             if (clazz.getClassName().startsWith("gnu.gcj.runtime.")
 197                 || clazz.getClassName().startsWith("java.io.FileDescriptor")
 198                 || clazz.getClassName().startsWith("org.ibex.")
 199                 || clazz.getClassName().startsWith("java.lang.")) {
 200                 good = true;
 201             } else if (dest.contains(methods[i])) {
 202                 if (!methods[i].getName().equals("<clinit>")) good = true;
 203             } else {
 204                 if (methods[i].getCode() == null) {
 205                     System.out.println("  empty codeblock: " + clazz.getClassName() + "." + methods[i].getName());
 206                 } else {
 207                     System.out.println("  pruning " + clazz.getClassName() + "." + methods[i].getName());
 208                     if (!deleteMethods) {
 209                         MethodGen mg = new MethodGen(methods[i], clazz.getClassName(), newcpg);
 210                         mg.removeExceptions();
 211                         InstructionList il = new InstructionList();
 212                         mg.setInstructionList(il);
 213
 214                         InstructionHandle ih_0 = il.append(factory.createNew("java.lang.UnsatisfiedLinkError"));
 215                         il.append(InstructionConstants.DUP);
 216                         il.append(factory.createInvoke("java.lang.UnsatisfiedLinkError",
 217                                                        "<init>", Type.VOID, Type.NO_ARGS, Constants.INVOKESPECIAL));
 218                         il.append(InstructionConstants.ATHROW);
 219
 220                         mg.setMaxStack();
 221                         mg.setMaxLocals();
 222                         mg.removeExceptions();
 223                         mg.removeLocalVariables();
 224                         mg.removeExceptionHandlers();
 225                         mg.removeLineNumbers();
 226
 227                         cg.replaceMethod(methods[i], mg.getMethod());
 228                         il.dispose();
 229                     } else {
 230                         cg.removeMethod(methods[i]);
 231                     }
 232                 }
 233             }
 234         if ((clazz.getClassName().startsWith("gnu.java.locale.LocaleInformation") &&
 235              !clazz.getClassName().endsWith("LocaleInformation_en") &&
 236              !clazz.getClassName().endsWith("LocaleInformation") &&
 237              !clazz.getClassName().endsWith("LocaleInformation_en_US"))
 238             ||
 239             ((clazz.getClassName().startsWith("gnu.gcj.convert.Input_") ||
 240               clazz.getClassName().startsWith("gnu.gcj.convert.Output_")) &&
 241              !(clazz.getClassName().endsWith("ASCII") ||
 242                clazz.getClassName().endsWith("UTF8") ||
 243                clazz.getClassName().endsWith("iconv") ||
 244                clazz.getClassName().endsWith("8859_1")))
 245             ||
 246             (!good &&
 247              !clazz.isInterface() &&
 248              !clazz.isAbstract() &&
 249              !clazz.getClassName().startsWith("java.io.") &&
 250              !clazz.getClassName().startsWith("java.lang.") &&
 251              !clazz.getClassName().startsWith("gnu.") &&
 252              !clazz.getClassName().endsWith("Error") &&
 253              !clazz.getClassName().endsWith("Exception") &&
 254              !clazz.getClassName().endsWith("Permission"))) {
 255
 256             //System.out.println("DROPPING " + clazz.getClassName());
 257             //return;
 258         }
 259         new File(outdir + "/" + new File(clazz.getClassName().replace('.', '/')).getParent()).mkdirs();
 260         System.out.println("dumping " + clazz.getClassName());
 261         cg.getJavaClass().dump(outdir + "/" + clazz.getClassName().replace('.', '/') + ".class");
 262     }
 263
 264     public JavaClass sig2class(String sig) throws Exception {
 265         if (sig == null) return null;
 266         while (sig.length() > 0 && (sig.charAt(0) == 'L' || sig.charAt(0) == '[')) {
 267             if (sig.charAt(0) == 'L') sig = sig.substring(1, sig.length() - 1);
 268             else if (sig.charAt(0) == '[') sig = sig.substring(1, sig.length());
 269         }
 270         if (sig.length() <= 1) return null;
 271         if (sig.equals("<null object>")) return null;
 272         if (sig.startsWith("<return address")) return null;
 273         return repo.loadClass(sig);
 274     }
 275     public void load(String sig) throws Exception {
 276         if (sig == null) return;
 277         while (sig.length() > 0 && (sig.charAt(0) == 'L' || sig.charAt(0) == '[')) {
 278             if (sig.charAt(0) == 'L') sig = sig.substring(1, sig.length() - 1);
 279             else if (sig.charAt(0) == '[') sig = sig.substring(1, sig.length());
 280         }
 281         if (sig.length() <= 1) return;
 282         if (sig.equals("<null object>")) return;
 283         if (sig.startsWith("<return address")) return;
 284         visitJavaClass(repo.loadClass(sig));
 285     }
 286     public void load(Type t) throws Exception {
 287         if (t == null) return;
 288         //String sig = t.getSignature();
 289         if (t instanceof ArrayType) load(((ArrayType)t).getElementType());
 290         if (!(t instanceof ObjectType)) return;
 291         load(((ObjectType)t).getClassName());
 292     }
 293
 294     // hashtable of hashsets
 295     public static Hashtable subclasses = new Hashtable();
 296
 297     public String getMethodSignature(Method m, ConstantPoolGen cpg) throws Exception {
 298         return m.getName() + m.getSignature();
 299     }
 300
 301     public String getMethodSignature(InvokeInstruction ii, ConstantPoolGen cpg) throws Exception {
 302         String sig = "";
 303         Type[] argtypes = ii.getArgumentTypes(cpg);
 304         for(int j=0; j<argtypes.length; j++) sig += argtypes[j].getSignature();
 305         return ii.getMethodName(cpg) + "(" + sig + ")" + ii.getReturnType(cpg).getSignature();
 306     }
 307
 308     public static int level = 0;
 309     public void visitJavaMethod(JavaClass jc, Method method) throws Exception {
 310         visitJavaClass(jc);
 311         if (jc.getClassName().equals("java.util.Date") && method.getName().equals("readObject")) return;
 312         //if (jc.getClassName().equals("java.net.URLClassLoader")) return;
 313         if (jc.getClassName().indexOf("SharedLib") != -1) return;
 314         if (jc.getClassName().indexOf("Datagram") != -1) return;
 315         if (dest.contains(method)) return;
 316         dest.add(method);
 317         level += 2;
 318         for(int i=0; i<level; i++) System.out.print(" ");
 319         ConstantPoolGen cpg = new ConstantPoolGen(method.getConstantPool());
 320         System.out.println(jc.getClassName() + "." + getMethodSignature(method, cpg));
 321         markMethodInSubclasses(jc, method, cpg);
 322         if (method.getCode() == null) { level -= 2; return; }
 323         byte[] code = method.getCode().getCode();
 324         InstructionList il = new InstructionList(code);
 325         Instruction[] instructions = il.getInstructions();
 326         for(int i=0; i<instructions.length; i++){
 327             Instruction instr = instructions[i];
 328             if (instr instanceof LoadClass) load(((LoadClass)instr).getLoadClassType(cpg));
 329             if (instr instanceof CPInstruction) load(((CPInstruction)instr).getType(cpg));
 330             if (instr instanceof InvokeInstruction) {
 331                 InvokeInstruction ii = (InvokeInstruction)instr;
 332                 String ii_sig = getMethodSignature(ii, cpg);
 333                 JavaClass c = sig2class(ii.getLoadClassType(cpg).getSignature());
 334                 load(ii.getReturnType(cpg));
 335                 load(ii.getType(cpg));
 336                 Method[] meths = getMethods(c);
 337                 boolean good = false;
 338                 for(int i2=0; i2<meths.length; i2++) {
 339                     if (getMethodSignature(meths[i2], cpg).equals(ii_sig)) {
 340                         visitJavaMethod(c, meths[i2]);
 341                         good = true;
 342                         break;
 343                     }
 344                 }
 345                 if (!good) throw new Exception("couldn't find method " + getMethodSignature(ii, cpg) + " in " + c.getClassName());
 346             }
 347         }
 348         level -= 2;
 349         load(method.getReturnType());
 350         Type[] argtypes = method.getArgumentTypes();
 351         for(int i=0; i<argtypes.length; i++) load(argtypes[i]);
 352         if (method.getExceptionTable() != null) {
 353             String[] exntypes = method.getExceptionTable().getExceptionNames();
 354             for(int i=0; i<exntypes.length; i++) load(exntypes[i]);
 355         }
 356     }
 357
 358     public void visitJavaField(Field field) throws Exception {
 359         if (dest.contains(field)) return;
 360         dest.add(field);
 361         load(field.getType());
 362     }
 363
 364     public void visitJavaClass(JavaClass clazz) throws Exception {
 365         /*
 366         if (clazz.getClassName().startsWith("java.security.") &&
 367             !clazz.getClassName().equals("java.security.cert.Certificate")) return;
 368         */
 369         if (dest.contains(clazz)) return;
 370         dest.add(clazz);
 371
 372         ConstantPoolGen cpg = new ConstantPoolGen(clazz.getConstantPool());
 373         String name = clazz.getClassName();
 374         System.out.println(clazz.getClassName() + ".class");
 375
 376         JavaClass superclass = clazz.getSuperClass();
 377         JavaClass[] interfaces = clazz.getAllInterfaces();
 378         for(JavaClass sup = superclass; sup != null; sup = sup.getSuperClass()) {
 379             if (subclasses.get(sup) == null) subclasses.put(sup, new HashSet());
 380             ((HashSet)subclasses.get(sup)).add(clazz);
 381         }
 382         for(int i=0; i<interfaces.length; i++) {
 383             if (subclasses.get(interfaces[i]) == null) subclasses.put(interfaces[i], new HashSet());
 384             ((HashSet)subclasses.get(interfaces[i])).add(clazz);
 385         }
 386
 387         if (clazz.getClassName().startsWith("org.ibex."))
 388             loadAllMethods(clazz.getClassName());
 389
 390         for(JavaClass sup = superclass; sup != null; sup = sup.getSuperClass()) {
 391             visitJavaClass(sup);
 392             remarkMethods(sup, clazz, cpg);
 393         }
 394         for(int i=0; i<interfaces.length; i++) {
 395             visitJavaClass(interfaces[i]);
 396             remarkMethods(interfaces[i], clazz, cpg);
 397         }
 398
 399         Field[] fields = clazz.getFields();
 400         Method[] methods = getMethods(clazz);
 401         for(int i=0; i<fields.length; i++) visitJavaField(fields[i]);
 402         for(int i=0; i<methods.length; i++) {
 403             if (methods[i].getName().equals("<clinit>")) visitJavaMethod(clazz, methods[i]);
 404
 405             // only if ctor reachable (?)
 406             if (methods[i].getName().equals("equals")) visitJavaMethod(clazz, methods[i]);
 407             if (methods[i].getName().equals("hashCode")) visitJavaMethod(clazz, methods[i]);
 408             if (methods[i].getName().equals("finalize")) visitJavaMethod(clazz, methods[i]);
 409             if (methods[i].getName().equals("clone")) visitJavaMethod(clazz, methods[i]);
 410             if (methods[i].getName().equals("toString")) visitJavaMethod(clazz, methods[i]);
 411         }
 412     }
 413
 414     public void markMethodInSubclasses(JavaClass c, Method m, JavaClass subclass, ConstantPoolGen cpg) throws Exception {
 415         if (m.isStatic()) return;
 416         String sig = getMethodSignature(m, cpg);
 417         Method[] submethods = getMethods(subclass);
 418         for(int j=0; j<submethods.length; j++)
 419             if (getMethodSignature(submethods[j], cpg).equals(sig))
 420                 visitJavaMethod(subclass, submethods[j]);
 421     }
 422     public void markMethodInSubclasses(JavaClass c, Method m, ConstantPoolGen cpg) throws Exception {
 423         if (m.isStatic()) return;
 424         HashSet s = (HashSet)subclasses.get(c);
 425         if (s == null) return;
 426         Object[] subclasses = s.toArray();
 427         for(int i=0; i<subclasses.length; i++) {
 428             JavaClass subclass = (JavaClass)subclasses[i];
 429             for(int j=0; j<level; j++) System.out.print(" ");
 430             System.out.println("  [subclass " + subclass.getClassName() + "]");
 431             if (subclass == c) return;
 432             markMethodInSubclasses(c, m, subclass, cpg);
 433         }
 434     }
 435
 436     public void remarkMethods(JavaClass c, ConstantPoolGen cpg) throws Exception {
 437         Method[] meths =getMethods(c);
 438         for(int j=0; j<meths.length; j++) if (dest.contains(meths[j])) markMethodInSubclasses(c, meths[j], cpg);
 439     }
 440
 441     public void remarkMethods(JavaClass c, JavaClass target, ConstantPoolGen cpg) throws Exception {
 442         Method[] meths = getMethods(c);
 443         for(int j=0; j<meths.length; j++) if (dest.contains(meths[j])) markMethodInSubclasses(c, meths[j], target, cpg);
 444     }
 445
 446     public static Hashtable methodsHashtable = new Hashtable();
 447     public static Method[] getMethods(JavaClass c) {
 448         Method[] ret = (Method[])methodsHashtable.get(c);
 449         if (ret == null) methodsHashtable.put(c, ret = c.getMethods());
 450         return ret;
 451     }
 452
 453 }