working
[org.ibex.core.git] / src / org / ibex / util / BytecodePruner.java
index f5dea9d..eb162ff 100644 (file)
@@ -7,21 +7,11 @@ import org.apache.bcel.generic.*;
 import org.apache.bcel.classfile.*;
 import org.apache.bcel.util.*;
 
-// Reachability rules:
-
-// - a constructor is reachable iff it is called
-// - a static method is reachable iff it is called
-// - a nonstatic method is reachable 
-// - a static field is reachable iff it is referenced
-// - a nonstatic field is reachable iff it is referenced
-// - <clinit> is reachable iff any methods, static methods, fields, or constructors are reachable
-
-// - if a method is reachable, all the methods it overrides are reachable
-
-// FIXME: nonstatic method invocation or field access implies that object will be constructed (ie hint)
-
+// Field pruning
 public class BytecodePruner {
 
+    public static final boolean deleteMethods = false;
+
     // FIXME
     public static SyntheticRepository repo = null;
 
@@ -31,14 +21,26 @@ public class BytecodePruner {
 
     public void loadAllMethods(String classname) throws Exception {
         visitJavaClass(repo.loadClass(classname));
-        Method[] meths = repo.loadClass(classname).getMethods();
+        Method[] meths = getMethods(repo.loadClass(classname));
         for(int i=0; i<meths.length; i++) visitJavaMethod(repo.loadClass(classname), meths[i]);
     }
+
+    public void loadField(String classAndMethodName) throws Exception {
+        String classname = classAndMethodName.substring(0, classAndMethodName.lastIndexOf('.'));
+        String methodname = classAndMethodName.substring(classAndMethodName.lastIndexOf('.') + 1);
+        visitJavaClass(repo.loadClass(classname));
+        Field[] meths = repo.loadClass(classname).getFields();
+        for(int i=0; i<meths.length; i++)
+            if (meths[i].getName().equals(methodname))
+                visitJavaField(meths[i]);
+    }
+    
+
     public void loadMethod(String classAndMethodName) throws Exception {
         String classname = classAndMethodName.substring(0, classAndMethodName.lastIndexOf('.'));
         String methodname = classAndMethodName.substring(classAndMethodName.lastIndexOf('.') + 1);
         visitJavaClass(repo.loadClass(classname));
-        Method[] meths = repo.loadClass(classname).getMethods();
+        Method[] meths = getMethods(repo.loadClass(classname));
         for(int i=0; i<meths.length; i++)
             if (meths[i].getName().equals(methodname))
                 visitJavaMethod(repo.loadClass(classname), meths[i]);
@@ -47,8 +49,8 @@ public class BytecodePruner {
         int start = 1;
         if (s.length >= 3 && s[1].equals("-o")) { outdir = s[2]; start += 2; }
         repo = SyntheticRepository.getInstance(new ClassPath(s[0]));
-        BytecodePruner bcp = new BytecodePruner();
 
+        BytecodePruner bcp = new BytecodePruner();
         for(int i=start; i<s.length; i++) {
             try {
                 if (s[i].endsWith(".class")) {
@@ -56,7 +58,7 @@ public class BytecodePruner {
                 } else {
                     JavaClass cl = repo.loadClass(s[i].substring(0, s[i].lastIndexOf('.')));;
                     bcp.visitJavaClass(cl);
-                    Method[] meths = cl.getMethods();
+                    Method[] meths = getMethods(cl);
                     for(int j=0; j<meths.length; j++) {
                         if (meths[j].getName().equals(s[i].substring(s[i].lastIndexOf('.') + 1)))
                             bcp.visitJavaMethod(cl, meths[j]);
@@ -66,39 +68,43 @@ public class BytecodePruner {
                 System.out.println("WARNING: couldn't load class for " + s[i]);
             }
         }
+
         System.out.println("\n\n======================================================================\n");
 
         // we call start(), but the VM calls run()...
         bcp.loadMethod("java.lang.Thread.run");
-
-        bcp.loadAllMethods("java.lang.Throwable");
-        bcp.loadAllMethods("java.io.PrintStream");
-        bcp.loadAllMethods("gnu.gcj.runtime.StringBuffer");
-        bcp.loadAllMethods("java.security.cert.Certificate");
-
-        bcp.loadMethod("java.util.SimpleTimeZone.useDaylightTime");
-        bcp.loadMethod("java.util.TimeZone.getAvailableIDs");
-        bcp.loadMethod("java.util.TimeZone.getDefaultTimeZoneId");
-        bcp.loadMethod("java.util.Collections$SynchronizedIterator.hasNext");
-        bcp.loadMethod("java.util.Hashtable$HashIterator.hasNext");
-
-        bcp.visitJavaClass(repo.loadClass("java.util.Stack"));
+        bcp.loadAllMethods("java.lang.SecurityContext");
+        bcp.visitJavaClass(repo.loadClass("java.awt.AWTPermission"));
         bcp.visitJavaClass(repo.loadClass("gnu.classpath.Configuration"));
-        bcp.visitJavaClass(repo.loadClass("gnu.gcj.runtime.JNIWeakRef"));
+        bcp.loadAllMethods("java.lang.ThreadDeath");
 
-        bcp.visitJavaClass(repo.loadClass("gnu.gcj.protocol.http.Handler"));
-        bcp.visitJavaClass(repo.loadClass("gnu.gcj.protocol.file.Handler"));
-        bcp.visitJavaClass(repo.loadClass("gnu.gcj.protocol.jar.Handler"));
-        bcp.visitJavaClass(repo.loadClass("gnu.gcj.protocol.core.Handler"));
+        bcp.loadAllMethods("java.util.Hashtable$HashIterator");
+        bcp.loadMethod("java.util.SimpleTimeZone.useDaylightTime");
         bcp.visitJavaClass(repo.loadClass("gnu.gcj.runtime.FinalizerThread"));
         bcp.visitJavaClass(repo.loadClass("gnu.gcj.runtime.FirstThread"));
 
-        // SecurityManager hacks to avoid java.security?
-        // URL and all descendents?  Probably impossible.
-        // ObjectInput/ObjectOutput?  Serialization?
-
+        /*
+        bcp.loadAllMethods("gnu.gcj.protocol.http.Handler");
+        bcp.loadAllMethods("gnu.gcj.protocol.file.Handler");
+        bcp.loadAllMethods("gnu.gcj.protocol.core.Handler");
+        bcp.loadAllMethods("gnu.gcj.protocol.jar.Handler");
+        bcp.loadAllMethods("gnu.gcj.convert.Input_UTF8");      // retrieved via reflection
+        bcp.loadAllMethods("gnu.gcj.convert.Output_UTF8");     // retrieved via reflection
+        bcp.loadAllMethods("gnu.gcj.convert.Input_8859_1");    // retrieved via reflection
+        bcp.loadAllMethods("gnu.gcj.convert.Output_8859_1");   // retrieved via reflection
+        bcp.loadAllMethods("gnu.gcj.convert.Input_ASCII");    // retrieved via reflection
+        bcp.loadAllMethods("gnu.gcj.convert.Output_ASCII");   // retrieved via reflection
+        bcp.loadMethod("java.lang.Thread.run");                // we call start(), but the VM calls run()...
+        bcp.loadMethod("java.lang.ref.Reference.enqueue");     // the GC calls this directly
+        bcp.loadAllMethods("gnu.gcj.runtime.StringBuffer");    // the compiler emits calls directly to this class
+        */
         // often called from native subclasses....
+
         bcp.loadAllMethods("org.ibex.Surface");
+        bcp.loadAllMethods("org.ibex.Template$TemplateHelper$1");
+        bcp.loadAllMethods("org.ibex.Surface$DoubleBufferedSurface");
+        bcp.loadAllMethods("org.ibex.Surface$3");
+        bcp.loadAllMethods("org.ibex.Surface$2");
         bcp.loadAllMethods("org.ibex.Picture");
         bcp.loadAllMethods("org.ibex.PixelBuffer");
         bcp.loadAllMethods("org.ibex.Platform");
@@ -108,13 +114,11 @@ public class BytecodePruner {
         bcp.loadAllMethods("org.ibex.plat.X11$X11PixelBuffer");
         bcp.loadAllMethods("org.ibex.plat.X11$X11Surface");
         bcp.loadAllMethods("org.ibex.XMLRPC");
-
         bcp.loadAllMethods("java.util.Date");
         bcp.loadAllMethods("java.text.DateFormat");
         bcp.loadAllMethods("java.text.NumberFormat");
 
-
-        Method[] meths = repo.loadClass("org.ibex.plat.Linux").getMethods();
+        Method[] meths = getMethods(repo.loadClass("org.ibex.plat.Linux"));
         for(int i=0; i<meths.length; i++) {
             if (meths[i].getName().equals("main"))
                 bcp.visitJavaMethod(repo.loadClass("org.ibex.plat.Linux"), meths[i]);
@@ -140,7 +144,7 @@ public class BytecodePruner {
     public BytecodePruner() { }
 
     public static void dump(JavaClass clazz) throws Exception {
-        if (clazz.getClassName().startsWith("java.sql.")) return;
+        if (!dest.contains(clazz)) return;
 
         ConstantPoolGen newcpg = new ConstantPoolGen(clazz.getConstantPool());
         ClassGen cg = new ClassGen(clazz);
@@ -149,67 +153,49 @@ public class BytecodePruner {
         cg.setMinor(0);
         cg.setConstantPool(newcpg);
         Field[] fields = clazz.getFields();
-        int numFields = 0;
         for(int i=0; i<fields.length; i++)
             if (!dest.contains(fields[i]) && false) { 
                 System.out.println("  pruning " + clazz.getClassName() + "." + fields[i].getName());
-                fields[i] = null; 
-            } else numFields++;
+                cg.removeField(fields[i]);
+            }
 
-        // superprune: URLClassLoader, convert.In/Output other than needed, unneeded locales
-        // reflective metadata is killing us...
-        
-        Method[] methods = clazz.getMethods();
+        Method[] methods = getMethods(clazz);
         int numMethods = 0;
         boolean good = false;
-        for(int i=0; i<methods.length; i++)
-            if (clazz.getClassName().startsWith("gnu.")
+        for(int i=0; i<methods.length; i++) {
+            if (dest.contains(methods[i]) ||
+                clazz.getClassName().startsWith("java.io.FileDescriptor")
+                || clazz.getClassName().startsWith("gnu.gcj.runtime.")
                 || clazz.getClassName().startsWith("java.lang.")
-                || clazz.getClassName().startsWith("java.io.")
-                || clazz.getClassName().startsWith("org.ibex.")) {
-                good = true;
-            } else if (dest.contains(methods[i])) {
+                ) {
                 if (!methods[i].getName().equals("<clinit>")) good = true;
             } else {
-                if (methods[i].getCode() != null) {
+                if (methods[i].getCode() == null) {
+                    System.out.println("  empty codeblock: " + clazz.getClassName() + "." + methods[i].getName());
+                } else {
                     System.out.println("  pruning " + clazz.getClassName() + "." + methods[i].getName());
+                    if (deleteMethods) { cg.removeMethod(methods[i]); continue; }
                     MethodGen mg = new MethodGen(methods[i], clazz.getClassName(), newcpg);
                     mg.removeExceptions();
                     InstructionList il = new InstructionList();
                     mg.setInstructionList(il);
-
                     InstructionHandle ih_0 = il.append(factory.createNew("java.lang.UnsatisfiedLinkError"));
                     il.append(InstructionConstants.DUP);
                     il.append(factory.createInvoke("java.lang.UnsatisfiedLinkError",
-                                                    "<init>", Type.VOID, Type.NO_ARGS, Constants.INVOKESPECIAL));
+                                                   "<init>", Type.VOID, Type.NO_ARGS, Constants.INVOKESPECIAL));
                     il.append(InstructionConstants.ATHROW);
-
                     mg.setMaxStack();
                     mg.setMaxLocals();
                     mg.removeExceptions();
                     mg.removeLocalVariables();
                     mg.removeExceptionHandlers();
                     mg.removeLineNumbers();
-
                     cg.replaceMethod(methods[i], mg.getMethod());
                     il.dispose();
                 }
             }
-        if ((clazz.getClassName().startsWith("gnu.java.locale.LocaleInformation") &&
-             !clazz.getClassName().endsWith("LocaleInformation_en") &&
-             !clazz.getClassName().endsWith("LocaleInformation") &&
-             !clazz.getClassName().endsWith("LocaleInformation_en_US"))
-            ||
-            (!good &&
-             !clazz.isInterface() &&
-             !clazz.isAbstract() &&
-             !clazz.getClassName().endsWith("Error") &&
-             !clazz.getClassName().endsWith("Exception") &&
-             !clazz.getClassName().endsWith("Permission"))) {
-
-            System.out.println("DROPPING " + clazz.getClassName());
-            return;
         }
+                               
         new File(outdir + "/" + new File(clazz.getClassName().replace('.', '/')).getParent()).mkdirs();
         System.out.println("dumping " + clazz.getClassName());
         cg.getJavaClass().dump(outdir + "/" + clazz.getClassName().replace('.', '/') + ".class");
@@ -248,8 +234,7 @@ public class BytecodePruner {
     // hashtable of hashsets
     public static Hashtable subclasses = new Hashtable();
 
-    public String getMethodSignature(Method m) throws Exception {
-        ConstantPoolGen cpg = new ConstantPoolGen(m.getConstantPool());
+    public String getMethodSignature(Method m, ConstantPoolGen cpg) throws Exception {
         return m.getName() + m.getSignature();
     }
 
@@ -259,16 +244,24 @@ public class BytecodePruner {
         for(int j=0; j<argtypes.length; j++) sig += argtypes[j].getSignature();
         return ii.getMethodName(cpg) + "(" + sig + ")" + ii.getReturnType(cpg).getSignature();
     }
+
     public static int level = 0;
     public void visitJavaMethod(JavaClass jc, Method method) throws Exception {
         visitJavaClass(jc);
+        if (jc.getClassName().equals("java.util.Date") && method.getName().equals("readObject")) return;
+        if (jc.getClassName().indexOf("SharedLib") != -1) return;
+        if (jc.getClassName().indexOf("Datagram") != -1) return;
         if (dest.contains(method)) return;
+
+        // gcj bug; gcj can't compile this method from a .class file input
+        //if (jc.getClassName().equals("java.lang.System") && method.getName().equals("runFinalizersOnExit")) return;
+
         dest.add(method);
         level += 2;
         for(int i=0; i<level; i++) System.out.print(" ");
-        System.out.println(jc.getClassName() + "." + getMethodSignature(method));
-        markMethodInSubclasses(jc, method);
         ConstantPoolGen cpg = new ConstantPoolGen(method.getConstantPool());
+        System.out.println(jc.getClassName() + "." + getMethodSignature(method, cpg));
+        markMethodInSubclasses(jc, method, cpg);
         if (method.getCode() == null) { level -= 2; return; }
         byte[] code = method.getCode().getCode();
         InstructionList il = new InstructionList(code);
@@ -283,17 +276,16 @@ public class BytecodePruner {
                 JavaClass c = sig2class(ii.getLoadClassType(cpg).getSignature());
                 load(ii.getReturnType(cpg));
                 load(ii.getType(cpg));
-                Method[] meths = c.getMethods();
+                Method[] meths = getMethods(c);
                 boolean good = false;
                 for(int i2=0; i2<meths.length; i2++) {
-                    if (getMethodSignature(meths[i2]).equals(ii_sig)) {
+                    if (getMethodSignature(meths[i2], cpg).equals(ii_sig)) {
                         visitJavaMethod(c, meths[i2]);
                         good = true;
                         break;
                     }
-                }
-                if (!good)
-                    throw new Exception("couldn't find method " + getMethodSignature(ii, cpg) + " in " + c.getClassName());
+                } 
+                if (!good) throw new Exception("couldn't find method " + getMethodSignature(ii, cpg) + " in " + c.getClassName());
             }
         }
         level -= 2;
@@ -313,72 +305,88 @@ public class BytecodePruner {
     }
 
     public void visitJavaClass(JavaClass clazz) throws Exception {
-
         if (dest.contains(clazz)) return;
         dest.add(clazz);
 
+        ConstantPoolGen cpg = new ConstantPoolGen(clazz.getConstantPool());
         String name = clazz.getClassName();
+        System.out.println(clazz.getClassName() + ".class");
 
         JavaClass superclass = clazz.getSuperClass();
-
         JavaClass[] interfaces = clazz.getAllInterfaces();
+        for(JavaClass sup = superclass; sup != null; sup = sup.getSuperClass()) {
+            if (subclasses.get(sup) == null) subclasses.put(sup, new HashSet());
+            ((HashSet)subclasses.get(sup)).add(clazz);
+        }
+        for(int i=0; i<interfaces.length; i++) {
+            if (subclasses.get(interfaces[i]) == null) subclasses.put(interfaces[i], new HashSet());
+            ((HashSet)subclasses.get(interfaces[i])).add(clazz);
+        }
+
+        if (clazz.getClassName().startsWith("org.ibex."))
+            loadAllMethods(clazz.getClassName());
+
+        for(JavaClass sup = superclass; sup != null; sup = sup.getSuperClass()) {
+            visitJavaClass(sup);
+            remarkMethods(sup, clazz, cpg);
+        }
+        for(int i=0; i<interfaces.length; i++) {
+            visitJavaClass(interfaces[i]);
+            remarkMethods(interfaces[i], clazz, cpg);
+        }
+
         Field[] fields = clazz.getFields();
-        Method[] methods = clazz.getMethods();
-        System.out.println(clazz.getClassName() + ".class");
-        for(int i=0; i<methods.length; i++)
-            if (methods[i].getName().equals("<clinit>")) visitJavaMethod(clazz, methods[i]);
+        Method[] methods = getMethods(clazz);
+        for(int i=0; i<fields.length; i++) visitJavaField(fields[i]);
         for(int i=0; i<methods.length; i++) {
+            if (methods[i].getName().equals("<clinit>")) visitJavaMethod(clazz, methods[i]);
+
+            // only if ctor reachable (?)
             if (methods[i].getName().equals("equals")) visitJavaMethod(clazz, methods[i]);
             if (methods[i].getName().equals("hashCode")) visitJavaMethod(clazz, methods[i]);
             if (methods[i].getName().equals("finalize")) visitJavaMethod(clazz, methods[i]);
             if (methods[i].getName().equals("clone")) visitJavaMethod(clazz, methods[i]);
             if (methods[i].getName().equals("toString")) visitJavaMethod(clazz, methods[i]);
         }
-        for(int i=0; i<fields.length; i++) visitJavaField(fields[i]);
-        if (superclass != null) {
-            for(JavaClass sup = superclass; sup != null; sup = sup.getSuperClass()) {
-                if (subclasses.get(sup) == null) subclasses.put(sup, new HashSet());
-                ((HashSet)subclasses.get(sup)).add(clazz);
-                visitJavaClass(sup);
-                remarkMethods(sup, clazz);
-            }
-        }
-        for(int i=0; i<interfaces.length; i++) {
-            if (subclasses.get(interfaces[i]) == null) subclasses.put(interfaces[i], new HashSet());
-            ((HashSet)subclasses.get(interfaces[i])).add(clazz);
-            visitJavaClass(interfaces[i]);
-            remarkMethods(interfaces[i], clazz);
-        }
     }
 
-    public void markMethodInSubclasses(JavaClass c, Method m, JavaClass subclass) throws Exception {
+    public void markMethodInSubclasses(JavaClass c, Method m, JavaClass subclass, ConstantPoolGen cpg) throws Exception {
         if (m.isStatic()) return;
-        String sig = getMethodSignature(m);
-        Method[] submethods = subclass.getMethods();
+        String sig = getMethodSignature(m, cpg);
+        Method[] submethods = getMethods(subclass);
         for(int j=0; j<submethods.length; j++)
-            if (getMethodSignature(submethods[j]).equals(sig))
+            if (getMethodSignature(submethods[j], cpg).equals(sig))
                 visitJavaMethod(subclass, submethods[j]);
     }
-    public void markMethodInSubclasses(JavaClass c, Method m) throws Exception {
+    public void markMethodInSubclasses(JavaClass c, Method m, ConstantPoolGen cpg) throws Exception {
         if (m.isStatic()) return;
         HashSet s = (HashSet)subclasses.get(c);
         if (s == null) return;
         Object[] subclasses = s.toArray();
         for(int i=0; i<subclasses.length; i++) {
             JavaClass subclass = (JavaClass)subclasses[i];
-            if (subclass == c) return;
-            markMethodInSubclasses(c, m, subclass);
+            if (subclass == c) continue;
+            for(int j=0; j<level; j++) System.out.print(" ");
+            System.out.println("  [subclass " + subclass.getClassName() + "]");
+            markMethodInSubclasses(c, m, subclass, cpg);
         }
     }
         
-    public void remarkMethods(JavaClass c) throws Exception {
-        Method[] meths = c.getMethods();
-        for(int j=0; j<meths.length; j++) if (dest.contains(meths[j])) markMethodInSubclasses(c, meths[j]);
+    public void remarkMethods(JavaClass c, ConstantPoolGen cpg) throws Exception {
+        Method[] meths =getMethods(c);
+        for(int j=0; j<meths.length; j++) if (dest.contains(meths[j])) markMethodInSubclasses(c, meths[j], cpg);
+    }
+
+    public void remarkMethods(JavaClass c, JavaClass target, ConstantPoolGen cpg) throws Exception {
+        Method[] meths = getMethods(c);
+        for(int j=0; j<meths.length; j++) if (dest.contains(meths[j])) markMethodInSubclasses(c, meths[j], target, cpg);
     }
 
-    public void remarkMethods(JavaClass c, JavaClass target) throws Exception {
-        Method[] meths = c.getMethods();
-        for(int j=0; j<meths.length; j++) if (dest.contains(meths[j])) markMethodInSubclasses(c, meths[j], target);
+    public static Hashtable methodsHashtable = new Hashtable();
+    public static Method[] getMethods(JavaClass c) {
+        Method[] ret = (Method[])methodsHashtable.get(c);
+        if (ret == null) methodsHashtable.put(c, ret = c.getMethods());
+        return ret;
     }
 
 }