fork/waitpid leak
[nestedvm.git] / src / org / ibex / nestedvm / UnixRuntime.java
index 8aa5dc7..0bed8ed 100644 (file)
@@ -4,13 +4,7 @@ import org.ibex.nestedvm.util.*;
 import java.io.*;
 import java.util.*;
 
-// FIXME: Fix readdir in support_aux.c
-// FIXME: Make plain old "mips-unknown-elf-gcc -o foo foo.c" work (modify spec file or whatever)
-
-// FEATURE: Remove System.{out,err}.printlns and throw Errors where applicable
-
-// FIXME: BusyBox's ASH doesn't like \r\n at the end of lines
-// is ash just broken or are many apps like this? if so workaround in nestedvm
+// FEATURE: vfork
 
 public abstract class UnixRuntime extends Runtime implements Cloneable {
     /** The pid of this "process" */
@@ -18,8 +12,12 @@ public abstract class UnixRuntime extends Runtime implements Cloneable {
     private UnixRuntime parent;
     public final int getPid() { return pid; }
     
-    private static final GlobalState defaultGD = new GlobalState();
-    private GlobalState gd = defaultGD;
+    private static final GlobalState defaultGS = new GlobalState();
+    private GlobalState gs = defaultGS;
+    public void setGlobalState(GlobalState gs) {
+        if(state != STOPPED) throw new IllegalStateException("can't change GlobalState when running");
+        this.gs = gs;
+    }
     
     /** proceses' current working directory - absolute path WITHOUT leading slash
         "" = root, "bin" = /bin "usr/bin" = /usr/bin */
@@ -37,7 +35,9 @@ public abstract class UnixRuntime extends Runtime implements Cloneable {
                 
         // FEATURE: Do the proper mangling for non-unix hosts
         String userdir = getSystemProperty("user.dir");
-        cwd = userdir != null && userdir.startsWith("/") && File.separatorChar == '/'  ? userdir.substring(1) : "";
+        cwd = 
+            userdir != null && userdir.startsWith("/") && File.separatorChar == '/' && getSystemProperty("nestedvm.root") == null
+            ? userdir.substring(1) : "";
     }
     
     // NOTE: getDisplayName() is a Java2 function
@@ -63,16 +63,17 @@ public abstract class UnixRuntime extends Runtime implements Cloneable {
     }
     
     String[] createEnv(String[] extra) {
-        String[] defaults = new String[5];
+        String[] defaults = new String[6];
         int n=0;
         if(extra == null) extra = new String[0];
         if(!envHas("USER",extra) && getSystemProperty("user.name") != null)
             defaults[n++] = "USER=" + getSystemProperty("user.name");
-        if(!envHas("HOME",extra) && getSystemProperty("user.name") != null)
+        if(!envHas("HOME",extra) && getSystemProperty("user.home") != null)
             defaults[n++] = "HOME=" + getSystemProperty("user.home");
         if(!envHas("SHELL",extra)) defaults[n++] = "SHELL=/bin/sh";
         if(!envHas("TERM",extra))  defaults[n++] = "TERM=vt100";
         if(!envHas("TZ",extra))    defaults[n++] = "TZ=" + posixTZ();
+        if(!envHas("PATH",extra))  defaults[n++] = "PATH=/usr/local/bin:/usr/bin:/bin:/usr/local/sbin:/usr/sbin:/sbin";
         String[] env = new String[extra.length+n];
         for(int i=0;i<n;i++) env[i] = defaults[i];
         for(int i=0;i<extra.length;i++) env[n++] = extra[i];
@@ -82,18 +83,25 @@ public abstract class UnixRuntime extends Runtime implements Cloneable {
     private static class ProcessTableFullExn extends RuntimeException { }
     
     void _started() {
-        UnixRuntime[] tasks = gd.tasks;
-        synchronized(gd) {
+        UnixRuntime[] tasks = gs.tasks;
+        synchronized(gs) {
             if(pid != 0) {
-                if(tasks[pid] == null || tasks[pid].pid != pid) throw new Error("should never happen");
+                UnixRuntime prev = tasks[pid];
+                if(prev == null || prev == this || prev.pid != pid || prev.parent != parent)
+                    throw new Error("should never happen");
+                synchronized(parent.children) {
+                    int i = parent.activeChildren.indexOf(prev);
+                    if(i == -1) throw new Error("should never happen");
+                    parent.activeChildren.set(i,this);
+                }
             } else {
                 int newpid = -1;
-                int nextPID = gd.nextPID;
-                   for(int i=nextPID;i<tasks.length;i++) if(tasks[i] == null) { newpid = i; break; }
-                   if(newpid == -1) for(int i=1;i<nextPID;i++) if(tasks[i] == null) { newpid = i; break; }
-                   if(newpid == -1) throw new ProcessTableFullExn();
-                   pid = newpid;
-                gd.nextPID = newpid + 1;
+                int nextPID = gs.nextPID;
+                for(int i=nextPID;i<tasks.length;i++) if(tasks[i] == null) { newpid = i; break; }
+                if(newpid == -1) for(int i=1;i<nextPID;i++) if(tasks[i] == null) { newpid = i; break; }
+                if(newpid == -1) throw new ProcessTableFullExn();
+                pid = newpid;
+                gs.nextPID = newpid + 1;
             }
             tasks[pid] = this;
         }
@@ -105,6 +113,7 @@ public abstract class UnixRuntime extends Runtime implements Cloneable {
             case SYS_fork: return sys_fork();
             case SYS_pipe: return sys_pipe(a);
             case SYS_dup2: return sys_dup2(a,b);
+            case SYS_dup: return sys_dup(a);
             case SYS_waitpid: return sys_waitpid(a,b,c);
             case SYS_stat: return sys_stat(a,b);
             case SYS_lstat: return sys_lstat(a,b);
@@ -112,13 +121,20 @@ public abstract class UnixRuntime extends Runtime implements Cloneable {
             case SYS_getcwd: return sys_getcwd(a,b);
             case SYS_chdir: return sys_chdir(a);
             case SYS_exec: return sys_exec(a,b,c);
+            case SYS_getdents: return sys_getdents(a,b,c,d);
+            case SYS_unlink: return sys_unlink(a);
+            case SYS_getppid: return sys_getppid();
 
             default: return super._syscall(syscall,a,b,c,d);
         }
     }
     
     FD _open(String path, int flags, int mode) throws ErrnoException {
-        return gd.open(this,normalizePath(path),flags,mode);
+        return gs.open(this,normalizePath(path),flags,mode);
+    }
+    
+    private int sys_getppid() {
+        return parent == null ? 1 : parent.pid;
     }
 
     /** The kill syscall.
@@ -150,16 +166,15 @@ public abstract class UnixRuntime extends Runtime implements Cloneable {
     }
 
     private int sys_waitpid(int pid, int statusAddr, int options) throws FaultException, ErrnoException {
-        System.err.println("PID: " + this.pid + " is waiting on " + pid);
         final int WNOHANG = 1;
         if((options & ~(WNOHANG)) != 0) return -EINVAL;
         if(pid == 0 || pid < -1) {
-            System.err.println("WARNING: waitpid called with a pid of " + pid);
+            if(STDERR_DIAG) System.err.println("WARNING: waitpid called with a pid of " + pid);
             return -ECHILD;
         }
         boolean blocking = (options&WNOHANG)==0;
         
-        if(pid !=-1 && (pid <= 0 || pid >= gd.tasks.length)) return -ECHILD;
+        if(pid !=-1 && (pid <= 0 || pid >= gs.tasks.length)) return -ECHILD;
         if(children == null) return blocking ? -ECHILD : 0;
         
         UnixRuntime done = null;
@@ -169,7 +184,7 @@ public abstract class UnixRuntime extends Runtime implements Cloneable {
                 if(pid == -1) {
                     if(exitedChildren.size() > 0) done = (UnixRuntime)exitedChildren.remove(exitedChildren.size() - 1);
                 } else if(pid > 0) {
-                    UnixRuntime t = gd.tasks[pid];
+                    UnixRuntime t = gs.tasks[pid];
                     if(t.parent != this) return -ECHILD;
                     if(t.state == EXITED) {
                         if(!exitedChildren.remove(t)) throw new Error("should never happen");
@@ -177,14 +192,14 @@ public abstract class UnixRuntime extends Runtime implements Cloneable {
                     }
                 } else {
                     // process group stuff, EINVAL returned above
-                           throw new Error("should never happen");
+                        throw new Error("should never happen");
                 }
                 if(done == null) {
                     if(!blocking) return 0;
                     try { children.wait(); } catch(InterruptedException e) {}
-                    System.err.println("waitpid woke up: " + exitedChildren.size());
+                    //System.err.println("waitpid woke up: " + exitedChildren.size());
                 } else {
-                    gd.tasks[done.pid] = null;
+                    gs.tasks[done.pid] = null;
                     break;
                 }
             }
@@ -198,7 +213,7 @@ public abstract class UnixRuntime extends Runtime implements Cloneable {
         if(children != null) synchronized(children) {
             for(Enumeration e = exitedChildren.elements(); e.hasMoreElements(); ) {
                 UnixRuntime child = (UnixRuntime) e.nextElement();
-                    gd.tasks[child.pid] = null;
+                gs.tasks[child.pid] = null;
             }
             exitedChildren.clear();
             for(Enumeration e = activeChildren.elements(); e.hasMoreElements(); ) {
@@ -210,13 +225,13 @@ public abstract class UnixRuntime extends Runtime implements Cloneable {
         
         UnixRuntime _parent = parent;
         if(_parent == null) {
-            gd.tasks[pid] = null;
+            gs.tasks[pid] = null;
         } else {
             synchronized(_parent.children) {
                 if(parent == null) {
-                    gd.tasks[pid] = null;
+                    gs.tasks[pid] = null;
                 } else {
-                    parent.activeChildren.remove(this);
+                    if(!parent.activeChildren.remove(this)) throw new Error("should never happen _exited: pid: " + pid);
                     parent.exitedChildren.add(this);
                     parent.children.notify();
                 }
@@ -225,7 +240,7 @@ public abstract class UnixRuntime extends Runtime implements Cloneable {
     }
     
     protected Object clone() throws CloneNotSupportedException {
-           UnixRuntime r = (UnixRuntime) super.clone();
+        UnixRuntime r = (UnixRuntime) super.clone();
         r.pid = 0;
         r.parent = null;
         r.children = null;
@@ -251,10 +266,10 @@ public abstract class UnixRuntime extends Runtime implements Cloneable {
         try {
             r._started();
         } catch(ProcessTableFullExn e) {
-                   return -ENOMEM;
+            return -ENOMEM;
         }
 
-        System.err.println("fork " + pid + " -> " + r.pid + " tasks[" + r.pid + "] = " + gd.tasks[r.pid]);
+        //System.err.println("fork " + pid + " -> " + r.pid + " tasks[" + r.pid + "] = " + gd.tasks[r.pid]);
         if(children == null) {
             children = new Object();
             activeChildren = new Vector();
@@ -282,10 +297,10 @@ public abstract class UnixRuntime extends Runtime implements Cloneable {
     public static int runAndExec(UnixRuntime r, String[] argv) { r.start(argv); return executeAndExec(r); }
     
     public static int executeAndExec(UnixRuntime r) {
-           for(;;) {
+        for(;;) {
             for(;;) {
                 if(r.execute()) break;
-                System.err.println("WARNING: Pause requested while executing runAndExec()");
+                if(STDERR_DIAG) System.err.println("WARNING: Pause requested while executing runAndExec()");
             }
             if(r.state != EXECED) return r.exitStatus();
             r = r.execedRuntime;
@@ -293,7 +308,7 @@ public abstract class UnixRuntime extends Runtime implements Cloneable {
     }
      
     private String[] readStringArray(int addr) throws ReadFaultException {
-           int count = 0;
+        int count = 0;
         for(int p=addr;memRead(p) != 0;p+=4) count++;
         String[] a = new String[count];
         for(int i=0,p=addr;i<count;i++,p+=4) a[i] = cstring(memRead(p));
@@ -301,21 +316,27 @@ public abstract class UnixRuntime extends Runtime implements Cloneable {
     }
     
     private int sys_exec(int cpath, int cargv, int cenvp) throws ErrnoException, FaultException {
-           return exec(normalizePath(cstring(cpath)),readStringArray(cargv),readStringArray(cenvp));
+        return exec(normalizePath(cstring(cpath)),readStringArray(cargv),readStringArray(cenvp));
     }
         
     private int exec(String normalizedPath, String[] argv, String[] envp) throws ErrnoException {
         if(argv.length == 0) argv = new String[]{""};
 
-        Object o = gd.exec(this,normalizedPath);
+        // NOTE: For this little hack to work nestedvm.root MUST be "."
+        /*try {
+            System.err.println("Execing normalized path: " + normalizedPath);
+            if(true) return exec(new Interpreter(normalizedPath),argv,envp);
+        } catch(IOException e) { throw new Error(e); }*/
+        
+        Object o = gs.exec(this,normalizedPath);
         if(o == null) return -ENOENT;
 
         if(o instanceof Class) {
             Class c = (Class) o;
             try {
-                   return exec((UnixRuntime) c.newInstance(),argv,envp);
+                return exec((UnixRuntime) c.newInstance(),argv,envp);
             } catch(Exception e) {
-                   e.printStackTrace();
+                e.printStackTrace();
                 return -ENOEXEC;
             }
         } else {
@@ -333,7 +354,7 @@ public abstract class UnixRuntime extends Runtime implements Cloneable {
     
     private int exec(UnixRuntime r, String[] argv, String[] envp) {     
         
-        System.err.println("Execing " + r);
+        //System.err.println("Execing " + r);
         for(int i=0;i<OPEN_MAX;i++) if(closeOnExec[i]) closeFD(i);
         r.fds = fds;
         r.closeOnExec = closeOnExec;
@@ -341,7 +362,7 @@ public abstract class UnixRuntime extends Runtime implements Cloneable {
         fds = null;
         closeOnExec = null;
         
-        r.gd = gd;
+        r.gs = gs;
         r.sm = sm;
         r.cwd = cwd;
         r.pid = pid;
@@ -354,21 +375,69 @@ public abstract class UnixRuntime extends Runtime implements Cloneable {
         return 0;   
     }
     
-    // FEATURE: Use custom PipeFD - be sure to support PIPE_BUF of data
-    private int sys_pipe(int addr) throws FaultException {
-        PipedOutputStream writerStream = new PipedOutputStream();
-        PipedInputStream readerStream;
-        try {
-             readerStream = new PipedInputStream(writerStream);
-        } catch(IOException e) {
-            return -EIO;
+    // FEATURE: Make sure fstat info is correct
+    // FEATURE: This could be faster if we did direct copies from each process' memory
+    // FEATURE: Check this logic one more time
+    public static class Pipe {
+        private final byte[] pipebuf = new byte[PIPE_BUF*4];
+        private int readPos;
+        private int writePos;
+        
+        public final FD reader = new Reader();
+        public final FD writer = new Writer();
+        
+        public class Reader extends FD {
+            protected FStat _fstat() { return new FStat(); }
+            public int read(byte[] buf, int off, int len) throws ErrnoException {
+                if(len == 0) return 0;
+                synchronized(Pipe.this) {
+                    while(writePos != -1 && readPos == writePos) {
+                        try { Pipe.this.wait(); } catch(InterruptedException e) { /* ignore */ }
+                    }
+                    if(writePos == -1) return 0; // eof
+                    len = Math.min(len,writePos-readPos);
+                    System.arraycopy(pipebuf,readPos,buf,off,len);
+                    readPos += len;
+                    if(readPos == writePos) Pipe.this.notify();
+                    return len;
+                }
+            }
+            public void _close() { synchronized(Pipe.this) { readPos = -1; Pipe.this.notify(); } }
         }
-        FD reader = new InputStreamFD(readerStream);
-        FD writer = new OutputStreamFD(writerStream);
-        int fd1 = addFD(reader);
+        
+        public class Writer extends FD {   
+            protected FStat _fstat() { return new FStat(); }
+            public int write(byte[] buf, int off, int len) throws ErrnoException {
+                if(len == 0) return 0;
+                synchronized(Pipe.this) {
+                    if(readPos == -1) throw new ErrnoException(EPIPE);
+                    if(pipebuf.length - writePos < Math.min(len,PIPE_BUF)) {
+                        // not enough space to atomicly write the data
+                        while(readPos != -1 && readPos != writePos) {
+                            try { Pipe.this.wait(); } catch(InterruptedException e) { /* ignore */ }
+                        }
+                        if(readPos == -1) throw new ErrnoException(EPIPE);
+                        readPos = writePos = 0;
+                    }
+                    len = Math.min(len,pipebuf.length - writePos);
+                    System.arraycopy(buf,off,pipebuf,writePos,len);
+                    if(readPos == writePos) Pipe.this.notify();
+                    writePos += len;
+                    return len;
+                }
+            }
+            public void _close() { synchronized(Pipe.this) { writePos = -1; Pipe.this.notify(); } }
+        }
+    }
+    
+    private int sys_pipe(int addr) {
+        Pipe pipe = new Pipe();
+        
+        int fd1 = addFD(pipe.reader);
         if(fd1 < 0) return -ENFILE;
-        int fd2 = addFD(writer);
+        int fd2 = addFD(pipe.writer);
         if(fd2 < 0) { closeFD(fd1); return -ENFILE; }
+        
         try {
             memWrite(addr,fd1);
             memWrite(addr+4,fd2);
@@ -390,23 +459,36 @@ public abstract class UnixRuntime extends Runtime implements Cloneable {
         return 0;
     }
     
+    private int sys_dup(int oldd) {
+        if(oldd < 0 || oldd >= OPEN_MAX) return -EBADFD;
+        if(fds[oldd] == null) return -EBADFD;
+        FD fd = fds[oldd].dup();
+        int newd = addFD(fd);
+        if(newd < 0) { fd.close(); return -ENFILE; }
+        return newd;
+    }
+    
     private int sys_stat(int cstring, int addr) throws FaultException, ErrnoException {
-        FStat s = gd.stat(this,normalizePath(cstring(cstring)));
+        FStat s = gs.stat(this,normalizePath(cstring(cstring)));
         if(s == null) return -ENOENT;
         return stat(s,addr);
     }
     
     private int sys_lstat(int cstring, int addr) throws FaultException, ErrnoException {
-        FStat s = gd.lstat(this,normalizePath(cstring(cstring)));
+        FStat s = gs.lstat(this,normalizePath(cstring(cstring)));
         if(s == null) return -ENOENT;
         return stat(s,addr);
     }
     
     private int sys_mkdir(int cstring, int mode) throws FaultException, ErrnoException {
-        gd.mkdir(this,normalizePath(cstring(cstring)),mode);
+        gs.mkdir(this,normalizePath(cstring(cstring)),mode);
         return 0;
     }
    
+    private int sys_unlink(int cstring) throws FaultException, ErrnoException {
+        gs.unlink(this,normalizePath(cstring(cstring)));
+        return 0;
+    }
     
     private int sys_getcwd(int addr, int size) throws FaultException, ErrnoException {
         byte[] b = getBytes(cwd);
@@ -420,24 +502,35 @@ public abstract class UnixRuntime extends Runtime implements Cloneable {
     
     private int sys_chdir(int addr) throws ErrnoException, FaultException {
         String path = normalizePath(cstring(addr));
-        System.err.println("Chdir: " + cstring(addr) + " -> " + path + " pwd: " + cwd);
-        if(gd.stat(this,path).type() != FStat.S_IFDIR) return -ENOTDIR;
+        //System.err.println("Chdir: " + cstring(addr) + " -> " + path + " pwd: " + cwd);
+        if(gs.stat(this,path).type() != FStat.S_IFDIR) return -ENOTDIR;
         cwd = path;
-        System.err.println("Now: [" + cwd + "]");
+        //System.err.println("Now: [" + cwd + "]");
         return 0;
     }
     
+    private int sys_getdents(int fdn, int addr, int count, int seekptr) throws FaultException, ErrnoException {
+        count = Math.min(count,MAX_CHUNK);
+        if(fdn < 0 || fdn >= OPEN_MAX) return -EBADFD;
+        if(fds[fdn] == null) return -EBADFD;
+        byte[] buf = byteBuf(count);
+        int n = fds[fdn].getdents(buf,0,count);
+        copyout(buf,addr,n);
+        return n;
+    }
+    
     //  FEATURE: Run through the fork/wait stuff one more time
     public static class GlobalState {    
         protected static final int OPEN = 1;
         protected static final int STAT = 2;
         protected static final int LSTAT = 3;
         protected static final int MKDIR = 4;
+        protected static final int UNLINK = 5;
         
         final UnixRuntime[] tasks;
         int nextPID = 1;
         
-        private final MP[][] mps = new MP[128][];
+        private MP[] mps = new MP[0];
         private FS root;
         
         public GlobalState() { this(255); }
@@ -445,7 +538,7 @@ public abstract class UnixRuntime extends Runtime implements Cloneable {
         public GlobalState(int maxProcs, boolean defaultMounts) {
             tasks = new UnixRuntime[maxProcs+1];
             if(defaultMounts) {
-                   root = new HostFS();
+                addMount("/",new HostFS());
                 addMount("/dev",new DevFS());
             }
         }
@@ -464,64 +557,79 @@ public abstract class UnixRuntime extends Runtime implements Cloneable {
             if(!path.startsWith("/")) throw new IllegalArgumentException("Mount point doesn't start with a /");
             if(path.equals("/")) return root;
             path  = path.substring(1);
-            int f = path.charAt(0) & 0x7f;
-            for(int i=0;mps[f] != null && i < mps[f].length;i++)
-                if(mps[f][i].path.equals(path)) return mps[f][i].fs;
+            for(int i=0;i<mps.length;i++)
+                if(mps[i].path.equals(path)) return mps[i].fs;
             return null;
         }
         
         public synchronized void addMount(String path, FS fs) {
             if(getMount(path) != null) throw new IllegalArgumentException("mount point already exists");
             if(!path.startsWith("/")) throw new IllegalArgumentException("Mount point doesn't start with a /");
-            if(path.equals("/")) { root = fs; return; }
+            
+            if(fs.owner != null) fs.owner.removeMount(fs);
+            fs.owner = this;
+            
+            if(path.equals("/")) { root = fs; fs.devno = 1; return; }
             path = path.substring(1);
-            int f = path.charAt(0) & 0x7f;
-            int oldLength = mps[f] == null ? 0 : mps[f].length;
-            MP[] newList = new MP[oldLength + 1];
-            if(oldLength != 0) System.arraycopy(mps[f],0,newList,0,oldLength);
-            newList[oldLength] = new MP(path,fs);
-            Arrays.sort(newList);
-            mps[f] = newList;
+            int oldLength = mps.length;
+            MP[] newMPS = new MP[oldLength + 1];
+            if(oldLength != 0) System.arraycopy(mps,0,newMPS,0,oldLength);
+            newMPS[oldLength] = new MP(path,fs);
+            Arrays.sort(newMPS);
+            mps = newMPS;
+            int highdevno = 0;
+            for(int i=0;i<mps.length;i++) highdevno = max(highdevno,mps[i].fs.devno);
+            fs.devno = highdevno + 2;
+        }
+        
+        public synchronized void removeMount(FS fs) {
+            for(int i=0;i<mps.length;i++) if(mps[i].fs == fs) { removeMount(i); return; }
+            throw new IllegalArgumentException("mount point doesn't exist");
         }
         
         public synchronized void removeMount(String path) {
-            if(getMount(path) == null) throw new IllegalArgumentException("mount point doesn't exist");
             if(!path.startsWith("/")) throw new IllegalArgumentException("Mount point doesn't start with a /");
-            if(path.equals("/")) { root = null; return; }
-            path = path.substring(1);
-            int f = path.charAt(0) & 0x7f;
-            MP[] oldList = mps[f];
-            MP[] newList = new MP[oldList.length - 1];
-            int p = 0;
-            for(p=0;p<oldList.length;p++) if(oldList[p].path.equals(path)) break;
-            if(p == oldList.length) throw new Error("should never happen");
-            System.arraycopy(oldList,0,newList,0,p);
-            System.arraycopy(oldList,0,newList,p,oldList.length-p-1);
-            mps[f] = newList;
-        }
-        
-        private Object fsop(int op, UnixRuntime r, String path, int arg1, int arg2) throws ErrnoException {
-            int pl = path.length();
+            if(path.equals("/")) {
+                removeMount(-1);
+            } else {
+                path = path.substring(1);
+                int p;
+                for(p=0;p<mps.length;p++) if(mps[p].path.equals(path)) break;
+                if(p == mps.length) throw new IllegalArgumentException("mount point doesn't exist");
+                removeMount(p);
+            }
+        }
+        
+        private void removeMount(int index) {
+            if(index == -1) { root.owner = null; root = null; return; }
+            MP[] newMPS = new MP[mps.length - 1];
+            System.arraycopy(mps,0,newMPS,0,index);
+            System.arraycopy(mps,0,newMPS,index,mps.length-index-1);
+            mps = newMPS;
+        }
+        
+        private Object fsop(int op, UnixRuntime r, String normalizedPath, int arg1, int arg2) throws ErrnoException {
+            int pl = normalizedPath.length();
             if(pl != 0) {
-                   MP[] list = mps[path.charAt(0) & 0x7f];
-                if(list != null) {
-                    for(int i=0;i<list.length;i++) {
-                           MP mp = list[i];
-                           int mpl = mp.path.length();
-                        if(path.startsWith(mp.path) && (pl == mpl || (pl < mpl && path.charAt(mpl) == '/')))
-                                   return dispatch(mp.fs,op,r,pl == mpl ? "" : path.substring(mpl+1),arg1,arg2);
-                    }
+                MP[] list;
+                synchronized(this) { list = mps; }
+                for(int i=0;i<list.length;i++) {
+                    MP mp = list[i];
+                    int mpl = mp.path.length();
+                    if(normalizedPath.startsWith(mp.path) && (pl == mpl || (pl < mpl && normalizedPath.charAt(mpl) == '/')))
+                        return dispatch(mp.fs,op,r,pl == mpl ? "" : normalizedPath.substring(mpl+1),arg1,arg2);
                 }
             }
-            return dispatch(root,op,r,path,arg1,arg2);
+            return dispatch(root,op,r,normalizedPath,arg1,arg2);
         }
         
         private static Object dispatch(FS fs, int op, UnixRuntime r, String path, int arg1, int arg2) throws ErrnoException {
             switch(op) {
-                   case OPEN: return fs.open(r,path,arg1,arg2);
+                case OPEN: return fs.open(r,path,arg1,arg2);
                 case STAT: return fs.stat(r,path);
                 case LSTAT: return fs.lstat(r,path);
                 case MKDIR: fs.mkdir(r,path,arg1); return null;
+                case UNLINK: fs.unlink(r,path); return null;
                 default: throw new Error("should never happen");
             }
         }
@@ -530,6 +638,7 @@ public abstract class UnixRuntime extends Runtime implements Cloneable {
         public final FStat stat(UnixRuntime r, String path) throws ErrnoException { return (FStat) fsop(STAT,r,path,0,0); }
         public final FStat lstat(UnixRuntime r, String path) throws ErrnoException { return (FStat) fsop(LSTAT,r,path,0,0); }
         public final void mkdir(UnixRuntime r, String path, int mode) throws ErrnoException { fsop(MKDIR,r,path,mode,0); }
+        public final void unlink(UnixRuntime r, String path) throws ErrnoException { fsop(UNLINK,r,path,0,0); }
         
         private Hashtable execCache = new Hashtable();
         private static class CacheEnt {
@@ -540,15 +649,18 @@ public abstract class UnixRuntime extends Runtime implements Cloneable {
         }
 
         public synchronized Object exec(UnixRuntime r, String path) throws ErrnoException {
+            // FIXME: Hideous hack to make a standalone busybox possible
+            if(path.equals("bin/busybox") && r.getClass().getName().endsWith("BusyBox"))
+                return r.getClass();
             FStat fstat = stat(r,path);
             if(fstat == null) return null;
             long mtime = fstat.mtime();
             long size = fstat.size();
             CacheEnt ent = (CacheEnt) execCache.get(path);
             if(ent != null) {
-                System.err.println("Found cached entry for " + path);
-                   if(ent.time == mtime && ent.size == size) return ent.o;
-                System.err.println("Cache was out of date");
+                //System.err.println("Found cached entry for " + path);
+                if(ent.time == mtime && ent.size == size) return ent.o;
+                //System.err.println("Cache was out of date");
                 execCache.remove(path);
             }
             FD fd = open(r,path,RD_ONLY,0);
@@ -562,7 +674,7 @@ public abstract class UnixRuntime extends Runtime implements Cloneable {
             
             try {
                 int n = s.read(buf,0,buf.length);
-                if(n == -1) throw new Error("zero length file");
+                if(n == -1) throw new ErrnoException(ENOEXEC);
                 
                 switch(buf[0]) {
                     case '\177': // possible ELF
@@ -571,7 +683,7 @@ public abstract class UnixRuntime extends Runtime implements Cloneable {
                         break;
                     case '#':
                         if(n == 1) {
-                                   int n2 = s.read(buf,1,buf.length-1);
+                            int n2 = s.read(buf,1,buf.length-1);
                             if(n2 == -1) throw new ErrnoException(ENOEXEC);
                             n += n2;
                         }
@@ -579,7 +691,7 @@ public abstract class UnixRuntime extends Runtime implements Cloneable {
                         int p = 2;
                         n -= 2;
                         OUTER: for(;;) {
-                                   for(int i=p;i<p+n;i++) if(buf[i] == '\n') { p = i; break OUTER; }
+                            for(int i=p;i<p+n;i++) if(buf[i] == '\n') { p = i; break OUTER; }
                             p += n;
                             if(p == buf.length) break OUTER;
                             n = s.read(buf,p,buf.length-p);
@@ -589,36 +701,38 @@ public abstract class UnixRuntime extends Runtime implements Cloneable {
                         for(arg=2;arg<p;arg++) if(buf[arg] == ' ') break;
                         if(arg < p) {
                             int cmdEnd = arg;
-                                   while(arg < p && buf[arg] == ' ') arg++;
+                            while(arg < p && buf[arg] == ' ') arg++;
                             command[0] = new String(buf,2,cmdEnd);
                             command[1] = arg < p ? new String(buf,arg,p-arg) : null;
                         } else {
-                                   command[0] = new String(buf,2,p-2);
+                            command[0] = new String(buf,2,p-2);
                         }
-                        System.err.println("command[0]: " + command[0] + " command[1]: " + command[1]);
+                        //System.err.println("command[0]: " + command[0] + " command[1]: " + command[1]);
                         break;
                     default:
                         throw new ErrnoException(ENOEXEC);
                 }
             } catch(IOException e) {
                 fd.close();
-                   throw new ErrnoException(EIO);
+                throw new ErrnoException(EIO);
             }
                         
             if(command == null) {
                 // its an elf binary
                 try {
                     s.seek(0);
-                           Class c = RuntimeCompiler.compile(s);
-                    System.err.println("Compile succeeded: " + c);
+                    Class c = RuntimeCompiler.compile(s);
+                    //System.err.println("Compile succeeded: " + c);
                     ent = new CacheEnt(mtime,size,c);
                 } catch(Compiler.Exn e) {
+                    if(STDERR_DIAG) e.printStackTrace();
                     throw new ErrnoException(ENOEXEC);
                 } catch(IOException e) {
-                           throw new ErrnoException(EIO);
+                    if(STDERR_DIAG) e.printStackTrace();
+                    throw new ErrnoException(EIO);
                 }
             } else {
-                   ent = new CacheEnt(mtime,size,command);
+                ent = new CacheEnt(mtime,size,command);
             }
             
             fd.close();
@@ -627,32 +741,11 @@ public abstract class UnixRuntime extends Runtime implements Cloneable {
             return ent.o;
         }
     }
-        
+    
     public abstract static class FS {
-               // FIXME: inode stuff
-        protected static FD directoryFD(String[] files, int hashCode)  {
-            ByteArrayOutputStream bos = new ByteArrayOutputStream();
-            DataOutputStream dos = new DataOutputStream(bos);
-            try {
-                   for(int i=0;i<files.length;i++) {
-                               byte[] b = getBytes(files[i]);
-                    int inode = (files[i].hashCode() ^ hashCode) & 0xfffff;
-                    dos.writeInt(inode);
-                    dos.writeInt(b.length);
-                    dos.write(b,0,b.length);
-                }
-            } catch(IOException e) {
-                   return null;
-            }
-            final byte[] data = bos.toByteArray();
-            return new SeekableFD(new Seekable.ByteArray(data,false),RD_ONLY) {
-                protected FStat _fstat() { return  new FStat() {
-                    public int length() { return data.length; }
-                    public int type() { return S_IFDIR; }
-                }; }
-            };
-        }
-
+        GlobalState owner;
+        int devno;
+        
         public FStat lstat(UnixRuntime r, String path) throws ErrnoException { return stat(r,path); }
 
         // If this returns null it'll be truned into an ENOENT
@@ -660,6 +753,7 @@ public abstract class UnixRuntime extends Runtime implements Cloneable {
         // If this returns null it'll be turned into an ENOENT
         public abstract FStat stat(UnixRuntime r, String path) throws ErrnoException;
         public abstract void mkdir(UnixRuntime r, String path, int mode) throws ErrnoException;
+        public abstract void unlink(UnixRuntime r, String path) throws ErrnoException;
     }
         
     // FEATURE: chroot support in here
@@ -677,15 +771,15 @@ public abstract class UnixRuntime extends Runtime implements Cloneable {
         if(absolute) {
             do { inp++; } while(in[inp] == '/');
         } else if(cwdl != 0) {
-               cwd.getChars(0,cwdl,out,0);
-               outp = cwdl;
+            cwd.getChars(0,cwdl,out,0);
+            outp = cwdl;
         }
             
         path.getChars(0,path.length(),in,0);
         while(in[inp] != 0) {
-            if(inp != 0) {
-                   if(in[inp] != '/') { out[outp++] = in[inp++]; continue; }
-                   while(in[inp] == '/') inp++;
+            if(inp != 0 || cwdl==0) {
+                if(in[inp] != '/') { out[outp++] = in[inp++]; continue; }
+                while(in[inp] == '/') inp++;
             }
             if(in[inp] == '\0') continue;
             if(in[inp] != '.') { out[outp++] = '/'; out[outp++] = in[inp++]; continue; }
@@ -694,7 +788,7 @@ public abstract class UnixRuntime extends Runtime implements Cloneable {
                 inp += 2;
                 if(outp > 0) outp--;
                 while(outp > 0 && out[outp] != '/') outp--;
-                System.err.println("After ..: " + new String(out,0,outp));
+                //System.err.println("After ..: " + new String(out,0,outp));
                 continue;
             }
             inp++;
@@ -706,7 +800,7 @@ public abstract class UnixRuntime extends Runtime implements Cloneable {
         return new String(out,0,outp);
     }
     
-    FStat hostFStat(final File f) {
+    FStat hostFStat(final File f, Object data) {
         boolean e = false;
         try {
             FileInputStream fis = new FileInputStream(f);
@@ -716,19 +810,34 @@ public abstract class UnixRuntime extends Runtime implements Cloneable {
             }
             fis.close();
         } catch(IOException e2) { } 
-        return new HostFStat(f,e);
+        HostFS fs = (HostFS) data;
+        final int inode = fs.inodes.get(f.getAbsolutePath());
+        final int devno = fs.devno;
+        return new HostFStat(f,e) {
+            public int inode() { return inode; }
+            public int dev() { return devno; }
+        };
     }
 
-    // FIXME: inode stuff
-    FD hostFSDirFD(File f) { return FS.directoryFD(f.list(),f.hashCode()); }
+    FD hostFSDirFD(File f, Object _fs) {
+        HostFS fs = (HostFS) _fs;
+        return fs.new HostDirFD(f);
+    }
     
     public static class HostFS extends FS {
+        InodeCache inodes = new InodeCache(4000);
         protected File root;
         public File getRoot() { return root; }
         
         private static File hostRootDir() {
+            if(getSystemProperty("nestedvm.root") != null) {
+                File f = new File(getSystemProperty("nestedvm.root"));
+                if(f.isDirectory()) return f;
+                // fall through to case below
+            }
             String cwd = getSystemProperty("user.dir");
             File f = new File(cwd != null ? cwd : ".");
+            if(!f.exists()) throw new Error("Couldn't get File for cwd");
             f = new File(f.getAbsolutePath());
             while(f.getParent() != null) f = new File(f.getParent());
             return f;
@@ -739,7 +848,7 @@ public abstract class UnixRuntime extends Runtime implements Cloneable {
             if(sep != '/') {
                 char buf[] = path.toCharArray();
                 for(int i=0;i<buf.length;i++) {
-                           char c = buf[i];
+                    char c = buf[i];
                     if(c == '/') buf[i] = sep;
                     else if(c == sep) buf[i] = '/';
                 }
@@ -755,14 +864,21 @@ public abstract class UnixRuntime extends Runtime implements Cloneable {
         
         public FD open(UnixRuntime r, String path, int flags, int mode) throws ErrnoException {
             final File f = hostFile(path);
-            return r.hostFSOpen(f,flags,mode);
+            return r.hostFSOpen(f,flags,mode,this);
+        }
+        
+        public void unlink(UnixRuntime r, String path) throws ErrnoException {
+            File f = hostFile(path);
+            if(r.sm != null && !r.sm.allowUnlink(f)) throw new ErrnoException(EPERM);
+            if(!f.exists()) throw new ErrnoException(ENOENT);
+            if(!f.delete()) throw new ErrnoException(EPERM);
         }
         
         public FStat stat(UnixRuntime r, String path) throws ErrnoException {
             File f = hostFile(path);
             if(r.sm != null && !r.sm.allowStat(f)) throw new ErrnoException(EACCES);
             if(!f.exists()) return null;
-            return r.hostFStat(f);
+            return r.hostFStat(f,this);
         }
         
         public void mkdir(UnixRuntime r, String path, int mode) throws ErrnoException {
@@ -774,30 +890,116 @@ public abstract class UnixRuntime extends Runtime implements Cloneable {
             if(parent!=null && (!parent.exists() || !parent.isDirectory())) throw new ErrnoException(ENOTDIR);
             if(!f.mkdir()) throw new ErrnoException(EIO);            
         }
+        
+        public class HostDirFD extends DirFD {
+            private final File f;
+            private final File[] children;
+            public HostDirFD(File f) { this.f = f; children = f.listFiles(); }
+            public int size() { return children.length; }
+            public String name(int n) { return children[n].getName(); }
+            public int inode(int n) { return inodes.get(children[n].getAbsolutePath()); }
+            public int parentInode() {
+                File parent = f.getParentFile();
+                return parent == null ? -1 : inodes.get(parent.getAbsolutePath());
+            }
+            public int myInode() { return inodes.get(f.getAbsolutePath()); }
+            public int myDev() { return devno; } 
+        }
+    }
+    
+    private static void putInt(byte[] buf, int off, int n) {
+        buf[off+0] = (byte)((n>>>24)&0xff);
+        buf[off+1] = (byte)((n>>>16)&0xff);
+        buf[off+2] = (byte)((n>>> 8)&0xff);
+        buf[off+3] = (byte)((n>>> 0)&0xff);
+    }
+    
+    public static abstract class DirFD extends FD {
+        private int pos = -2;
+        
+        protected abstract int size();
+        protected abstract String name(int n);
+        protected abstract int inode(int n);
+        protected abstract int myDev();
+        protected int parentInode() { return -1; }
+        protected int myInode() { return -1; }
+        
+        public int getdents(byte[] buf, int off, int len) {
+            int ooff = off;
+            int ino;
+            int reclen;
+            OUTER: for(;len > 0 && pos < size();pos++){
+                switch(pos) {
+                    case -2:
+                    case -1:
+                        ino = pos == -1 ? parentInode() : myInode();
+                        if(ino == -1) continue;
+                        reclen = 9 + (pos == -1 ? 2 : 1);
+                        if(reclen > len) break OUTER;
+                        buf[off+8] = '.';
+                        if(pos == -1) buf[off+9] = '.';
+                        break;
+                    default: {
+                        String f = name(pos);
+                        byte[] fb = getBytes(f);
+                        reclen = fb.length + 9;
+                        if(reclen > len) break OUTER;
+                        ino = inode(pos);
+                        System.arraycopy(fb,0,buf,off+8,fb.length);
+                    }
+                }
+                buf[off+reclen-1] = 0; // null terminate
+                reclen = (reclen + 3) & ~3; // add padding
+                putInt(buf,off,reclen);
+                putInt(buf,off+4,ino);
+                off += reclen;
+                len -= reclen;    
+            }
+            return off-ooff;
+        }
+        
+        protected FStat _fstat() {
+            return new FStat() { 
+                public int type() { return S_IFDIR; }
+                public int inode() { return myInode(); }
+                public int dev() { return myDev(); }
+            };
+        }
     }
         
     public static class DevFS extends FS {
-        private static class DevFStat extends FStat {
-            public int dev() { return 1; }
+        private static final int ROOT_INODE = 1;
+        private static final int NULL_INODE = 2;
+        private static final int ZERO_INODE = 3;
+        private static final int FD_INODE = 4;
+        private static final int FD_INODES = 32;
+        
+        private class DevFStat extends FStat {
+            public int dev() { return devno; }
             public int mode() { return 0666; }
             public int type() { return S_IFCHR; }
             public int nlink() { return 1; }
         }
-        private static FD devZeroFD = new FD() {
+        
+        private abstract class DevDirFD extends DirFD {
+            public int myDev() { return devno; }
+        }
+        
+        private FD devZeroFD = new FD() {
             public boolean readable() { return true; }
             public boolean writable() { return true; }
             public int read(byte[] a, int off, int length) { Arrays.fill(a,off,off+length,(byte)0); return length; }
             public int write(byte[] a, int off, int length) { return length; }
             public int seek(int n, int whence) { return 0; }
-            public FStat _fstat() { return new DevFStat(); }
+            public FStat _fstat() { return new DevFStat(){ public int inode() { return ZERO_INODE; } }; }
         };
-        private static FD devNullFD = new FD() {
+        private FD devNullFD = new FD() {
             public boolean readable() { return true; }
             public boolean writable() { return true; }
             public int read(byte[] a, int off, int length) { return 0; }
             public int write(byte[] a, int off, int length) { return length; }
             public int seek(int n, int whence) { return 0; }
-            public FStat _fstat() { return new DevFStat(); }
+            public FStat _fstat() { return new DevFStat(){ public int inode() { return NULL_INODE; } }; }
         }; 
         
         public FD open(UnixRuntime r, String path, int mode, int flags) throws ErrnoException {
@@ -816,15 +1018,42 @@ public abstract class UnixRuntime extends Runtime implements Cloneable {
             }
             if(path.equals("fd")) {
                 int count=0;
-                for(int i=0;i<OPEN_MAX;i++) if(r.fds[i] != null) count++; 
-                String[] files = new String[count];
+                for(int i=0;i<OPEN_MAX;i++) if(r.fds[i] != null) { count++; }
+                final int[] files = new int[count];
                 count = 0;
-                for(int i=0;i<OPEN_MAX;i++) if(r.fds[i] != null) files[count++] = Integer.toString(i);
-                return directoryFD(files,hashCode());
+                for(int i=0;i<OPEN_MAX;i++) if(r.fds[i] != null) files[count++] = i;
+                return new DevDirFD() {
+                    public int myInode() { return FD_INODE; }
+                    public int parentInode() { return ROOT_INODE; }
+                    public int inode(int n) { return FD_INODES + n; }
+                    public String name(int n) { return Integer.toString(files[n]); }
+                    public int size() { return files.length; }
+                };
             }
             if(path.equals("")) {
-                String[] files = { "null", "zero", "fd" };
-                return directoryFD(files,hashCode());
+                return new DevDirFD() {
+                    public int myInode() { return ROOT_INODE; }
+                    // FEATURE: Get the real parent inode somehow
+                    public int parentInode() { return -1; }
+                    public int inode(int n) {
+                        switch(n) {
+                            case 0: return NULL_INODE;
+                            case 1: return ZERO_INODE;
+                            case 2: return FD_INODE;
+                            default: return -1;
+                        }
+                    }
+                    
+                    public String name(int n) {
+                        switch(n) {
+                            case 0: return "null";
+                            case 1: return "zero";
+                            case 2: return "fd";
+                            default: return null;
+                        }
+                    }
+                    public int size() { return 3; }
+                };
             }
             return null;
         }
@@ -843,11 +1072,13 @@ public abstract class UnixRuntime extends Runtime implements Cloneable {
                 if(r.fds[n] == null) return null;
                 return r.fds[n].fstat();
             }
+            // FEATURE: inode stuff
             if(path.equals("fd")) return new FStat() { public int type() { return S_IFDIR; } public int mode() { return 0444; }};
             if(path.equals("")) return new FStat() { public int type() { return S_IFDIR; } public int mode() { return 0444; }};
             return null;
         }
         
-        public void mkdir(UnixRuntime r, String path, int mode) throws ErrnoException { throw new ErrnoException(EACCES); }
-    }
+        public void mkdir(UnixRuntime r, String path, int mode) throws ErrnoException { throw new ErrnoException(EROFS); }
+        public void unlink(UnixRuntime r, String path) throws ErrnoException { throw new ErrnoException(EROFS); }
+    }    
 }