src/org/xwt/HTTP.java

   1 // Copyright 2003 Adam Megacz, see the COPYING file for licensing [GPL]
   2 package org.xwt;
   3
   4 import java.net.*;
   5 import java.io.*;
   6 import java.util.*;
   7 import org.xwt.js.*;
   8 import org.xwt.util.*;
   9 import org.bouncycastle.util.encoders.Base64;
  10 import org.bouncycastle.crypto.digests.*;
  11
  12 /**
  13  *  This object encapsulates a *single* HTTP connection. Multiple requests may be pipelined over a connection (thread-safe),
  14  *  although any IOException encountered in a request will invalidate all later requests.
  15  */
  16 public class HTTP {
  17
  18     /** the URL as passed to the original constructor; this is never changed */
  19     final String originalUrl;
  20
  21     /** the URL to connect to; this is munged when the url is parsed */
  22     URL url = null;
  23
  24     /** the host to connect to */
  25     String host = null;
  26
  27     /** the port to connect on */
  28     int port = -1;
  29
  30     /** true if SSL (HTTPS) should be used */
  31     boolean ssl = false;
  32
  33     /** the path (URI) to retrieve on the server */
  34     String path = null;
  35
  36     /** the socket */
  37     Socket sock = null;
  38
  39     /** the socket's inputstream */
  40     InputStream in = null;
  41
  42     /** the username and password portions of the URL */
  43     String userInfo = null;
  44
  45     /** cache of userInfo strings, keyed on originalUrl */
  46     private static Hashtable authCache = new Hashtable();
  47
  48     /** this is null if the current request is the first request on
  49      *  this HTTP connection; otherwise it is a Semaphore which will be
  50      *  released once the request ahead of us has recieved its response
  51      */
  52     Semaphore okToRecieve = null;
  53
  54     /** true iff this is the first request to be made on this socket */
  55     boolean firstRequest = true;
  56
  57     /** cache for resolveAndCheckIfFirewalled() */
  58     static Hashtable resolvedHosts = new Hashtable();
  59
  60     /** true iff we are allowed to skip the resolve check (only allowed when we're downloading the PAC script) */
  61     boolean skipResolveCheck = false;
  62
  63     /** true iff we're using a proxy */
  64     boolean proxied = false;
  65
  66
  67     // Public Methods ////////////////////////////////////////////////////////////////////////////////////////
  68
  69     public HTTP(String url) { this(url, false); }
  70     public HTTP(String url, boolean skipResolveCheck) {
  71         originalUrl = url;
  72         this.skipResolveCheck = skipResolveCheck;
  73     }
  74
  75     /** Performs an HTTP GET request */
  76     public InputStream GET() throws IOException { return makeRequest(null, null); }
  77
  78     /** Performs an HTTP POST request; content is appended to the headers (so it should include a blank line to delimit the beginning of the body) */
  79     public InputStream POST(String contentType, String content) throws IOException { return makeRequest(contentType, content); }
  80
  81     /**
  82      *  This method isn't synchronized; however, only one thread can be in the inner synchronized block at a time, and the rest of
  83      *  the method is protected by in-order one-at-a-time semaphore lock-steps
  84      */
  85     private InputStream makeRequest(String contentType, String content) throws IOException {
  86
  87         // Step 1: send the request and establish a semaphore to stop any requests that pipeline after us
  88         Semaphore blockOn = null;
  89         Semaphore releaseMe = null;
  90         synchronized(this) {
  91             try {
  92                 connect();
  93                 sendRequest(contentType, content);
  94             } catch (IOException e) {
  95                 reset();
  96                 throw e;
  97             }
  98             blockOn = okToRecieve;
  99             releaseMe = okToRecieve = new Semaphore();
 100         }
 101
 102         // Step 2: wait for requests ahead of us to complete, then read the reply off the stream
 103         boolean doRelease = true;
 104         try {
 105             if (blockOn != null) blockOn.block();
 106
 107             // previous call wrecked the socket connection, but we already sent our request, so we can't just retry --
 108             // this could cause the server to receive the request twice, which could be bad (think of the case where the
 109             // server call causes Amazon.com to ship you an item with one-click purchasing).
 110             if (sock == null)
 111                 throw new HTTPException("a previous pipelined call messed up the socket");
 112
 113             Hashtable h = in == null ? null : parseHeaders(in);
 114             if (h == null) {
 115                 if (firstRequest) throw new HTTPException("server closed the socket with no response");
 116                 // sometimes the server chooses to close the stream between requests
 117                 reset();
 118                 releaseMe.release();
 119                 return makeRequest(contentType, content);
 120             }
 121
 122             String reply = h.get("STATUSLINE").toString();
 123
 124             if (reply.startsWith("407") || reply.startsWith("401")) {
 125
 126                 if (reply.startsWith("407")) doProxyAuth(h, content == null ? "GET" : "POST");
 127                 else doWebAuth(h, content == null ? "GET" : "POST");
 128
 129                 if (h.get("HTTP").equals("1.0") && h.get("content-length") == null) {
 130                     if (Log.on) Log.log(this, "proxy returned an HTTP/1.0 reply with no content-length...");
 131                     reset();
 132                 } else {
 133                     int cl = h.get("content-length") == null ? -1 : Integer.parseInt(h.get("content-length").toString());
 134                     new HTTPInputStream(in, cl, releaseMe).close();
 135                 }
 136                 releaseMe.release();
 137                 return makeRequest(contentType, content);
 138
 139             } else if (reply.startsWith("2")) {
 140                 if (h.get("HTTP").equals("1.0") && h.get("content-length") == null)
 141                     throw new HTTPException("XWT does not support HTTP/1.0 servers which fail to return the Content-Length header");
 142                 int cl = h.get("content-length") == null ? -1 : Integer.parseInt(h.get("content-length").toString());
 143                 InputStream ret = new HTTPInputStream(in, cl, releaseMe);
 144                 if ("gzip".equals(h.get("content-encoding"))) ret = new java.util.zip.GZIPInputStream(ret);
 145                 doRelease = false;
 146                 return ret;
 147
 148             } else {
 149                 throw new HTTPException("HTTP Error: " + reply);
 150
 151             }
 152
 153         } catch (IOException e) { reset(); throw e;
 154         } finally { if (doRelease) releaseMe.release();
 155         }
 156     }
 157
 158
 159     // Safeguarded DNS Resolver ///////////////////////////////////////////////////////////////////////////
 160
 161     /**
 162      *  resolves the hostname and returns it as a string in the form "x.y.z.w"
 163      *  @throws HTTPException if the host falls within a firewalled netblock
 164      */
 165     private void resolveAndCheckIfFirewalled(String host) throws HTTPException {
 166
 167         // cached
 168         if (resolvedHosts.get(host) != null) return;
 169
 170         // if all scripts are trustworthy (local FS), continue
 171         if (Main.originAddr == null) return;
 172
 173         // resolve using DNS
 174         try {
 175             InetAddress addr = InetAddress.getByName(host);
 176             byte[] quadbyte = addr.getAddress();
 177             if ((quadbyte[0] == 10 ||
 178                  (quadbyte[0] == 192 && quadbyte[1] == 168) ||
 179                  (quadbyte[0] == 172 && (quadbyte[1] & 0xF0) == 16)) && !addr.equals(Main.originAddr))
 180                 throw new HTTPException("security violation: " + host + " [" + addr.getHostAddress() + "] is in a firewalled netblock");
 181             return;
 182         } catch (UnknownHostException uhe) { }
 183
 184         if (Platform.detectProxy() == null)
 185             throw new HTTPException("could not resolve hostname \"" + host + "\" and no proxy configured");
 186     }
 187
 188
 189     // Methods to attempt socket creation /////////////////////////////////////////////////////////////////
 190
 191     private Socket getSocket(String host, int port, boolean ssl, boolean negotiate) throws IOException {
 192         Socket ret = ssl ? new TinySSL(host, port, negotiate) : new Socket(java.net.InetAddress.getByName(host), port);
 193         ret.setTcpNoDelay(true);
 194         return ret;
 195     }
 196
 197
 198     /** Attempts a direct connection */
 199     public Socket attemptDirect() {
 200         try {
 201             if (Log.verbose) Log.log(this, "attempting to create unproxied socket to " + host + ":" + port + (ssl ? " [ssl]" : ""));
 202             return getSocket(host, port, ssl, true);
 203         } catch (IOException e) {
 204             if (Log.on) Log.log(this, "exception in attemptDirect(): " + e);
 205             return null;
 206         }
 207     }
 208
 209     /** Attempts to use an HTTP proxy, employing the CONNECT method if HTTPS is requested */
 210     public Socket attemptHttpProxy(String proxyHost, int proxyPort) {
 211         try {
 212             if (Log.verbose) Log.log(this, "attempting to create HTTP proxied socket using proxy " + proxyHost + ":" + proxyPort);
 213
 214             Socket sock = getSocket(proxyHost, proxyPort, ssl, false);
 215             if (!ssl) {
 216                 if (!path.startsWith("http://")) path = "http://" + host + ":" + port + path;
 217             } else {
 218                 PrintWriter pw = new PrintWriter(new OutputStreamWriter(sock.getOutputStream()));
 219                 BufferedReader br = new BufferedReader(new InputStreamReader(sock.getInputStream()));
 220                 pw.print("CONNECT " + host + ":" + port + " HTTP/1.1\r\n\r\n");
 221                 pw.flush();
 222                 String s = br.readLine();
 223                 if (s.charAt(9) != '2') throw new HTTPException("proxy refused CONNECT method: \"" + s + "\"");
 224                 while (br.readLine().length() > 0) { };
 225                 ((TinySSL)sock).negotiate();
 226             }
 227             return sock;
 228
 229         } catch (IOException e) {
 230             if (Log.on) Log.log(this, "exception in attemptHttpProxy(): " + e);
 231             return null;
 232         }
 233     }
 234
 235     /**
 236      *  Implements SOCKSv4 with v4a DNS extension
 237      *  @see http://www.socks.nec.com/protocol/socks4.protocol
 238      *  @see http://www.socks.nec.com/protocol/socks4a.protocol
 239      */
 240     public Socket attemptSocksProxy(String proxyHost, int proxyPort) {
 241
 242         // even if host is already a "x.y.z.w" string, we use this to parse it into bytes
 243         InetAddress addr = null;
 244         try { addr = InetAddress.getByName(host); } catch (Exception e) { }
 245
 246         if (Log.verbose) Log.log(this, "attempting to create SOCKSv4" + (addr == null ? "" : "a") +
 247                                  " proxied socket using proxy " + proxyHost + ":" + proxyPort);
 248
 249         try {
 250             Socket sock = getSocket(proxyHost, proxyPort, ssl, false);
 251
 252             DataOutputStream dos = new DataOutputStream(sock.getOutputStream());
 253             dos.writeByte(0x04);                         // SOCKSv4(a)
 254             dos.writeByte(0x01);                         // CONNECT
 255             dos.writeShort(port & 0xffff);               // port
 256             if (addr == null) dos.writeInt(0x00000001);  // bogus IP
 257             else dos.write(addr.getAddress());           // actual IP
 258             dos.writeByte(0x00);                         // no userid
 259             if (addr == null) {
 260                 PrintWriter pw = new PrintWriter(new OutputStreamWriter(dos));
 261                 pw.print(host);
 262                 pw.flush();
 263                 dos.writeByte(0x00);                     // hostname null terminator
 264             }
 265             dos.flush();
 266
 267             DataInputStream dis = new DataInputStream(sock.getInputStream());
 268             dis.readByte();                              // reply version
 269             byte success = dis.readByte();               // success/fail
 270             dis.skip(6);                                 // ip/port
 271
 272             if ((int)(success & 0xff) == 90) {
 273                 if (ssl) ((TinySSL)sock).negotiate();
 274                 return sock;
 275             }
 276             if (Log.on) Log.log(this, "SOCKS server denied access, code " + (success & 0xff));
 277             return null;
 278
 279         } catch (IOException e) {
 280             if (Log.on) Log.log(this, "exception in attemptSocksProxy(): " + e);
 281             return null;
 282         }
 283     }
 284
 285     /** executes the PAC script and dispatches a call to one of the other attempt methods based on the result */
 286     public Socket attemptPAC(org.xwt.js.JSCallable pacFunc) {
 287         if (Log.verbose) Log.log(this, "evaluating PAC script");
 288         String pac = null;
 289         try {
 290             org.xwt.js.JSArray args = new org.xwt.js.JSArray();
 291             Object obj = pacFunc.call(url.toString(), url.getHost(), null, null, 2);
 292             if (Log.verbose) Log.log(this, "  PAC script returned \"" + obj + "\"");
 293             pac = obj.toString();
 294         } catch (Throwable e) {
 295             if (Log.on) Log.log(this, "PAC script threw exception " + e);
 296             return null;
 297         }
 298
 299         StringTokenizer st = new StringTokenizer(pac, ";", false);
 300         while (st.hasMoreTokens()) {
 301             String token = st.nextToken().trim();
 302             if (Log.verbose) Log.log(this, "  trying \"" + token + "\"...");
 303             try {
 304                 Socket ret = null;
 305                 if (token.startsWith("DIRECT"))
 306                     ret = attemptDirect();
 307                 else if (token.startsWith("PROXY"))
 308                     ret = attemptHttpProxy(token.substring(token.indexOf(' ') + 1, token.indexOf(':')),
 309                                            Integer.parseInt(token.substring(token.indexOf(':') + 1)));
 310                 else if (token.startsWith("SOCKS"))
 311                     ret = attemptSocksProxy(token.substring(token.indexOf(' ') + 1, token.indexOf(':')),
 312                                             Integer.parseInt(token.substring(token.indexOf(':') + 1)));
 313                 if (ret != null) return ret;
 314             } catch (Throwable e) {
 315                 if (Log.on) Log.log(this, "attempt at \"" + token + "\" failed due to " + e + "; trying next token");
 316             }
 317         }
 318         if (Log.on) Log.log(this, "all PAC results exhausted");
 319         return null;
 320     }
 321
 322
 323     // Everything Else ////////////////////////////////////////////////////////////////////////////
 324
 325     private synchronized void connect() throws IOException {
 326         if (originalUrl.equals("stdio:")) {
 327             in = new BufferedInputStream(System.in);
 328             return;
 329         }
 330         if (sock != null) {
 331             if (in == null) in = new BufferedInputStream(sock.getInputStream());
 332             return;
 333         }
 334         // grab the userinfo; gcj doesn't have java.net.URL.getUserInfo()
 335         String url = originalUrl;
 336         userInfo = url.substring(url.indexOf("://") + 3);
 337         userInfo = userInfo.indexOf('/') == -1 ? userInfo : userInfo.substring(0, userInfo.indexOf('/'));
 338         if (userInfo.indexOf('@') != -1) {
 339             userInfo = userInfo.substring(0, userInfo.indexOf('@'));
 340             url = url.substring(0, url.indexOf("://") + 3) + url.substring(url.indexOf('@') + 1);
 341         } else {
 342             userInfo = null;
 343         }
 344
 345         if (url.startsWith("https:")) {
 346             this.url = new URL("http" + url.substring(5));
 347             ssl = true;
 348         } else if (!url.startsWith("http:")) {
 349             throw new MalformedURLException("HTTP only supports http/https urls");
 350         } else {
 351             this.url = new URL(url);
 352         }
 353         if (!skipResolveCheck) resolveAndCheckIfFirewalled(this.url.getHost());
 354         port = this.url.getPort();
 355         path = this.url.getFile();
 356         if (port == -1) port = ssl ? 443 : 80;
 357         host = this.url.getHost();
 358         if (Log.verbose) Log.log(this, "creating HTTP object for connection to " + host + ":" + port);
 359
 360         Proxy pi = Platform.detectProxy();
 361         OUTER: do {
 362             if (pi != null) {
 363                 for(int i=0; i<pi.excluded.length; i++) if (host.equals(pi.excluded[i])) break OUTER;
 364                 if (sock == null && pi.proxyAutoConfigJSFunction != null) sock = attemptPAC(pi.proxyAutoConfigJSFunction);
 365                 if (sock == null && ssl && pi.httpsProxyHost != null) sock = attemptHttpProxy(pi.httpsProxyHost, pi.httpsProxyPort);
 366                 if (sock == null && pi.httpProxyHost != null) sock = attemptHttpProxy(pi.httpProxyHost, pi.httpProxyPort);
 367                 if (sock == null && pi.socksProxyHost != null) sock = attemptSocksProxy(pi.socksProxyHost, pi.socksProxyPort);
 368             }
 369         } while (false);
 370         proxied = sock != null;
 371         if (sock == null) sock = attemptDirect();
 372         if (sock == null) throw new HTTPException("unable to contact host " + host);
 373         if (in == null) in = new BufferedInputStream(sock.getInputStream());
 374     }
 375
 376     public void sendRequest(String contentType, String content) throws IOException {
 377
 378         PrintWriter pw = new PrintWriter(new OutputStreamWriter(originalUrl.equals("stdio:") ? System.out : sock.getOutputStream()));
 379         if (content != null) {
 380             pw.print("POST " + path + " HTTP/1.1\r\n");
 381             int contentLength = content.substring(0, 2).equals("\r\n") ?
 382                 content.length() - 2 :
 383                 (content.length() - content.indexOf("\r\n\r\n") - 4);
 384             pw.print("Content-Length: " + contentLength + "\r\n");
 385             if (contentType != null) pw.print("Content-Type: " + contentType + "\r\n");
 386         } else {
 387             pw.print("GET " + path + " HTTP/1.1\r\n");
 388         }
 389
 390         pw.print("User-Agent: XWT\r\n");
 391         pw.print("Accept-encoding: gzip\r\n");
 392         pw.print("Host: " + (host + (port == 80 ? "" : (":" + port))) + "\r\n");
 393         if (proxied) pw.print("X-RequestOrigin: " + Main.originHost + "\r\n");
 394
 395         if (Proxy.Authorization.authorization != null) pw.print("Proxy-Authorization: " + Proxy.Authorization.authorization2 + "\r\n");
 396         if (authCache.get(originalUrl) != null) pw.print("Authorization: " + authCache.get(originalUrl) + "\r\n");
 397
 398         pw.print(content == null ? "\r\n" : content);
 399         pw.print("\r\n");
 400         pw.flush();
 401     }
 402
 403     private void doWebAuth(Hashtable h0, String method) throws IOException {
 404         if (userInfo == null) throw new HTTPException("web server demanded username/password, but none were supplied");
 405         Hashtable h = parseAuthenticationChallenge(h0.get("www-authenticate").toString());
 406
 407         if (h.get("AUTHTYPE").equals("Basic")) {
 408             if (authCache.get(originalUrl) != null) throw new HTTPException("username/password rejected");
 409             authCache.put(originalUrl, "Basic " + new String(Base64.encode(userInfo.getBytes("US-ASCII"))));
 410
 411         } else if (h.get("AUTHTYPE").equals("Digest")) {
 412             if (authCache.get(originalUrl) != null && !"true".equals(h.get("stale"))) throw new HTTPException("username/password rejected");
 413             String path2 = path;
 414             if (path2.startsWith("http://") || path2.startsWith("https://")) {
 415                 path2 = path2.substring(path2.indexOf("://") + 3);
 416                 path2 = path2.substring(path2.indexOf('/'));
 417             }
 418             String A1 = userInfo.substring(0, userInfo.indexOf(':')) + ":" + h.get("realm") + ":" + userInfo.substring(userInfo.indexOf(':') + 1);
 419             String A2 = method + ":" + path2;
 420             authCache.put(originalUrl,
 421                           "Digest " +
 422                           "username=\"" + userInfo.substring(0, userInfo.indexOf(':')) + "\", " +
 423                           "realm=\"" + h.get("realm") + "\", " +
 424                           "nonce=\"" + h.get("nonce") + "\", " +
 425                           "uri=\"" + path2 + "\", " +
 426                           (h.get("opaque") == null ? "" : ("opaque=\"" + h.get("opaque") + "\", ")) +
 427                           "response=\"" + H(H(A1) + ":" + h.get("nonce") + ":" + H(A2)) + "\", " +
 428                           "algorithm=MD5"
 429                           );
 430
 431         } else {
 432             throw new HTTPException("unknown authentication type: " + h.get("AUTHTYPE"));
 433         }
 434     }
 435
 436     private void doProxyAuth(Hashtable h0, String method) throws IOException {
 437         if (Log.on) Log.log(this, "Proxy AuthChallenge: " + h0.get("proxy-authenticate"));
 438         Hashtable h = parseAuthenticationChallenge(h0.get("proxy-authenticate").toString());
 439         String style = h.get("AUTHTYPE").toString();
 440         String realm = (String)h.get("realm");
 441
 442         if (style.equals("NTLM") && Proxy.Authorization.authorization2 == null) {
 443             Log.log(this, "Proxy identified itself as NTLM, sending Type 1 packet");
 444             Proxy.Authorization.authorization2 = "NTLM " + Base64.encode(Proxy.NTLM.type1);
 445             return;
 446         }
 447
 448         if (!realm.equals("Digest") || Proxy.Authorization.authorization2 == null || !"true".equals(h.get("stale")))
 449             Proxy.Authorization.getPassword(realm, style, sock.getInetAddress().getHostAddress(), Proxy.Authorization.authorization);
 450
 451         if (style.equals("Basic")) {
 452             Proxy.Authorization.authorization2 =
 453                 "Basic " + new String(Base64.encode(Proxy.Authorization.authorization.getBytes("US-ASCII")));
 454
 455         } else if (style.equals("Digest")) {
 456             String A1 = Proxy.Authorization.authorization.substring(0, userInfo.indexOf(':')) + ":" + h.get("realm") + ":" +
 457                 Proxy.Authorization.authorization.substring(Proxy.Authorization.authorization.indexOf(':') + 1);
 458             String A2 = method + ":" + path;
 459             Proxy.Authorization.authorization2 =
 460                 "Digest " +
 461                 "username=\"" + Proxy.Authorization.authorization.substring(0, Proxy.Authorization.authorization.indexOf(':')) + "\", " +
 462                 "realm=\"" + h.get("realm") + "\", " +
 463                 "nonce=\"" + h.get("nonce") + "\", " +
 464                 "uri=\"" + path + "\", " +
 465                 (h.get("opaque") == null ? "" : ("opaque=\"" + h.get("opaque") + "\", ")) +
 466                 "response=\"" + H(H(A1) + ":" + h.get("nonce") + ":" + H(A2)) + "\", " +
 467                 "algorithm=MD5";
 468
 469         } else if (style.equals("NTLM")) {
 470             Log.log(this, "Proxy identified itself as NTLM, got Type 2 packet");
 471             byte[] type2 = Base64.decode(((String)h0.get("proxy-authenticate")).substring(5).trim());
 472             for(int i=0; i<type2.length; i += 4) {
 473                 String log = "";
 474                 if (i<type2.length) log += Integer.toString(type2[i] & 0xff, 16) + " ";
 475                 if (i+1<type2.length) log += Integer.toString(type2[i+1] & 0xff, 16) + " ";
 476                 if (i+2<type2.length) log += Integer.toString(type2[i+2] & 0xff, 16) + " ";
 477                 if (i+3<type2.length) log += Integer.toString(type2[i+3] & 0xff, 16) + " ";
 478                 Log.log(this, log);
 479             }
 480             // FEATURE: need to keep the connection open between type1 and type3
 481             // FEATURE: finish this
 482             //byte[] type3 = Proxy.NTLM.getResponse(
 483             //Proxy.Authorization.authorization2 = "NTLM " + Base64.encode(type3));
 484         }
 485     }
 486
 487
 488     // HTTPException ///////////////////////////////////////////////////////////////////////////////////
 489
 490     static class HTTPException extends IOException { public HTTPException(String s) { super(s); } }
 491
 492
 493     // HTTPInputStream ///////////////////////////////////////////////////////////////////////////////////
 494
 495     /** An input stream that represents a subset of a longer input stream. Supports HTTP chunking as well */
 496     public class HTTPInputStream extends FilterInputStream implements KnownLength {
 497
 498         /** if chunking, the number of bytes remaining in this subset; otherwise the remainder of the chunk */
 499         private int length = 0;
 500
 501         /** this semaphore will be released when the stream is closed */
 502         private Semaphore releaseMe = null;
 503
 504         /** indicates that we have encountered the zero-length terminator chunk */
 505         boolean chunkedDone = false;
 506
 507         /** if we're on the first chunk, we don't pre-read a CRLF */
 508         boolean firstChunk = true;
 509
 510         /** the length of the entire content body; -1 if chunked */
 511         private int contentLength = 0;
 512         public int getContentLength() { return contentLength; }
 513
 514         HTTPInputStream(InputStream in, int length, Semaphore releaseMe) throws IOException {
 515             super(in);
 516             this.releaseMe = releaseMe;
 517             this.contentLength = length;
 518             this.length = length == -1 ? 0 : length;
 519         }
 520
 521         public int getLength() { return contentLength; }
 522         public boolean markSupported() { return false; }
 523         public int read(byte[] b) throws IOException { return read(b, 0, b.length); }
 524         public long skip(long n) throws IOException { return read(null, -1, (int)n); }
 525         public int available() throws IOException {
 526             if (contentLength == -1) return java.lang.Math.min(super.available(), length);
 527             return super.available();
 528         }
 529
 530         public int read() throws IOException {
 531             byte[] b = new byte[1];
 532             int ret = read(b, 0, 1);
 533             return ret == -1 ? -1 : b[0] & 0xff;
 534         }
 535
 536         private void readChunk() throws IOException {
 537             if (chunkedDone) return;
 538             if (!firstChunk) super.skip(2); // CRLF
 539             firstChunk = false;
 540             String chunkLen = "";
 541             while(true) {
 542                 int i = super.read();
 543                 if (i == -1) throw new HTTPException("encountered end of stream while reading chunk length");
 544
 545                 // FEATURE: handle chunking extensions
 546                 if (i == '\r') {
 547                     super.read();    // LF
 548                     break;
 549                 } else {
 550                     chunkLen += (char)i;
 551                 }
 552             }
 553             length = Integer.parseInt(chunkLen.trim(), 16);
 554             if (length == 0) chunkedDone = true;
 555         }
 556
 557         public int read(byte[] b, int off, int len) throws IOException {
 558             boolean good = false;
 559             try {
 560                 if (length == 0 && contentLength == -1) {
 561                     readChunk();
 562                     if (chunkedDone) { good = true; return -1; }
 563                 } else {
 564                     if (length == 0) { good = true; return -1; }
 565                 }
 566                 if (len > length) len = length;
 567                 int ret = b == null ? (int)super.skip(len) : super.read(b, off, len);
 568                 if (ret >= 0) {
 569                     length -= ret;
 570                     good = true;
 571                 }
 572                 return ret;
 573             } finally {
 574                 if (!good) reset();
 575             }
 576         }
 577
 578         public void close() throws IOException {
 579             if (contentLength == -1) {
 580                 while(!chunkedDone) {
 581                     if (length != 0) skip(length);
 582                     readChunk();
 583                 }
 584                 skip(2);
 585             } else {
 586                 if (length != 0) skip(length);
 587             }
 588             if (releaseMe != null) releaseMe.release();
 589         }
 590     }
 591
 592     void reset() {
 593         firstRequest = true;
 594         in = null;
 595         sock = null;
 596     }
 597
 598
 599     // Misc Helpers ///////////////////////////////////////////////////////////////////////////////////
 600
 601     /** reads a set of HTTP headers off of the input stream, returning null if the stream is already at its end */
 602     private Hashtable parseHeaders(InputStream in) throws IOException {
 603         Hashtable ret = new Hashtable();
 604
 605         // we can't use a BufferedReader directly on the input stream, since it will buffer past the end of the headers
 606         byte[] buf = new byte[4096];
 607         int buflen = 0;
 608         while(true) {
 609             int read = in.read();
 610             if (read == -1 && buflen == 0) return null;
 611             if (read == -1) throw new HTTPException("stream closed while reading headers");
 612             buf[buflen++] = (byte)read;
 613             if (buflen >= 4 && buf[buflen - 4] == '\r' && buf[buflen - 3] == '\n' && buf[buflen - 2] == '\r' && buf[buflen - 1] == '\n') break;
 614             if (buflen == buf.length) {
 615                 byte[] newbuf = new byte[buf.length * 2];
 616                 System.arraycopy(buf, 0, newbuf, 0, buflen);
 617                 buf = newbuf;
 618             }
 619         }
 620
 621         BufferedReader br = new BufferedReader(new InputStreamReader(new ByteArrayInputStream(buf, 0, buflen)));
 622         String s = br.readLine();
 623         if (!s.startsWith("HTTP/")) throw new HTTPException("Expected reply to start with \"HTTP/\", got: " + s);
 624         ret.put("STATUSLINE", s.substring(s.indexOf(' ') + 1));
 625         ret.put("HTTP", s.substring(5, s.indexOf(' ')));
 626
 627         while((s = br.readLine()) != null && s.length() > 0) {
 628             String front = s.substring(0, s.indexOf(':')).toLowerCase();
 629             String back = s.substring(s.indexOf(':') + 1).trim();
 630             // ugly hack: we never replace a Digest-auth with a Basic-auth (proxy + www)
 631             if (front.endsWith("-authenticate") && ret.get(front) != null && !back.equals("Digest")) continue;
 632             ret.put(front, back);
 633         }
 634         return ret;
 635     }
 636
 637     private Hashtable parseAuthenticationChallenge(String s) {
 638         Hashtable ret = new Hashtable();
 639
 640         s = s.trim();
 641         ret.put("AUTHTYPE", s.substring(0, s.indexOf(' ')));
 642         s = s.substring(s.indexOf(' ')).trim();
 643
 644         while (s.length() > 0) {
 645             String val = null;
 646             String key = s.substring(0, s.indexOf('='));
 647             s = s.substring(s.indexOf('=') + 1);
 648             if (s.charAt(0) == '\"') {
 649                 s = s.substring(1);
 650                 val = s.substring(0, s.indexOf('\"'));
 651                 s = s.substring(s.indexOf('\"') + 1);
 652             } else {
 653                 val = s.indexOf(',') == -1 ? s : s.substring(0, s.indexOf(','));
 654                 s = s.indexOf(',') == -1 ? "" : s.substring(s.indexOf(',') + 1);
 655             }
 656             if (s.length() > 0 && s.charAt(0) == ',') s = s.substring(1);
 657             s = s.trim();
 658             ret.put(key, val);
 659         }
 660         return ret;
 661     }
 662
 663     private String H(String s) throws IOException {
 664         byte[] b = s.getBytes("US-ASCII");
 665         MD5Digest md5 = new MD5Digest();
 666         md5.update(b, 0, b.length);
 667         byte[] out = new byte[md5.getDigestSize()];
 668         md5.doFinal(out, 0);
 669         String ret = "";
 670         for(int i=0; i<out.length; i++) {
 671             ret += "0123456789abcdef".charAt((out[i] & 0xf0) >> 4);
 672             ret += "0123456789abcdef".charAt(out[i] & 0x0f);
 673         }
 674         return ret;
 675     }
 676
 677
 678     // Proxy ///////////////////////////////////////////////////////////
 679
 680     /** encapsulates most of the proxy logic; some is shared in HTTP.java */
 681     public static class Proxy {
 682
 683         public Proxy() { }
 684
 685         /** the HTTP Proxy host to use */
 686         public String httpProxyHost = null;
 687
 688         /** the HTTP Proxy port to use */
 689         public int httpProxyPort = -1;
 690
 691         /** if a seperate proxy should be used for HTTPS, this is the hostname; otherwise, httpProxyHost is used */
 692         public String httpsProxyHost = null;
 693
 694         /** if a seperate proxy should be used for HTTPS, this is the port */
 695         public int httpsProxyPort = -1;
 696
 697         /** the SOCKS Proxy Host to use */
 698         public String socksProxyHost = null;
 699
 700         /** the SOCKS Proxy Port to use */
 701         public int socksProxyPort = -1;
 702
 703         /** hosts to be excluded from proxy use; wildcards permitted */
 704         public String[] excluded = null;
 705
 706         /** the PAC script */
 707         public JSCallable proxyAutoConfigJSFunction = null;
 708
 709         public static Proxy detectProxyViaManual() {
 710             Proxy ret = new Proxy();
 711
 712             ret.httpProxyHost = Platform.getEnv("http_proxy");
 713             if (ret.httpProxyHost != null) {
 714                 if (ret.httpProxyHost.startsWith("http://")) ret.httpProxyHost = ret.httpProxyHost.substring(7);
 715                 if (ret.httpProxyHost.endsWith("/")) ret.httpProxyHost = ret.httpProxyHost.substring(0, ret.httpProxyHost.length() - 1);
 716                 if (ret.httpProxyHost.indexOf(':') != -1) {
 717                     ret.httpProxyPort = Integer.parseInt(ret.httpProxyHost.substring(ret.httpProxyHost.indexOf(':') + 1));
 718                     ret.httpProxyHost = ret.httpProxyHost.substring(0, ret.httpProxyHost.indexOf(':'));
 719                 } else {
 720                     ret.httpProxyPort = 80;
 721                 }
 722             }
 723
 724             ret.httpsProxyHost = Platform.getEnv("https_proxy");
 725             if (ret.httpsProxyHost != null) {
 726                 if (ret.httpsProxyHost.startsWith("https://")) ret.httpsProxyHost = ret.httpsProxyHost.substring(7);
 727                 if (ret.httpsProxyHost.endsWith("/")) ret.httpsProxyHost = ret.httpsProxyHost.substring(0, ret.httpsProxyHost.length() - 1);
 728                 if (ret.httpsProxyHost.indexOf(':') != -1) {
 729                     ret.httpsProxyPort = Integer.parseInt(ret.httpsProxyHost.substring(ret.httpsProxyHost.indexOf(':') + 1));
 730                     ret.httpsProxyHost = ret.httpsProxyHost.substring(0, ret.httpsProxyHost.indexOf(':'));
 731                 } else {
 732                     ret.httpsProxyPort = 80;
 733                 }
 734             }
 735
 736             ret.socksProxyHost = Platform.getEnv("socks_proxy");
 737             if (ret.socksProxyHost != null) {
 738                 if (ret.socksProxyHost.startsWith("socks://")) ret.socksProxyHost = ret.socksProxyHost.substring(7);
 739                 if (ret.socksProxyHost.endsWith("/")) ret.socksProxyHost = ret.socksProxyHost.substring(0, ret.socksProxyHost.length() - 1);
 740                 if (ret.socksProxyHost.indexOf(':') != -1) {
 741                     ret.socksProxyPort = Integer.parseInt(ret.socksProxyHost.substring(ret.socksProxyHost.indexOf(':') + 1));
 742                     ret.socksProxyHost = ret.socksProxyHost.substring(0, ret.socksProxyHost.indexOf(':'));
 743                 } else {
 744                     ret.socksProxyPort = 80;
 745                 }
 746             }
 747
 748             String noproxy = Platform.getEnv("no_proxy");
 749             if (noproxy != null) {
 750                 StringTokenizer st = new StringTokenizer(noproxy, ",");
 751                 ret.excluded = new String[st.countTokens()];
 752                 for(int i=0; st.hasMoreTokens(); i++) ret.excluded[i] = st.nextToken();
 753             }
 754
 755             if (ret.httpProxyHost == null && ret.socksProxyHost == null) return null;
 756             return ret;
 757         }
 758
 759         public static JSScope proxyAutoConfigRootJSScope = new ProxyAutoConfigRootJSScope();
 760         public static JSCallable getProxyAutoConfigJSFunction(String url) {
 761             try {
 762                 BufferedReader br = new BufferedReader(new InputStreamReader(new HTTP(url, true).GET()));
 763                 String s = null;
 764                 String script = "";
 765                 while((s = br.readLine()) != null) script += s + "\n";
 766                 if (Log.on) Log.log(Proxy.class, "successfully retrieved WPAD PAC:");
 767                 if (Log.on) Log.log(Proxy.class, script);
 768
 769                 // MS CARP hack
 770                 Vector carpHosts = new Vector();
 771                 for(int i=0; i<script.length(); i++)
 772                     if (script.regionMatches(i, "new Node(", 0, 9)) {
 773                         String host = script.substring(i + 10, script.indexOf('\"', i + 11));
 774                         if (Log.on) Log.log(Proxy.class, "Detected MS Proxy Server CARP Script, Host=" + host);
 775                         carpHosts.addElement(host);
 776                     }
 777                 if (carpHosts.size() > 0) {
 778                     script = "function FindProxyForURL(url, host) {\nreturn \"";
 779                     for(int i=0; i<carpHosts.size(); i++)
 780                         script += "PROXY " + carpHosts.elementAt(i) + "; ";
 781                     script += "\";\n}";
 782                     if (Log.on) Log.log(Proxy.class, "DeCARPed PAC script:");
 783                     if (Log.on) Log.log(Proxy.class, script);
 784                 }
 785
 786                 JSFunction scr = JS.parse("PAC script at " + url, 0, new StringReader(script));
 787                 scr.cloneWithNewParentJSScope(proxyAutoConfigRootJSScope).call(null, null, null, null, 0);
 788                 return (JSCallable)proxyAutoConfigRootJSScope.get("FindProxyForURL");
 789             } catch (Exception e) {
 790                 if (Log.on) {
 791                     Log.log(Platform.class, "WPAD detection failed due to:");
 792                     if (e instanceof JS.Exn) {
 793                         try {
 794                             org.xwt.js.JSArray arr = new org.xwt.js.JSArray();
 795                             arr.addElement(((JS.Exn)e).getObject());
 796                         } catch (Exception e2) {
 797                             Log.log(Platform.class, e);
 798                         }
 799                     }
 800                     else Log.log(Platform.class, e);
 801                 }
 802                 return null;
 803             }
 804         }
 805
 806
 807         // Authorization ///////////////////////////////////////////////////////////////////////////////////
 808
 809         public static class Authorization {
 810
 811             static public String authorization = null;
 812             static public String authorization2 = null;
 813             static public Semaphore waitingForUser = new Semaphore();
 814
 815             public static synchronized void getPassword(final String realm, final String style, final String proxyIP, String oldAuth) {
 816
 817                 // this handles cases where multiple threads hit the proxy auth at the same time -- all but one will block on the
 818                 // synchronized keyword. If 'authorization' changed while the thread was blocked, it means that the user entered
 819                 // a password, so we should reattempt authorization.
 820
 821                 if (authorization != oldAuth) return;
 822                 if (Log.on) Log.log(Authorization.class, "displaying proxy authorization dialog");
 823                 /*
 824                 Message.Q.add(new Message() {
 825                         public void perform() {
 826                             Box b = new Box();
 827                             Template t = Template.getTemplate((Res)Main.builtin.get("org/xwt/builtin/proxy_authorization.xwt"));
 828                             t.apply(b, null, null);
 829                             b.put("realm", realm);
 830                             b.put("proxyIP", proxyIP);
 831                         }
 832                     });
 833                 */
 834                 waitingForUser.block();
 835                 if (Log.on) Log.log(Authorization.class, "got proxy authorization info; re-attempting connection");
 836
 837             }
 838         }
 839
 840
 841         // ProxyAutoConfigRootJSScope ////////////////////////////////////////////////////////////////////
 842
 843         public static class ProxyAutoConfigRootJSScope extends JSScope.Global {
 844
 845             public ProxyAutoConfigRootJSScope() { super(null); }
 846
 847             public Object get(Object name) {
 848                 if (name.equals("isPlainHostName")) return isPlainHostName;
 849                 else if (name.equals("dnsDomainIs")) return dnsDomainIs;
 850                 else if (name.equals("localHostOrDomainIs")) return localHostOrDomainIs;
 851                 else if (name.equals("isResolvable")) return isResolvable;
 852                 else if (name.equals("isInNet")) return isInNet;
 853                 else if (name.equals("dnsResolve")) return dnsResolve;
 854                 else if (name.equals("myIpAddress")) return myIpAddress;
 855                 else if (name.equals("dnsDomainLevels")) return dnsDomainLevels;
 856                 else if (name.equals("shExpMatch")) return shExpMatch;
 857                 else if (name.equals("weekdayRange")) return weekdayRange;
 858                 else if (name.equals("dateRange")) return dateRange;
 859                 else if (name.equals("timeRange")) return timeRange;
 860                 else if (name.equals("ProxyConfig")) return ProxyConfig;
 861                 else return super.get(name);
 862             }
 863
 864             private static final JS proxyConfigBindings = new JS();
 865             private static final JS ProxyConfig = new JS() {
 866                     public Object get(Object name) {
 867                         if (name.equals("bindings")) return proxyConfigBindings;
 868                         return null;
 869                     }
 870                 };
 871
 872             private static final JSCallable isPlainHostName = new JSCallable() {
 873                     public Object call(org.xwt.js.JSArray args) throws JS.Exn {
 874                         return (args.elementAt(0).toString().indexOf('.') == -1) ? Boolean.TRUE : Boolean.FALSE;
 875                     }
 876                 };
 877
 878             private static final JSCallable dnsDomainIs = new JSCallable() {
 879                     public Object call(org.xwt.js.JSArray args) throws JS.Exn {
 880                         return (args.elementAt(0).toString().endsWith(args.elementAt(1).toString())) ? Boolean.TRUE : Boolean.FALSE;
 881                     }
 882                 };
 883
 884             private static final JSCallable localHostOrDomainIs = new JSCallable() {
 885                     public Object call(org.xwt.js.JSArray args) throws JS.Exn {
 886                         return (args.elementAt(0).toString().equals(args.elementAt(1).toString()) ||
 887                                 (args.elementAt(0).toString().indexOf('.') == -1 && args.elementAt(1).toString().startsWith(args.elementAt(0).toString()))) ?
 888                             Boolean.TRUE : Boolean.FALSE;
 889                     }
 890                 };
 891
 892             private static final JSCallable isResolvable = new JSCallable() {
 893                     public Object call(org.xwt.js.JSArray args) throws JS.Exn {
 894                         try {
 895                             return (InetAddress.getByName(args.elementAt(0).toString()) != null) ? Boolean.TRUE : Boolean.FALSE;
 896                         } catch (UnknownHostException e) {
 897                             return Boolean.FALSE;
 898                         }
 899                     }
 900                 };
 901
 902             private static final JSCallable isInNet = new JSCallable() {
 903                     public Object call(org.xwt.js.JSArray args) throws JS.Exn {
 904                         if (args.length() != 3) return Boolean.FALSE;
 905                         try {
 906                             byte[] host = InetAddress.getByName(args.elementAt(0).toString()).getAddress();
 907                             byte[] net = InetAddress.getByName(args.elementAt(1).toString()).getAddress();
 908                             byte[] mask = InetAddress.getByName(args.elementAt(2).toString()).getAddress();
 909                             return ((host[0] & mask[0]) == net[0] &&
 910                                     (host[1] & mask[1]) == net[1] &&
 911                                     (host[2] & mask[2]) == net[2] &&
 912                                     (host[3] & mask[3]) == net[3]) ?
 913                                 Boolean.TRUE : Boolean.FALSE;
 914                         } catch (Exception e) {
 915                             throw new JS.Exn("exception in isInNet(): " + e);
 916                         }
 917                     }
 918                 };
 919
 920             private static final JSCallable dnsResolve = new JSCallable() {
 921                     public Object call(org.xwt.js.JSArray args) throws JS.Exn {
 922                         try {
 923                             return InetAddress.getByName(args.elementAt(0).toString()).getHostAddress();
 924                         } catch (UnknownHostException e) {
 925                             return null;
 926                         }
 927                     }
 928                 };
 929
 930             private static final JSCallable myIpAddress = new JSCallable() {
 931                     public Object call(org.xwt.js.JSArray args) throws JS.Exn {
 932                         try {
 933                             return InetAddress.getLocalHost().getHostAddress();
 934                         } catch (UnknownHostException e) {
 935                             if (Log.on) Log.log(this, "strange... host does not know its own address");
 936                             return null;
 937                         }
 938                     }
 939                 };
 940
 941             private static final JSCallable dnsDomainLevels = new JSCallable() {
 942                     public Object call(org.xwt.js.JSArray args) throws JS.Exn {
 943                         String s = args.elementAt(0).toString();
 944                         int i = 0;
 945                         while((i = s.indexOf('.', i)) != -1) i++;
 946                         return new Integer(i);
 947                     }
 948                 };
 949
 950             private static boolean match(String[] arr, String s, int index) {
 951                 if (index >= arr.length) return true;
 952                 for(int i=0; i<s.length(); i++) {
 953                     String s2 = s.substring(i);
 954                     if (s2.startsWith(arr[index]) && match(arr, s2.substring(arr[index].length()), index + 1)) return true;
 955                 }
 956                 return false;
 957             }
 958
 959             private static final JSCallable shExpMatch = new JSCallable() {
 960                     public Object call(org.xwt.js.JSArray args) throws JS.Exn {
 961                         StringTokenizer st = new StringTokenizer(args.elementAt(1).toString(), "*", false);
 962                         String[] arr = new String[st.countTokens()];
 963                         String s = args.elementAt(0).toString();
 964                         for (int i=0; st.hasMoreTokens(); i++) arr[i] = st.nextToken();
 965                         return match(arr, s, 0) ? Boolean.TRUE : Boolean.FALSE;
 966                     }
 967                 };
 968
 969             public static String[] days = { "SUN", "MON", "TUE", "WED", "THU", "FRI", "SAT" };
 970
 971             private static final JSCallable weekdayRange = new JSCallable() {
 972                     public Object call(org.xwt.js.JSArray args) throws JS.Exn {
 973                         TimeZone tz = (args.length() < 3 || args.elementAt(2) == null || !args.elementAt(2).equals("GMT")) ? TimeZone.getTimeZone("UTC") : TimeZone.getDefault();
 974                         Calendar c = new GregorianCalendar();
 975                         c.setTimeZone(tz);
 976                         c.setTime(new java.util.Date());
 977                         java.util.Date d = c.getTime();
 978                         int day = d.getDay();
 979
 980                         String d1s = args.elementAt(0).toString().toUpperCase();
 981                         int d1 = 0, d2 = 0;
 982                         for(int i=0; i<days.length; i++) if (days[i].equals(d1s)) d1 = i;
 983
 984                         if (args.length() == 1)
 985                             return d1 == day ? Boolean.TRUE : Boolean.FALSE;
 986
 987                         String d2s = args.elementAt(1).toString().toUpperCase();
 988                         for(int i=0; i<days.length; i++) if (days[i].equals(d2s)) d2 = i;
 989
 990                         return
 991                             ((d1 <= d2 && day >= d1 && day <= d2) ||
 992                              (d1 > d2 && (day >= d1 || day <= d2))) ?
 993                             Boolean.TRUE : Boolean.FALSE;
 994                     }
 995                 };
 996
 997             private static final JSCallable dateRange = new JSCallable() {
 998                     public Object call(org.xwt.js.JSArray args) throws JS.Exn {
 999                         throw new JS.Exn("XWT does not support dateRange() in PAC scripts");
1000                     }
1001                 };
1002
1003             private static final JSCallable timeRange = new JSCallable() {
1004                     public Object call(org.xwt.js.JSArray args) throws JS.Exn {
1005                         throw new JS.Exn("XWT does not support timeRange() in PAC scripts");
1006                     }
1007                 };
1008
1009         }
1010
1011         /**
1012          *  An implementation of Microsoft's proprietary NTLM authentication protocol.  This code was derived from Eric
1013          *  Glass's work, and is copyright as follows:
1014          *
1015          *  Copyright (c) 2003 Eric Glass     (eglass1 at comcast.net).
1016          *
1017          *  Permission to use, copy, modify, and distribute this document for any purpose and without any fee is hereby
1018          *  granted, provided that the above copyright notice and this list of conditions appear in all copies.
1019          *  The most current version of this document may be obtained from http://davenport.sourceforge.net/ntlm.html .
1020          */
1021         public static class NTLM {
1022
1023             public static final byte[] type1 = new byte[] { 0x4e, 0x54, 0x4c, 0x4d, 0x53, 0x53, 0x50, 0x00, 0x01,
1024                                                             0x00, 0x00, 0x00, 0x00, 0x02, 0x02, 0x00 };
1025
1026             /**
1027              * Calculates the NTLM Response for the given challenge, using the
1028              * specified password.
1029              *
1030              * @param password The user's password.
1031              * @param challenge The Type 2 challenge from the server.
1032              *
1033              * @return The NTLM Response.
1034              */
1035             public static byte[] getNTLMResponse(String password, byte[] challenge)
1036                 throws Exception {
1037                 byte[] ntlmHash = ntlmHash(password);
1038                 return lmResponse(ntlmHash, challenge);
1039             }
1040
1041             /**
1042              * Calculates the LM Response for the given challenge, using the specified
1043              * password.
1044              *
1045              * @param password The user's password.
1046              * @param challenge The Type 2 challenge from the server.
1047              *
1048              * @return The LM Response.
1049              */
1050             public static byte[] getLMResponse(String password, byte[] challenge)
1051                 throws Exception {
1052                 byte[] lmHash = lmHash(password);
1053                 return lmResponse(lmHash, challenge);
1054             }
1055
1056             /**
1057              * Calculates the NTLMv2 Response for the given challenge, using the
1058              * specified authentication target, username, password, target information
1059              * block, and client challenge.
1060              *
1061              * @param target The authentication target (i.e., domain).
1062              * @param user The username.
1063              * @param password The user's password.
1064              * @param targetInformation The target information block from the Type 2
1065              * message.
1066              * @param challenge The Type 2 challenge from the server.
1067              * @param clientChallenge The random 8-byte client challenge.
1068              *
1069              * @return The NTLMv2 Response.
1070              */
1071             public static byte[] getNTLMv2Response(String target, String user,
1072                                                    String password, byte[] targetInformation, byte[] challenge,
1073                                                    byte[] clientChallenge) throws Exception {
1074                 byte[] ntlmv2Hash = ntlmv2Hash(target, user, password);
1075                 byte[] blob = createBlob(targetInformation, clientChallenge);
1076                 return lmv2Response(ntlmv2Hash, blob, challenge);
1077             }
1078
1079             /**
1080              * Calculates the LMv2 Response for the given challenge, using the
1081              * specified authentication target, username, password, and client
1082              * challenge.
1083              *
1084              * @param target The authentication target (i.e., domain).
1085              * @param user The username.
1086              * @param password The user's password.
1087              * @param challenge The Type 2 challenge from the server.
1088              * @param clientChallenge The random 8-byte client challenge.
1089              *
1090              * @return The LMv2 Response.
1091              */
1092             public static byte[] getLMv2Response(String target, String user,
1093                                                  String password, byte[] challenge, byte[] clientChallenge)
1094                 throws Exception {
1095                 byte[] ntlmv2Hash = ntlmv2Hash(target, user, password);
1096                 return lmv2Response(ntlmv2Hash, clientChallenge, challenge);
1097             }
1098
1099             /**
1100              * Calculates the NTLM2 Session Response for the given challenge, using the
1101              * specified password and client challenge.
1102              *
1103              * @param password The user's password.
1104              * @param challenge The Type 2 challenge from the server.
1105              * @param clientChallenge The random 8-byte client challenge.
1106              *
1107              * @return The NTLM2 Session Response.  This is placed in the NTLM
1108              * response field of the Type 3 message; the LM response field contains
1109              * the client challenge, null-padded to 24 bytes.
1110              */
1111             public static byte[] getNTLM2SessionResponse(String password,
1112                                                          byte[] challenge, byte[] clientChallenge) throws Exception {
1113                 byte[] ntlmHash = ntlmHash(password);
1114                 MD5Digest md5 = new MD5Digest();
1115                 md5.update(challenge, 0, challenge.length);
1116                 md5.update(clientChallenge, 0, clientChallenge.length);
1117                 byte[] sessionHash = new byte[8];
1118                 byte[] md5_out = new byte[md5.getDigestSize()];
1119                 md5.doFinal(md5_out, 0);
1120                 System.arraycopy(md5_out, 0, sessionHash, 0, 8);
1121                 return lmResponse(ntlmHash, sessionHash);
1122             }
1123
1124             /**
1125              * Creates the LM Hash of the user's password.
1126              *
1127              * @param password The password.
1128              *
1129              * @return The LM Hash of the given password, used in the calculation
1130              * of the LM Response.
1131              */
1132             private static byte[] lmHash(String password) throws Exception {
1133                 /*
1134                 byte[] oemPassword = password.toUpperCase().getBytes("US-ASCII");
1135                 int length = java.lang.Math.min(oemPassword.length, 14);
1136                 byte[] keyBytes = new byte[14];
1137                 System.arraycopy(oemPassword, 0, keyBytes, 0, length);
1138                 Key lowKey = createDESKey(keyBytes, 0);
1139                 Key highKey = createDESKey(keyBytes, 7);
1140                 byte[] magicConstant = "KGS!@#$%".getBytes("US-ASCII");
1141                 Cipher des = Cipher.getInstance("DES/ECB/NoPadding");
1142                 des.init(Cipher.ENCRYPT_MODE, lowKey);
1143                 byte[] lowHash = des.doFinal(magicConstant);
1144                 des.init(Cipher.ENCRYPT_MODE, highKey);
1145                 byte[] highHash = des.doFinal(magicConstant);
1146                 byte[] lmHash = new byte[16];
1147                 System.arraycopy(lowHash, 0, lmHash, 0, 8);
1148                 System.arraycopy(highHash, 0, lmHash, 8, 8);
1149                 return lmHash;
1150                 */
1151                 return null;
1152             }
1153
1154             /**
1155              * Creates the NTLM Hash of the user's password.
1156              *
1157              * @param password The password.
1158              *
1159              * @return The NTLM Hash of the given password, used in the calculation
1160              * of the NTLM Response and the NTLMv2 and LMv2 Hashes.
1161              */
1162             private static byte[] ntlmHash(String password) throws Exception {
1163                 byte[] unicodePassword = password.getBytes("UnicodeLittleUnmarked");
1164                 MD4Digest md4 = new MD4Digest();
1165                 md4.update(unicodePassword, 0, unicodePassword.length);
1166                 byte[] ret = new byte[md4.getDigestSize()];
1167                 return ret;
1168             }
1169
1170             /**
1171              * Creates the NTLMv2 Hash of the user's password.
1172              *
1173              * @param target The authentication target (i.e., domain).
1174              * @param user The username.
1175              * @param password The password.
1176              *
1177              * @return The NTLMv2 Hash, used in the calculation of the NTLMv2
1178              * and LMv2 Responses.
1179              */
1180             private static byte[] ntlmv2Hash(String target, String user,
1181                                              String password) throws Exception {
1182                 byte[] ntlmHash = ntlmHash(password);
1183                 String identity = user.toUpperCase() + target.toUpperCase();
1184                 return hmacMD5(identity.getBytes("UnicodeLittleUnmarked"), ntlmHash);
1185             }
1186
1187             /**
1188              * Creates the LM Response from the given hash and Type 2 challenge.
1189              *
1190              * @param hash The LM or NTLM Hash.
1191              * @param challenge The server challenge from the Type 2 message.
1192              *
1193              * @return The response (either LM or NTLM, depending on the provided
1194              * hash).
1195              */
1196             private static byte[] lmResponse(byte[] hash, byte[] challenge)
1197                 throws Exception {
1198                 /*
1199                 byte[] keyBytes = new byte[21];
1200                 System.arraycopy(hash, 0, keyBytes, 0, 16);
1201                 Key lowKey = createDESKey(keyBytes, 0);
1202                 Key middleKey = createDESKey(keyBytes, 7);
1203                 Key highKey = createDESKey(keyBytes, 14);
1204                 Cipher des = Cipher.getInstance("DES/ECB/NoPadding");
1205                 des.init(Cipher.ENCRYPT_MODE, lowKey);
1206                 byte[] lowResponse = des.doFinal(challenge);
1207                 des.init(Cipher.ENCRYPT_MODE, middleKey);
1208                 byte[] middleResponse = des.doFinal(challenge);
1209                 des.init(Cipher.ENCRYPT_MODE, highKey);
1210                 byte[] highResponse = des.doFinal(challenge);
1211                 byte[] lmResponse = new byte[24];
1212                 System.arraycopy(lowResponse, 0, lmResponse, 0, 8);
1213                 System.arraycopy(middleResponse, 0, lmResponse, 8, 8);
1214                 System.arraycopy(highResponse, 0, lmResponse, 16, 8);
1215                 return lmResponse;
1216                 */
1217                 return null;
1218             }
1219
1220             /**
1221              * Creates the LMv2 Response from the given hash, client data, and
1222              * Type 2 challenge.
1223              *
1224              * @param hash The NTLMv2 Hash.
1225              * @param clientData The client data (blob or client challenge).
1226              * @param challenge The server challenge from the Type 2 message.
1227              *
1228              * @return The response (either NTLMv2 or LMv2, depending on the
1229              * client data).
1230              */
1231             private static byte[] lmv2Response(byte[] hash, byte[] clientData,
1232                                                byte[] challenge) throws Exception {
1233                 byte[] data = new byte[challenge.length + clientData.length];
1234                 System.arraycopy(challenge, 0, data, 0, challenge.length);
1235                 System.arraycopy(clientData, 0, data, challenge.length,
1236                                  clientData.length);
1237                 byte[] mac = hmacMD5(data, hash);
1238                 byte[] lmv2Response = new byte[mac.length + clientData.length];
1239                 System.arraycopy(mac, 0, lmv2Response, 0, mac.length);
1240                 System.arraycopy(clientData, 0, lmv2Response, mac.length,
1241                                  clientData.length);
1242                 return lmv2Response;
1243             }
1244
1245             /**
1246              * Creates the NTLMv2 blob from the given target information block and
1247              * client challenge.
1248              *
1249              * @param targetInformation The target information block from the Type 2
1250              * message.
1251              * @param clientChallenge The random 8-byte client challenge.
1252              *
1253              * @return The blob, used in the calculation of the NTLMv2 Response.
1254              */
1255             private static byte[] createBlob(byte[] targetInformation,
1256                                              byte[] clientChallenge) {
1257                 byte[] blobSignature = new byte[] {
1258                     (byte) 0x01, (byte) 0x01, (byte) 0x00, (byte) 0x00
1259                 };
1260                 byte[] reserved = new byte[] {
1261                     (byte) 0x00, (byte) 0x00, (byte) 0x00, (byte) 0x00
1262                 };
1263                 byte[] unknown1 = new byte[] {
1264                     (byte) 0x00, (byte) 0x00, (byte) 0x00, (byte) 0x00
1265                 };
1266                 byte[] unknown2 = new byte[] {
1267                     (byte) 0x00, (byte) 0x00, (byte) 0x00, (byte) 0x00
1268                 };
1269                 long time = System.currentTimeMillis();
1270                 time += 11644473600000l; // milliseconds from January 1, 1601 -> epoch.
1271                 time *= 10000; // tenths of a microsecond.
1272                 // convert to little-endian byte array.
1273                 byte[] timestamp = new byte[8];
1274                 for (int i = 0; i < 8; i++) {
1275                     timestamp[i] = (byte) time;
1276                     time >>>= 8;
1277                 }
1278                 byte[] blob = new byte[blobSignature.length + reserved.length +
1279                                        timestamp.length + clientChallenge.length +
1280                                        unknown1.length + targetInformation.length +
1281                                        unknown2.length];
1282                 int offset = 0;
1283                 System.arraycopy(blobSignature, 0, blob, offset, blobSignature.length);
1284                 offset += blobSignature.length;
1285                 System.arraycopy(reserved, 0, blob, offset, reserved.length);
1286                 offset += reserved.length;
1287                 System.arraycopy(timestamp, 0, blob, offset, timestamp.length);
1288                 offset += timestamp.length;
1289                 System.arraycopy(clientChallenge, 0, blob, offset,
1290                                  clientChallenge.length);
1291                 offset += clientChallenge.length;
1292                 System.arraycopy(unknown1, 0, blob, offset, unknown1.length);
1293                 offset += unknown1.length;
1294                 System.arraycopy(targetInformation, 0, blob, offset,
1295                                  targetInformation.length);
1296                 offset += targetInformation.length;
1297                 System.arraycopy(unknown2, 0, blob, offset, unknown2.length);
1298                 return blob;
1299             }
1300
1301             /**
1302              * Calculates the HMAC-MD5 hash of the given data using the specified
1303              * hashing key.
1304              *
1305              * @param data The data for which the hash will be calculated.
1306              * @param key The hashing key.
1307              *
1308              * @return The HMAC-MD5 hash of the given data.
1309              */
1310             private static byte[] hmacMD5(byte[] data, byte[] key) throws Exception {
1311                 byte[] ipad = new byte[64];
1312                 byte[] opad = new byte[64];
1313                 for (int i = 0; i < 64; i++) {
1314                     ipad[i] = (byte) 0x36;
1315                     opad[i] = (byte) 0x5c;
1316                 }
1317                 for (int i = key.length - 1; i >= 0; i--) {
1318                     ipad[i] ^= key[i];
1319                     opad[i] ^= key[i];
1320                 }
1321                 byte[] content = new byte[data.length + 64];
1322                 System.arraycopy(ipad, 0, content, 0, 64);
1323                 System.arraycopy(data, 0, content, 64, data.length);
1324                 MD5Digest md5 = new MD5Digest();
1325                 md5.update(content, 0, content.length);
1326                 data = new byte[md5.getDigestSize()];
1327                 md5.doFinal(data, 0);
1328                 content = new byte[data.length + 64];
1329                 System.arraycopy(opad, 0, content, 0, 64);
1330                 System.arraycopy(data, 0, content, 64, data.length);
1331                 md5 = new MD5Digest();
1332                 md5.update(content, 0, content.length);
1333                 byte[] ret = new byte[md5.getDigestSize()];
1334                 md5.doFinal(ret, 0);
1335                 return ret;
1336             }
1337
1338             /**
1339              * Creates a DES encryption key from the given key material.
1340              *
1341              * @param bytes A byte array containing the DES key material.
1342              * @param offset The offset in the given byte array at which
1343              * the 7-byte key material starts.
1344              *
1345              * @return A DES encryption key created from the key material
1346              * starting at the specified offset in the given byte array.
1347              */
1348                 /*
1349             private static Key createDESKey(byte[] bytes, int offset) {
1350                 byte[] keyBytes = new byte[7];
1351                 System.arraycopy(bytes, offset, keyBytes, 0, 7);
1352                 byte[] material = new byte[8];
1353                 material[0] = keyBytes[0];
1354                 material[1] = (byte) (keyBytes[0] << 7 | (keyBytes[1] & 0xff) >>> 1);
1355                 material[2] = (byte) (keyBytes[1] << 6 | (keyBytes[2] & 0xff) >>> 2);
1356                 material[3] = (byte) (keyBytes[2] << 5 | (keyBytes[3] & 0xff) >>> 3);
1357                 material[4] = (byte) (keyBytes[3] << 4 | (keyBytes[4] & 0xff) >>> 4);
1358                 material[5] = (byte) (keyBytes[4] << 3 | (keyBytes[5] & 0xff) >>> 5);
1359                 material[6] = (byte) (keyBytes[5] << 2 | (keyBytes[6] & 0xff) >>> 6);
1360                 material[7] = (byte) (keyBytes[6] << 1);
1361                 oddParity(material);
1362                 return new SecretKeySpec(material, "DES");
1363             }
1364                 */
1365
1366             /**
1367              * Applies odd parity to the given byte array.
1368              *
1369              * @param bytes The data whose parity bits are to be adjusted for
1370              * odd parity.
1371              */
1372             private static void oddParity(byte[] bytes) {
1373                 for (int i = 0; i < bytes.length; i++) {
1374                     byte b = bytes[i];
1375                     boolean needsParity = (((b >>> 7) ^ (b >>> 6) ^ (b >>> 5) ^
1376                                             (b >>> 4) ^ (b >>> 3) ^ (b >>> 2) ^
1377                                             (b >>> 1)) & 0x01) == 0;
1378                     if (needsParity) {
1379                         bytes[i] |= (byte) 0x01;
1380                     } else {
1381                         bytes[i] &= (byte) 0xfe;
1382                     }
1383                 }
1384             }
1385
1386         }
1387     }
1388 }