sync-all

   1 #!/usr/bin/perl -w
   2
   3 use strict;
   4 use Cwd;
   5
   6 # Usage:
   7 #
   8 # ./sync-all [-q] [-s] [--ignore-failure] [-r repo]
   9 #            [--nofib] [--testsuite] [--checked-out] cmd [git flags]
  10 #
  11 # Applies the command "cmd" to each repository in the tree.
  12 # sync-all will try to do the right thing for both git and darcs repositories.
  13 #
  14 # e.g.
  15 #      ./sync-all -r http://darcs.haskell.org/ghc get
  16 #          To get any repos which do not exist in the local tree
  17 #
  18 #      ./sync-all pull
  19 #          To pull everything from the default repos
  20 #
  21 # -------------- Flags -------------------
  22 #   -q says to be quite, and -s to be silent.
  23 #
  24 #   --ignore-failure says to ignore errors and move on to the next repository
  25 #
  26 #   -r repo says to use repo as the location of package repositories
  27 #
  28 #   --checked-out says that the remote repo is in checked-out layout, as
  29 #   opposed to the layout used for the main repo.  By default a repo on
  30 #   the local filesystem is assumed to be checked-out, and repos accessed
  31 #   via HTTP or SSH are assumed to be in the main repo layout; use
  32 #   --checked-out to override the latter.
  33 #
  34 #   --nofib, --testsuite also get the nofib and testsuite repos respectively
  35 #
  36 # ------------ Which repos to use -------------
  37 # sync-all uses the following algorithm to decide which remote repos to use
  38 #
  39 #  It always computes the remote repos from a single base, $repo_base
  40 #  How is $repo_base set?
  41 #    If you say "-r repo", then that's $repo_base
  42 #    otherwise $repo_base is set by asking git where the ghc repo came
  43 #    from, and removing the last component (e.g. /ghc.git/ of /ghc/).
  44 #
  45 #  Then sync-all iterates over the package found in the file
  46 #  ./packages; see that file for a description of the contents.
  47 #
  48 #    If $repo_base looks like a local filesystem path, or if you give
  49 #    the --checked-out flag, sync-all works on repos of form
  50 #          $repo_base/<local-path>
  51 #    otherwise sync-all works on repos of form
  52 #          $repo_base/<remote-path>
  53 #    This logic lets you say
  54 #      both    sync-all -r http://darcs.haskell.org/ghc-6.12 pull
  55 #      and     sync-all -r ../HEAD pull
  56 #    The latter is called a "checked-out tree".
  57
  58 # NB: sync-all *ignores* the defaultrepo of all repos other than the
  59 # root one.  So the remote repos must be laid out in one of the two
  60 # formats given by <local-path> and <remote-path> in the file 'packages'.
  61
  62 $| = 1; # autoflush stdout after each print, to avoid output after die
  63
  64 my $defaultrepo;
  65 my @packages;
  66 my $verbose = 2;
  67 my $ignore_failure = 0;
  68 my $checked_out_flag = 0;
  69 my $get_mode;
  70
  71 my %tags;
  72
  73 # Figure out where to get the other repositories from.
  74 sub getrepo {
  75     my $basedir = ".";
  76     my $repo;
  77
  78     if (defined($defaultrepo)) {
  79         $repo = $defaultrepo;
  80         chomp $repo;
  81     } else {
  82         # Figure out where to get the other repositories from,
  83         # based on where this GHC repo came from.
  84         my $branch = `git branch | grep "\* " | sed "s/^\* //"`; chomp $branch;
  85         my $remote = `git config branch.$branch.remote`;         chomp $remote;
  86         $repo = `git config remote.$remote.url`;       chomp $repo;
  87     }
  88
  89     my $repo_base;
  90     my $checked_out_tree;
  91
  92     if ($repo =~ /^...*:/) {
  93         # HTTP or SSH
  94         # Above regex says "at least two chars before the :", to avoid
  95         # catching Win32 drives ("C:\").
  96         $repo_base = $repo;
  97
  98         # --checked-out is needed if you want to use a checked-out repo
  99         # over SSH or HTTP
 100         if ($checked_out_flag) {
 101             $checked_out_tree = 1;
 102         } else {
 103             $checked_out_tree = 0;
 104         }
 105
 106         # Don't drop the last part of the path if specified with -r, as
 107         # it expects repos of the form:
 108         #
 109         #   http://darcs.haskell.org
 110         #
 111         # rather than
 112         #
 113         #   http://darcs.haskell.org/ghc
 114         #
 115         if (!$defaultrepo) {
 116             $repo_base =~ s#/[^/]+/?$##;
 117         }
 118     }
 119     elsif ($repo =~ /^\/|\.\.\/|.:(\/|\\)/) {
 120         # Local filesystem, either absolute or relative path
 121         # (assumes a checked-out tree):
 122         $repo_base = $repo;
 123         $checked_out_tree = 1;
 124     }
 125     else {
 126         die "Couldn't work out repo";
 127     }
 128
 129     return $repo_base, $checked_out_tree;
 130 }
 131
 132 sub parsePackages {
 133     my @repos;
 134     my $lineNum;
 135
 136     open IN, "< packages" or die "Can't open packages file";
 137     @repos = <IN>;
 138     close IN;
 139
 140     @packages = ();
 141     $lineNum = 0;
 142     foreach (@repos) {
 143         chomp;
 144         $lineNum++;
 145         if (/^([^# ]+) +([^ ]+) +([^ ]+) +([^ ]+)$/) {
 146             my %line;
 147             $line{"localpath"}  = $1;
 148             $line{"tag"}        = $2;
 149             $line{"remotepath"} = $3;
 150             $line{"vcs"}        = $4;
 151             push @packages, \%line;
 152         }
 153         elsif (! /^(#.*)?$/) {
 154             die "Bad content on line $lineNum of packages file: $_";
 155         }
 156     }
 157 }
 158
 159 sub message {
 160     if ($verbose >= 2) {
 161         print "@_\n";
 162     }
 163 }
 164
 165 sub warning {
 166     if ($verbose >= 1) {
 167         print "warning: @_\n";
 168     }
 169 }
 170
 171 sub scm {
 172     my $dir = shift;
 173     my $scm = shift;
 174     my $pwd;
 175
 176     if ($dir eq '.') {
 177         message "== running $scm @_";
 178     } else {
 179         message "== $dir: running $scm @_";
 180         $pwd = getcwd();
 181         chdir($dir);
 182     }
 183
 184     system ($scm, @_) == 0
 185         or $ignore_failure
 186         or die "$scm failed: $?";
 187
 188     if ($dir ne '.') {
 189         chdir($pwd);
 190     }
 191 }
 192
 193 sub scmall {
 194     my $command = shift;
 195
 196     my $localpath;
 197     my $tag;
 198     my $remotepath;
 199     my $scm;
 200     my $line;
 201     my $branch_name;
 202     my $subcommand;
 203
 204     my $path;
 205     my $wd_before = getcwd;
 206
 207     my $pwd;
 208     my @args;
 209
 210     my ($repo_base, $checked_out_tree) = getrepo();
 211
 212     my $is_github_repo = $repo_base =~ m/(git@|git:\/\/|https:\/\/)github.com/;
 213
 214     parsePackages;
 215
 216     @args = ();
 217
 218     if ($command =~ /^remote$/) {
 219         while (@_ > 0 && $_[0] =~ /^-/) {
 220             push(@args,shift);
 221         }
 222         if (@_ < 1) { help(); }
 223         $subcommand = shift;
 224         if ($subcommand ne 'add' && $subcommand ne 'rm' && $subcommand ne 'set-url') {
 225             help();
 226         }
 227         while (@_ > 0 && $_[0] =~ /^-/) {
 228             push(@args,shift);
 229         }
 230         if (($subcommand eq 'add' || $subcommand eq 'rm') && @_ < 1) {
 231             help();
 232         } elsif (@_ < 1) { # set-url
 233             $branch_name = 'origin';
 234         } else {
 235             $branch_name = shift;
 236         }
 237     } elsif ($command eq 'new') {
 238         if (@_ < 1) {
 239             $branch_name = 'origin';
 240         } else {
 241             $branch_name = shift;
 242         }
 243     }
 244
 245     push(@args, @_);
 246
 247     for $line (@packages) {
 248
 249         $localpath  = $$line{"localpath"};
 250         $tag        = $$line{"tag"};
 251         $remotepath = $$line{"remotepath"};
 252         $scm        = $$line{"vcs"};
 253
 254         # Check the SCM is OK as early as possible
 255         die "Unknown SCM: $scm" if (($scm ne "darcs") and ($scm ne "git"));
 256
 257         # We can't create directories on GitHub, so we translate
 258         # "package/foo" into "package-foo".
 259         if ($is_github_repo) {
 260             $remotepath =~ s/\//-/;
 261         }
 262
 263         # Work out the path for this package in the repo we pulled from
 264         if ($checked_out_tree) {
 265             $path = "$repo_base/$localpath";
 266         }
 267         else {
 268             $path = "$repo_base/$remotepath";
 269         }
 270
 271         if ($command =~ /^(?:g|ge|get)$/) {
 272             # Skip any repositories we have not included the tag for
 273             if (not defined($tags{$tag})) {
 274                 $tags{$tag} = 0;
 275             }
 276             if ($tags{$tag} == 0) {
 277                 next;
 278             }
 279
 280             if (-d $localpath) {
 281                 warning("$localpath already present; omitting")
 282                     if $localpath ne ".";
 283                 if ($scm eq "git") {
 284                     scm ($localpath, $scm, "config", "core.ignorecase", "true");
 285                 }
 286                 next;
 287             }
 288
 289             # Note that we use "." as the path, as $localpath
 290             # doesn't exist yet.
 291             if ($scm eq "darcs") {
 292                 # The first time round the loop, default the get-mode
 293                 if (not defined($get_mode)) {
 294                     warning("adding --partial, to override use --complete");
 295                     $get_mode = "--partial";
 296                 }
 297                 scm (".", $scm, "get", $get_mode, $path, $localpath, @args);
 298             }
 299             else {
 300                 scm (".", $scm, "clone", $path, $localpath, @args);
 301                 scm ($localpath, $scm, "config", "core.ignorecase", "true");
 302             }
 303             next;
 304         }
 305
 306         if (-d "$localpath/_darcs") {
 307             if (-d "$localpath/.git") {
 308                 die "Found both _darcs and .git in $localpath";
 309             }
 310             $scm = "darcs";
 311         } elsif (-d "$localpath/.git") {
 312             $scm = "git";
 313         } elsif ($tag eq "") {
 314             die "Required repo $localpath is missing";
 315         } else {
 316              message "== $localpath repo not present; skipping";
 317              next;
 318         }
 319
 320         # Work out the arguments we should give to the SCM
 321         if ($command =~ /^(?:w|wh|wha|what|whats|whatsn|whatsne|whatsnew|status)$/) {
 322             if ($scm eq "darcs") {
 323                 $command = "whatsnew";
 324             }
 325             elsif ($scm eq "git") {
 326                 $command = "status";
 327             }
 328             else {
 329                 die "Unknown scm";
 330             }
 331
 332             # Hack around 'darcs whatsnew' failing if there are no changes
 333             $ignore_failure = 1;
 334             scm ($localpath, $scm, $command, @args);
 335         }
 336         elsif ($command =~ /^commit$/) {
 337             # git fails if there is nothing to commit, so ignore failures
 338             $ignore_failure = 1;
 339             scm ($localpath, $scm, "commit", @args);
 340         }
 341         elsif ($command =~ /^(?:pus|push)$/) {
 342             scm ($localpath, $scm, "push", @args);
 343         }
 344         elsif ($command =~ /^(?:pul|pull)$/) {
 345             scm ($localpath, $scm, "pull", @args);
 346         }
 347         elsif ($command =~ /^(?:s|se|sen|send)$/) {
 348             if ($scm eq "darcs") {
 349                 $command = "send";
 350             }
 351             elsif ($scm eq "git") {
 352                 $command = "send-email";
 353             }
 354             else {
 355                 die "Unknown scm";
 356             }
 357             scm ($localpath, $scm, $command, @args);
 358         }
 359         elsif ($command =~ /^fetch$/) {
 360             scm ($localpath, $scm, "fetch", @args);
 361         }
 362         elsif ($command =~ /^new$/) {
 363             my @scm_args = ("log", "$branch_name..");
 364             scm ($localpath, $scm, @scm_args, @args);
 365         }
 366         elsif ($command =~ /^log$/) {
 367             scm ($localpath, $scm, "log", @args);
 368         }
 369         elsif ($command =~ /^remote$/) {
 370             my @scm_args;
 371             if ($subcommand eq 'add') {
 372                 @scm_args = ("remote", "add", $branch_name, $path);
 373             } elsif ($subcommand eq 'rm') {
 374                 @scm_args = ("remote", "rm", $branch_name);
 375             } elsif ($subcommand eq 'set-url') {
 376                 @scm_args = ("remote", "set-url", $branch_name, $path);
 377             }
 378             scm ($localpath, $scm, @scm_args, @args);
 379         }
 380         elsif ($command =~ /^checkout$/) {
 381             # Not all repos are necessarily branched, so ignore failure
 382             $ignore_failure = 1;
 383             scm ($localpath, $scm, "checkout", @args)
 384                 unless $scm eq "darcs";
 385         }
 386         elsif ($command =~ /^grep$/) {
 387             # Hack around 'git grep' failing if there are no matches
 388             $ignore_failure = 1;
 389             scm ($localpath, $scm, "grep", @args)
 390                 unless $scm eq "darcs";
 391         }
 392         elsif ($command =~ /^clean$/) {
 393             scm ($localpath, $scm, "clean", @args)
 394                 unless $scm eq "darcs";
 395         }
 396         elsif ($command =~ /^reset$/) {
 397             scm ($localpath, $scm, "reset", @args)
 398                 unless $scm eq "darcs";
 399         }
 400         elsif ($command =~ /^config$/) {
 401             scm ($localpath, $scm, "config", @args)
 402                 unless $scm eq "darcs";
 403         }
 404         else {
 405             die "Unknown command: $command";
 406         }
 407     }
 408 }
 409
 410
 411 sub help()
 412 {
 413         # Get the built in help
 414         my $help = <<END;
 415 What do you want to do?
 416 Supported commands:
 417
 418  * whatsnew
 419  * commit
 420  * push
 421  * pull
 422  * get, with options:
 423   * --<package-tag>
 424   * --complete
 425   * --partial
 426  * fetch
 427  * send
 428  * new
 429  * remote add <branch-name>
 430  * remote rm <branch-name>
 431  * remote set-url [--push] <branch-name>
 432  * checkout
 433  * grep
 434  * clean
 435  * reset
 436  * config
 437  * log
 438
 439 Available package-tags are:
 440 END
 441
 442         # Collect all the tags in the packages file
 443         my %available_tags;
 444         open IN, "< packages" or die "Can't open packages file";
 445         while (<IN>) {
 446             chomp;
 447             if (/^([^# ]+) +(?:([^ ]+) +)?([^ ]+) +([^ ]+)/) {
 448                 if (defined($2) && $2 ne "-") {
 449                     $available_tags{$2} = 1;
 450                 }
 451             }
 452             elsif (! /^(#.*)?$/) {
 453                 die "Bad line: $_";
 454             }
 455         }
 456         close IN;
 457
 458         # Show those tags and the help text
 459         my @available_tags = keys %available_tags;
 460         print "$help@available_tags\n";
 461         exit 1;
 462 }
 463
 464 sub main {
 465     if (! -d ".git" || ! -d "compiler") {
 466         die "error: sync-all must be run from the top level of the ghc tree."
 467     }
 468
 469     $tags{"-"} = 1;
 470     $tags{"dph"} = 1;
 471
 472     while ($#_ ne -1) {
 473         my $arg = shift;
 474         # We handle -q here as well as lower down as we need to skip over it
 475         # if it comes before the source-control command
 476         if ($arg eq "-q") {
 477             $verbose = 1;
 478         }
 479         elsif ($arg eq "-s") {
 480             $verbose = 0;
 481         }
 482         elsif ($arg eq "-r") {
 483             $defaultrepo = shift;
 484         }
 485         elsif ($arg eq "--ignore-failure") {
 486             $ignore_failure = 1;
 487         }
 488         elsif ($arg eq "--complete" || $arg eq "--partial") {
 489             $get_mode = $arg;
 490         }
 491         # Use --checked-out if the remote repos are a checked-out tree,
 492         # rather than the master trees.
 493         elsif ($arg eq "--checked-out") {
 494             $checked_out_flag = 1;
 495         }
 496         # --<tag> says we grab the libs tagged 'tag' with
 497         # 'get'. It has no effect on the other commands.
 498         elsif ($arg =~ m/^--no-(.*)$/) {
 499             $tags{$1} = 0;
 500         }
 501         elsif ($arg =~ m/^--(.*)$/) {
 502             $tags{$1} = 1;
 503         }
 504         else {
 505             unshift @_, $arg;
 506             if (grep /^-q$/, @_) {
 507                 $verbose = 1;
 508             }
 509             last;
 510         }
 511     }
 512
 513     if ($#_ eq -1) {
 514         help();
 515     }
 516     else {
 517         # Give the command and rest of the arguments to the main loop
 518         scmall @_;
 519     }
 520 }
 521
 522 main(@ARGV);
 523