RT# 81596 - fixed freeside-upgrade to not drop custom fields
[freeside.git] / FS / bin / freeside-upgrade
index dd20688..0df3884 100755 (executable)
@@ -61,76 +61,37 @@ $start = time;
 
 my @bugfix = ();
 
-if (dbdef->table('cust_main')->column('agent_custid') && ! $opt_s) { 
-  push @bugfix,
-    "UPDATE cust_main SET agent_custid = NULL where agent_custid = ''";
-
-  push @bugfix,
-    "UPDATE h_cust_main SET agent_custid = NULL where agent_custid = ''"
-      if (dbdef->table('h_cust_main')); 
-}
-
-if ( dbdef->table('cgp_rule_condition') &&
-     dbdef->table('cgp_rule_condition')->column('condition') 
-   )
-{
-  push @bugfix,
-   "ALTER TABLE ${_}cgp_rule_condition RENAME COLUMN condition TO conditionname"
-      for '', 'h_';
-
-}
-
-if ( dbdef->table('areacode') and
-     dbdef->table('areacode')->primary_key eq 'code' )
-{
-  if ( driver_name =~ /^mysql/i ) {
-    push @bugfix, 
-      'ALTER TABLE areacode DROP PRIMARY KEY',
-      'ALTER TABLE areacode ADD COLUMN (areanum int auto_increment primary key)';
-  }
-  else {
-    push @bugfix, 'ALTER TABLE areacode DROP CONSTRAINT areacode_pkey';
-  }
-}
-
-if ( dbdef->table('upgrade_journal') ) {
-  if ( driver_name =~ /^Pg/i ) {
-    push @bugfix, "
-      SELECT SETVAL( 'upgrade_journal_upgradenum_seq',
-                     ( SELECT MAX(upgradenum) FROM upgrade_journal )
-                   )
-    ";
-  #MySQL can't do this in a statement so have to do it manually
-  #} elsif ( driver_name =~ /^mysql/i ) {
-  #  push @bugfix, "
-  #     ALTER TABLE upgrade_journal AUTO_INCREMENT =
-  #                 ( ( SELECT MAX(upgradenum) FROM upgrade_journal ) + 1 )
-  #  ";
-  }
-}
-
 if ( $DRY_RUN ) {
-  print
-    join(";\n", @bugfix ). ";\n";
-} elsif ( @bugfix ) {
-
+  print join(";\n", @bugfix ). ";\n";
+} else {
   foreach my $statement ( @bugfix ) {
     warn "$statement\n";
     $dbh->do( $statement )
       or die "Error: ". $dbh->errstr. "\n executing: $statement";
   }
+}
 
+###
+# Fixes before schema upgrade
+###
+# this isn't actually the main schema upgrade, this calls _upgrade_schema
+# in any class that has it
+if ( $DRY_RUN ) {
+  #XXX no dry run for upgrade_schema stuff yet.
+  # looking at the code some are a mix of SQL statements and our methods, icky.
+  # its not like dry run is 100% anyway, all sort of other later upgrade tasks
+  # aren't printed either
+} else {
   upgrade_schema(%upgrade_opts);
 
   dbdef_create($dbh, $dbdef_file);
   delete $FS::Schema::dbdef_cache{$dbdef_file}; #force an actual reload
   reload_dbdef($dbdef_file);
-
 }
 
-#you should have run fs-migrate-part_svc ages ago, when you upgraded
-#from 1.3 to 1.4... if not, it needs to be hooked into -upgrade here or
-#you'll lose all the part_svc settings it migrates to part_svc_column
+###
+# Now here is the main/automatic schema upgrade via DBIx::DBSchema
+###
 
 my $conf = new FS::Conf;
 
@@ -144,10 +105,12 @@ my @statements = dbdef->sql_update_schema( $dbdef_dist,
                                            { 'nullify_default' => 1, },
                                          );
 
-#### NEW CUSTOM FIELDS:
+###
+# New custom fields
+###
 # 1. prevent new custom field columns from being dropped by upgrade
 # 2. migrate old virtual fields to real fields (new custom fields)
-####
+
 my $cfsth = $dbh->prepare("SELECT * FROM part_virtual_field") 
                                                          or die $dbh->errstr;
 $cfsth->execute or die $cfsth->errstr;
@@ -157,7 +120,7 @@ while ( $cf = $cfsth->fetchrow_hashref ) {
     my $name = $cf->{'name'};
     $name = lc($name) unless driver_name =~ /^mysql/i;
 
-    @statements = grep { $_ !~ /^\s*ALTER\s+TABLE\s+(h_|)$tbl\s+DROP\s+COLUMN\s+cf_$name\s*$/i }
+    @statements = grep { $_ !~ /^\s*ALTER\s+TABLE\s+(h_|)$tbl DROP\s+COLUMN\s+cf_$name/i }
                                                                     @statements;
     push @statements, 
         "ALTER TABLE $tbl ADD COLUMN cf_$name varchar(".$cf->{'length'}.")"
@@ -168,6 +131,10 @@ while ( $cf = $cfsth->fetchrow_hashref ) {
 }
 warn "Custom fields schema upgrade completed";
 
+###
+# Other stuff
+###
+
 @statements = 
   grep { $_ !~ /^CREATE +INDEX +h_queue/i } #useless, holds up queue insertion
        @statements;
@@ -181,6 +148,9 @@ unless ( driver_name =~ /^mysql/i ) {
 
 if ( $opt_c ) {
 
+  #can always add it back for 4.x->4.x if we need it
+  die "FATAL: -c removed: cdr / h_cdr upgrade is required for 4.x\n";
+
   @statements =
     grep { $_ !~ /^ *ALTER +TABLE +(h_)?cdr /i }
          @statements;
@@ -191,7 +161,10 @@ if ( $opt_c ) {
 
 }
 
-my $MAX_HANDLES; # undef for now, set it if you want a limit
+
+###
+# Now run the @statements
+###
 
 if ( $DRY_RUN ) {
   print
@@ -199,6 +172,12 @@ if ( $DRY_RUN ) {
   exit;
 } elsif ( $opt_a ) {
 
+  ###
+  # -a: Run schema changes in parallel (Pg only).
+  ###
+
+  my $MAX_HANDLES; # undef for now, set it if you want a limit
+
   my @phases = map { [] } 0..4;
   my $fsupgrade_idx = 1;
   my %idx_map;
@@ -290,7 +269,13 @@ if ( $DRY_RUN ) {
 #  $start = time;
 
 #  dbdef->update_schema( dbdef_dist(datasrc), $dbh );
-} else { # normal case, run statements sequentially
+
+} else {
+
+  ###
+  # normal case, run statements sequentially
+  ###
+
   foreach my $statement ( @statements ) {
     warn "$statement\n";
     $dbh->do( $statement )
@@ -313,7 +298,7 @@ print "\n" if $DRY_RUN;
 
 if ( $dbh->{Driver}->{Name} =~ /^mysql/i && ! $opt_s ) {
 
-  foreach my $table (qw( svc_acct svc_phone )) {
+  foreach my $table (qw( svc_acct svc_phone cust_main_county )) {
 
     my $sth = $dbh->prepare(
       "SELECT COUNT(*) FROM duplicate_lock WHERE lockname = '$table'"
@@ -430,7 +415,7 @@ sub dbdef_create { # reverse engineer the schema from the DB and save to file
 }
 
 sub usage {
-  die "Usage:\n  freeside-upgrade [ -d ] [ -q | -v ] [ -r ] [ -c ] [ -s ] [ -j ] [ -a ] user\n"; 
+  die "Usage:\n  freeside-upgrade [ -d ] [ -q | -v ] [ -r ] [ -s ] [ -j ] [ -a ] user\n"; 
 }
 
 =head1 NAME
@@ -439,7 +424,7 @@ freeside-upgrade - Upgrades database schema for new freeside verisons.
 
 =head1 SYNOPSIS
 
-  freeside-upgrade [ -d ] [ -q | -v ] [ -r ] [ -c ] [ -s ] [ -j ] [ -a ]
+  freeside-upgrade [ -d ] [ -q | -v ] [ -r ] [ -s ] [ -j ] [ -a ]
 
 =head1 DESCRIPTION
 
@@ -464,19 +449,17 @@ Also performs other upgrade functions:
   [ -v ]: Run verbosely, sending debugging information to STDERR.  This is the
           current default.
 
-  [ -s ]: Schema changes only.  Useful for Pg/slony slaves where the data
-          changes will be replicated from the Pg/slony master.
+  [ -s ]: Schema changes only.  Used to be useful for Pg/slony slaves where the
+          data changes would be replicated from the Pg/slony master (current
+          native Pg replication replicates schema changes to slaves
+          automatically).
 
   [ -r ]: Skip sqlradius updates.  Useful for occassions where the sqlradius
           databases may be inaccessible.
 
-  [ -c ]: Skip cdr and h_cdr updates.
-
-  [ -j ]: Run certain upgrades asychronously from the job queue.  Currently 
-          used only for the 2.x -> 3.x cust_location, cust_pay and part_pkg
-          upgrades.  This may cause odd behavior before the upgrade is
-          complete, so it's recommended only for very large cust_main, cust_pay
-          and/or part_pkg tables that take too long to upgrade.
+  [ -j ]: Run certain upgrades asychronously from the job queue.  Recommended
+          for very large cust_main or part_pkg tables that take too long to
+          upgrade.
 
   [ -a ]: Run schema changes in parallel (Pg only).  DBIx::DBSchema minimum 
           version 0.41 recommended.  Recommended only for large databases and