FS/bin/freeside-upgrade

   1 #!/usr/bin/perl -w
   2
   3 use strict;
   4 use vars qw($opt_d $opt_s $opt_q $opt_v $opt_r);
   5 use vars qw($DEBUG $DRY_RUN);
   6 use Getopt::Std;
   7 use DBIx::DBSchema 0.31; #0.39
   8 use FS::UID qw(adminsuidsetup checkeuid datasrc driver_name);  #getsecrets);
   9 use FS::CurrentUser;
  10 use FS::Schema qw( dbdef dbdef_dist reload_dbdef );
  11 use FS::Misc::prune qw(prune_applications);
  12 use FS::Conf;
  13 use FS::Record qw(qsearch);
  14 use FS::Upgrade qw(upgrade_schema upgrade_config upgrade upgrade_sqlradius);
  15
  16 my $start = time;
  17
  18 die "Not running uid freeside!" unless checkeuid();
  19
  20 getopts("dqrs");
  21
  22 $DEBUG = !$opt_q;
  23 #$DEBUG = $opt_v;
  24
  25 $DRY_RUN = $opt_d;
  26
  27 my $user = shift or die &usage;
  28 $FS::CurrentUser::upgrade_hack = 1;
  29 $FS::UID::callback_hack = 1;
  30 my $dbh = adminsuidsetup($user);
  31 $FS::UID::callback_hack = 0;
  32
  33 if ( driver_name =~ /^mysql/i ) { #until 0.39 is required above
  34   eval "use DBIx::DBSchema 0.39;";
  35   die $@ if $@;
  36 }
  37
  38 #needs to match FS::Schema...
  39 my $dbdef_file = "%%%FREESIDE_CONF%%%/dbdef.". datasrc;
  40
  41 dbdef_create($dbh, $dbdef_file);
  42
  43 delete $FS::Schema::dbdef_cache{$dbdef_file}; #force an actual reload
  44 reload_dbdef($dbdef_file);
  45
  46 warn "Upgrade startup completed in ". (time-$start). " seconds\n"; # if $DEBUG;
  47 $start = time;
  48
  49 #$DBIx::DBSchema::DEBUG = $DEBUG;
  50 #$DBIx::DBSchema::Table::DEBUG = $DEBUG;
  51 #$DBIx::DBSchema::Index::DEBUG = $DEBUG;
  52
  53 my @bugfix = ();
  54
  55 if (dbdef->table('cust_main')->column('agent_custid') && ! $opt_s) {
  56   push @bugfix,
  57     "UPDATE cust_main SET agent_custid = NULL where agent_custid = ''";
  58
  59   push @bugfix,
  60     "UPDATE h_cust_main SET agent_custid = NULL where agent_custid = ''"
  61       if (dbdef->table('h_cust_main'));
  62 }
  63
  64 if ( dbdef->table('cgp_rule_condition') &&
  65      dbdef->table('cgp_rule_condition')->column('condition')
  66    )
  67 {
  68   push @bugfix,
  69    "ALTER TABLE ${_}cgp_rule_condition RENAME COLUMN condition TO conditionname"
  70       for '', 'h_';
  71
  72 }
  73
  74 if ( dbdef->table('areacode') and
  75      dbdef->table('areacode')->primary_key eq 'code' )
  76 {
  77   if ( driver_name =~ /^mysql/i ) {
  78     push @bugfix,
  79       'ALTER TABLE areacode DROP PRIMARY KEY',
  80       'ALTER TABLE areacode ADD COLUMN (areanum int auto_increment primary key)';
  81   }
  82   else {
  83     push @bugfix, 'ALTER TABLE areacode DROP CONSTRAINT areacode_pkey';
  84   }
  85 }
  86
  87 # RT required field flag
  88 # for consistency with RT schema: mysql is in CamelCase,
  89 # pg is in lowercase, and they use different data types.
  90 my ($t, $creq, $cdis) =
  91   map { driver_name =~ /^mysql/i ? $_ : lc($_) }
  92   ('CustomFields','Required','Disabled');
  93
  94 if ( dbdef->table($t) &&
  95      ! dbdef->table($t)->column($creq) ) {
  96   push @bugfix,
  97     "ALTER TABLE $t ADD COLUMN $creq ".
  98     dbdef->table($t)->column($cdis)->type .
  99     ' NOT NULL DEFAULT 0';
 100 }
 101
 102 if ( $DRY_RUN ) {
 103   print
 104     join(";\n", @bugfix ). ";\n";
 105 } elsif ( @bugfix ) {
 106
 107   foreach my $statement ( @bugfix ) {
 108     warn "$statement\n";
 109     $dbh->do( $statement )
 110       or die "Error: ". $dbh->errstr. "\n executing: $statement";
 111   }
 112
 113   upgrade_schema();
 114
 115   dbdef_create($dbh, $dbdef_file);
 116   delete $FS::Schema::dbdef_cache{$dbdef_file}; #force an actual reload
 117   reload_dbdef($dbdef_file);
 118
 119 }
 120
 121 #you should have run fs-migrate-part_svc ages ago, when you upgraded
 122 #from 1.3 to 1.4... if not, it needs to be hooked into -upgrade here or
 123 #you'll lose all the part_svc settings it migrates to part_svc_column
 124
 125 my @statements = dbdef->sql_update_schema( dbdef_dist(datasrc),
 126                                            $dbh,
 127                                            { 'nullify_default' => 1, },
 128                                          );
 129
 130 #### NEW CUSTOM FIELDS (prevent columns from being dropped by upgrade)
 131 my $cfsth = $dbh->prepare("SELECT * FROM part_virtual_field")
 132                                                          or die $dbh->errstr;
 133 $cfsth->execute or die $cfsth->errstr;
 134 my $cf;
 135 # likely a very inefficient implementation of this
 136 while ( $cf = $cfsth->fetchrow_hashref ) {
 137     my $tbl = $cf->{'dbtable'};
 138     my $name = $cf->{'name'};
 139     @statements = grep { $_ !~ /^\s*ALTER\s+TABLE\s+$tbl\s+DROP\s+COLUMN\s+cf_$name\s*$/i }
 140                                                                     @statements;
 141 }
 142
 143 @statements =
 144   grep { $_ !~ /^CREATE +INDEX +h_queue/i } #useless, holds up queue insertion
 145        @statements;
 146
 147 unless ( driver_name =~ /^mysql/i ) {
 148   #not necessary under non-mysql, takes forever on big db
 149   @statements =
 150     grep { $_ !~ /^ *ALTER +TABLE +h_queue +ALTER +COLUMN +job +TYPE +varchar\(512\) *$/i }
 151          @statements;
 152 }
 153
 154 if ( $DRY_RUN ) {
 155   print
 156     join(";\n", @statements ). ";\n";
 157   exit;
 158 } else {
 159   foreach my $statement ( @statements ) {
 160     warn "$statement\n";
 161     $dbh->do( $statement )
 162       or die "Error: ". $dbh->errstr. "\n executing: $statement";
 163   }
 164
 165 #  warn "Pre-schema change upgrades completed in ". (time-$start). " seconds\n"; # if $DEBUG;
 166 #  $start = time;
 167
 168 #  dbdef->update_schema( dbdef_dist(datasrc), $dbh );
 169 }
 170
 171 warn "Schema upgrade completed in ". (time-$start). " seconds\n"; # if $DEBUG;
 172 $start = time;
 173
 174 my $hashref = {};
 175 $hashref->{dry_run} = 1 if $DRY_RUN;
 176 $hashref->{debug} = 1 if $DEBUG && $DRY_RUN;
 177 prune_applications($hashref) unless $opt_s;
 178
 179 warn "Application pruning completed in ". (time-$start). " seconds\n"; # if $DEBUG;
 180 $start = time;
 181
 182 print "\n" if $DRY_RUN;
 183
 184 if ( $dbh->{Driver}->{Name} =~ /^mysql/i && ! $opt_s ) {
 185
 186   foreach my $table (qw( svc_acct svc_phone )) {
 187
 188     my $sth = $dbh->prepare(
 189       "SELECT COUNT(*) FROM duplicate_lock WHERE lockname = '$table'"
 190     ) or die $dbh->errstr;
 191
 192     $sth->execute or die $sth->errstr;
 193
 194     unless ( $sth->fetchrow_arrayref->[0] ) {
 195
 196       $sth = $dbh->prepare(
 197         "INSERT INTO duplicate_lock ( lockname ) VALUES ( '$table' )"
 198       ) or die $dbh->errstr;
 199
 200       $sth->execute or die $sth->errstr;
 201
 202     }
 203
 204   }
 205
 206   warn "Duplication lock creation completed in ". (time-$start). " seconds\n"; # if $DEBUG;
 207   $start = time;
 208
 209 }
 210
 211 $dbh->commit or die $dbh->errstr;
 212
 213 dbdef_create($dbh, $dbdef_file);
 214
 215 $dbh->disconnect or die $dbh->errstr;
 216
 217 delete $FS::Schema::dbdef_cache{$dbdef_file}; #force an actual reload
 218 $FS::UID::AutoCommit = 0;
 219 $FS::UID::callback_hack = 1;
 220 $dbh = adminsuidsetup($user);
 221 $FS::UID::callback_hack = 0;
 222 unless ( $DRY_RUN || $opt_s ) {
 223   my $dir = "%%%FREESIDE_CONF%%%/conf.". datasrc;
 224   if (!scalar(qsearch('conf', {}))) {
 225     my $error = FS::Conf::init_config($dir);
 226     if ($error) {
 227       warn "CONFIGURATION UPGRADE FAILED\n";
 228       $dbh->rollback or die $dbh->errstr;
 229       die $error;
 230     }
 231   }
 232 }
 233 $dbh->commit or die $dbh->errstr;
 234 $dbh->disconnect or die $dbh->errstr;
 235
 236 $FS::UID::AutoCommit = 1;
 237
 238 $dbh = adminsuidsetup($user);
 239
 240 warn "Re-initialization with updated schema completed in ". (time-$start). " seconds\n"; # if $DEBUG;
 241 $start = time;
 242
 243 upgrade_config()
 244   unless $DRY_RUN || $opt_s;
 245
 246 $dbh->commit or die $dbh->errstr;
 247
 248 warn "Config updates completed in ". (time-$start). " seconds\n"; # if $DEBUG;
 249 $start = time;
 250
 251 upgrade()
 252   unless $DRY_RUN || $opt_s;
 253
 254 $dbh->commit or die $dbh->errstr;
 255
 256 warn "Table updates completed in ". (time-$start). " seconds\n"; # if $DEBUG;
 257 $start = time;
 258
 259 upgrade_sqlradius()
 260   unless $DRY_RUN || $opt_s || $opt_r;
 261
 262 warn "SQL RADIUS updates completed in ". (time-$start). " seconds\n"; # if $DEBUG;
 263 $start = time;
 264
 265 $dbh->commit or die $dbh->errstr;
 266 $dbh->disconnect or die $dbh->errstr;
 267
 268 warn "Final commit and disconnection completed in ". (time-$start). " seconds; upgrade done!\n"; # if $DEBUG;
 269
 270 ###
 271
 272 sub dbdef_create { # reverse engineer the schema from the DB and save to file
 273   my( $dbh, $file ) = @_;
 274   my $dbdef = new_native DBIx::DBSchema $dbh;
 275   $dbdef->save($file);
 276 }
 277
 278 sub usage {
 279   die "Usage:\n  freeside-upgrade [ -d ] [ -r ] [ -s ] [ -q | -v ] user\n";
 280 }
 281
 282 =head1 NAME
 283
 284 freeside-upgrade - Upgrades database schema for new freeside verisons.
 285
 286 =head1 SYNOPSIS
 287
 288   freeside-upgrade [ -d ] [ -r ] [ -s ] [ -q | -v ]
 289
 290 =head1 DESCRIPTION
 291
 292 Reads your existing database schema and updates it to match the current schema,
 293 adding any columns or tables necessary.
 294
 295 Also performs other upgrade functions:
 296
 297 =over 4
 298
 299 =item Calls FS:: Misc::prune::prune_applications (probably unnecessary every upgrade, but simply won't find any records to change)
 300
 301 =item If necessary, moves your configuration information from the filesystem in /usr/local/etc/freeside/conf.<datasrc> to the database.
 302
 303 =back
 304
 305   [ -d ]: Dry run; output SQL statements (to STDOUT) only, but do not execute
 306           them.
 307
 308   [ -q ]: Run quietly.  This may become the default at some point.
 309
 310   [ -r ]: Skip sqlradius updates.  Useful for occassions where the sqlradius
 311           databases may be inaccessible.
 312
 313   [ -v ]: Run verbosely, sending debugging information to STDERR.  This is the
 314           current default.
 315
 316   [ -s ]: Schema changes only.  Useful for Pg/slony slaves where the data
 317           changes will be replicated from the Pg/slony master.
 318
 319 =head1 SEE ALSO
 320
 321 =cut
 322