72901: OFM Freeside Note Classes
[freeside.git] / FS / FS / Upgrade.pm
1 package FS::Upgrade;
2
3 use strict;
4 use vars qw( @ISA @EXPORT_OK $DEBUG );
5 use Exporter;
6 use Tie::IxHash;
7 use File::Slurp;
8 use FS::UID qw( dbh driver_name );
9 use FS::Conf;
10 use FS::Record qw(qsearchs qsearch str2time_sql);
11 use FS::queue;
12 use FS::upgrade_journal;
13 use FS::Setup qw( enable_banned_pay_pad );
14
15 use FS::svc_domain;
16 $FS::svc_domain::whois_hack = 1;
17
18 @ISA = qw( Exporter );
19 @EXPORT_OK = qw( upgrade_schema upgrade_config upgrade upgrade_sqlradius );
20
21 $DEBUG = 1;
22
23 =head1 NAME
24
25 FS::Upgrade - Database upgrade routines
26
27 =head1 SYNOPSIS
28
29   use FS::Upgrade;
30
31 =head1 DESCRIPTION
32
33 Currently this module simply provides a place to store common subroutines for
34 database upgrades.
35
36 =head1 SUBROUTINES
37
38 =over 4
39
40 =item upgrade_config
41
42 =cut
43
44 #config upgrades
45 sub upgrade_config {
46   my %opt = @_;
47
48   my $conf = new FS::Conf;
49
50   $conf->touch('payment_receipt')
51     if $conf->exists('payment_receipt_email')
52     || $conf->config('payment_receipt_msgnum');
53
54   $conf->touch('geocode-require_nw_coordinates')
55     if $conf->exists('svc_broadband-require-nw-coordinates');
56
57   unless ( $conf->config('echeck-country') ) {
58     if ( $conf->exists('cust_main-require-bank-branch') ) {
59       $conf->set('echeck-country', 'CA');
60     } elsif ( $conf->exists('echeck-nonus') ) {
61       $conf->set('echeck-country', 'XX');
62     } else {
63       $conf->set('echeck-country', 'US');
64     }
65   }
66
67   my @agents = qsearch('agent', {});
68
69   upgrade_overlimit_groups($conf);
70   map { upgrade_overlimit_groups($conf,$_->agentnum) } @agents;
71
72   upgrade_invoice_from($conf);
73   foreach my $agent (@agents) {
74     upgrade_invoice_from($conf,$agent->agentnum,1);
75   }
76
77   my $DIST_CONF = '/usr/local/etc/freeside/default_conf/';#DIST_CONF in Makefile
78   $conf->set($_, scalar(read_file( "$DIST_CONF/$_" )) )
79     foreach grep { ! $conf->exists($_) && -s "$DIST_CONF/$_" }
80       qw( quotation_html quotation_latex quotation_latexnotes );
81
82   # change 'fslongtable' to 'longtable'
83   # in invoice and quotation main templates, and also in all secondary 
84   # invoice templates
85   my @latex_confs =
86     qsearch('conf', { 'name' => {op=>'LIKE', value=>'%latex%'} });
87
88   foreach my $c (@latex_confs) {
89     my $value = $c->value;
90     if (length($value) and $value =~ /fslongtable/) {
91       $value =~ s/fslongtable/longtable/g;
92       $conf->set($c->name, $value, $c->agentnum);
93     }
94   }
95
96   # if there's a USPS tools login, assume that's the standardization method
97   # you want to use
98   $conf->set('address_standardize_method', 'usps')
99     if $conf->exists('usps_webtools-userid')
100     && length($conf->config('usps_webtools-userid')) > 0
101     && ! $conf->exists('address_standardize_method');
102
103   # this option has been renamed/expanded
104   if ( $conf->exists('cust_main-enable_spouse_birthdate') ) {
105     $conf->touch('cust_main-enable_spouse');
106     $conf->delete('cust_main-enable_spouse_birthdate');
107   }
108
109   # renamed/repurposed
110   if ( $conf->exists('cust_pkg-show_fcc_voice_grade_equivalent') ) {
111     $conf->touch('part_pkg-show_fcc_options');
112     $conf->delete('cust_pkg-show_fcc_voice_grade_equivalent');
113     warn "
114 You have FCC Form 477 package options enabled.
115
116 Starting with the October 2014 filing date, the FCC has redesigned 
117 Form 477 and introduced new service categories.  See bin/convert-477-options
118 to update your package configuration for the new report.
119
120 If you need to continue using the old Form 477 report, turn on the
121 'old_fcc_report' configuration option.
122 ";
123   }
124
125   # boolean invoice_sections_by_location option is now
126   # invoice_sections_method = 'location'
127   my @invoice_sections_confs =
128     qsearch('conf', { 'name' => { op=>'LIKE', value=>'%sections_by_location' } });
129   foreach my $c (@invoice_sections_confs) {
130     $c->name =~ /^(\w+)sections_by_location$/;
131     $conf->delete($c->name);
132     my $newname = $1.'sections_method';
133     $conf->set($newname, 'location');
134   }
135
136   # boolean enable_taxproducts is now tax_data_vendor = 'cch'
137   if ( $conf->exists('enable_taxproducts') ) {
138
139     $conf->delete('enable_taxproducts');
140     $conf->set('tax_data_vendor', 'cch');
141
142   }
143
144   # boolean tax-cust_exempt-groups-require_individual_nums is now -num_req all
145   if ( $conf->exists('tax-cust_exempt-groups-require_individual_nums') ) {
146     $conf->set('tax-cust_exempt-groups-num_req', 'all');
147     $conf->delete('tax-cust_exempt-groups-require_individual_nums');
148   }
149
150   # boolean+text previous_balance-exclude_from_total is now two separate options
151   my $total_new_charges = $conf->config('previous_balance-exclude_from_total');
152   if (length($total_new_charges) > 0) {
153     $conf->set('previous_balance-text-total_new_charges', $total_new_charges);
154     $conf->set('previous_balance-exclude_from_total', '');
155   }
156
157   # switch from specifying an email address to boolean check
158   if ( $conf->exists('batch-errors_to') ) {
159     $conf->touch('batch-errors_not_fatal');
160     $conf->delete('batch-errors_to');
161   }
162
163   if ( $conf->exists('voip-cust_email_csv_cdr') ) {
164     $conf->set('voip_cdr_email_attach', 'csv');
165     $conf->delete('voip-cust_email_csv_cdr') ;
166   }
167
168   if ($conf->exists('unsuspendauto') && !$conf->config('unsuspend_balance')) {
169     $conf->set('unsuspend_balance','Zero');
170     $conf->delete('unsuspendauto');
171   }
172
173   if ($conf->config('cust-fields') =~ / \| Payment Type/) {
174     my $cust_fields = $conf->config('cust-fields');
175     # so we can potentially use 'Payment Types' or somesuch in the future
176     $cust_fields =~ s/ \| Payment Type( \|)/$1/;
177     $cust_fields =~ s/ \| Payment Type$//;
178     $conf->set('cust-fields',$cust_fields);
179   }
180
181   #repurposed
182   $conf->set('note-classes','Enabled')
183     if $conf->exists('note-classes')
184       and grep {$_ eq $conf->config('note-classes')} ('1','2');
185   $conf->set('note-classes','')
186     if $conf->exists('note-classes')
187       and '0' eq $conf->config('note-classes');
188
189   enable_banned_pay_pad() unless length($conf->config('banned_pay-pad'));
190
191   # if translate-auto-insert is enabled for a locale, ensure that invoice
192   # terms are in the msgcat (is there a better place for this?)
193   if (my $auto_locale = $conf->config('translate-auto-insert')) {
194     my $lh = FS::L10N->get_handle($auto_locale);
195     foreach (@FS::Conf::invoice_terms) {
196       $lh->maketext($_) if length($_);
197     }
198   }
199 }
200
201 sub upgrade_overlimit_groups {
202     my $conf = shift;
203     my $agentnum = shift;
204     my @groups = $conf->config('overlimit_groups',$agentnum); 
205     if(scalar(@groups)) {
206         my $groups = join(',',@groups);
207         my @groupnums;
208         my $error = '';
209         if ( $groups !~ /^[\d,]+$/ ) {
210             foreach my $groupname ( @groups ) {
211                 my $g = qsearchs('radius_group', { 'groupname' => $groupname } );
212                 unless ( $g ) {
213                     $g = new FS::radius_group {
214                                     'groupname' => $groupname,
215                                     'description' => $groupname,
216                                     };
217                     $error = $g->insert;
218                     die $error if $error;
219                 }
220                 push @groupnums, $g->groupnum;
221             }
222             $conf->set('overlimit_groups',join("\n",@groupnums),$agentnum);
223         }
224     }
225 }
226
227 sub upgrade_invoice_from {
228   my ($conf, $agentnum, $agentonly) = @_;
229   if (
230           ! $conf->exists('invoice_from_name',$agentnum,$agentonly)
231        && $conf->exists('invoice_from',$agentnum,$agentonly)
232        && $conf->config('invoice_from',$agentnum,$agentonly) =~ /\<(.*)\>/
233   ) {
234     my $realemail = $1;
235     $realemail =~ s/^\s*//; # remove leading spaces
236     $realemail =~ s/\s*$//; # remove trailing spaces
237     my $realname = $conf->config('invoice_from',$agentnum);
238     $realname =~ s/\<.*\>//; # remove email address
239     $realname =~ s/^\s*//; # remove leading spaces
240     $realname =~ s/\s*$//; # remove trailing spaces
241     # properly quote names that contain punctuation
242     if (($realname =~ /[^[:alnum:][:space:]]/) && ($realname !~ /^\".*\"$/)) {
243       $realname = '"' . $realname . '"';
244     }
245     $conf->set('invoice_from_name', $realname, $agentnum);
246     $conf->set('invoice_from', $realemail, $agentnum);
247   }
248 }
249
250 =item upgrade
251
252 =cut
253
254 sub upgrade {
255   my %opt = @_;
256
257   my $data = upgrade_data(%opt);
258
259   my $oldAutoCommit = $FS::UID::AutoCommit;
260   local $FS::UID::AutoCommit = 0;
261   local $FS::UID::AutoCommit = 0;
262
263   local $FS::cust_pkg::upgrade = 1; #go away after setup+start dates cleaned up for old customers
264
265
266   foreach my $table ( keys %$data ) {
267
268     my $class = "FS::$table";
269     eval "use $class;";
270     die $@ if $@;
271
272     if ( $class->can('_upgrade_data') ) {
273       warn "Upgrading $table...\n";
274
275       my $start = time;
276
277       $class->_upgrade_data(%opt);
278
279       # New interface for async upgrades: a class can declare a 
280       # "queueable_upgrade" method, which will run as part of the normal 
281       # upgrade, but if the -j option is passed, will instead be run from 
282       # the job queue.
283       if ( $class->can('queueable_upgrade') ) {
284         my $jobname = $class . '::queueable_upgrade';
285         my $num_jobs = FS::queue->count("job = '$jobname' and status != 'failed'");
286         if ($num_jobs > 0) {
287           warn "$class upgrade already scheduled.\n";
288         } else {
289           if ( $opt{'queue'} ) {
290             warn "Scheduling $class upgrade.\n";
291             my $job = FS::queue->new({ job => $jobname });
292             $job->insert($class, %opt);
293           } else {
294             $class->queueable_upgrade(%opt);
295           }
296         } #$num_jobs == 0
297       }
298
299       if ( $oldAutoCommit ) {
300         warn "  committing\n";
301         dbh->commit or die dbh->errstr;
302       }
303       
304       #warn "\e[1K\rUpgrading $table... done in ". (time-$start). " seconds\n";
305       warn "  done in ". (time-$start). " seconds\n";
306
307     } else {
308       warn "WARNING: asked for upgrade of $table,".
309            " but FS::$table has no _upgrade_data method\n";
310     }
311
312 #    my @records = @{ $data->{$table} };
313 #
314 #    foreach my $record ( @records ) {
315 #      my $args = delete($record->{'_upgrade_args'}) || [];
316 #      my $object = $class->new( $record );
317 #      my $error = $object->insert( @$args );
318 #      die "error inserting record into $table: $error\n"
319 #        if $error;
320 #    }
321
322   }
323
324   local($FS::cust_main::ignore_expired_card) = 1;
325   #this is long-gone... would need to set an equivalent in cust_location #local($FS::cust_main::ignore_illegal_zip) = 1;
326   local($FS::cust_main::ignore_banned_card) = 1;
327   local($FS::cust_main::skip_fuzzyfiles) = 1;
328
329   local($FS::cust_payby::ignore_expired_card) = 1;
330   local($FS::cust_payby::ignore_banned_card) = 1;
331
332   # decrypt inadvertantly-encrypted payinfo where payby != CARD,DCRD,CHEK,DCHK
333   # kind of a weird spot for this, but it's better than duplicating
334   # all this code in each class...
335   my @decrypt_tables = qw( cust_payby cust_pay_void cust_pay cust_refund cust_pay_pending );
336   foreach my $table ( @decrypt_tables ) {
337       my @objects = qsearch({
338         'table'     => $table,
339         'hashref'   => {},
340         'extra_sql' => "WHERE payby NOT IN ( 'CARD', 'DCRD', 'CHEK', 'DCHK' ) ".
341                        " AND LENGTH(payinfo) > 100",
342       });
343       foreach my $object ( @objects ) {
344           my $payinfo = $object->decrypt($object->payinfo);
345           die "error decrypting payinfo" if $payinfo eq $object->payinfo;
346           $object->payinfo($payinfo);
347           my $error = $object->replace;
348           die $error if $error;
349       }
350   }
351
352 }
353
354 =item upgrade_data
355
356 =cut
357
358 sub upgrade_data {
359   my %opt = @_;
360
361   tie my %hash, 'Tie::IxHash', 
362
363     #remap log levels
364         'log' => [],
365
366     #fix whitespace - before cust_main
367     'cust_location' => [],
368
369     #cust_main (remove paycvv from history, locations, cust_payby, etc)
370     'cust_main' => [],
371
372     #contact -> cust_contact / prospect_contact
373     'contact' => [],
374
375     #msgcat
376     'msgcat' => [],
377
378     #reason type and reasons
379     'reason_type'     => [],
380     'cust_pkg_reason' => [],
381
382     #need part_pkg before cust_credit...
383     'part_pkg' => [],
384
385     #customer credits
386     'cust_credit' => [],
387
388     # reason / void_reason migration to reasonnum / void_reasonnum
389     'cust_credit_void' => [],
390     'cust_bill_void' => [],
391     'cust_bill_pkg_void' => [],
392
393     #duplicate history records
394     'h_cust_svc'  => [],
395
396     #populate cust_pay.otaker
397     'cust_pay'    => [],
398
399     #populate part_pkg_taxclass for starters
400     'part_pkg_taxclass' => [],
401
402     #remove bad pending records
403     'cust_pay_pending' => [],
404
405     #replace invnum and pkgnum with billpkgnum
406     'cust_bill_pkg_detail' => [],
407
408     #usage_classes if we have none
409     'usage_class' => [],
410
411     #phone_type if we have none
412     'phone_type' => [],
413
414     #fixup access rights
415     'access_right' => [],
416
417     #change recur_flat and enable_prorate
418     'part_pkg_option' => [],
419
420     #add weights to pkg_category
421     'pkg_category' => [],
422
423     #cdrbatch fixes
424     'cdr' => [],
425
426     #otaker->usernum
427     'cust_attachment' => [],
428     #'cust_credit' => [],
429     #'cust_main' => [],
430     'cust_main_note' => [],
431     #'cust_pay' => [],
432     'cust_pay_void' => [],
433     'cust_pkg' => [],
434     #'cust_pkg_reason' => [],
435     'cust_pkg_discount' => [],
436     'cust_refund' => [],
437     'banned_pay' => [],
438
439     #paycardtype
440     'cust_payby' => [],
441
442     #default namespace
443     'payment_gateway' => [],
444
445     #migrate to templates
446     'msg_template' => [],
447
448     #return unprovisioned numbers to availability
449     'phone_avail' => [],
450
451     #insert scripcondition
452     'TicketSystem' => [],
453     
454     #insert LATA data if not already present
455     'lata' => [],
456     
457     #insert MSA data if not already present
458     'msa' => [],
459
460     # migrate to radius_group and groupnum instead of groupname
461     'radius_usergroup' => [],
462     'part_svc'         => [],
463     'part_export'      => [],
464
465     #insert default tower_sector if not present
466     'tower' => [],
467
468     #repair improperly deleted services
469     'cust_svc' => [],
470
471     #routernum/blocknum
472     'svc_broadband' => [],
473
474     #set up payment gateways if needed
475     'pay_batch' => [],
476
477     #flag monthly tax exemptions
478     'cust_tax_exempt_pkg' => [],
479
480     #kick off tax location history upgrade
481     'cust_bill_pkg' => [],
482
483     #fix taxable line item links
484     'cust_bill_pkg_tax_location' => [],
485
486     #populate state FIPS codes if not already done
487     'state' => [],
488
489     #set default locations on quoted packages
490     'quotation_pkg' => [],
491
492     #populate tax statuses
493     'tax_status' => [],
494
495     #mark certain taxes as system-maintained,
496     # and fix whitespace
497     'cust_main_county' => [],
498   ;
499
500   \%hash;
501
502 }
503
504 =item upgrade_schema
505
506 =cut
507
508 sub upgrade_schema {
509   my %opt = @_;
510
511   my $data = upgrade_schema_data(%opt);
512
513   my $oldAutoCommit = $FS::UID::AutoCommit;
514   local $FS::UID::AutoCommit = 0;
515   local $FS::UID::AutoCommit = 0;
516
517   foreach my $table ( keys %$data ) {
518
519     my $class = "FS::$table";
520     eval "use $class;";
521     die $@ if $@;
522
523     if ( $class->can('_upgrade_schema') ) {
524       warn "Upgrading $table schema...\n";
525
526       my $start = time;
527
528       $class->_upgrade_schema(%opt);
529
530       if ( $oldAutoCommit ) {
531         warn "  committing\n";
532         dbh->commit or die dbh->errstr;
533       }
534       
535       #warn "\e[1K\rUpgrading $table... done in ". (time-$start). " seconds\n";
536       warn "  done in ". (time-$start). " seconds\n";
537
538     } else {
539       warn "WARNING: asked for schema upgrade of $table,".
540            " but FS::$table has no _upgrade_schema method\n";
541     }
542
543   }
544
545 }
546
547 =item upgrade_schema_data
548
549 =cut
550
551 sub upgrade_schema_data {
552   my %opt = @_;
553
554   tie my %hash, 'Tie::IxHash', 
555
556     #fix classnum character(1)
557     'cust_bill_pkg_detail' => [],
558     #add necessary columns to RT schema
559     'TicketSystem' => [],
560     #remove possible dangling records
561     'password_history' => [],
562     'cust_pay_pending' => [],
563   ;
564
565   \%hash;
566
567 }
568
569 sub upgrade_sqlradius {
570   #my %opt = @_;
571
572   my $conf = new FS::Conf;
573
574   my @part_export = FS::part_export::sqlradius->all_sqlradius_withaccounting();
575
576   foreach my $part_export ( @part_export ) {
577
578     my $errmsg = 'Error adding FreesideStatus to '.
579                  $part_export->option('datasrc'). ': ';
580
581     my $dbh = DBI->connect(
582       ( map $part_export->option($_), qw ( datasrc username password ) ),
583       { PrintError => 0, PrintWarn => 0 }
584     ) or do {
585       warn $errmsg.$DBI::errstr;
586       next;
587     };
588
589     my $str2time = str2time_sql( $dbh->{Driver}->{Name} );
590     my $group = "UserName";
591     $group .= ",Realm"
592       if ref($part_export) =~ /withdomain/
593       || $dbh->{Driver}->{Name} =~ /^Pg/; #hmm
594
595     my $sth_alter = $dbh->prepare(
596       "ALTER TABLE radacct ADD COLUMN FreesideStatus varchar(32) NULL"
597     );
598     if ( $sth_alter ) {
599       if ( $sth_alter->execute ) {
600         my $sth_update = $dbh->prepare(
601          "UPDATE radacct SET FreesideStatus = 'done' WHERE FreesideStatus IS NULL"
602         ) or die $errmsg.$dbh->errstr;
603         $sth_update->execute or die $errmsg.$sth_update->errstr;
604       } else {
605         my $error = $sth_alter->errstr;
606         warn $errmsg.$error
607           unless $error =~ /Duplicate column name/i  #mysql
608               || $error =~ /already exists/i;        #Pg
609 ;
610       }
611     } else {
612       my $error = $dbh->errstr;
613       warn $errmsg.$error; #unless $error =~ /exists/i;
614     }
615
616     my $sth_index = $dbh->prepare(
617       "CREATE INDEX FreesideStatus ON radacct ( FreesideStatus )"
618     );
619     if ( $sth_index ) {
620       unless ( $sth_index->execute ) {
621         my $error = $sth_index->errstr;
622         warn $errmsg.$error
623           unless $error =~ /Duplicate key name/i #mysql
624               || $error =~ /already exists/i;    #Pg
625       }
626     } else {
627       my $error = $dbh->errstr;
628       warn $errmsg.$error. ' (preparing statement)';#unless $error =~ /exists/i;
629     }
630
631     my $times = ($dbh->{Driver}->{Name} =~ /^mysql/)
632       ? ' AcctStartTime != 0 AND AcctStopTime != 0 '
633       : ' AcctStartTime IS NOT NULL AND AcctStopTime IS NOT NULL ';
634
635     my $sth = $dbh->prepare("SELECT UserName,
636                                     Realm,
637                                     $str2time max(AcctStartTime)),
638                                     $str2time max(AcctStopTime))
639                               FROM radacct
640                               WHERE FreesideStatus = 'done'
641                                 AND $times
642                               GROUP BY $group
643                             ")
644       or die $errmsg.$dbh->errstr;
645     $sth->execute() or die $errmsg.$sth->errstr;
646   
647     while (my $row = $sth->fetchrow_arrayref ) {
648       my ($username, $realm, $start, $stop) = @$row;
649   
650       $username = lc($username) unless $conf->exists('username-uppercase');
651
652       my $exportnum = $part_export->exportnum;
653       my $extra_sql = " AND exportnum = $exportnum ".
654                       " AND exportsvcnum IS NOT NULL ";
655
656       if ( ref($part_export) =~ /withdomain/ ) {
657         $extra_sql = " AND '$realm' = ( SELECT domain FROM svc_domain
658                          WHERE svc_domain.svcnum = svc_acct.domsvc ) ";
659       }
660   
661       my $svc_acct = qsearchs({
662         'select'    => 'svc_acct.*',
663         'table'     => 'svc_acct',
664         'addl_from' => 'LEFT JOIN cust_svc   USING ( svcnum )'.
665                        'LEFT JOIN export_svc USING ( svcpart )',
666         'hashref'   => { 'username' => $username },
667         'extra_sql' => $extra_sql,
668       });
669
670       if ($svc_acct) {
671         $svc_acct->last_login($start)
672           if $start && (!$svc_acct->last_login || $start > $svc_acct->last_login);
673         $svc_acct->last_logout($stop)
674           if $stop && (!$svc_acct->last_logout || $stop > $svc_acct->last_logout);
675       }
676     }
677   }
678
679 }
680
681 =back
682
683 =head1 BUGS
684
685 Sure.
686
687 =head1 SEE ALSO
688
689 =cut
690
691 1;
692