re-write RADIUS groups, RT13274
[freeside.git] / FS / FS / Upgrade.pm
1 package FS::Upgrade;
2
3 use strict;
4 use vars qw( @ISA @EXPORT_OK $DEBUG );
5 use Exporter;
6 use Tie::IxHash;
7 use FS::UID qw( dbh driver_name );
8 use FS::Conf;
9 use FS::Record qw(qsearchs str2time_sql);
10
11 use FS::svc_domain;
12 $FS::svc_domain::whois_hack = 1;
13
14 @ISA = qw( Exporter );
15 @EXPORT_OK = qw( upgrade_schema upgrade_config upgrade upgrade_sqlradius );
16
17 $DEBUG = 1;
18
19 =head1 NAME
20
21 FS::Upgrade - Database upgrade routines
22
23 =head1 SYNOPSIS
24
25   use FS::Upgrade;
26
27 =head1 DESCRIPTION
28
29 Currently this module simply provides a place to store common subroutines for
30 database upgrades.
31
32 =head1 SUBROUTINES
33
34 =over 4
35
36 =item upgrade_config
37
38 =cut
39
40 #config upgrades
41 sub upgrade_config {
42   my %opt = @_;
43
44   my $conf = new FS::Conf;
45
46   $conf->touch('payment_receipt')
47     if $conf->exists('payment_receipt_email')
48     || $conf->config('payment_receipt_msgnum');
49
50 }
51
52 =item upgrade
53
54 =cut
55
56 sub upgrade {
57   my %opt = @_;
58
59   my $data = upgrade_data(%opt);
60
61   my $oldAutoCommit = $FS::UID::AutoCommit;
62   local $FS::UID::AutoCommit = 0;
63   local $FS::UID::AutoCommit = 0;
64
65   foreach my $table ( keys %$data ) {
66
67     my $class = "FS::$table";
68     eval "use $class;";
69     die $@ if $@;
70
71     if ( $class->can('_upgrade_data') ) {
72       warn "Upgrading $table...\n";
73
74       my $start = time;
75
76       $class->_upgrade_data(%opt);
77
78       if ( $oldAutoCommit ) {
79         warn "  committing\n";
80         dbh->commit or die dbh->errstr;
81       }
82       
83       #warn "\e[1K\rUpgrading $table... done in ". (time-$start). " seconds\n";
84       warn "  done in ". (time-$start). " seconds\n";
85
86     } else {
87       warn "WARNING: asked for upgrade of $table,".
88            " but FS::$table has no _upgrade_data method\n";
89     }
90
91 #    my @records = @{ $data->{$table} };
92 #
93 #    foreach my $record ( @records ) {
94 #      my $args = delete($record->{'_upgrade_args'}) || [];
95 #      my $object = $class->new( $record );
96 #      my $error = $object->insert( @$args );
97 #      die "error inserting record into $table: $error\n"
98 #        if $error;
99 #    }
100
101   }
102
103 }
104
105 =item upgrade_data
106
107 =cut
108
109 sub upgrade_data {
110   my %opt = @_;
111
112   tie my %hash, 'Tie::IxHash', 
113
114     #cust_main (remove paycvv from history)
115     'cust_main' => [],
116
117     #msgcat
118     'msgcat' => [],
119
120     #reason type and reasons
121     'reason_type'     => [],
122     'cust_pkg_reason' => [],
123
124     #need part_pkg before cust_credit...
125     'part_pkg' => [],
126
127     #customer credits
128     'cust_credit' => [],
129
130     #duplicate history records
131     'h_cust_svc'  => [],
132
133     #populate cust_pay.otaker
134     'cust_pay'    => [],
135
136     #populate part_pkg_taxclass for starters
137     'part_pkg_taxclass' => [],
138
139     #remove bad pending records
140     'cust_pay_pending' => [],
141
142     #replace invnum and pkgnum with billpkgnum
143     'cust_bill_pkg_detail' => [],
144
145     #usage_classes if we have none
146     'usage_class' => [],
147
148     #phone_type if we have none
149     'phone_type' => [],
150
151     #fixup access rights
152     'access_right' => [],
153
154     #change recur_flat and enable_prorate
155     'part_pkg_option' => [],
156
157     #add weights to pkg_category
158     'pkg_category' => [],
159
160     #cdrbatch fixes
161     'cdr' => [],
162
163     #otaker->usernum
164     'cust_attachment' => [],
165     #'cust_credit' => [],
166     #'cust_main' => [],
167     'cust_main_note' => [],
168     #'cust_pay' => [],
169     'cust_pay_void' => [],
170     'cust_pkg' => [],
171     #'cust_pkg_reason' => [],
172     'cust_pkg_discount' => [],
173     'cust_refund' => [],
174     'banned_pay' => [],
175
176     #default namespace
177     'payment_gateway' => [],
178
179     #migrate to templates
180     'msg_template' => [],
181
182     #return unprovisioned numbers to availability
183     'phone_avail' => [],
184
185     #insert scripcondition
186     'TicketSystem' => [],
187     
188     #insert LATA data if not already present
189     'lata' => [],
190     
191     #insert MSA data if not already present
192     'msa' => [],
193
194     # migrate to radius_group and groupnum instead of groupname
195     'radius_usergroup' => [],
196     'part_svc'         => [],
197
198   ;
199
200   \%hash;
201
202 }
203
204 =item upgrade_schema
205
206 =cut
207
208 sub upgrade_schema {
209   my %opt = @_;
210
211   my $data = upgrade_schema_data(%opt);
212
213   my $oldAutoCommit = $FS::UID::AutoCommit;
214   local $FS::UID::AutoCommit = 0;
215   local $FS::UID::AutoCommit = 0;
216
217   foreach my $table ( keys %$data ) {
218
219     my $class = "FS::$table";
220     eval "use $class;";
221     die $@ if $@;
222
223     if ( $class->can('_upgrade_schema') ) {
224       warn "Upgrading $table schema...\n";
225
226       my $start = time;
227
228       $class->_upgrade_schema(%opt);
229
230       if ( $oldAutoCommit ) {
231         warn "  committing\n";
232         dbh->commit or die dbh->errstr;
233       }
234       
235       #warn "\e[1K\rUpgrading $table... done in ". (time-$start). " seconds\n";
236       warn "  done in ". (time-$start). " seconds\n";
237
238     } else {
239       warn "WARNING: asked for schema upgrade of $table,".
240            " but FS::$table has no _upgrade_schema method\n";
241     }
242
243   }
244
245 }
246
247 =item upgrade_schema_data
248
249 =cut
250
251 sub upgrade_schema_data {
252   my %opt = @_;
253
254   tie my %hash, 'Tie::IxHash', 
255
256     #fix classnum character(1)
257     'cust_bill_pkg_detail' => [],
258
259   ;
260
261   \%hash;
262
263 }
264
265 sub upgrade_sqlradius {
266   #my %opt = @_;
267
268   my $conf = new FS::Conf;
269
270   my @part_export = FS::part_export::sqlradius->all_sqlradius_withaccounting();
271
272   foreach my $part_export ( @part_export ) {
273
274     my $errmsg = 'Error adding FreesideStatus to '.
275                  $part_export->option('datasrc'). ': ';
276
277     my $dbh = DBI->connect(
278       ( map $part_export->option($_), qw ( datasrc username password ) ),
279       { PrintError => 0, PrintWarn => 0 }
280     ) or do {
281       warn $errmsg.$DBI::errstr;
282       next;
283     };
284
285     my $str2time = str2time_sql( $dbh->{Driver}->{Name} );
286     my $group = "UserName";
287     $group .= ",Realm"
288       if ref($part_export) =~ /withdomain/
289       || $dbh->{Driver}->{Name} =~ /^Pg/; #hmm
290
291     my $sth_alter = $dbh->prepare(
292       "ALTER TABLE radacct ADD COLUMN FreesideStatus varchar(32) NULL"
293     );
294     if ( $sth_alter ) {
295       if ( $sth_alter->execute ) {
296         my $sth_update = $dbh->prepare(
297          "UPDATE radacct SET FreesideStatus = 'done' WHERE FreesideStatus IS NULL"
298         ) or die $errmsg.$dbh->errstr;
299         $sth_update->execute or die $errmsg.$sth_update->errstr;
300       } else {
301         my $error = $sth_alter->errstr;
302         warn $errmsg.$error
303           unless $error =~ /Duplicate column name/i  #mysql
304               || $error =~ /already exists/i;        #Pg
305 ;
306       }
307     } else {
308       my $error = $dbh->errstr;
309       warn $errmsg.$error; #unless $error =~ /exists/i;
310     }
311
312     my $sth_index = $dbh->prepare(
313       "CREATE INDEX FreesideStatus ON radacct ( FreesideStatus )"
314     );
315     if ( $sth_index ) {
316       unless ( $sth_index->execute ) {
317         my $error = $sth_index->errstr;
318         warn $errmsg.$error
319           unless $error =~ /Duplicate key name/i #mysql
320               || $error =~ /already exists/i;    #Pg
321       }
322     } else {
323       my $error = $dbh->errstr;
324       warn $errmsg.$error. ' (preparing statement)';#unless $error =~ /exists/i;
325     }
326
327     my $times = ($dbh->{Driver}->{Name} =~ /^mysql/)
328       ? ' AcctStartTime != 0 AND AcctStopTime != 0 '
329       : ' AcctStartTime IS NOT NULL AND AcctStopTime IS NOT NULL ';
330
331     my $sth = $dbh->prepare("SELECT UserName,
332                                     Realm,
333                                     $str2time max(AcctStartTime)),
334                                     $str2time max(AcctStopTime))
335                               FROM radacct
336                               WHERE FreesideStatus = 'done'
337                                 AND $times
338                               GROUP BY $group
339                             ")
340       or die $errmsg.$dbh->errstr;
341     $sth->execute() or die $errmsg.$sth->errstr;
342   
343     while (my $row = $sth->fetchrow_arrayref ) {
344       my ($username, $realm, $start, $stop) = @$row;
345   
346       $username = lc($username) unless $conf->exists('username-uppercase');
347
348       my $exportnum = $part_export->exportnum;
349       my $extra_sql = " AND exportnum = $exportnum ".
350                       " AND exportsvcnum IS NOT NULL ";
351
352       if ( ref($part_export) =~ /withdomain/ ) {
353         $extra_sql = " AND '$realm' = ( SELECT domain FROM svc_domain
354                          WHERE svc_domain.svcnum = svc_acct.domsvc ) ";
355       }
356   
357       my $svc_acct = qsearchs({
358         'select'    => 'svc_acct.*',
359         'table'     => 'svc_acct',
360         'addl_from' => 'LEFT JOIN cust_svc   USING ( svcnum )'.
361                        'LEFT JOIN export_svc USING ( svcpart )',
362         'hashref'   => { 'username' => $username },
363         'extra_sql' => $extra_sql,
364       });
365
366       if ($svc_acct) {
367         $svc_acct->last_login($start)
368           if $start && (!$svc_acct->last_login || $start > $svc_acct->last_login);
369         $svc_acct->last_logout($stop)
370           if $stop && (!$svc_acct->last_logout || $stop > $svc_acct->last_logout);
371       }
372     }
373   }
374
375 }
376
377 =back
378
379 =head1 BUGS
380
381 Sure.
382
383 =head1 SEE ALSO
384
385 =cut
386
387 1;
388