RT#7266: aging report "as of" date now limits applied payments
[freeside.git] / FS / FS / cust_main.pm
1 package FS::cust_main;
2
3 require 5.006;
4 use strict;
5 use base qw( FS::otaker_Mixin FS::payinfo_Mixin FS::Record );
6 use vars qw( @EXPORT_OK $DEBUG $me $conf
7              @encrypted_fields
8              $import $ignore_expired_card
9              $skip_fuzzyfiles @fuzzyfields
10              @paytypes
11            );
12 use vars qw( $realtime_bop_decline_quiet ); #ugh
13 use Safe;
14 use Carp;
15 use Exporter;
16 use Scalar::Util qw( blessed );
17 use List::Util qw( min );
18 use Time::Local qw(timelocal);
19 use Data::Dumper;
20 use Tie::IxHash;
21 use Digest::MD5 qw(md5_base64);
22 use Date::Format;
23 #use Date::Manip;
24 use File::Temp qw( tempfile );
25 use String::Approx qw(amatch);
26 use Business::CreditCard 0.28;
27 use Locale::Country;
28 use FS::UID qw( getotaker dbh driver_name );
29 use FS::Record qw( qsearchs qsearch dbdef regexp_sql );
30 use FS::Misc qw( generate_email send_email generate_ps do_print );
31 use FS::Msgcat qw(gettext);
32 use FS::payby;
33 use FS::cust_pkg;
34 use FS::cust_svc;
35 use FS::cust_bill;
36 use FS::cust_bill_pkg;
37 use FS::cust_bill_pkg_display;
38 use FS::cust_bill_pkg_tax_location;
39 use FS::cust_bill_pkg_tax_rate_location;
40 use FS::cust_pay;
41 use FS::cust_pay_pending;
42 use FS::cust_pay_void;
43 use FS::cust_pay_batch;
44 use FS::cust_credit;
45 use FS::cust_refund;
46 use FS::part_referral;
47 use FS::cust_main_county;
48 use FS::cust_location;
49 use FS::cust_class;
50 use FS::cust_main_exemption;
51 use FS::cust_tax_adjustment;
52 use FS::tax_rate;
53 use FS::tax_rate_location;
54 use FS::cust_tax_location;
55 use FS::part_pkg_taxrate;
56 use FS::agent;
57 use FS::cust_main_invoice;
58 use FS::cust_credit_bill;
59 use FS::cust_bill_pay;
60 use FS::prepay_credit;
61 use FS::queue;
62 use FS::part_pkg;
63 use FS::part_event;
64 use FS::part_event_condition;
65 #use FS::cust_event;
66 use FS::type_pkgs;
67 use FS::payment_gateway;
68 use FS::agent_payment_gateway;
69 use FS::banned_pay;
70 use FS::TicketSystem;
71
72 @EXPORT_OK = qw( smart_search );
73
74 $realtime_bop_decline_quiet = 0;
75
76 # 1 is mostly method/subroutine entry and options
77 # 2 traces progress of some operations
78 # 3 is even more information including possibly sensitive data
79 $DEBUG = 0;
80 $me = '[FS::cust_main]';
81
82 $import = 0;
83 $ignore_expired_card = 0;
84
85 $skip_fuzzyfiles = 0;
86 @fuzzyfields = ( 'first', 'last', 'company', 'address1' );
87
88 @encrypted_fields = ('payinfo', 'paycvv');
89 sub nohistory_fields { ('paycvv'); }
90
91 @paytypes = ('', 'Personal checking', 'Personal savings', 'Business checking', 'Business savings');
92
93 #ask FS::UID to run this stuff for us later
94 #$FS::UID::callback{'FS::cust_main'} = sub { 
95 install_callback FS::UID sub { 
96   $conf = new FS::Conf;
97   #yes, need it for stuff below (prolly should be cached)
98 };
99
100 sub _cache {
101   my $self = shift;
102   my ( $hashref, $cache ) = @_;
103   if ( exists $hashref->{'pkgnum'} ) {
104     #@{ $self->{'_pkgnum'} } = ();
105     my $subcache = $cache->subcache( 'pkgnum', 'cust_pkg', $hashref->{custnum});
106     $self->{'_pkgnum'} = $subcache;
107     #push @{ $self->{'_pkgnum'} },
108     FS::cust_pkg->new_or_cached($hashref, $subcache) if $hashref->{pkgnum};
109   }
110 }
111
112 =head1 NAME
113
114 FS::cust_main - Object methods for cust_main records
115
116 =head1 SYNOPSIS
117
118   use FS::cust_main;
119
120   $record = new FS::cust_main \%hash;
121   $record = new FS::cust_main { 'column' => 'value' };
122
123   $error = $record->insert;
124
125   $error = $new_record->replace($old_record);
126
127   $error = $record->delete;
128
129   $error = $record->check;
130
131   @cust_pkg = $record->all_pkgs;
132
133   @cust_pkg = $record->ncancelled_pkgs;
134
135   @cust_pkg = $record->suspended_pkgs;
136
137   $error = $record->bill;
138   $error = $record->bill %options;
139   $error = $record->bill 'time' => $time;
140
141   $error = $record->collect;
142   $error = $record->collect %options;
143   $error = $record->collect 'invoice_time'   => $time,
144                           ;
145
146 =head1 DESCRIPTION
147
148 An FS::cust_main object represents a customer.  FS::cust_main inherits from 
149 FS::Record.  The following fields are currently supported:
150
151 =over 4
152
153 =item custnum
154
155 Primary key (assigned automatically for new customers)
156
157 =item agentnum
158
159 Agent (see L<FS::agent>)
160
161 =item refnum
162
163 Advertising source (see L<FS::part_referral>)
164
165 =item first
166
167 First name
168
169 =item last
170
171 Last name
172
173 =item ss
174
175 Cocial security number (optional)
176
177 =item company
178
179 (optional)
180
181 =item address1
182
183 =item address2
184
185 (optional)
186
187 =item city
188
189 =item county
190
191 (optional, see L<FS::cust_main_county>)
192
193 =item state
194
195 (see L<FS::cust_main_county>)
196
197 =item zip
198
199 =item country
200
201 (see L<FS::cust_main_county>)
202
203 =item daytime
204
205 phone (optional)
206
207 =item night
208
209 phone (optional)
210
211 =item fax
212
213 phone (optional)
214
215 =item ship_first
216
217 Shipping first name
218
219 =item ship_last
220
221 Shipping last name
222
223 =item ship_company
224
225 (optional)
226
227 =item ship_address1
228
229 =item ship_address2
230
231 (optional)
232
233 =item ship_city
234
235 =item ship_county
236
237 (optional, see L<FS::cust_main_county>)
238
239 =item ship_state
240
241 (see L<FS::cust_main_county>)
242
243 =item ship_zip
244
245 =item ship_country
246
247 (see L<FS::cust_main_county>)
248
249 =item ship_daytime
250
251 phone (optional)
252
253 =item ship_night
254
255 phone (optional)
256
257 =item ship_fax
258
259 phone (optional)
260
261 =item payby
262
263 Payment Type (See L<FS::payinfo_Mixin> for valid payby values)
264
265 =item payinfo
266
267 Payment Information (See L<FS::payinfo_Mixin> for data format)
268
269 =item paymask
270
271 Masked payinfo (See L<FS::payinfo_Mixin> for how this works)
272
273 =item paycvv
274
275 Card Verification Value, "CVV2" (also known as CVC2 or CID), the 3 or 4 digit number on the back (or front, for American Express) of the credit card
276
277 =item paydate
278
279 Expiration date, mm/yyyy, m/yyyy, mm/yy or m/yy
280
281 =item paystart_month
282
283 Start date month (maestro/solo cards only)
284
285 =item paystart_year
286
287 Start date year (maestro/solo cards only)
288
289 =item payissue
290
291 Issue number (maestro/solo cards only)
292
293 =item payname
294
295 Name on card or billing name
296
297 =item payip
298
299 IP address from which payment information was received
300
301 =item tax
302
303 Tax exempt, empty or `Y'
304
305 =item usernum
306
307 Order taker (see L<FS::access_user>)
308
309 =item comments
310
311 Comments (optional)
312
313 =item referral_custnum
314
315 Referring customer number
316
317 =item spool_cdr
318
319 Enable individual CDR spooling, empty or `Y'
320
321 =item dundate
322
323 A suggestion to events (see L<FS::part_bill_event">) to delay until this unix timestamp
324
325 =item squelch_cdr
326
327 Discourage individual CDR printing, empty or `Y'
328
329 =back
330
331 =head1 METHODS
332
333 =over 4
334
335 =item new HASHREF
336
337 Creates a new customer.  To add the customer to the database, see L<"insert">.
338
339 Note that this stores the hash reference, not a distinct copy of the hash it
340 points to.  You can ask the object for a copy with the I<hash> method.
341
342 =cut
343
344 sub table { 'cust_main'; }
345
346 =item insert [ CUST_PKG_HASHREF [ , INVOICING_LIST_ARYREF ] [ , OPTION => VALUE ... ] ]
347
348 Adds this customer to the database.  If there is an error, returns the error,
349 otherwise returns false.
350
351 CUST_PKG_HASHREF: If you pass a Tie::RefHash data structure to the insert
352 method containing FS::cust_pkg and FS::svc_I<tablename> objects, all records
353 are inserted atomicly, or the transaction is rolled back.  Passing an empty
354 hash reference is equivalent to not supplying this parameter.  There should be
355 a better explanation of this, but until then, here's an example:
356
357   use Tie::RefHash;
358   tie %hash, 'Tie::RefHash'; #this part is important
359   %hash = (
360     $cust_pkg => [ $svc_acct ],
361     ...
362   );
363   $cust_main->insert( \%hash );
364
365 INVOICING_LIST_ARYREF: If you pass an arrarref to the insert method, it will
366 be set as the invoicing list (see L<"invoicing_list">).  Errors return as
367 expected and rollback the entire transaction; it is not necessary to call 
368 check_invoicing_list first.  The invoicing_list is set after the records in the
369 CUST_PKG_HASHREF above are inserted, so it is now possible to set an
370 invoicing_list destination to the newly-created svc_acct.  Here's an example:
371
372   $cust_main->insert( {}, [ $email, 'POST' ] );
373
374 Currently available options are: I<depend_jobnum>, I<noexport> and I<tax_exemption>.
375
376 If I<depend_jobnum> is set, all provisioning jobs will have a dependancy
377 on the supplied jobnum (they will not run until the specific job completes).
378 This can be used to defer provisioning until some action completes (such
379 as running the customer's credit card successfully).
380
381 The I<noexport> option is deprecated.  If I<noexport> is set true, no
382 provisioning jobs (exports) are scheduled.  (You can schedule them later with
383 the B<reexport> method.)
384
385 The I<tax_exemption> option can be set to an arrayref of tax names.
386 FS::cust_main_exemption records will be created and inserted.
387
388 =cut
389
390 sub insert {
391   my $self = shift;
392   my $cust_pkgs = @_ ? shift : {};
393   my $invoicing_list = @_ ? shift : '';
394   my %options = @_;
395   warn "$me insert called with options ".
396        join(', ', map { "$_: $options{$_}" } keys %options ). "\n"
397     if $DEBUG;
398
399   local $SIG{HUP} = 'IGNORE';
400   local $SIG{INT} = 'IGNORE';
401   local $SIG{QUIT} = 'IGNORE';
402   local $SIG{TERM} = 'IGNORE';
403   local $SIG{TSTP} = 'IGNORE';
404   local $SIG{PIPE} = 'IGNORE';
405
406   my $oldAutoCommit = $FS::UID::AutoCommit;
407   local $FS::UID::AutoCommit = 0;
408   my $dbh = dbh;
409
410   my $prepay_identifier = '';
411   my( $amount, $seconds, $upbytes, $downbytes, $totalbytes ) = (0, 0, 0, 0, 0);
412   my $payby = '';
413   if ( $self->payby eq 'PREPAY' ) {
414
415     $self->payby('BILL');
416     $prepay_identifier = $self->payinfo;
417     $self->payinfo('');
418
419     warn "  looking up prepaid card $prepay_identifier\n"
420       if $DEBUG > 1;
421
422     my $error = $self->get_prepay( $prepay_identifier,
423                                    'amount_ref'     => \$amount,
424                                    'seconds_ref'    => \$seconds,
425                                    'upbytes_ref'    => \$upbytes,
426                                    'downbytes_ref'  => \$downbytes,
427                                    'totalbytes_ref' => \$totalbytes,
428                                  );
429     if ( $error ) {
430       $dbh->rollback if $oldAutoCommit;
431       #return "error applying prepaid card (transaction rolled back): $error";
432       return $error;
433     }
434
435     $payby = 'PREP' if $amount;
436
437   } elsif ( $self->payby =~ /^(CASH|WEST|MCRD)$/ ) {
438
439     $payby = $1;
440     $self->payby('BILL');
441     $amount = $self->paid;
442
443   }
444
445   warn "  inserting $self\n"
446     if $DEBUG > 1;
447
448   $self->signupdate(time) unless $self->signupdate;
449
450   $self->auto_agent_custid()
451     if $conf->config('cust_main-auto_agent_custid') && ! $self->agent_custid;
452
453   my $error = $self->SUPER::insert;
454   if ( $error ) {
455     $dbh->rollback if $oldAutoCommit;
456     #return "inserting cust_main record (transaction rolled back): $error";
457     return $error;
458   }
459
460   warn "  setting invoicing list\n"
461     if $DEBUG > 1;
462
463   if ( $invoicing_list ) {
464     $error = $self->check_invoicing_list( $invoicing_list );
465     if ( $error ) {
466       $dbh->rollback if $oldAutoCommit;
467       #return "checking invoicing_list (transaction rolled back): $error";
468       return $error;
469     }
470     $self->invoicing_list( $invoicing_list );
471   }
472
473   warn "  setting cust_main_exemption\n"
474     if $DEBUG > 1;
475
476   my $tax_exemption = delete $options{'tax_exemption'};
477   if ( $tax_exemption ) {
478     foreach my $taxname ( @$tax_exemption ) {
479       my $cust_main_exemption = new FS::cust_main_exemption {
480         'custnum' => $self->custnum,
481         'taxname' => $taxname,
482       };
483       my $error = $cust_main_exemption->insert;
484       if ( $error ) {
485         $dbh->rollback if $oldAutoCommit;
486         return "inserting cust_main_exemption (transaction rolled back): $error";
487       }
488     }
489   }
490
491   if (    $conf->config('cust_main-skeleton_tables')
492        && $conf->config('cust_main-skeleton_custnum') ) {
493
494     warn "  inserting skeleton records\n"
495       if $DEBUG > 1;
496
497     my $error = $self->start_copy_skel;
498     if ( $error ) {
499       $dbh->rollback if $oldAutoCommit;
500       return $error;
501     }
502
503   }
504
505   warn "  ordering packages\n"
506     if $DEBUG > 1;
507
508   $error = $self->order_pkgs( $cust_pkgs,
509                               %options,
510                               'seconds_ref'    => \$seconds,
511                               'upbytes_ref'    => \$upbytes,
512                               'downbytes_ref'  => \$downbytes,
513                               'totalbytes_ref' => \$totalbytes,
514                             );
515   if ( $error ) {
516     $dbh->rollback if $oldAutoCommit;
517     return $error;
518   }
519
520   if ( $seconds ) {
521     $dbh->rollback if $oldAutoCommit;
522     return "No svc_acct record to apply pre-paid time";
523   }
524   if ( $upbytes || $downbytes || $totalbytes ) {
525     $dbh->rollback if $oldAutoCommit;
526     return "No svc_acct record to apply pre-paid data";
527   }
528
529   if ( $amount ) {
530     warn "  inserting initial $payby payment of $amount\n"
531       if $DEBUG > 1;
532     $error = $self->insert_cust_pay($payby, $amount, $prepay_identifier);
533     if ( $error ) {
534       $dbh->rollback if $oldAutoCommit;
535       return "inserting payment (transaction rolled back): $error";
536     }
537   }
538
539   unless ( $import || $skip_fuzzyfiles ) {
540     warn "  queueing fuzzyfiles update\n"
541       if $DEBUG > 1;
542     $error = $self->queue_fuzzyfiles_update;
543     if ( $error ) {
544       $dbh->rollback if $oldAutoCommit;
545       return "updating fuzzy search cache: $error";
546     }
547   }
548
549   warn "  insert complete; committing transaction\n"
550     if $DEBUG > 1;
551
552   $dbh->commit or die $dbh->errstr if $oldAutoCommit;
553   '';
554
555 }
556
557 use File::CounterFile;
558 sub auto_agent_custid {
559   my $self = shift;
560
561   my $format = $conf->config('cust_main-auto_agent_custid');
562   my $agent_custid;
563   if ( $format eq '1YMMXXXXXXXX' ) {
564
565     my $counter = new File::CounterFile 'cust_main.agent_custid';
566     $counter->lock;
567
568     my $ym = 100000000000 + time2str('%y%m00000000', time);
569     if ( $ym > $counter->value ) {
570       $counter->{'value'} = $agent_custid = $ym;
571       $counter->{'updated'} = 1;
572     } else {
573       $agent_custid = $counter->inc;
574     }
575
576     $counter->unlock;
577
578   } else {
579     die "Unknown cust_main-auto_agent_custid format: $format";
580   }
581
582   $self->agent_custid($agent_custid);
583
584 }
585
586 sub start_copy_skel {
587   my $self = shift;
588
589   #'mg_user_preference' => {},
590   #'mg_user_indicator_profile.user_indicator_profile_id' => { 'mg_profile_indicator.profile_indicator_id' => { 'mg_profile_details.profile_detail_id' }, },
591   #'mg_watchlist_header.watchlist_header_id' => { 'mg_watchlist_details.watchlist_details_id' },
592   #'mg_user_grid_header.grid_header_id' => { 'mg_user_grid_details.user_grid_details_id' },
593   #'mg_portfolio_header.portfolio_header_id' => { 'mg_portfolio_trades.portfolio_trades_id' => { 'mg_portfolio_trades_positions.portfolio_trades_positions_id' } },
594   my @tables = eval(join('\n',$conf->config('cust_main-skeleton_tables')));
595   die $@ if $@;
596
597   _copy_skel( 'cust_main',                                 #tablename
598               $conf->config('cust_main-skeleton_custnum'), #sourceid
599               $self->custnum,                              #destid
600               @tables,                                     #child tables
601             );
602 }
603
604 #recursive subroutine, not a method
605 sub _copy_skel {
606   my( $table, $sourceid, $destid, %child_tables ) = @_;
607
608   my $primary_key;
609   if ( $table =~ /^(\w+)\.(\w+)$/ ) {
610     ( $table, $primary_key ) = ( $1, $2 );
611   } else {
612     my $dbdef_table = dbdef->table($table);
613     $primary_key = $dbdef_table->primary_key
614       or return "$table has no primary key".
615                 " (or do you need to run dbdef-create?)";
616   }
617
618   warn "  _copy_skel: $table.$primary_key $sourceid to $destid for ".
619        join (', ', keys %child_tables). "\n"
620     if $DEBUG > 2;
621
622   foreach my $child_table_def ( keys %child_tables ) {
623
624     my $child_table;
625     my $child_pkey = '';
626     if ( $child_table_def =~ /^(\w+)\.(\w+)$/ ) {
627       ( $child_table, $child_pkey ) = ( $1, $2 );
628     } else {
629       $child_table = $child_table_def;
630
631       $child_pkey = dbdef->table($child_table)->primary_key;
632       #  or return "$table has no primary key".
633       #            " (or do you need to run dbdef-create?)\n";
634     }
635
636     my $sequence = '';
637     if ( keys %{ $child_tables{$child_table_def} } ) {
638
639       return "$child_table has no primary key".
640              " (run dbdef-create or try specifying it?)\n"
641         unless $child_pkey;
642
643       #false laziness w/Record::insert and only works on Pg
644       #refactor the proper last-inserted-id stuff out of Record::insert if this
645       # ever gets use for anything besides a quick kludge for one customer
646       my $default = dbdef->table($child_table)->column($child_pkey)->default;
647       $default =~ /^nextval\(\(?'"?([\w\.]+)"?'/i
648         or return "can't parse $child_table.$child_pkey default value ".
649                   " for sequence name: $default";
650       $sequence = $1;
651
652     }
653   
654     my @sel_columns = grep { $_ ne $primary_key }
655                            dbdef->table($child_table)->columns;
656     my $sel_columns = join(', ', @sel_columns );
657
658     my @ins_columns = grep { $_ ne $child_pkey } @sel_columns;
659     my $ins_columns = ' ( '. join(', ', $primary_key, @ins_columns ). ' ) ';
660     my $placeholders = ' ( ?, '. join(', ', map '?', @ins_columns ). ' ) ';
661
662     my $sel_st = "SELECT $sel_columns FROM $child_table".
663                  " WHERE $primary_key = $sourceid";
664     warn "    $sel_st\n"
665       if $DEBUG > 2;
666     my $sel_sth = dbh->prepare( $sel_st )
667       or return dbh->errstr;
668   
669     $sel_sth->execute or return $sel_sth->errstr;
670
671     while ( my $row = $sel_sth->fetchrow_hashref ) {
672
673       warn "    selected row: ".
674            join(', ', map { "$_=".$row->{$_} } keys %$row ). "\n"
675         if $DEBUG > 2;
676
677       my $statement =
678         "INSERT INTO $child_table $ins_columns VALUES $placeholders";
679       my $ins_sth =dbh->prepare($statement)
680           or return dbh->errstr;
681       my @param = ( $destid, map $row->{$_}, @ins_columns );
682       warn "    $statement: [ ". join(', ', @param). " ]\n"
683         if $DEBUG > 2;
684       $ins_sth->execute( @param )
685         or return $ins_sth->errstr;
686
687       #next unless keys %{ $child_tables{$child_table} };
688       next unless $sequence;
689       
690       #another section of that laziness
691       my $seq_sql = "SELECT currval('$sequence')";
692       my $seq_sth = dbh->prepare($seq_sql) or return dbh->errstr;
693       $seq_sth->execute or return $seq_sth->errstr;
694       my $insertid = $seq_sth->fetchrow_arrayref->[0];
695   
696       # don't drink soap!  recurse!  recurse!  okay!
697       my $error =
698         _copy_skel( $child_table_def,
699                     $row->{$child_pkey}, #sourceid
700                     $insertid, #destid
701                     %{ $child_tables{$child_table_def} },
702                   );
703       return $error if $error;
704
705     }
706
707   }
708
709   return '';
710
711 }
712
713 =item order_pkg HASHREF | OPTION => VALUE ... 
714
715 Orders a single package.
716
717 Options may be passed as a list of key/value pairs or as a hash reference.
718 Options are:
719
720 =over 4
721
722 =item cust_pkg
723
724 FS::cust_pkg object
725
726 =item cust_location
727
728 Optional FS::cust_location object
729
730 =item svcs
731
732 Optional arryaref of FS::svc_* service objects.
733
734 =item depend_jobnum
735
736 If this option is set to a job queue jobnum (see L<FS::queue>), all provisioning
737 jobs will have a dependancy on the supplied job (they will not run until the
738 specific job completes).  This can be used to defer provisioning until some
739 action completes (such as running the customer's credit card successfully).
740
741 =item ticket_subject
742
743 Optional subject for a ticket created and attached to this customer
744
745 =item ticket_subject
746
747 Optional queue name for ticket additions
748
749 =back
750
751 =cut
752
753 sub order_pkg {
754   my $self = shift;
755   my $opt = ref($_[0]) ? shift : { @_ };
756
757   warn "$me order_pkg called with options ".
758        join(', ', map { "$_: $opt->{$_}" } keys %$opt ). "\n"
759     if $DEBUG;
760
761   my $cust_pkg = $opt->{'cust_pkg'};
762   my $svcs     = $opt->{'svcs'} || [];
763
764   my %svc_options = ();
765   $svc_options{'depend_jobnum'} = $opt->{'depend_jobnum'}
766     if exists($opt->{'depend_jobnum'}) && $opt->{'depend_jobnum'};
767
768   my %insert_params = map { $opt->{$_} ? ( $_ => $opt->{$_} ) : () }
769                           qw( ticket_subject ticket_queue );
770
771   local $SIG{HUP} = 'IGNORE';
772   local $SIG{INT} = 'IGNORE';
773   local $SIG{QUIT} = 'IGNORE';
774   local $SIG{TERM} = 'IGNORE';
775   local $SIG{TSTP} = 'IGNORE';
776   local $SIG{PIPE} = 'IGNORE';
777
778   my $oldAutoCommit = $FS::UID::AutoCommit;
779   local $FS::UID::AutoCommit = 0;
780   my $dbh = dbh;
781
782   if ( $opt->{'cust_location'} &&
783        ( ! $cust_pkg->locationnum || $cust_pkg->locationnum == -1 ) ) {
784     my $error = $opt->{'cust_location'}->insert;
785     if ( $error ) {
786       $dbh->rollback if $oldAutoCommit;
787       return "inserting cust_location (transaction rolled back): $error";
788     }
789     $cust_pkg->locationnum($opt->{'cust_location'}->locationnum);
790   }
791
792   $cust_pkg->custnum( $self->custnum );
793
794   my $error = $cust_pkg->insert( %insert_params );
795   if ( $error ) {
796     $dbh->rollback if $oldAutoCommit;
797     return "inserting cust_pkg (transaction rolled back): $error";
798   }
799
800   foreach my $svc_something ( @{ $opt->{'svcs'} } ) {
801     if ( $svc_something->svcnum ) {
802       my $old_cust_svc = $svc_something->cust_svc;
803       my $new_cust_svc = new FS::cust_svc { $old_cust_svc->hash };
804       $new_cust_svc->pkgnum( $cust_pkg->pkgnum);
805       $error = $new_cust_svc->replace($old_cust_svc);
806     } else {
807       $svc_something->pkgnum( $cust_pkg->pkgnum );
808       if ( $svc_something->isa('FS::svc_acct') ) {
809         foreach ( grep { $opt->{$_.'_ref'} && ${ $opt->{$_.'_ref'} } }
810                        qw( seconds upbytes downbytes totalbytes )      ) {
811           $svc_something->$_( $svc_something->$_() + ${ $opt->{$_.'_ref'} } );
812           ${ $opt->{$_.'_ref'} } = 0;
813         }
814       }
815       $error = $svc_something->insert(%svc_options);
816     }
817     if ( $error ) {
818       $dbh->rollback if $oldAutoCommit;
819       return "inserting svc_ (transaction rolled back): $error";
820     }
821   }
822
823   $dbh->commit or die $dbh->errstr if $oldAutoCommit;
824   ''; #no error
825
826 }
827
828 #deprecated #=item order_pkgs HASHREF [ , SECONDSREF ] [ , OPTION => VALUE ... ]
829 =item order_pkgs HASHREF [ , OPTION => VALUE ... ]
830
831 Like the insert method on an existing record, this method orders multiple
832 packages and included services atomicaly.  Pass a Tie::RefHash data structure
833 to this method containing FS::cust_pkg and FS::svc_I<tablename> objects.
834 There should be a better explanation of this, but until then, here's an
835 example:
836
837   use Tie::RefHash;
838   tie %hash, 'Tie::RefHash'; #this part is important
839   %hash = (
840     $cust_pkg => [ $svc_acct ],
841     ...
842   );
843   $cust_main->order_pkgs( \%hash, 'noexport'=>1 );
844
845 Services can be new, in which case they are inserted, or existing unaudited
846 services, in which case they are linked to the newly-created package.
847
848 Currently available options are: I<depend_jobnum>, I<noexport>, I<seconds_ref>,
849 I<upbytes_ref>, I<downbytes_ref>, and I<totalbytes_ref>.
850
851 If I<depend_jobnum> is set, all provisioning jobs will have a dependancy
852 on the supplied jobnum (they will not run until the specific job completes).
853 This can be used to defer provisioning until some action completes (such
854 as running the customer's credit card successfully).
855
856 The I<noexport> option is deprecated.  If I<noexport> is set true, no
857 provisioning jobs (exports) are scheduled.  (You can schedule them later with
858 the B<reexport> method for each cust_pkg object.  Using the B<reexport> method
859 on the cust_main object is not recommended, as existing services will also be
860 reexported.)
861
862 If I<seconds_ref>, I<upbytes_ref>, I<downbytes_ref>, or I<totalbytes_ref> is
863 provided, the scalars (provided by references) will be incremented by the
864 values of the prepaid card.`
865
866 =cut
867
868 sub order_pkgs {
869   my $self = shift;
870   my $cust_pkgs = shift;
871   my $seconds_ref = ref($_[0]) ? shift : ''; #deprecated
872   my %options = @_;
873   $seconds_ref ||= $options{'seconds_ref'};
874
875   warn "$me order_pkgs called with options ".
876        join(', ', map { "$_: $options{$_}" } keys %options ). "\n"
877     if $DEBUG;
878
879   local $SIG{HUP} = 'IGNORE';
880   local $SIG{INT} = 'IGNORE';
881   local $SIG{QUIT} = 'IGNORE';
882   local $SIG{TERM} = 'IGNORE';
883   local $SIG{TSTP} = 'IGNORE';
884   local $SIG{PIPE} = 'IGNORE';
885
886   my $oldAutoCommit = $FS::UID::AutoCommit;
887   local $FS::UID::AutoCommit = 0;
888   my $dbh = dbh;
889
890   local $FS::svc_Common::noexport_hack = 1 if $options{'noexport'};
891
892   foreach my $cust_pkg ( keys %$cust_pkgs ) {
893
894     my $error = $self->order_pkg(
895       'cust_pkg'     => $cust_pkg,
896       'svcs'         => $cust_pkgs->{$cust_pkg},
897       'seconds_ref'  => $seconds_ref,
898       map { $_ => $options{$_} } qw( upbytes_ref downbytes_ref totalbytes_ref
899                                      depend_jobnum
900                                    )
901     );
902     if ( $error ) {
903       $dbh->rollback if $oldAutoCommit;
904       return $error;
905     }
906
907   }
908
909   $dbh->commit or die $dbh->errstr if $oldAutoCommit;
910   ''; #no error
911 }
912
913 =item recharge_prepay IDENTIFIER | PREPAY_CREDIT_OBJ [ , AMOUNTREF, SECONDSREF, UPBYTEREF, DOWNBYTEREF ]
914
915 Recharges this (existing) customer with the specified prepaid card (see
916 L<FS::prepay_credit>), specified either by I<identifier> or as an
917 FS::prepay_credit object.  If there is an error, returns the error, otherwise
918 returns false.
919
920 Optionally, five scalar references can be passed as well.  They will have their
921 values filled in with the amount, number of seconds, and number of upload,
922 download, and total bytes applied by this prepaid card.
923
924 =cut
925
926 #the ref bullshit here should be refactored like get_prepay.  MyAccount.pm is
927 #the only place that uses these args
928 sub recharge_prepay { 
929   my( $self, $prepay_credit, $amountref, $secondsref, 
930       $upbytesref, $downbytesref, $totalbytesref ) = @_;
931
932   local $SIG{HUP} = 'IGNORE';
933   local $SIG{INT} = 'IGNORE';
934   local $SIG{QUIT} = 'IGNORE';
935   local $SIG{TERM} = 'IGNORE';
936   local $SIG{TSTP} = 'IGNORE';
937   local $SIG{PIPE} = 'IGNORE';
938
939   my $oldAutoCommit = $FS::UID::AutoCommit;
940   local $FS::UID::AutoCommit = 0;
941   my $dbh = dbh;
942
943   my( $amount, $seconds, $upbytes, $downbytes, $totalbytes) = ( 0, 0, 0, 0, 0 );
944
945   my $error = $self->get_prepay( $prepay_credit,
946                                  'amount_ref'     => \$amount,
947                                  'seconds_ref'    => \$seconds,
948                                  'upbytes_ref'    => \$upbytes,
949                                  'downbytes_ref'  => \$downbytes,
950                                  'totalbytes_ref' => \$totalbytes,
951                                )
952            || $self->increment_seconds($seconds)
953            || $self->increment_upbytes($upbytes)
954            || $self->increment_downbytes($downbytes)
955            || $self->increment_totalbytes($totalbytes)
956            || $self->insert_cust_pay_prepay( $amount,
957                                              ref($prepay_credit)
958                                                ? $prepay_credit->identifier
959                                                : $prepay_credit
960                                            );
961
962   if ( $error ) {
963     $dbh->rollback if $oldAutoCommit;
964     return $error;
965   }
966
967   if ( defined($amountref)  ) { $$amountref  = $amount;  }
968   if ( defined($secondsref) ) { $$secondsref = $seconds; }
969   if ( defined($upbytesref) ) { $$upbytesref = $upbytes; }
970   if ( defined($downbytesref) ) { $$downbytesref = $downbytes; }
971   if ( defined($totalbytesref) ) { $$totalbytesref = $totalbytes; }
972
973   $dbh->commit or die $dbh->errstr if $oldAutoCommit;
974   '';
975
976 }
977
978 =item get_prepay IDENTIFIER | PREPAY_CREDIT_OBJ [ , OPTION => VALUE ... ]
979
980 Looks up and deletes a prepaid card (see L<FS::prepay_credit>),
981 specified either by I<identifier> or as an FS::prepay_credit object.
982
983 Available options are: I<amount_ref>, I<seconds_ref>, I<upbytes_ref>, I<downbytes_ref>, and I<totalbytes_ref>.  The scalars (provided by references) will be
984 incremented by the values of the prepaid card.
985
986 If the prepaid card specifies an I<agentnum> (see L<FS::agent>), it is used to
987 check or set this customer's I<agentnum>.
988
989 If there is an error, returns the error, otherwise returns false.
990
991 =cut
992
993
994 sub get_prepay {
995   my( $self, $prepay_credit, %opt ) = @_;
996
997   local $SIG{HUP} = 'IGNORE';
998   local $SIG{INT} = 'IGNORE';
999   local $SIG{QUIT} = 'IGNORE';
1000   local $SIG{TERM} = 'IGNORE';
1001   local $SIG{TSTP} = 'IGNORE';
1002   local $SIG{PIPE} = 'IGNORE';
1003
1004   my $oldAutoCommit = $FS::UID::AutoCommit;
1005   local $FS::UID::AutoCommit = 0;
1006   my $dbh = dbh;
1007
1008   unless ( ref($prepay_credit) ) {
1009
1010     my $identifier = $prepay_credit;
1011
1012     $prepay_credit = qsearchs(
1013       'prepay_credit',
1014       { 'identifier' => $prepay_credit },
1015       '',
1016       'FOR UPDATE'
1017     );
1018
1019     unless ( $prepay_credit ) {
1020       $dbh->rollback if $oldAutoCommit;
1021       return "Invalid prepaid card: ". $identifier;
1022     }
1023
1024   }
1025
1026   if ( $prepay_credit->agentnum ) {
1027     if ( $self->agentnum && $self->agentnum != $prepay_credit->agentnum ) {
1028       $dbh->rollback if $oldAutoCommit;
1029       return "prepaid card not valid for agent ". $self->agentnum;
1030     }
1031     $self->agentnum($prepay_credit->agentnum);
1032   }
1033
1034   my $error = $prepay_credit->delete;
1035   if ( $error ) {
1036     $dbh->rollback if $oldAutoCommit;
1037     return "removing prepay_credit (transaction rolled back): $error";
1038   }
1039
1040   ${ $opt{$_.'_ref'} } += $prepay_credit->$_()
1041     for grep $opt{$_.'_ref'}, qw( amount seconds upbytes downbytes totalbytes );
1042
1043   $dbh->commit or die $dbh->errstr if $oldAutoCommit;
1044   '';
1045
1046 }
1047
1048 =item increment_upbytes SECONDS
1049
1050 Updates this customer's single or primary account (see L<FS::svc_acct>) by
1051 the specified number of upbytes.  If there is an error, returns the error,
1052 otherwise returns false.
1053
1054 =cut
1055
1056 sub increment_upbytes {
1057   _increment_column( shift, 'upbytes', @_);
1058 }
1059
1060 =item increment_downbytes SECONDS
1061
1062 Updates this customer's single or primary account (see L<FS::svc_acct>) by
1063 the specified number of downbytes.  If there is an error, returns the error,
1064 otherwise returns false.
1065
1066 =cut
1067
1068 sub increment_downbytes {
1069   _increment_column( shift, 'downbytes', @_);
1070 }
1071
1072 =item increment_totalbytes SECONDS
1073
1074 Updates this customer's single or primary account (see L<FS::svc_acct>) by
1075 the specified number of totalbytes.  If there is an error, returns the error,
1076 otherwise returns false.
1077
1078 =cut
1079
1080 sub increment_totalbytes {
1081   _increment_column( shift, 'totalbytes', @_);
1082 }
1083
1084 =item increment_seconds SECONDS
1085
1086 Updates this customer's single or primary account (see L<FS::svc_acct>) by
1087 the specified number of seconds.  If there is an error, returns the error,
1088 otherwise returns false.
1089
1090 =cut
1091
1092 sub increment_seconds {
1093   _increment_column( shift, 'seconds', @_);
1094 }
1095
1096 =item _increment_column AMOUNT
1097
1098 Updates this customer's single or primary account (see L<FS::svc_acct>) by
1099 the specified number of seconds or bytes.  If there is an error, returns
1100 the error, otherwise returns false.
1101
1102 =cut
1103
1104 sub _increment_column {
1105   my( $self, $column, $amount ) = @_;
1106   warn "$me increment_column called: $column, $amount\n"
1107     if $DEBUG;
1108
1109   return '' unless $amount;
1110
1111   my @cust_pkg = grep { $_->part_pkg->svcpart('svc_acct') }
1112                       $self->ncancelled_pkgs;
1113
1114   if ( ! @cust_pkg ) {
1115     return 'No packages with primary or single services found'.
1116            ' to apply pre-paid time';
1117   } elsif ( scalar(@cust_pkg) > 1 ) {
1118     #maybe have a way to specify the package/account?
1119     return 'Multiple packages found to apply pre-paid time';
1120   }
1121
1122   my $cust_pkg = $cust_pkg[0];
1123   warn "  found package pkgnum ". $cust_pkg->pkgnum. "\n"
1124     if $DEBUG > 1;
1125
1126   my @cust_svc =
1127     $cust_pkg->cust_svc( $cust_pkg->part_pkg->svcpart('svc_acct') );
1128
1129   if ( ! @cust_svc ) {
1130     return 'No account found to apply pre-paid time';
1131   } elsif ( scalar(@cust_svc) > 1 ) {
1132     return 'Multiple accounts found to apply pre-paid time';
1133   }
1134   
1135   my $svc_acct = $cust_svc[0]->svc_x;
1136   warn "  found service svcnum ". $svc_acct->pkgnum.
1137        ' ('. $svc_acct->email. ")\n"
1138     if $DEBUG > 1;
1139
1140   $column = "increment_$column";
1141   $svc_acct->$column($amount);
1142
1143 }
1144
1145 =item insert_cust_pay_prepay AMOUNT [ PAYINFO ]
1146
1147 Inserts a prepayment in the specified amount for this customer.  An optional
1148 second argument can specify the prepayment identifier for tracking purposes.
1149 If there is an error, returns the error, otherwise returns false.
1150
1151 =cut
1152
1153 sub insert_cust_pay_prepay {
1154   shift->insert_cust_pay('PREP', @_);
1155 }
1156
1157 =item insert_cust_pay_cash AMOUNT [ PAYINFO ]
1158
1159 Inserts a cash payment in the specified amount for this customer.  An optional
1160 second argument can specify the payment identifier for tracking purposes.
1161 If there is an error, returns the error, otherwise returns false.
1162
1163 =cut
1164
1165 sub insert_cust_pay_cash {
1166   shift->insert_cust_pay('CASH', @_);
1167 }
1168
1169 =item insert_cust_pay_west AMOUNT [ PAYINFO ]
1170
1171 Inserts a Western Union payment in the specified amount for this customer.  An
1172 optional second argument can specify the prepayment identifier for tracking
1173 purposes.  If there is an error, returns the error, otherwise returns false.
1174
1175 =cut
1176
1177 sub insert_cust_pay_west {
1178   shift->insert_cust_pay('WEST', @_);
1179 }
1180
1181 sub insert_cust_pay {
1182   my( $self, $payby, $amount ) = splice(@_, 0, 3);
1183   my $payinfo = scalar(@_) ? shift : '';
1184
1185   my $cust_pay = new FS::cust_pay {
1186     'custnum' => $self->custnum,
1187     'paid'    => sprintf('%.2f', $amount),
1188     #'_date'   => #date the prepaid card was purchased???
1189     'payby'   => $payby,
1190     'payinfo' => $payinfo,
1191   };
1192   $cust_pay->insert;
1193
1194 }
1195
1196 =item reexport
1197
1198 This method is deprecated.  See the I<depend_jobnum> option to the insert and
1199 order_pkgs methods for a better way to defer provisioning.
1200
1201 Re-schedules all exports by calling the B<reexport> method of all associated
1202 packages (see L<FS::cust_pkg>).  If there is an error, returns the error;
1203 otherwise returns false.
1204
1205 =cut
1206
1207 sub reexport {
1208   my $self = shift;
1209
1210   carp "WARNING: FS::cust_main::reexport is deprectated; ".
1211        "use the depend_jobnum option to insert or order_pkgs to delay export";
1212
1213   local $SIG{HUP} = 'IGNORE';
1214   local $SIG{INT} = 'IGNORE';
1215   local $SIG{QUIT} = 'IGNORE';
1216   local $SIG{TERM} = 'IGNORE';
1217   local $SIG{TSTP} = 'IGNORE';
1218   local $SIG{PIPE} = 'IGNORE';
1219
1220   my $oldAutoCommit = $FS::UID::AutoCommit;
1221   local $FS::UID::AutoCommit = 0;
1222   my $dbh = dbh;
1223
1224   foreach my $cust_pkg ( $self->ncancelled_pkgs ) {
1225     my $error = $cust_pkg->reexport;
1226     if ( $error ) {
1227       $dbh->rollback if $oldAutoCommit;
1228       return $error;
1229     }
1230   }
1231
1232   $dbh->commit or die $dbh->errstr if $oldAutoCommit;
1233   '';
1234
1235 }
1236
1237 =item delete NEW_CUSTNUM
1238
1239 This deletes the customer.  If there is an error, returns the error, otherwise
1240 returns false.
1241
1242 This will completely remove all traces of the customer record.  This is not
1243 what you want when a customer cancels service; for that, cancel all of the
1244 customer's packages (see L</cancel>).
1245
1246 If the customer has any uncancelled packages, you need to pass a new (valid)
1247 customer number for those packages to be transferred to.  Cancelled packages
1248 will be deleted.  Did I mention that this is NOT what you want when a customer
1249 cancels service and that you really should be looking see L<FS::cust_pkg/cancel>?
1250
1251 You can't delete a customer with invoices (see L<FS::cust_bill>),
1252 or credits (see L<FS::cust_credit>), payments (see L<FS::cust_pay>) or
1253 refunds (see L<FS::cust_refund>).
1254
1255 =cut
1256
1257 sub delete {
1258   my $self = shift;
1259
1260   local $SIG{HUP} = 'IGNORE';
1261   local $SIG{INT} = 'IGNORE';
1262   local $SIG{QUIT} = 'IGNORE';
1263   local $SIG{TERM} = 'IGNORE';
1264   local $SIG{TSTP} = 'IGNORE';
1265   local $SIG{PIPE} = 'IGNORE';
1266
1267   my $oldAutoCommit = $FS::UID::AutoCommit;
1268   local $FS::UID::AutoCommit = 0;
1269   my $dbh = dbh;
1270
1271   if ( $self->cust_bill ) {
1272     $dbh->rollback if $oldAutoCommit;
1273     return "Can't delete a customer with invoices";
1274   }
1275   if ( $self->cust_credit ) {
1276     $dbh->rollback if $oldAutoCommit;
1277     return "Can't delete a customer with credits";
1278   }
1279   if ( $self->cust_pay ) {
1280     $dbh->rollback if $oldAutoCommit;
1281     return "Can't delete a customer with payments";
1282   }
1283   if ( $self->cust_refund ) {
1284     $dbh->rollback if $oldAutoCommit;
1285     return "Can't delete a customer with refunds";
1286   }
1287
1288   my @cust_pkg = $self->ncancelled_pkgs;
1289   if ( @cust_pkg ) {
1290     my $new_custnum = shift;
1291     unless ( qsearchs( 'cust_main', { 'custnum' => $new_custnum } ) ) {
1292       $dbh->rollback if $oldAutoCommit;
1293       return "Invalid new customer number: $new_custnum";
1294     }
1295     foreach my $cust_pkg ( @cust_pkg ) {
1296       my %hash = $cust_pkg->hash;
1297       $hash{'custnum'} = $new_custnum;
1298       my $new_cust_pkg = new FS::cust_pkg ( \%hash );
1299       my $error = $new_cust_pkg->replace($cust_pkg,
1300                                          options => { $cust_pkg->options },
1301                                         );
1302       if ( $error ) {
1303         $dbh->rollback if $oldAutoCommit;
1304         return $error;
1305       }
1306     }
1307   }
1308   my @cancelled_cust_pkg = $self->all_pkgs;
1309   foreach my $cust_pkg ( @cancelled_cust_pkg ) {
1310     my $error = $cust_pkg->delete;
1311     if ( $error ) {
1312       $dbh->rollback if $oldAutoCommit;
1313       return $error;
1314     }
1315   }
1316
1317   foreach my $cust_main_invoice ( #(email invoice destinations, not invoices)
1318     qsearch( 'cust_main_invoice', { 'custnum' => $self->custnum } )
1319   ) {
1320     my $error = $cust_main_invoice->delete;
1321     if ( $error ) {
1322       $dbh->rollback if $oldAutoCommit;
1323       return $error;
1324     }
1325   }
1326
1327   foreach my $cust_main_exemption (
1328     qsearch( 'cust_main_exemption', { 'custnum' => $self->custnum } )
1329   ) {
1330     my $error = $cust_main_exemption->delete;
1331     if ( $error ) {
1332       $dbh->rollback if $oldAutoCommit;
1333       return $error;
1334     }
1335   }
1336
1337   my $error = $self->SUPER::delete;
1338   if ( $error ) {
1339     $dbh->rollback if $oldAutoCommit;
1340     return $error;
1341   }
1342
1343   $dbh->commit or die $dbh->errstr if $oldAutoCommit;
1344   '';
1345
1346 }
1347
1348 =item replace [ OLD_RECORD ] [ INVOICING_LIST_ARYREF ] [ , OPTION => VALUE ... ] ]
1349
1350
1351 Replaces the OLD_RECORD with this one in the database.  If there is an error,
1352 returns the error, otherwise returns false.
1353
1354 INVOICING_LIST_ARYREF: If you pass an arrarref to the insert method, it will
1355 be set as the invoicing list (see L<"invoicing_list">).  Errors return as
1356 expected and rollback the entire transaction; it is not necessary to call 
1357 check_invoicing_list first.  Here's an example:
1358
1359   $new_cust_main->replace( $old_cust_main, [ $email, 'POST' ] );
1360
1361 Currently available options are: I<tax_exemption>.
1362
1363 The I<tax_exemption> option can be set to an arrayref of tax names.
1364 FS::cust_main_exemption records will be deleted and inserted as appropriate.
1365
1366 =cut
1367
1368 sub replace {
1369   my $self = shift;
1370
1371   my $old = ( blessed($_[0]) && $_[0]->isa('FS::Record') )
1372               ? shift
1373               : $self->replace_old;
1374
1375   my @param = @_;
1376
1377   warn "$me replace called\n"
1378     if $DEBUG;
1379
1380   my $curuser = $FS::CurrentUser::CurrentUser;
1381   if (    $self->payby eq 'COMP'
1382        && $self->payby ne $old->payby
1383        && ! $curuser->access_right('Complimentary customer')
1384      )
1385   {
1386     return "You are not permitted to create complimentary accounts.";
1387   }
1388
1389   local($ignore_expired_card) = 1
1390     if $old->payby  =~ /^(CARD|DCRD)$/
1391     && $self->payby =~ /^(CARD|DCRD)$/
1392     && ( $old->payinfo eq $self->payinfo || $old->paymask eq $self->paymask );
1393
1394   local $SIG{HUP} = 'IGNORE';
1395   local $SIG{INT} = 'IGNORE';
1396   local $SIG{QUIT} = 'IGNORE';
1397   local $SIG{TERM} = 'IGNORE';
1398   local $SIG{TSTP} = 'IGNORE';
1399   local $SIG{PIPE} = 'IGNORE';
1400
1401   my $oldAutoCommit = $FS::UID::AutoCommit;
1402   local $FS::UID::AutoCommit = 0;
1403   my $dbh = dbh;
1404
1405   my $error = $self->SUPER::replace($old);
1406
1407   if ( $error ) {
1408     $dbh->rollback if $oldAutoCommit;
1409     return $error;
1410   }
1411
1412   if ( @param && ref($param[0]) eq 'ARRAY' ) { # INVOICING_LIST_ARYREF
1413     my $invoicing_list = shift @param;
1414     $error = $self->check_invoicing_list( $invoicing_list );
1415     if ( $error ) {
1416       $dbh->rollback if $oldAutoCommit;
1417       return $error;
1418     }
1419     $self->invoicing_list( $invoicing_list );
1420   }
1421
1422   my %options = @param;
1423
1424   my $tax_exemption = delete $options{'tax_exemption'};
1425   if ( $tax_exemption ) {
1426
1427     my %cust_main_exemption =
1428       map { $_->taxname => $_ }
1429           qsearch('cust_main_exemption', { 'custnum' => $old->custnum } );
1430
1431     foreach my $taxname ( @$tax_exemption ) {
1432
1433       next if delete $cust_main_exemption{$taxname};
1434
1435       my $cust_main_exemption = new FS::cust_main_exemption {
1436         'custnum' => $self->custnum,
1437         'taxname' => $taxname,
1438       };
1439       my $error = $cust_main_exemption->insert;
1440       if ( $error ) {
1441         $dbh->rollback if $oldAutoCommit;
1442         return "inserting cust_main_exemption (transaction rolled back): $error";
1443       }
1444     }
1445
1446     foreach my $cust_main_exemption ( values %cust_main_exemption ) {
1447       my $error = $cust_main_exemption->delete;
1448       if ( $error ) {
1449         $dbh->rollback if $oldAutoCommit;
1450         return "deleting cust_main_exemption (transaction rolled back): $error";
1451       }
1452     }
1453
1454   }
1455
1456   if ( $self->payby =~ /^(CARD|CHEK|LECB)$/ &&
1457        grep { $self->get($_) ne $old->get($_) } qw(payinfo paydate payname) ) {
1458     # card/check/lec info has changed, want to retry realtime_ invoice events
1459     my $error = $self->retry_realtime;
1460     if ( $error ) {
1461       $dbh->rollback if $oldAutoCommit;
1462       return $error;
1463     }
1464   }
1465
1466   unless ( $import || $skip_fuzzyfiles ) {
1467     $error = $self->queue_fuzzyfiles_update;
1468     if ( $error ) {
1469       $dbh->rollback if $oldAutoCommit;
1470       return "updating fuzzy search cache: $error";
1471     }
1472   }
1473
1474   $dbh->commit or die $dbh->errstr if $oldAutoCommit;
1475   '';
1476
1477 }
1478
1479 =item queue_fuzzyfiles_update
1480
1481 Used by insert & replace to update the fuzzy search cache
1482
1483 =cut
1484
1485 sub queue_fuzzyfiles_update {
1486   my $self = shift;
1487
1488   local $SIG{HUP} = 'IGNORE';
1489   local $SIG{INT} = 'IGNORE';
1490   local $SIG{QUIT} = 'IGNORE';
1491   local $SIG{TERM} = 'IGNORE';
1492   local $SIG{TSTP} = 'IGNORE';
1493   local $SIG{PIPE} = 'IGNORE';
1494
1495   my $oldAutoCommit = $FS::UID::AutoCommit;
1496   local $FS::UID::AutoCommit = 0;
1497   my $dbh = dbh;
1498
1499   my $queue = new FS::queue { 'job' => 'FS::cust_main::append_fuzzyfiles' };
1500   my $error = $queue->insert( map $self->getfield($_), @fuzzyfields );
1501   if ( $error ) {
1502     $dbh->rollback if $oldAutoCommit;
1503     return "queueing job (transaction rolled back): $error";
1504   }
1505
1506   if ( $self->ship_last ) {
1507     $queue = new FS::queue { 'job' => 'FS::cust_main::append_fuzzyfiles' };
1508     $error = $queue->insert( map $self->getfield("ship_$_"), @fuzzyfields );
1509     if ( $error ) {
1510       $dbh->rollback if $oldAutoCommit;
1511       return "queueing job (transaction rolled back): $error";
1512     }
1513   }
1514
1515   $dbh->commit or die $dbh->errstr if $oldAutoCommit;
1516   '';
1517
1518 }
1519
1520 =item check
1521
1522 Checks all fields to make sure this is a valid customer record.  If there is
1523 an error, returns the error, otherwise returns false.  Called by the insert
1524 and replace methods.
1525
1526 =cut
1527
1528 sub check {
1529   my $self = shift;
1530
1531   warn "$me check BEFORE: \n". $self->_dump
1532     if $DEBUG > 2;
1533
1534   my $error =
1535     $self->ut_numbern('custnum')
1536     || $self->ut_number('agentnum')
1537     || $self->ut_textn('agent_custid')
1538     || $self->ut_number('refnum')
1539     || $self->ut_foreign_keyn('classnum', 'cust_class', 'classnum')
1540     || $self->ut_textn('custbatch')
1541     || $self->ut_name('last')
1542     || $self->ut_name('first')
1543     || $self->ut_snumbern('birthdate')
1544     || $self->ut_snumbern('signupdate')
1545     || $self->ut_textn('company')
1546     || $self->ut_text('address1')
1547     || $self->ut_textn('address2')
1548     || $self->ut_text('city')
1549     || $self->ut_textn('county')
1550     || $self->ut_textn('state')
1551     || $self->ut_country('country')
1552     || $self->ut_anything('comments')
1553     || $self->ut_numbern('referral_custnum')
1554     || $self->ut_textn('stateid')
1555     || $self->ut_textn('stateid_state')
1556     || $self->ut_textn('invoice_terms')
1557     || $self->ut_alphan('geocode')
1558     || $self->ut_floatn('cdr_termination_percentage')
1559   ;
1560
1561   #barf.  need message catalogs.  i18n.  etc.
1562   $error .= "Please select an advertising source."
1563     if $error =~ /^Illegal or empty \(numeric\) refnum: /;
1564   return $error if $error;
1565
1566   return "Unknown agent"
1567     unless qsearchs( 'agent', { 'agentnum' => $self->agentnum } );
1568
1569   return "Unknown refnum"
1570     unless qsearchs( 'part_referral', { 'refnum' => $self->refnum } );
1571
1572   return "Unknown referring custnum: ". $self->referral_custnum
1573     unless ! $self->referral_custnum 
1574            || qsearchs( 'cust_main', { 'custnum' => $self->referral_custnum } );
1575
1576   if ( $self->censustract ne '' ) {
1577     $self->censustract =~ /^\s*(\d{9})\.?(\d{2})\s*$/
1578       or return "Illegal census tract: ". $self->censustract;
1579     
1580     $self->censustract("$1.$2");
1581   }
1582
1583   if ( $self->ss eq '' ) {
1584     $self->ss('');
1585   } else {
1586     my $ss = $self->ss;
1587     $ss =~ s/\D//g;
1588     $ss =~ /^(\d{3})(\d{2})(\d{4})$/
1589       or return "Illegal social security number: ". $self->ss;
1590     $self->ss("$1-$2-$3");
1591   }
1592
1593
1594 # bad idea to disable, causes billing to fail because of no tax rates later
1595 #  unless ( $import ) {
1596     unless ( qsearch('cust_main_county', {
1597       'country' => $self->country,
1598       'state'   => '',
1599      } ) ) {
1600       return "Unknown state/county/country: ".
1601         $self->state. "/". $self->county. "/". $self->country
1602         unless qsearch('cust_main_county',{
1603           'state'   => $self->state,
1604           'county'  => $self->county,
1605           'country' => $self->country,
1606         } );
1607     }
1608 #  }
1609
1610   $error =
1611     $self->ut_phonen('daytime', $self->country)
1612     || $self->ut_phonen('night', $self->country)
1613     || $self->ut_phonen('fax', $self->country)
1614     || $self->ut_zip('zip', $self->country)
1615   ;
1616   return $error if $error;
1617
1618   if ( $conf->exists('cust_main-require_phone')
1619        && ! length($self->daytime) && ! length($self->night)
1620      ) {
1621
1622     my $daytime_label = FS::Msgcat::_gettext('daytime') =~ /^(daytime)?$/
1623                           ? 'Day Phone'
1624                           : FS::Msgcat::_gettext('daytime');
1625     my $night_label = FS::Msgcat::_gettext('night') =~ /^(night)?$/
1626                         ? 'Night Phone'
1627                         : FS::Msgcat::_gettext('night');
1628   
1629     return "$daytime_label or $night_label is required"
1630   
1631   }
1632
1633   if ( $self->has_ship_address
1634        && scalar ( grep { $self->getfield($_) ne $self->getfield("ship_$_") }
1635                         $self->addr_fields )
1636      )
1637   {
1638     my $error =
1639       $self->ut_name('ship_last')
1640       || $self->ut_name('ship_first')
1641       || $self->ut_textn('ship_company')
1642       || $self->ut_text('ship_address1')
1643       || $self->ut_textn('ship_address2')
1644       || $self->ut_text('ship_city')
1645       || $self->ut_textn('ship_county')
1646       || $self->ut_textn('ship_state')
1647       || $self->ut_country('ship_country')
1648     ;
1649     return $error if $error;
1650
1651     #false laziness with above
1652     unless ( qsearchs('cust_main_county', {
1653       'country' => $self->ship_country,
1654       'state'   => '',
1655      } ) ) {
1656       return "Unknown ship_state/ship_county/ship_country: ".
1657         $self->ship_state. "/". $self->ship_county. "/". $self->ship_country
1658         unless qsearch('cust_main_county',{
1659           'state'   => $self->ship_state,
1660           'county'  => $self->ship_county,
1661           'country' => $self->ship_country,
1662         } );
1663     }
1664     #eofalse
1665
1666     $error =
1667       $self->ut_phonen('ship_daytime', $self->ship_country)
1668       || $self->ut_phonen('ship_night', $self->ship_country)
1669       || $self->ut_phonen('ship_fax', $self->ship_country)
1670       || $self->ut_zip('ship_zip', $self->ship_country)
1671     ;
1672     return $error if $error;
1673
1674     return "Unit # is required."
1675       if $self->ship_address2 =~ /^\s*$/
1676       && $conf->exists('cust_main-require_address2');
1677
1678   } else { # ship_ info eq billing info, so don't store dup info in database
1679
1680     $self->setfield("ship_$_", '')
1681       foreach $self->addr_fields;
1682
1683     return "Unit # is required."
1684       if $self->address2 =~ /^\s*$/
1685       && $conf->exists('cust_main-require_address2');
1686
1687   }
1688
1689   #$self->payby =~ /^(CARD|DCRD|CHEK|DCHK|LECB|BILL|COMP|PREPAY|CASH|WEST|MCRD)$/
1690   #  or return "Illegal payby: ". $self->payby;
1691   #$self->payby($1);
1692   FS::payby->can_payby($self->table, $self->payby)
1693     or return "Illegal payby: ". $self->payby;
1694
1695   $error =    $self->ut_numbern('paystart_month')
1696            || $self->ut_numbern('paystart_year')
1697            || $self->ut_numbern('payissue')
1698            || $self->ut_textn('paytype')
1699   ;
1700   return $error if $error;
1701
1702   if ( $self->payip eq '' ) {
1703     $self->payip('');
1704   } else {
1705     $error = $self->ut_ip('payip');
1706     return $error if $error;
1707   }
1708
1709   # If it is encrypted and the private key is not availaible then we can't
1710   # check the credit card.
1711
1712   my $check_payinfo = 1;
1713
1714   if ($self->is_encrypted($self->payinfo)) {
1715     $check_payinfo = 0;
1716   }
1717
1718   if ( $check_payinfo && $self->payby =~ /^(CARD|DCRD)$/ ) {
1719
1720     my $payinfo = $self->payinfo;
1721     $payinfo =~ s/\D//g;
1722     $payinfo =~ /^(\d{13,16})$/
1723       or return gettext('invalid_card'); # . ": ". $self->payinfo;
1724     $payinfo = $1;
1725     $self->payinfo($payinfo);
1726     validate($payinfo)
1727       or return gettext('invalid_card'); # . ": ". $self->payinfo;
1728
1729     return gettext('unknown_card_type')
1730       if cardtype($self->payinfo) eq "Unknown";
1731
1732     my $ban = qsearchs('banned_pay', $self->_banned_pay_hashref);
1733     if ( $ban ) {
1734       return 'Banned credit card: banned on '.
1735              time2str('%a %h %o at %r', $ban->_date).
1736              ' by '. $ban->otaker.
1737              ' (ban# '. $ban->bannum. ')';
1738     }
1739
1740     if (length($self->paycvv) && !$self->is_encrypted($self->paycvv)) {
1741       if ( cardtype($self->payinfo) eq 'American Express card' ) {
1742         $self->paycvv =~ /^(\d{4})$/
1743           or return "CVV2 (CID) for American Express cards is four digits.";
1744         $self->paycvv($1);
1745       } else {
1746         $self->paycvv =~ /^(\d{3})$/
1747           or return "CVV2 (CVC2/CID) is three digits.";
1748         $self->paycvv($1);
1749       }
1750     } else {
1751       $self->paycvv('');
1752     }
1753
1754     my $cardtype = cardtype($payinfo);
1755     if ( $cardtype =~ /^(Switch|Solo)$/i ) {
1756
1757       return "Start date or issue number is required for $cardtype cards"
1758         unless $self->paystart_month && $self->paystart_year or $self->payissue;
1759
1760       return "Start month must be between 1 and 12"
1761         if $self->paystart_month
1762            and $self->paystart_month < 1 || $self->paystart_month > 12;
1763
1764       return "Start year must be 1990 or later"
1765         if $self->paystart_year
1766            and $self->paystart_year < 1990;
1767
1768       return "Issue number must be beween 1 and 99"
1769         if $self->payissue
1770           and $self->payissue < 1 || $self->payissue > 99;
1771
1772     } else {
1773       $self->paystart_month('');
1774       $self->paystart_year('');
1775       $self->payissue('');
1776     }
1777
1778   } elsif ( $check_payinfo && $self->payby =~ /^(CHEK|DCHK)$/ ) {
1779
1780     my $payinfo = $self->payinfo;
1781     $payinfo =~ s/[^\d\@]//g;
1782     if ( $conf->exists('echeck-nonus') ) {
1783       $payinfo =~ /^(\d+)\@(\d+)$/ or return 'invalid echeck account@aba';
1784       $payinfo = "$1\@$2";
1785     } else {
1786       $payinfo =~ /^(\d+)\@(\d{9})$/ or return 'invalid echeck account@aba';
1787       $payinfo = "$1\@$2";
1788     }
1789     $self->payinfo($payinfo);
1790     $self->paycvv('');
1791
1792     my $ban = qsearchs('banned_pay', $self->_banned_pay_hashref);
1793     if ( $ban ) {
1794       return 'Banned ACH account: banned on '.
1795              time2str('%a %h %o at %r', $ban->_date).
1796              ' by '. $ban->otaker.
1797              ' (ban# '. $ban->bannum. ')';
1798     }
1799
1800   } elsif ( $self->payby eq 'LECB' ) {
1801
1802     my $payinfo = $self->payinfo;
1803     $payinfo =~ s/\D//g;
1804     $payinfo =~ /^1?(\d{10})$/ or return 'invalid btn billing telephone number';
1805     $payinfo = $1;
1806     $self->payinfo($payinfo);
1807     $self->paycvv('');
1808
1809   } elsif ( $self->payby eq 'BILL' ) {
1810
1811     $error = $self->ut_textn('payinfo');
1812     return "Illegal P.O. number: ". $self->payinfo if $error;
1813     $self->paycvv('');
1814
1815   } elsif ( $self->payby eq 'COMP' ) {
1816
1817     my $curuser = $FS::CurrentUser::CurrentUser;
1818     if (    ! $self->custnum
1819          && ! $curuser->access_right('Complimentary customer')
1820        )
1821     {
1822       return "You are not permitted to create complimentary accounts."
1823     }
1824
1825     $error = $self->ut_textn('payinfo');
1826     return "Illegal comp account issuer: ". $self->payinfo if $error;
1827     $self->paycvv('');
1828
1829   } elsif ( $self->payby eq 'PREPAY' ) {
1830
1831     my $payinfo = $self->payinfo;
1832     $payinfo =~ s/\W//g; #anything else would just confuse things
1833     $self->payinfo($payinfo);
1834     $error = $self->ut_alpha('payinfo');
1835     return "Illegal prepayment identifier: ". $self->payinfo if $error;
1836     return "Unknown prepayment identifier"
1837       unless qsearchs('prepay_credit', { 'identifier' => $self->payinfo } );
1838     $self->paycvv('');
1839
1840   }
1841
1842   if ( $self->paydate eq '' || $self->paydate eq '-' ) {
1843     return "Expiration date required"
1844       unless $self->payby =~ /^(BILL|PREPAY|CHEK|DCHK|LECB|CASH|WEST|MCRD)$/;
1845     $self->paydate('');
1846   } else {
1847     my( $m, $y );
1848     if ( $self->paydate =~ /^(\d{1,2})[\/\-](\d{2}(\d{2})?)$/ ) {
1849       ( $m, $y ) = ( $1, length($2) == 4 ? $2 : "20$2" );
1850     } elsif ( $self->paydate =~ /^19(\d{2})[\/\-](\d{1,2})[\/\-]\d+$/ ) {
1851       ( $m, $y ) = ( $2, "19$1" );
1852     } elsif ( $self->paydate =~ /^(20)?(\d{2})[\/\-](\d{1,2})[\/\-]\d+$/ ) {
1853       ( $m, $y ) = ( $3, "20$2" );
1854     } else {
1855       return "Illegal expiration date: ". $self->paydate;
1856     }
1857     $self->paydate("$y-$m-01");
1858     my($nowm,$nowy)=(localtime(time))[4,5]; $nowm++; $nowy+=1900;
1859     return gettext('expired_card')
1860       if !$import
1861       && !$ignore_expired_card 
1862       && ( $y<$nowy || ( $y==$nowy && $1<$nowm ) );
1863   }
1864
1865   if ( $self->payname eq '' && $self->payby !~ /^(CHEK|DCHK)$/ &&
1866        ( ! $conf->exists('require_cardname')
1867          || $self->payby !~ /^(CARD|DCRD)$/  ) 
1868   ) {
1869     $self->payname( $self->first. " ". $self->getfield('last') );
1870   } else {
1871     $self->payname =~ /^([\w \,\.\-\'\&]+)$/
1872       or return gettext('illegal_name'). " payname: ". $self->payname;
1873     $self->payname($1);
1874   }
1875
1876   foreach my $flag (qw( tax spool_cdr squelch_cdr archived email_csv_cdr )) {
1877     $self->$flag() =~ /^(Y?)$/ or return "Illegal $flag: ". $self->$flag();
1878     $self->$flag($1);
1879   }
1880
1881   $self->otaker(getotaker) unless $self->otaker;
1882
1883   warn "$me check AFTER: \n". $self->_dump
1884     if $DEBUG > 2;
1885
1886   $self->SUPER::check;
1887 }
1888
1889 =item addr_fields 
1890
1891 Returns a list of fields which have ship_ duplicates.
1892
1893 =cut
1894
1895 sub addr_fields {
1896   qw( last first company
1897       address1 address2 city county state zip country
1898       daytime night fax
1899     );
1900 }
1901
1902 =item has_ship_address
1903
1904 Returns true if this customer record has a separate shipping address.
1905
1906 =cut
1907
1908 sub has_ship_address {
1909   my $self = shift;
1910   scalar( grep { $self->getfield("ship_$_") ne '' } $self->addr_fields );
1911 }
1912
1913 =item location_hash
1914
1915 Returns a list of key/value pairs, with the following keys: address1, adddress2,
1916 city, county, state, zip, country.  The shipping address is used if present.
1917
1918 =cut
1919
1920 #geocode?  dependent on tax-ship_address config, not available in cust_location
1921 #mostly.  not yet then.
1922
1923 sub location_hash {
1924   my $self = shift;
1925   my $prefix = $self->has_ship_address ? 'ship_' : '';
1926
1927   map { $_ => $self->get($prefix.$_) }
1928       qw( address1 address2 city county state zip country geocode );
1929       #fields that cust_location has
1930 }
1931
1932 =item all_pkgs [ EXTRA_QSEARCH_PARAMS_HASHREF ]
1933
1934 Returns all packages (see L<FS::cust_pkg>) for this customer.
1935
1936 =cut
1937
1938 sub all_pkgs {
1939   my $self = shift;
1940   my $extra_qsearch = ref($_[0]) ? shift : {};
1941
1942   return $self->num_pkgs unless wantarray || keys(%$extra_qsearch);
1943
1944   my @cust_pkg = ();
1945   if ( $self->{'_pkgnum'} ) {
1946     @cust_pkg = values %{ $self->{'_pkgnum'}->cache };
1947   } else {
1948     @cust_pkg = $self->_cust_pkg($extra_qsearch);
1949   }
1950
1951   sort sort_packages @cust_pkg;
1952 }
1953
1954 =item cust_pkg
1955
1956 Synonym for B<all_pkgs>.
1957
1958 =cut
1959
1960 sub cust_pkg {
1961   shift->all_pkgs(@_);
1962 }
1963
1964 =item cust_location
1965
1966 Returns all locations (see L<FS::cust_location>) for this customer.
1967
1968 =cut
1969
1970 sub cust_location {
1971   my $self = shift;
1972   qsearch('cust_location', { 'custnum' => $self->custnum } );
1973 }
1974
1975 =item location_label [ OPTION => VALUE ... ]
1976
1977 Returns the label of the service location (see analog in L<FS::cust_location>) for this customer.
1978
1979 Options are
1980
1981 =over 4
1982
1983 =item join_string
1984
1985 used to separate the address elements (defaults to ', ')
1986
1987 =item escape_function
1988
1989 a callback used for escaping the text of the address elements
1990
1991 =back
1992
1993 =cut
1994
1995 # false laziness with FS::cust_location::line
1996
1997 sub location_label {
1998   my $self = shift;
1999   my %opt = @_;
2000
2001   my $separator = $opt{join_string} || ', ';
2002   my $escape = $opt{escape_function} || sub{ shift };
2003   my $line = '';
2004   my $cydefault = FS::conf->new->config('countrydefault') || 'US';
2005   my $prefix = length($self->ship_last) ? 'ship_' : '';
2006
2007   my $notfirst = 0;
2008   foreach (qw ( address1 address2 ) ) {
2009     my $method = "$prefix$_";
2010     $line .= ($notfirst ? $separator : ''). &$escape($self->$method)
2011       if $self->$method;
2012     $notfirst++;
2013   }
2014   $notfirst = 0;
2015   foreach (qw ( city county state zip ) ) {
2016     my $method = "$prefix$_";
2017     if ( $self->$method ) {
2018       $line .= ' (' if $method eq 'county';
2019       $line .= ($notfirst ? ' ' : $separator). &$escape($self->$method);
2020       $line .= ' )' if $method eq 'county';
2021       $notfirst++;
2022     }
2023   }
2024   $line .= $separator. &$escape(code2country($self->country))
2025     if $self->country ne $cydefault;
2026
2027   $line;
2028 }
2029
2030 =item ncancelled_pkgs [ EXTRA_QSEARCH_PARAMS_HASHREF ]
2031
2032 Returns all non-cancelled packages (see L<FS::cust_pkg>) for this customer.
2033
2034 =cut
2035
2036 sub ncancelled_pkgs {
2037   my $self = shift;
2038   my $extra_qsearch = ref($_[0]) ? shift : {};
2039
2040   return $self->num_ncancelled_pkgs unless wantarray;
2041
2042   my @cust_pkg = ();
2043   if ( $self->{'_pkgnum'} ) {
2044
2045     warn "$me ncancelled_pkgs: returning cached objects"
2046       if $DEBUG > 1;
2047
2048     @cust_pkg = grep { ! $_->getfield('cancel') }
2049                 values %{ $self->{'_pkgnum'}->cache };
2050
2051   } else {
2052
2053     warn "$me ncancelled_pkgs: searching for packages with custnum ".
2054          $self->custnum. "\n"
2055       if $DEBUG > 1;
2056
2057     $extra_qsearch->{'extra_sql'} .= ' AND ( cancel IS NULL OR cancel = 0 ) ';
2058
2059     @cust_pkg = $self->_cust_pkg($extra_qsearch);
2060
2061   }
2062
2063   sort sort_packages @cust_pkg;
2064
2065 }
2066
2067 sub _cust_pkg {
2068   my $self = shift;
2069   my $extra_qsearch = ref($_[0]) ? shift : {};
2070
2071   $extra_qsearch->{'select'} ||= '*';
2072   $extra_qsearch->{'select'} .=
2073    ',( SELECT COUNT(*) FROM cust_svc WHERE cust_pkg.pkgnum = cust_svc.pkgnum )
2074      AS _num_cust_svc';
2075
2076   map {
2077         $_->{'_num_cust_svc'} = $_->get('_num_cust_svc');
2078         $_;
2079       }
2080   qsearch({
2081     %$extra_qsearch,
2082     'table'   => 'cust_pkg',
2083     'hashref' => { 'custnum' => $self->custnum },
2084   });
2085
2086 }
2087
2088 # This should be generalized to use config options to determine order.
2089 sub sort_packages {
2090   
2091   my $locationsort = ( $a->locationnum || 0 ) <=> ( $b->locationnum || 0 );
2092   return $locationsort if $locationsort;
2093
2094   if ( $a->get('cancel') xor $b->get('cancel') ) {
2095     return -1 if $b->get('cancel');
2096     return  1 if $a->get('cancel');
2097     #shouldn't get here...
2098     return 0;
2099   } else {
2100     my $a_num_cust_svc = $a->num_cust_svc;
2101     my $b_num_cust_svc = $b->num_cust_svc;
2102     return 0  if !$a_num_cust_svc && !$b_num_cust_svc;
2103     return -1 if  $a_num_cust_svc && !$b_num_cust_svc;
2104     return 1  if !$a_num_cust_svc &&  $b_num_cust_svc;
2105     my @a_cust_svc = $a->cust_svc;
2106     my @b_cust_svc = $b->cust_svc;
2107     $a_cust_svc[0]->svc_x->label cmp $b_cust_svc[0]->svc_x->label;
2108   }
2109
2110 }
2111
2112 =item suspended_pkgs
2113
2114 Returns all suspended packages (see L<FS::cust_pkg>) for this customer.
2115
2116 =cut
2117
2118 sub suspended_pkgs {
2119   my $self = shift;
2120   grep { $_->susp } $self->ncancelled_pkgs;
2121 }
2122
2123 =item unflagged_suspended_pkgs
2124
2125 Returns all unflagged suspended packages (see L<FS::cust_pkg>) for this
2126 customer (thouse packages without the `manual_flag' set).
2127
2128 =cut
2129
2130 sub unflagged_suspended_pkgs {
2131   my $self = shift;
2132   return $self->suspended_pkgs
2133     unless dbdef->table('cust_pkg')->column('manual_flag');
2134   grep { ! $_->manual_flag } $self->suspended_pkgs;
2135 }
2136
2137 =item unsuspended_pkgs
2138
2139 Returns all unsuspended (and uncancelled) packages (see L<FS::cust_pkg>) for
2140 this customer.
2141
2142 =cut
2143
2144 sub unsuspended_pkgs {
2145   my $self = shift;
2146   grep { ! $_->susp } $self->ncancelled_pkgs;
2147 }
2148
2149 =item next_bill_date
2150
2151 Returns the next date this customer will be billed, as a UNIX timestamp, or
2152 undef if no active package has a next bill date.
2153
2154 =cut
2155
2156 sub next_bill_date {
2157   my $self = shift;
2158   min( map $_->get('bill'), grep $_->get('bill'), $self->unsuspended_pkgs );
2159 }
2160
2161 =item num_cancelled_pkgs
2162
2163 Returns the number of cancelled packages (see L<FS::cust_pkg>) for this
2164 customer.
2165
2166 =cut
2167
2168 sub num_cancelled_pkgs {
2169   shift->num_pkgs("cust_pkg.cancel IS NOT NULL AND cust_pkg.cancel != 0");
2170 }
2171
2172 sub num_ncancelled_pkgs {
2173   shift->num_pkgs("( cust_pkg.cancel IS NULL OR cust_pkg.cancel = 0 )");
2174 }
2175
2176 sub num_pkgs {
2177   my( $self ) = shift;
2178   my $sql = scalar(@_) ? shift : '';
2179   $sql = "AND $sql" if $sql && $sql !~ /^\s*$/ && $sql !~ /^\s*AND/i;
2180   my $sth = dbh->prepare(
2181     "SELECT COUNT(*) FROM cust_pkg WHERE custnum = ? $sql"
2182   ) or die dbh->errstr;
2183   $sth->execute($self->custnum) or die $sth->errstr;
2184   $sth->fetchrow_arrayref->[0];
2185 }
2186
2187 =item unsuspend
2188
2189 Unsuspends all unflagged suspended packages (see L</unflagged_suspended_pkgs>
2190 and L<FS::cust_pkg>) for this customer.  Always returns a list: an empty list
2191 on success or a list of errors.
2192
2193 =cut
2194
2195 sub unsuspend {
2196   my $self = shift;
2197   grep { $_->unsuspend } $self->suspended_pkgs;
2198 }
2199
2200 =item suspend
2201
2202 Suspends all unsuspended packages (see L<FS::cust_pkg>) for this customer.
2203
2204 Returns a list: an empty list on success or a list of errors.
2205
2206 =cut
2207
2208 sub suspend {
2209   my $self = shift;
2210   grep { $_->suspend(@_) } $self->unsuspended_pkgs;
2211 }
2212
2213 =item suspend_if_pkgpart HASHREF | PKGPART [ , PKGPART ... ]
2214
2215 Suspends all unsuspended packages (see L<FS::cust_pkg>) matching the listed
2216 PKGPARTs (see L<FS::part_pkg>).  Preferred usage is to pass a hashref instead
2217 of a list of pkgparts; the hashref has the following keys:
2218
2219 =over 4
2220
2221 =item pkgparts - listref of pkgparts
2222
2223 =item (other options are passed to the suspend method)
2224
2225 =back
2226
2227
2228 Returns a list: an empty list on success or a list of errors.
2229
2230 =cut
2231
2232 sub suspend_if_pkgpart {
2233   my $self = shift;
2234   my (@pkgparts, %opt);
2235   if (ref($_[0]) eq 'HASH'){
2236     @pkgparts = @{$_[0]{pkgparts}};
2237     %opt      = %{$_[0]};
2238   }else{
2239     @pkgparts = @_;
2240   }
2241   grep { $_->suspend(%opt) }
2242     grep { my $pkgpart = $_->pkgpart; grep { $pkgpart eq $_ } @pkgparts }
2243       $self->unsuspended_pkgs;
2244 }
2245
2246 =item suspend_unless_pkgpart HASHREF | PKGPART [ , PKGPART ... ]
2247
2248 Suspends all unsuspended packages (see L<FS::cust_pkg>) unless they match the
2249 given PKGPARTs (see L<FS::part_pkg>).  Preferred usage is to pass a hashref
2250 instead of a list of pkgparts; the hashref has the following keys:
2251
2252 =over 4
2253
2254 =item pkgparts - listref of pkgparts
2255
2256 =item (other options are passed to the suspend method)
2257
2258 =back
2259
2260 Returns a list: an empty list on success or a list of errors.
2261
2262 =cut
2263
2264 sub suspend_unless_pkgpart {
2265   my $self = shift;
2266   my (@pkgparts, %opt);
2267   if (ref($_[0]) eq 'HASH'){
2268     @pkgparts = @{$_[0]{pkgparts}};
2269     %opt      = %{$_[0]};
2270   }else{
2271     @pkgparts = @_;
2272   }
2273   grep { $_->suspend(%opt) }
2274     grep { my $pkgpart = $_->pkgpart; ! grep { $pkgpart eq $_ } @pkgparts }
2275       $self->unsuspended_pkgs;
2276 }
2277
2278 =item cancel [ OPTION => VALUE ... ]
2279
2280 Cancels all uncancelled packages (see L<FS::cust_pkg>) for this customer.
2281
2282 Available options are:
2283
2284 =over 4
2285
2286 =item quiet - can be set true to supress email cancellation notices.
2287
2288 =item reason - can be set to a cancellation reason (see L<FS:reason>), either a reasonnum of an existing reason, or passing a hashref will create a new reason.  The hashref should have the following keys: typenum - Reason type (see L<FS::reason_type>, reason - Text of the new reason.
2289
2290 =item ban - can be set true to ban this customer's credit card or ACH information, if present.
2291
2292 =item nobill - can be set true to skip billing if it might otherwise be done.
2293
2294 =back
2295
2296 Always returns a list: an empty list on success or a list of errors.
2297
2298 =cut
2299
2300 # nb that dates are not specified as valid options to this method
2301
2302 sub cancel {
2303   my( $self, %opt ) = @_;
2304
2305   warn "$me cancel called on customer ". $self->custnum. " with options ".
2306        join(', ', map { "$_: $opt{$_}" } keys %opt ). "\n"
2307     if $DEBUG;
2308
2309   return ( 'access denied' )
2310     unless $FS::CurrentUser::CurrentUser->access_right('Cancel customer');
2311
2312   if ( $opt{'ban'} && $self->payby =~ /^(CARD|DCRD|CHEK|DCHK)$/ ) {
2313
2314     #should try decryption (we might have the private key)
2315     # and if not maybe queue a job for the server that does?
2316     return ( "Can't (yet) ban encrypted credit cards" )
2317       if $self->is_encrypted($self->payinfo);
2318
2319     my $ban = new FS::banned_pay $self->_banned_pay_hashref;
2320     my $error = $ban->insert;
2321     return ( $error ) if $error;
2322
2323   }
2324
2325   my @pkgs = $self->ncancelled_pkgs;
2326
2327   if ( !$opt{nobill} && $conf->exists('bill_usage_on_cancel') ) {
2328     $opt{nobill} = 1;
2329     my $error = $self->bill( pkg_list => [ @pkgs ], cancel => 1 );
2330     warn "Error billing during cancel, custnum ". $self->custnum. ": $error"
2331       if $error;
2332   }
2333
2334   warn "$me cancelling ". scalar($self->ncancelled_pkgs). "/".
2335        scalar(@pkgs). " packages for customer ". $self->custnum. "\n"
2336     if $DEBUG;
2337
2338   grep { $_ } map { $_->cancel(%opt) } $self->ncancelled_pkgs;
2339 }
2340
2341 sub _banned_pay_hashref {
2342   my $self = shift;
2343
2344   my %payby2ban = (
2345     'CARD' => 'CARD',
2346     'DCRD' => 'CARD',
2347     'CHEK' => 'CHEK',
2348     'DCHK' => 'CHEK'
2349   );
2350
2351   {
2352     'payby'   => $payby2ban{$self->payby},
2353     'payinfo' => md5_base64($self->payinfo),
2354     #don't ever *search* on reason! #'reason'  =>
2355   };
2356 }
2357
2358 =item notes
2359
2360 Returns all notes (see L<FS::cust_main_note>) for this customer.
2361
2362 =cut
2363
2364 sub notes {
2365   my $self = shift;
2366   #order by?
2367   qsearch( 'cust_main_note',
2368            { 'custnum' => $self->custnum },
2369            '',
2370            'ORDER BY _DATE DESC'
2371          );
2372 }
2373
2374 =item agent
2375
2376 Returns the agent (see L<FS::agent>) for this customer.
2377
2378 =cut
2379
2380 sub agent {
2381   my $self = shift;
2382   qsearchs( 'agent', { 'agentnum' => $self->agentnum } );
2383 }
2384
2385 =item cust_class
2386
2387 Returns the customer class, as an FS::cust_class object, or the empty string
2388 if there is no customer class.
2389
2390 =cut
2391
2392 sub cust_class {
2393   my $self = shift;
2394   if ( $self->classnum ) {
2395     qsearchs('cust_class', { 'classnum' => $self->classnum } );
2396   } else {
2397     return '';
2398   } 
2399 }
2400
2401 =item categoryname 
2402
2403 Returns the customer category name, or the empty string if there is no customer
2404 category.
2405
2406 =cut
2407
2408 sub categoryname {
2409   my $self = shift;
2410   my $cust_class = $self->cust_class;
2411   $cust_class
2412     ? $cust_class->categoryname
2413     : '';
2414 }
2415
2416 =item classname 
2417
2418 Returns the customer class name, or the empty string if there is no customer
2419 class.
2420
2421 =cut
2422
2423 sub classname {
2424   my $self = shift;
2425   my $cust_class = $self->cust_class;
2426   $cust_class
2427     ? $cust_class->classname
2428     : '';
2429 }
2430
2431
2432 =item bill_and_collect 
2433
2434 Cancels and suspends any packages due, generates bills, applies payments and
2435 credits, and applies collection events to run cards, send bills and notices,
2436 etc.
2437
2438 By default, warns on errors and continues with the next operation (but see the
2439 "fatal" flag below).
2440
2441 Options are passed as name-value pairs.  Currently available options are:
2442
2443 =over 4
2444
2445 =item time
2446
2447 Bills the customer as if it were that time.  Specified as a UNIX timestamp; see L<perlfunc/"time">).  Also see L<Time::Local> and L<Date::Parse> for conversion functions.  For example:
2448
2449  use Date::Parse;
2450  ...
2451  $cust_main->bill( 'time' => str2time('April 20th, 2001') );
2452
2453 =item invoice_time
2454
2455 Used in conjunction with the I<time> option, this option specifies the date of for the generated invoices.  Other calculations, such as whether or not to generate the invoice in the first place, are not affected.
2456
2457 =item check_freq
2458
2459 "1d" for the traditional, daily events (the default), or "1m" for the new monthly events (part_event.check_freq)
2460
2461 =item resetup
2462
2463 If set true, re-charges setup fees.
2464
2465 =item fatal
2466
2467 If set any errors prevent subsequent operations from continusing.  If set
2468 specifically to "return", returns the error (or false, if there is no error).
2469 Any other true value causes errors to die.
2470
2471 =item debug
2472
2473 Debugging level.  Default is 0 (no debugging), or can be set to 1 (passed-in options), 2 (traces progress), 3 (more information), or 4 (include full search queries)
2474
2475 =back
2476
2477 Options are passed to the B<bill> and B<collect> methods verbatim, so all
2478 options of those methods are also available.
2479
2480 =cut
2481
2482 sub bill_and_collect {
2483   my( $self, %options ) = @_;
2484
2485   my $error;
2486
2487   #$options{actual_time} not $options{time} because freeside-daily -d is for
2488   #pre-printing invoices
2489
2490   $options{'actual_time'} ||= time;
2491
2492   $error = $self->cancel_expired_pkgs( $options{actual_time} );
2493   if ( $error ) {
2494     $error = "Error expiring custnum ". $self->custnum. ": $error";
2495     if    ( $options{fatal} && $options{fatal} eq 'return' ) { return $error; }
2496     elsif ( $options{fatal}                                ) { die    $error; }
2497     else                                                     { warn   $error; }
2498   }
2499
2500   $error = $self->suspend_adjourned_pkgs( $options{actual_time} );
2501   if ( $error ) {
2502     $error = "Error adjourning custnum ". $self->custnum. ": $error";
2503     if    ( $options{fatal} && $options{fatal} eq 'return' ) { return $error; }
2504     elsif ( $options{fatal}                                ) { die    $error; }
2505     else                                                     { warn   $error; }
2506   }
2507
2508   $error = $self->bill( %options );
2509   if ( $error ) {
2510     $error = "Error billing custnum ". $self->custnum. ": $error";
2511     if    ( $options{fatal} && $options{fatal} eq 'return' ) { return $error; }
2512     elsif ( $options{fatal}                                ) { die    $error; }
2513     else                                                     { warn   $error; }
2514   }
2515
2516   $error = $self->apply_payments_and_credits;
2517   if ( $error ) {
2518     $error = "Error applying custnum ". $self->custnum. ": $error";
2519     if    ( $options{fatal} && $options{fatal} eq 'return' ) { return $error; }
2520     elsif ( $options{fatal}                                ) { die    $error; }
2521     else                                                     { warn   $error; }
2522   }
2523
2524   unless ( $conf->exists('cancelled_cust-noevents')
2525            && ! $self->num_ncancelled_pkgs
2526   ) {
2527     $error = $self->collect( %options );
2528     if ( $error ) {
2529       $error = "Error collecting custnum ". $self->custnum. ": $error";
2530       if    ($options{fatal} && $options{fatal} eq 'return') { return $error; }
2531       elsif ($options{fatal}                               ) { die    $error; }
2532       else                                                   { warn   $error; }
2533     }
2534   }
2535
2536   '';
2537
2538 }
2539
2540 sub cancel_expired_pkgs {
2541   my ( $self, $time, %options ) = @_;
2542
2543   my @cancel_pkgs = $self->ncancelled_pkgs( { 
2544     'extra_sql' => " AND expire IS NOT NULL AND expire > 0 AND expire <= $time "
2545   } );
2546
2547   my @errors = ();
2548
2549   foreach my $cust_pkg ( @cancel_pkgs ) {
2550     my $cpr = $cust_pkg->last_cust_pkg_reason('expire');
2551     my $error = $cust_pkg->cancel($cpr ? ( 'reason'        => $cpr->reasonnum,
2552                                            'reason_otaker' => $cpr->otaker
2553                                          )
2554                                        : ()
2555                                  );
2556     push @errors, 'pkgnum '.$cust_pkg->pkgnum.": $error" if $error;
2557   }
2558
2559   scalar(@errors) ? join(' / ', @errors) : '';
2560
2561 }
2562
2563 sub suspend_adjourned_pkgs {
2564   my ( $self, $time, %options ) = @_;
2565
2566   my @susp_pkgs = $self->ncancelled_pkgs( {
2567     'extra_sql' =>
2568       " AND ( susp IS NULL OR susp = 0 )
2569         AND (    ( bill    IS NOT NULL AND bill    != 0 AND bill    <  $time )
2570               OR ( adjourn IS NOT NULL AND adjourn != 0 AND adjourn <= $time )
2571             )
2572       ",
2573   } );
2574
2575   #only because there's no SQL test for is_prepaid :/
2576   @susp_pkgs = 
2577     grep {     (    $_->part_pkg->is_prepaid
2578                  && $_->bill
2579                  && $_->bill < $time
2580                )
2581             || (    $_->adjourn
2582                  && $_->adjourn <= $time
2583                )
2584            
2585          }
2586          @susp_pkgs;
2587
2588   my @errors = ();
2589
2590   foreach my $cust_pkg ( @susp_pkgs ) {
2591     my $cpr = $cust_pkg->last_cust_pkg_reason('adjourn')
2592       if ($cust_pkg->adjourn && $cust_pkg->adjourn < $^T);
2593     my $error = $cust_pkg->suspend($cpr ? ( 'reason' => $cpr->reasonnum,
2594                                             'reason_otaker' => $cpr->otaker
2595                                           )
2596                                         : ()
2597                                   );
2598     push @errors, 'pkgnum '.$cust_pkg->pkgnum.": $error" if $error;
2599   }
2600
2601   scalar(@errors) ? join(' / ', @errors) : '';
2602
2603 }
2604
2605 =item bill OPTIONS
2606
2607 Generates invoices (see L<FS::cust_bill>) for this customer.  Usually used in
2608 conjunction with the collect method by calling B<bill_and_collect>.
2609
2610 If there is an error, returns the error, otherwise returns false.
2611
2612 Options are passed as name-value pairs.  Currently available options are:
2613
2614 =over 4
2615
2616 =item resetup
2617
2618 If set true, re-charges setup fees.
2619
2620 =item time
2621
2622 Bills the customer as if it were that time.  Specified as a UNIX timestamp; see L<perlfunc/"time">).  Also see L<Time::Local> and L<Date::Parse> for conversion functions.  For example:
2623
2624  use Date::Parse;
2625  ...
2626  $cust_main->bill( 'time' => str2time('April 20th, 2001') );
2627
2628 =item pkg_list
2629
2630 An array ref of specific packages (objects) to attempt billing, instead trying all of them.
2631
2632  $cust_main->bill( pkg_list => [$pkg1, $pkg2] );
2633
2634 =item not_pkgpart
2635
2636 A hashref of pkgparts to exclude from this billing run (can also be specified as a comma-separated scalar).
2637
2638 =item invoice_time
2639
2640 Used in conjunction with the I<time> option, this option specifies the date of for the generated invoices.  Other calculations, such as whether or not to generate the invoice in the first place, are not affected.
2641
2642 =item cancel
2643
2644 This boolean value informs the us that the package is being cancelled.  This
2645 typically might mean not charging the normal recurring fee but only usage
2646 fees since the last billing. Setup charges may be charged.  Not all package
2647 plans support this feature (they tend to charge 0).
2648
2649 =item invoice_terms
2650
2651 Optional terms to be printed on this invoice.  Otherwise, customer-specific
2652 terms or the default terms are used.
2653
2654 =back
2655
2656 =cut
2657
2658 sub bill {
2659   my( $self, %options ) = @_;
2660   return '' if $self->payby eq 'COMP';
2661   warn "$me bill customer ". $self->custnum. "\n"
2662     if $DEBUG;
2663
2664   my $time = $options{'time'} || time;
2665   my $invoice_time = $options{'invoice_time'} || $time;
2666
2667   $options{'not_pkgpart'} ||= {};
2668   $options{'not_pkgpart'} = { map { $_ => 1 }
2669                                   split(/\s*,\s*/, $options{'not_pkgpart'})
2670                             }
2671     unless ref($options{'not_pkgpart'});
2672
2673   local $SIG{HUP} = 'IGNORE';
2674   local $SIG{INT} = 'IGNORE';
2675   local $SIG{QUIT} = 'IGNORE';
2676   local $SIG{TERM} = 'IGNORE';
2677   local $SIG{TSTP} = 'IGNORE';
2678   local $SIG{PIPE} = 'IGNORE';
2679
2680   my $oldAutoCommit = $FS::UID::AutoCommit;
2681   local $FS::UID::AutoCommit = 0;
2682   my $dbh = dbh;
2683
2684   $self->select_for_update; #mutex
2685
2686   my $error = $self->do_cust_event(
2687     'debug'      => ( $options{'debug'} || 0 ),
2688     'time'       => $invoice_time,
2689     'check_freq' => $options{'check_freq'},
2690     'stage'      => 'pre-bill',
2691   );
2692   if ( $error ) {
2693     $dbh->rollback if $oldAutoCommit;
2694     return $error;
2695   }
2696
2697   #keep auto-charge and non-auto-charge line items separate
2698   my @passes = ( '', 'no_auto' );
2699
2700   my %cust_bill_pkg = map { $_ => [] } @passes;
2701
2702   ###
2703   # find the packages which are due for billing, find out how much they are
2704   # & generate invoice database.
2705   ###
2706
2707   my %total_setup   = map { my $z = 0; $_ => \$z; } @passes;
2708   my %total_recur   = map { my $z = 0; $_ => \$z; } @passes;
2709
2710   my %taxlisthash = map { $_ => {} } @passes;
2711
2712   my @precommit_hooks = ();
2713
2714   $options{'pkg_list'} ||= [ $self->ncancelled_pkgs ];  #param checks?
2715   foreach my $cust_pkg ( @{ $options{'pkg_list'} } ) {
2716
2717     next if $options{'not_pkgpart'}->{$cust_pkg->pkgpart};
2718
2719     warn "  bill package ". $cust_pkg->pkgnum. "\n" if $DEBUG > 1;
2720
2721     #? to avoid use of uninitialized value errors... ?
2722     $cust_pkg->setfield('bill', '')
2723       unless defined($cust_pkg->bill);
2724  
2725     #my $part_pkg = $cust_pkg->part_pkg;
2726
2727     my $real_pkgpart = $cust_pkg->pkgpart;
2728     my %hash = $cust_pkg->hash;
2729
2730     foreach my $part_pkg ( $cust_pkg->part_pkg->self_and_bill_linked ) {
2731
2732       $cust_pkg->set($_, $hash{$_}) foreach qw ( setup last_bill bill );
2733
2734       my $pass = ($cust_pkg->no_auto || $part_pkg->no_auto) ? 'no_auto' : '';
2735
2736       my $error =
2737         $self->_make_lines( 'part_pkg'            => $part_pkg,
2738                             'cust_pkg'            => $cust_pkg,
2739                             'precommit_hooks'     => \@precommit_hooks,
2740                             'line_items'          => $cust_bill_pkg{$pass},
2741                             'setup'               => $total_setup{$pass},
2742                             'recur'               => $total_recur{$pass},
2743                             'tax_matrix'          => $taxlisthash{$pass},
2744                             'time'                => $time,
2745                             'real_pkgpart'        => $real_pkgpart,
2746                             'options'             => \%options,
2747                           );
2748       if ($error) {
2749         $dbh->rollback if $oldAutoCommit;
2750         return $error;
2751       }
2752
2753     } #foreach my $part_pkg
2754
2755   } #foreach my $cust_pkg
2756
2757   #if the customer isn't on an automatic payby, everything can go on a single
2758   #invoice anyway?
2759   #if ( $cust_main->payby !~ /^(CARD|CHEK)$/ ) {
2760     #merge everything into one list
2761   #}
2762
2763   foreach my $pass (@passes) { # keys %cust_bill_pkg ) {
2764
2765     my @cust_bill_pkg = @{ $cust_bill_pkg{$pass} };
2766
2767     next unless @cust_bill_pkg; #don't create an invoice w/o line items
2768
2769     if ( scalar( grep { $_->recur && $_->recur > 0 } @cust_bill_pkg) ||
2770            !$conf->exists('postal_invoice-recurring_only')
2771        )
2772     {
2773
2774       my $postal_pkg = $self->charge_postal_fee();
2775       if ( $postal_pkg && !ref( $postal_pkg ) ) {
2776
2777         $dbh->rollback if $oldAutoCommit;
2778         return "can't charge postal invoice fee for customer ".
2779           $self->custnum. ": $postal_pkg";
2780
2781       } elsif ( $postal_pkg ) {
2782
2783         my $real_pkgpart = $postal_pkg->pkgpart;
2784         foreach my $part_pkg ( $postal_pkg->part_pkg->self_and_bill_linked ) {
2785           my %postal_options = %options;
2786           delete $postal_options{cancel};
2787           my $error =
2788             $self->_make_lines( 'part_pkg'            => $part_pkg,
2789                                 'cust_pkg'            => $postal_pkg,
2790                                 'precommit_hooks'     => \@precommit_hooks,
2791                                 'line_items'          => \@cust_bill_pkg,
2792                                 'setup'               => $total_setup{$pass},
2793                                 'recur'               => $total_recur{$pass},
2794                                 'tax_matrix'          => $taxlisthash{$pass},
2795                                 'time'                => $time,
2796                                 'real_pkgpart'        => $real_pkgpart,
2797                                 'options'             => \%postal_options,
2798                               );
2799           if ($error) {
2800             $dbh->rollback if $oldAutoCommit;
2801             return $error;
2802           }
2803         }
2804
2805       }
2806
2807     }
2808
2809     my $listref_or_error =
2810       $self->calculate_taxes( \@cust_bill_pkg, $taxlisthash{$pass}, $invoice_time);
2811
2812     unless ( ref( $listref_or_error ) ) {
2813       $dbh->rollback if $oldAutoCommit;
2814       return $listref_or_error;
2815     }
2816
2817     foreach my $taxline ( @$listref_or_error ) {
2818       ${ $total_setup{$pass} } =
2819         sprintf('%.2f', ${ $total_setup{$pass} } + $taxline->setup );
2820       push @cust_bill_pkg, $taxline;
2821     }
2822
2823     #add tax adjustments
2824     warn "adding tax adjustments...\n" if $DEBUG > 2;
2825     foreach my $cust_tax_adjustment (
2826       qsearch('cust_tax_adjustment', { 'custnum'    => $self->custnum,
2827                                        'billpkgnum' => '',
2828                                      }
2829              )
2830     ) {
2831
2832       my $tax = sprintf('%.2f', $cust_tax_adjustment->amount );
2833
2834       my $itemdesc = $cust_tax_adjustment->taxname;
2835       $itemdesc = '' if $itemdesc eq 'Tax';
2836
2837       push @cust_bill_pkg, new FS::cust_bill_pkg {
2838         'pkgnum'      => 0,
2839         'setup'       => $tax,
2840         'recur'       => 0,
2841         'sdate'       => '',
2842         'edate'       => '',
2843         'itemdesc'    => $itemdesc,
2844         'itemcomment' => $cust_tax_adjustment->comment,
2845         'cust_tax_adjustment' => $cust_tax_adjustment,
2846         #'cust_bill_pkg_tax_location' => \@cust_bill_pkg_tax_location,
2847       };
2848
2849     }
2850
2851     my $charged = sprintf('%.2f', ${ $total_setup{$pass} } + ${ $total_recur{$pass} } );
2852
2853     my @cust_bill = $self->cust_bill;
2854     my $balance = $self->balance;
2855     my $previous_balance = scalar(@cust_bill)
2856                              ? ( $cust_bill[$#cust_bill]->billing_balance || 0 )
2857                              : 0;
2858
2859     $previous_balance += $cust_bill[$#cust_bill]->charged
2860       if scalar(@cust_bill);
2861     #my $balance_adjustments =
2862     #  sprintf('%.2f', $balance - $prior_prior_balance - $prior_charged);
2863
2864     #create the new invoice
2865     my $cust_bill = new FS::cust_bill ( {
2866       'custnum'             => $self->custnum,
2867       '_date'               => ( $invoice_time ),
2868       'charged'             => $charged,
2869       'billing_balance'     => $balance,
2870       'previous_balance'    => $previous_balance,
2871       'invoice_terms'       => $options{'invoice_terms'},
2872     } );
2873     $error = $cust_bill->insert;
2874     if ( $error ) {
2875       $dbh->rollback if $oldAutoCommit;
2876       return "can't create invoice for customer #". $self->custnum. ": $error";
2877     }
2878
2879     foreach my $cust_bill_pkg ( @cust_bill_pkg ) {
2880       $cust_bill_pkg->invnum($cust_bill->invnum); 
2881       my $error = $cust_bill_pkg->insert;
2882       if ( $error ) {
2883         $dbh->rollback if $oldAutoCommit;
2884         return "can't create invoice line item: $error";
2885       }
2886     }
2887
2888   } #foreach my $pass ( keys %cust_bill_pkg )
2889
2890   foreach my $hook ( @precommit_hooks ) { 
2891     eval {
2892       &{$hook}; #($self) ?
2893     };
2894     if ( $@ ) {
2895       $dbh->rollback if $oldAutoCommit;
2896       return "$@ running precommit hook $hook\n";
2897     }
2898   }
2899   
2900   $dbh->commit or die $dbh->errstr if $oldAutoCommit;
2901   ''; #no error
2902 }
2903
2904 =item calculate_taxes LINEITEMREF TAXHASHREF INVOICE_TIME
2905
2906 This is a weird one.  Perhaps it should not even be exposed.
2907
2908 Generates tax line items (see L<FS::cust_bill_pkg>) for this customer.
2909 Usually used internally by bill method B<bill>.
2910
2911 If there is an error, returns the error, otherwise returns reference to a
2912 list of line items suitable for insertion.
2913
2914 =over 4
2915
2916 =item LINEITEMREF
2917
2918 An array ref of the line items being billed.
2919
2920 =item TAXHASHREF
2921
2922 A strange beast.  The keys to this hash are internal identifiers consisting
2923 of the name of the tax object type, a space, and its unique identifier ( e.g.
2924  'cust_main_county 23' ).  The values of the hash are listrefs.  The first
2925 item in the list is the tax object.  The remaining items are either line
2926 items or floating point values (currency amounts).
2927
2928 The taxes are calculated on this entity.  Calculated exemption records are
2929 transferred to the LINEITEMREF items on the assumption that they are related.
2930
2931 Read the source.
2932
2933 =item INVOICE_TIME
2934
2935 This specifies the date appearing on the associated invoice.  Some
2936 jurisdictions (i.e. Texas) have tax exemptions which are date sensitive.
2937
2938 =back
2939
2940 =cut
2941 sub calculate_taxes {
2942   my ($self, $cust_bill_pkg, $taxlisthash, $invoice_time) = @_;
2943
2944   my @tax_line_items = ();
2945
2946   warn "having a look at the taxes we found...\n" if $DEBUG > 2;
2947
2948   # keys are tax names (as printed on invoices / itemdesc )
2949   # values are listrefs of taxlisthash keys (internal identifiers)
2950   my %taxname = ();
2951
2952   # keys are taxlisthash keys (internal identifiers)
2953   # values are (cumulative) amounts
2954   my %tax = ();
2955
2956   # keys are taxlisthash keys (internal identifiers)
2957   # values are listrefs of cust_bill_pkg_tax_location hashrefs
2958   my %tax_location = ();
2959
2960   # keys are taxlisthash keys (internal identifiers)
2961   # values are listrefs of cust_bill_pkg_tax_rate_location hashrefs
2962   my %tax_rate_location = ();
2963
2964   foreach my $tax ( keys %$taxlisthash ) {
2965     my $tax_object = shift @{ $taxlisthash->{$tax} };
2966     warn "found ". $tax_object->taxname. " as $tax\n" if $DEBUG > 2;
2967     warn " ". join('/', @{ $taxlisthash->{$tax} } ). "\n" if $DEBUG > 2;
2968     my $hashref_or_error =
2969       $tax_object->taxline( $taxlisthash->{$tax},
2970                             'custnum'      => $self->custnum,
2971                             'invoice_time' => $invoice_time
2972                           );
2973     return $hashref_or_error unless ref($hashref_or_error);
2974
2975     unshift @{ $taxlisthash->{$tax} }, $tax_object;
2976
2977     my $name   = $hashref_or_error->{'name'};
2978     my $amount = $hashref_or_error->{'amount'};
2979
2980     #warn "adding $amount as $name\n";
2981     $taxname{ $name } ||= [];
2982     push @{ $taxname{ $name } }, $tax;
2983
2984     $tax{ $tax } += $amount;
2985
2986     $tax_location{ $tax } ||= [];
2987     if ( $tax_object->get('pkgnum') || $tax_object->get('locationnum') ) {
2988       push @{ $tax_location{ $tax }  },
2989         {
2990           'taxnum'      => $tax_object->taxnum, 
2991           'taxtype'     => ref($tax_object),
2992           'pkgnum'      => $tax_object->get('pkgnum'),
2993           'locationnum' => $tax_object->get('locationnum'),
2994           'amount'      => sprintf('%.2f', $amount ),
2995         };
2996     }
2997
2998     $tax_rate_location{ $tax } ||= [];
2999     if ( ref($tax_object) eq 'FS::tax_rate' ) {
3000       my $taxratelocationnum =
3001         $tax_object->tax_rate_location->taxratelocationnum;
3002       push @{ $tax_rate_location{ $tax }  },
3003         {
3004           'taxnum'             => $tax_object->taxnum, 
3005           'taxtype'            => ref($tax_object),
3006           'amount'             => sprintf('%.2f', $amount ),
3007           'locationtaxid'      => $tax_object->location,
3008           'taxratelocationnum' => $taxratelocationnum,
3009         };
3010     }
3011
3012   }
3013
3014   #move the cust_tax_exempt_pkg records to the cust_bill_pkgs we will commit
3015   my %packagemap = map { $_->pkgnum => $_ } @$cust_bill_pkg;
3016   foreach my $tax ( keys %$taxlisthash ) {
3017     foreach ( @{ $taxlisthash->{$tax} }[1 ... scalar(@{ $taxlisthash->{$tax} })] ) {
3018       next unless ref($_) eq 'FS::cust_bill_pkg';
3019
3020       push @{ $packagemap{$_->pkgnum}->_cust_tax_exempt_pkg }, 
3021         splice( @{ $_->_cust_tax_exempt_pkg } );
3022     }
3023   }
3024
3025   #consolidate and create tax line items
3026   warn "consolidating and generating...\n" if $DEBUG > 2;
3027   foreach my $taxname ( keys %taxname ) {
3028     my $tax = 0;
3029     my %seen = ();
3030     my @cust_bill_pkg_tax_location = ();
3031     my @cust_bill_pkg_tax_rate_location = ();
3032     warn "adding $taxname\n" if $DEBUG > 1;
3033     foreach my $taxitem ( @{ $taxname{$taxname} } ) {
3034       next if $seen{$taxitem}++;
3035       warn "adding $tax{$taxitem}\n" if $DEBUG > 1;
3036       $tax += $tax{$taxitem};
3037       push @cust_bill_pkg_tax_location,
3038         map { new FS::cust_bill_pkg_tax_location $_ }
3039             @{ $tax_location{ $taxitem } };
3040       push @cust_bill_pkg_tax_rate_location,
3041         map { new FS::cust_bill_pkg_tax_rate_location $_ }
3042             @{ $tax_rate_location{ $taxitem } };
3043     }
3044     next unless $tax;
3045
3046     $tax = sprintf('%.2f', $tax );
3047   
3048     my $pkg_category = qsearchs( 'pkg_category', { 'categoryname' => $taxname,
3049                                                    'disabled'     => '',
3050                                                  },
3051                                );
3052
3053     my @display = ();
3054     if ( $pkg_category and
3055          $conf->config('invoice_latexsummary') ||
3056          $conf->config('invoice_htmlsummary')
3057        )
3058     {
3059
3060       my %hash = (  'section' => $pkg_category->categoryname );
3061       push @display, new FS::cust_bill_pkg_display { type => 'S', %hash };
3062
3063     }
3064
3065     push @tax_line_items, new FS::cust_bill_pkg {
3066       'pkgnum'   => 0,
3067       'setup'    => $tax,
3068       'recur'    => 0,
3069       'sdate'    => '',
3070       'edate'    => '',
3071       'itemdesc' => $taxname,
3072       'display'  => \@display,
3073       'cust_bill_pkg_tax_location' => \@cust_bill_pkg_tax_location,
3074       'cust_bill_pkg_tax_rate_location' => \@cust_bill_pkg_tax_rate_location,
3075     };
3076
3077   }
3078
3079   \@tax_line_items;
3080 }
3081
3082 sub _make_lines {
3083   my ($self, %params) = @_;
3084
3085   my $part_pkg = $params{part_pkg} or die "no part_pkg specified";
3086   my $cust_pkg = $params{cust_pkg} or die "no cust_pkg specified";
3087   my $precommit_hooks = $params{precommit_hooks} or die "no package specified";
3088   my $cust_bill_pkgs = $params{line_items} or die "no line buffer specified";
3089   my $total_setup = $params{setup} or die "no setup accumulator specified";
3090   my $total_recur = $params{recur} or die "no recur accumulator specified";
3091   my $taxlisthash = $params{tax_matrix} or die "no tax accumulator specified";
3092   my $time = $params{'time'} or die "no time specified";
3093   my (%options) = %{$params{options}};
3094
3095   my $dbh = dbh;
3096   my $real_pkgpart = $params{real_pkgpart};
3097   my %hash = $cust_pkg->hash;
3098   my $old_cust_pkg = new FS::cust_pkg \%hash;
3099
3100   my @details = ();
3101   my @discounts = ();
3102   my $lineitems = 0;
3103
3104   $cust_pkg->pkgpart($part_pkg->pkgpart);
3105
3106   ###
3107   # bill setup
3108   ###
3109
3110   my $setup = 0;
3111   my $unitsetup = 0;
3112   if ( $options{'resetup'}
3113        || ( ! $cust_pkg->setup
3114             && ( ! $cust_pkg->start_date
3115                  || $cust_pkg->start_date <= $time
3116                )
3117             && ( ! $conf->exists('disable_setup_suspended_pkgs')
3118                  || ( $conf->exists('disable_setup_suspended_pkgs') &&
3119                       ! $cust_pkg->getfield('susp')
3120                     )
3121                )
3122           )
3123     )
3124   {
3125     
3126     warn "    bill setup\n" if $DEBUG > 1;
3127     $lineitems++;
3128
3129     $setup = eval { $cust_pkg->calc_setup( $time, \@details ) };
3130     return "$@ running calc_setup for $cust_pkg\n"
3131       if $@;
3132
3133     $unitsetup = $cust_pkg->part_pkg->unit_setup || $setup; #XXX uuh
3134
3135     $cust_pkg->setfield('setup', $time)
3136       unless $cust_pkg->setup;
3137           #do need it, but it won't get written to the db
3138           #|| $cust_pkg->pkgpart != $real_pkgpart;
3139
3140     $cust_pkg->setfield('start_date', '')
3141       if $cust_pkg->start_date;
3142
3143   }
3144
3145   ###
3146   # bill recurring fee
3147   ### 
3148
3149   #XXX unit stuff here too
3150   my $recur = 0;
3151   my $unitrecur = 0;
3152   my $sdate;
3153   if (     ! $cust_pkg->get('susp')
3154        and ! $cust_pkg->get('start_date')
3155        and ( $part_pkg->getfield('freq') ne '0'
3156              && ( $cust_pkg->getfield('bill') || 0 ) <= $time
3157            )
3158         || ( $part_pkg->plan eq 'voip_cdr'
3159               && $part_pkg->option('bill_every_call')
3160            )
3161         || ( $options{cancel} )
3162   ) {
3163
3164     # XXX should this be a package event?  probably.  events are called
3165     # at collection time at the moment, though...
3166     $part_pkg->reset_usage($cust_pkg, 'debug'=>$DEBUG)
3167       if $part_pkg->can('reset_usage');
3168       #don't want to reset usage just cause we want a line item??
3169       #&& $part_pkg->pkgpart == $real_pkgpart;
3170
3171     warn "    bill recur\n" if $DEBUG > 1;
3172     $lineitems++;
3173
3174     # XXX shared with $recur_prog
3175     $sdate = ( $options{cancel} ? $cust_pkg->last_bill : $cust_pkg->bill )
3176              || $cust_pkg->setup
3177              || $time;
3178
3179     #over two params!  lets at least switch to a hashref for the rest...
3180     my $increment_next_bill = ( $part_pkg->freq ne '0'
3181                                 && ( $cust_pkg->getfield('bill') || 0 ) <= $time
3182                                 && !$options{cancel}
3183                               );
3184     my %param = ( 'precommit_hooks'     => $precommit_hooks,
3185                   'increment_next_bill' => $increment_next_bill,
3186                   'discounts'           => \@discounts,
3187                 );
3188
3189     my $method = $options{cancel} ? 'calc_cancel' : 'calc_recur';
3190     $recur = eval { $cust_pkg->$method( \$sdate, \@details, \%param ) };
3191     return "$@ running $method for $cust_pkg\n"
3192       if ( $@ );
3193
3194     if ( $increment_next_bill ) {
3195
3196       my $next_bill = $part_pkg->add_freq($sdate);
3197       return "unparsable frequency: ". $part_pkg->freq
3198         if $next_bill == -1;
3199   
3200       #pro-rating magic - if $recur_prog fiddled $sdate, want to use that
3201       # only for figuring next bill date, nothing else, so, reset $sdate again
3202       # here
3203       $sdate = $cust_pkg->bill || $cust_pkg->setup || $time;
3204       #no need, its in $hash{last_bill}# my $last_bill = $cust_pkg->last_bill;
3205       $cust_pkg->last_bill($sdate);
3206
3207       $cust_pkg->setfield('bill', $next_bill );
3208
3209     }
3210
3211   }
3212
3213   warn "\$setup is undefined" unless defined($setup);
3214   warn "\$recur is undefined" unless defined($recur);
3215   warn "\$cust_pkg->bill is undefined" unless defined($cust_pkg->bill);
3216   
3217   ###
3218   # If there's line items, create em cust_bill_pkg records
3219   # If $cust_pkg has been modified, update it (if we're a real pkgpart)
3220   ###
3221
3222   if ( $lineitems ) {
3223
3224     if ( $cust_pkg->modified && $cust_pkg->pkgpart == $real_pkgpart ) {
3225       # hmm.. and if just the options are modified in some weird price plan?
3226   
3227       warn "  package ". $cust_pkg->pkgnum. " modified; updating\n"
3228         if $DEBUG >1;
3229   
3230       my $error = $cust_pkg->replace( $old_cust_pkg,
3231                                       'options' => { $cust_pkg->options },
3232                                     );
3233       return "Error modifying pkgnum ". $cust_pkg->pkgnum. ": $error"
3234         if $error; #just in case
3235     }
3236   
3237     $setup = sprintf( "%.2f", $setup );
3238     $recur = sprintf( "%.2f", $recur );
3239     if ( $setup < 0 && ! $conf->exists('allow_negative_charges') ) {
3240       return "negative setup $setup for pkgnum ". $cust_pkg->pkgnum;
3241     }
3242     if ( $recur < 0 && ! $conf->exists('allow_negative_charges') ) {
3243       return "negative recur $recur for pkgnum ". $cust_pkg->pkgnum;
3244     }
3245
3246     if ( $setup != 0 || $recur != 0 ) {
3247
3248       warn "    charges (setup=$setup, recur=$recur); adding line items\n"
3249         if $DEBUG > 1;
3250
3251       my @cust_pkg_detail = map { $_->detail } $cust_pkg->cust_pkg_detail('I');
3252       if ( $DEBUG > 1 ) {
3253         warn "      adding customer package invoice detail: $_\n"
3254           foreach @cust_pkg_detail;
3255       }
3256       push @details, @cust_pkg_detail;
3257
3258       my $cust_bill_pkg = new FS::cust_bill_pkg {
3259         'pkgnum'    => $cust_pkg->pkgnum,
3260         'setup'     => $setup,
3261         'unitsetup' => $unitsetup,
3262         'recur'     => $recur,
3263         'unitrecur' => $unitrecur,
3264         'quantity'  => $cust_pkg->quantity,
3265         'details'   => \@details,
3266         'discounts' => \@discounts,
3267         'hidden'    => $part_pkg->hidden,
3268       };
3269
3270       if ( $part_pkg->option('recur_temporality', 1) eq 'preceding' ) {
3271         $cust_bill_pkg->sdate( $hash{last_bill} );
3272         $cust_bill_pkg->edate( $sdate - 86399   ); #60s*60m*24h-1
3273         $cust_bill_pkg->edate( $time ) if $options{cancel};
3274       } else { #if ( $part_pkg->option('recur_temporality', 1) eq 'upcoming' ) {
3275         $cust_bill_pkg->sdate( $sdate );
3276         $cust_bill_pkg->edate( $cust_pkg->bill );
3277         #$cust_bill_pkg->edate( $time ) if $options{cancel};
3278       }
3279
3280       $cust_bill_pkg->pkgpart_override($part_pkg->pkgpart)
3281         unless $part_pkg->pkgpart == $real_pkgpart;
3282
3283       $$total_setup += $setup;
3284       $$total_recur += $recur;
3285
3286       ###
3287       # handle taxes
3288       ###
3289
3290       my $error = 
3291         $self->_handle_taxes($part_pkg, $taxlisthash, $cust_bill_pkg, $cust_pkg, $options{invoice_time}, $real_pkgpart, \%options);
3292       return $error if $error;
3293
3294       push @$cust_bill_pkgs, $cust_bill_pkg;
3295
3296     } #if $setup != 0 || $recur != 0
3297       
3298   } #if $line_items
3299
3300   '';
3301
3302 }
3303
3304 sub _handle_taxes {
3305   my $self = shift;
3306   my $part_pkg = shift;
3307   my $taxlisthash = shift;
3308   my $cust_bill_pkg = shift;
3309   my $cust_pkg = shift;
3310   my $invoice_time = shift;
3311   my $real_pkgpart = shift;
3312   my $options = shift;
3313
3314   my %cust_bill_pkg = ();
3315   my %taxes = ();
3316     
3317   my @classes;
3318   #push @classes, $cust_bill_pkg->usage_classes if $cust_bill_pkg->type eq 'U';
3319   push @classes, $cust_bill_pkg->usage_classes if $cust_bill_pkg->usage;
3320   push @classes, 'setup' if ($cust_bill_pkg->setup && !$options->{cancel});
3321   push @classes, 'recur' if ($cust_bill_pkg->recur && !$options->{cancel});
3322
3323   if ( $self->tax !~ /Y/i && $self->payby ne 'COMP' ) {
3324
3325     if ( $conf->exists('enable_taxproducts')
3326          && ( scalar($part_pkg->part_pkg_taxoverride)
3327               || $part_pkg->has_taxproduct
3328             )
3329        )
3330     {
3331
3332       if ( $conf->exists('tax-pkg_address') && $cust_pkg->locationnum ) {
3333         return "fatal: Can't (yet) use tax-pkg_address with taxproducts";
3334       }
3335
3336       foreach my $class (@classes) {
3337         my $err_or_ref = $self->_gather_taxes( $part_pkg, $class );
3338         return $err_or_ref unless ref($err_or_ref);
3339         $taxes{$class} = $err_or_ref;
3340       }
3341
3342       unless (exists $taxes{''}) {
3343         my $err_or_ref = $self->_gather_taxes( $part_pkg, '' );
3344         return $err_or_ref unless ref($err_or_ref);
3345         $taxes{''} = $err_or_ref;
3346       }
3347
3348     } else {
3349
3350       my @loc_keys = qw( city county state country );
3351       my %taxhash;
3352       if ( $conf->exists('tax-pkg_address') && $cust_pkg->locationnum ) {
3353         my $cust_location = $cust_pkg->cust_location;
3354         %taxhash = map { $_ => $cust_location->$_()    } @loc_keys;
3355       } else {
3356         my $prefix = 
3357           ( $conf->exists('tax-ship_address') && length($self->ship_last) )
3358           ? 'ship_'
3359           : '';
3360         %taxhash = map { $_ => $self->get("$prefix$_") } @loc_keys;
3361       }
3362
3363       $taxhash{'taxclass'} = $part_pkg->taxclass;
3364
3365       my @taxes = ();
3366       my %taxhash_elim = %taxhash;
3367       my @elim = qw( city county state );
3368       do { 
3369
3370         #first try a match with taxclass
3371         @taxes = qsearch( 'cust_main_county', \%taxhash_elim );
3372
3373         if ( !scalar(@taxes) && $taxhash_elim{'taxclass'} ) {
3374           #then try a match without taxclass
3375           my %no_taxclass = %taxhash_elim;
3376           $no_taxclass{ 'taxclass' } = '';
3377           @taxes = qsearch( 'cust_main_county', \%no_taxclass );
3378         }
3379
3380         $taxhash_elim{ shift(@elim) } = '';
3381
3382       } while ( !scalar(@taxes) && scalar(@elim) );
3383
3384       @taxes = grep { ! $_->taxname or ! $self->tax_exemption($_->taxname) }
3385                     @taxes
3386         if $self->cust_main_exemption; #just to be safe
3387
3388       if ( $conf->exists('tax-pkg_address') && $cust_pkg->locationnum ) {
3389         foreach (@taxes) {
3390           $_->set('pkgnum',      $cust_pkg->pkgnum );
3391           $_->set('locationnum', $cust_pkg->locationnum );
3392         }
3393       }
3394
3395       $taxes{''} = [ @taxes ];
3396       $taxes{'setup'} = [ @taxes ];
3397       $taxes{'recur'} = [ @taxes ];
3398       $taxes{$_} = [ @taxes ] foreach (@classes);
3399
3400       # # maybe eliminate this entirely, along with all the 0% records
3401       # unless ( @taxes ) {
3402       #   return
3403       #     "fatal: can't find tax rate for state/county/country/taxclass ".
3404       #     join('/', map $taxhash{$_}, qw(state county country taxclass) );
3405       # }
3406
3407     } #if $conf->exists('enable_taxproducts') ...
3408
3409   }
3410  
3411   my @display = ();
3412   my $separate = $conf->exists('separate_usage');
3413   my $usage_mandate = $cust_pkg->part_pkg->option('usage_mandate', 'Hush!');
3414   if ( $separate || $cust_bill_pkg->hidden || $usage_mandate ) {
3415
3416     my $temp_pkg = new FS::cust_pkg { pkgpart => $real_pkgpart };
3417     my %hash = $cust_bill_pkg->hidden  # maybe for all bill linked?
3418                ? (  'section' => $temp_pkg->part_pkg->categoryname )
3419                : ();
3420
3421     my $section = $cust_pkg->part_pkg->option('usage_section', 'Hush!');
3422     my $summary = $cust_pkg->part_pkg->option('summarize_usage', 'Hush!');
3423     if ( $separate ) {
3424       push @display, new FS::cust_bill_pkg_display { type => 'S', %hash };
3425       push @display, new FS::cust_bill_pkg_display { type => 'R', %hash };
3426     } else {
3427       push @display, new FS::cust_bill_pkg_display
3428                        { type => '',
3429                          %hash,
3430                          ( ( $usage_mandate ) ? ( 'summary' => 'Y' ) : () ),
3431                        };
3432     }
3433
3434     if ($separate && $section && $summary) {
3435       push @display, new FS::cust_bill_pkg_display { type    => 'U',
3436                                                      summary => 'Y',
3437                                                      %hash,
3438                                                    };
3439     }
3440     if ($usage_mandate || $section && $summary) {
3441       $hash{post_total} = 'Y';
3442     }
3443
3444     $hash{section} = $section if ($separate || $usage_mandate);
3445     push @display, new FS::cust_bill_pkg_display { type => 'U', %hash };
3446
3447   }
3448   $cust_bill_pkg->set('display', \@display);
3449
3450   my %tax_cust_bill_pkg = $cust_bill_pkg->disintegrate;
3451   foreach my $key (keys %tax_cust_bill_pkg) {
3452     my @taxes = @{ $taxes{$key} || [] };
3453     my $tax_cust_bill_pkg = $tax_cust_bill_pkg{$key};
3454
3455     my %localtaxlisthash = ();
3456     foreach my $tax ( @taxes ) {
3457
3458       my $taxname = ref( $tax ). ' '. $tax->taxnum;
3459 #      $taxname .= ' pkgnum'. $cust_pkg->pkgnum.
3460 #                  ' locationnum'. $cust_pkg->locationnum
3461 #        if $conf->exists('tax-pkg_address') && $cust_pkg->locationnum;
3462
3463       $taxlisthash->{ $taxname } ||= [ $tax ];
3464       push @{ $taxlisthash->{ $taxname  } }, $tax_cust_bill_pkg;
3465
3466       $localtaxlisthash{ $taxname } ||= [ $tax ];
3467       push @{ $localtaxlisthash{ $taxname  } }, $tax_cust_bill_pkg;
3468
3469     }
3470
3471     warn "finding taxed taxes...\n" if $DEBUG > 2;
3472     foreach my $tax ( keys %localtaxlisthash ) {
3473       my $tax_object = shift @{ $localtaxlisthash{$tax} };
3474       warn "found possible taxed tax ". $tax_object->taxname. " we call $tax\n"
3475         if $DEBUG > 2;
3476       next unless $tax_object->can('tax_on_tax');
3477
3478       foreach my $tot ( $tax_object->tax_on_tax( $self ) ) {
3479         my $totname = ref( $tot ). ' '. $tot->taxnum;
3480
3481         warn "checking $totname which we call ". $tot->taxname. " as applicable\n"
3482           if $DEBUG > 2;
3483         next unless exists( $localtaxlisthash{ $totname } ); # only increase
3484                                                              # existing taxes
3485         warn "adding $totname to taxed taxes\n" if $DEBUG > 2;
3486         my $hashref_or_error = 
3487           $tax_object->taxline( $localtaxlisthash{$tax},
3488                                 'custnum'      => $self->custnum,
3489                                 'invoice_time' => $invoice_time,
3490                               );
3491         return $hashref_or_error
3492           unless ref($hashref_or_error);
3493         
3494         $taxlisthash->{ $totname } ||= [ $tot ];
3495         push @{ $taxlisthash->{ $totname  } }, $hashref_or_error->{amount};
3496
3497       }
3498     }
3499
3500   }
3501
3502   '';
3503 }
3504
3505 sub _gather_taxes {
3506   my $self = shift;
3507   my $part_pkg = shift;
3508   my $class = shift;
3509
3510   my @taxes = ();
3511   my $geocode = $self->geocode('cch');
3512
3513   my @taxclassnums = map { $_->taxclassnum }
3514                      $part_pkg->part_pkg_taxoverride($class);
3515
3516   unless (@taxclassnums) {
3517     @taxclassnums = map { $_->taxclassnum }
3518                     grep { $_->taxable eq 'Y' }
3519                     $part_pkg->part_pkg_taxrate('cch', $geocode, $class);
3520   }
3521   warn "Found taxclassnum values of ". join(',', @taxclassnums)
3522     if $DEBUG;
3523
3524   my $extra_sql =
3525     "AND (".
3526     join(' OR ', map { "taxclassnum = $_" } @taxclassnums ). ")";
3527
3528   @taxes = qsearch({ 'table' => 'tax_rate',
3529                      'hashref' => { 'geocode' => $geocode, },
3530                      'extra_sql' => $extra_sql,
3531                   })
3532     if scalar(@taxclassnums);
3533
3534   warn "Found taxes ".
3535        join(',', map{ ref($_). " ". $_->get($_->primary_key) } @taxes). "\n" 
3536    if $DEBUG;
3537
3538   [ @taxes ];
3539
3540 }
3541
3542 =item collect [ HASHREF | OPTION => VALUE ... ]
3543
3544 (Attempt to) collect money for this customer's outstanding invoices (see
3545 L<FS::cust_bill>).  Usually used after the bill method.
3546
3547 Actions are now triggered by billing events; see L<FS::part_event> and the
3548 billing events web interface.  Old-style invoice events (see
3549 L<FS::part_bill_event>) have been deprecated.
3550
3551 If there is an error, returns the error, otherwise returns false.
3552
3553 Options are passed as name-value pairs.
3554
3555 Currently available options are:
3556
3557 =over 4
3558
3559 =item invoice_time
3560
3561 Use this time when deciding when to print invoices and late notices on those invoices.  The default is now.  It is specified as a UNIX timestamp; see L<perlfunc/"time">).  Also see L<Time::Local> and L<Date::Parse> for conversion functions.
3562
3563 =item retry
3564
3565 Retry card/echeck/LEC transactions even when not scheduled by invoice events.
3566
3567 =item check_freq
3568
3569 "1d" for the traditional, daily events (the default), or "1m" for the new monthly events (part_event.check_freq)
3570
3571 =item quiet
3572
3573 set true to surpress email card/ACH decline notices.
3574
3575 =item debug
3576
3577 Debugging level.  Default is 0 (no debugging), or can be set to 1 (passed-in options), 2 (traces progress), 3 (more information), or 4 (include full search queries)
3578
3579 =back
3580
3581 # =item payby
3582 #
3583 # allows for one time override of normal customer billing method
3584
3585 =cut
3586
3587 sub collect {
3588   my( $self, %options ) = @_;
3589   my $invoice_time = $options{'invoice_time'} || time;
3590
3591   #put below somehow?
3592   local $SIG{HUP} = 'IGNORE';
3593   local $SIG{INT} = 'IGNORE';
3594   local $SIG{QUIT} = 'IGNORE';
3595   local $SIG{TERM} = 'IGNORE';
3596   local $SIG{TSTP} = 'IGNORE';
3597   local $SIG{PIPE} = 'IGNORE';
3598
3599   my $oldAutoCommit = $FS::UID::AutoCommit;
3600   local $FS::UID::AutoCommit = 0;
3601   my $dbh = dbh;
3602
3603   $self->select_for_update; #mutex
3604
3605   if ( $DEBUG ) {
3606     my $balance = $self->balance;
3607     warn "$me collect customer ". $self->custnum. ": balance $balance\n"
3608   }
3609
3610   if ( exists($options{'retry_card'}) ) {
3611     carp 'retry_card option passed to collect is deprecated; use retry';
3612     $options{'retry'} ||= $options{'retry_card'};
3613   }
3614   if ( exists($options{'retry'}) && $options{'retry'} ) {
3615     my $error = $self->retry_realtime;
3616     if ( $error ) {
3617       $dbh->rollback if $oldAutoCommit;
3618       return $error;
3619     }
3620   }
3621
3622   my $error = $self->do_cust_event(
3623     'debug'      => ( $options{'debug'} || 0 ),
3624     'time'       => $invoice_time,
3625     'check_freq' => $options{'check_freq'},
3626     'stage'      => 'collect',
3627   );
3628   if ( $error ) {
3629     $dbh->rollback if $oldAutoCommit;
3630     return $error;
3631   }
3632
3633   $dbh->commit or die $dbh->errstr if $oldAutoCommit;
3634   '';
3635
3636 }
3637
3638 =item do_cust_event [ HASHREF | OPTION => VALUE ... ]
3639
3640 Runs billing events; see L<FS::part_event> and the billing events web
3641 interface.
3642
3643 If there is an error, returns the error, otherwise returns false.
3644
3645 Options are passed as name-value pairs.
3646
3647 Currently available options are:
3648
3649 =over 4
3650
3651 =item time
3652
3653 Use this time when deciding when to print invoices and late notices on those invoices.  The default is now.  It is specified as a UNIX timestamp; see L<perlfunc/"time">).  Also see L<Time::Local> and L<Date::Parse> for conversion functions.
3654
3655 =item check_freq
3656
3657 "1d" for the traditional, daily events (the default), or "1m" for the new monthly events (part_event.check_freq)
3658
3659 =item stage
3660
3661 "collect" (the default) or "pre-bill"
3662
3663 =item quiet
3664  
3665 set true to surpress email card/ACH decline notices.
3666
3667 =item debug
3668
3669 Debugging level.  Default is 0 (no debugging), or can be set to 1 (passed-in options), 2 (traces progress), 3 (more information), or 4 (include full search queries)
3670
3671 =cut
3672
3673 # =item payby
3674 #
3675 # allows for one time override of normal customer billing method
3676
3677 # =item retry
3678 #
3679 # Retry card/echeck/LEC transactions even when not scheduled by invoice events.
3680
3681 sub do_cust_event {
3682   my( $self, %options ) = @_;
3683   my $time = $options{'time'} || time;
3684
3685   #put below somehow?
3686   local $SIG{HUP} = 'IGNORE';
3687   local $SIG{INT} = 'IGNORE';
3688   local $SIG{QUIT} = 'IGNORE';
3689   local $SIG{TERM} = 'IGNORE';
3690   local $SIG{TSTP} = 'IGNORE';
3691   local $SIG{PIPE} = 'IGNORE';
3692
3693   my $oldAutoCommit = $FS::UID::AutoCommit;
3694   local $FS::UID::AutoCommit = 0;
3695   my $dbh = dbh;
3696
3697   $self->select_for_update; #mutex
3698
3699   if ( $DEBUG ) {
3700     my $balance = $self->balance;
3701     warn "$me do_cust_event customer ". $self->custnum. ": balance $balance\n"
3702   }
3703
3704 #  if ( exists($options{'retry_card'}) ) {
3705 #    carp 'retry_card option passed to collect is deprecated; use retry';
3706 #    $options{'retry'} ||= $options{'retry_card'};
3707 #  }
3708 #  if ( exists($options{'retry'}) && $options{'retry'} ) {
3709 #    my $error = $self->retry_realtime;
3710 #    if ( $error ) {
3711 #      $dbh->rollback if $oldAutoCommit;
3712 #      return $error;
3713 #    }
3714 #  }
3715
3716   # false laziness w/pay_batch::import_results
3717
3718   my $due_cust_event = $self->due_cust_event(
3719     'debug'      => ( $options{'debug'} || 0 ),
3720     'time'       => $time,
3721     'check_freq' => $options{'check_freq'},
3722     'stage'      => ( $options{'stage'} || 'collect' ),
3723   );
3724   unless( ref($due_cust_event) ) {
3725     $dbh->rollback if $oldAutoCommit;
3726     return $due_cust_event;
3727   }
3728
3729   foreach my $cust_event ( @$due_cust_event ) {
3730
3731     #XXX lock event
3732     
3733     #re-eval event conditions (a previous event could have changed things)
3734     unless ( $cust_event->test_conditions( 'time' => $time ) ) {
3735       #don't leave stray "new/locked" records around
3736       my $error = $cust_event->delete;
3737       if ( $error ) {
3738         #gah, even with transactions
3739         $dbh->commit if $oldAutoCommit; #well.
3740         return $error;
3741       }
3742       next;
3743     }
3744
3745     {
3746       local $realtime_bop_decline_quiet = 1 if $options{'quiet'};
3747       warn "  running cust_event ". $cust_event->eventnum. "\n"
3748         if $DEBUG > 1;
3749
3750       
3751       #if ( my $error = $cust_event->do_event(%options) ) { #XXX %options?
3752       if ( my $error = $cust_event->do_event() ) {
3753         #XXX wtf is this?  figure out a proper dealio with return value
3754         #from do_event
3755           # gah, even with transactions.
3756           $dbh->commit if $oldAutoCommit; #well.
3757           return $error;
3758         }
3759     }
3760
3761   }
3762
3763   $dbh->commit or die $dbh->errstr if $oldAutoCommit;
3764   '';
3765
3766 }
3767
3768 =item due_cust_event [ HASHREF | OPTION => VALUE ... ]
3769
3770 Inserts database records for and returns an ordered listref of new events due
3771 for this customer, as FS::cust_event objects (see L<FS::cust_event>).  If no
3772 events are due, an empty listref is returned.  If there is an error, returns a
3773 scalar error message.
3774
3775 To actually run the events, call each event's test_condition method, and if
3776 still true, call the event's do_event method.
3777
3778 Options are passed as a hashref or as a l