honor cust_main DEBUG flag, add some additional debug info, RT#10012
[freeside.git] / FS / FS / cust_main / Billing.pm
1 package FS::cust_main::Billing;
2
3 use strict;
4 use vars qw( $conf $DEBUG $me );
5 use Carp;
6 use Data::Dumper;
7 use List::Util qw( min );
8 use FS::UID qw( dbh );
9 use FS::Record qw( qsearch qsearchs dbdef );
10 use FS::cust_bill;
11 use FS::cust_bill_pkg;
12 use FS::cust_bill_pkg_display;
13 use FS::cust_bill_pay;
14 use FS::cust_credit_bill;
15 use FS::cust_pkg;
16 use FS::cust_tax_adjustment;
17 use FS::tax_rate;
18 use FS::tax_rate_location;
19 use FS::cust_bill_pkg_tax_location;
20 use FS::cust_bill_pkg_tax_rate_location;
21 use FS::part_event;
22 use FS::part_event_condition;
23
24 # 1 is mostly method/subroutine entry and options
25 # 2 traces progress of some operations
26 # 3 is even more information including possibly sensitive data
27 $DEBUG = 0;
28 $me = '[FS::cust_main::Billing]';
29
30 install_callback FS::UID sub { 
31   $conf = new FS::Conf;
32   #yes, need it for stuff below (prolly should be cached)
33 };
34
35 =head1 NAME
36
37 FS::cust_main::Billing - Billing mixin for cust_main
38
39 =head1 SYNOPSIS
40
41 =head1 DESCRIPTION
42
43 These methods are available on FS::cust_main objects.
44
45 =head1 METHODS
46
47 =over 4
48
49 =item bill_and_collect 
50
51 Cancels and suspends any packages due, generates bills, applies payments and
52 credits, and applies collection events to run cards, send bills and notices,
53 etc.
54
55 By default, warns on errors and continues with the next operation (but see the
56 "fatal" flag below).
57
58 Options are passed as name-value pairs.  Currently available options are:
59
60 =over 4
61
62 =item time
63
64 Bills the customer as if it were that time.  Specified as a UNIX timestamp; see L<perlfunc/"time">).  Also see L<Time::Local> and L<Date::Parse> for conversion functions.  For example:
65
66  use Date::Parse;
67  ...
68  $cust_main->bill( 'time' => str2time('April 20th, 2001') );
69
70 =item invoice_time
71
72 Used in conjunction with the I<time> option, this option specifies the date of for the generated invoices.  Other calculations, such as whether or not to generate the invoice in the first place, are not affected.
73
74 =item check_freq
75
76 "1d" for the traditional, daily events (the default), or "1m" for the new monthly events (part_event.check_freq)
77
78 =item resetup
79
80 If set true, re-charges setup fees.
81
82 =item fatal
83
84 If set any errors prevent subsequent operations from continusing.  If set
85 specifically to "return", returns the error (or false, if there is no error).
86 Any other true value causes errors to die.
87
88 =item debug
89
90 Debugging level.  Default is 0 (no debugging), or can be set to 1 (passed-in options), 2 (traces progress), 3 (more information), or 4 (include full search queries)
91
92 =item job
93
94 Optional FS::queue entry to receive status updates.
95
96 =back
97
98 Options are passed to the B<bill> and B<collect> methods verbatim, so all
99 options of those methods are also available.
100
101 =cut
102
103 sub bill_and_collect {
104   my( $self, %options ) = @_;
105
106   my $error;
107
108   #$options{actual_time} not $options{time} because freeside-daily -d is for
109   #pre-printing invoices
110
111   $options{'actual_time'} ||= time;
112   my $job = $options{'job'};
113
114   $job->update_statustext('0,cleaning expired packages') if $job;
115   $error = $self->cancel_expired_pkgs( $options{actual_time} );
116   if ( $error ) {
117     $error = "Error expiring custnum ". $self->custnum. ": $error";
118     if    ( $options{fatal} && $options{fatal} eq 'return' ) { return $error; }
119     elsif ( $options{fatal}                                ) { die    $error; }
120     else                                                     { warn   $error; }
121   }
122
123   $error = $self->suspend_adjourned_pkgs( $options{actual_time} );
124   if ( $error ) {
125     $error = "Error adjourning custnum ". $self->custnum. ": $error";
126     if    ( $options{fatal} && $options{fatal} eq 'return' ) { return $error; }
127     elsif ( $options{fatal}                                ) { die    $error; }
128     else                                                     { warn   $error; }
129   }
130
131   $job->update_statustext('20,billing packages') if $job;
132   $error = $self->bill( %options );
133   if ( $error ) {
134     $error = "Error billing custnum ". $self->custnum. ": $error";
135     if    ( $options{fatal} && $options{fatal} eq 'return' ) { return $error; }
136     elsif ( $options{fatal}                                ) { die    $error; }
137     else                                                     { warn   $error; }
138   }
139
140   $job->update_statustext('50,applying payments and credits') if $job;
141   $error = $self->apply_payments_and_credits;
142   if ( $error ) {
143     $error = "Error applying custnum ". $self->custnum. ": $error";
144     if    ( $options{fatal} && $options{fatal} eq 'return' ) { return $error; }
145     elsif ( $options{fatal}                                ) { die    $error; }
146     else                                                     { warn   $error; }
147   }
148
149   $job->update_statustext('70,running collection events') if $job;
150   unless ( $conf->exists('cancelled_cust-noevents')
151            && ! $self->num_ncancelled_pkgs
152   ) {
153     $error = $self->collect( %options );
154     if ( $error ) {
155       $error = "Error collecting custnum ". $self->custnum. ": $error";
156       if    ($options{fatal} && $options{fatal} eq 'return') { return $error; }
157       elsif ($options{fatal}                               ) { die    $error; }
158       else                                                   { warn   $error; }
159     }
160   }
161   $job->update_statustext('100,finished') if $job;
162
163   '';
164
165 }
166
167 sub cancel_expired_pkgs {
168   my ( $self, $time, %options ) = @_;
169
170   my @cancel_pkgs = $self->ncancelled_pkgs( { 
171     'extra_sql' => " AND expire IS NOT NULL AND expire > 0 AND expire <= $time "
172   } );
173
174   my @errors = ();
175
176   foreach my $cust_pkg ( @cancel_pkgs ) {
177     my $cpr = $cust_pkg->last_cust_pkg_reason('expire');
178     my $error = $cust_pkg->cancel($cpr ? ( 'reason'        => $cpr->reasonnum,
179                                            'reason_otaker' => $cpr->otaker
180                                          )
181                                        : ()
182                                  );
183     push @errors, 'pkgnum '.$cust_pkg->pkgnum.": $error" if $error;
184   }
185
186   scalar(@errors) ? join(' / ', @errors) : '';
187
188 }
189
190 sub suspend_adjourned_pkgs {
191   my ( $self, $time, %options ) = @_;
192
193   my @susp_pkgs = $self->ncancelled_pkgs( {
194     'extra_sql' =>
195       " AND ( susp IS NULL OR susp = 0 )
196         AND (    ( bill    IS NOT NULL AND bill    != 0 AND bill    <  $time )
197               OR ( adjourn IS NOT NULL AND adjourn != 0 AND adjourn <= $time )
198             )
199       ",
200   } );
201
202   #only because there's no SQL test for is_prepaid :/
203   @susp_pkgs = 
204     grep {     (    $_->part_pkg->is_prepaid
205                  && $_->bill
206                  && $_->bill < $time
207                )
208             || (    $_->adjourn
209                  && $_->adjourn <= $time
210                )
211            
212          }
213          @susp_pkgs;
214
215   my @errors = ();
216
217   foreach my $cust_pkg ( @susp_pkgs ) {
218     my $cpr = $cust_pkg->last_cust_pkg_reason('adjourn')
219       if ($cust_pkg->adjourn && $cust_pkg->adjourn < $^T);
220     my $error = $cust_pkg->suspend($cpr ? ( 'reason' => $cpr->reasonnum,
221                                             'reason_otaker' => $cpr->otaker
222                                           )
223                                         : ()
224                                   );
225     push @errors, 'pkgnum '.$cust_pkg->pkgnum.": $error" if $error;
226   }
227
228   scalar(@errors) ? join(' / ', @errors) : '';
229
230 }
231
232 =item bill OPTIONS
233
234 Generates invoices (see L<FS::cust_bill>) for this customer.  Usually used in
235 conjunction with the collect method by calling B<bill_and_collect>.
236
237 If there is an error, returns the error, otherwise returns false.
238
239 Options are passed as name-value pairs.  Currently available options are:
240
241 =over 4
242
243 =item resetup
244
245 If set true, re-charges setup fees.
246
247 =item recurring_only
248
249 If set true then only bill recurring charges, not setup, usage, one time
250 charges, etc.
251
252 =item freq_override
253
254 If set, then override the normal frequency and look for a part_pkg_discount
255 to take at that frequency.
256
257 =item time
258
259 Bills the customer as if it were that time.  Specified as a UNIX timestamp; see L<perlfunc/"time">).  Also see L<Time::Local> and L<Date::Parse> for conversion functions.  For example:
260
261  use Date::Parse;
262  ...
263  $cust_main->bill( 'time' => str2time('April 20th, 2001') );
264
265 =item pkg_list
266
267 An array ref of specific packages (objects) to attempt billing, instead trying all of them.
268
269  $cust_main->bill( pkg_list => [$pkg1, $pkg2] );
270
271 =item not_pkgpart
272
273 A hashref of pkgparts to exclude from this billing run (can also be specified as a comma-separated scalar).
274
275 =item invoice_time
276
277 Used in conjunction with the I<time> option, this option specifies the date of for the generated invoices.  Other calculations, such as whether or not to generate the invoice in the first place, are not affected.
278
279 =item cancel
280
281 This boolean value informs the us that the package is being cancelled.  This
282 typically might mean not charging the normal recurring fee but only usage
283 fees since the last billing. Setup charges may be charged.  Not all package
284 plans support this feature (they tend to charge 0).
285
286 =item no_usage_reset
287
288 Prevent the resetting of usage limits during this call.
289
290 =item no_commit
291
292 Do not save the generated bill in the database.  Useful with return_bill
293
294 =item return_bill
295
296 A list reference on which the generated bill(s) will be returned.
297
298 =item invoice_terms
299
300 Optional terms to be printed on this invoice.  Otherwise, customer-specific
301 terms or the default terms are used.
302
303 =back
304
305 =cut
306
307 sub bill {
308   my( $self, %options ) = @_;
309
310   return '' if $self->payby eq 'COMP';
311
312   local($DEBUG) = $FS::cust_main::DEBUG if $FS::cust_main::DEBUG > $DEBUG;
313
314   warn "$me bill customer ". $self->custnum. "\n"
315     if $DEBUG;
316
317   my $time = $options{'time'} || time;
318   my $invoice_time = $options{'invoice_time'} || $time;
319
320   $options{'not_pkgpart'} ||= {};
321   $options{'not_pkgpart'} = { map { $_ => 1 }
322                                   split(/\s*,\s*/, $options{'not_pkgpart'})
323                             }
324     unless ref($options{'not_pkgpart'});
325
326   local $SIG{HUP} = 'IGNORE';
327   local $SIG{INT} = 'IGNORE';
328   local $SIG{QUIT} = 'IGNORE';
329   local $SIG{TERM} = 'IGNORE';
330   local $SIG{TSTP} = 'IGNORE';
331   local $SIG{PIPE} = 'IGNORE';
332
333   my $oldAutoCommit = $FS::UID::AutoCommit;
334   local $FS::UID::AutoCommit = 0;
335   my $dbh = dbh;
336
337   warn "$me acquiring lock on customer ". $self->custnum. "\n"
338     if $DEBUG;
339
340   $self->select_for_update; #mutex
341
342   warn "$me running pre-bill events for customer ". $self->custnum. "\n"
343     if $DEBUG;
344
345   my $error = $self->do_cust_event(
346     'debug'      => ( $options{'debug'} || 0 ),
347     'time'       => $invoice_time,
348     'check_freq' => $options{'check_freq'},
349     'stage'      => 'pre-bill',
350   )
351     unless $options{no_commit};
352   if ( $error ) {
353     $dbh->rollback if $oldAutoCommit && !$options{no_commit};
354     return $error;
355   }
356
357   warn "$me done running pre-bill events for customer ". $self->custnum. "\n"
358     if $DEBUG;
359
360   #keep auto-charge and non-auto-charge line items separate
361   my @passes = ( '', 'no_auto' );
362
363   my %cust_bill_pkg = map { $_ => [] } @passes;
364
365   ###
366   # find the packages which are due for billing, find out how much they are
367   # & generate invoice database.
368   ###
369
370   my %total_setup   = map { my $z = 0; $_ => \$z; } @passes;
371   my %total_recur   = map { my $z = 0; $_ => \$z; } @passes;
372
373   my %taxlisthash = map { $_ => {} } @passes;
374
375   my @precommit_hooks = ();
376
377   $options{'pkg_list'} ||= [ $self->ncancelled_pkgs ];  #param checks?
378   foreach my $cust_pkg ( @{ $options{'pkg_list'} } ) {
379
380     next if $options{'not_pkgpart'}->{$cust_pkg->pkgpart};
381
382     warn "  bill package ". $cust_pkg->pkgnum. "\n" if $DEBUG > 1;
383
384     #? to avoid use of uninitialized value errors... ?
385     $cust_pkg->setfield('bill', '')
386       unless defined($cust_pkg->bill);
387  
388     #my $part_pkg = $cust_pkg->part_pkg;
389
390     my $real_pkgpart = $cust_pkg->pkgpart;
391     my %hash = $cust_pkg->hash;
392
393     # we could implement this bit as FS::part_pkg::has_hidden, but we already
394     # suffer from performance issues
395     $options{has_hidden} = 0;
396     my @part_pkg = $cust_pkg->part_pkg->self_and_bill_linked;
397     $options{has_hidden} = 1 if ($part_pkg[1] && $part_pkg[1]->hidden);
398  
399     foreach my $part_pkg ( @part_pkg ) {
400
401       $cust_pkg->set($_, $hash{$_}) foreach qw ( setup last_bill bill );
402
403       my $pass = ($cust_pkg->no_auto || $part_pkg->no_auto) ? 'no_auto' : '';
404
405       my $error =
406         $self->_make_lines( 'part_pkg'            => $part_pkg,
407                             'cust_pkg'            => $cust_pkg,
408                             'precommit_hooks'     => \@precommit_hooks,
409                             'line_items'          => $cust_bill_pkg{$pass},
410                             'setup'               => $total_setup{$pass},
411                             'recur'               => $total_recur{$pass},
412                             'tax_matrix'          => $taxlisthash{$pass},
413                             'time'                => $time,
414                             'real_pkgpart'        => $real_pkgpart,
415                             'options'             => \%options,
416                           );
417       if ($error) {
418         $dbh->rollback if $oldAutoCommit && !$options{no_commit};
419         return $error;
420       }
421
422     } #foreach my $part_pkg
423
424   } #foreach my $cust_pkg
425
426   #if the customer isn't on an automatic payby, everything can go on a single
427   #invoice anyway?
428   #if ( $cust_main->payby !~ /^(CARD|CHEK)$/ ) {
429     #merge everything into one list
430   #}
431
432   foreach my $pass (@passes) { # keys %cust_bill_pkg ) {
433
434     my @cust_bill_pkg = _omit_zero_value_bundles(@{ $cust_bill_pkg{$pass} });
435
436     next unless @cust_bill_pkg; #don't create an invoice w/o line items
437
438     warn "$me billing pass $pass\n".
439            Dumper(\@cust_bill_pkg)."\n"
440       if $DEBUG > 2;
441
442     if ( scalar( grep { $_->recur && $_->recur > 0 } @cust_bill_pkg) ||
443            !$conf->exists('postal_invoice-recurring_only')
444        )
445     {
446
447       my $postal_pkg = $self->charge_postal_fee();
448       if ( $postal_pkg && !ref( $postal_pkg ) ) {
449
450         $dbh->rollback if $oldAutoCommit && !$options{no_commit};
451         return "can't charge postal invoice fee for customer ".
452           $self->custnum. ": $postal_pkg";
453
454       } elsif ( $postal_pkg ) {
455
456         my $real_pkgpart = $postal_pkg->pkgpart;
457         # we could implement this bit as FS::part_pkg::has_hidden, but we already
458         # suffer from performance issues
459         $options{has_hidden} = 0;
460         my @part_pkg = $postal_pkg->part_pkg->self_and_bill_linked;
461         $options{has_hidden} = 1 if ($part_pkg[1] && $part_pkg[1]->hidden);
462
463         foreach my $part_pkg ( @part_pkg ) {
464           my %postal_options = %options;
465           delete $postal_options{cancel};
466           my $error =
467             $self->_make_lines( 'part_pkg'            => $part_pkg,
468                                 'cust_pkg'            => $postal_pkg,
469                                 'precommit_hooks'     => \@precommit_hooks,
470                                 'line_items'          => \@cust_bill_pkg,
471                                 'setup'               => $total_setup{$pass},
472                                 'recur'               => $total_recur{$pass},
473                                 'tax_matrix'          => $taxlisthash{$pass},
474                                 'time'                => $time,
475                                 'real_pkgpart'        => $real_pkgpart,
476                                 'options'             => \%postal_options,
477                               );
478           if ($error) {
479             $dbh->rollback if $oldAutoCommit && !$options{no_commit};
480             return $error;
481           }
482         }
483
484         # it's silly to have a zero value postal_pkg, but....
485         @cust_bill_pkg = _omit_zero_value_bundles(@cust_bill_pkg);
486
487       }
488
489     }
490
491     my $listref_or_error =
492       $self->calculate_taxes( \@cust_bill_pkg, $taxlisthash{$pass}, $invoice_time);
493
494     unless ( ref( $listref_or_error ) ) {
495       $dbh->rollback if $oldAutoCommit && !$options{no_commit};
496       return $listref_or_error;
497     }
498
499     foreach my $taxline ( @$listref_or_error ) {
500       ${ $total_setup{$pass} } =
501         sprintf('%.2f', ${ $total_setup{$pass} } + $taxline->setup );
502       push @cust_bill_pkg, $taxline;
503     }
504
505     #add tax adjustments
506     warn "adding tax adjustments...\n" if $DEBUG > 2;
507     foreach my $cust_tax_adjustment (
508       qsearch('cust_tax_adjustment', { 'custnum'    => $self->custnum,
509                                        'billpkgnum' => '',
510                                      }
511              )
512     ) {
513
514       my $tax = sprintf('%.2f', $cust_tax_adjustment->amount );
515
516       my $itemdesc = $cust_tax_adjustment->taxname;
517       $itemdesc = '' if $itemdesc eq 'Tax';
518
519       push @cust_bill_pkg, new FS::cust_bill_pkg {
520         'pkgnum'      => 0,
521         'setup'       => $tax,
522         'recur'       => 0,
523         'sdate'       => '',
524         'edate'       => '',
525         'itemdesc'    => $itemdesc,
526         'itemcomment' => $cust_tax_adjustment->comment,
527         'cust_tax_adjustment' => $cust_tax_adjustment,
528         #'cust_bill_pkg_tax_location' => \@cust_bill_pkg_tax_location,
529       };
530
531     }
532
533     my $charged = sprintf('%.2f', ${ $total_setup{$pass} } + ${ $total_recur{$pass} } );
534
535     my @cust_bill = $self->cust_bill;
536     my $balance = $self->balance;
537     my $previous_balance = scalar(@cust_bill)
538                              ? ( $cust_bill[$#cust_bill]->billing_balance || 0 )
539                              : 0;
540
541     $previous_balance += $cust_bill[$#cust_bill]->charged
542       if scalar(@cust_bill);
543     #my $balance_adjustments =
544     #  sprintf('%.2f', $balance - $prior_prior_balance - $prior_charged);
545
546     warn "creating the new invoice\n" if $DEBUG;
547     #create the new invoice
548     my $cust_bill = new FS::cust_bill ( {
549       'custnum'             => $self->custnum,
550       '_date'               => ( $invoice_time ),
551       'charged'             => $charged,
552       'billing_balance'     => $balance,
553       'previous_balance'    => $previous_balance,
554       'invoice_terms'       => $options{'invoice_terms'},
555       'cust_bill_pkg'       => \@cust_bill_pkg,
556     } );
557     $error = $cust_bill->insert unless $options{no_commit};
558     if ( $error ) {
559       $dbh->rollback if $oldAutoCommit && !$options{no_commit};
560       return "can't create invoice for customer #". $self->custnum. ": $error";
561     }
562     push @{$options{return_bill}}, $cust_bill if $options{return_bill};
563
564   } #foreach my $pass ( keys %cust_bill_pkg )
565
566   foreach my $hook ( @precommit_hooks ) { 
567     eval {
568       &{$hook}; #($self) ?
569     } unless $options{no_commit};
570     if ( $@ ) {
571       $dbh->rollback if $oldAutoCommit && !$options{no_commit};
572       return "$@ running precommit hook $hook\n";
573     }
574   }
575   
576   $dbh->commit or die $dbh->errstr if $oldAutoCommit && !$options{no_commit};
577
578   ''; #no error
579 }
580
581 #discard bundled packages of 0 value
582 sub _omit_zero_value_bundles {
583
584   my @cust_bill_pkg = ();
585   my @cust_bill_pkg_bundle = ();
586   my $sum = 0;
587
588   foreach my $cust_bill_pkg ( @_ ) {
589     if (scalar(@cust_bill_pkg_bundle) && !$cust_bill_pkg->pkgpart_override) {
590       push @cust_bill_pkg, @cust_bill_pkg_bundle if $sum > 0;
591       @cust_bill_pkg_bundle = ();
592       $sum = 0;
593     }
594     $sum += $cust_bill_pkg->setup + $cust_bill_pkg->recur;
595     push @cust_bill_pkg_bundle, $cust_bill_pkg;
596   }
597   push @cust_bill_pkg, @cust_bill_pkg_bundle if $sum > 0;
598
599   (@cust_bill_pkg);
600
601 }
602
603 =item calculate_taxes LINEITEMREF TAXHASHREF INVOICE_TIME
604
605 This is a weird one.  Perhaps it should not even be exposed.
606
607 Generates tax line items (see L<FS::cust_bill_pkg>) for this customer.
608 Usually used internally by bill method B<bill>.
609
610 If there is an error, returns the error, otherwise returns reference to a
611 list of line items suitable for insertion.
612
613 =over 4
614
615 =item LINEITEMREF
616
617 An array ref of the line items being billed.
618
619 =item TAXHASHREF
620
621 A strange beast.  The keys to this hash are internal identifiers consisting
622 of the name of the tax object type, a space, and its unique identifier ( e.g.
623  'cust_main_county 23' ).  The values of the hash are listrefs.  The first
624 item in the list is the tax object.  The remaining items are either line
625 items or floating point values (currency amounts).
626
627 The taxes are calculated on this entity.  Calculated exemption records are
628 transferred to the LINEITEMREF items on the assumption that they are related.
629
630 Read the source.
631
632 =item INVOICE_TIME
633
634 This specifies the date appearing on the associated invoice.  Some
635 jurisdictions (i.e. Texas) have tax exemptions which are date sensitive.
636
637 =back
638
639 =cut
640
641 sub calculate_taxes {
642   my ($self, $cust_bill_pkg, $taxlisthash, $invoice_time) = @_;
643
644   local($DEBUG) = $FS::cust_main::DEBUG if $FS::cust_main::DEBUG > $DEBUG;
645
646   warn "$me calculate_taxes\n".
647        Dumper($self, $cust_bill_pkg, $taxlisthash, $invoice_time). "\n"
648     if $DEBUG > 2;
649
650   my @tax_line_items = ();
651
652   # keys are tax names (as printed on invoices / itemdesc )
653   # values are listrefs of taxlisthash keys (internal identifiers)
654   my %taxname = ();
655
656   # keys are taxlisthash keys (internal identifiers)
657   # values are (cumulative) amounts
658   my %tax = ();
659
660   # keys are taxlisthash keys (internal identifiers)
661   # values are listrefs of cust_bill_pkg_tax_location hashrefs
662   my %tax_location = ();
663
664   # keys are taxlisthash keys (internal identifiers)
665   # values are listrefs of cust_bill_pkg_tax_rate_location hashrefs
666   my %tax_rate_location = ();
667
668   foreach my $tax ( keys %$taxlisthash ) {
669     my $tax_object = shift @{ $taxlisthash->{$tax} };
670     warn "found ". $tax_object->taxname. " as $tax\n" if $DEBUG > 2;
671     warn " ". join('/', @{ $taxlisthash->{$tax} } ). "\n" if $DEBUG > 2;
672     my $hashref_or_error =
673       $tax_object->taxline( $taxlisthash->{$tax},
674                             'custnum'      => $self->custnum,
675                             'invoice_time' => $invoice_time
676                           );
677     return $hashref_or_error unless ref($hashref_or_error);
678
679     unshift @{ $taxlisthash->{$tax} }, $tax_object;
680
681     my $name   = $hashref_or_error->{'name'};
682     my $amount = $hashref_or_error->{'amount'};
683
684     #warn "adding $amount as $name\n";
685     $taxname{ $name } ||= [];
686     push @{ $taxname{ $name } }, $tax;
687
688     $tax{ $tax } += $amount;
689
690     $tax_location{ $tax } ||= [];
691     if ( $tax_object->get('pkgnum') || $tax_object->get('locationnum') ) {
692       push @{ $tax_location{ $tax }  },
693         {
694           'taxnum'      => $tax_object->taxnum, 
695           'taxtype'     => ref($tax_object),
696           'pkgnum'      => $tax_object->get('pkgnum'),
697           'locationnum' => $tax_object->get('locationnum'),
698           'amount'      => sprintf('%.2f', $amount ),
699         };
700     }
701
702     $tax_rate_location{ $tax } ||= [];
703     if ( ref($tax_object) eq 'FS::tax_rate' ) {
704       my $taxratelocationnum =
705         $tax_object->tax_rate_location->taxratelocationnum;
706       push @{ $tax_rate_location{ $tax }  },
707         {
708           'taxnum'             => $tax_object->taxnum, 
709           'taxtype'            => ref($tax_object),
710           'amount'             => sprintf('%.2f', $amount ),
711           'locationtaxid'      => $tax_object->location,
712           'taxratelocationnum' => $taxratelocationnum,
713         };
714     }
715
716   }
717
718   #move the cust_tax_exempt_pkg records to the cust_bill_pkgs we will commit
719   my %packagemap = map { $_->pkgnum => $_ } @$cust_bill_pkg;
720   foreach my $tax ( keys %$taxlisthash ) {
721     foreach ( @{ $taxlisthash->{$tax} }[1 ... scalar(@{ $taxlisthash->{$tax} })] ) {
722       next unless ref($_) eq 'FS::cust_bill_pkg';
723
724       push @{ $packagemap{$_->pkgnum}->_cust_tax_exempt_pkg }, 
725         splice( @{ $_->_cust_tax_exempt_pkg } );
726     }
727   }
728
729   #consolidate and create tax line items
730   warn "consolidating and generating...\n" if $DEBUG > 2;
731   foreach my $taxname ( keys %taxname ) {
732     my $tax = 0;
733     my %seen = ();
734     my @cust_bill_pkg_tax_location = ();
735     my @cust_bill_pkg_tax_rate_location = ();
736     warn "adding $taxname\n" if $DEBUG > 1;
737     foreach my $taxitem ( @{ $taxname{$taxname} } ) {
738       next if $seen{$taxitem}++;
739       warn "adding $tax{$taxitem}\n" if $DEBUG > 1;
740       $tax += $tax{$taxitem};
741       push @cust_bill_pkg_tax_location,
742         map { new FS::cust_bill_pkg_tax_location $_ }
743             @{ $tax_location{ $taxitem } };
744       push @cust_bill_pkg_tax_rate_location,
745         map { new FS::cust_bill_pkg_tax_rate_location $_ }
746             @{ $tax_rate_location{ $taxitem } };
747     }
748     next unless $tax;
749
750     $tax = sprintf('%.2f', $tax );
751   
752     my $pkg_category = qsearchs( 'pkg_category', { 'categoryname' => $taxname,
753                                                    'disabled'     => '',
754                                                  },
755                                );
756
757     my @display = ();
758     if ( $pkg_category and
759          $conf->config('invoice_latexsummary') ||
760          $conf->config('invoice_htmlsummary')
761        )
762     {
763
764       my %hash = (  'section' => $pkg_category->categoryname );
765       push @display, new FS::cust_bill_pkg_display { type => 'S', %hash };
766
767     }
768
769     push @tax_line_items, new FS::cust_bill_pkg {
770       'pkgnum'   => 0,
771       'setup'    => $tax,
772       'recur'    => 0,
773       'sdate'    => '',
774       'edate'    => '',
775       'itemdesc' => $taxname,
776       'display'  => \@display,
777       'cust_bill_pkg_tax_location' => \@cust_bill_pkg_tax_location,
778       'cust_bill_pkg_tax_rate_location' => \@cust_bill_pkg_tax_rate_location,
779     };
780
781   }
782
783   \@tax_line_items;
784 }
785
786 sub _make_lines {
787   my ($self, %params) = @_;
788
789   local($DEBUG) = $FS::cust_main::DEBUG if $FS::cust_main::DEBUG > $DEBUG;
790
791   my $part_pkg = $params{part_pkg} or die "no part_pkg specified";
792   my $cust_pkg = $params{cust_pkg} or die "no cust_pkg specified";
793   my $precommit_hooks = $params{precommit_hooks} or die "no package specified";
794   my $cust_bill_pkgs = $params{line_items} or die "no line buffer specified";
795   my $total_setup = $params{setup} or die "no setup accumulator specified";
796   my $total_recur = $params{recur} or die "no recur accumulator specified";
797   my $taxlisthash = $params{tax_matrix} or die "no tax accumulator specified";
798   my $time = $params{'time'} or die "no time specified";
799   my (%options) = %{$params{options}};
800
801   my $dbh = dbh;
802   my $real_pkgpart = $params{real_pkgpart};
803   my %hash = $cust_pkg->hash;
804   my $old_cust_pkg = new FS::cust_pkg \%hash;
805
806   my @details = ();
807   my @discounts = ();
808   my $lineitems = 0;
809
810   $cust_pkg->pkgpart($part_pkg->pkgpart);
811
812   ###
813   # bill setup
814   ###
815
816   my $setup = 0;
817   my $unitsetup = 0;
818   if ( $options{'resetup'}
819        || ( ! $cust_pkg->setup
820             && ( ! $cust_pkg->start_date
821                  || $cust_pkg->start_date <= $time
822                )
823             && ( ! $conf->exists('disable_setup_suspended_pkgs')
824                  || ( $conf->exists('disable_setup_suspended_pkgs') &&
825                       ! $cust_pkg->getfield('susp')
826                     )
827                )
828           )
829         and !$options{recurring_only}
830     )
831   {
832     
833     warn "    bill setup\n" if $DEBUG > 1;
834     $lineitems++;
835
836     $setup = eval { $cust_pkg->calc_setup( $time, \@details ) };
837     return "$@ running calc_setup for $cust_pkg\n"
838       if $@;
839
840     $unitsetup = $cust_pkg->part_pkg->unit_setup || $setup; #XXX uuh
841
842     $cust_pkg->setfield('setup', $time)
843       unless $cust_pkg->setup;
844           #do need it, but it won't get written to the db
845           #|| $cust_pkg->pkgpart != $real_pkgpart;
846
847     $cust_pkg->setfield('start_date', '')
848       if $cust_pkg->start_date;
849
850   }
851
852   ###
853   # bill recurring fee
854   ### 
855
856   #XXX unit stuff here too
857   my $recur = 0;
858   my $unitrecur = 0;
859   my $sdate;
860   if (     ! $cust_pkg->get('susp')
861        and ! $cust_pkg->get('start_date')
862        and ( $part_pkg->getfield('freq') ne '0'
863              && ( $cust_pkg->getfield('bill') || 0 ) <= $time
864            )
865         || ( $part_pkg->plan eq 'voip_cdr'
866               && $part_pkg->option('bill_every_call')
867            )
868         || ( $options{cancel} )
869   ) {
870
871     # XXX should this be a package event?  probably.  events are called
872     # at collection time at the moment, though...
873     $part_pkg->reset_usage($cust_pkg, 'debug'=>$DEBUG)
874       if $part_pkg->can('reset_usage') && !$options{'no_usage_reset'};
875       #don't want to reset usage just cause we want a line item??
876       #&& $part_pkg->pkgpart == $real_pkgpart;
877
878     warn "    bill recur\n" if $DEBUG > 1;
879     $lineitems++;
880
881     # XXX shared with $recur_prog
882     $sdate = ( $options{cancel} ? $cust_pkg->last_bill : $cust_pkg->bill )
883              || $cust_pkg->setup
884              || $time;
885
886     #over two params!  lets at least switch to a hashref for the rest...
887     my $increment_next_bill = ( $part_pkg->freq ne '0'
888                                 && ( $cust_pkg->getfield('bill') || 0 ) <= $time
889                                 && !$options{cancel}
890                               );
891     my %param = ( 'precommit_hooks'     => $precommit_hooks,
892                   'increment_next_bill' => $increment_next_bill,
893                   'discounts'           => \@discounts,
894                   'real_pkgpart'        => $real_pkgpart,
895                   'freq_override'       => $options{freq_override} || '',
896                 );
897
898     my $method = $options{cancel} ? 'calc_cancel' : 'calc_recur';
899
900     # There may be some part_pkg for which this is wrong.  Only those
901     # which can_discount are supported.
902
903     $recur = eval { $cust_pkg->$method( \$sdate, \@details, \%param ) };
904     return "$@ running $method for $cust_pkg\n"
905       if ( $@ );
906
907     if ( $increment_next_bill ) {
908
909       my $next_bill = $part_pkg->add_freq($sdate, $options{freq_override} || 0);
910       return "unparsable frequency: ". $part_pkg->freq
911         if $next_bill == -1;
912   
913       #pro-rating magic - if $recur_prog fiddled $sdate, want to use that
914       # only for figuring next bill date, nothing else, so, reset $sdate again
915       # here
916       $sdate = $cust_pkg->bill || $cust_pkg->setup || $time;
917       #no need, its in $hash{last_bill}# my $last_bill = $cust_pkg->last_bill;
918       $cust_pkg->last_bill($sdate);
919
920       $cust_pkg->setfield('bill', $next_bill );
921
922     }
923
924   }
925
926   warn "\$setup is undefined" unless defined($setup);
927   warn "\$recur is undefined" unless defined($recur);
928   warn "\$cust_pkg->bill is undefined" unless defined($cust_pkg->bill);
929   
930   ###
931   # If there's line items, create em cust_bill_pkg records
932   # If $cust_pkg has been modified, update it (if we're a real pkgpart)
933   ###
934
935   if ( $lineitems || $options{has_hidden} ) {
936
937     if ( $cust_pkg->modified && $cust_pkg->pkgpart == $real_pkgpart ) {
938       # hmm.. and if just the options are modified in some weird price plan?
939   
940       warn "  package ". $cust_pkg->pkgnum. " modified; updating\n"
941         if $DEBUG >1;
942   
943       my $error = $cust_pkg->replace( $old_cust_pkg,
944                                       'options' => { $cust_pkg->options },
945                                     )
946         unless $options{no_commit};
947       return "Error modifying pkgnum ". $cust_pkg->pkgnum. ": $error"
948         if $error; #just in case
949     }
950   
951     $setup = sprintf( "%.2f", $setup );
952     $recur = sprintf( "%.2f", $recur );
953     if ( $setup < 0 && ! $conf->exists('allow_negative_charges') ) {
954       return "negative setup $setup for pkgnum ". $cust_pkg->pkgnum;
955     }
956     if ( $recur < 0 && ! $conf->exists('allow_negative_charges') ) {
957       return "negative recur $recur for pkgnum ". $cust_pkg->pkgnum;
958     }
959
960     if ( $setup != 0 ||
961          $recur != 0 ||
962          !$part_pkg->hidden && $options{has_hidden} ) #include some $0 lines
963     {
964
965       warn "    charges (setup=$setup, recur=$recur); adding line items\n"
966         if $DEBUG > 1;
967
968       my @cust_pkg_detail = map { $_->detail } $cust_pkg->cust_pkg_detail('I');
969       if ( $DEBUG > 1 ) {
970         warn "      adding customer package invoice detail: $_\n"
971           foreach @cust_pkg_detail;
972       }
973       push @details, @cust_pkg_detail;
974
975       my $cust_bill_pkg = new FS::cust_bill_pkg {
976         'pkgnum'    => $cust_pkg->pkgnum,
977         'setup'     => $setup,
978         'unitsetup' => $unitsetup,
979         'recur'     => $recur,
980         'unitrecur' => $unitrecur,
981         'quantity'  => $cust_pkg->quantity,
982         'details'   => \@details,
983         'discounts' => \@discounts,
984         'hidden'    => $part_pkg->hidden,
985         'freq'      => $part_pkg->freq,
986       };
987
988       if ( $part_pkg->option('recur_temporality', 1) eq 'preceding' ) {
989         $cust_bill_pkg->sdate( $hash{last_bill} );
990         $cust_bill_pkg->edate( $sdate - 86399   ); #60s*60m*24h-1
991         $cust_bill_pkg->edate( $time ) if $options{cancel};
992       } else { #if ( $part_pkg->option('recur_temporality', 1) eq 'upcoming' ) {
993         $cust_bill_pkg->sdate( $sdate );
994         $cust_bill_pkg->edate( $cust_pkg->bill );
995         #$cust_bill_pkg->edate( $time ) if $options{cancel};
996       }
997
998       $cust_bill_pkg->pkgpart_override($part_pkg->pkgpart)
999         unless $part_pkg->pkgpart == $real_pkgpart;
1000
1001       $$total_setup += $setup;
1002       $$total_recur += $recur;
1003
1004       ###
1005       # handle taxes
1006       ###
1007
1008       my $error = 
1009         $self->_handle_taxes($part_pkg, $taxlisthash, $cust_bill_pkg, $cust_pkg, $options{invoice_time}, $real_pkgpart, \%options);
1010       return $error if $error;
1011
1012       push @$cust_bill_pkgs, $cust_bill_pkg;
1013
1014     } #if $setup != 0 || $recur != 0
1015       
1016   } #if $line_items
1017
1018   '';
1019
1020 }
1021
1022 sub _handle_taxes {
1023   my $self = shift;
1024   my $part_pkg = shift;
1025   my $taxlisthash = shift;
1026   my $cust_bill_pkg = shift;
1027   my $cust_pkg = shift;
1028   my $invoice_time = shift;
1029   my $real_pkgpart = shift;
1030   my $options = shift;
1031
1032   local($DEBUG) = $FS::cust_main::DEBUG if $FS::cust_main::DEBUG > $DEBUG;
1033
1034   my %cust_bill_pkg = ();
1035   my %taxes = ();
1036     
1037   my @classes;
1038   #push @classes, $cust_bill_pkg->usage_classes if $cust_bill_pkg->type eq 'U';
1039   push @classes, $cust_bill_pkg->usage_classes if $cust_bill_pkg->usage;
1040   push @classes, 'setup' if ($cust_bill_pkg->setup && !$options->{cancel});
1041   push @classes, 'recur' if ($cust_bill_pkg->recur && !$options->{cancel});
1042
1043   if ( $self->tax !~ /Y/i && $self->payby ne 'COMP' ) {
1044
1045     if ( $conf->exists('enable_taxproducts')
1046          && ( scalar($part_pkg->part_pkg_taxoverride)
1047               || $part_pkg->has_taxproduct
1048             )
1049        )
1050     {
1051
1052       if ( $conf->exists('tax-pkg_address') && $cust_pkg->locationnum ) {
1053         return "fatal: Can't (yet) use tax-pkg_address with taxproducts";
1054       }
1055
1056       foreach my $class (@classes) {
1057         my $err_or_ref = $self->_gather_taxes( $part_pkg, $class );
1058         return $err_or_ref unless ref($err_or_ref);
1059         $taxes{$class} = $err_or_ref;
1060       }
1061
1062       unless (exists $taxes{''}) {
1063         my $err_or_ref = $self->_gather_taxes( $part_pkg, '' );
1064         return $err_or_ref unless ref($err_or_ref);
1065         $taxes{''} = $err_or_ref;
1066       }
1067
1068     } else {
1069
1070       my @loc_keys = qw( city county state country );
1071       my %taxhash;
1072       if ( $conf->exists('tax-pkg_address') && $cust_pkg->locationnum ) {
1073         my $cust_location = $cust_pkg->cust_location;
1074         %taxhash = map { $_ => $cust_location->$_()    } @loc_keys;
1075       } else {
1076         my $prefix = 
1077           ( $conf->exists('tax-ship_address') && length($self->ship_last) )
1078           ? 'ship_'
1079           : '';
1080         %taxhash = map { $_ => $self->get("$prefix$_") } @loc_keys;
1081       }
1082
1083       $taxhash{'taxclass'} = $part_pkg->taxclass;
1084
1085       my @taxes = ();
1086       my %taxhash_elim = %taxhash;
1087       my @elim = qw( city county state );
1088       do { 
1089
1090         #first try a match with taxclass
1091         @taxes = qsearch( 'cust_main_county', \%taxhash_elim );
1092
1093         if ( !scalar(@taxes) && $taxhash_elim{'taxclass'} ) {
1094           #then try a match without taxclass
1095           my %no_taxclass = %taxhash_elim;
1096           $no_taxclass{ 'taxclass' } = '';
1097           @taxes = qsearch( 'cust_main_county', \%no_taxclass );
1098         }
1099
1100         $taxhash_elim{ shift(@elim) } = '';
1101
1102       } while ( !scalar(@taxes) && scalar(@elim) );
1103
1104       @taxes = grep { ! $_->taxname or ! $self->tax_exemption($_->taxname) }
1105                     @taxes
1106         if $self->cust_main_exemption; #just to be safe
1107
1108       if ( $conf->exists('tax-pkg_address') && $cust_pkg->locationnum ) {
1109         foreach (@taxes) {
1110           $_->set('pkgnum',      $cust_pkg->pkgnum );
1111           $_->set('locationnum', $cust_pkg->locationnum );
1112         }
1113       }
1114
1115       $taxes{''} = [ @taxes ];
1116       $taxes{'setup'} = [ @taxes ];
1117       $taxes{'recur'} = [ @taxes ];
1118       $taxes{$_} = [ @taxes ] foreach (@classes);
1119
1120       # # maybe eliminate this entirely, along with all the 0% records
1121       # unless ( @taxes ) {
1122       #   return
1123       #     "fatal: can't find tax rate for state/county/country/taxclass ".
1124       #     join('/', map $taxhash{$_}, qw(state county country taxclass) );
1125       # }
1126
1127     } #if $conf->exists('enable_taxproducts') ...
1128
1129   }
1130  
1131   my @display = ();
1132   my $separate = $conf->exists('separate_usage');
1133   my $temp_pkg = new FS::cust_pkg { pkgpart => $real_pkgpart };
1134   my $usage_mandate = $temp_pkg->part_pkg->option('usage_mandate', 'Hush!');
1135   my $section = $temp_pkg->part_pkg->categoryname;
1136   if ( $separate || $section || $usage_mandate ) {
1137
1138     my %hash = ( 'section' => $section );
1139
1140     $section = $temp_pkg->part_pkg->option('usage_section', 'Hush!');
1141     my $summary = $temp_pkg->part_pkg->option('summarize_usage', 'Hush!');
1142     if ( $separate ) {
1143       push @display, new FS::cust_bill_pkg_display { type => 'S', %hash };
1144       push @display, new FS::cust_bill_pkg_display { type => 'R', %hash };
1145     } else {
1146       push @display, new FS::cust_bill_pkg_display
1147                        { type => '',
1148                          %hash,
1149                          ( ( $usage_mandate ) ? ( 'summary' => 'Y' ) : () ),
1150                        };
1151     }
1152
1153     if ($separate && $section && $summary) {
1154       push @display, new FS::cust_bill_pkg_display { type    => 'U',
1155                                                      summary => 'Y',
1156                                                      %hash,
1157                                                    };
1158     }
1159     if ($usage_mandate || $section && $summary) {
1160       $hash{post_total} = 'Y';
1161     }
1162
1163     if ($separate || $usage_mandate) {
1164       $hash{section} = $section if ($separate || $usage_mandate);
1165       push @display, new FS::cust_bill_pkg_display { type => 'U', %hash };
1166     }
1167
1168   }
1169   $cust_bill_pkg->set('display', \@display);
1170
1171   my %tax_cust_bill_pkg = $cust_bill_pkg->disintegrate;
1172   foreach my $key (keys %tax_cust_bill_pkg) {
1173     my @taxes = @{ $taxes{$key} || [] };
1174     my $tax_cust_bill_pkg = $tax_cust_bill_pkg{$key};
1175
1176     my %localtaxlisthash = ();
1177     foreach my $tax ( @taxes ) {
1178
1179       my $taxname = ref( $tax ). ' '. $tax->taxnum;
1180 #      $taxname .= ' pkgnum'. $cust_pkg->pkgnum.
1181 #                  ' locationnum'. $cust_pkg->locationnum
1182 #        if $conf->exists('tax-pkg_address') && $cust_pkg->locationnum;
1183
1184       $taxlisthash->{ $taxname } ||= [ $tax ];
1185       push @{ $taxlisthash->{ $taxname  } }, $tax_cust_bill_pkg;
1186
1187       $localtaxlisthash{ $taxname } ||= [ $tax ];
1188       push @{ $localtaxlisthash{ $taxname  } }, $tax_cust_bill_pkg;
1189
1190     }
1191
1192     warn "finding taxed taxes...\n" if $DEBUG > 2;
1193     foreach my $tax ( keys %localtaxlisthash ) {
1194       my $tax_object = shift @{ $localtaxlisthash{$tax} };
1195       warn "found possible taxed tax ". $tax_object->taxname. " we call $tax\n"
1196         if $DEBUG > 2;
1197       next unless $tax_object->can('tax_on_tax');
1198
1199       foreach my $tot ( $tax_object->tax_on_tax( $self ) ) {
1200         my $totname = ref( $tot ). ' '. $tot->taxnum;
1201
1202         warn "checking $totname which we call ". $tot->taxname. " as applicable\n"
1203           if $DEBUG > 2;
1204         next unless exists( $localtaxlisthash{ $totname } ); # only increase
1205                                                              # existing taxes
1206         warn "adding $totname to taxed taxes\n" if $DEBUG > 2;
1207         my $hashref_or_error = 
1208           $tax_object->taxline( $localtaxlisthash{$tax},
1209                                 'custnum'      => $self->custnum,
1210                                 'invoice_time' => $invoice_time,
1211                               );
1212         return $hashref_or_error
1213           unless ref($hashref_or_error);
1214         
1215         $taxlisthash->{ $totname } ||= [ $tot ];
1216         push @{ $taxlisthash->{ $totname  } }, $hashref_or_error->{amount};
1217
1218       }
1219     }
1220
1221   }
1222
1223   '';
1224 }
1225
1226 sub _gather_taxes {
1227   my $self = shift;
1228   my $part_pkg = shift;
1229   my $class = shift;
1230
1231   local($DEBUG) = $FS::cust_main::DEBUG if $FS::cust_main::DEBUG > $DEBUG;
1232
1233   my @taxes = ();
1234   my $geocode = $self->geocode('cch');
1235
1236   my @taxclassnums = map { $_->taxclassnum }
1237                      $part_pkg->part_pkg_taxoverride($class);
1238
1239   unless (@taxclassnums) {
1240     @taxclassnums = map { $_->taxclassnum }
1241                     grep { $_->taxable eq 'Y' }
1242                     $part_pkg->part_pkg_taxrate('cch', $geocode, $class);
1243   }
1244   warn "Found taxclassnum values of ". join(',', @taxclassnums)
1245     if $DEBUG;
1246
1247   my $extra_sql =
1248     "AND (".
1249     join(' OR ', map { "taxclassnum = $_" } @taxclassnums ). ")";
1250
1251   @taxes = qsearch({ 'table' => 'tax_rate',
1252                      'hashref' => { 'geocode' => $geocode, },
1253                      'extra_sql' => $extra_sql,
1254                   })
1255     if scalar(@taxclassnums);
1256
1257   warn "Found taxes ".
1258        join(',', map{ ref($_). " ". $_->get($_->primary_key) } @taxes). "\n" 
1259    if $DEBUG;
1260
1261   [ @taxes ];
1262
1263 }
1264
1265 =item collect [ HASHREF | OPTION => VALUE ... ]
1266
1267 (Attempt to) collect money for this customer's outstanding invoices (see
1268 L<FS::cust_bill>).  Usually used after the bill method.
1269
1270 Actions are now triggered by billing events; see L<FS::part_event> and the
1271 billing events web interface.  Old-style invoice events (see
1272 L<FS::part_bill_event>) have been deprecated.
1273
1274 If there is an error, returns the error, otherwise returns false.
1275
1276 Options are passed as name-value pairs.
1277
1278 Currently available options are:
1279
1280 =over 4
1281
1282 =item invoice_time
1283
1284 Use this time when deciding when to print invoices and late notices on those invoices.  The default is now.  It is specified as a UNIX timestamp; see L<perlfunc/"time">).  Also see L<Time::Local> and L<Date::Parse> for conversion functions.
1285
1286 =item retry
1287
1288 Retry card/echeck/LEC transactions even when not scheduled by invoice events.
1289
1290 =item check_freq
1291
1292 "1d" for the traditional, daily events (the default), or "1m" for the new monthly events (part_event.check_freq)
1293
1294 =item quiet
1295
1296 set true to surpress email card/ACH decline notices.
1297
1298 =item debug
1299
1300 Debugging level.  Default is 0 (no debugging), or can be set to 1 (passed-in options), 2 (traces progress), 3 (more information), or 4 (include full search queries)
1301
1302 =back
1303
1304 # =item payby
1305 #
1306 # allows for one time override of normal customer billing method
1307
1308 =cut
1309
1310 sub collect {
1311   my( $self, %options ) = @_;
1312
1313   local($DEBUG) = $FS::cust_main::DEBUG if $FS::cust_main::DEBUG > $DEBUG;
1314
1315   my $invoice_time = $options{'invoice_time'} || time;
1316
1317   #put below somehow?
1318   local $SIG{HUP} = 'IGNORE';
1319   local $SIG{INT} = 'IGNORE';
1320   local $SIG{QUIT} = 'IGNORE';
1321   local $SIG{TERM} = 'IGNORE';
1322   local $SIG{TSTP} = 'IGNORE';
1323   local $SIG{PIPE} = 'IGNORE';
1324
1325   my $oldAutoCommit = $FS::UID::AutoCommit;
1326   local $FS::UID::AutoCommit = 0;
1327   my $dbh = dbh;
1328
1329   $self->select_for_update; #mutex
1330
1331   if ( $DEBUG ) {
1332     my $balance = $self->balance;
1333     warn "$me collect customer ". $self->custnum. ": balance $balance\n"
1334   }
1335
1336   if ( exists($options{'retry_card'}) ) {
1337     carp 'retry_card option passed to collect is deprecated; use retry';
1338     $options{'retry'} ||= $options{'retry_card'};
1339   }
1340   if ( exists($options{'retry'}) && $options{'retry'} ) {
1341     my $error = $self->retry_realtime;
1342     if ( $error ) {
1343       $dbh->rollback if $oldAutoCommit;
1344       return $error;
1345     }
1346   }
1347
1348   $dbh->commit or die $dbh->errstr if $oldAutoCommit;
1349
1350   #never want to roll back an event just because it returned an error
1351   local $FS::UID::AutoCommit = 1; #$oldAutoCommit;
1352
1353   $self->do_cust_event(
1354     'debug'      => ( $options{'debug'} || 0 ),
1355     'time'       => $invoice_time,
1356     'check_freq' => $options{'check_freq'},
1357     'stage'      => 'collect',
1358   );
1359
1360 }
1361
1362 =item retry_realtime
1363
1364 Schedules realtime / batch  credit card / electronic check / LEC billing
1365 events for for retry.  Useful if card information has changed or manual
1366 retry is desired.  The 'collect' method must be called to actually retry
1367 the transaction.
1368
1369 Implementation details: For either this customer, or for each of this
1370 customer's open invoices, changes the status of the first "done" (with
1371 statustext error) realtime processing event to "failed".
1372
1373 =cut
1374
1375 sub retry_realtime {
1376   my $self = shift;
1377
1378   local $SIG{HUP} = 'IGNORE';
1379   local $SIG{INT} = 'IGNORE';
1380   local $SIG{QUIT} = 'IGNORE';
1381   local $SIG{TERM} = 'IGNORE';
1382   local $SIG{TSTP} = 'IGNORE';
1383   local $SIG{PIPE} = 'IGNORE';
1384
1385   my $oldAutoCommit = $FS::UID::AutoCommit;
1386   local $FS::UID::AutoCommit = 0;
1387   my $dbh = dbh;
1388
1389   #a little false laziness w/due_cust_event (not too bad, really)
1390
1391   my $join = FS::part_event_condition->join_conditions_sql;
1392   my $order = FS::part_event_condition->order_conditions_sql;
1393   my $mine = 
1394   '( '
1395    . join ( ' OR ' , map { 
1396     "( part_event.eventtable = " . dbh->quote($_) 
1397     . " AND tablenum IN( SELECT " . dbdef->table($_)->primary_key . " from $_ where custnum = " . dbh->quote( $self->custnum ) . "))" ;
1398    } FS::part_event->eventtables)
1399    . ') ';
1400
1401   #here is the agent virtualization
1402   my $agent_virt = " (    part_event.agentnum IS NULL
1403                        OR part_event.agentnum = ". $self->agentnum. ' )';
1404
1405   #XXX this shouldn't be hardcoded, actions should declare it...
1406   my @realtime_events = qw(
1407     cust_bill_realtime_card
1408     cust_bill_realtime_check
1409     cust_bill_realtime_lec
1410     cust_bill_batch
1411   );
1412
1413   my $is_realtime_event = ' ( '. join(' OR ', map "part_event.action = '$_'",
1414                                                   @realtime_events
1415                                      ).
1416                           ' ) ';
1417
1418   my @cust_event = qsearchs({
1419     'table'     => 'cust_event',
1420     'select'    => 'cust_event.*',
1421     'addl_from' => "LEFT JOIN part_event USING ( eventpart ) $join",
1422     'hashref'   => { 'status' => 'done' },
1423     'extra_sql' => " AND statustext IS NOT NULL AND statustext != '' ".
1424                    " AND $mine AND $is_realtime_event AND $agent_virt $order" # LIMIT 1"
1425   });
1426
1427   my %seen_invnum = ();
1428   foreach my $cust_event (@cust_event) {
1429
1430     #max one for the customer, one for each open invoice
1431     my $cust_X = $cust_event->cust_X;
1432     next if $seen_invnum{ $cust_event->part_event->eventtable eq 'cust_bill'
1433                           ? $cust_X->invnum
1434                           : 0
1435                         }++
1436          or $cust_event->part_event->eventtable eq 'cust_bill'
1437             && ! $cust_X->owed;
1438
1439     my $error = $cust_event->retry;
1440     if ( $error ) {
1441       $dbh->rollback if $oldAutoCommit;
1442       return "error scheduling event for retry: $error";
1443     }
1444
1445   }
1446
1447   $dbh->commit or die $dbh->errstr if $oldAutoCommit;
1448   '';
1449
1450 }
1451
1452 =item do_cust_event [ HASHREF | OPTION => VALUE ... ]
1453
1454 Runs billing events; see L<FS::part_event> and the billing events web
1455 interface.
1456
1457 If there is an error, returns the error, otherwise returns false.
1458
1459 Options are passed as name-value pairs.
1460
1461 Currently available options are:
1462
1463 =over 4
1464
1465 =item time
1466
1467 Use this time when deciding when to print invoices and late notices on those invoices.  The default is now.  It is specified as a UNIX timestamp; see L<perlfunc/"time">).  Also see L<Time::Local> and L<Date::Parse> for conversion functions.
1468
1469 =item check_freq
1470
1471 "1d" for the traditional, daily events (the default), or "1m" for the new monthly events (part_event.check_freq)
1472
1473 =item stage
1474
1475 "collect" (the default) or "pre-bill"
1476
1477 =item quiet
1478  
1479 set true to surpress email card/ACH decline notices.
1480
1481 =item debug
1482
1483 Debugging level.  Default is 0 (no debugging), or can be set to 1 (passed-in options), 2 (traces progress), 3 (more information), or 4 (include full search queries)
1484
1485 =back
1486 =cut
1487
1488 # =item payby
1489 #
1490 # allows for one time override of normal customer billing method
1491
1492 # =item retry
1493 #
1494 # Retry card/echeck/LEC transactions even when not scheduled by invoice events.
1495
1496 sub do_cust_event {
1497   my( $self, %options ) = @_;
1498
1499   local($DEBUG) = $FS::cust_main::DEBUG if $FS::cust_main::DEBUG > $DEBUG;
1500
1501   my $time = $options{'time'} || time;
1502
1503   #put below somehow?
1504   local $SIG{HUP} = 'IGNORE';
1505   local $SIG{INT} = 'IGNORE';
1506   local $SIG{QUIT} = 'IGNORE';
1507   local $SIG{TERM} = 'IGNORE';
1508   local $SIG{TSTP} = 'IGNORE';
1509   local $SIG{PIPE} = 'IGNORE';
1510
1511   my $oldAutoCommit = $FS::UID::AutoCommit;
1512   local $FS::UID::AutoCommit = 0;
1513   my $dbh = dbh;
1514
1515   $self->select_for_update; #mutex
1516
1517   if ( $DEBUG ) {
1518     my $balance = $self->balance;
1519     warn "$me do_cust_event customer ". $self->custnum. ": balance $balance\n"
1520   }
1521
1522 #  if ( exists($options{'retry_card'}) ) {
1523 #    carp 'retry_card option passed to collect is deprecated; use retry';
1524 #    $options{'retry'} ||= $options{'retry_card'};
1525 #  }
1526 #  if ( exists($options{'retry'}) && $options{'retry'} ) {
1527 #    my $error = $self->retry_realtime;
1528 #    if ( $error ) {
1529 #      $dbh->rollback if $oldAutoCommit;
1530 #      return $error;
1531 #    }
1532 #  }
1533
1534   # false laziness w/pay_batch::import_results
1535
1536   my $due_cust_event = $self->due_cust_event(
1537     'debug'      => ( $options{'debug'} || 0 ),
1538     'time'       => $time,
1539     'check_freq' => $options{'check_freq'},
1540     'stage'      => ( $options{'stage'} || 'collect' ),
1541   );
1542   unless( ref($due_cust_event) ) {
1543     $dbh->rollback if $oldAutoCommit;
1544     return $due_cust_event;
1545   }
1546
1547   $dbh->commit or die $dbh->errstr if $oldAutoCommit;
1548   #never want to roll back an event just because it or a different one
1549   # returned an error
1550   local $FS::UID::AutoCommit = 1; #$oldAutoCommit;
1551
1552   foreach my $cust_event ( @$due_cust_event ) {
1553
1554     #XXX lock event
1555     
1556     #re-eval event conditions (a previous event could have changed things)
1557     unless ( $cust_event->test_conditions( 'time' => $time ) ) {
1558       #don't leave stray "new/locked" records around
1559       my $error = $cust_event->delete;
1560       return $error if $error;
1561       next;
1562     }
1563
1564     {
1565       local $FS::cust_main::Billing_Realtime::realtime_bop_decline_quiet = 1
1566         if $options{'quiet'};
1567       warn "  running cust_event ". $cust_event->eventnum. "\n"
1568         if $DEBUG > 1;
1569
1570       #if ( my $error = $cust_event->do_event(%options) ) { #XXX %options?
1571       if ( my $error = $cust_event->do_event() ) {
1572         #XXX wtf is this?  figure out a proper dealio with return value
1573         #from do_event
1574         return $error;
1575       }
1576     }
1577
1578   }
1579
1580   '';
1581
1582 }
1583
1584 =item due_cust_event [ HASHREF | OPTION => VALUE ... ]
1585
1586 Inserts database records for and returns an ordered listref of new events due
1587 for this customer, as FS::cust_event objects (see L<FS::cust_event>).  If no
1588 events are due, an empty listref is returned.  If there is an error, returns a
1589 scalar error message.
1590
1591 To actually run the events, call each event's test_condition method, and if
1592 still true, call the event's do_event method.
1593
1594 Options are passed as a hashref or as a list of name-value pairs.  Available
1595 options are:
1596
1597 =over 4
1598
1599 =item check_freq
1600
1601 Search only for events of this check frequency (how often events of this type are checked); currently "1d" (daily, the default) and "1m" (monthly) are recognized.
1602
1603 =item stage
1604
1605 "collect" (the default) or "pre-bill"
1606
1607 =item time
1608
1609 "Current time" for the events.
1610
1611 =item debug
1612
1613 Debugging level.  Default is 0 (no debugging), or can be set to 1 (passed-in options), 2 (traces progress), 3 (more information), or 4 (include full search queries)
1614
1615 =item eventtable
1616
1617 Only return events for the specified eventtable (by default, events of all eventtables are returned)
1618
1619 =item objects
1620
1621 Explicitly pass the objects to be tested (typically used with eventtable).
1622
1623 =item testonly
1624
1625 Set to true to return the objects, but not actually insert them into the
1626 database.
1627
1628 =item discount_terms
1629
1630 Returns a list of lengths for term discounts
1631
1632 =cut
1633
1634 sub _discount_pkgs_and_bill {
1635 my $self = shift;
1636
1637   my @cust_bill = $self->cust_bill;
1638   my $cust_bill = pop @cust_bill;
1639   return () unless $cust_bill && $cust_bill->owed;
1640
1641   my @where = ();
1642   push @where, "cust_bill_pkg.invnum = ". $cust_bill->invnum;
1643   push @where, "cust_bill_pkg.pkgpart_override IS NULL";
1644   push @where, "part_pkg.freq = '1'";
1645   push @where, "(cust_pkg.cancel IS NULL OR cust_pkg.cancel = 0)";
1646   push @where, "(cust_pkg.susp   IS NULL OR cust_pkg.susp   = 0)";
1647   push @where, "0<(SELECT count(*) FROM part_pkg_discount
1648                   WHERE part_pkg.pkgpart = part_pkg_discount.pkgpart)";
1649   push @where,
1650     "0=(SELECT count(*) FROM cust_bill_pkg_discount
1651          WHERE cust_bill_pkg.billpkgnum = cust_bill_pkg_discount.billpkgnum)";
1652
1653   my $extra_sql = 'WHERE '. join(' AND ', @where);
1654
1655   my @cust_pkg = 
1656     qsearch({
1657       'table' => 'cust_pkg',
1658       'select' => "DISTINCT cust_pkg.*",
1659       'addl_from' => 'JOIN cust_bill_pkg USING(pkgnum) '.
1660                      'JOIN part_pkg USING(pkgpart)',
1661       'hashref' => {},
1662       'extra_sql' => $extra_sql,
1663     }); 
1664
1665   ($cust_bill, @cust_pkg);
1666 }
1667
1668 sub _discountable_pkgs_at_term {
1669   my ($term, @pkgs) = @_;
1670   my $part_pkg = new FS::part_pkg { freq => $term - 1 };
1671   grep { ( !$_->adjourn || $_->adjourn > $part_pkg->add_freq($_->bill) ) && 
1672          ( !$_->expire  || $_->expire  > $part_pkg->add_freq($_->bill) )
1673        }
1674     @pkgs;
1675 }
1676
1677 =item discount_terms
1678
1679 Returns a list of lengths for term discounts
1680
1681 =cut
1682
1683 sub discount_terms {
1684 my $self = shift;
1685
1686   my %terms = ();
1687
1688   my @discount_pkgs = $self->_discount_pkgs_and_bill;
1689   shift @discount_pkgs; #discard bill;
1690   
1691   map { $terms{$_->months} = 1 }
1692     grep { $_->months && $_->months > 1 }
1693     map { $_->discount }
1694     map { $_->part_pkg->part_pkg_discount }
1695     @discount_pkgs;
1696
1697   return sort { $a <=> $b } keys %terms;
1698
1699 }
1700
1701 =back
1702
1703 =item discount_term_values MONTHS
1704
1705 Returns a list with credit, dollar amount saved, and total bill acheived
1706 by prepaying the most recent invoice for MONTHS.
1707
1708 =cut
1709
1710 sub discount_term_values {
1711   my $self = shift;
1712   my $term = shift;
1713
1714   local($DEBUG) = $FS::cust_main::DEBUG if $FS::cust_main::DEBUG > $DEBUG;
1715
1716   warn "$me discount_term_values called with $term\n" if $DEBUG;
1717
1718   my %result = ();
1719
1720   my @packages = $self->_discount_pkgs_and_bill;
1721   my $cust_bill = shift(@packages);
1722   @packages = _discountable_pkgs_at_term( $term, @packages );
1723   return () unless scalar(@packages);
1724
1725   $_->bill($_->last_bill) foreach @packages;
1726   my @final = map { new FS::cust_pkg { $_->hash } } @packages;
1727
1728   my %options = (
1729                   'recurring_only' => 1,
1730                   'no_usage_reset' => 1,
1731                   'no_commit'      => 1,
1732                 );
1733
1734   my %params =  (
1735                   'return_bill'    => [],
1736                   'pkg_list'       => \@packages,
1737                   'time'           => $cust_bill->_date,
1738                 );
1739
1740   my $error = $self->bill(%options, %params);
1741   die $error if $error; # XXX think about this a bit more
1742
1743   my $credit = 0;
1744   $credit += $_->charged foreach @{$params{return_bill}};
1745   $credit = sprintf('%.2f', $credit);
1746   warn "$me discount_term_values $term credit: $credit\n" if $DEBUG;
1747
1748   %params =  (
1749                'return_bill'    => [],
1750                'pkg_list'       => \@packages,
1751                'time'           => $packages[0]->part_pkg->add_freq($cust_bill->_date)
1752              );
1753
1754   $error = $self->bill(%options, %params);
1755   die $error if $error; # XXX think about this a bit more
1756
1757   my $next = 0;
1758   $next += $_->charged foreach @{$params{return_bill}};
1759   warn "$me discount_term_values $term next: $next\n" if $DEBUG;
1760   
1761   %params =  ( 
1762                'return_bill'    => [],
1763                'pkg_list'       => \@final,
1764                'time'           => $cust_bill->_date,
1765                'freq_override'  => $term,
1766              );
1767
1768   $error = $self->bill(%options, %params);
1769   die $error if $error; # XXX think about this a bit more
1770
1771   my $final = $self->balance - $credit;
1772   $final += $_->charged foreach @{$params{return_bill}};
1773   $final = sprintf('%.2f', $final);
1774   warn "$me discount_term_values $term final: $final\n" if $DEBUG;
1775
1776   my $savings = sprintf('%.2f', $self->balance + ($term - 1) * $next - $final);
1777
1778   ( $credit, $savings, $final );
1779
1780 }
1781
1782 sub discount_terms_hash {
1783   my $self = shift;
1784
1785   my %result = ();
1786   my @terms = $self->discount_terms;
1787   foreach my $term (@terms) {
1788     my @result = $self->discount_term_values($term);
1789     $result{$term} = [ @result ] if scalar(@result);
1790   }
1791
1792   return %result;
1793
1794 }
1795
1796 =back
1797
1798 =cut
1799
1800 sub due_cust_event {
1801   my $self = shift;
1802   my %opt = ref($_[0]) ? %{ $_[0] } : @_;
1803
1804   #???
1805   #my $DEBUG = $opt{'debug'}
1806   local($DEBUG) = $opt{'debug'}
1807     if defined($opt{'debug'}) && $opt{'debug'} > $DEBUG;
1808   $DEBUG = $FS::cust_main::DEBUG if $FS::cust_main::DEBUG > $DEBUG;
1809
1810   warn "$me due_cust_event called with options ".
1811        join(', ', map { "$_: $opt{$_}" } keys %opt). "\n"
1812     if $DEBUG;
1813
1814   $opt{'time'} ||= time;
1815
1816   local $SIG{HUP} = 'IGNORE';
1817   local $SIG{INT} = 'IGNORE';
1818   local $SIG{QUIT} = 'IGNORE';
1819   local $SIG{TERM} = 'IGNORE';
1820   local $SIG{TSTP} = 'IGNORE';
1821   local $SIG{PIPE} = 'IGNORE';
1822
1823   my $oldAutoCommit = $FS::UID::AutoCommit;
1824   local $FS::UID::AutoCommit = 0;
1825   my $dbh = dbh;
1826
1827   $self->select_for_update #mutex
1828     unless $opt{testonly};
1829
1830   ###
1831   # find possible events (initial search)
1832   ###
1833   
1834   my @cust_event = ();
1835
1836   my @eventtable = $opt{'eventtable'}
1837                      ? ( $opt{'eventtable'} )
1838                      : FS::part_event->eventtables_runorder;
1839
1840   my $check_freq = $opt{'check_freq'} || '1d';
1841
1842   foreach my $eventtable ( @eventtable ) {
1843
1844     my @objects;
1845     if ( $opt{'objects'} ) {
1846
1847       @objects = @{ $opt{'objects'} };
1848
1849     } else {
1850
1851       #my @objects = $self->$eventtable(); # sub cust_main { @{ [ $self ] }; }
1852       if ( $eventtable eq 'cust_main' ) {
1853         @objects = ( $self );
1854       } else {
1855
1856         my $cm_join =
1857           "LEFT JOIN cust_main USING ( custnum )";
1858
1859         #some false laziness w/Cron::bill bill_where
1860
1861         my $join  = FS::part_event_condition->join_conditions_sql( $eventtable);
1862         my $where = FS::part_event_condition->where_conditions_sql($eventtable,
1863                                                            'time'=>$opt{'time'},
1864                                                                   );
1865         $where = $where ? "AND $where" : '';
1866
1867         my $are_part_event = 
1868           "EXISTS ( SELECT 1 FROM part_event $join
1869                       WHERE check_freq = '$check_freq'
1870                         AND eventtable = '$eventtable'
1871                         AND ( disabled = '' OR disabled IS NULL )
1872                         $where
1873                   )
1874           ";
1875         #eofalse
1876
1877         @objects = $self->$eventtable(
1878                      'addl_from' => $cm_join,
1879                      'extra_sql' => " AND $are_part_event",
1880                    );
1881       }
1882
1883     }
1884
1885     my @e_cust_event = ();
1886
1887     my $cross = "CROSS JOIN $eventtable";
1888     $cross .= ' LEFT JOIN cust_main USING ( custnum )'
1889       unless $eventtable eq 'cust_main';
1890
1891     foreach my $object ( @objects ) {
1892
1893       #this first search uses the condition_sql magic for optimization.
1894       #the more possible events we can eliminate in this step the better
1895
1896       my $cross_where = '';
1897       my $pkey = $object->primary_key;
1898       $cross_where = "$eventtable.$pkey = ". $object->$pkey();
1899
1900       my $join = FS::part_event_condition->join_conditions_sql( $eventtable );
1901       my $extra_sql =
1902         FS::part_event_condition->where_conditions_sql( $eventtable,
1903                                                         'time'=>$opt{'time'}
1904                                                       );
1905       my $order = FS::part_event_condition->order_conditions_sql( $eventtable );
1906
1907       $extra_sql = "AND $extra_sql" if $extra_sql;
1908
1909       #here is the agent virtualization
1910       $extra_sql .= " AND (    part_event.agentnum IS NULL
1911                             OR part_event.agentnum = ". $self->agentnum. ' )';
1912
1913       $extra_sql .= " $order";
1914
1915       warn "searching for events for $eventtable ". $object->$pkey. "\n"
1916         if $opt{'debug'} > 2;
1917       my @part_event = qsearch( {
1918         'debug'     => ( $opt{'debug'} > 3 ? 1 : 0 ),
1919         'select'    => 'part_event.*',
1920         'table'     => 'part_event',
1921         'addl_from' => "$cross $join",
1922         'hashref'   => { 'check_freq' => $check_freq,
1923                          'eventtable' => $eventtable,
1924                          'disabled'   => '',
1925                        },
1926         'extra_sql' => "AND $cross_where $extra_sql",
1927       } );
1928
1929       if ( $DEBUG > 2 ) {
1930         my $pkey = $object->primary_key;
1931         warn "      ". scalar(@part_event).
1932              " possible events found for $eventtable ". $object->$pkey(). "\n";
1933       }
1934
1935       push @e_cust_event, map { $_->new_cust_event($object) } @part_event;
1936
1937     }
1938
1939     warn "    ". scalar(@e_cust_event).
1940          " subtotal possible cust events found for $eventtable\n"
1941       if $DEBUG > 1;
1942
1943     push @cust_event, @e_cust_event;
1944
1945   }
1946
1947   warn "  ". scalar(@cust_event).
1948        " total possible cust events found in initial search\n"
1949     if $DEBUG; # > 1;
1950
1951
1952   ##
1953   # test stage
1954   ##
1955
1956   $opt{stage} ||= 'collect';
1957   @cust_event =
1958     grep { my $stage = $_->part_event->event_stage;
1959            $opt{stage} eq $stage or ( ! $stage && $opt{stage} eq 'collect' )
1960          }
1961          @cust_event;
1962
1963   ##
1964   # test conditions
1965   ##
1966   
1967   my %unsat = ();
1968
1969   @cust_event = grep $_->test_conditions( 'time'          => $opt{'time'},
1970                                           'stats_hashref' => \%unsat ),
1971                      @cust_event;
1972
1973   warn "  ". scalar(@cust_event). " cust events left satisfying conditions\n"
1974     if $DEBUG; # > 1;
1975
1976   warn "    invalid conditions not eliminated with condition_sql:\n".
1977        join('', map "      $_: ".$unsat{$_}."\n", keys %unsat )
1978     if keys %unsat && $DEBUG; # > 1;
1979
1980   ##
1981   # insert
1982   ##
1983
1984   unless( $opt{testonly} ) {
1985     foreach my $cust_event ( @cust_event ) {
1986
1987       my $error = $cust_event->insert();
1988       if ( $error ) {
1989         $dbh->rollback if $oldAutoCommit;
1990         return $error;
1991       }
1992                                        
1993     }
1994   }
1995
1996   $dbh->commit or die $dbh->errstr if $oldAutoCommit;
1997
1998   ##
1999   # return
2000   ##
2001
2002   warn "  returning events: ". Dumper(@cust_event). "\n"
2003     if $DEBUG > 2;
2004
2005   \@cust_event;
2006
2007 }
2008
2009 =item apply_payments_and_credits [ OPTION => VALUE ... ]
2010
2011 Applies unapplied payments and credits.
2012
2013 In most cases, this new method should be used in place of sequential
2014 apply_payments and apply_credits methods.
2015
2016 A hash of optional arguments may be passed.  Currently "manual" is supported.
2017 If true, a payment receipt is sent instead of a statement when
2018 'payment_receipt_email' configuration option is set.
2019
2020 If there is an error, returns the error, otherwise returns false.
2021
2022 =cut
2023
2024 sub apply_payments_and_credits {
2025   my( $self, %options ) = @_;
2026
2027   local $SIG{HUP} = 'IGNORE';
2028   local $SIG{INT} = 'IGNORE';
2029   local $SIG{QUIT} = 'IGNORE';
2030   local $SIG{TERM} = 'IGNORE';
2031   local $SIG{TSTP} = 'IGNORE';
2032   local $SIG{PIPE} = 'IGNORE';
2033
2034   my $oldAutoCommit = $FS::UID::AutoCommit;
2035   local $FS::UID::AutoCommit = 0;
2036   my $dbh = dbh;
2037
2038   $self->select_for_update; #mutex
2039
2040   foreach my $cust_bill ( $self->open_cust_bill ) {
2041     my $error = $cust_bill->apply_payments_and_credits(%options);
2042     if ( $error ) {
2043       $dbh->rollback if $oldAutoCommit;
2044       return "Error applying: $error";
2045     }
2046   }
2047
2048   $dbh->commit or die $dbh->errstr if $oldAutoCommit;
2049   ''; #no error
2050
2051 }
2052
2053 =item apply_credits OPTION => VALUE ...
2054
2055 Applies (see L<FS::cust_credit_bill>) unapplied credits (see L<FS::cust_credit>)
2056 to outstanding invoice balances in chronological order (or reverse
2057 chronological order if the I<order> option is set to B<newest>) and returns the
2058 value of any remaining unapplied credits available for refund (see
2059 L<FS::cust_refund>).
2060
2061 Dies if there is an error.
2062
2063 =cut
2064
2065 sub apply_credits {
2066   my $self = shift;
2067   my %opt = @_;
2068
2069   local $SIG{HUP} = 'IGNORE';
2070   local $SIG{INT} = 'IGNORE';
2071   local $SIG{QUIT} = 'IGNORE';
2072   local $SIG{TERM} = 'IGNORE';
2073   local $SIG{TSTP} = 'IGNORE';
2074   local $SIG{PIPE} = 'IGNORE';
2075
2076   my $oldAutoCommit = $FS::UID::AutoCommit;
2077   local $FS::UID::AutoCommit = 0;
2078   my $dbh = dbh;
2079
2080   $self->select_for_update; #mutex
2081
2082   unless ( $self->total_unapplied_credits ) {
2083     $dbh->commit or die $dbh->errstr if $oldAutoCommit;
2084     return 0;
2085   }
2086
2087   my @credits = sort { $b->_date <=> $a->_date} (grep { $_->credited > 0 }
2088       qsearch('cust_credit', { 'custnum' => $self->custnum } ) );
2089
2090   my @invoices = $self->open_cust_bill;
2091   @invoices = sort { $b->_date <=> $a->_date } @invoices
2092     if defined($opt{'order'}) && $opt{'order'} eq 'newest';
2093
2094   if ( $conf->exists('pkg-balances') ) {
2095     # limit @credits to those w/ a pkgnum grepped from $self
2096     my %pkgnums = ();
2097     foreach my $i (@invoices) {
2098       foreach my $li ( $i->cust_bill_pkg ) {
2099         $pkgnums{$li->pkgnum} = 1;
2100       }
2101     }
2102     @credits = grep { ! $_->pkgnum || $pkgnums{$_->pkgnum} } @credits;
2103   }
2104
2105   my $credit;
2106
2107   foreach my $cust_bill ( @invoices ) {
2108
2109     if ( !defined($credit) || $credit->credited == 0) {
2110       $credit = pop @credits or last;
2111     }
2112
2113     my $owed;
2114     if ( $conf->exists('pkg-balances') && $credit->pkgnum ) {
2115       $owed = $cust_bill->owed_pkgnum($credit->pkgnum);
2116     } else {
2117       $owed = $cust_bill->owed;
2118     }
2119     unless ( $owed > 0 ) {
2120       push @credits, $credit;
2121       next;
2122     }
2123
2124     my $amount = min( $credit->credited, $owed );
2125     
2126     my $cust_credit_bill = new FS::cust_credit_bill ( {
2127       'crednum' => $credit->crednum,
2128       'invnum'  => $cust_bill->invnum,
2129       'amount'  => $amount,
2130     } );
2131     $cust_credit_bill->pkgnum( $credit->pkgnum )
2132       if $conf->exists('pkg-balances') && $credit->pkgnum;
2133     my $error = $cust_credit_bill->insert;
2134     if ( $error ) {
2135       $dbh->rollback or die $dbh->errstr if $oldAutoCommit;
2136       die $error;
2137     }
2138     
2139     redo if ($cust_bill->owed > 0) && ! $conf->exists('pkg-balances');
2140
2141   }
2142
2143   my $total_unapplied_credits = $self->total_unapplied_credits;
2144
2145   $dbh->commit or die $dbh->errstr if $oldAutoCommit;
2146
2147   return $total_unapplied_credits;
2148 }
2149
2150 =item apply_payments  [ OPTION => VALUE ... ]
2151
2152 Applies (see L<FS::cust_bill_pay>) unapplied payments (see L<FS::cust_pay>)
2153 to outstanding invoice balances in chronological order.
2154
2155  #and returns the value of any remaining unapplied payments.
2156
2157 A hash of optional arguments may be passed.  Currently "manual" is supported.
2158 If true, a payment receipt is sent instead of a statement when
2159 'payment_receipt_email' configuration option is set.
2160
2161 Dies if there is an error.
2162
2163 =cut
2164
2165 sub apply_payments {
2166   my( $self, %options ) = @_;
2167
2168   local $SIG{HUP} = 'IGNORE';
2169   local $SIG{INT} = 'IGNORE';
2170   local $SIG{QUIT} = 'IGNORE';
2171   local $SIG{TERM} = 'IGNORE';
2172   local $SIG{TSTP} = 'IGNORE';
2173   local $SIG{PIPE} = 'IGNORE';
2174
2175   my $oldAutoCommit = $FS::UID::AutoCommit;
2176   local $FS::UID::AutoCommit = 0;
2177   my $dbh = dbh;
2178
2179   $self->select_for_update; #mutex
2180
2181   #return 0 unless
2182
2183   my @payments = sort { $b->_date <=> $a->_date }
2184                  grep { $_->unapplied > 0 }
2185                  $self->cust_pay;
2186
2187   my @invoices = sort { $a->_date <=> $b->_date}
2188                  grep { $_->owed > 0 }
2189                  $self->cust_bill;
2190
2191   if ( $conf->exists('pkg-balances') ) {
2192     # limit @payments to those w/ a pkgnum grepped from $self
2193     my %pkgnums = ();
2194     foreach my $i (@invoices) {
2195       foreach my $li ( $i->cust_bill_pkg ) {
2196         $pkgnums{$li->pkgnum} = 1;
2197       }
2198     }
2199     @payments = grep { ! $_->pkgnum || $pkgnums{$_->pkgnum} } @payments;
2200   }
2201
2202   my $payment;
2203
2204   foreach my $cust_bill ( @invoices ) {
2205
2206     if ( !defined($payment) || $payment->unapplied == 0 ) {
2207       $payment = pop @payments or last;
2208     }
2209
2210     my $owed;
2211     if ( $conf->exists('pkg-balances') && $payment->pkgnum ) {
2212       $owed = $cust_bill->owed_pkgnum($payment->pkgnum);
2213     } else {
2214       $owed = $cust_bill->owed;
2215     }
2216     unless ( $owed > 0 ) {
2217       push @payments, $payment;
2218       next;
2219     }
2220
2221     my $amount = min( $payment->unapplied, $owed );
2222
2223     my $cust_bill_pay = new FS::cust_bill_pay ( {
2224       'paynum' => $payment->paynum,
2225       'invnum' => $cust_bill->invnum,
2226       'amount' => $amount,
2227     } );
2228     $cust_bill_pay->pkgnum( $payment->pkgnum )
2229       if $conf->exists('pkg-balances') && $payment->pkgnum;
2230     my $error = $cust_bill_pay->insert(%options);
2231     if ( $error ) {
2232       $dbh->rollback or die $dbh->errstr if $oldAutoCommit;
2233       die $error;
2234     }
2235
2236     redo if ( $cust_bill->owed > 0) && ! $conf->exists('pkg-balances');
2237
2238   }
2239
2240   my $total_unapplied_payments = $self->total_unapplied_payments;
2241
2242   $dbh->commit or die $dbh->errstr if $oldAutoCommit;
2243
2244   return $total_unapplied_payments;
2245 }
2246
2247 =head1 BUGS
2248
2249 =head1 SEE ALSO
2250
2251 L<FS::cust_main>, L<FS::cust_main::Billing_Realtime>
2252
2253 =cut
2254
2255 1;