employee commission reporting, RT#6991
[freeside.git] / FS / FS / cust_main.pm
1 package FS::cust_main;
2
3 require 5.006;
4 use strict;
5 use vars qw( @ISA @EXPORT_OK $DEBUG $me $conf
6              @encrypted_fields
7              $import $ignore_expired_card
8              $skip_fuzzyfiles @fuzzyfields
9              @paytypes
10            );
11 use vars qw( $realtime_bop_decline_quiet ); #ugh
12 use Safe;
13 use Carp;
14 use Exporter;
15 use Scalar::Util qw( blessed );
16 use List::Util qw( min );
17 use Time::Local qw(timelocal);
18 use Data::Dumper;
19 use Tie::IxHash;
20 use Digest::MD5 qw(md5_base64);
21 use Date::Format;
22 #use Date::Manip;
23 use File::Temp qw( tempfile );
24 use String::Approx qw(amatch);
25 use Business::CreditCard 0.28;
26 use Locale::Country;
27 use FS::UID qw( getotaker dbh driver_name );
28 use FS::Record qw( qsearchs qsearch dbdef );
29 use FS::Misc qw( generate_email send_email generate_ps do_print );
30 use FS::Msgcat qw(gettext);
31 use FS::payby;
32 use FS::cust_pkg;
33 use FS::cust_svc;
34 use FS::cust_bill;
35 use FS::cust_bill_pkg;
36 use FS::cust_bill_pkg_display;
37 use FS::cust_bill_pkg_tax_location;
38 use FS::cust_bill_pkg_tax_rate_location;
39 use FS::cust_pay;
40 use FS::cust_pay_pending;
41 use FS::cust_pay_void;
42 use FS::cust_pay_batch;
43 use FS::cust_credit;
44 use FS::cust_refund;
45 use FS::part_referral;
46 use FS::cust_main_county;
47 use FS::cust_location;
48 use FS::cust_main_exemption;
49 use FS::cust_tax_adjustment;
50 use FS::tax_rate;
51 use FS::tax_rate_location;
52 use FS::cust_tax_location;
53 use FS::part_pkg_taxrate;
54 use FS::agent;
55 use FS::cust_main_invoice;
56 use FS::cust_credit_bill;
57 use FS::cust_bill_pay;
58 use FS::prepay_credit;
59 use FS::queue;
60 use FS::part_pkg;
61 use FS::part_event;
62 use FS::part_event_condition;
63 #use FS::cust_event;
64 use FS::type_pkgs;
65 use FS::payment_gateway;
66 use FS::agent_payment_gateway;
67 use FS::banned_pay;
68 use FS::payinfo_Mixin;
69 use FS::TicketSystem;
70
71 @ISA = qw( FS::payinfo_Mixin FS::Record );
72
73 @EXPORT_OK = qw( smart_search );
74
75 $realtime_bop_decline_quiet = 0;
76
77 # 1 is mostly method/subroutine entry and options
78 # 2 traces progress of some operations
79 # 3 is even more information including possibly sensitive data
80 $DEBUG = 0;
81 $me = '[FS::cust_main]';
82
83 $import = 0;
84 $ignore_expired_card = 0;
85
86 $skip_fuzzyfiles = 0;
87 @fuzzyfields = ( 'first', 'last', 'company', 'address1' );
88
89 @encrypted_fields = ('payinfo', 'paycvv');
90 sub nohistory_fields { ('paycvv'); }
91
92 @paytypes = ('', 'Personal checking', 'Personal savings', 'Business checking', 'Business savings');
93
94 #ask FS::UID to run this stuff for us later
95 #$FS::UID::callback{'FS::cust_main'} = sub { 
96 install_callback FS::UID sub { 
97   $conf = new FS::Conf;
98   #yes, need it for stuff below (prolly should be cached)
99 };
100
101 sub _cache {
102   my $self = shift;
103   my ( $hashref, $cache ) = @_;
104   if ( exists $hashref->{'pkgnum'} ) {
105     #@{ $self->{'_pkgnum'} } = ();
106     my $subcache = $cache->subcache( 'pkgnum', 'cust_pkg', $hashref->{custnum});
107     $self->{'_pkgnum'} = $subcache;
108     #push @{ $self->{'_pkgnum'} },
109     FS::cust_pkg->new_or_cached($hashref, $subcache) if $hashref->{pkgnum};
110   }
111 }
112
113 =head1 NAME
114
115 FS::cust_main - Object methods for cust_main records
116
117 =head1 SYNOPSIS
118
119   use FS::cust_main;
120
121   $record = new FS::cust_main \%hash;
122   $record = new FS::cust_main { 'column' => 'value' };
123
124   $error = $record->insert;
125
126   $error = $new_record->replace($old_record);
127
128   $error = $record->delete;
129
130   $error = $record->check;
131
132   @cust_pkg = $record->all_pkgs;
133
134   @cust_pkg = $record->ncancelled_pkgs;
135
136   @cust_pkg = $record->suspended_pkgs;
137
138   $error = $record->bill;
139   $error = $record->bill %options;
140   $error = $record->bill 'time' => $time;
141
142   $error = $record->collect;
143   $error = $record->collect %options;
144   $error = $record->collect 'invoice_time'   => $time,
145                           ;
146
147 =head1 DESCRIPTION
148
149 An FS::cust_main object represents a customer.  FS::cust_main inherits from 
150 FS::Record.  The following fields are currently supported:
151
152 =over 4
153
154 =item custnum
155
156 Primary key (assigned automatically for new customers)
157
158 =item agentnum
159
160 Agent (see L<FS::agent>)
161
162 =item refnum
163
164 Advertising source (see L<FS::part_referral>)
165
166 =item first
167
168 First name
169
170 =item last
171
172 Last name
173
174 =item ss
175
176 Cocial security number (optional)
177
178 =item company
179
180 (optional)
181
182 =item address1
183
184 =item address2
185
186 (optional)
187
188 =item city
189
190 =item county
191
192 (optional, see L<FS::cust_main_county>)
193
194 =item state
195
196 (see L<FS::cust_main_county>)
197
198 =item zip
199
200 =item country
201
202 (see L<FS::cust_main_county>)
203
204 =item daytime
205
206 phone (optional)
207
208 =item night
209
210 phone (optional)
211
212 =item fax
213
214 phone (optional)
215
216 =item ship_first
217
218 Shipping first name
219
220 =item ship_last
221
222 Shipping last name
223
224 =item ship_company
225
226 (optional)
227
228 =item ship_address1
229
230 =item ship_address2
231
232 (optional)
233
234 =item ship_city
235
236 =item ship_county
237
238 (optional, see L<FS::cust_main_county>)
239
240 =item ship_state
241
242 (see L<FS::cust_main_county>)
243
244 =item ship_zip
245
246 =item ship_country
247
248 (see L<FS::cust_main_county>)
249
250 =item ship_daytime
251
252 phone (optional)
253
254 =item ship_night
255
256 phone (optional)
257
258 =item ship_fax
259
260 phone (optional)
261
262 =item payby
263
264 Payment Type (See L<FS::payinfo_Mixin> for valid payby values)
265
266 =item payinfo
267
268 Payment Information (See L<FS::payinfo_Mixin> for data format)
269
270 =item paymask
271
272 Masked payinfo (See L<FS::payinfo_Mixin> for how this works)
273
274 =item paycvv
275
276 Card Verification Value, "CVV2" (also known as CVC2 or CID), the 3 or 4 digit number on the back (or front, for American Express) of the credit card
277
278 =item paydate
279
280 Expiration date, mm/yyyy, m/yyyy, mm/yy or m/yy
281
282 =item paystart_month
283
284 Start date month (maestro/solo cards only)
285
286 =item paystart_year
287
288 Start date year (maestro/solo cards only)
289
290 =item payissue
291
292 Issue number (maestro/solo cards only)
293
294 =item payname
295
296 Name on card or billing name
297
298 =item payip
299
300 IP address from which payment information was received
301
302 =item tax
303
304 Tax exempt, empty or `Y'
305
306 =item otaker
307
308 Order taker (assigned automatically, see L<FS::UID>)
309
310 =item comments
311
312 Comments (optional)
313
314 =item referral_custnum
315
316 Referring customer number
317
318 =item spool_cdr
319
320 Enable individual CDR spooling, empty or `Y'
321
322 =item dundate
323
324 A suggestion to events (see L<FS::part_bill_event">) to delay until this unix timestamp
325
326 =item squelch_cdr
327
328 Discourage individual CDR printing, empty or `Y'
329
330 =back
331
332 =head1 METHODS
333
334 =over 4
335
336 =item new HASHREF
337
338 Creates a new customer.  To add the customer to the database, see L<"insert">.
339
340 Note that this stores the hash reference, not a distinct copy of the hash it
341 points to.  You can ask the object for a copy with the I<hash> method.
342
343 =cut
344
345 sub table { 'cust_main'; }
346
347 =item insert [ CUST_PKG_HASHREF [ , INVOICING_LIST_ARYREF ] [ , OPTION => VALUE ... ] ]
348
349 Adds this customer to the database.  If there is an error, returns the error,
350 otherwise returns false.
351
352 CUST_PKG_HASHREF: If you pass a Tie::RefHash data structure to the insert
353 method containing FS::cust_pkg and FS::svc_I<tablename> objects, all records
354 are inserted atomicly, or the transaction is rolled back.  Passing an empty
355 hash reference is equivalent to not supplying this parameter.  There should be
356 a better explanation of this, but until then, here's an example:
357
358   use Tie::RefHash;
359   tie %hash, 'Tie::RefHash'; #this part is important
360   %hash = (
361     $cust_pkg => [ $svc_acct ],
362     ...
363   );
364   $cust_main->insert( \%hash );
365
366 INVOICING_LIST_ARYREF: If you pass an arrarref to the insert method, it will
367 be set as the invoicing list (see L<"invoicing_list">).  Errors return as
368 expected and rollback the entire transaction; it is not necessary to call 
369 check_invoicing_list first.  The invoicing_list is set after the records in the
370 CUST_PKG_HASHREF above are inserted, so it is now possible to set an
371 invoicing_list destination to the newly-created svc_acct.  Here's an example:
372
373   $cust_main->insert( {}, [ $email, 'POST' ] );
374
375 Currently available options are: I<depend_jobnum>, I<noexport> and I<tax_exemption>.
376
377 If I<depend_jobnum> is set, all provisioning jobs will have a dependancy
378 on the supplied jobnum (they will not run until the specific job completes).
379 This can be used to defer provisioning until some action completes (such
380 as running the customer's credit card successfully).
381
382 The I<noexport> option is deprecated.  If I<noexport> is set true, no
383 provisioning jobs (exports) are scheduled.  (You can schedule them later with
384 the B<reexport> method.)
385
386 The I<tax_exemption> option can be set to an arrayref of tax names.
387 FS::cust_main_exemption records will be created and inserted.
388
389 =cut
390
391 sub insert {
392   my $self = shift;
393   my $cust_pkgs = @_ ? shift : {};
394   my $invoicing_list = @_ ? shift : '';
395   my %options = @_;
396   warn "$me insert called with options ".
397        join(', ', map { "$_: $options{$_}" } keys %options ). "\n"
398     if $DEBUG;
399
400   local $SIG{HUP} = 'IGNORE';
401   local $SIG{INT} = 'IGNORE';
402   local $SIG{QUIT} = 'IGNORE';
403   local $SIG{TERM} = 'IGNORE';
404   local $SIG{TSTP} = 'IGNORE';
405   local $SIG{PIPE} = 'IGNORE';
406
407   my $oldAutoCommit = $FS::UID::AutoCommit;
408   local $FS::UID::AutoCommit = 0;
409   my $dbh = dbh;
410
411   my $prepay_identifier = '';
412   my( $amount, $seconds, $upbytes, $downbytes, $totalbytes ) = (0, 0, 0, 0, 0);
413   my $payby = '';
414   if ( $self->payby eq 'PREPAY' ) {
415
416     $self->payby('BILL');
417     $prepay_identifier = $self->payinfo;
418     $self->payinfo('');
419
420     warn "  looking up prepaid card $prepay_identifier\n"
421       if $DEBUG > 1;
422
423     my $error = $self->get_prepay( $prepay_identifier,
424                                    'amount_ref'     => \$amount,
425                                    'seconds_ref'    => \$seconds,
426                                    'upbytes_ref'    => \$upbytes,
427                                    'downbytes_ref'  => \$downbytes,
428                                    'totalbytes_ref' => \$totalbytes,
429                                  );
430     if ( $error ) {
431       $dbh->rollback if $oldAutoCommit;
432       #return "error applying prepaid card (transaction rolled back): $error";
433       return $error;
434     }
435
436     $payby = 'PREP' if $amount;
437
438   } elsif ( $self->payby =~ /^(CASH|WEST|MCRD)$/ ) {
439
440     $payby = $1;
441     $self->payby('BILL');
442     $amount = $self->paid;
443
444   }
445
446   warn "  inserting $self\n"
447     if $DEBUG > 1;
448
449   $self->signupdate(time) unless $self->signupdate;
450
451   $self->auto_agent_custid()
452     if $conf->config('cust_main-auto_agent_custid') && ! $self->agent_custid;
453
454   my $error = $self->SUPER::insert;
455   if ( $error ) {
456     $dbh->rollback if $oldAutoCommit;
457     #return "inserting cust_main record (transaction rolled back): $error";
458     return $error;
459   }
460
461   warn "  setting invoicing list\n"
462     if $DEBUG > 1;
463
464   if ( $invoicing_list ) {
465     $error = $self->check_invoicing_list( $invoicing_list );
466     if ( $error ) {
467       $dbh->rollback if $oldAutoCommit;
468       #return "checking invoicing_list (transaction rolled back): $error";
469       return $error;
470     }
471     $self->invoicing_list( $invoicing_list );
472   }
473
474   warn "  setting cust_main_exemption\n"
475     if $DEBUG > 1;
476
477   my $tax_exemption = delete $options{'tax_exemption'};
478   if ( $tax_exemption ) {
479     foreach my $taxname ( @$tax_exemption ) {
480       my $cust_main_exemption = new FS::cust_main_exemption {
481         'custnum' => $self->custnum,
482         'taxname' => $taxname,
483       };
484       my $error = $cust_main_exemption->insert;
485       if ( $error ) {
486         $dbh->rollback if $oldAutoCommit;
487         return "inserting cust_main_exemption (transaction rolled back): $error";
488       }
489     }
490   }
491
492   if (    $conf->config('cust_main-skeleton_tables')
493        && $conf->config('cust_main-skeleton_custnum') ) {
494
495     warn "  inserting skeleton records\n"
496       if $DEBUG > 1;
497
498     my $error = $self->start_copy_skel;
499     if ( $error ) {
500       $dbh->rollback if $oldAutoCommit;
501       return $error;
502     }
503
504   }
505
506   warn "  ordering packages\n"
507     if $DEBUG > 1;
508
509   $error = $self->order_pkgs( $cust_pkgs,
510                               %options,
511                               'seconds_ref'    => \$seconds,
512                               'upbytes_ref'    => \$upbytes,
513                               'downbytes_ref'  => \$downbytes,
514                               'totalbytes_ref' => \$totalbytes,
515                             );
516   if ( $error ) {
517     $dbh->rollback if $oldAutoCommit;
518     return $error;
519   }
520
521   if ( $seconds ) {
522     $dbh->rollback if $oldAutoCommit;
523     return "No svc_acct record to apply pre-paid time";
524   }
525   if ( $upbytes || $downbytes || $totalbytes ) {
526     $dbh->rollback if $oldAutoCommit;
527     return "No svc_acct record to apply pre-paid data";
528   }
529
530   if ( $amount ) {
531     warn "  inserting initial $payby payment of $amount\n"
532       if $DEBUG > 1;
533     $error = $self->insert_cust_pay($payby, $amount, $prepay_identifier);
534     if ( $error ) {
535       $dbh->rollback if $oldAutoCommit;
536       return "inserting payment (transaction rolled back): $error";
537     }
538   }
539
540   unless ( $import || $skip_fuzzyfiles ) {
541     warn "  queueing fuzzyfiles update\n"
542       if $DEBUG > 1;
543     $error = $self->queue_fuzzyfiles_update;
544     if ( $error ) {
545       $dbh->rollback if $oldAutoCommit;
546       return "updating fuzzy search cache: $error";
547     }
548   }
549
550   warn "  insert complete; committing transaction\n"
551     if $DEBUG > 1;
552
553   $dbh->commit or die $dbh->errstr if $oldAutoCommit;
554   '';
555
556 }
557
558 use File::CounterFile;
559 sub auto_agent_custid {
560   my $self = shift;
561
562   my $format = $conf->config('cust_main-auto_agent_custid');
563   my $agent_custid;
564   if ( $format eq '1YMMXXXXXXXX' ) {
565
566     my $counter = new File::CounterFile 'cust_main.agent_custid';
567     $counter->lock;
568
569     my $ym = 100000000000 + time2str('%y%m00000000', time);
570     if ( $ym > $counter->value ) {
571       $counter->{'value'} = $agent_custid = $ym;
572       $counter->{'updated'} = 1;
573     } else {
574       $agent_custid = $counter->inc;
575     }
576
577     $counter->unlock;
578
579   } else {
580     die "Unknown cust_main-auto_agent_custid format: $format";
581   }
582
583   $self->agent_custid($agent_custid);
584
585 }
586
587 sub start_copy_skel {
588   my $self = shift;
589
590   #'mg_user_preference' => {},
591   #'mg_user_indicator_profile.user_indicator_profile_id' => { 'mg_profile_indicator.profile_indicator_id' => { 'mg_profile_details.profile_detail_id' }, },
592   #'mg_watchlist_header.watchlist_header_id' => { 'mg_watchlist_details.watchlist_details_id' },
593   #'mg_user_grid_header.grid_header_id' => { 'mg_user_grid_details.user_grid_details_id' },
594   #'mg_portfolio_header.portfolio_header_id' => { 'mg_portfolio_trades.portfolio_trades_id' => { 'mg_portfolio_trades_positions.portfolio_trades_positions_id' } },
595   my @tables = eval(join('\n',$conf->config('cust_main-skeleton_tables')));
596   die $@ if $@;
597
598   _copy_skel( 'cust_main',                                 #tablename
599               $conf->config('cust_main-skeleton_custnum'), #sourceid
600               $self->custnum,                              #destid
601               @tables,                                     #child tables
602             );
603 }
604
605 #recursive subroutine, not a method
606 sub _copy_skel {
607   my( $table, $sourceid, $destid, %child_tables ) = @_;
608
609   my $primary_key;
610   if ( $table =~ /^(\w+)\.(\w+)$/ ) {
611     ( $table, $primary_key ) = ( $1, $2 );
612   } else {
613     my $dbdef_table = dbdef->table($table);
614     $primary_key = $dbdef_table->primary_key
615       or return "$table has no primary key".
616                 " (or do you need to run dbdef-create?)";
617   }
618
619   warn "  _copy_skel: $table.$primary_key $sourceid to $destid for ".
620        join (', ', keys %child_tables). "\n"
621     if $DEBUG > 2;
622
623   foreach my $child_table_def ( keys %child_tables ) {
624
625     my $child_table;
626     my $child_pkey = '';
627     if ( $child_table_def =~ /^(\w+)\.(\w+)$/ ) {
628       ( $child_table, $child_pkey ) = ( $1, $2 );
629     } else {
630       $child_table = $child_table_def;
631
632       $child_pkey = dbdef->table($child_table)->primary_key;
633       #  or return "$table has no primary key".
634       #            " (or do you need to run dbdef-create?)\n";
635     }
636
637     my $sequence = '';
638     if ( keys %{ $child_tables{$child_table_def} } ) {
639
640       return "$child_table has no primary key".
641              " (run dbdef-create or try specifying it?)\n"
642         unless $child_pkey;
643
644       #false laziness w/Record::insert and only works on Pg
645       #refactor the proper last-inserted-id stuff out of Record::insert if this
646       # ever gets use for anything besides a quick kludge for one customer
647       my $default = dbdef->table($child_table)->column($child_pkey)->default;
648       $default =~ /^nextval\(\(?'"?([\w\.]+)"?'/i
649         or return "can't parse $child_table.$child_pkey default value ".
650                   " for sequence name: $default";
651       $sequence = $1;
652
653     }
654   
655     my @sel_columns = grep { $_ ne $primary_key }
656                            dbdef->table($child_table)->columns;
657     my $sel_columns = join(', ', @sel_columns );
658
659     my @ins_columns = grep { $_ ne $child_pkey } @sel_columns;
660     my $ins_columns = ' ( '. join(', ', $primary_key, @ins_columns ). ' ) ';
661     my $placeholders = ' ( ?, '. join(', ', map '?', @ins_columns ). ' ) ';
662
663     my $sel_st = "SELECT $sel_columns FROM $child_table".
664                  " WHERE $primary_key = $sourceid";
665     warn "    $sel_st\n"
666       if $DEBUG > 2;
667     my $sel_sth = dbh->prepare( $sel_st )
668       or return dbh->errstr;
669   
670     $sel_sth->execute or return $sel_sth->errstr;
671
672     while ( my $row = $sel_sth->fetchrow_hashref ) {
673
674       warn "    selected row: ".
675            join(', ', map { "$_=".$row->{$_} } keys %$row ). "\n"
676         if $DEBUG > 2;
677
678       my $statement =
679         "INSERT INTO $child_table $ins_columns VALUES $placeholders";
680       my $ins_sth =dbh->prepare($statement)
681           or return dbh->errstr;
682       my @param = ( $destid, map $row->{$_}, @ins_columns );
683       warn "    $statement: [ ". join(', ', @param). " ]\n"
684         if $DEBUG > 2;
685       $ins_sth->execute( @param )
686         or return $ins_sth->errstr;
687
688       #next unless keys %{ $child_tables{$child_table} };
689       next unless $sequence;
690       
691       #another section of that laziness
692       my $seq_sql = "SELECT currval('$sequence')";
693       my $seq_sth = dbh->prepare($seq_sql) or return dbh->errstr;
694       $seq_sth->execute or return $seq_sth->errstr;
695       my $insertid = $seq_sth->fetchrow_arrayref->[0];
696   
697       # don't drink soap!  recurse!  recurse!  okay!
698       my $error =
699         _copy_skel( $child_table_def,
700                     $row->{$child_pkey}, #sourceid
701                     $insertid, #destid
702                     %{ $child_tables{$child_table_def} },
703                   );
704       return $error if $error;
705
706     }
707
708   }
709
710   return '';
711
712 }
713
714 =item order_pkg HASHREF | OPTION => VALUE ... 
715
716 Orders a single package.
717
718 Options may be passed as a list of key/value pairs or as a hash reference.
719 Options are:
720
721 =over 4
722
723 =item cust_pkg
724
725 FS::cust_pkg object
726
727 =item cust_location
728
729 Optional FS::cust_location object
730
731 =item svcs
732
733 Optional arryaref of FS::svc_* service objects.
734
735 =item depend_jobnum
736
737 If this option is set to a job queue jobnum (see L<FS::queue>), all provisioning
738 jobs will have a dependancy on the supplied job (they will not run until the
739 specific job completes).  This can be used to defer provisioning until some
740 action completes (such as running the customer's credit card successfully).
741
742 =item ticket_subject
743
744 Optional subject for a ticket created and attached to this customer
745
746 =item ticket_subject
747
748 Optional queue name for ticket additions
749
750 =back
751
752 =cut
753
754 sub order_pkg {
755   my $self = shift;
756   my $opt = ref($_[0]) ? shift : { @_ };
757
758   warn "$me order_pkg called with options ".
759        join(', ', map { "$_: $opt->{$_}" } keys %$opt ). "\n"
760     if $DEBUG;
761
762   my $cust_pkg = $opt->{'cust_pkg'};
763   my $svcs     = $opt->{'svcs'} || [];
764
765   my %svc_options = ();
766   $svc_options{'depend_jobnum'} = $opt->{'depend_jobnum'}
767     if exists($opt->{'depend_jobnum'}) && $opt->{'depend_jobnum'};
768
769   my %insert_params = map { $opt->{$_} ? ( $_ => $opt->{$_} ) : () }
770                           qw( ticket_subject ticket_queue );
771
772   local $SIG{HUP} = 'IGNORE';
773   local $SIG{INT} = 'IGNORE';
774   local $SIG{QUIT} = 'IGNORE';
775   local $SIG{TERM} = 'IGNORE';
776   local $SIG{TSTP} = 'IGNORE';
777   local $SIG{PIPE} = 'IGNORE';
778
779   my $oldAutoCommit = $FS::UID::AutoCommit;
780   local $FS::UID::AutoCommit = 0;
781   my $dbh = dbh;
782
783   if ( $opt->{'cust_location'} &&
784        ( ! $cust_pkg->locationnum || $cust_pkg->locationnum == -1 ) ) {
785     my $error = $opt->{'cust_location'}->insert;
786     if ( $error ) {
787       $dbh->rollback if $oldAutoCommit;
788       return "inserting cust_location (transaction rolled back): $error";
789     }
790     $cust_pkg->locationnum($opt->{'cust_location'}->locationnum);
791   }
792
793   $cust_pkg->custnum( $self->custnum );
794
795   my $error = $cust_pkg->insert( %insert_params );
796   if ( $error ) {
797     $dbh->rollback if $oldAutoCommit;
798     return "inserting cust_pkg (transaction rolled back): $error";
799   }
800
801   foreach my $svc_something ( @{ $opt->{'svcs'} } ) {
802     if ( $svc_something->svcnum ) {
803       my $old_cust_svc = $svc_something->cust_svc;
804       my $new_cust_svc = new FS::cust_svc { $old_cust_svc->hash };
805       $new_cust_svc->pkgnum( $cust_pkg->pkgnum);
806       $error = $new_cust_svc->replace($old_cust_svc);
807     } else {
808       $svc_something->pkgnum( $cust_pkg->pkgnum );
809       if ( $svc_something->isa('FS::svc_acct') ) {
810         foreach ( grep { $opt->{$_.'_ref'} && ${ $opt->{$_.'_ref'} } }
811                        qw( seconds upbytes downbytes totalbytes )      ) {
812           $svc_something->$_( $svc_something->$_() + ${ $opt->{$_.'_ref'} } );
813           ${ $opt->{$_.'_ref'} } = 0;
814         }
815       }
816       $error = $svc_something->insert(%svc_options);
817     }
818     if ( $error ) {
819       $dbh->rollback if $oldAutoCommit;
820       return "inserting svc_ (transaction rolled back): $error";
821     }
822   }
823
824   $dbh->commit or die $dbh->errstr if $oldAutoCommit;
825   ''; #no error
826
827 }
828
829 #deprecated #=item order_pkgs HASHREF [ , SECONDSREF ] [ , OPTION => VALUE ... ]
830 =item order_pkgs HASHREF [ , OPTION => VALUE ... ]
831
832 Like the insert method on an existing record, this method orders multiple
833 packages and included services atomicaly.  Pass a Tie::RefHash data structure
834 to this method containing FS::cust_pkg and FS::svc_I<tablename> objects.
835 There should be a better explanation of this, but until then, here's an
836 example:
837
838   use Tie::RefHash;
839   tie %hash, 'Tie::RefHash'; #this part is important
840   %hash = (
841     $cust_pkg => [ $svc_acct ],
842     ...
843   );
844   $cust_main->order_pkgs( \%hash, 'noexport'=>1 );
845
846 Services can be new, in which case they are inserted, or existing unaudited
847 services, in which case they are linked to the newly-created package.
848
849 Currently available options are: I<depend_jobnum>, I<noexport>, I<seconds_ref>,
850 I<upbytes_ref>, I<downbytes_ref>, and I<totalbytes_ref>.
851
852 If I<depend_jobnum> is set, all provisioning jobs will have a dependancy
853 on the supplied jobnum (they will not run until the specific job completes).
854 This can be used to defer provisioning until some action completes (such
855 as running the customer's credit card successfully).
856
857 The I<noexport> option is deprecated.  If I<noexport> is set true, no
858 provisioning jobs (exports) are scheduled.  (You can schedule them later with
859 the B<reexport> method for each cust_pkg object.  Using the B<reexport> method
860 on the cust_main object is not recommended, as existing services will also be
861 reexported.)
862
863 If I<seconds_ref>, I<upbytes_ref>, I<downbytes_ref>, or I<totalbytes_ref> is
864 provided, the scalars (provided by references) will be incremented by the
865 values of the prepaid card.`
866
867 =cut
868
869 sub order_pkgs {
870   my $self = shift;
871   my $cust_pkgs = shift;
872   my $seconds_ref = ref($_[0]) ? shift : ''; #deprecated
873   my %options = @_;
874   $seconds_ref ||= $options{'seconds_ref'};
875
876   warn "$me order_pkgs called with options ".
877        join(', ', map { "$_: $options{$_}" } keys %options ). "\n"
878     if $DEBUG;
879
880   local $SIG{HUP} = 'IGNORE';
881   local $SIG{INT} = 'IGNORE';
882   local $SIG{QUIT} = 'IGNORE';
883   local $SIG{TERM} = 'IGNORE';
884   local $SIG{TSTP} = 'IGNORE';
885   local $SIG{PIPE} = 'IGNORE';
886
887   my $oldAutoCommit = $FS::UID::AutoCommit;
888   local $FS::UID::AutoCommit = 0;
889   my $dbh = dbh;
890
891   local $FS::svc_Common::noexport_hack = 1 if $options{'noexport'};
892
893   foreach my $cust_pkg ( keys %$cust_pkgs ) {
894
895     my $error = $self->order_pkg(
896       'cust_pkg'     => $cust_pkg,
897       'svcs'         => $cust_pkgs->{$cust_pkg},
898       'seconds_ref'  => $seconds_ref,
899       map { $_ => $options{$_} } qw( upbytes_ref downbytes_ref totalbytes_ref
900                                      depend_jobnum
901                                    )
902     );
903     if ( $error ) {
904       $dbh->rollback if $oldAutoCommit;
905       return $error;
906     }
907
908   }
909
910   $dbh->commit or die $dbh->errstr if $oldAutoCommit;
911   ''; #no error
912 }
913
914 =item recharge_prepay IDENTIFIER | PREPAY_CREDIT_OBJ [ , AMOUNTREF, SECONDSREF, UPBYTEREF, DOWNBYTEREF ]
915
916 Recharges this (existing) customer with the specified prepaid card (see
917 L<FS::prepay_credit>), specified either by I<identifier> or as an
918 FS::prepay_credit object.  If there is an error, returns the error, otherwise
919 returns false.
920
921 Optionally, five scalar references can be passed as well.  They will have their
922 values filled in with the amount, number of seconds, and number of upload,
923 download, and total bytes applied by this prepaid card.
924
925 =cut
926
927 #the ref bullshit here should be refactored like get_prepay.  MyAccount.pm is
928 #the only place that uses these args
929 sub recharge_prepay { 
930   my( $self, $prepay_credit, $amountref, $secondsref, 
931       $upbytesref, $downbytesref, $totalbytesref ) = @_;
932
933   local $SIG{HUP} = 'IGNORE';
934   local $SIG{INT} = 'IGNORE';
935   local $SIG{QUIT} = 'IGNORE';
936   local $SIG{TERM} = 'IGNORE';
937   local $SIG{TSTP} = 'IGNORE';
938   local $SIG{PIPE} = 'IGNORE';
939
940   my $oldAutoCommit = $FS::UID::AutoCommit;
941   local $FS::UID::AutoCommit = 0;
942   my $dbh = dbh;
943
944   my( $amount, $seconds, $upbytes, $downbytes, $totalbytes) = ( 0, 0, 0, 0, 0 );
945
946   my $error = $self->get_prepay( $prepay_credit,
947                                  'amount_ref'     => \$amount,
948                                  'seconds_ref'    => \$seconds,
949                                  'upbytes_ref'    => \$upbytes,
950                                  'downbytes_ref'  => \$downbytes,
951                                  'totalbytes_ref' => \$totalbytes,
952                                )
953            || $self->increment_seconds($seconds)
954            || $self->increment_upbytes($upbytes)
955            || $self->increment_downbytes($downbytes)
956            || $self->increment_totalbytes($totalbytes)
957            || $self->insert_cust_pay_prepay( $amount,
958                                              ref($prepay_credit)
959                                                ? $prepay_credit->identifier
960                                                : $prepay_credit
961                                            );
962
963   if ( $error ) {
964     $dbh->rollback if $oldAutoCommit;
965     return $error;
966   }
967
968   if ( defined($amountref)  ) { $$amountref  = $amount;  }
969   if ( defined($secondsref) ) { $$secondsref = $seconds; }
970   if ( defined($upbytesref) ) { $$upbytesref = $upbytes; }
971   if ( defined($downbytesref) ) { $$downbytesref = $downbytes; }
972   if ( defined($totalbytesref) ) { $$totalbytesref = $totalbytes; }
973
974   $dbh->commit or die $dbh->errstr if $oldAutoCommit;
975   '';
976
977 }
978
979 =item get_prepay IDENTIFIER | PREPAY_CREDIT_OBJ [ , OPTION => VALUE ... ]
980
981 Looks up and deletes a prepaid card (see L<FS::prepay_credit>),
982 specified either by I<identifier> or as an FS::prepay_credit object.
983
984 Available options are: I<amount_ref>, I<seconds_ref>, I<upbytes_ref>, I<downbytes_ref>, and I<totalbytes_ref>.  The scalars (provided by references) will be
985 incremented by the values of the prepaid card.
986
987 If the prepaid card specifies an I<agentnum> (see L<FS::agent>), it is used to
988 check or set this customer's I<agentnum>.
989
990 If there is an error, returns the error, otherwise returns false.
991
992 =cut
993
994
995 sub get_prepay {
996   my( $self, $prepay_credit, %opt ) = @_;
997
998   local $SIG{HUP} = 'IGNORE';
999   local $SIG{INT} = 'IGNORE';
1000   local $SIG{QUIT} = 'IGNORE';
1001   local $SIG{TERM} = 'IGNORE';
1002   local $SIG{TSTP} = 'IGNORE';
1003   local $SIG{PIPE} = 'IGNORE';
1004
1005   my $oldAutoCommit = $FS::UID::AutoCommit;
1006   local $FS::UID::AutoCommit = 0;
1007   my $dbh = dbh;
1008
1009   unless ( ref($prepay_credit) ) {
1010
1011     my $identifier = $prepay_credit;
1012
1013     $prepay_credit = qsearchs(
1014       'prepay_credit',
1015       { 'identifier' => $prepay_credit },
1016       '',
1017       'FOR UPDATE'
1018     );
1019
1020     unless ( $prepay_credit ) {
1021       $dbh->rollback if $oldAutoCommit;
1022       return "Invalid prepaid card: ". $identifier;
1023     }
1024
1025   }
1026
1027   if ( $prepay_credit->agentnum ) {
1028     if ( $self->agentnum && $self->agentnum != $prepay_credit->agentnum ) {
1029       $dbh->rollback if $oldAutoCommit;
1030       return "prepaid card not valid for agent ". $self->agentnum;
1031     }
1032     $self->agentnum($prepay_credit->agentnum);
1033   }
1034
1035   my $error = $prepay_credit->delete;
1036   if ( $error ) {
1037     $dbh->rollback if $oldAutoCommit;
1038     return "removing prepay_credit (transaction rolled back): $error";
1039   }
1040
1041   ${ $opt{$_.'_ref'} } += $prepay_credit->$_()
1042     for grep $opt{$_.'_ref'}, qw( amount seconds upbytes downbytes totalbytes );
1043
1044   $dbh->commit or die $dbh->errstr if $oldAutoCommit;
1045   '';
1046
1047 }
1048
1049 =item increment_upbytes SECONDS
1050
1051 Updates this customer's single or primary account (see L<FS::svc_acct>) by
1052 the specified number of upbytes.  If there is an error, returns the error,
1053 otherwise returns false.
1054
1055 =cut
1056
1057 sub increment_upbytes {
1058   _increment_column( shift, 'upbytes', @_);
1059 }
1060
1061 =item increment_downbytes SECONDS
1062
1063 Updates this customer's single or primary account (see L<FS::svc_acct>) by
1064 the specified number of downbytes.  If there is an error, returns the error,
1065 otherwise returns false.
1066
1067 =cut
1068
1069 sub increment_downbytes {
1070   _increment_column( shift, 'downbytes', @_);
1071 }
1072
1073 =item increment_totalbytes SECONDS
1074
1075 Updates this customer's single or primary account (see L<FS::svc_acct>) by
1076 the specified number of totalbytes.  If there is an error, returns the error,
1077 otherwise returns false.
1078
1079 =cut
1080
1081 sub increment_totalbytes {
1082   _increment_column( shift, 'totalbytes', @_);
1083 }
1084
1085 =item increment_seconds SECONDS
1086
1087 Updates this customer's single or primary account (see L<FS::svc_acct>) by
1088 the specified number of seconds.  If there is an error, returns the error,
1089 otherwise returns false.
1090
1091 =cut
1092
1093 sub increment_seconds {
1094   _increment_column( shift, 'seconds', @_);
1095 }
1096
1097 =item _increment_column AMOUNT
1098
1099 Updates this customer's single or primary account (see L<FS::svc_acct>) by
1100 the specified number of seconds or bytes.  If there is an error, returns
1101 the error, otherwise returns false.
1102
1103 =cut
1104
1105 sub _increment_column {
1106   my( $self, $column, $amount ) = @_;
1107   warn "$me increment_column called: $column, $amount\n"
1108     if $DEBUG;
1109
1110   return '' unless $amount;
1111
1112   my @cust_pkg = grep { $_->part_pkg->svcpart('svc_acct') }
1113                       $self->ncancelled_pkgs;
1114
1115   if ( ! @cust_pkg ) {
1116     return 'No packages with primary or single services found'.
1117            ' to apply pre-paid time';
1118   } elsif ( scalar(@cust_pkg) > 1 ) {
1119     #maybe have a way to specify the package/account?
1120     return 'Multiple packages found to apply pre-paid time';
1121   }
1122
1123   my $cust_pkg = $cust_pkg[0];
1124   warn "  found package pkgnum ". $cust_pkg->pkgnum. "\n"
1125     if $DEBUG > 1;
1126
1127   my @cust_svc =
1128     $cust_pkg->cust_svc( $cust_pkg->part_pkg->svcpart('svc_acct') );
1129
1130   if ( ! @cust_svc ) {
1131     return 'No account found to apply pre-paid time';
1132   } elsif ( scalar(@cust_svc) > 1 ) {
1133     return 'Multiple accounts found to apply pre-paid time';
1134   }
1135   
1136   my $svc_acct = $cust_svc[0]->svc_x;
1137   warn "  found service svcnum ". $svc_acct->pkgnum.
1138        ' ('. $svc_acct->email. ")\n"
1139     if $DEBUG > 1;
1140
1141   $column = "increment_$column";
1142   $svc_acct->$column($amount);
1143
1144 }
1145
1146 =item insert_cust_pay_prepay AMOUNT [ PAYINFO ]
1147
1148 Inserts a prepayment in the specified amount for this customer.  An optional
1149 second argument can specify the prepayment identifier for tracking purposes.
1150 If there is an error, returns the error, otherwise returns false.
1151
1152 =cut
1153
1154 sub insert_cust_pay_prepay {
1155   shift->insert_cust_pay('PREP', @_);
1156 }
1157
1158 =item insert_cust_pay_cash AMOUNT [ PAYINFO ]
1159
1160 Inserts a cash payment in the specified amount for this customer.  An optional
1161 second argument can specify the payment identifier for tracking purposes.
1162 If there is an error, returns the error, otherwise returns false.
1163
1164 =cut
1165
1166 sub insert_cust_pay_cash {
1167   shift->insert_cust_pay('CASH', @_);
1168 }
1169
1170 =item insert_cust_pay_west AMOUNT [ PAYINFO ]
1171
1172 Inserts a Western Union payment in the specified amount for this customer.  An
1173 optional second argument can specify the prepayment identifier for tracking
1174 purposes.  If there is an error, returns the error, otherwise returns false.
1175
1176 =cut
1177
1178 sub insert_cust_pay_west {
1179   shift->insert_cust_pay('WEST', @_);
1180 }
1181
1182 sub insert_cust_pay {
1183   my( $self, $payby, $amount ) = splice(@_, 0, 3);
1184   my $payinfo = scalar(@_) ? shift : '';
1185
1186   my $cust_pay = new FS::cust_pay {
1187     'custnum' => $self->custnum,
1188     'paid'    => sprintf('%.2f', $amount),
1189     #'_date'   => #date the prepaid card was purchased???
1190     'payby'   => $payby,
1191     'payinfo' => $payinfo,
1192   };
1193   $cust_pay->insert;
1194
1195 }
1196
1197 =item reexport
1198
1199 This method is deprecated.  See the I<depend_jobnum> option to the insert and
1200 order_pkgs methods for a better way to defer provisioning.
1201
1202 Re-schedules all exports by calling the B<reexport> method of all associated
1203 packages (see L<FS::cust_pkg>).  If there is an error, returns the error;
1204 otherwise returns false.
1205
1206 =cut
1207
1208 sub reexport {
1209   my $self = shift;
1210
1211   carp "WARNING: FS::cust_main::reexport is deprectated; ".
1212        "use the depend_jobnum option to insert or order_pkgs to delay export";
1213
1214   local $SIG{HUP} = 'IGNORE';
1215   local $SIG{INT} = 'IGNORE';
1216   local $SIG{QUIT} = 'IGNORE';
1217   local $SIG{TERM} = 'IGNORE';
1218   local $SIG{TSTP} = 'IGNORE';
1219   local $SIG{PIPE} = 'IGNORE';
1220
1221   my $oldAutoCommit = $FS::UID::AutoCommit;
1222   local $FS::UID::AutoCommit = 0;
1223   my $dbh = dbh;
1224
1225   foreach my $cust_pkg ( $self->ncancelled_pkgs ) {
1226     my $error = $cust_pkg->reexport;
1227     if ( $error ) {
1228       $dbh->rollback if $oldAutoCommit;
1229       return $error;
1230     }
1231   }
1232
1233   $dbh->commit or die $dbh->errstr if $oldAutoCommit;
1234   '';
1235
1236 }
1237
1238 =item delete NEW_CUSTNUM
1239
1240 This deletes the customer.  If there is an error, returns the error, otherwise
1241 returns false.
1242
1243 This will completely remove all traces of the customer record.  This is not
1244 what you want when a customer cancels service; for that, cancel all of the
1245 customer's packages (see L</cancel>).
1246
1247 If the customer has any uncancelled packages, you need to pass a new (valid)
1248 customer number for those packages to be transferred to.  Cancelled packages
1249 will be deleted.  Did I mention that this is NOT what you want when a customer
1250 cancels service and that you really should be looking see L<FS::cust_pkg/cancel>?
1251
1252 You can't delete a customer with invoices (see L<FS::cust_bill>),
1253 or credits (see L<FS::cust_credit>), payments (see L<FS::cust_pay>) or
1254 refunds (see L<FS::cust_refund>).
1255
1256 =cut
1257
1258 sub delete {
1259   my $self = shift;
1260
1261   local $SIG{HUP} = 'IGNORE';
1262   local $SIG{INT} = 'IGNORE';
1263   local $SIG{QUIT} = 'IGNORE';
1264   local $SIG{TERM} = 'IGNORE';
1265   local $SIG{TSTP} = 'IGNORE';
1266   local $SIG{PIPE} = 'IGNORE';
1267
1268   my $oldAutoCommit = $FS::UID::AutoCommit;
1269   local $FS::UID::AutoCommit = 0;
1270   my $dbh = dbh;
1271
1272   if ( $self->cust_bill ) {
1273     $dbh->rollback if $oldAutoCommit;
1274     return "Can't delete a customer with invoices";
1275   }
1276   if ( $self->cust_credit ) {
1277     $dbh->rollback if $oldAutoCommit;
1278     return "Can't delete a customer with credits";
1279   }
1280   if ( $self->cust_pay ) {
1281     $dbh->rollback if $oldAutoCommit;
1282     return "Can't delete a customer with payments";
1283   }
1284   if ( $self->cust_refund ) {
1285     $dbh->rollback if $oldAutoCommit;
1286     return "Can't delete a customer with refunds";
1287   }
1288
1289   my @cust_pkg = $self->ncancelled_pkgs;
1290   if ( @cust_pkg ) {
1291     my $new_custnum = shift;
1292     unless ( qsearchs( 'cust_main', { 'custnum' => $new_custnum } ) ) {
1293       $dbh->rollback if $oldAutoCommit;
1294       return "Invalid new customer number: $new_custnum";
1295     }
1296     foreach my $cust_pkg ( @cust_pkg ) {
1297       my %hash = $cust_pkg->hash;
1298       $hash{'custnum'} = $new_custnum;
1299       my $new_cust_pkg = new FS::cust_pkg ( \%hash );
1300       my $error = $new_cust_pkg->replace($cust_pkg,
1301                                          options => { $cust_pkg->options },
1302                                         );
1303       if ( $error ) {
1304         $dbh->rollback if $oldAutoCommit;
1305         return $error;
1306       }
1307     }
1308   }
1309   my @cancelled_cust_pkg = $self->all_pkgs;
1310   foreach my $cust_pkg ( @cancelled_cust_pkg ) {
1311     my $error = $cust_pkg->delete;
1312     if ( $error ) {
1313       $dbh->rollback if $oldAutoCommit;
1314       return $error;
1315     }
1316   }
1317
1318   foreach my $cust_main_invoice ( #(email invoice destinations, not invoices)
1319     qsearch( 'cust_main_invoice', { 'custnum' => $self->custnum } )
1320   ) {
1321     my $error = $cust_main_invoice->delete;
1322     if ( $error ) {
1323       $dbh->rollback if $oldAutoCommit;
1324       return $error;
1325     }
1326   }
1327
1328   foreach my $cust_main_exemption (
1329     qsearch( 'cust_main_exemption', { 'custnum' => $self->custnum } )
1330   ) {
1331     my $error = $cust_main_exemption->delete;
1332     if ( $error ) {
1333       $dbh->rollback if $oldAutoCommit;
1334       return $error;
1335     }
1336   }
1337
1338   my $error = $self->SUPER::delete;
1339   if ( $error ) {
1340     $dbh->rollback if $oldAutoCommit;
1341     return $error;
1342   }
1343
1344   $dbh->commit or die $dbh->errstr if $oldAutoCommit;
1345   '';
1346
1347 }
1348
1349 =item replace [ OLD_RECORD ] [ INVOICING_LIST_ARYREF ] [ , OPTION => VALUE ... ] ]
1350
1351
1352 Replaces the OLD_RECORD with this one in the database.  If there is an error,
1353 returns the error, otherwise returns false.
1354
1355 INVOICING_LIST_ARYREF: If you pass an arrarref to the insert method, it will
1356 be set as the invoicing list (see L<"invoicing_list">).  Errors return as
1357 expected and rollback the entire transaction; it is not necessary to call 
1358 check_invoicing_list first.  Here's an example:
1359
1360   $new_cust_main->replace( $old_cust_main, [ $email, 'POST' ] );
1361
1362 Currently available options are: I<tax_exemption>.
1363
1364 The I<tax_exemption> option can be set to an arrayref of tax names.
1365 FS::cust_main_exemption records will be deleted and inserted as appropriate.
1366
1367 =cut
1368
1369 sub replace {
1370   my $self = shift;
1371
1372   my $old = ( blessed($_[0]) && $_[0]->isa('FS::Record') )
1373               ? shift
1374               : $self->replace_old;
1375
1376   my @param = @_;
1377
1378   warn "$me replace called\n"
1379     if $DEBUG;
1380
1381   my $curuser = $FS::CurrentUser::CurrentUser;
1382   if (    $self->payby eq 'COMP'
1383        && $self->payby ne $old->payby
1384        && ! $curuser->access_right('Complimentary customer')
1385      )
1386   {
1387     return "You are not permitted to create complimentary accounts.";
1388   }
1389
1390   local($ignore_expired_card) = 1
1391     if $old->payby  =~ /^(CARD|DCRD)$/
1392     && $self->payby =~ /^(CARD|DCRD)$/
1393     && ( $old->payinfo eq $self->payinfo || $old->paymask eq $self->paymask );
1394
1395   local $SIG{HUP} = 'IGNORE';
1396   local $SIG{INT} = 'IGNORE';
1397   local $SIG{QUIT} = 'IGNORE';
1398   local $SIG{TERM} = 'IGNORE';
1399   local $SIG{TSTP} = 'IGNORE';
1400   local $SIG{PIPE} = 'IGNORE';
1401
1402   my $oldAutoCommit = $FS::UID::AutoCommit;
1403   local $FS::UID::AutoCommit = 0;
1404   my $dbh = dbh;
1405
1406   my $error = $self->SUPER::replace($old);
1407
1408   if ( $error ) {
1409     $dbh->rollback if $oldAutoCommit;
1410     return $error;
1411   }
1412
1413   if ( @param && ref($param[0]) eq 'ARRAY' ) { # INVOICING_LIST_ARYREF
1414     my $invoicing_list = shift @param;
1415     $error = $self->check_invoicing_list( $invoicing_list );
1416     if ( $error ) {
1417       $dbh->rollback if $oldAutoCommit;
1418       return $error;
1419     }
1420     $self->invoicing_list( $invoicing_list );
1421   }
1422
1423   my %options = @param;
1424
1425   my $tax_exemption = delete $options{'tax_exemption'};
1426   if ( $tax_exemption ) {
1427
1428     my %cust_main_exemption =
1429       map { $_->taxname => $_ }
1430           qsearch('cust_main_exemption', { 'custnum' => $old->custnum } );
1431
1432     foreach my $taxname ( @$tax_exemption ) {
1433
1434       next if delete $cust_main_exemption{$taxname};
1435
1436       my $cust_main_exemption = new FS::cust_main_exemption {
1437         'custnum' => $self->custnum,
1438         'taxname' => $taxname,
1439       };
1440       my $error = $cust_main_exemption->insert;
1441       if ( $error ) {
1442         $dbh->rollback if $oldAutoCommit;
1443         return "inserting cust_main_exemption (transaction rolled back): $error";
1444       }
1445     }
1446
1447     foreach my $cust_main_exemption ( values %cust_main_exemption ) {
1448       my $error = $cust_main_exemption->delete;
1449       if ( $error ) {
1450         $dbh->rollback if $oldAutoCommit;
1451         return "deleting cust_main_exemption (transaction rolled back): $error";
1452       }
1453     }
1454
1455   }
1456
1457   if ( $self->payby =~ /^(CARD|CHEK|LECB)$/ &&
1458        grep { $self->get($_) ne $old->get($_) } qw(payinfo paydate payname) ) {
1459     # card/check/lec info has changed, want to retry realtime_ invoice events
1460     my $error = $self->retry_realtime;
1461     if ( $error ) {
1462       $dbh->rollback if $oldAutoCommit;
1463       return $error;
1464     }
1465   }
1466
1467   unless ( $import || $skip_fuzzyfiles ) {
1468     $error = $self->queue_fuzzyfiles_update;
1469     if ( $error ) {
1470       $dbh->rollback if $oldAutoCommit;
1471       return "updating fuzzy search cache: $error";
1472     }
1473   }
1474
1475   $dbh->commit or die $dbh->errstr if $oldAutoCommit;
1476   '';
1477
1478 }
1479
1480 =item queue_fuzzyfiles_update
1481
1482 Used by insert & replace to update the fuzzy search cache
1483
1484 =cut
1485
1486 sub queue_fuzzyfiles_update {
1487   my $self = shift;
1488
1489   local $SIG{HUP} = 'IGNORE';
1490   local $SIG{INT} = 'IGNORE';
1491   local $SIG{QUIT} = 'IGNORE';
1492   local $SIG{TERM} = 'IGNORE';
1493   local $SIG{TSTP} = 'IGNORE';
1494   local $SIG{PIPE} = 'IGNORE';
1495
1496   my $oldAutoCommit = $FS::UID::AutoCommit;
1497   local $FS::UID::AutoCommit = 0;
1498   my $dbh = dbh;
1499
1500   my $queue = new FS::queue { 'job' => 'FS::cust_main::append_fuzzyfiles' };
1501   my $error = $queue->insert( map $self->getfield($_), @fuzzyfields );
1502   if ( $error ) {
1503     $dbh->rollback if $oldAutoCommit;
1504     return "queueing job (transaction rolled back): $error";
1505   }
1506
1507   if ( $self->ship_last ) {
1508     $queue = new FS::queue { 'job' => 'FS::cust_main::append_fuzzyfiles' };
1509     $error = $queue->insert( map $self->getfield("ship_$_"), @fuzzyfields );
1510     if ( $error ) {
1511       $dbh->rollback if $oldAutoCommit;
1512       return "queueing job (transaction rolled back): $error";
1513     }
1514   }
1515
1516   $dbh->commit or die $dbh->errstr if $oldAutoCommit;
1517   '';
1518
1519 }
1520
1521 =item check
1522
1523 Checks all fields to make sure this is a valid customer record.  If there is
1524 an error, returns the error, otherwise returns false.  Called by the insert
1525 and replace methods.
1526
1527 =cut
1528
1529 sub check {
1530   my $self = shift;
1531
1532   warn "$me check BEFORE: \n". $self->_dump
1533     if $DEBUG > 2;
1534
1535   my $error =
1536     $self->ut_numbern('custnum')
1537     || $self->ut_number('agentnum')
1538     || $self->ut_textn('agent_custid')
1539     || $self->ut_number('refnum')
1540     || $self->ut_textn('custbatch')
1541     || $self->ut_name('last')
1542     || $self->ut_name('first')
1543     || $self->ut_snumbern('birthdate')
1544     || $self->ut_snumbern('signupdate')
1545     || $self->ut_textn('company')
1546     || $self->ut_text('address1')
1547     || $self->ut_textn('address2')
1548     || $self->ut_text('city')
1549     || $self->ut_textn('county')
1550     || $self->ut_textn('state')
1551     || $self->ut_country('country')
1552     || $self->ut_anything('comments')
1553     || $self->ut_numbern('referral_custnum')
1554     || $self->ut_textn('stateid')
1555     || $self->ut_textn('stateid_state')
1556     || $self->ut_textn('invoice_terms')
1557     || $self->ut_alphan('geocode')
1558     || $self->ut_floatn('cdr_termination_percentage')
1559   ;
1560
1561   #barf.  need message catalogs.  i18n.  etc.
1562   $error .= "Please select an advertising source."
1563     if $error =~ /^Illegal or empty \(numeric\) refnum: /;
1564   return $error if $error;
1565
1566   return "Unknown agent"
1567     unless qsearchs( 'agent', { 'agentnum' => $self->agentnum } );
1568
1569   return "Unknown refnum"
1570     unless qsearchs( 'part_referral', { 'refnum' => $self->refnum } );
1571
1572   return "Unknown referring custnum: ". $self->referral_custnum
1573     unless ! $self->referral_custnum 
1574            || qsearchs( 'cust_main', { 'custnum' => $self->referral_custnum } );
1575
1576   if ( $self->censustract ne '' ) {
1577     $self->censustract =~ /^\s*(\d{9})\.?(\d{2})\s*$/
1578       or return "Illegal census tract: ". $self->censustract;
1579     
1580     $self->censustract("$1.$2");
1581   }
1582
1583   if ( $self->ss eq '' ) {
1584     $self->ss('');
1585   } else {
1586     my $ss = $self->ss;
1587     $ss =~ s/\D//g;
1588     $ss =~ /^(\d{3})(\d{2})(\d{4})$/
1589       or return "Illegal social security number: ". $self->ss;
1590     $self->ss("$1-$2-$3");
1591   }
1592
1593
1594 # bad idea to disable, causes billing to fail because of no tax rates later
1595 #  unless ( $import ) {
1596     unless ( qsearch('cust_main_county', {
1597       'country' => $self->country,
1598       'state'   => '',
1599      } ) ) {
1600       return "Unknown state/county/country: ".
1601         $self->state. "/". $self->county. "/". $self->country
1602         unless qsearch('cust_main_county',{
1603           'state'   => $self->state,
1604           'county'  => $self->county,
1605           'country' => $self->country,
1606         } );
1607     }
1608 #  }
1609
1610   $error =
1611     $self->ut_phonen('daytime', $self->country)
1612     || $self->ut_phonen('night', $self->country)
1613     || $self->ut_phonen('fax', $self->country)
1614     || $self->ut_zip('zip', $self->country)
1615   ;
1616   return $error if $error;
1617
1618   if ( $conf->exists('cust_main-require_phone')
1619        && ! length($self->daytime) && ! length($self->night)
1620      ) {
1621
1622     my $daytime_label = FS::Msgcat::_gettext('daytime') =~ /^(daytime)?$/
1623                           ? 'Day Phone'
1624                           : FS::Msgcat::_gettext('daytime');
1625     my $night_label = FS::Msgcat::_gettext('night') =~ /^(night)?$/
1626                         ? 'Night Phone'
1627                         : FS::Msgcat::_gettext('night');
1628   
1629     return "$daytime_label or $night_label is required"
1630   
1631   }
1632
1633   if ( $self->has_ship_address
1634        && scalar ( grep { $self->getfield($_) ne $self->getfield("ship_$_") }
1635                         $self->addr_fields )
1636      )
1637   {
1638     my $error =
1639       $self->ut_name('ship_last')
1640       || $self->ut_name('ship_first')
1641       || $self->ut_textn('ship_company')
1642       || $self->ut_text('ship_address1')
1643       || $self->ut_textn('ship_address2')
1644       || $self->ut_text('ship_city')
1645       || $self->ut_textn('ship_county')
1646       || $self->ut_textn('ship_state')
1647       || $self->ut_country('ship_country')
1648     ;
1649     return $error if $error;
1650
1651     #false laziness with above
1652     unless ( qsearchs('cust_main_county', {
1653       'country' => $self->ship_country,
1654       'state'   => '',
1655      } ) ) {
1656       return "Unknown ship_state/ship_county/ship_country: ".
1657         $self->ship_state. "/". $self->ship_county. "/". $self->ship_country
1658         unless qsearch('cust_main_county',{
1659           'state'   => $self->ship_state,
1660           'county'  => $self->ship_county,
1661           'country' => $self->ship_country,
1662         } );
1663     }
1664     #eofalse
1665
1666     $error =
1667       $self->ut_phonen('ship_daytime', $self->ship_country)
1668       || $self->ut_phonen('ship_night', $self->ship_country)
1669       || $self->ut_phonen('ship_fax', $self->ship_country)
1670       || $self->ut_zip('ship_zip', $self->ship_country)
1671     ;
1672     return $error if $error;
1673
1674     return "Unit # is required."
1675       if $self->ship_address2 =~ /^\s*$/
1676       && $conf->exists('cust_main-require_address2');
1677
1678   } else { # ship_ info eq billing info, so don't store dup info in database
1679
1680     $self->setfield("ship_$_", '')
1681       foreach $self->addr_fields;
1682
1683     return "Unit # is required."
1684       if $self->address2 =~ /^\s*$/
1685       && $conf->exists('cust_main-require_address2');
1686
1687   }
1688
1689   #$self->payby =~ /^(CARD|DCRD|CHEK|DCHK|LECB|BILL|COMP|PREPAY|CASH|WEST|MCRD)$/
1690   #  or return "Illegal payby: ". $self->payby;
1691   #$self->payby($1);
1692   FS::payby->can_payby($self->table, $self->payby)
1693     or return "Illegal payby: ". $self->payby;
1694
1695   $error =    $self->ut_numbern('paystart_month')
1696            || $self->ut_numbern('paystart_year')
1697            || $self->ut_numbern('payissue')
1698            || $self->ut_textn('paytype')
1699   ;
1700   return $error if $error;
1701
1702   if ( $self->payip eq '' ) {
1703     $self->payip('');
1704   } else {
1705     $error = $self->ut_ip('payip');
1706     return $error if $error;
1707   }
1708
1709   # If it is encrypted and the private key is not availaible then we can't
1710   # check the credit card.
1711
1712   my $check_payinfo = 1;
1713
1714   if ($self->is_encrypted($self->payinfo)) {
1715     $check_payinfo = 0;
1716   }
1717
1718   if ( $check_payinfo && $self->payby =~ /^(CARD|DCRD)$/ ) {
1719
1720     my $payinfo = $self->payinfo;
1721     $payinfo =~ s/\D//g;
1722     $payinfo =~ /^(\d{13,16})$/
1723       or return gettext('invalid_card'); # . ": ". $self->payinfo;
1724     $payinfo = $1;
1725     $self->payinfo($payinfo);
1726     validate($payinfo)
1727       or return gettext('invalid_card'); # . ": ". $self->payinfo;
1728
1729     return gettext('unknown_card_type')
1730       if cardtype($self->payinfo) eq "Unknown";
1731
1732     my $ban = qsearchs('banned_pay', $self->_banned_pay_hashref);
1733     if ( $ban ) {
1734       return 'Banned credit card: banned on '.
1735              time2str('%a %h %o at %r', $ban->_date).
1736              ' by '. $ban->otaker.
1737              ' (ban# '. $ban->bannum. ')';
1738     }
1739
1740     if (length($self->paycvv) && !$self->is_encrypted($self->paycvv)) {
1741       if ( cardtype($self->payinfo) eq 'American Express card' ) {
1742         $self->paycvv =~ /^(\d{4})$/
1743           or return "CVV2 (CID) for American Express cards is four digits.";
1744         $self->paycvv($1);
1745       } else {
1746         $self->paycvv =~ /^(\d{3})$/
1747           or return "CVV2 (CVC2/CID) is three digits.";
1748         $self->paycvv($1);
1749       }
1750     } else {
1751       $self->paycvv('');
1752     }
1753
1754     my $cardtype = cardtype($payinfo);
1755     if ( $cardtype =~ /^(Switch|Solo)$/i ) {
1756
1757       return "Start date or issue number is required for $cardtype cards"
1758         unless $self->paystart_month && $self->paystart_year or $self->payissue;
1759
1760       return "Start month must be between 1 and 12"
1761         if $self->paystart_month
1762            and $self->paystart_month < 1 || $self->paystart_month > 12;
1763
1764       return "Start year must be 1990 or later"
1765         if $self->paystart_year
1766            and $self->paystart_year < 1990;
1767
1768       return "Issue number must be beween 1 and 99"
1769         if $self->payissue
1770           and $self->payissue < 1 || $self->payissue > 99;
1771
1772     } else {
1773       $self->paystart_month('');
1774       $self->paystart_year('');
1775       $self->payissue('');
1776     }
1777
1778   } elsif ( $check_payinfo && $self->payby =~ /^(CHEK|DCHK)$/ ) {
1779
1780     my $payinfo = $self->payinfo;
1781     $payinfo =~ s/[^\d\@]//g;
1782     if ( $conf->exists('echeck-nonus') ) {
1783       $payinfo =~ /^(\d+)\@(\d+)$/ or return 'invalid echeck account@aba';
1784       $payinfo = "$1\@$2";
1785     } else {
1786       $payinfo =~ /^(\d+)\@(\d{9})$/ or return 'invalid echeck account@aba';
1787       $payinfo = "$1\@$2";
1788     }
1789     $self->payinfo($payinfo);
1790     $self->paycvv('');
1791
1792     my $ban = qsearchs('banned_pay', $self->_banned_pay_hashref);
1793     if ( $ban ) {
1794       return 'Banned ACH account: banned on '.
1795              time2str('%a %h %o at %r', $ban->_date).
1796              ' by '. $ban->otaker.
1797              ' (ban# '. $ban->bannum. ')';
1798     }
1799
1800   } elsif ( $self->payby eq 'LECB' ) {
1801
1802     my $payinfo = $self->payinfo;
1803     $payinfo =~ s/\D//g;
1804     $payinfo =~ /^1?(\d{10})$/ or return 'invalid btn billing telephone number';
1805     $payinfo = $1;
1806     $self->payinfo($payinfo);
1807     $self->paycvv('');
1808
1809   } elsif ( $self->payby eq 'BILL' ) {
1810
1811     $error = $self->ut_textn('payinfo');
1812     return "Illegal P.O. number: ". $self->payinfo if $error;
1813     $self->paycvv('');
1814
1815   } elsif ( $self->payby eq 'COMP' ) {
1816
1817     my $curuser = $FS::CurrentUser::CurrentUser;
1818     if (    ! $self->custnum
1819          && ! $curuser->access_right('Complimentary customer')
1820        )
1821     {
1822       return "You are not permitted to create complimentary accounts."
1823     }
1824
1825     $error = $self->ut_textn('payinfo');
1826     return "Illegal comp account issuer: ". $self->payinfo if $error;
1827     $self->paycvv('');
1828
1829   } elsif ( $self->payby eq 'PREPAY' ) {
1830
1831     my $payinfo = $self->payinfo;
1832     $payinfo =~ s/\W//g; #anything else would just confuse things
1833     $self->payinfo($payinfo);
1834     $error = $self->ut_alpha('payinfo');
1835     return "Illegal prepayment identifier: ". $self->payinfo if $error;
1836     return "Unknown prepayment identifier"
1837       unless qsearchs('prepay_credit', { 'identifier' => $self->payinfo } );
1838     $self->paycvv('');
1839
1840   }
1841
1842   if ( $self->paydate eq '' || $self->paydate eq '-' ) {
1843     return "Expiration date required"
1844       unless $self->payby =~ /^(BILL|PREPAY|CHEK|DCHK|LECB|CASH|WEST|MCRD)$/;
1845     $self->paydate('');
1846   } else {
1847     my( $m, $y );
1848     if ( $self->paydate =~ /^(\d{1,2})[\/\-](\d{2}(\d{2})?)$/ ) {
1849       ( $m, $y ) = ( $1, length($2) == 4 ? $2 : "20$2" );
1850     } elsif ( $self->paydate =~ /^19(\d{2})[\/\-](\d{1,2})[\/\-]\d+$/ ) {
1851       ( $m, $y ) = ( $2, "19$1" );
1852     } elsif ( $self->paydate =~ /^(20)?(\d{2})[\/\-](\d{1,2})[\/\-]\d+$/ ) {
1853       ( $m, $y ) = ( $3, "20$2" );
1854     } else {
1855       return "Illegal expiration date: ". $self->paydate;
1856     }
1857     $self->paydate("$y-$m-01");
1858     my($nowm,$nowy)=(localtime(time))[4,5]; $nowm++; $nowy+=1900;
1859     return gettext('expired_card')
1860       if !$import
1861       && !$ignore_expired_card 
1862       && ( $y<$nowy || ( $y==$nowy && $1<$nowm ) );
1863   }
1864
1865   if ( $self->payname eq '' && $self->payby !~ /^(CHEK|DCHK)$/ &&
1866        ( ! $conf->exists('require_cardname')
1867          || $self->payby !~ /^(CARD|DCRD)$/  ) 
1868   ) {
1869     $self->payname( $self->first. " ". $self->getfield('last') );
1870   } else {
1871     $self->payname =~ /^([\w \,\.\-\'\&]+)$/
1872       or return gettext('illegal_name'). " payname: ". $self->payname;
1873     $self->payname($1);
1874   }
1875
1876   foreach my $flag (qw( tax spool_cdr squelch_cdr archived email_csv_cdr )) {
1877     $self->$flag() =~ /^(Y?)$/ or return "Illegal $flag: ". $self->$flag();
1878     $self->$flag($1);
1879   }
1880
1881   $self->otaker(getotaker) unless $self->otaker;
1882
1883   warn "$me check AFTER: \n". $self->_dump
1884     if $DEBUG > 2;
1885
1886   $self->SUPER::check;
1887 }
1888
1889 =item addr_fields 
1890
1891 Returns a list of fields which have ship_ duplicates.
1892
1893 =cut
1894
1895 sub addr_fields {
1896   qw( last first company
1897       address1 address2 city county state zip country
1898       daytime night fax
1899     );
1900 }
1901
1902 =item has_ship_address
1903
1904 Returns true if this customer record has a separate shipping address.
1905
1906 =cut
1907
1908 sub has_ship_address {
1909   my $self = shift;
1910   scalar( grep { $self->getfield("ship_$_") ne '' } $self->addr_fields );
1911 }
1912
1913 =item location_hash
1914
1915 Returns a list of key/value pairs, with the following keys: address1, adddress2,
1916 city, county, state, zip, country.  The shipping address is used if present.
1917
1918 =cut
1919
1920 #geocode?  dependent on tax-ship_address config, not available in cust_location
1921 #mostly.  not yet then.
1922
1923 sub location_hash {
1924   my $self = shift;
1925   my $prefix = $self->has_ship_address ? 'ship_' : '';
1926
1927   map { $_ => $self->get($prefix.$_) }
1928       qw( address1 address2 city county state zip country geocode );
1929       #fields that cust_location has
1930 }
1931
1932 =item all_pkgs [ EXTRA_QSEARCH_PARAMS_HASHREF ]
1933
1934 Returns all packages (see L<FS::cust_pkg>) for this customer.
1935
1936 =cut
1937
1938 sub all_pkgs {
1939   my $self = shift;
1940   my $extra_qsearch = ref($_[0]) ? shift : {};
1941
1942   return $self->num_pkgs unless wantarray || keys(%$extra_qsearch);
1943
1944   my @cust_pkg = ();
1945   if ( $self->{'_pkgnum'} ) {
1946     @cust_pkg = values %{ $self->{'_pkgnum'}->cache };
1947   } else {
1948     @cust_pkg = $self->_cust_pkg($extra_qsearch);
1949   }
1950
1951   sort sort_packages @cust_pkg;
1952 }
1953
1954 =item cust_pkg
1955
1956 Synonym for B<all_pkgs>.
1957
1958 =cut
1959
1960 sub cust_pkg {
1961   shift->all_pkgs(@_);
1962 }
1963
1964 =item cust_location
1965
1966 Returns all locations (see L<FS::cust_location>) for this customer.
1967
1968 =cut
1969
1970 sub cust_location {
1971   my $self = shift;
1972   qsearch('cust_location', { 'custnum' => $self->custnum } );
1973 }
1974
1975 =item location_label [ OPTION => VALUE ... ]
1976
1977 Returns the label of the service location (see analog in L<FS::cust_location>) for this customer.
1978
1979 Options are
1980
1981 =over 4
1982
1983 =item join_string
1984
1985 used to separate the address elements (defaults to ', ')
1986
1987 =item escape_function
1988
1989 a callback used for escaping the text of the address elements
1990
1991 =back
1992
1993 =cut
1994
1995 # false laziness with FS::cust_location::line
1996
1997 sub location_label {
1998   my $self = shift;
1999   my %opt = @_;
2000
2001   my $separator = $opt{join_string} || ', ';
2002   my $escape = $opt{escape_function} || sub{ shift };
2003   my $line = '';
2004   my $cydefault = FS::conf->new->config('countrydefault') || 'US';
2005   my $prefix = length($self->ship_last) ? 'ship_' : '';
2006
2007   my $notfirst = 0;
2008   foreach (qw ( address1 address2 ) ) {
2009     my $method = "$prefix$_";
2010     $line .= ($notfirst ? $separator : ''). &$escape($self->$method)
2011       if $self->$method;
2012     $notfirst++;
2013   }
2014   $notfirst = 0;
2015   foreach (qw ( city county state zip ) ) {
2016     my $method = "$prefix$_";
2017     if ( $self->$method ) {
2018       $line .= ' (' if $method eq 'county';
2019       $line .= ($notfirst ? ' ' : $separator). &$escape($self->$method);
2020       $line .= ' )' if $method eq 'county';
2021       $notfirst++;
2022     }
2023   }
2024   $line .= $separator. &$escape(code2country($self->country))
2025     if $self->country ne $cydefault;
2026
2027   $line;
2028 }
2029
2030 =item ncancelled_pkgs [ EXTRA_QSEARCH_PARAMS_HASHREF ]
2031
2032 Returns all non-cancelled packages (see L<FS::cust_pkg>) for this customer.
2033
2034 =cut
2035
2036 sub ncancelled_pkgs {
2037   my $self = shift;
2038   my $extra_qsearch = ref($_[0]) ? shift : {};
2039
2040   return $self->num_ncancelled_pkgs unless wantarray;
2041
2042   my @cust_pkg = ();
2043   if ( $self->{'_pkgnum'} ) {
2044
2045     warn "$me ncancelled_pkgs: returning cached objects"
2046       if $DEBUG > 1;
2047
2048     @cust_pkg = grep { ! $_->getfield('cancel') }
2049                 values %{ $self->{'_pkgnum'}->cache };
2050
2051   } else {
2052
2053     warn "$me ncancelled_pkgs: searching for packages with custnum ".
2054          $self->custnum. "\n"
2055       if $DEBUG > 1;
2056
2057     $extra_qsearch->{'extra_sql'} .= ' AND ( cancel IS NULL OR cancel = 0 ) ';
2058
2059     @cust_pkg = $self->_cust_pkg($extra_qsearch);
2060
2061   }
2062
2063   sort sort_packages @cust_pkg;
2064
2065 }
2066
2067 sub _cust_pkg {
2068   my $self = shift;
2069   my $extra_qsearch = ref($_[0]) ? shift : {};
2070
2071   $extra_qsearch->{'select'} ||= '*';
2072   $extra_qsearch->{'select'} .=
2073    ',( SELECT COUNT(*) FROM cust_svc WHERE cust_pkg.pkgnum = cust_svc.pkgnum )
2074      AS _num_cust_svc';
2075
2076   map {
2077         $_->{'_num_cust_svc'} = $_->get('_num_cust_svc');
2078         $_;
2079       }
2080   qsearch({
2081     %$extra_qsearch,
2082     'table'   => 'cust_pkg',
2083     'hashref' => { 'custnum' => $self->custnum },
2084   });
2085
2086 }
2087
2088 # This should be generalized to use config options to determine order.
2089 sub sort_packages {
2090   
2091   my $locationsort = ( $a->locationnum || 0 ) <=> ( $b->locationnum || 0 );
2092   return $locationsort if $locationsort;
2093
2094   if ( $a->get('cancel') xor $b->get('cancel') ) {
2095     return -1 if $b->get('cancel');
2096     return  1 if $a->get('cancel');
2097     #shouldn't get here...
2098     return 0;
2099   } else {
2100     my $a_num_cust_svc = $a->num_cust_svc;
2101     my $b_num_cust_svc = $b->num_cust_svc;
2102     return 0  if !$a_num_cust_svc && !$b_num_cust_svc;
2103     return -1 if  $a_num_cust_svc && !$b_num_cust_svc;
2104     return 1  if !$a_num_cust_svc &&  $b_num_cust_svc;
2105     my @a_cust_svc = $a->cust_svc;
2106     my @b_cust_svc = $b->cust_svc;
2107     $a_cust_svc[0]->svc_x->label cmp $b_cust_svc[0]->svc_x->label;
2108   }
2109
2110 }
2111
2112 =item suspended_pkgs
2113
2114 Returns all suspended packages (see L<FS::cust_pkg>) for this customer.
2115
2116 =cut
2117
2118 sub suspended_pkgs {
2119   my $self = shift;
2120   grep { $_->susp } $self->ncancelled_pkgs;
2121 }
2122
2123 =item unflagged_suspended_pkgs
2124
2125 Returns all unflagged suspended packages (see L<FS::cust_pkg>) for this
2126 customer (thouse packages without the `manual_flag' set).
2127
2128 =cut
2129
2130 sub unflagged_suspended_pkgs {
2131   my $self = shift;
2132   return $self->suspended_pkgs
2133     unless dbdef->table('cust_pkg')->column('manual_flag');
2134   grep { ! $_->manual_flag } $self->suspended_pkgs;
2135 }
2136
2137 =item unsuspended_pkgs
2138
2139 Returns all unsuspended (and uncancelled) packages (see L<FS::cust_pkg>) for
2140 this customer.
2141
2142 =cut
2143
2144 sub unsuspended_pkgs {
2145   my $self = shift;
2146   grep { ! $_->susp } $self->ncancelled_pkgs;
2147 }
2148
2149 =item next_bill_date
2150
2151 Returns the next date this customer will be billed, as a UNIX timestamp, or
2152 undef if no active package has a next bill date.
2153
2154 =cut
2155
2156 sub next_bill_date {
2157   my $self = shift;
2158   min( map $_->get('bill'), grep $_->get('bill'), $self->unsuspended_pkgs );
2159 }
2160
2161 =item num_cancelled_pkgs
2162
2163 Returns the number of cancelled packages (see L<FS::cust_pkg>) for this
2164 customer.
2165
2166 =cut
2167
2168 sub num_cancelled_pkgs {
2169   shift->num_pkgs("cust_pkg.cancel IS NOT NULL AND cust_pkg.cancel != 0");
2170 }
2171
2172 sub num_ncancelled_pkgs {
2173   shift->num_pkgs("( cust_pkg.cancel IS NULL OR cust_pkg.cancel = 0 )");
2174 }
2175
2176 sub num_pkgs {
2177   my( $self ) = shift;
2178   my $sql = scalar(@_) ? shift : '';
2179   $sql = "AND $sql" if $sql && $sql !~ /^\s*$/ && $sql !~ /^\s*AND/i;
2180   my $sth = dbh->prepare(
2181     "SELECT COUNT(*) FROM cust_pkg WHERE custnum = ? $sql"
2182   ) or die dbh->errstr;
2183   $sth->execute($self->custnum) or die $sth->errstr;
2184   $sth->fetchrow_arrayref->[0];
2185 }
2186
2187 =item unsuspend
2188
2189 Unsuspends all unflagged suspended packages (see L</unflagged_suspended_pkgs>
2190 and L<FS::cust_pkg>) for this customer.  Always returns a list: an empty list
2191 on success or a list of errors.
2192
2193 =cut
2194
2195 sub unsuspend {
2196   my $self = shift;
2197   grep { $_->unsuspend } $self->suspended_pkgs;
2198 }
2199
2200 =item suspend
2201
2202 Suspends all unsuspended packages (see L<FS::cust_pkg>) for this customer.
2203
2204 Returns a list: an empty list on success or a list of errors.
2205
2206 =cut
2207
2208 sub suspend {
2209   my $self = shift;
2210   grep { $_->suspend(@_) } $self->unsuspended_pkgs;
2211 }
2212
2213 =item suspend_if_pkgpart HASHREF | PKGPART [ , PKGPART ... ]
2214
2215 Suspends all unsuspended packages (see L<FS::cust_pkg>) matching the listed
2216 PKGPARTs (see L<FS::part_pkg>).  Preferred usage is to pass a hashref instead
2217 of a list of pkgparts; the hashref has the following keys:
2218
2219 =over 4
2220
2221 =item pkgparts - listref of pkgparts
2222
2223 =item (other options are passed to the suspend method)
2224
2225 =back
2226
2227
2228 Returns a list: an empty list on success or a list of errors.
2229
2230 =cut
2231
2232 sub suspend_if_pkgpart {
2233   my $self = shift;
2234   my (@pkgparts, %opt);
2235   if (ref($_[0]) eq 'HASH'){
2236     @pkgparts = @{$_[0]{pkgparts}};
2237     %opt      = %{$_[0]};
2238   }else{
2239     @pkgparts = @_;
2240   }
2241   grep { $_->suspend(%opt) }
2242     grep { my $pkgpart = $_->pkgpart; grep { $pkgpart eq $_ } @pkgparts }
2243       $self->unsuspended_pkgs;
2244 }
2245
2246 =item suspend_unless_pkgpart HASHREF | PKGPART [ , PKGPART ... ]
2247
2248 Suspends all unsuspended packages (see L<FS::cust_pkg>) unless they match the
2249 given PKGPARTs (see L<FS::part_pkg>).  Preferred usage is to pass a hashref
2250 instead of a list of pkgparts; the hashref has the following keys:
2251
2252 =over 4
2253
2254 =item pkgparts - listref of pkgparts
2255
2256 =item (other options are passed to the suspend method)
2257
2258 =back
2259
2260 Returns a list: an empty list on success or a list of errors.
2261
2262 =cut
2263
2264 sub suspend_unless_pkgpart {
2265   my $self = shift;
2266   my (@pkgparts, %opt);
2267   if (ref($_[0]) eq 'HASH'){
2268     @pkgparts = @{$_[0]{pkgparts}};
2269     %opt      = %{$_[0]};
2270   }else{
2271     @pkgparts = @_;
2272   }
2273   grep { $_->suspend(%opt) }
2274     grep { my $pkgpart = $_->pkgpart; ! grep { $pkgpart eq $_ } @pkgparts }
2275       $self->unsuspended_pkgs;
2276 }
2277
2278 =item cancel [ OPTION => VALUE ... ]
2279
2280 Cancels all uncancelled packages (see L<FS::cust_pkg>) for this customer.
2281
2282 Available options are:
2283
2284 =over 4
2285
2286 =item quiet - can be set true to supress email cancellation notices.
2287
2288 =item reason - can be set to a cancellation reason (see L<FS:reason>), either a reasonnum of an existing reason, or passing a hashref will create a new reason.  The hashref should have the following keys: typenum - Reason type (see L<FS::reason_type>, reason - Text of the new reason.
2289
2290 =item ban - can be set true to ban this customer's credit card or ACH information, if present.
2291
2292 =item nobill - can be set true to skip billing if it might otherwise be done.
2293
2294 =back
2295
2296 Always returns a list: an empty list on success or a list of errors.
2297
2298 =cut
2299
2300 # nb that dates are not specified as valid options to this method
2301
2302 sub cancel {
2303   my( $self, %opt ) = @_;
2304
2305   warn "$me cancel called on customer ". $self->custnum. " with options ".
2306        join(', ', map { "$_: $opt{$_}" } keys %opt ). "\n"
2307     if $DEBUG;
2308
2309   return ( 'access denied' )
2310     unless $FS::CurrentUser::CurrentUser->access_right('Cancel customer');
2311
2312   if ( $opt{'ban'} && $self->payby =~ /^(CARD|DCRD|CHEK|DCHK)$/ ) {
2313
2314     #should try decryption (we might have the private key)
2315     # and if not maybe queue a job for the server that does?
2316     return ( "Can't (yet) ban encrypted credit cards" )
2317       if $self->is_encrypted($self->payinfo);
2318
2319     my $ban = new FS::banned_pay $self->_banned_pay_hashref;
2320     my $error = $ban->insert;
2321     return ( $error ) if $error;
2322
2323   }
2324
2325   my @pkgs = $self->ncancelled_pkgs;
2326
2327   if ( !$opt{nobill} && $conf->exists('bill_usage_on_cancel') ) {
2328     $opt{nobill} = 1;
2329     my $error = $self->bill( pkg_list => [ @pkgs ], cancel => 1 );
2330     warn "Error billing during cancel, custnum ". $self->custnum. ": $error"
2331       if $error;
2332   }
2333
2334   warn "$me cancelling ". scalar($self->ncancelled_pkgs). "/".
2335        scalar(@pkgs). " packages for customer ". $self->custnum. "\n"
2336     if $DEBUG;
2337
2338   grep { $_ } map { $_->cancel(%opt) } $self->ncancelled_pkgs;
2339 }
2340
2341 sub _banned_pay_hashref {
2342   my $self = shift;
2343
2344   my %payby2ban = (
2345     'CARD' => 'CARD',
2346     'DCRD' => 'CARD',
2347     'CHEK' => 'CHEK',
2348     'DCHK' => 'CHEK'
2349   );
2350
2351   {
2352     'payby'   => $payby2ban{$self->payby},
2353     'payinfo' => md5_base64($self->payinfo),
2354     #don't ever *search* on reason! #'reason'  =>
2355   };
2356 }
2357
2358 =item notes
2359
2360 Returns all notes (see L<FS::cust_main_note>) for this customer.
2361
2362 =cut
2363
2364 sub notes {
2365   my $self = shift;
2366   #order by?
2367   qsearch( 'cust_main_note',
2368            { 'custnum' => $self->custnum },
2369            '',
2370            'ORDER BY _DATE DESC'
2371          );
2372 }
2373
2374 =item agent
2375
2376 Returns the agent (see L<FS::agent>) for this customer.
2377
2378 =cut
2379
2380 sub agent {
2381   my $self = shift;
2382   qsearchs( 'agent', { 'agentnum' => $self->agentnum } );
2383 }
2384
2385 =item bill_and_collect 
2386
2387 Cancels and suspends any packages due, generates bills, applies payments and
2388 credits, and applies collection events to run cards, send bills and notices,
2389 etc.
2390
2391 By default, warns on errors and continues with the next operation (but see the
2392 "fatal" flag below).
2393
2394 Options are passed as name-value pairs.  Currently available options are:
2395
2396 =over 4
2397
2398 =item time
2399
2400 Bills the customer as if it were that time.  Specified as a UNIX timestamp; see L<perlfunc/"time">).  Also see L<Time::Local> and L<Date::Parse> for conversion functions.  For example:
2401
2402  use Date::Parse;
2403  ...
2404  $cust_main->bill( 'time' => str2time('April 20th, 2001') );
2405
2406 =item invoice_time
2407
2408 Used in conjunction with the I<time> option, this option specifies the date of for the generated invoices.  Other calculations, such as whether or not to generate the invoice in the first place, are not affected.
2409
2410 =item check_freq
2411
2412 "1d" for the traditional, daily events (the default), or "1m" for the new monthly events (part_event.check_freq)
2413
2414 =item resetup
2415
2416 If set true, re-charges setup fees.
2417
2418 =item fatal
2419
2420 If set any errors prevent subsequent operations from continusing.  If set
2421 specifically to "return", returns the error (or false, if there is no error).
2422 Any other true value causes errors to die.
2423
2424 =item debug
2425
2426 Debugging level.  Default is 0 (no debugging), or can be set to 1 (passed-in options), 2 (traces progress), 3 (more information), or 4 (include full search queries)
2427
2428 =back
2429
2430 Options are passed to the B<bill> and B<collect> methods verbatim, so all
2431 options of those methods are also available.
2432
2433 =cut
2434
2435 sub bill_and_collect {
2436   my( $self, %options ) = @_;
2437
2438   my $error;
2439
2440   #$options{actual_time} not $options{time} because freeside-daily -d is for
2441   #pre-printing invoices
2442
2443   $options{'actual_time'} ||= time;
2444
2445   $error = $self->cancel_expired_pkgs( $options{actual_time} );
2446   if ( $error ) {
2447     $error = "Error expiring custnum ". $self->custnum. ": $error";
2448     if    ( $options{fatal} && $options{fatal} eq 'return' ) { return $error; }
2449     elsif ( $options{fatal}                                ) { die    $error; }
2450     else                                                     { warn   $error; }
2451   }
2452
2453   $error = $self->suspend_adjourned_pkgs( $options{actual_time} );
2454   if ( $error ) {
2455     $error = "Error adjourning custnum ". $self->custnum. ": $error";
2456     if    ( $options{fatal} && $options{fatal} eq 'return' ) { return $error; }
2457     elsif ( $options{fatal}                                ) { die    $error; }
2458     else                                                     { warn   $error; }
2459   }
2460
2461   $error = $self->bill( %options );
2462   if ( $error ) {
2463     $error = "Error billing custnum ". $self->custnum. ": $error";
2464     if    ( $options{fatal} && $options{fatal} eq 'return' ) { return $error; }
2465     elsif ( $options{fatal}                                ) { die    $error; }
2466     else                                                     { warn   $error; }
2467   }
2468
2469   $error = $self->apply_payments_and_credits;
2470   if ( $error ) {
2471     $error = "Error applying custnum ". $self->custnum. ": $error";
2472     if    ( $options{fatal} && $options{fatal} eq 'return' ) { return $error; }
2473     elsif ( $options{fatal}                                ) { die    $error; }
2474     else                                                     { warn   $error; }
2475   }
2476
2477   unless ( $conf->exists('cancelled_cust-noevents')
2478            && ! $self->num_ncancelled_pkgs
2479   ) {
2480     $error = $self->collect( %options );
2481     if ( $error ) {
2482       $error = "Error collecting custnum ". $self->custnum. ": $error";
2483       if    ($options{fatal} && $options{fatal} eq 'return') { return $error; }
2484       elsif ($options{fatal}                               ) { die    $error; }
2485       else                                                   { warn   $error; }
2486     }
2487   }
2488
2489   '';
2490
2491 }
2492
2493 sub cancel_expired_pkgs {
2494   my ( $self, $time, %options ) = @_;
2495
2496   my @cancel_pkgs = $self->ncancelled_pkgs( { 
2497     'extra_sql' => " AND expire IS NOT NULL AND expire > 0 AND expire <= $time "
2498   } );
2499
2500   my @errors = ();
2501
2502   foreach my $cust_pkg ( @cancel_pkgs ) {
2503     my $cpr = $cust_pkg->last_cust_pkg_reason('expire');
2504     my $error = $cust_pkg->cancel($cpr ? ( 'reason'        => $cpr->reasonnum,
2505                                            'reason_otaker' => $cpr->otaker
2506                                          )
2507                                        : ()
2508                                  );
2509     push @errors, 'pkgnum '.$cust_pkg->pkgnum.": $error" if $error;
2510   }
2511
2512   scalar(@errors) ? join(' / ', @errors) : '';
2513
2514 }
2515
2516 sub suspend_adjourned_pkgs {
2517   my ( $self, $time, %options ) = @_;
2518
2519   my @susp_pkgs = $self->ncancelled_pkgs( {
2520     'extra_sql' =>
2521       " AND ( susp IS NULL OR susp = 0 )
2522         AND (    ( bill    IS NOT NULL AND bill    != 0 AND bill    <  $time )
2523               OR ( adjourn IS NOT NULL AND adjourn != 0 AND adjourn <= $time )
2524             )
2525       ",
2526   } );
2527
2528   #only because there's no SQL test for is_prepaid :/
2529   @susp_pkgs = 
2530     grep {     (    $_->part_pkg->is_prepaid
2531                  && $_->bill
2532                  && $_->bill < $time
2533                )
2534             || (    $_->adjourn
2535                  && $_->adjourn <= $time
2536                )
2537            
2538          }
2539          @susp_pkgs;
2540
2541   my @errors = ();
2542
2543   foreach my $cust_pkg ( @susp_pkgs ) {
2544     my $cpr = $cust_pkg->last_cust_pkg_reason('adjourn')
2545       if ($cust_pkg->adjourn && $cust_pkg->adjourn < $^T);
2546     my $error = $cust_pkg->suspend($cpr ? ( 'reason' => $cpr->reasonnum,
2547                                             'reason_otaker' => $cpr->otaker
2548                                           )
2549                                         : ()
2550                                   );
2551     push @errors, 'pkgnum '.$cust_pkg->pkgnum.": $error" if $error;
2552   }
2553
2554   scalar(@errors) ? join(' / ', @errors) : '';
2555
2556 }
2557
2558 =item bill OPTIONS
2559
2560 Generates invoices (see L<FS::cust_bill>) for this customer.  Usually used in
2561 conjunction with the collect method by calling B<bill_and_collect>.
2562
2563 If there is an error, returns the error, otherwise returns false.
2564
2565 Options are passed as name-value pairs.  Currently available options are:
2566
2567 =over 4
2568
2569 =item resetup
2570
2571 If set true, re-charges setup fees.
2572
2573 =item time
2574
2575 Bills the customer as if it were that time.  Specified as a UNIX timestamp; see L<perlfunc/"time">).  Also see L<Time::Local> and L<Date::Parse> for conversion functions.  For example:
2576
2577  use Date::Parse;
2578  ...
2579  $cust_main->bill( 'time' => str2time('April 20th, 2001') );
2580
2581 =item pkg_list
2582
2583 An array ref of specific packages (objects) to attempt billing, instead trying all of them.
2584
2585  $cust_main->bill( pkg_list => [$pkg1, $pkg2] );
2586
2587 =item not_pkgpart
2588
2589 A hashref of pkgparts to exclude from this billing run (can also be specified as a comma-separated scalar).
2590
2591 =item invoice_time
2592
2593 Used in conjunction with the I<time> option, this option specifies the date of for the generated invoices.  Other calculations, such as whether or not to generate the invoice in the first place, are not affected.
2594
2595 =item cancel
2596
2597 This boolean value informs the us that the package is being cancelled.  This
2598 typically might mean not charging the normal recurring fee but only usage
2599 fees since the last billing. Setup charges may be charged.  Not all package
2600 plans support this feature (they tend to charge 0).
2601
2602 =item invoice_terms
2603
2604 Optional terms to be printed on this invoice.  Otherwise, customer-specific
2605 terms or the default terms are used.
2606
2607 =back
2608
2609 =cut
2610
2611 sub bill {
2612   my( $self, %options ) = @_;
2613   return '' if $self->payby eq 'COMP';
2614   warn "$me bill customer ". $self->custnum. "\n"
2615     if $DEBUG;
2616
2617   my $time = $options{'time'} || time;
2618   my $invoice_time = $options{'invoice_time'} || $time;
2619
2620   $options{'not_pkgpart'} ||= {};
2621   $options{'not_pkgpart'} = { map { $_ => 1 }
2622                                   split(/\s*,\s*/, $options{'not_pkgpart'})
2623                             }
2624     unless ref($options{'not_pkgpart'});
2625
2626   local $SIG{HUP} = 'IGNORE';
2627   local $SIG{INT} = 'IGNORE';
2628   local $SIG{QUIT} = 'IGNORE';
2629   local $SIG{TERM} = 'IGNORE';
2630   local $SIG{TSTP} = 'IGNORE';
2631   local $SIG{PIPE} = 'IGNORE';
2632
2633   my $oldAutoCommit = $FS::UID::AutoCommit;
2634   local $FS::UID::AutoCommit = 0;
2635   my $dbh = dbh;
2636
2637   $self->select_for_update; #mutex
2638
2639   my $error = $self->do_cust_event(
2640     'debug'      => ( $options{'debug'} || 0 ),
2641     'time'       => $invoice_time,
2642     'check_freq' => $options{'check_freq'},
2643     'stage'      => 'pre-bill',
2644   );
2645   if ( $error ) {
2646     $dbh->rollback if $oldAutoCommit;
2647     return $error;
2648   }
2649
2650   my @cust_bill_pkg = ();
2651
2652   ###
2653   # find the packages which are due for billing, find out how much they are
2654   # & generate invoice database.
2655   ###
2656
2657   my( $total_setup, $total_recur, $postal_charge ) = ( 0, 0, 0 );
2658   my %taxlisthash;
2659   my @precommit_hooks = ();
2660
2661   $options{'pkg_list'} ||= [ $self->ncancelled_pkgs ];  #param checks?
2662   foreach my $cust_pkg ( @{ $options{'pkg_list'} } ) {
2663
2664     next if $options{'not_pkgpart'}->{$cust_pkg->pkgpart};
2665
2666     warn "  bill package ". $cust_pkg->pkgnum. "\n" if $DEBUG > 1;
2667
2668     #? to avoid use of uninitialized value errors... ?
2669     $cust_pkg->setfield('bill', '')
2670       unless defined($cust_pkg->bill);
2671  
2672     #my $part_pkg = $cust_pkg->part_pkg;
2673
2674     my $real_pkgpart = $cust_pkg->pkgpart;
2675     my %hash = $cust_pkg->hash;
2676
2677     foreach my $part_pkg ( $cust_pkg->part_pkg->self_and_bill_linked ) {
2678
2679       $cust_pkg->set($_, $hash{$_}) foreach qw ( setup last_bill bill );
2680
2681       my $error =
2682         $self->_make_lines( 'part_pkg'            => $part_pkg,
2683                             'cust_pkg'            => $cust_pkg,
2684                             'precommit_hooks'     => \@precommit_hooks,
2685                             'line_items'          => \@cust_bill_pkg,
2686                             'setup'               => \$total_setup,
2687                             'recur'               => \$total_recur,
2688                             'tax_matrix'          => \%taxlisthash,
2689                             'time'                => $time,
2690                             'real_pkgpart'        => $real_pkgpart,
2691                             'options'             => \%options,
2692                           );
2693       if ($error) {
2694         $dbh->rollback if $oldAutoCommit;
2695         return $error;
2696       }
2697
2698     } #foreach my $part_pkg
2699
2700   } #foreach my $cust_pkg
2701
2702   unless ( @cust_bill_pkg ) { #don't create an invoice w/o line items
2703     #but do commit any package date cycling that happened
2704     $dbh->commit or die $dbh->errstr if $oldAutoCommit;
2705     return '';
2706   }
2707
2708   if ( scalar( grep { $_->recur && $_->recur > 0 } @cust_bill_pkg) ||
2709          !$conf->exists('postal_invoice-recurring_only')
2710      )
2711   {
2712
2713     my $postal_pkg = $self->charge_postal_fee();
2714     if ( $postal_pkg && !ref( $postal_pkg ) ) {
2715
2716       $dbh->rollback if $oldAutoCommit;
2717       return "can't charge postal invoice fee for customer ".
2718         $self->custnum. ": $postal_pkg";
2719
2720     } elsif ( $postal_pkg ) {
2721
2722       my $real_pkgpart = $postal_pkg->pkgpart;
2723       foreach my $part_pkg ( $postal_pkg->part_pkg->self_and_bill_linked ) {
2724         my %postal_options = %options;
2725         delete $postal_options{cancel};
2726         my $error =
2727           $self->_make_lines( 'part_pkg'            => $part_pkg,
2728                               'cust_pkg'            => $postal_pkg,
2729                               'precommit_hooks'     => \@precommit_hooks,
2730                               'line_items'          => \@cust_bill_pkg,
2731                               'setup'               => \$total_setup,
2732                               'recur'               => \$total_recur,
2733                               'tax_matrix'          => \%taxlisthash,
2734                               'time'                => $time,
2735                               'real_pkgpart'        => $real_pkgpart,
2736                               'options'             => \%postal_options,
2737                             );
2738         if ($error) {
2739           $dbh->rollback if $oldAutoCommit;
2740           return $error;
2741         }
2742       }
2743
2744     }
2745
2746   }
2747
2748   warn "having a look at the taxes we found...\n" if $DEBUG > 2;
2749
2750   # keys are tax names (as printed on invoices / itemdesc )
2751   # values are listrefs of taxlisthash keys (internal identifiers)
2752   my %taxname = ();
2753
2754   # keys are taxlisthash keys (internal identifiers)
2755   # values are (cumulative) amounts
2756   my %tax = ();
2757
2758   # keys are taxlisthash keys (internal identifiers)
2759   # values are listrefs of cust_bill_pkg_tax_location hashrefs
2760   my %tax_location = ();
2761
2762   # keys are taxlisthash keys (internal identifiers)
2763   # values are listrefs of cust_bill_pkg_tax_rate_location hashrefs
2764   my %tax_rate_location = ();
2765
2766   foreach my $tax ( keys %taxlisthash ) {
2767     my $tax_object = shift @{ $taxlisthash{$tax} };
2768     warn "found ". $tax_object->taxname. " as $tax\n" if $DEBUG > 2;
2769     warn " ". join('/', @{ $taxlisthash{$tax} } ). "\n" if $DEBUG > 2;
2770     my $hashref_or_error =
2771       $tax_object->taxline( $taxlisthash{$tax},
2772                             'custnum'      => $self->custnum,
2773                             'invoice_time' => $invoice_time
2774                           );
2775     unless ( ref($hashref_or_error) ) {
2776       $dbh->rollback if $oldAutoCommit;
2777       return $hashref_or_error;
2778     }
2779     unshift @{ $taxlisthash{$tax} }, $tax_object;
2780
2781     my $name   = $hashref_or_error->{'name'};
2782     my $amount = $hashref_or_error->{'amount'};
2783
2784     #warn "adding $amount as $name\n";
2785     $taxname{ $name } ||= [];
2786     push @{ $taxname{ $name } }, $tax;
2787
2788     $tax{ $tax } += $amount;
2789
2790     $tax_location{ $tax } ||= [];
2791     if ( $tax_object->get('pkgnum') || $tax_object->get('locationnum') ) {
2792       push @{ $tax_location{ $tax }  },
2793         {
2794           'taxnum'      => $tax_object->taxnum, 
2795           'taxtype'     => ref($tax_object),
2796           'pkgnum'      => $tax_object->get('pkgnum'),
2797           'locationnum' => $tax_object->get('locationnum'),
2798           'amount'      => sprintf('%.2f', $amount ),
2799         };
2800     }
2801
2802     $tax_rate_location{ $tax } ||= [];
2803     if ( ref($tax_object) eq 'FS::tax_rate' ) {
2804       my $taxratelocationnum =
2805         $tax_object->tax_rate_location->taxratelocationnum;
2806       push @{ $tax_rate_location{ $tax }  },
2807         {
2808           'taxnum'             => $tax_object->taxnum, 
2809           'taxtype'            => ref($tax_object),
2810           'amount'             => sprintf('%.2f', $amount ),
2811           'locationtaxid'      => $tax_object->location,
2812           'taxratelocationnum' => $taxratelocationnum,
2813         };
2814     }
2815
2816   }
2817
2818   #move the cust_tax_exempt_pkg records to the cust_bill_pkgs we will commit
2819   my %packagemap = map { $_->pkgnum => $_ } @cust_bill_pkg;
2820   foreach my $tax ( keys %taxlisthash ) {
2821     foreach ( @{ $taxlisthash{$tax} }[1 ... scalar(@{ $taxlisthash{$tax} })] ) {
2822       next unless ref($_) eq 'FS::cust_bill_pkg';
2823
2824       push @{ $packagemap{$_->pkgnum}->_cust_tax_exempt_pkg }, 
2825         splice( @{ $_->_cust_tax_exempt_pkg } );
2826     }
2827   }
2828
2829   #consolidate and create tax line items
2830   warn "consolidating and generating...\n" if $DEBUG > 2;
2831   foreach my $taxname ( keys %taxname ) {
2832     my $tax = 0;
2833     my %seen = ();
2834     my @cust_bill_pkg_tax_location = ();
2835     my @cust_bill_pkg_tax_rate_location = ();
2836     warn "adding $taxname\n" if $DEBUG > 1;
2837     foreach my $taxitem ( @{ $taxname{$taxname} } ) {
2838       next if $seen{$taxitem}++;
2839       warn "adding $tax{$taxitem}\n" if $DEBUG > 1;
2840       $tax += $tax{$taxitem};
2841       push @cust_bill_pkg_tax_location,
2842         map { new FS::cust_bill_pkg_tax_location $_ }
2843             @{ $tax_location{ $taxitem } };
2844       push @cust_bill_pkg_tax_rate_location,
2845         map { new FS::cust_bill_pkg_tax_rate_location $_ }
2846             @{ $tax_rate_location{ $taxitem } };
2847     }
2848     next unless $tax;
2849
2850     $tax = sprintf('%.2f', $tax );
2851     $total_setup = sprintf('%.2f', $total_setup+$tax );
2852   
2853     my $pkg_category = qsearchs( 'pkg_category', { 'categoryname' => $taxname,
2854                                                    'disabled'     => '',
2855                                                  },
2856                                );
2857
2858     my @display = ();
2859     if ( $pkg_category and
2860          $conf->config('invoice_latexsummary') ||
2861          $conf->config('invoice_htmlsummary')
2862        )
2863     {
2864
2865       my %hash = (  'section' => $pkg_category->categoryname );
2866       push @display, new FS::cust_bill_pkg_display { type => 'S', %hash };
2867
2868     }
2869
2870     push @cust_bill_pkg, new FS::cust_bill_pkg {
2871       'pkgnum'   => 0,
2872       'setup'    => $tax,
2873       'recur'    => 0,
2874       'sdate'    => '',
2875       'edate'    => '',
2876       'itemdesc' => $taxname,
2877       'display'  => \@display,
2878       'cust_bill_pkg_tax_location' => \@cust_bill_pkg_tax_location,
2879       'cust_bill_pkg_tax_rate_location' => \@cust_bill_pkg_tax_rate_location,
2880     };
2881
2882   }
2883
2884   #add tax adjustments
2885   warn "adding tax adjustments...\n" if $DEBUG > 2;
2886   foreach my $cust_tax_adjustment (
2887     qsearch('cust_tax_adjustment', { 'custnum'    => $self->custnum,
2888                                      'billpkgnum' => '',
2889                                    }
2890            )
2891   ) {
2892
2893     my $tax = sprintf('%.2f', $cust_tax_adjustment->amount );
2894     $total_setup = sprintf('%.2f', $total_setup+$tax );
2895
2896     my $itemdesc = $cust_tax_adjustment->taxname;
2897     $itemdesc = '' if $itemdesc eq 'Tax';
2898
2899     push @cust_bill_pkg, new FS::cust_bill_pkg {
2900       'pkgnum'      => 0,
2901       'setup'       => $tax,
2902       'recur'       => 0,
2903       'sdate'       => '',
2904       'edate'       => '',
2905       'itemdesc'    => $itemdesc,
2906       'itemcomment' => $cust_tax_adjustment->comment,
2907       'cust_tax_adjustment' => $cust_tax_adjustment,
2908       #'cust_bill_pkg_tax_location' => \@cust_bill_pkg_tax_location,
2909     };
2910
2911   }
2912
2913   my $charged = sprintf('%.2f', $total_setup + $total_recur );
2914
2915   my @cust_bill = $self->cust_bill;
2916   my $balance = $self->balance;
2917   my $previous_balance = scalar(@cust_bill)
2918                            ? ( $cust_bill[$#cust_bill]->billing_balance || 0 )
2919                            : 0;
2920
2921   $previous_balance += $cust_bill[$#cust_bill]->charged
2922     if scalar(@cust_bill);
2923   #my $balance_adjustments =
2924   #  sprintf('%.2f', $balance - $prior_prior_balance - $prior_charged);
2925
2926   #create the new invoice
2927   my $cust_bill = new FS::cust_bill ( {
2928     'custnum'             => $self->custnum,
2929     '_date'               => ( $invoice_time ),
2930     'charged'             => $charged,
2931     'billing_balance'     => $balance,
2932     'previous_balance'    => $previous_balance,
2933     'invoice_terms'       => $options{'invoice_terms'},
2934   } );
2935   $error = $cust_bill->insert;
2936   if ( $error ) {
2937     $dbh->rollback if $oldAutoCommit;
2938     return "can't create invoice for customer #". $self->custnum. ": $error";
2939   }
2940
2941   foreach my $cust_bill_pkg ( @cust_bill_pkg ) {
2942     $cust_bill_pkg->invnum($cust_bill->invnum); 
2943     my $error = $cust_bill_pkg->insert;
2944     if ( $error ) {
2945       $dbh->rollback if $oldAutoCommit;
2946       return "can't create invoice line item: $error";
2947     }
2948   }
2949     
2950
2951   foreach my $hook ( @precommit_hooks ) { 
2952     eval {
2953       &{$hook}; #($self) ?
2954     };
2955     if ( $@ ) {
2956       $dbh->rollback if $oldAutoCommit;
2957       return "$@ running precommit hook $hook\n";
2958     }
2959   }
2960   
2961   $dbh->commit or die $dbh->errstr if $oldAutoCommit;
2962   ''; #no error
2963 }
2964
2965
2966 sub _make_lines {
2967   my ($self, %params) = @_;
2968
2969   my $part_pkg = $params{part_pkg} or die "no part_pkg specified";
2970   my $cust_pkg = $params{cust_pkg} or die "no cust_pkg specified";
2971   my $precommit_hooks = $params{precommit_hooks} or die "no package specified";
2972   my $cust_bill_pkgs = $params{line_items} or die "no line buffer specified";
2973   my $total_setup = $params{setup} or die "no setup accumulator specified";
2974   my $total_recur = $params{recur} or die "no recur accumulator specified";
2975   my $taxlisthash = $params{tax_matrix} or die "no tax accumulator specified";
2976   my $time = $params{'time'} or die "no time specified";
2977   my (%options) = %{$params{options}};
2978
2979   my $dbh = dbh;
2980   my $real_pkgpart = $params{real_pkgpart};
2981   my %hash = $cust_pkg->hash;
2982   my $old_cust_pkg = new FS::cust_pkg \%hash;
2983
2984   my @details = ();
2985
2986   my $lineitems = 0;
2987
2988   $cust_pkg->pkgpart($part_pkg->pkgpart);
2989
2990   ###
2991   # bill setup
2992   ###
2993
2994   my $setup = 0;
2995   my $unitsetup = 0;
2996   if ( $options{'resetup'}
2997        || ( ! $cust_pkg->setup
2998             && ( ! $cust_pkg->start_date
2999                  || $cust_pkg->start_date <= $time
3000                )
3001             && ( ! $conf->exists('disable_setup_suspended_pkgs')
3002                  || ( $conf->exists('disable_setup_suspended_pkgs') &&
3003                       ! $cust_pkg->getfield('susp')
3004                     )
3005                )
3006           )
3007     )
3008   {
3009     
3010     warn "    bill setup\n" if $DEBUG > 1;
3011     $lineitems++;
3012
3013     $setup = eval { $cust_pkg->calc_setup( $time, \@details ) };
3014     return "$@ running calc_setup for $cust_pkg\n"
3015       if $@;
3016
3017     $unitsetup = $cust_pkg->part_pkg->unit_setup || $setup; #XXX uuh
3018
3019     $cust_pkg->setfield('setup', $time)
3020       unless $cust_pkg->setup;
3021           #do need it, but it won't get written to the db
3022           #|| $cust_pkg->pkgpart != $real_pkgpart;
3023
3024     $cust_pkg->setfield('start_date', '')
3025       if $cust_pkg->start_date;
3026
3027   }
3028
3029   ###
3030   # bill recurring fee
3031   ### 
3032
3033   #XXX unit stuff here too
3034   my $recur = 0;
3035   my $unitrecur = 0;
3036   my $sdate;
3037   if (     ! $cust_pkg->get('susp')
3038        and ! $cust_pkg->get('start_date')
3039        and ( $part_pkg->getfield('freq') ne '0'
3040              && ( $cust_pkg->getfield('bill') || 0 ) <= $time
3041            )
3042         || ( $part_pkg->plan eq 'voip_cdr'
3043               && $part_pkg->option('bill_every_call')
3044            )
3045         || ( $options{cancel} )
3046   ) {
3047
3048     # XXX should this be a package event?  probably.  events are called
3049     # at collection time at the moment, though...
3050     $part_pkg->reset_usage($cust_pkg, 'debug'=>$DEBUG)
3051       if $part_pkg->can('reset_usage');
3052       #don't want to reset usage just cause we want a line item??
3053       #&& $part_pkg->pkgpart == $real_pkgpart;
3054
3055     warn "    bill recur\n" if $DEBUG > 1;
3056     $lineitems++;
3057
3058     # XXX shared with $recur_prog
3059     $sdate = ( $options{cancel} ? $cust_pkg->last_bill : $cust_pkg->bill )
3060              || $cust_pkg->setup
3061              || $time;
3062
3063     #over two params!  lets at least switch to a hashref for the rest...
3064     my $increment_next_bill = ( $part_pkg->freq ne '0'
3065                                 && ( $cust_pkg->getfield('bill') || 0 ) <= $time
3066                                 && !$options{cancel}
3067                               );
3068     my %param = ( 'precommit_hooks'     => $precommit_hooks,
3069                   'increment_next_bill' => $increment_next_bill,
3070                 );
3071
3072     my $method = $options{cancel} ? 'calc_cancel' : 'calc_recur';
3073     $recur = eval { $cust_pkg->$method( \$sdate, \@details, \%param ) };
3074     return "$@ running $method for $cust_pkg\n"
3075       if ( $@ );
3076
3077     if ( $increment_next_bill ) {
3078
3079       my $next_bill = $part_pkg->add_freq($sdate);
3080       return "unparsable frequency: ". $part_pkg->freq
3081         if $next_bill == -1;
3082   
3083       #pro-rating magic - if $recur_prog fiddled $sdate, want to use that
3084       # only for figuring next bill date, nothing else, so, reset $sdate again
3085       # here
3086       $sdate = $cust_pkg->bill || $cust_pkg->setup || $time;
3087       #no need, its in $hash{last_bill}# my $last_bill = $cust_pkg->last_bill;
3088       $cust_pkg->last_bill($sdate);
3089
3090       $cust_pkg->setfield('bill', $next_bill );
3091
3092     }
3093
3094   }
3095
3096   warn "\$setup is undefined" unless defined($setup);
3097   warn "\$recur is undefined" unless defined($recur);
3098   warn "\$cust_pkg->bill is undefined" unless defined($cust_pkg->bill);
3099   
3100   ###
3101   # If there's line items, create em cust_bill_pkg records
3102   # If $cust_pkg has been modified, update it (if we're a real pkgpart)
3103   ###
3104
3105   if ( $lineitems ) {
3106
3107     if ( $cust_pkg->modified && $cust_pkg->pkgpart == $real_pkgpart ) {
3108       # hmm.. and if just the options are modified in some weird price plan?
3109   
3110       warn "  package ". $cust_pkg->pkgnum. " modified; updating\n"
3111         if $DEBUG >1;
3112   
3113       my $error = $cust_pkg->replace( $old_cust_pkg,
3114                                       'options' => { $cust_pkg->options },
3115                                     );
3116       return "Error modifying pkgnum ". $cust_pkg->pkgnum. ": $error"
3117         if $error; #just in case
3118     }
3119   
3120     $setup = sprintf( "%.2f", $setup );
3121     $recur = sprintf( "%.2f", $recur );
3122     if ( $setup < 0 && ! $conf->exists('allow_negative_charges') ) {
3123       return "negative setup $setup for pkgnum ". $cust_pkg->pkgnum;
3124     }
3125     if ( $recur < 0 && ! $conf->exists('allow_negative_charges') ) {
3126       return "negative recur $recur for pkgnum ". $cust_pkg->pkgnum;
3127     }
3128
3129     if ( $setup != 0 || $recur != 0 ) {
3130
3131       warn "    charges (setup=$setup, recur=$recur); adding line items\n"
3132         if $DEBUG > 1;
3133
3134       my @cust_pkg_detail = map { $_->detail } $cust_pkg->cust_pkg_detail('I');
3135       if ( $DEBUG > 1 ) {
3136         warn "      adding customer package invoice detail: $_\n"
3137           foreach @cust_pkg_detail;
3138       }
3139       push @details, @cust_pkg_detail;
3140
3141       my $cust_bill_pkg = new FS::cust_bill_pkg {
3142         'pkgnum'    => $cust_pkg->pkgnum,
3143         'setup'     => $setup,
3144         'unitsetup' => $unitsetup,
3145         'recur'     => $recur,
3146         'unitrecur' => $unitrecur,
3147         'quantity'  => $cust_pkg->quantity,
3148         'details'   => \@details,
3149         'hidden'    => $part_pkg->hidden,
3150       };
3151
3152       if ( $part_pkg->option('recur_temporality', 1) eq 'preceding' ) {
3153         $cust_bill_pkg->sdate( $hash{last_bill} );
3154         $cust_bill_pkg->edate( $sdate - 86399   ); #60s*60m*24h-1
3155         $cust_bill_pkg->edate( $time ) if $options{cancel};
3156       } else { #if ( $part_pkg->option('recur_temporality', 1) eq 'upcoming' ) {
3157         $cust_bill_pkg->sdate( $sdate );
3158         $cust_bill_pkg->edate( $cust_pkg->bill );
3159         #$cust_bill_pkg->edate( $time ) if $options{cancel};
3160       }
3161
3162       $cust_bill_pkg->pkgpart_override($part_pkg->pkgpart)
3163         unless $part_pkg->pkgpart == $real_pkgpart;
3164
3165       $$total_setup += $setup;
3166       $$total_recur += $recur;
3167
3168       ###
3169       # handle taxes
3170       ###
3171
3172       my $error = 
3173         $self->_handle_taxes($part_pkg, $taxlisthash, $cust_bill_pkg, $cust_pkg, $options{invoice_time}, $real_pkgpart, \%options);
3174       return $error if $error;
3175
3176       push @$cust_bill_pkgs, $cust_bill_pkg;
3177
3178     } #if $setup != 0 || $recur != 0
3179       
3180   } #if $line_items
3181
3182   '';
3183
3184 }
3185
3186 sub _handle_taxes {
3187   my $self = shift;
3188   my $part_pkg = shift;
3189   my $taxlisthash = shift;
3190   my $cust_bill_pkg = shift;
3191   my $cust_pkg = shift;
3192   my $invoice_time = shift;
3193   my $real_pkgpart = shift;
3194   my $options = shift;
3195
3196   my %cust_bill_pkg = ();
3197   my %taxes = ();
3198     
3199   my @classes;
3200   #push @classes, $cust_bill_pkg->usage_classes if $cust_bill_pkg->type eq 'U';
3201   push @classes, $cust_bill_pkg->usage_classes if $cust_bill_pkg->usage;
3202   push @classes, 'setup' if ($cust_bill_pkg->setup && !$options->{cancel});
3203   push @classes, 'recur' if ($cust_bill_pkg->recur && !$options->{cancel});
3204
3205   if ( $self->tax !~ /Y/i && $self->payby ne 'COMP' ) {
3206
3207     if ( $conf->exists('enable_taxproducts')
3208          && ( scalar($part_pkg->part_pkg_taxoverride)
3209               || $part_pkg->has_taxproduct
3210             )
3211        )
3212     {
3213
3214       if ( $conf->exists('tax-pkg_address') && $cust_pkg->locationnum ) {
3215         return "fatal: Can't (yet) use tax-pkg_address with taxproducts";
3216       }
3217
3218       foreach my $class (@classes) {
3219         my $err_or_ref = $self->_gather_taxes( $part_pkg, $class );
3220         return $err_or_ref unless ref($err_or_ref);
3221         $taxes{$class} = $err_or_ref;
3222       }
3223
3224       unless (exists $taxes{''}) {
3225         my $err_or_ref = $self->_gather_taxes( $part_pkg, '' );
3226         return $err_or_ref unless ref($err_or_ref);
3227         $taxes{''} = $err_or_ref;
3228       }
3229
3230     } else {
3231
3232       my @loc_keys = qw( state county country );
3233       my %taxhash;
3234       if ( $conf->exists('tax-pkg_address') && $cust_pkg->locationnum ) {
3235         my $cust_location = $cust_pkg->cust_location;
3236         %taxhash = map { $_ => $cust_location->$_()    } @loc_keys;
3237       } else {
3238         my $prefix = 
3239           ( $conf->exists('tax-ship_address') && length($self->ship_last) )
3240           ? 'ship_'
3241           : '';
3242         %taxhash = map { $_ => $self->get("$prefix$_") } @loc_keys;
3243       }
3244
3245       $taxhash{'taxclass'} = $part_pkg->taxclass;
3246
3247       my @taxes = qsearch( 'cust_main_county', \%taxhash );
3248
3249       my %taxhash_elim = %taxhash;
3250
3251       my @elim = qw( taxclass county state );
3252       while ( !scalar(@taxes) && scalar(@elim) ) {
3253         $taxhash_elim{ shift(@elim) } = '';
3254         @taxes = qsearch( 'cust_main_county', \%taxhash_elim );
3255       }
3256
3257       @taxes = grep { ! $_->taxname or ! $self->tax_exemption($_->taxname) }
3258                     @taxes
3259         if $self->cust_main_exemption; #just to be safe
3260
3261       if ( $conf->exists('tax-pkg_address') && $cust_pkg->locationnum ) {
3262         foreach (@taxes) {
3263           $_->set('pkgnum',      $cust_pkg->pkgnum );
3264           $_->set('locationnum', $cust_pkg->locationnum );
3265         }
3266       }
3267
3268       $taxes{''} = [ @taxes ];
3269       $taxes{'setup'} = [ @taxes ];
3270       $taxes{'recur'} = [ @taxes ];
3271       $taxes{$_} = [ @taxes ] foreach (@classes);
3272
3273       # # maybe eliminate this entirely, along with all the 0% records
3274       # unless ( @taxes ) {
3275       #   return
3276       #     "fatal: can't find tax rate for state/county/country/taxclass ".
3277       #     join('/', map $taxhash{$_}, qw(state county country taxclass) );
3278       # }
3279
3280     } #if $conf->exists('enable_taxproducts') ...
3281
3282   }
3283  
3284   my @display = ();
3285   my $separate = $conf->exists('separate_usage');
3286   my $usage_mandate = $cust_pkg->part_pkg->option('usage_mandate', 'Hush!');
3287   if ( $separate || $cust_bill_pkg->hidden || $usage_mandate ) {
3288
3289     my $temp_pkg = new FS::cust_pkg { pkgpart => $real_pkgpart };
3290     my %hash = $cust_bill_pkg->hidden  # maybe for all bill linked?
3291                ? (  'section' => $temp_pkg->part_pkg->categoryname )
3292                : ();
3293
3294     my $section = $cust_pkg->part_pkg->option('usage_section', 'Hush!');
3295     my $summary = $cust_pkg->part_pkg->option('summarize_usage', 'Hush!');
3296     if ( $separate ) {
3297       push @display, new FS::cust_bill_pkg_display { type => 'S', %hash };
3298       push @display, new FS::cust_bill_pkg_display { type => 'R', %hash };
3299     } else {
3300       push @display, new FS::cust_bill_pkg_display
3301                        { type => '',
3302                          %hash,
3303                          ( ( $usage_mandate ) ? ( 'summary' => 'Y' ) : () ),
3304                        };
3305     }
3306
3307     if ($separate && $section && $summary) {
3308       push @display, new FS::cust_bill_pkg_display { type    => 'U',
3309                                                      summary => 'Y',
3310                                                      %hash,
3311                                                    };
3312     }
3313     if ($usage_mandate || $section && $summary) {
3314       $hash{post_total} = 'Y';
3315     }
3316
3317     $hash{section} = $section if ($separate || $usage_mandate);
3318     push @display, new FS::cust_bill_pkg_display { type => 'U', %hash };
3319
3320   }
3321   $cust_bill_pkg->set('display', \@display);
3322
3323   my %tax_cust_bill_pkg = $cust_bill_pkg->disintegrate;
3324   foreach my $key (keys %tax_cust_bill_pkg) {
3325     my @taxes = @{ $taxes{$key} || [] };
3326     my $tax_cust_bill_pkg = $tax_cust_bill_pkg{$key};
3327
3328     my %localtaxlisthash = ();
3329     foreach my $tax ( @taxes ) {
3330
3331       my $taxname = ref( $tax ). ' '. $tax->taxnum;
3332 #      $taxname .= ' pkgnum'. $cust_pkg->pkgnum.
3333 #                  ' locationnum'. $cust_pkg->locationnum
3334 #        if $conf->exists('tax-pkg_address') && $cust_pkg->locationnum;
3335
3336       $taxlisthash->{ $taxname } ||= [ $tax ];
3337       push @{ $taxlisthash->{ $taxname  } }, $tax_cust_bill_pkg;
3338
3339       $localtaxlisthash{ $taxname } ||= [ $tax ];
3340       push @{ $localtaxlisthash{ $taxname  } }, $tax_cust_bill_pkg;
3341
3342     }
3343
3344     warn "finding taxed taxes...\n" if $DEBUG > 2;
3345     foreach my $tax ( keys %localtaxlisthash ) {
3346       my $tax_object = shift @{ $localtaxlisthash{$tax} };
3347       warn "found possible taxed tax ". $tax_object->taxname. " we call $tax\n"
3348         if $DEBUG > 2;
3349       next unless $tax_object->can('tax_on_tax');
3350
3351       foreach my $tot ( $tax_object->tax_on_tax( $self ) ) {
3352         my $totname = ref( $tot ). ' '. $tot->taxnum;
3353
3354         warn "checking $totname which we call ". $tot->taxname. " as applicable\n"
3355           if $DEBUG > 2;
3356         next unless exists( $localtaxlisthash{ $totname } ); # only increase
3357                                                              # existing taxes
3358         warn "adding $totname to taxed taxes\n" if $DEBUG > 2;
3359         my $hashref_or_error = 
3360           $tax_object->taxline( $localtaxlisthash{$tax},
3361                                 'custnum'      => $self->custnum,
3362                                 'invoice_time' => $invoice_time,
3363                               );
3364         return $hashref_or_error
3365           unless ref($hashref_or_error);
3366         
3367         $taxlisthash->{ $totname } ||= [ $tot ];
3368         push @{ $taxlisthash->{ $totname  } }, $hashref_or_error->{amount};
3369
3370       }
3371     }
3372
3373   }
3374
3375   '';
3376 }
3377
3378 sub _gather_taxes {
3379   my $self = shift;
3380   my $part_pkg = shift;
3381   my $class = shift;
3382
3383   my @taxes = ();
3384   my $geocode = $self->geocode('cch');
3385
3386   my @taxclassnums = map { $_->taxclassnum }
3387                      $part_pkg->part_pkg_taxoverride($class);
3388
3389   unless (@taxclassnums) {
3390     @taxclassnums = map { $_->taxclassnum }
3391                     grep { $_->taxable eq 'Y' }
3392                     $part_pkg->part_pkg_taxrate('cch', $geocode, $class);
3393   }
3394   warn "Found taxclassnum values of ". join(',', @taxclassnums)
3395     if $DEBUG;
3396
3397   my $extra_sql =
3398     "AND (".
3399     join(' OR ', map { "taxclassnum = $_" } @taxclassnums ). ")";
3400
3401   @taxes = qsearch({ 'table' => 'tax_rate',
3402                      'hashref' => { 'geocode' => $geocode, },
3403                      'extra_sql' => $extra_sql,
3404                   })
3405     if scalar(@taxclassnums);
3406
3407   warn "Found taxes ".
3408        join(',', map{ ref($_). " ". $_->get($_->primary_key) } @taxes). "\n" 
3409    if $DEBUG;
3410
3411   [ @taxes ];
3412
3413 }
3414
3415 =item collect [ HASHREF | OPTION => VALUE ... ]
3416
3417 (Attempt to) collect money for this customer's outstanding invoices (see
3418 L<FS::cust_bill>).  Usually used after the bill method.
3419
3420 Actions are now triggered by billing events; see L<FS::part_event> and the
3421 billing events web interface.  Old-style invoice events (see
3422 L<FS::part_bill_event>) have been deprecated.
3423
3424 If there is an error, returns the error, otherwise returns false.
3425
3426 Options are passed as name-value pairs.
3427
3428 Currently available options are:
3429
3430 =over 4
3431
3432 =item invoice_time
3433
3434 Use this time when deciding when to print invoices and late notices on those invoices.  The default is now.  It is specified as a UNIX timestamp; see L<perlfunc/"time">).  Also see L<Time::Local> and L<Date::Parse> for conversion functions.
3435
3436 =item retry
3437
3438 Retry card/echeck/LEC transactions even when not scheduled by invoice events.
3439
3440 =item check_freq
3441
3442 "1d" for the traditional, daily events (the default), or "1m" for the new monthly events (part_event.check_freq)
3443
3444 =item quiet
3445
3446 set true to surpress email card/ACH decline notices.
3447
3448 =item debug
3449
3450 Debugging level.  Default is 0 (no debugging), or can be set to 1 (passed-in options), 2 (traces progress), 3 (more information), or 4 (include full search queries)
3451
3452 =back
3453
3454 # =item payby
3455 #
3456 # allows for one time override of normal customer billing method
3457
3458 =cut
3459
3460 sub collect {
3461   my( $self, %options ) = @_;
3462   my $invoice_time = $options{'invoice_time'} || time;
3463
3464   #put below somehow?
3465   local $SIG{HUP} = 'IGNORE';
3466   local $SIG{INT} = 'IGNORE';
3467   local $SIG{QUIT} = 'IGNORE';
3468   local $SIG{TERM} = 'IGNORE';
3469   local $SIG{TSTP} = 'IGNORE';
3470   local $SIG{PIPE} = 'IGNORE';
3471
3472   my $oldAutoCommit = $FS::UID::AutoCommit;
3473   local $FS::UID::AutoCommit = 0;
3474   my $dbh = dbh;
3475
3476   $self->select_for_update; #mutex
3477
3478   if ( $DEBUG ) {
3479     my $balance = $self->balance;
3480     warn "$me collect customer ". $self->custnum. ": balance $balance\n"
3481   }
3482
3483   if ( exists($options{'retry_card'}) ) {
3484     carp 'retry_card option passed to collect is deprecated; use retry';
3485     $options{'retry'} ||= $options{'retry_card'};
3486   }
3487   if ( exists($options{'retry'}) && $options{'retry'} ) {
3488     my $error = $self->retry_realtime;
3489     if ( $error ) {
3490       $dbh->rollback if $oldAutoCommit;
3491       return $error;
3492     }
3493   }
3494
3495   my $error = $self->do_cust_event(
3496     'debug'      => ( $options{'debug'} || 0 ),
3497     'time'       => $invoice_time,
3498     'check_freq' => $options{'check_freq'},
3499     'stage'      => 'collect',
3500   );
3501   if ( $error ) {
3502     $dbh->rollback if $oldAutoCommit;
3503     return $error;
3504   }
3505
3506   $dbh->commit or die $dbh->errstr if $oldAutoCommit;
3507   '';
3508
3509 }
3510
3511 =item do_cust_event [ HASHREF | OPTION => VALUE ... ]
3512
3513 Runs billing events; see L<FS::part_event> and the billing events web
3514 interface.
3515
3516 If there is an error, returns the error, otherwise returns false.
3517
3518 Options are passed as name-value pairs.
3519
3520 Currently available options are:
3521
3522 =over 4
3523
3524 =item time
3525
3526 Use this time when deciding when to print invoices and late notices on those invoices.  The default is now.  It is specified as a UNIX timestamp; see L<perlfunc/"time">).  Also see L<Time::Local> and L<Date::Parse> for conversion functions.
3527
3528 =item check_freq
3529
3530 "1d" for the traditional, daily events (the default), or "1m" for the new monthly events (part_event.check_freq)
3531
3532 =item stage
3533
3534 "collect" (the default) or "pre-bill"
3535
3536 =item quiet
3537  
3538 set true to surpress email card/ACH decline notices.
3539
3540 =item debug
3541
3542 Debugging level.  Default is 0 (no debugging), or can be set to 1 (passed-in options), 2 (traces progress), 3 (more information), or 4 (include full search queries)
3543
3544 =cut
3545
3546 # =item payby
3547 #
3548 # allows for one time override of normal customer billing method
3549
3550 # =item retry
3551 #
3552 # Retry card/echeck/LEC transactions even when not scheduled by invoice events.
3553
3554 sub do_cust_event {
3555   my( $self, %options ) = @_;
3556   my $time = $options{'time'} || time;
3557
3558   #put below somehow?
3559   local $SIG{HUP} = 'IGNORE';
3560   local $SIG{INT} = 'IGNORE';
3561   local $SIG{QUIT} = 'IGNORE';
3562   local $SIG{TERM} = 'IGNORE';
3563   local $SIG{TSTP} = 'IGNORE';
3564   local $SIG{PIPE} = 'IGNORE';
3565
3566   my $oldAutoCommit = $FS::UID::AutoCommit;
3567   local $FS::UID::AutoCommit = 0;
3568   my $dbh = dbh;
3569
3570   $self->select_for_update; #mutex
3571
3572   if ( $DEBUG ) {
3573     my $balance = $self->balance;
3574     warn "$me do_cust_event customer ". $self->custnum. ": balance $balance\n"
3575   }
3576
3577 #  if ( exists($options{'retry_card'}) ) {
3578 #    carp 'retry_card option passed to collect is deprecated; use retry';
3579 #    $options{'retry'} ||= $options{'retry_card'};
3580 #  }
3581 #  if ( exists($options{'retry'}) && $options{'retry'} ) {
3582 #    my $error = $self->retry_realtime;
3583 #    if ( $error ) {
3584 #      $dbh->rollback if $oldAutoCommit;
3585 #      return $error;
3586 #    }
3587 #  }
3588
3589   # false laziness w/pay_batch::import_results
3590
3591   my $due_cust_event = $self->due_cust_event(
3592     'debug'      => ( $options{'debug'} || 0 ),
3593     'time'       => $time,
3594     'check_freq' => $options{'check_freq'},
3595     'stage'      => ( $options{'stage'} || 'collect' ),
3596   );
3597   unless( ref($due_cust_event) ) {
3598     $dbh->rollback if $oldAutoCommit;
3599     return $due_cust_event;
3600   }
3601
3602   foreach my $cust_event ( @$due_cust_event ) {
3603
3604     #XXX lock event
3605     
3606     #re-eval event conditions (a previous event could have changed things)
3607     unless ( $cust_event->test_conditions( 'time' => $time ) ) {
3608       #don't leave stray "new/locked" records around
3609       my $error = $cust_event->delete;
3610       if ( $error ) {
3611         #gah, even with transactions
3612         $dbh->commit if $oldAutoCommit; #well.
3613         return $error;
3614       }
3615       next;
3616     }
3617
3618     {
3619       local $realtime_bop_decline_quiet = 1 if $options{'quiet'};
3620       warn "  running cust_event ". $cust_event->eventnum. "\n"
3621         if $DEBUG > 1;
3622
3623       
3624       #if ( my $error = $cust_event->do_event(%options) ) { #XXX %options?
3625       if ( my $error = $cust_event->do_event() ) {
3626         #XXX wtf is this?  figure out a proper dealio with return value
3627         #from do_event
3628           # gah, even with transactions.
3629           $dbh->commit if $oldAutoCommit; #well.
3630           return $error;
3631         }
3632     }
3633
3634   }
3635
3636   $dbh->commit or die $dbh->errstr if $oldAutoCommit;
3637   '';
3638
3639 }
3640
3641 =item due_cust_event [ HASHREF | OPTION => VALUE ... ]
3642
3643 Inserts database records for and returns an ordered listref of new events due
3644 for this customer, as FS::cust_event objects (see L<FS::cust_event>).  If no
3645 events are due, an empty listref is returned.  If there is an error, returns a
3646 scalar error message.
3647
3648 To actually run the events, call each event's test_condition method, and if
3649 still true, call the event's do_event method.
3650
3651 Options are passed as a hashref or as a list of name-value pairs.  Available
3652 options are:
3653
3654 =over 4
3655
3656 =item check_freq
3657
3658 Search only for events of this check frequency (how often events of this type are checked); currently "1d" (daily, the default) and "1m" (monthly) are recognized.
3659
3660 =item stage
3661
3662 "collect" (the default) or "pre-bill"
3663
3664 =item time
3665
3666 "Current time" for the events.
3667
3668 =item debug
3669
3670 Debugging level.  Default is 0 (no debugging), or can be set to 1 (passed-in options), 2 (traces progress), 3 (more information), or 4 (include full search queries)
3671
3672 =item eventtable
3673
3674 Only return events for the specified eventtable (by default, events of all eventtables are returned)
3675
3676 =item objects
3677
3678 Explicitly pass the objects to be tested (typically used with eventtable).
3679
3680 =item testonly
3681
3682 Set to true to return the objects, but not actually insert them into the
3683 database.
3684
3685 =back
3686
3687 =cut
3688
3689 sub due_cust_event {
3690   my $self = shift;
3691   my %opt = ref($_[0]) ? %{ $_[0] } : @_;
3692
3693   #???
3694   #my $DEBUG = $opt{'debug'}
3695   local($DEBUG) = $opt{'debug'}
3696     if defined($opt{'debug'}) && $opt{'debug'} > $DEBUG;
3697
3698   warn "$me due_cust_event called with options ".
3699        join(', ', map { "$_: $opt{$_}" } keys %opt). "\n"
3700     if $DEBUG;
3701
3702   $opt{'time'} ||= time;
3703
3704   local $SIG{HUP} = 'IGNORE';
3705   local $SIG{INT} = 'IGNORE';
3706   local $SIG{QUIT} = 'IGNORE';
3707   local $SIG{TERM} = 'IGNORE';
3708   local $SIG{TSTP} = 'IGNORE';
3709   local $SIG{PIPE} = 'IGNORE';
3710
3711   my $oldAutoCommit = $FS::UID::AutoCommit;
3712   local $FS::UID::AutoCommit = 0;
3713   my $dbh = dbh;
3714
3715   $self->select_for_update #mutex
3716     unless $opt{testonly};
3717
3718   ###
3719   # find possible events (initial search)
3720   ###
3721   
3722   my @cust_event = ();
3723
3724   my @eventtable = $opt{'eventtable'}
3725                      ? ( $opt{'eventtable'} )
3726                      : FS::part_event->eventtables_runorder;
3727
3728   foreach my $eventtable ( @eventtable ) {
3729
3730     my @objects;
3731     if ( $opt{'objects'} ) {
3732
3733       @objects = @{ $opt{'objects'} };
3734
3735     } else {
3736
3737       #my @objects = $self->eventtable(); # sub cust_main { @{ [ $self ] }; }
3738       @objects = ( $eventtable eq 'cust_main' )
3739                    ? ( $self )
3740                    : ( $self->$eventtable() );
3741
3742     }
3743
3744     my @e_cust_event = ();
3745
3746     my $cross = "CROSS JOIN $eventtable";
3747     $cross .= ' LEFT JOIN cust_main USING ( custnum )'
3748       unless $eventtable eq 'cust_main';
3749
3750     foreach my $object ( @objects ) {
3751
3752       #this first search uses the condition_sql magic for optimization.
3753       #the more possible events we can eliminate in this step the better
3754
3755       my $cross_where = '';
3756       my $pkey = $object->primary_key;
3757       $cross_where = "$eventtable.$pkey = ". $object->$pkey();
3758
3759       my $join = FS::part_event_condition->join_conditions_sql( $eventtable );
3760       my $extra_sql =
3761         FS::part_event_condition->where_conditions_sql( $eventtable,
3762                                                         'time'=>$opt{'time'}
3763                                                       );
3764       my $order = FS::part_event_condition->order_conditions_sql( $eventtable );
3765
3766       $extra_sql = "AND $extra_sql" if $extra_sql;
3767
3768       #here is the agent virtualization
3769       $extra_sql .= " AND (    part_event.agentnum IS NULL
3770                             OR part_event.agentnum = ". $self->agentnum. ' )';
3771
3772       $extra_sql .= " $order";
3773
3774       warn "searching for events for $eventtable ". $object->$pkey. "\n"
3775         if $opt{'debug'} > 2;
3776       my @part_event = qsearch( {
3777         'debug'     => ( $opt{'debug'} > 3 ? 1 : 0 ),
3778         'select'    => 'part_event.*',
3779         'table'     => 'part_event',
3780         'addl_from' => "$cross $join",
3781         'hashref'   => { 'check_freq' => ( $opt{'check_freq'} || '1d' ),
3782                          'eventtable' => $eventtable,
3783                          'disabled'   => '',
3784                        },
3785         'extra_sql' => "AND $cross_where $extra_sql",
3786       } );
3787
3788       if ( $DEBUG > 2 ) {
3789         my $pkey = $object->primary_key;
3790         warn "      ". scalar(@part_event).
3791              " possible events found for $eventtable ". $object->$pkey(). "\n";
3792       }
3793
3794       push @e_cust_event, map { $_->new_cust_event($object) } @part_event;
3795
3796     }
3797
3798     warn "    ". scalar(@e_cust_event).
3799          " subtotal possible cust events found for $eventtable\n"
3800       if $DEBUG > 1;
3801
3802     push @cust_event, @e_cust_event;
3803
3804   }
3805
3806   warn "  ". scalar(@cust_event).
3807        " total possible cust events found in initial search\n"
3808     if $DEBUG; # > 1;
3809
3810
3811   ##
3812   # test stage
3813   ##
3814
3815   $opt{stage} ||= 'collect';
3816   @cust_event =
3817     grep { my $stage = $_->part_event->event_stage;
3818            $opt{stage} eq $stage or ( ! $stage && $opt{stage} eq 'collect' )
3819          }
3820          @cust_event;
3821
3822   ##
3823   # test conditions
3824   ##
3825   
3826   my %unsat = ();
3827
3828   @cust_event = grep $_->test_conditions( 'time'          => $opt{'time'},
3829                                           'stats_hashref' => \%unsat ),
3830                      @cust_event;
3831
3832   warn "  ". scalar(@cust_event). " cust events left satisfying conditions\n"
3833     if $DEBUG; # > 1;
3834
3835   warn "    invalid conditions not eliminated with condition_sql:\n".
3836        join('', map "      $_: ".$unsat{$_}."\n", keys %unsat )
3837     if keys %unsat && $DEBUG; # > 1;
3838
3839   ##
3840   # insert
3841   ##
3842
3843   unless( $opt{testonly} ) {
3844     foreach my $cust_event ( @cust_event ) {
3845
3846       my $error = $cust_event->insert();
3847       if ( $error ) {
3848         $dbh->rollback if $oldAutoCommit;
3849         return $error;
3850       }
3851                                        
3852     }
3853   }
3854
3855   $dbh->commit or die $dbh->errstr if $oldAutoCommit;
3856
3857   ##
3858   # return
3859   ##
3860
3861   warn "  returning events: ". Dumper(@cust_event). "\n"
3862     if $DEBUG > 2;
3863
3864   \@cust_event;
3865
3866 }
3867
3868 =item retry_realtime
3869
3870 Schedules realtime / batch  credit card / electronic check / LEC billing
3871 events for for retry.  Useful if card information has changed or manual
3872 retry is desired.  The 'collect' method must be called to actually retry
3873 the transaction.
3874
3875 Implementation details: For either this customer, or for each of this
3876 customer's open invoices, changes the status of the first "done" (with
3877 statustext error) realtime processing event to "failed".
3878
3879 =cut
3880
3881 sub retry_realtime {
3882   my $self = shift;
3883
3884   local $SIG{HUP} = 'IGNORE';
3885   local $SIG{INT} = 'IGNORE';
3886   local $SIG{QUIT} = 'IGNORE';
3887   local $SIG{TERM} = 'IGNORE';
3888   local $SIG{TSTP} = 'IGNORE';
3889   local $SIG{PIPE} = 'IGNORE';
3890
3891   my $oldAutoCommit = $FS::UID::AutoCommit;
3892   local $FS::UID::AutoCommit = 0;
3893   my $dbh = dbh;
3894
3895   #a little false laziness w/due_cust_event (not too bad, really)
3896
3897   my $join = FS::part_event_condition->join_conditions_sql;
3898   my $order = FS::part_event_condition->order_conditions_sql;
3899   my $mine = 
3900   '( '
3901    . join ( ' OR ' , map { 
3902     "( part_event.eventtable = " . dbh->quote($_) 
3903     . " AND tablenum IN( SELECT " . dbdef->table($_)->primary_key . " from $_ where custnum = " . dbh->quote( $self->custnum ) . "))" ;
3904    } FS::part_event->eventtables)
3905    . ') ';
3906
3907   #here is the agent virtualization
3908   my $agent_virt = " (    part_event.agentnum IS NULL
3909                        OR part_event.agentnum = ". $self->agentnum. ' )';
3910
3911   #XXX this shouldn't be hardcoded, actions should declare it...
3912   my @realtime_events = qw(
3913     cust_bill_realtime_card
3914     cust_bill_realtime_check
3915     cust_bill_realtime_lec
3916     cust_bill_batch
3917   );
3918
3919   my $is_realtime_event = ' ( '. join(' OR ', map "part_event.action = '$_'",
3920                                                   @realtime_events
3921                                      ).
3922                           ' ) ';
3923
3924   my @cust_event = qsearchs({
3925     'table'     => 'cust_event',
3926     'select'    => 'cust_event.*',
3927     'addl_from' => "LEFT JOIN part_event USING ( eventpart ) $join",
3928     'hashref'   => { 'status' => 'done' },
3929     'extra_sql' => " AND statustext IS NOT NULL AND statustext != '' ".
3930                    " AND $mine AND $is_realtime_event AND $agent_virt $order" # LIMIT 1"
3931   });
3932
3933   my %seen_invnum = ();
3934   foreach my $cust_event (@cust_event) {
3935
3936     #max one for the customer, one for each open invoice
3937     my $cust_X = $cust_event->cust_X;
3938     next if $seen_invnum{ $cust_event->part_event->eventtable eq 'cust_bill'
3939                           ? $cust_X->invnum
3940                           : 0
3941                         }++
3942          or $cust_event->part_event->eventtable eq 'cust_bill'
3943             && ! $cust_X->owed;
3944
3945     my $error = $cust_event->retry;
3946     if ( $error ) {
3947       $dbh->rollback if $oldAutoCommit;
3948       return "error scheduling event for retry: $error";
3949     }
3950
3951   }
3952
3953   $dbh->commit or die $dbh->errstr if $oldAutoCommit;
3954   '';
3955
3956 }
3957
3958 # some horrid false laziness here to avoid refactor fallout
3959 # eventually realtime realtime_bop and realtime_refund_bop should go
3960 # away and be replaced by _new_realtime_bop and _new_realtime_refund_bop
3961
3962 =item realtime_bop METHOD AMOUNT [ OPTION => VALUE ... ]
3963
3964 Runs a realtime credit card, ACH (electronic check) or phone bill transaction
3965 via a Business::OnlinePayment realtime gateway.  See
3966 L<http://420.am/business-onlinepayment> for supported gateways.
3967
3968 Available methods are: I<CC>, I<ECHECK> and I<LEC>
3969
3970 Available options are: I<description>, I<invnum>, I<quiet>, I<paynum_ref>, I<payunique>
3971
3972 The additional options I<payname>, I<address1>, I<address2>, I<city>, I<state>,
3973 I<zip>, I<payinfo> and I<paydate> are also available.  Any of these options,
3974 if set, will override the value from the customer record.
3975
3976 I<description> is a free-text field passed to the gateway.  It defaults to
3977 the value defined by the business-onlinepayment-description configuration
3978 option, or "Internet services" if that is unset.
3979
3980 If an I<invnum> is specified, this payment (if successful) is applied to the
3981 specified invoice.  If you don't specify an I<invnum> you might want to
3982 call the B<apply_payments> method or set the I<apply> option.
3983
3984 I<apply> can be set to true to apply a resulting payment.
3985
3986 I<quiet> can be set true to surpress email decline notices.
3987
3988 I<paynum_ref> can be set to a scalar reference.  It will be filled in with the
3989 resulting paynum, if any.
3990
3991 I<payunique> is a unique identifier for this payment.
3992
3993 (moved from cust_bill) (probably should get realtime_{card,ach,lec} here too)
3994
3995 =cut
3996
3997 sub realtime_bop {
3998   my $self = shift;
3999
4000   return $self->_new_realtime_bop(@_)
4001     if $self->_new_bop_required();
4002
4003   my($method, $amount);
4004   my %options = ();
4005   if (ref($_[0]) eq 'HASH') {
4006     %options = %{$_[0]};
4007     $method = $options{method};
4008     $amount = $options{amount};
4009   } else {
4010     ( $method, $amount ) = ( shift, shift );
4011     %options = @_;
4012   }
4013   if ( $DEBUG ) {
4014     warn "$me realtime_bop: $method $amount\n";
4015     warn "  $_ => $options{$_}\n" foreach keys %options;
4016   }
4017
4018   return "Amount must be greater than 0" unless $amount > 0;
4019
4020   unless ( $options{'description'} ) {
4021     if ( $conf->exists('business-onlinepayment-description') ) {
4022       my $dtempl = $conf->config('business-onlinepayment-description');
4023
4024       my $agent = $self->agent->agent;
4025       #$pkgs... not here
4026       $options{'description'} = eval qq("$dtempl");
4027     } else {
4028       $options{'description'} = 'Internet services';
4029     }
4030   }
4031
4032   return $self->fake_bop($method, $amount, %options) if $options{'fake'};
4033
4034   eval "use Business::OnlinePayment";  
4035   die $@ if $@;
4036
4037   my $payinfo = exists($options{'payinfo'})
4038                   ? $options{'payinfo'}
4039                   : $self->payinfo;
4040
4041   my %method2payby = (
4042     'CC'     => 'CARD',
4043     'ECHECK' => 'CHEK',
4044     'LEC'    => 'LECB',
4045   );
4046
4047   ###
4048   # check for banned credit card/ACH
4049   ###
4050
4051   my $ban = qsearchs('banned_pay', {
4052     'payby'   => $method2payby{$method},
4053     'payinfo' => md5_base64($payinfo),
4054   } );
4055   return "Banned credit card" if $ban;
4056
4057   ###
4058   # set taxclass and trans_is_recur based on invnum if there is one
4059   ###
4060
4061   my $taxclass = '';
4062   my $trans_is_recur = 0;
4063   if ( $options{'invnum'} ) {
4064
4065     my $cust_bill = qsearchs('cust_bill', { 'invnum' => $options{'invnum'} } );
4066     die "invnum ". $options{'invnum'}. " not found" unless $cust_bill;
4067
4068     my @part_pkg =
4069       map  { $_->part_pkg }
4070       grep { $_ }
4071       map  { $_->cust_pkg }
4072       $cust_bill->cust_bill_pkg;
4073
4074     my @taxclasses = map $_->taxclass, @part_pkg;
4075     $taxclass = $taxclasses[0]
4076       unless grep { $taxclasses[0] ne $_ } @taxclasses; #unless there are
4077                                                         #different taxclasses
4078     $trans_is_recur = 1
4079       if grep { $_->freq ne '0' } @part_pkg;
4080
4081   }
4082
4083   ###
4084   # select a gateway
4085   ###
4086
4087   #look for an agent gateway override first
4088   my $cardtype;
4089   if ( $method eq 'CC' ) {
4090     $cardtype = cardtype($payinfo);
4091   } elsif ( $method eq 'ECHECK' ) {
4092     $cardtype = 'ACH';
4093   } else {
4094     $cardtype = $method;
4095   }
4096
4097   my $override =
4098        qsearchs('agent_payment_gateway', { agentnum => $self->agentnum,
4099                                            cardtype => $cardtype,
4100                                            taxclass => $taxclass,       } )
4101     || qsearchs('agent_payment_gateway', { agentnum => $self->agentnum,
4102                                            cardtype => '',
4103                                            taxclass => $taxclass,       } )
4104     || qsearchs('agent_payment_gateway', { agentnum => $self->agentnum,
4105                                            cardtype => $cardtype,
4106                                            taxclass => '',              } )
4107     || qsearchs('agent_payment_gateway', { agentnum => $self->agentnum,
4108                                            cardtype => '',
4109                                            taxclass => '',              } );
4110
4111   my $payment_gateway = '';
4112   my( $processor, $login, $password, $action, @bop_options );
4113   if ( $override ) { #use a payment gateway override
4114
4115     $payment_gateway = $override->payment_gateway;
4116
4117     $processor   = $payment_gateway->gateway_module;
4118     $login       = $payment_gateway->gateway_username;
4119     $password    = $payment_gateway->gateway_password;
4120     $action      = $payment_gateway->gateway_action;
4121     @bop_options = $payment_gateway->options;
4122
4123   } else { #use the standard settings from the config
4124
4125     ( $processor, $login, $password, $action, @bop_options ) =
4126       $self->default_payment_gateway($method);
4127
4128   }
4129
4130   ###
4131   # massage data
4132   ###
4133
4134   my $address = exists($options{'address1'})
4135                     ? $options{'address1'}
4136                     : $self->address1;
4137   my $address2 = exists($options{'address2'})
4138                     ? $options{'address2'}
4139                     : $self->address2;
4140   $address .= ", ". $address2 if length($address2);
4141
4142   my $o_payname = exists($options{'payname'})
4143                     ? $options{'payname'}
4144                     : $self->payname;
4145   my($payname, $payfirst, $paylast);
4146   if ( $o_payname && $method ne 'ECHECK' ) {
4147     ($payname = $o_payname) =~ /^\s*([\w \,\.\-\']*)?\s+([\w\,\.\-\']+)\s*$/
4148       or return "Illegal payname $payname";
4149     ($payfirst, $paylast) = ($1, $2);
4150   } else {
4151     $payfirst = $self->getfield('first');
4152     $paylast = $self->getfield('last');
4153     $payname =  "$payfirst $paylast";
4154   }
4155
4156   my @invoicing_list = $self->invoicing_list_emailonly;
4157   if ( $conf->exists('emailinvoiceautoalways')
4158        || $conf->exists('emailinvoiceauto') && ! @invoicing_list
4159        || ( $conf->exists('emailinvoiceonly') && ! @invoicing_list ) ) {
4160     push @invoicing_list, $self->all_emails;
4161   }
4162
4163   my $email = ($conf->exists('business-onlinepayment-email-override'))
4164               ? $conf->config('business-onlinepayment-email-override')
4165               : $invoicing_list[0];
4166
4167   my %content = ();
4168
4169   my $payip = exists($options{'payip'})
4170                 ? $options{'payip'}
4171                 : $self->payip;
4172   $content{customer_ip} = $payip
4173     if length($payip);
4174
4175   $content{invoice_number} = $options{'invnum'}
4176     if exists($options{'invnum'}) && length($options{'invnum'});
4177
4178   $content{email_customer} = 
4179     (    $conf->exists('business-onlinepayment-email_customer')
4180       || $conf->exists('business-onlinepayment-email-override') );
4181       
4182   my $paydate = '';
4183   if ( $method eq 'CC' ) { 
4184
4185     $content{card_number} = $payinfo;
4186     $paydate = exists($options{'paydate'})
4187                     ? $options{'paydate'}
4188                     : $self->paydate;
4189     $paydate =~ /^\d{2}(\d{2})[\/\-](\d+)[\/\-]\d+$/;
4190     $content{expiration} = "$2/$1";
4191
4192     my $paycvv = exists($options{'paycvv'})
4193                    ? $options{'paycvv'}
4194                    : $self->paycvv;
4195     $content{cvv2} = $paycvv
4196       if length($paycvv);
4197
4198     my $paystart_month = exists($options{'paystart_month'})
4199                            ? $options{'paystart_month'}
4200                            : $self->paystart_month;
4201
4202     my $paystart_year  = exists($options{'paystart_year'})
4203                            ? $options{'paystart_year'}
4204                            : $self->paystart_year;
4205
4206     $content{card_start} = "$paystart_month/$paystart_year"
4207       if $paystart_month && $paystart_year;
4208
4209     my $payissue       = exists($options{'payissue'})
4210                            ? $options{'payissue'}
4211                            : $self->payissue;
4212     $content{issue_number} = $payissue if $payissue;
4213
4214     if ( $self->_bop_recurring_billing( 'payinfo'        => $payinfo,
4215                                         'trans_is_recur' => $trans_is_recur,
4216                                       )
4217        )
4218     {
4219       $content{recurring_billing} = 'YES';
4220       $content{acct_code} = 'rebill'
4221         if $conf->exists('credit_card-recurring_billing_acct_code');
4222     }
4223
4224   } elsif ( $method eq 'ECHECK' ) {
4225     ( $content{account_number}, $content{routing_code} ) =
4226       split('@', $payinfo);
4227     $content{bank_name} = $o_payname;
4228     $content{bank_state} = exists($options{'paystate'})
4229                              ? $options{'paystate'}
4230                              : $self->getfield('paystate');
4231     $content{account_type} = exists($options{'paytype'})
4232                                ? uc($options{'paytype'}) || 'CHECKING'
4233                                : uc($self->getfield('paytype')) || 'CHECKING';
4234     $content{account_name} = $payname;
4235     $content{customer_org} = $self->company ? 'B' : 'I';
4236     $content{state_id}       = exists($options{'stateid'})
4237                                  ? $options{'stateid'}
4238                                  : $self->getfield('stateid');
4239     $content{state_id_state} = exists($options{'stateid_state'})
4240                                  ? $options{'stateid_state'}
4241                                  : $self->getfield('stateid_state');
4242     $content{customer_ssn} = exists($options{'ss'})
4243                                ? $options{'ss'}
4244                                : $self->ss;
4245   } elsif ( $method eq 'LEC' ) {
4246     $content{phone} = $payinfo;
4247   }
4248
4249   ###
4250   # run transaction(s)
4251   ###
4252
4253   my $balance = exists( $options{'balance'} )
4254                   ? $options{'balance'}
4255                   : $self->balance;
4256
4257   $self->select_for_update; #mutex ... just until we get our pending record in
4258
4259   #the checks here are intended to catch concurrent payments
4260   #double-form-submission prevention is taken care of in cust_pay_pending::check
4261
4262   #check the balance
4263   return "The customer's balance has changed; $method transaction aborted."
4264     if $self->balance < $balance;
4265     #&& $self->balance < $amount; #might as well anyway?
4266
4267   #also check and make sure there aren't *other* pending payments for this cust
4268
4269   my @pending = qsearch('cust_pay_pending', {
4270     'custnum' => $self->custnum,
4271     'status'  => { op=>'!=', value=>'done' } 
4272   });
4273   return "A payment is already being processed for this customer (".
4274          join(', ', map 'paypendingnum '. $_->paypendingnum, @pending ).
4275          "); $method transaction aborted."
4276     if scalar(@pending);
4277
4278   #okay, good to go, if we're a duplicate, cust_pay_pending will kick us out
4279
4280   my $cust_pay_pending = new FS::cust_pay_pending {
4281     'custnum'           => $self->custnum,
4282     #'invnum'            => $options{'invnum'},
4283     'paid'              => $amount,
4284     '_date'             => '',
4285     'payby'             => $method2payby{$method},
4286     'payinfo'           => $payinfo,
4287     'paydate'           => $paydate,
4288     'recurring_billing' => $content{recurring_billing},
4289     'pkgnum'            => $options{'pkgnum'},
4290     'status'            => 'new',
4291     'gatewaynum'        => ( $payment_gateway ? $payment_gateway->gatewaynum : '' ),
4292   };
4293   $cust_pay_pending->payunique( $options{payunique} )
4294     if defined($options{payunique}) && length($options{payunique});
4295   my $cpp_new_err = $cust_pay_pending->insert; #mutex lost when this is inserted
4296   return $cpp_new_err if $cpp_new_err;
4297
4298   my( $action1, $action2 ) = split(/\s*\,\s*/, $action );
4299
4300   my $transaction = new Business::OnlinePayment( $processor, @bop_options );
4301   $transaction->content(
4302     'type'           => $method,
4303     'login'          => $login,
4304     'password'       => $password,
4305     'action'         => $action1,
4306     'description'    => $options{'description'},
4307     'amount'         => $amount,
4308     #'invoice_number' => $options{'invnum'},
4309     'customer_id'    => $self->custnum,
4310     'last_name'      => $paylast,
4311     'first_name'     => $payfirst,
4312     'name'           => $payname,
4313     'address'        => $address,
4314     'city'           => ( exists($options{'city'})
4315                             ? $options{'city'}
4316                             : $self->city          ),
4317     'state'          => ( exists($options{'state'})
4318                             ? $options{'state'}
4319                             : $self->state          ),
4320     'zip'            => ( exists($options{'zip'})
4321                             ? $options{'zip'}
4322                             : $self->zip          ),
4323     'country'        => ( exists($options{'country'})
4324                             ? $options{'country'}
4325                             : $self->country          ),
4326     'referer'        => 'http://cleanwhisker.420.am/', #XXX fix referer :/
4327     'email'          => $email,
4328     'phone'          => $self->daytime || $self->night,
4329     %content, #after
4330   );
4331
4332   $cust_pay_pending->status('pending');
4333   my $cpp_pending_err = $cust_pay_pending->replace;
4334   return $cpp_pending_err if $cpp_pending_err;
4335
4336   #config?
4337   my $BOP_TESTING = 0;
4338   my $BOP_TESTING_SUCCESS = 1;
4339
4340   unless ( $BOP_TESTING ) {
4341     $transaction->submit();
4342   } else {
4343     if ( $BOP_TESTING_SUCCESS ) {
4344       $transaction->is_success(1);
4345       $transaction->authorization('fake auth');
4346     } else {
4347       $transaction->is_success(0);
4348       $transaction->error_message('fake failure');
4349     }
4350   }
4351
4352   if ( $transaction->is_success() && $action2 ) {
4353
4354     $cust_pay_pending->status('authorized');
4355     my $cpp_authorized_err = $cust_pay_pending->replace;
4356     return $cpp_authorized_err if $cpp_authorized_err;
4357
4358     my $auth = $transaction->authorization;
4359     my $ordernum = $transaction->can('order_number')
4360                    ? $transaction->order_number
4361                    : '';
4362
4363     my $capture =
4364       new Business::OnlinePayment( $processor, @bop_options );
4365
4366     my %capture = (
4367       %content,
4368       type           => $method,
4369       action         => $action2,
4370       login          => $login,
4371       password       => $password,
4372       order_number   => $ordernum,
4373       amount         => $amount,
4374       authorization  => $auth,
4375       description    => $options{'description'},
4376     );
4377
4378     foreach my $field (qw( authorization_source_code returned_ACI
4379                            transaction_identifier validation_code           
4380                            transaction_sequence_num local_transaction_date    
4381                            local_transaction_time AVS_result_code          )) {
4382       $capture{$field} = $transaction->$field() if $transaction->can($field);
4383     }
4384
4385     $capture->content( %capture );
4386
4387     $capture->submit();
4388
4389     unless ( $capture->is_success ) {
4390       my $e = "Authorization successful but capture failed, custnum #".
4391               $self->custnum. ': '.  $capture->result_code.
4392               ": ". $capture->error_message;
4393       warn $e;
4394       return $e;
4395     }
4396
4397   }
4398
4399   $cust_pay_pending->status($transaction->is_success() ? 'captured' : 'declined');
4400   my $cpp_captured_err = $cust_pay_pending->replace;
4401   return $cpp_captured_err if $cpp_captured_err;
4402
4403   ###
4404   # remove paycvv after initial transaction
4405   ###
4406
4407   #false laziness w/misc/process/payment.cgi - check both to make sure working
4408   # correctly
4409   if ( defined $self->dbdef_table->column('paycvv')
4410        && length($self->paycvv)
4411        && ! grep { $_ eq cardtype($payinfo) } $conf->config('cvv-save')
4412   ) {
4413     my $error = $self->remove_cvv;
4414     if ( $error ) {
4415       warn "WARNING: error removing cvv: $error\n";
4416     }
4417   }
4418
4419   ###
4420   # result handling
4421   ###
4422
4423   if ( $transaction->is_success() ) {
4424
4425     my $paybatch = '';
4426     if ( $payment_gateway ) { # agent override
4427       $paybatch = $payment_gateway->gatewaynum. '-';
4428     }
4429
4430     $paybatch .= "$processor:". $transaction->authorization;
4431
4432     $paybatch .= ':'. $transaction->order_number
4433       if $transaction->can('order_number')
4434       && length($transaction->order_number);
4435
4436     my $cust_pay = new FS::cust_pay ( {
4437        'custnum'  => $self->custnum,
4438        'invnum'   => $options{'invnum'},
4439        'paid'     => $amount,
4440        '_date'    => '',
4441        'payby'    => $method2payby{$method},
4442        'payinfo'  => $payinfo,
4443        'paybatch' => $paybatch,
4444        'paydate'  => $paydate,
4445        'pkgnum'   => $options{'pkgnum'},
4446     } );
4447     #doesn't hurt to know, even though the dup check is in cust_pay_pending now
4448     $cust_pay->payunique( $options{payunique} )
4449       if defined($options{payunique}) && length($options{payunique});
4450
4451     my $oldAutoCommit = $FS::UID::AutoCommit;
4452     local $FS::UID::AutoCommit = 0;
4453     my $dbh = dbh;
4454
4455     #start a transaction, insert the cust_pay and set cust_pay_pending.status to done in a single transction
4456
4457     my $error = $cust_pay->insert($options{'manual'} ? ( 'manual' => 1 ) : () );
4458
4459     if ( $error ) {
4460       $cust_pay->invnum(''); #try again with no specific invnum
4461       my $error2 = $cust_pay->insert( $options{'manual'} ?
4462                                       ( 'manual' => 1 ) : ()
4463                                     );
4464       if ( $error2 ) {
4465         # gah.  but at least we have a record of the state we had to abort in
4466         # from cust_pay_pending now.
4467         my $e = "WARNING: $method captured but payment not recorded - ".
4468                 "error inserting payment ($processor): $error2".
4469                 " (previously tried insert with invnum #$options{'invnum'}" .
4470                 ": $error ) - pending payment saved as paypendingnum ".
4471                 $cust_pay_pending->paypendingnum. "\n";
4472         warn $e;
4473         return $e;
4474       }
4475     }
4476
4477     if ( $options{'paynum_ref'} ) {
4478       ${ $options{'paynum_ref'} } = $cust_pay->paynum;
4479     }
4480
4481     $cust_pay_pending->status('done');
4482     $cust_pay_pending->statustext('captured');
4483     $cust_pay_pending->paynum($cust_pay->paynum);
4484     my $cpp_done_err = $cust_pay_pending->replace;
4485
4486     if ( $cpp_done_err ) {
4487
4488       $dbh->rollback or die $dbh->errstr if $oldAutoCommit;
4489       my $e = "WARNING: $method captured but payment not recorded - ".
4490               "error updating status for paypendingnum ".
4491               $cust_pay_pending->paypendingnum. ": $cpp_done_err \n";
4492       warn $e;
4493       return $e;
4494
4495     } else {
4496
4497       $dbh->commit or die $dbh->errstr if $oldAutoCommit;
4498
4499       if ( $options{'apply'} ) {
4500         my $apply_error = $self->apply_payments_and_credits;
4501         if ( $apply_error ) {
4502           warn "WARNING: error applying payment: $apply_error\n";
4503           #but we still should return no error cause the payment otherwise went
4504           #through...
4505         }
4506       }
4507
4508       return ''; #no error
4509
4510     }
4511
4512   } else {
4513
4514     my $perror = "$processor error: ". $transaction->error_message;
4515
4516     unless ( $transaction->error_message ) {
4517
4518       my $t_response;
4519       if ( $transaction->can('response_page') ) {
4520         $t_response = {
4521                         'page'    => ( $transaction->can('response_page')
4522                                          ? $transaction->response_page
4523                                          : ''
4524                                      ),
4525                         'code'    => ( $transaction->can('response_code')
4526                                          ? $transaction->response_code
4527                                          : ''
4528                                      ),
4529                         'headers' => ( $transaction->can('response_headers')
4530                                          ? $transaction->response_headers
4531                                          : ''
4532                                      ),
4533                       };
4534       } else {
4535         $t_response .=
4536           "No additional debugging information available for $processor";
4537       }
4538
4539       $perror .= "No error_message returned from $processor -- ".
4540                  ( ref($t_response) ? Dumper($t_response) : $t_response );
4541
4542     }
4543
4544     if ( !$options{'quiet'} && !$realtime_bop_decline_quiet
4545          && $conf->exists('emaildecline')
4546          && grep { $_ ne 'POST' } $self->invoicing_list
4547          && ! grep { $transaction->error_message =~ /$_/ }
4548                    $conf->config('emaildecline-exclude')
4549     ) {
4550       my @templ = $conf->config('declinetemplate');
4551       my $template = new Text::Template (
4552         TYPE   => 'ARRAY',
4553         SOURCE => [ map "$_\n", @templ ],
4554       ) or return "($perror) can't create template: $Text::Template::ERROR";
4555       $template->compile()
4556         or return "($perror) can't compile template: $Text::Template::ERROR";
4557
4558       my $templ_hash = {
4559         'company_name'    =>
4560           scalar( $conf->config('company_name', $self->agentnum ) ),
4561         'company_address' =>
4562           join("\n", $conf->config('company_address', $self->agentnum ) ),
4563         'error'           => $transaction->error_message,
4564       };
4565
4566       my $error = send_email(
4567         'from'    => $conf->config('invoice_from', $self->agentnum ),
4568         'to'      => [ grep { $_ ne 'POST' } $self->invoicing_list ],
4569         'subject' => 'Your payment could not be processed',
4570         'body'    => [ $template->fill_in(HASH => $templ_hash) ],
4571       );
4572
4573       $perror .= " (also received error sending decline notification: $error)"
4574         if $error;
4575
4576     }
4577
4578     $cust_pay_pending->status('done');
4579     $cust_pay_pending->statustext("declined: $perror");
4580     my $cpp_done_err = $cust_pay_pending->replace;
4581     if ( $cpp_done_err ) {
4582       my $e = "WARNING: $method declined but pending payment not resolved - ".
4583               "error updating status for paypendingnum ".
4584               $cust_pay_pending->paypendingnum. ": $cpp_done_err \n";
4585       warn $e;
4586       $perror = "$e ($perror)";
4587     }
4588
4589     return $perror;
4590   }
4591
4592 }
4593
4594 sub _bop_recurring_billing {
4595   my( $self, %opt ) = @_;
4596
4597   my $method = scalar($conf->config('credit_card-recurring_billing_flag'));
4598
4599   if ( defined($method) && $method eq 'transaction_is_recur' ) {
4600
4601     return 1 if $opt{'trans_is_recur'};
4602
4603   } else {
4604
4605     my %hash = ( 'custnum' => $self->custnum,
4606                  'payby'   => 'CARD',
4607                );
4608
4609     return 1 
4610       if qsearch('cust_pay', { %hash, 'payinfo' => $opt{'payinfo'} } )
4611       || qsearch('cust_pay', { %hash, 'paymask' => $self->mask_payinfo('CARD',
4612                                                                $opt{'payinfo'} )
4613                              } );
4614
4615   }
4616
4617   return 0;
4618
4619 }
4620
4621
4622 =item realtime_refund_bop METHOD [ OPTION => VALUE ... ]
4623
4624 Refunds a realtime credit card, ACH (electronic check) or phone bill transaction
4625 via a Business::OnlinePayment realtime gateway.  See
4626 L<http://420.am/business-onlinepayment> for supported gateways.
4627
4628 Available methods are: I<CC>, I<ECHECK> and I<LEC>
4629
4630 Available options are: I<amount>, I<reason>, I<paynum>, I<paydate>
4631
4632 Most gateways require a reference to an original payment transaction to refund,
4633 so you probably need to specify a I<paynum>.
4634
4635 I<amount> defaults to the original amount of the payment if not specified.
4636
4637 I<reason> specifies a reason for the refund.
4638
4639 I<paydate> specifies the expiration date for a credit card overriding the
4640 value from the customer record or the payment record. Specified as yyyy-mm-dd
4641
4642 Implementation note: If I<amount> is unspecified or equal to the amount of the
4643 orignal payment, first an attempt is made to "void" the transaction via
4644 the gateway (to cancel a not-yet settled transaction) and then if that fails,
4645 the normal attempt is made to "refund" ("credit") the transaction via the
4646 gateway is attempted.
4647
4648 #The additional options I<payname>, I<address1>, I<address2>, I<city>, I<state>,
4649 #I<zip>, I<payinfo> and I<paydate> are also available.  Any of these options,
4650 #if set, will override the value from the customer record.
4651
4652 #If an I<invnum> is specified, this payment (if successful) is applied to the
4653 #specified invoice.  If you don't specify an I<invnum> you might want to
4654 #call the B<apply_payments> method.
4655
4656 =cut
4657
4658 #some false laziness w/realtime_bop, not enough to make it worth merging
4659 #but some useful small subs should be pulled out
4660 sub realtime_refund_bop {
4661   my $self = shift;
4662
4663   return $self->_new_realtime_refund_bop(@_)
4664     if $self->_new_bop_required();
4665
4666   my( $method, %options ) = @_;
4667   if ( $DEBUG ) {
4668     warn "$me realtime_refund_bop: $method refund\n";
4669     warn "  $_ => $options{$_}\n" foreach keys %options;
4670   }
4671
4672   eval "use Business::OnlinePayment";  
4673   die $@ if $@;
4674
4675   ###
4676   # look up the original payment and optionally a gateway for that payment
4677   ###
4678
4679   my $cust_pay = '';
4680   my $amount = $options{'amount'};
4681
4682   my( $processor, $login, $password, @bop_options ) ;
4683   my( $auth, $order_number ) = ( '', '', '' );
4684
4685   if ( $options{'paynum'} ) {
4686
4687     warn "  paynum: $options{paynum}\n" if $DEBUG > 1;
4688     $cust_pay = qsearchs('cust_pay', { paynum=>$options{'paynum'} } )
4689       or return "Unknown paynum $options{'paynum'}";
4690     $amount ||= $cust_pay->paid;
4691
4692     $cust_pay->paybatch =~ /^((\d+)\-)?(\w+):\s*([\w\-\/ ]*)(:([\w\-]+))?$/
4693       or return "Can't parse paybatch for paynum $options{'paynum'}: ".
4694                 $cust_pay->paybatch;
4695     my $gatewaynum = '';
4696     ( $gatewaynum, $processor, $auth, $order_number ) = ( $2, $3, $4, $6 );
4697
4698     if ( $gatewaynum ) { #gateway for the payment to be refunded
4699
4700       my $payment_gateway =
4701         qsearchs('payment_gateway', { 'gatewaynum' => $gatewaynum } );
4702       die "payment gateway $gatewaynum not found"
4703         unless $payment_gateway;
4704
4705       $processor   = $payment_gateway->gateway_module;
4706       $login       = $payment_gateway->gateway_username;
4707       $password    = $payment_gateway->gateway_password;
4708       @bop_options = $payment_gateway->options;
4709
4710     } else { #try the default gateway
4711
4712       my( $conf_processor, $unused_action );
4713       ( $conf_processor, $login, $password, $unused_action, @bop_options ) =
4714         $self->default_payment_gateway($method);
4715
4716       return "processor of payment $options{'paynum'} $processor does not".
4717              " match default processor $conf_processor"
4718         unless $processor eq $conf_processor;
4719
4720     }
4721
4722
4723   } else { # didn't specify a paynum, so look for agent gateway overrides
4724            # like a normal transaction 
4725
4726     my $cardtype;
4727     if ( $method eq 'CC' ) {
4728       $cardtype = cardtype($self->payinfo);
4729     } elsif ( $method eq 'ECHECK' ) {
4730       $cardtype = 'ACH';
4731     } else {
4732       $cardtype = $method;
4733     }
4734     my $override =
4735            qsearchs('agent_payment_gateway', { agentnum => $self->agentnum,
4736                                                cardtype => $cardtype,
4737                                                taxclass => '',              } )
4738         || qsearchs('agent_payment_gateway', { agentnum => $self->agentnum,
4739                                                cardtype => '',
4740                                                taxclass => '',              } );
4741
4742     if ( $override ) { #use a payment gateway override
4743  
4744       my $payment_gateway = $override->payment_gateway;
4745
4746       $processor   = $payment_gateway->gateway_module;
4747       $login       = $payment_gateway->gateway_username;
4748       $password    = $payment_gateway->gateway_password;
4749       #$action      = $payment_gateway->gateway_action;
4750       @bop_options = $payment_gateway->options;
4751
4752     } else { #use the standard settings from the config
4753
4754       my $unused_action;
4755       ( $processor, $login, $password, $unused_action, @bop_options ) =
4756         $self->default_payment_gateway($method);
4757
4758     }
4759
4760   }
4761   return "neither amount nor paynum specified" unless $amount;
4762
4763   my %content = (
4764     'type'           => $method,
4765     'login'          => $login,
4766     'password'       => $password,
4767     'order_number'   => $order_number,
4768     'amount'         => $amount,
4769     'referer'        => 'http://cleanwhisker.420.am/', #XXX fix referer :/
4770   );
4771   $content{authorization} = $auth
4772     if length($auth); #echeck/ACH transactions have an order # but no auth
4773                       #(at least with authorize.net)
4774
4775   my $disable_void_after;
4776   if ($conf->exists('disable_void_after')
4777       && $conf->config('disable_void_after') =~ /^(\d+)$/) {
4778     $disable_void_after = $1;
4779   }
4780
4781   #first try void if applicable
4782   if ( $cust_pay && $cust_pay->paid == $amount
4783     && (
4784       ( not defined($disable_void_after) )
4785       || ( time < ($cust_pay->_date + $disable_void_after ) )
4786     )
4787   ) {
4788     warn "  attempting void\n" if $DEBUG > 1;
4789     my $void = new Business::OnlinePayment( $processor, @bop_options );
4790     if ( $void->can('info') ) {
4791       if ( $cust_pay->payby eq 'CARD'
4792            && $void->info('CC_void_requires_card') )
4793       {
4794         $content{'card_number'} = $cust_pay->payinfo
4795       } elsif ( $cust_pay->payby eq 'CHEK'
4796                 && $void->info('ECHECK_void_requires_account') )
4797       {
4798         ( $content{'account_number'}, $content{'routing_code'} ) =
4799           split('@', $cust_pay->payinfo);
4800         $content{'name'} = $self->get('first'). ' '. $self->get('last');
4801       }
4802     }
4803     $void->content( 'action' => 'void', %content );
4804     $void->submit();
4805     if ( $void->is_success ) {
4806       my $error = $cust_pay->void($options{'reason'});
4807       if ( $error ) {
4808         # gah, even with transactions.
4809         my $e = 'WARNING: Card/ACH voided but database not updated - '.
4810                 "error voiding payment: $error";
4811         warn $e;
4812         return $e;
4813       }
4814       warn "  void successful\n" if $DEBUG > 1;
4815       return '';
4816     }
4817   }
4818
4819   warn "  void unsuccessful, trying refund\n"
4820     if $DEBUG > 1;
4821
4822   #massage data
4823   my $address = $self->address1;
4824   $address .= ", ". $self->address2 if $self->address2;
4825
4826   my($payname, $payfirst, $paylast);
4827   if ( $self->payname && $method ne 'ECHECK' ) {
4828     $payname = $self->payname;
4829     $payname =~ /^\s*([\w \,\.\-\']*)?\s+([\w\,\.\-\']+)\s*$/
4830       or return "Illegal payname $payname";
4831     ($payfirst, $paylast) = ($1, $2);
4832   } else {
4833     $payfirst = $self->getfield('first');
4834     $paylast = $self->getfield('last');
4835     $payname =  "$payfirst $paylast";
4836   }
4837
4838   my @invoicing_list = $self->invoicing_list_emailonly;
4839   if ( $conf->exists('emailinvoiceautoalways')
4840        || $conf->exists('emailinvoiceauto') && ! @invoicing_list
4841        || ( $conf->exists('emailinvoiceonly') && ! @invoicing_list ) ) {
4842     push @invoicing_list, $self->all_emails;
4843   }
4844
4845   my $email = ($conf->exists('business-onlinepayment-email-override'))
4846               ? $conf->config('business-onlinepayment-email-override')
4847               : $invoicing_list[0];
4848
4849   my $payip = exists($options{'payip'})
4850                 ? $options{'payip'}
4851                 : $self->payip;
4852   $content{customer_ip} = $payip
4853     if length($payip);
4854
4855   my $payinfo = '';
4856   if ( $method eq 'CC' ) {
4857
4858     if ( $cust_pay ) {
4859       $content{card_number} = $payinfo = $cust_pay->payinfo;
4860       (exists($options{'paydate'}) ? $options{'paydate'} : $cust_pay->paydate)
4861         =~ /^\d{2}(\d{2})[\/\-](\d+)[\/\-]\d+$/ &&
4862         ($content{expiration} = "$2/$1");  # where available
4863     } else {
4864       $content{card_number} = $payinfo = $self->payinfo;
4865       (exists($options{'paydate'}) ? $options{'paydate'} : $self->paydate)
4866         =~ /^\d{2}(\d{2})[\/\-](\d+)[\/\-]\d+$/;
4867       $content{expiration} = "$2/$1";
4868     }
4869
4870   } elsif ( $method eq 'ECHECK' ) {
4871
4872     if ( $cust_pay ) {
4873       $payinfo = $cust_pay->payinfo;
4874     } else {
4875       $payinfo = $self->payinfo;
4876     } 
4877     ( $content{account_number}, $content{routing_code} )= split('@', $payinfo );
4878     $content{bank_name} = $self->payname;
4879     $content{account_type} = 'CHECKING';
4880     $content{account_name} = $payname;
4881     $content{customer_org} = $self->company ? 'B' : 'I';
4882     $content{customer_ssn} = $self->ss;
4883   } elsif ( $method eq 'LEC' ) {
4884     $content{phone} = $payinfo = $self->payinfo;
4885   }
4886
4887   #then try refund
4888   my $refund = new Business::OnlinePayment( $processor, @bop_options );
4889   my %sub_content = $refund->content(
4890     'action'         => 'credit',
4891     'customer_id'    => $self->custnum,
4892     'last_name'      => $paylast,
4893     'first_name'     => $payfirst,
4894     'name'           => $payname,
4895     'address'        => $address,
4896     'city'           => $self->city,
4897     'state'          => $self->state,
4898     'zip'            => $self->zip,
4899     'country'        => $self->country,
4900     'email'          => $email,
4901     'phone'          => $self->daytime || $self->night,
4902     %content, #after
4903   );
4904   warn join('', map { "  $_ => $sub_content{$_}\n" } keys %sub_content )
4905     if $DEBUG > 1;
4906   $refund->submit();
4907
4908   return "$processor error: ". $refund->error_message
4909     unless $refund->is_success();
4910
4911   my %method2payby = (
4912     'CC'     => 'CARD',
4913     'ECHECK' => 'CHEK',
4914     'LEC'    => 'LECB',
4915   );
4916
4917   my $paybatch = "$processor:". $refund->authorization;
4918   $paybatch .= ':'. $refund->order_number
4919     if $refund->can('order_number') && $refund->order_number;
4920
4921   while ( $cust_pay && $cust_pay->unapplied < $amount ) {
4922     my @cust_bill_pay = $cust_pay->cust_bill_pay;
4923     last unless @cust_bill_pay;
4924     my $cust_bill_pay = pop @cust_bill_pay;
4925     my $error = $cust_bill_pay->delete;
4926     last if $error;
4927   }
4928
4929   my $cust_refund = new FS::cust_refund ( {
4930     'custnum'  => $self->custnum,
4931     'paynum'   => $options{'paynum'},
4932     'refund'   => $amount,
4933     '_date'    => '',
4934     'payby'    => $method2payby{$method},
4935     'payinfo'  => $payinfo,
4936     'paybatch' => $paybatch,
4937     'reason'   => $options{'reason'} || 'card or ACH refund',
4938   } );
4939   my $error = $cust_refund->insert;
4940   if ( $error ) {
4941     $cust_refund->paynum(''); #try again with no specific paynum
4942     my $error2 = $cust_refund->insert;
4943     if ( $error2 ) {
4944       # gah, even with transactions.
4945       my $e = 'WARNING: Card/ACH refunded but database not updated - '.
4946               "error inserting refund ($processor): $error2".
4947               " (previously tried insert with paynum #$options{'paynum'}" .
4948               ": $error )";
4949       warn $e;
4950       return $e;
4951     }
4952   }
4953
4954   ''; #no error
4955
4956 }
4957
4958 # does the configuration indicate the new bop routines are required?
4959
4960 sub _new_bop_required {
4961   my $self = shift;
4962
4963   my $botpp = 'Business::OnlineThirdPartyPayment';
4964
4965   return 1
4966     if (   (     $conf->exists('business-onlinepayment-namespace')
4967              &&  $conf->config('business-onlinepayment-namespace') eq $botpp
4968            )
4969          or scalar( grep { $_->gateway_namespace eq $botpp } 
4970                     qsearch( 'payment_gateway', { 'disabled' => '' } )
4971                   )
4972        )
4973   ;
4974
4975   '';
4976 }
4977   
4978 =item realtime_collect [ OPTION => VALUE ... ]
4979
4980 Runs a realtime credit card, ACH (electronic check) or phone bill transaction
4981 via a Business::OnlinePayment or Business::OnlineThirdPartyPayment realtime
4982 gateway.  See L<http://420.am/business-onlinepayment> and 
4983 L<http://420.am/business-onlinethirdpartypayment> for supported gateways.
4984
4985 On failure returns an error message.
4986
4987 Returns false or a hashref upon success.  The hashref contains keys popup_url reference, and collectitems.  The first is a URL to which a browser should be redirected for completion of collection.  The second is a reference id for the transaction suitable for the end user.  The collectitems is a reference to a list of name value pairs suitable for assigning to a html form and posted to popup_url.
4988
4989 Available options are: I<method>, I<amount>, I<description>, I<invnum>, I<quiet>, I<paynum_ref>, I<payunique>, I<session_id>, I<pkgnum>
4990
4991 I<method> is one of: I<CC>, I<ECHECK> and I<LEC>.  If none is specified
4992 then it is deduced from the customer record.
4993
4994 If no I<amount> is specified, then the customer balance is used.
4995
4996 The additional options I<payname>, I<address1>, I<address2>, I<city>, I<state>,
4997 I<zip>, I<payinfo> and I<paydate> are also available.  Any of these options,
4998 if set, will override the value from the customer record.
4999
5000 I<description> is a free-text field passed to the gateway.  It defaults to
5001 the value defined by the business-onlinepayment-description configuration
5002 option, or "Internet services" if that is unset.
5003
5004 If an I<invnum> is specified, this payment (if successful) is applied to the
5005 specified invoice.  If you don't specify an I<invnum> you might want to
5006 call the B<apply_payments> method or set the I<apply> option.
5007
5008 I<apply> can be set to true to apply a resulting payment.
5009
5010 I<quiet> can be set true to surpress email decline notices.
5011
5012 I<paynum_ref> can be set to a scalar reference.  It will be filled in with the
5013 resulting paynum, if any.
5014
5015 I<payunique> is a unique identifier for this payment.
5016
5017 I<session_id> is a session identifier associated with this payment.
5018
5019 I<depend_jobnum> allows payment capture to unlock export jobs
5020
5021 =cut
5022
5023 sub realtime_collect {
5024   my( $self, %options ) = @_;
5025
5026   if ( $DEBUG ) {
5027     warn "$me realtime_collect:\n";
5028     warn "  $_ => $options{$_}\n" foreach keys %options;
5029   }
5030
5031   $options{amount} = $self->balance unless exists( $options{amount} );
5032   $options{method} = FS::payby->payby2bop($self->payby)
5033     unless exists( $options{method} );
5034
5035   return $self->realtime_bop({%options});
5036
5037 }
5038
5039 =item _realtime_bop { [ ARG => VALUE ... ] }
5040
5041 Runs a realtime credit card, ACH (electronic check) or phone bill transaction
5042 via a Business::OnlinePayment realtime gateway.  See
5043 L<http://420.am/business-onlinepayment> for supported gateways.
5044
5045 Required arguments in the hashref are I<method>, and I<amount>
5046
5047 Available methods are: I<CC>, I<ECHECK> and I<LEC>
5048
5049 Available optional arguments are: I<description>, I<invnum>, I<quiet>, I<paynum_ref>, I<payunique>, I<session_id>
5050
5051 The additional options I<payname>, I<address1>, I<address2>, I<city>, I<state>,
5052 I<zip>, I<payinfo> and I<paydate> are also available.  Any of these options,
5053 if set, will override the value from the customer record.
5054
5055 I<description> is a free-text field passed to the gateway.  It defaults to
5056 the value defined by the business-onlinepayment-description configuration
5057 option, or "Internet services" if that is unset.
5058
5059 If an I<invnum> is specified, this payment (if successful) is applied to the
5060 specified invoice.  If you don't specify an I<invnum> you might want to
5061 call the B<apply_payments> method.
5062
5063 I<quiet> can be set true to surpress email decline notices.
5064
5065 I<paynum_ref> can be set to a scalar reference.  It will be filled in with the
5066 resulting paynum, if any.
5067
5068 I<payunique> is a unique identifier for this payment.
5069
5070 I<session_id> is a session identifier associated with this payment.
5071
5072 I<depend_jobnum> allows payment capture to unlock export jobs
5073
5074 (moved from cust_bill) (probably should get realtime_{card,ach,lec} here too)
5075
5076 =cut
5077
5078 # some helper routines
5079 sub _payment_gateway {
5080   my ($self, $options) = @_;
5081
5082   $options->{payment_gateway} = $self->agent->payment_gateway( %$options )
5083     unless exists($options->{payment_gateway});
5084
5085   $options->{payment_gateway};
5086 }
5087
5088 sub _bop_auth {
5089   my ($self, $options) = @_;
5090
5091   (
5092     'login'    => $options->{payment_gateway}->gateway_username,
5093     'password' => $options->{payment_gateway}->gateway_password,
5094   );
5095 }
5096
5097 sub _bop_options {
5098   my ($self, $options) = @_;
5099
5100   $options->{payment_gateway}->gatewaynum
5101     ? $options->{payment_gateway}->options
5102     : @{ $options->{payment_gateway}->get('options') };
5103 }
5104
5105 sub _bop_defaults {
5106   my ($self, $options) = @_;
5107
5108   unless ( $options->{'description'} ) {
5109     if ( $conf->exists('business-onlinepayment-description') ) {
5110       my $dtempl = $conf->config('business-onlinepayment-description');
5111
5112       my $agent = $self->agent->agent;
5113       #$pkgs... not here
5114       $options->{'description'} = eval qq("$dtempl");
5115     } else {
5116       $options->{'description'} = 'Internet services';
5117     }
5118   }
5119
5120   $options->{payinfo} = $self->payinfo unless exists( $options->{payinfo} );
5121   $options->{invnum} ||= '';
5122   $options->{payname} = $self->payname unless exists( $options->{payname} );
5123 }
5124
5125 sub _bop_content {
5126   my ($self, $options) = @_;
5127   my %content = ();
5128
5129   $content{address} = exists($options->{'address1'})
5130                         ? $options->{'address1'}
5131                         : $self->address1;
5132   my $address2 = exists($options->{'address2'})
5133                    ? $options->{'address2'}
5134                    : $self->address2;
5135   $content{address} .= ", ". $address2 if length($address2);
5136
5137   my $payip = exists($options->{'payip'}) ? $options->{'payip'} : $self->payip;
5138   $content{customer_ip} = $payip if length($payip);
5139
5140   $content{invoice_number} = $options->{'invnum'}
5141     if exists($options->{'invnum'}) && length($options->{'invnum'});
5142
5143   $content{email_customer} = 
5144     (    $conf->exists('business-onlinepayment-email_customer')
5145       || $conf->exists('business-onlinepayment-email-override') );
5146       
5147   $content{payfirst} = $self->getfield('first');
5148   $content{paylast} = $self->getfield('last');
5149
5150   $content{account_name} = "$content{payfirst} $content{paylast}"
5151     if $options->{method} eq 'ECHECK';
5152
5153   $content{name} = $options->{payname};
5154   $content{name} = $content{account_name} if exists($content{account_name});
5155
5156   $content{city} = exists($options->{city})
5157                      ? $options->{city}
5158                      : $self->city;
5159   $content{state} = exists($options->{state})
5160                       ? $options->{state}
5161                       : $self->state;
5162   $content{zip} = exists($options->{zip})
5163                     ? $options->{'zip'}
5164                     : $self->zip;
5165   $content{country} = exists($options->{country})
5166                         ? $options->{country}
5167                         : $self->country;
5168   $content{referer} = 'http://cleanwhisker.420.am/'; #XXX fix referer :/
5169   $content{phone} = $self->daytime || $self->night;
5170
5171   (%content);
5172 }
5173
5174 my %bop_method2payby = (
5175   'CC'     => 'CARD',
5176   'ECHECK' => 'CHEK',
5177   'LEC'    => 'LECB',
5178 );
5179
5180 sub _new_realtime_bop {
5181   my $self = shift;
5182
5183   my %options = ();
5184   if (ref($_[0]) eq 'HASH') {
5185     %options = %{$_[0]};
5186   } else {
5187     my ( $method, $amount ) = ( shift, shift );
5188     %options = @_;
5189     $options{method} = $method;
5190     $options{amount} = $amount;
5191   }
5192   
5193   if ( $DEBUG ) {
5194     warn "$me realtime_bop (new): $options{method} $options{amount}\n";
5195     warn "  $_ => $options{$_}\n" foreach keys %options;
5196   }
5197
5198   return $self->fake_bop(%options) if $options{'fake'};
5199
5200   $self->_bop_defaults(\%options);
5201
5202   ###
5203   # set trans_is_recur based on invnum if there is one
5204   ###
5205
5206   my $trans_is_recur = 0;
5207   if ( $options{'invnum'} ) {
5208
5209     my $cust_bill = qsearchs('cust_bill', { 'invnum' => $options{'invnum'} } );
5210     die "invnum ". $options{'invnum'}. " not found" unless $cust_bill;
5211
5212     my @part_pkg =
5213       map  { $_->part_pkg }
5214       grep { $_ }
5215       map  { $_->cust_pkg }
5216       $cust_bill->cust_bill_pkg;
5217
5218     $trans_is_recur = 1
5219       if grep { $_->freq ne '0' } @part_pkg;
5220
5221   }
5222
5223   ###
5224   # select a gateway
5225   ###
5226
5227   my $payment_gateway =  $self->_payment_gateway( \%options );
5228   my $namespace = $payment_gateway->gateway_namespace;
5229
5230   eval "use $namespace";  
5231   die $@ if $@;
5232
5233   ###
5234   # check for banned credit card/ACH
5235   ###
5236
5237   my $ban = qsearchs('banned_pay', {
5238     'payby'   => $bop_method2payby{$options{method}},
5239     'payinfo' => md5_base64($options{payinfo}),
5240   } );
5241   return "Banned credit card" if $ban;
5242
5243   ###
5244   # massage data
5245   ###
5246
5247   my (%bop_content) = $self->_bop_content(\%options);
5248
5249   if ( $options{method} ne 'ECHECK' ) {
5250     $options{payname} =~ /^\s*([\w \,\.\-\']*)?\s+([\w\,\.\-\']+)\s*$/
5251       or return "Illegal payname $options{payname}";
5252     ($bop_content{payfirst}, $bop_content{paylast}) = ($1, $2);
5253   }
5254
5255   my @invoicing_list = $self->invoicing_list_emailonly;
5256   if ( $conf->exists('emailinvoiceautoalways')
5257        || $conf->exists('emailinvoiceauto') && ! @invoicing_list
5258        || ( $conf->exists('emailinvoiceonly') && ! @invoicing_list ) ) {
5259     push @invoicing_list, $self->all_emails;
5260   }
5261
5262   my $email = ($conf->exists('business-onlinepayment-email-override'))
5263               ? $conf->config('business-onlinepayment-email-override')
5264               : $invoicing_list[0];
5265
5266   my $paydate = '';
5267   my %content = ();
5268   if ( $namespace eq 'Business::OnlinePayment' && $options{method} eq 'CC' ) {
5269
5270     $content{card_number} = $options{payinfo};
5271     $paydate = exists($options{'paydate'})
5272                     ? $options{'paydate'}
5273                     : $self->paydate;
5274     $paydate =~ /^\d{2}(\d{2})[\/\-](\d+)[\/\-]\d+$/;
5275     $content{expiration} = "$2/$1";
5276
5277     my $paycvv = exists($options{'paycvv'})
5278                    ? $options{'paycvv'}
5279                    : $self->paycvv;
5280     $content{cvv2} = $paycvv
5281       if length($paycvv);
5282
5283     my $paystart_month = exists($options{'paystart_month'})
5284                            ? $options{'paystart_month'}
5285                            : $self->paystart_month;
5286
5287     my $paystart_year  = exists($options{'paystart_year'})
5288                            ? $options{'paystart_year'}
5289                            : $self->paystart_year;
5290
5291     $content{card_start} = "$paystart_month/$paystart_year"
5292       if $paystart_month && $paystart_year;
5293
5294     my $payissue       = exists($options{'payissue'})
5295                            ? $options{'payissue'}
5296                            : $self->payissue;
5297     $content{issue_number} = $payissue if $payissue;
5298
5299     if ( $self->_bop_recurring_billing( 'payinfo'        => $options{'payinfo'},
5300                                         'trans_is_recur' => $trans_is_recur,
5301                                       )
5302        )
5303     {
5304       $content{recurring_billing} = 'YES';
5305       $content{acct_code} = 'rebill'
5306         if $conf->exists('credit_card-recurring_billing_acct_code');
5307     }
5308
5309   } elsif ( $namespace eq 'Business::OnlinePayment' && $options{method} eq 'ECHECK' ){
5310     ( $content{account_number}, $content{routing_code} ) =
5311       split('@', $options{payinfo});
5312     $content{bank_name} = $options{payname};
5313     $content{bank_state} = exists($options{'paystate'})
5314                              ? $options{'paystate'}
5315                              : $self->getfield('paystate');
5316     $content{account_type} = exists($options{'paytype'})
5317                                ? uc($options{'paytype'}) || 'CHECKING'
5318                                : uc($self->getfield('paytype')) || 'CHECKING';
5319     $content{customer_org} = $self->company ? 'B' : 'I';
5320     $content{state_id}       = exists($options{'stateid'})
5321                                  ? $options{'stateid'}
5322                                  : $self->getfield('stateid');
5323     $content{state_id_state} = exists($options{'stateid_state'})
5324                                  ? $options{'stateid_state'}
5325                                  : $self->getfield('stateid_state');
5326     $content{customer_ssn} = exists($options{'ss'})
5327                                ? $options{'ss'}
5328                                : $self->ss;
5329   } elsif ( $namespace eq 'Business::OnlinePayment' && $options{method} eq 'LEC' ) {
5330     $content{phone} = $options{payinfo};
5331   } elsif ( $namespace eq 'Business::OnlineThirdPartyPayment' ) {
5332     #move along
5333   } else {
5334     #die an evil death
5335   }
5336
5337   ###
5338   # run transaction(s)
5339   ###
5340
5341   my $balance = exists( $options{'balance'} )
5342                   ? $options{'balance'}
5343                   : $self->balance;
5344
5345   $self->select_for_update; #mutex ... just until we get our pending record in
5346
5347   #the checks here are intended to catch concurrent payments
5348   #double-form-submission prevention is taken care of in cust_pay_pending::check
5349
5350   #check the balance
5351   return "The customer's balance has changed; $options{method} transaction aborted."
5352     if $self->balance < $balance;
5353     #&& $self->balance < $options{amount}; #might as well anyway?
5354
5355   #also check and make sure there aren't *other* pending payments for this cust
5356
5357   my @pending = qsearch('cust_pay_pending', {
5358     'custnum' => $self->custnum,
5359     'status'  => { op=>'!=', value=>'done' } 
5360   });
5361   return "A payment is already being processed for this customer (".
5362          join(', ', map 'paypendingnum '. $_->paypendingnum, @pending ).
5363          "); $options{method} transaction aborted."
5364     if scalar(@pending);
5365
5366   #okay, good to go, if we're a duplicate, cust_pay_pending will kick us out
5367
5368   my $cust_pay_pending = new FS::cust_pay_pending {
5369     'custnum'           => $self->custnum,
5370     #'invnum'            => $options{'invnum'},
5371     'paid'              => $options{amount},
5372     '_date'             => '',
5373     'payby'             => $bop_method2payby{$options{method}},
5374     'payinfo'           => $options{payinfo},
5375     'paydate'           => $paydate,
5376     'recurring_billing' => $content{recurring_billing},
5377     'pkgnum'            => $options{'pkgnum'},
5378     'status'            => 'new',
5379     'gatewaynum'        => $payment_gateway->gatewaynum || '',
5380     'session_id'        => $options{session_id} || '',
5381     'jobnum'            => $options{depend_jobnum} || '',
5382   };
5383   $cust_pay_pending->payunique( $options{payunique} )
5384     if defined($options{payunique}) && length($options{payunique});
5385   my $cpp_new_err = $cust_pay_pending->insert; #mutex lost when this is inserted
5386   return $cpp_new_err if $cpp_new_err;
5387
5388   my( $action1, $action2 ) =
5389     split( /\s*\,\s*/, $payment_gateway->gateway_action );
5390
5391   my $transaction = new $namespace( $payment_gateway->gateway_module,
5392                                     $self->_bop_options(\%options),
5393                                   );
5394
5395   $transaction->content(
5396     'type'           => $options{method},
5397     $self->_bop_auth(\%options),          
5398     'action'         => $action1,
5399     'description'    => $options{'description'},
5400     'amount'         => $options{amount},
5401     #'invoice_number' => $options{'invnum'},
5402     'customer_id'    => $self->custnum,
5403     %bop_content,
5404     'reference'      => $cust_pay_pending->paypendingnum, #for now
5405     'email'          => $email,
5406     %content, #after
5407   );
5408
5409   $cust_pay_pending->status('pending');
5410   my $cpp_pending_err = $cust_pay_pending->replace;
5411   return $cpp_pending_err if $cpp_pending_err;
5412
5413   #config?
5414   my $BOP_TESTING = 0;
5415   my $BOP_TESTING_SUCCESS = 1;
5416
5417   unless ( $BOP_TESTING ) {
5418     $transaction->submit();
5419   } else {
5420     if ( $BOP_TESTING_SUCCESS ) {
5421       $transaction->is_success(1);
5422       $transaction->authorization('fake auth');
5423     } else {
5424       $transaction->is_success(0);
5425       $transaction->error_message('fake failure');
5426     }
5427   }
5428
5429   if ( $transaction->is_success() && $namespace eq 'Business::OnlineThirdPartyPayment' ) {
5430
5431     return { reference => $cust_pay_pending->paypendingnum,
5432              map { $_ => $transaction->$_ } qw ( popup_url collectitems ) };
5433
5434   } elsif ( $transaction->is_success() && $action2 ) {
5435
5436     $cust_pay_pending->status('authorized');
5437     my $cpp_authorized_err = $cust_pay_pending->replace;
5438     return $cpp_authorized_err if $cpp_authorized_err;
5439
5440     my $auth = $transaction->authorization;
5441     my $ordernum = $transaction->can('order_number')
5442                    ? $transaction->order_number
5443                    : '';
5444
5445     my $capture =
5446       new Business::OnlinePayment( $payment_gateway->gateway_module,
5447                                    $self->_bop_options(\%options),
5448                                  );
5449
5450     my %capture = (
5451       %content,
5452       type           => $options{method},
5453       action         => $action2,
5454       $self->_bop_auth(\%options),          
5455       order_number   => $ordernum,
5456       amount         => $options{amount},
5457       authorization  => $auth,
5458       description    => $options{'description'},
5459     );
5460
5461     foreach my $field (qw( authorization_source_code returned_ACI
5462                            transaction_identifier validation_code           
5463                            transaction_sequence_num local_transaction_date    
5464                            local_transaction_time AVS_result_code          )) {
5465       $capture{$field} = $transaction->$field() if $transaction->can($field);
5466     }
5467
5468     $capture->content( %capture );
5469
5470     $capture->submit();
5471
5472     unless ( $capture->is_success ) {
5473       my $e = "Authorization successful but capture failed, custnum #".
5474               $self->custnum. ': '.  $capture->result_code.
5475               ": ". $capture->error_message;
5476       warn $e;
5477       return $e;
5478     }
5479
5480   }
5481
5482   ###
5483   # remove paycvv after initial transaction
5484   ###
5485
5486   #false laziness w/misc/process/payment.cgi - check both to make sure working
5487   # correctly
5488   if ( defined $self->dbdef_table->column('paycvv')
5489        && length($self->paycvv)
5490        && ! grep { $_ eq cardtype($options{payinfo}) } $conf->config('cvv-save')
5491   ) {
5492     my $error = $self->remove_cvv;
5493     if ( $error ) {
5494       warn "WARNING: error removing cvv: $error\n";
5495     }
5496   }
5497
5498   ###
5499   # result handling
5500   ###
5501
5502   $self->_realtime_bop_result( $cust_pay_pending, $transaction, %options );
5503
5504 }
5505
5506 =item fake_bop
5507
5508 =cut
5509
5510 sub fake_bop {
5511   my $self = shift;
5512
5513   my %options = ();
5514   if (ref($_[0]) eq 'HASH') {
5515     %options = %{$_[0]};
5516   } else {
5517     my ( $method, $amount ) = ( shift, shift );
5518     %options = @_;
5519     $options{method} = $method;
5520     $options{amount} = $amount;
5521   }
5522   
5523   if ( $options{'fake_failure'} ) {
5524      return "Error: No error; test failure requested with fake_failure";
5525   }
5526
5527   #my $paybatch = '';
5528   #if ( $payment_gateway->gatewaynum ) { # agent override
5529   #  $paybatch = $payment_gateway->gatewaynum. '-';
5530   #}
5531   #
5532   #$paybatch .= "$processor:". $transaction->authorization;
5533   #
5534   #$paybatch .= ':'. $transaction->order_number
5535   #  if $transaction->can('order_number')
5536   #  && length($transaction->order_number);
5537
5538   my $paybatch = 'FakeProcessor:54:32';
5539
5540   my $cust_pay = new FS::cust_pay ( {
5541      'custnum'  => $self->custnum,
5542      'invnum'   => $options{'invnum'},
5543      'paid'     => $options{amount},
5544      '_date'    => '',
5545      'payby'    => $bop_method2payby{$options{method}},
5546      #'payinfo'  => $payinfo,
5547      'payinfo'  => '4111111111111111',
5548      'paybatch' => $paybatch,
5549      #'paydate'  => $paydate,
5550      'paydate'  => '2012-05-01',
5551   } );
5552   $cust_pay->payunique( $options{payunique} ) if length($options{payunique});
5553
5554   my $error = $cust_pay->insert($options{'manual'} ? ( 'manual' => 1 ) : () );
5555
5556   if ( $error ) {
5557     $cust_pay->invnum(''); #try again with no specific invnum
5558     my $error2 = $cust_pay->insert( $options{'manual'} ?
5559                                     ( 'manual' => 1 ) : ()
5560                                   );
5561     if ( $error2 ) {
5562       # gah, even with transactions.
5563       my $e = 'WARNING: Card/ACH debited but database not updated - '.
5564               "error inserting (fake!) payment: $error2".
5565               " (previously tried insert with invnum #$options{'invnum'}" .
5566               ": $error )";
5567       warn $e;
5568       return $e;
5569     }
5570   }
5571
5572   if ( $options{'paynum_ref'} ) {
5573     ${ $options{'paynum_ref'} } = $cust_pay->paynum;
5574   }
5575
5576   return ''; #no error
5577
5578 }
5579
5580
5581 # item _realtime_bop_result CUST_PAY_PENDING, BOP_OBJECT [ OPTION => VALUE ... ]
5582
5583 # Wraps up processing of a realtime credit card, ACH (electronic check) or
5584 # phone bill transaction.
5585
5586 sub _realtime_bop_result {
5587   my( $self, $cust_pay_pending, $transaction, %options ) = @_;
5588   if ( $DEBUG ) {
5589     warn "$me _realtime_bop_result: pending transaction ".
5590       $cust_pay_pending->paypendingnum. "\n";
5591     warn "  $_ => $options{$_}\n" foreach keys %options;
5592   }
5593
5594   my $payment_gateway = $options{payment_gateway}
5595     or return "no payment gateway in arguments to _realtime_bop_result";
5596
5597   $cust_pay_pending->status($transaction->is_success() ? 'captured' : 'declined');
5598   my $cpp_captured_err = $cust_pay_pending->replace;
5599   return $cpp_captured_err if $cpp_captured_err;
5600
5601   if ( $transaction->is_success() ) {
5602
5603     my $paybatch = '';
5604     if ( $payment_gateway->gatewaynum ) { # agent override
5605       $paybatch = $payment_gateway->gatewaynum. '-';
5606     }
5607
5608     $paybatch .= $payment_gateway->gateway_module. ":".
5609       $transaction->authorization;
5610
5611     $paybatch .= ':'. $transaction->order_number
5612       if $transaction->can('order_number')
5613       && length($transaction->order_number);
5614
5615     my $cust_pay = new FS::cust_pay ( {
5616        'custnum'  => $self->custnum,
5617        'invnum'   => $options{'invnum'},
5618        'paid'     => $cust_pay_pending->paid,
5619        '_date'    => '',
5620        'payby'    => $cust_pay_pending->payby,
5621        #'payinfo'  => $payinfo,
5622        'paybatch' => $paybatch,
5623        'paydate'  => $cust_pay_pending->paydate,
5624        'pkgnum'   => $cust_pay_pending->pkgnum,
5625     } );
5626     #doesn't hurt to know, even though the dup check is in cust_pay_pending now
5627     $cust_pay->payunique( $options{payunique} )
5628       if defined($options{payunique}) && length($options{payunique});
5629
5630     my $oldAutoCommit = $FS::UID::AutoCommit;
5631     local $FS::UID::AutoCommit = 0;
5632     my $dbh = dbh;
5633
5634     #start a transaction, insert the cust_pay and set cust_pay_pending.status to done in a single transction
5635
5636     my $error = $cust_pay->insert($options{'manual'} ? ( 'manual' => 1 ) : () );
5637
5638     if ( $error ) {
5639       $cust_pay->invnum(''); #try again with no specific invnum
5640       my $error2 = $cust_pay->insert( $options{'manual'} ?
5641                                       ( 'manual' => 1 ) : ()
5642                                     );
5643       if ( $error2 ) {
5644         # gah.  but at least we have a record of the state we had to abort in
5645         # from cust_pay_pending now.
5646         my $e = "WARNING: $options{method} captured but payment not recorded -".
5647                 " error inserting payment (". $payment_gateway->gateway_module.
5648                 "): $error2".
5649                 " (previously tried insert with invnum #$options{'invnum'}" .
5650                 ": $error ) - pending payment saved as paypendingnum ".
5651                 $cust_pay_pending->paypendingnum. "\n";
5652         warn $e;
5653         return $e;
5654       }
5655     }
5656
5657     my $jobnum = $cust_pay_pending->jobnum;
5658     if ( $jobnum ) {
5659        my $placeholder = qsearchs( 'queue', { 'jobnum' => $jobnum } );
5660       
5661        unless ( $placeholder ) {
5662          $dbh->rollback or die $dbh->errstr if $oldAutoCommit;
5663          my $e = "WARNING: $options{method} captured but job $jobnum not ".
5664              "found for paypendingnum ". $cust_pay_pending->paypendingnum. "\n";
5665          warn $e;
5666          return $e;
5667        }
5668
5669        $error = $placeholder->delete;
5670
5671        if ( $error ) {
5672          $dbh->rollback or die $dbh->errstr if $oldAutoCommit;
5673          my $e = "WARNING: $options{method} captured but could not delete ".
5674               "job $jobnum for paypendingnum ".
5675               $cust_pay_pending->paypendingnum. ": $error\n";
5676          warn $e;
5677          return $e;
5678        }
5679
5680     }
5681     
5682     if ( $options{'paynum_ref'} ) {
5683       ${ $options{'paynum_ref'} } = $cust_pay->paynum;
5684     }
5685
5686     $cust_pay_pending->status('done');
5687     $cust_pay_pending->statustext('captured');
5688     $cust_pay_pending->paynum($cust_pay->paynum);
5689     my $cpp_done_err = $cust_pay_pending->replace;
5690
5691     if ( $cpp_done_err ) {
5692
5693       $dbh->rollback or die $dbh->errstr if $oldAutoCommit;
5694       my $e = "WARNING: $options{method} captured but payment not recorded - ".
5695               "error updating status for paypendingnum ".
5696               $cust_pay_pending->paypendingnum. ": $cpp_done_err \n";
5697       warn $e;
5698       return $e;
5699
5700     } else {
5701
5702       $dbh->commit or die $dbh->errstr if $oldAutoCommit;
5703
5704       if ( $options{'apply'} ) {
5705         my $apply_error = $self->apply_payments_and_credits;
5706         if ( $apply_error ) {
5707           warn "WARNING: error applying payment: $apply_error\n";
5708           #but we still should return no error cause the payment otherwise went
5709           #through...
5710         }
5711       }
5712
5713       return ''; #no error
5714
5715     }
5716
5717   } else {
5718
5719     my $perror = $payment_gateway->gateway_module. " error: ".
5720       $transaction->error_message;
5721
5722     my $jobnum = $cust_pay_pending->jobnum;
5723     if ( $jobnum ) {
5724        my $placeholder = qsearchs( 'queue', { 'jobnum' => $jobnum } );
5725       
5726        if ( $placeholder ) {
5727          my $error = $placeholder->depended_delete;
5728          $error ||= $placeholder->delete;
5729          warn "error removing provisioning jobs after declined paypendingnum ".
5730            $cust_pay_pending->paypendingnum. "\n";
5731        } else {
5732          my $e = "error finding job $jobnum for declined paypendingnum ".
5733               $cust_pay_pending->paypendingnum. "\n";
5734          warn $e;
5735        }
5736
5737     }
5738     
5739     unless ( $transaction->error_message ) {
5740
5741       my $t_response;
5742       if ( $transaction->can('response_page') ) {
5743         $t_response = {
5744                         'page'    => ( $transaction->can('response_page')
5745                                          ? $transaction->response_page
5746                                          : ''
5747                                      ),
5748                         'code'    => ( $transaction->can('response_code')
5749                                          ? $transaction->response_code
5750                                          : ''
5751                                      ),
5752                         'headers' => ( $transaction->can('response_headers')
5753                                          ? $transaction->response_headers
5754                                          : ''
5755                                      ),
5756                       };
5757       } else {
5758         $t_response .=
5759           "No additional debugging information available for ".
5760             $payment_gateway->gateway_module;
5761       }
5762
5763       $perror .= "No error_message returned from ".
5764                    $payment_gateway->gateway_module. " -- ".
5765                  ( ref($t_response) ? Dumper($t_response) : $t_response );
5766
5767     }
5768
5769     if ( !$options{'quiet'} && !$realtime_bop_decline_quiet
5770          && $conf->exists('emaildecline')
5771          && grep { $_ ne 'POST' } $self->invoicing_list
5772          && ! grep { $transaction->error_message =~ /$_/ }
5773                    $conf->config('emaildecline-exclude')
5774     ) {
5775       my @templ = $conf->config('declinetemplate');
5776       my $template = new Text::Template (
5777         TYPE   => 'ARRAY',
5778         SOURCE => [ map "$_\n", @templ ],
5779       ) or return "($perror) can't create template: $Text::Template::ERROR";
5780       $template->compile()
5781         or return "($perror) can't compile template: $Text::Template::ERROR";
5782
5783       my $templ_hash = {
5784         'company_name'    =>
5785           scalar( $conf->config('company_name', $self->agentnum ) ),
5786         'company_address' =>
5787           join("\n", $conf->config('company_address', $self->agentnum ) ),
5788         'error'           => $transaction->error_message,
5789       };
5790
5791       my $error = send_email(
5792         'from'    => $conf->config('invoice_from', $self->agentnum ),
5793         'to'      => [ grep { $_ ne 'POST' } $self->invoicing_list ],
5794         'subject' => 'Your payment could not be processed',
5795         'body'    => [ $template->fill_in(HASH => $templ_hash) ],
5796       );
5797
5798       $perror .= " (also received error sending decline notification: $error)"
5799         if $error;
5800
5801     }
5802
5803     $cust_pay_pending->status('done');
5804     $cust_pay_pending->statustext("declined: $perror");
5805     my $cpp_done_err = $cust_pay_pending->replace;
5806     if ( $cpp_done_err ) {
5807       my $e = "WARNING: $options{method} declined but pending payment not ".
5808               "resolved - error updating status for paypendingnum ".
5809               $cust_pay_pending->paypendingnum. ": $cpp_done_err \n";
5810       warn $e;
5811       $perror = "$e ($perror)";
5812     }
5813
5814     return $perror;
5815   }
5816
5817 }
5818
5819 =item realtime_botpp_capture CUST_PAY_PENDING [ OPTION => VALUE ... ]
5820
5821 Verifies successful third party processing of a realtime credit card,
5822 ACH (electronic check) or phone bill transaction via a
5823 Business::OnlineThirdPartyPayment realtime gateway.  See
5824 L<http://420.am/business-onlinethirdpartypayment> for supported gateways.
5825
5826 Available options are: I<description>, I<invnum>, I<quiet>, I<paynum_ref>, I<payunique>
5827
5828 The additional options I<payname>, I<city>, I<state>,
5829 I<zip>, I<payinfo> and I<paydate> are also available.  Any of these options,
5830 if set, will override the value from the customer record.
5831
5832 I<description> is a free-text field passed to the gateway.  It defaults to
5833 "Internet services".
5834
5835 If an I<invnum> is specified, this payment (if successful) is applied to the
5836 specified invoice.  If you don't specify an I<invnum> you might want to
5837 call the B<apply_payments> method.
5838
5839 I<quiet> can be set true to surpress email decline notices.
5840
5841 I<paynum_ref> can be set to a scalar reference.  It will be filled in with the
5842 resulting paynum, if any.
5843
5844 I<payunique> is a unique identifier for this payment.
5845
5846 Returns a hashref containing elements bill_error (which will be undefined
5847 upon success) and session_id of any associated session.
5848
5849 =cut
5850
5851 sub realtime_botpp_capture {
5852   my( $self, $cust_pay_pending, %options ) = @_;
5853   if ( $DEBUG ) {
5854     warn "$me realtime_botpp_capture: pending transaction $cust_pay_pending\n";
5855     warn "  $_ => $options{$_}\n" foreach keys %options;
5856   }
5857
5858   eval "use Business::OnlineThirdPartyPayment";  
5859   die $@ if $@;
5860
5861   ###
5862   # select the gateway
5863   ###
5864
5865   my $method = FS::payby->payby2bop($cust_pay_pending->payby);
5866
5867   my $payment_gateway = $cust_pay_pending->gatewaynum
5868     ? qsearchs( 'payment_gateway',
5869                 { gatewaynum => $cust_pay_pending->gatewaynum }
5870               )
5871     : $self->agent->payment_gateway( 'method' => $method,
5872                                      # 'invnum'  => $cust_pay_pending->invnum,
5873                                      # 'payinfo' => $cust_pay_pending->payinfo,
5874                                    );
5875
5876   $options{payment_gateway} = $payment_gateway; # for the helper subs
5877
5878   ###
5879   # massage data
5880   ###
5881
5882   my @invoicing_list = $self->invoicing_list_emailonly;
5883   if ( $conf->exists('emailinvoiceautoalways')
5884        || $conf->exists('emailinvoiceauto') && ! @invoicing_list
5885        || ( $conf->exists('emailinvoiceonly') && ! @invoicing_list ) ) {
5886     push @invoicing_list, $self->all_emails;
5887   }
5888
5889   my $email = ($conf->exists('business-onlinepayment-email-override'))
5890               ? $conf->config('business-onlinepayment-email-override')
5891               : $invoicing_list[0];
5892
5893   my %content = ();
5894
5895   $content{email_customer} = 
5896     (    $conf->exists('business-onlinepayment-email_customer')
5897       || $conf->exists('business-onlinepayment-email-override') );
5898       
5899   ###
5900   # run transaction(s)
5901   ###
5902
5903   my $transaction =
5904     new Business::OnlineThirdPartyPayment( $payment_gateway->gateway_module,
5905                                            $self->_bop_options(\%options),
5906                                          );
5907
5908   $transaction->reference({ %options }); 
5909
5910   $transaction->content(
5911     'type'           => $method,
5912     $self->_bop_auth(\%options),
5913     'action'         => 'Post Authorization',
5914     'description'    => $options{'description'},
5915     'amount'         => $cust_pay_pending->paid,
5916     #'invoice_number' => $options{'invnum'},
5917     'customer_id'    => $self->custnum,
5918     'referer'        => 'http://cleanwhisker.420.am/',
5919     'reference'      => $cust_pay_pending->paypendingnum,
5920     'email'          => $email,
5921     'phone'          => $self->daytime || $self->night,
5922     %content, #after
5923     # plus whatever is required for bogus capture avoidance
5924   );
5925
5926   $transaction->submit();
5927
5928   my $error =
5929     $self->_realtime_bop_result( $cust_pay_pending, $transaction, %options );
5930
5931   {
5932     bill_error => $error,
5933     session_id => $cust_pay_pending->session_id,
5934   }
5935
5936 }
5937
5938 =item default_payment_gateway DEPRECATED -- use agent->payment_gateway
5939
5940 =cut
5941
5942 sub default_payment_gateway {
5943   my( $self, $method ) = @_;
5944
5945   die "Real-time processing not enabled\n"
5946     unless $conf->exists('business-onlinepayment');
5947
5948   #warn "default_payment_gateway deprecated -- use agent->payment_gateway\n";
5949
5950   #load up config
5951   my $bop_config = 'business-onlinepayment';
5952   $bop_config .= '-ach'
5953     if $method =~ /^(ECHECK|CHEK)$/ && $conf->exists($bop_config. '-ach');
5954   my ( $processor, $login, $password, $action, @bop_options ) =
5955     $conf->config($bop_config);
5956   $action ||= 'normal authorization';
5957   pop @bop_options if scalar(@bop_options) % 2 && $bop_options[-1] =~ /^\s*$/;
5958   die "No real-time processor is enabled - ".
5959       "did you set the business-onlinepayment configuration value?\n"
5960     unless $processor;
5961
5962   ( $processor, $login, $password, $action, @bop_options )
5963 }
5964
5965 =item remove_cvv
5966
5967 Removes the I<paycvv> field from the database directly.
5968
5969 If there is an error, returns the error, otherwise returns false.
5970
5971 =cut
5972
5973 sub remove_cvv {
5974   my $self = shift;
5975   my $sth = dbh->prepare("UPDATE cust_main SET paycvv = '' WHERE custnum = ?")
5976     or return dbh->errstr;
5977   $sth->execute($self->custnum)
5978     or return $sth->errstr;
5979   $self->paycvv('');
5980   '';
5981 }
5982
5983 =item _new_realtime_refund_bop METHOD [ OPTION => VALUE ... ]
5984
5985 Refunds a realtime credit card, ACH (electronic check) or phone bill transaction
5986 via a Business::OnlinePayment realtime gateway.  See
5987 L<http://420.am/business-onlinepayment> for supported gateways.
5988
5989 Available methods are: I<CC>, I<ECHECK> and I<LEC>
5990
5991 Available options are: I<amount>, I<reason>, I<paynum>, I<paydate>
5992
5993 Most gateways require a reference to an original payment transaction to refund,
5994 so you probably need to specify a I<paynum>.
5995
5996 I<amount> defaults to the original amount of the payment if not specified.
5997
5998 I<reason> specifies a reason for the refund.
5999
6000 I<paydate> specifies the expiration date for a credit card overriding the
6001 value from the customer record or the payment record. Specified as yyyy-mm-dd
6002
6003 Implementation note: If I<amount> is unspecified or equal to the amount of the
6004 orignal payment, first an attempt is made to "void" the transaction via
6005 the gateway (to cancel a not-yet settled transaction) and then if that fails,
6006 the normal attempt is made to "refund" ("credit") the transaction via the
6007 gateway is attempted.
6008
6009 #The additional options I<payname>, I<address1>, I<address2>, I<city>, I<state>,
6010 #I<zip>, I<payinfo> and I<paydate> are also available.  Any of these options,
6011 #if set, will override the value from the customer record.
6012
6013 #If an I<invnum> is specified, this payment (if successful) is applied to the
6014 #specified invoice.  If you don't specify an I<invnum> you might want to
6015 #call the B<apply_payments> method.
6016
6017 =cut
6018
6019 #some false laziness w/realtime_bop, not enough to make it worth merging
6020 #but some useful small subs should be pulled out
6021 sub _new_realtime_refund_bop {
6022   my $self = shift;
6023
6024   my %options = ();
6025   if (ref($_[0]) ne 'HASH') {
6026     %options = %{$_[0]};
6027   } else {
6028     my $method = shift;
6029     %options = @_;
6030     $options{method} = $method;
6031   }
6032
6033   if ( $DEBUG ) {
6034     warn "$me realtime_refund_bop (new): $options{method} refund\n";
6035     warn "  $_ => $options{$_}\n" foreach keys %options;
6036   }
6037
6038   ###
6039   # look up the original payment and optionally a gateway for that payment
6040   ###
6041
6042   my $cust_pay = '';
6043   my $amount = $options{'amount'};
6044
6045   my( $processor, $login, $password, @bop_options, $namespace ) ;
6046   my( $auth, $order_number ) = ( '', '', '' );
6047
6048   if ( $options{'paynum'} ) {
6049
6050     warn "  paynum: $options{paynum}\n" if $DEBUG > 1;
6051     $cust_pay = qsearchs('cust_pay', { paynum=>$options{'paynum'} } )
6052       or return "Unknown paynum $options{'paynum'}";
6053     $amount ||= $cust_pay->paid;
6054
6055     $cust_pay->paybatch =~ /^((\d+)\-)?(\w+):\s*([\w\-\/ ]*)(:([\w\-]+))?$/
6056       or return "Can't parse paybatch for paynum $options{'paynum'}: ".
6057                 $cust_pay->paybatch;
6058     my $gatewaynum = '';
6059     ( $gatewaynum, $processor, $auth, $order_number ) = ( $2, $3, $4, $6 );
6060
6061     if ( $gatewaynum ) { #gateway for the payment to be refunded
6062
6063       my $payment_gateway =
6064         qsearchs('payment_gateway', { 'gatewaynum' => $gatewaynum } );
6065       die "payment gateway $gatewaynum not found"
6066         unless $payment_gateway;
6067
6068       $processor   = $payment_gateway->gateway_module;
6069       $login       = $payment_gateway->gateway_username;
6070       $password    = $payment_gateway->gateway_password;
6071       $namespace   = $payment_gateway->gateway_namespace;
6072       @bop_options = $payment_gateway->options;
6073
6074     } else { #try the default gateway
6075
6076       my $conf_processor;
6077       my $payment_gateway =
6078         $self->agent->payment_gateway('method' => $options{method});
6079
6080       ( $conf_processor, $login, $password, $namespace ) =
6081         map { my $method = "gateway_$_"; $payment_gateway->$method }
6082           qw( module username password namespace );
6083
6084       @bop_options = $payment_gateway->gatewaynum
6085                        ? $payment_gateway->options
6086                        : @{ $payment_gateway->get('options') };
6087
6088       return "processor of payment $options{'paynum'} $processor does not".
6089              " match default processor $conf_processor"
6090         unless $processor eq $conf_processor;
6091
6092     }
6093
6094
6095   } else { # didn't specify a paynum, so look for agent gateway overrides
6096            # like a normal transaction 
6097  
6098     my $payment_gateway =
6099       $self->agent->payment_gateway( 'method'  => $options{method},
6100                                      #'payinfo' => $payinfo,
6101                                    );
6102     my( $processor, $login, $password, $namespace ) =
6103       map { my $method = "gateway_$_"; $payment_gateway->$method }
6104         qw( module username password namespace );
6105
6106     my @bop_options = $payment_gateway->gatewaynum
6107                         ? $payment_gateway->options
6108                         : @{ $payment_gateway->get('options') };
6109
6110   }
6111   return "neither amount nor paynum specified" unless $amount;
6112
6113   eval "use $namespace";  
6114   die $@ if $@;
6115
6116   my %content = (
6117     'type'           => $options{method},
6118     'login'          => $login,
6119     'password'       => $password,
6120     'order_number'   => $order_number,
6121     'amount'         => $amount,
6122     'referer'        => 'http://cleanwhisker.420.am/', #XXX fix referer :/
6123   );
6124   $content{authorization} = $auth
6125     if length($auth); #echeck/ACH transactions have an order # but no auth
6126                       #(at least with authorize.net)
6127
6128   my $disable_void_after;
6129   if ($conf->exists('disable_void_after')
6130       && $conf->config('disable_void_after') =~ /^(\d+)$/) {
6131     $disable_void_after = $1;
6132   }
6133
6134   #first try void if applicable
6135   if ( $cust_pay && $cust_pay->paid == $amount
6136     && (
6137       ( not defined($disable_void_after) )
6138       || ( time < ($cust_pay->_date + $disable_void_after ) )
6139     )
6140   ) {
6141     warn "  attempting void\n" if $DEBUG > 1;
6142     my $void = new Business::OnlinePayment( $processor, @bop_options );
6143     if ( $void->can('info') ) {
6144       if ( $cust_pay->payby eq 'CARD'
6145            && $void->info('CC_void_requires_card') )
6146       {
6147         $content{'card_number'} = $cust_pay->payinfo;
6148       } elsif ( $cust_pay->payby eq 'CHEK'
6149                 && $void->info('ECHECK_void_requires_account') )
6150       {
6151         ( $content{'account_number'}, $content{'routing_code'} ) =
6152           split('@', $cust_pay->payinfo);
6153         $content{'name'} = $self->get('first'). ' '. $self->get('last');
6154       }
6155     }
6156     $void->content( 'action' => 'void', %content );
6157     $void->submit();
6158     if ( $void->is_success ) {
6159       my $error = $cust_pay->void($options{'reason'});
6160       if ( $error ) {
6161         # gah, even with transactions.
6162         my $e = 'WARNING: Card/ACH voided but database not updated - '.
6163                 "error voiding payment: $error";
6164         warn $e;
6165         return $e;
6166       }
6167       warn "  void successful\n" if $DEBUG > 1;
6168       return '';
6169     }
6170   }
6171
6172   warn "  void unsuccessful, trying refund\n"
6173     if $DEBUG > 1;
6174
6175   #massage data
6176   my $address = $self->address1;
6177   $address .= ", ". $self->address2 if $self->address2;
6178
6179   my($payname, $payfirst, $paylast);
6180   if ( $self->payname && $options{method} ne 'ECHECK' ) {
6181     $payname = $self->payname;
6182     $payname =~ /^\s*([\w \,\.\-\']*)?\s+([\w\,\.\-\']+)\s*$/
6183       or return "Illegal payname $payname";
6184     ($payfirst, $paylast) = ($1, $2);
6185   } else {
6186     $payfirst = $self->getfield('first');
6187     $paylast = $self->getfield('last');
6188     $payname =  "$payfirst $paylast";
6189   }
6190
6191   my @invoicing_list = $self->invoicing_list_emailonly;
6192   if ( $conf->exists('emailinvoiceautoalways')
6193        || $conf->exists('emailinvoiceauto') && ! @invoicing_list
6194        || ( $conf->exists('emailinvoiceonly') && ! @invoicing_list ) ) {
6195     push @invoicing_list, $self->all_emails;
6196   }
6197
6198   my $email = ($conf->exists('business-onlinepayment-email-override'))
6199               ? $conf->config('business-onlinepayment-email-override')
6200               : $invoicing_list[0];
6201
6202   my $payip = exists($options{'payip'})
6203                 ? $options{'payip'}
6204                 : $self->payip;
6205   $content{customer_ip} = $payip
6206     if length($payip);
6207
6208   my $payinfo = '';
6209   if ( $options{method} eq 'CC' ) {
6210
6211     if ( $cust_pay ) {
6212       $content{card_number} = $payinfo = $cust_pay->payinfo;
6213       (exists($options{'paydate'}) ? $options{'paydate'} : $cust_pay->paydate)
6214         =~ /^\d{2}(\d{2})[\/\-](\d+)[\/\-]\d+$/ &&
6215         ($content{expiration} = "$2/$1");  # where available
6216     } else {
6217       $content{card_number} = $payinfo = $self->payinfo;
6218       (exists($options{'paydate'}) ? $options{'paydate'} : $self->paydate)
6219         =~ /^\d{2}(\d{2})[\/\-](\d+)[\/\-]\d+$/;
6220       $content{expiration} = "$2/$1";
6221     }
6222
6223   } elsif ( $options{method} eq 'ECHECK' ) {
6224
6225     if ( $cust_pay ) {
6226       $payinfo = $cust_pay->payinfo;
6227     } else {
6228       $payinfo = $self->payinfo;
6229     } 
6230     ( $content{account_number}, $content{routing_code} )= split('@', $payinfo );
6231     $content{bank_name} = $self->payname;
6232     $content{account_type} = 'CHECKING';
6233     $content{account_name} = $payname;
6234     $content{customer_org} = $self->company ? 'B' : 'I';
6235     $content{customer_ssn} = $self->ss;
6236   } elsif ( $options{method} eq 'LEC' ) {
6237     $content{phone} = $payinfo = $self->payinfo;
6238   }
6239
6240   #then try refund
6241   my $refund = new Business::OnlinePayment( $processor, @bop_options );
6242   my %sub_content = $refund->content(
6243     'action'         => 'credit',
6244     'customer_id'    => $self->custnum,
6245     'last_name'      => $paylast,
6246     'first_name'     => $payfirst,
6247     'name'           => $payname,
6248     'address'        => $address,
6249     'city'           => $self->city,
6250     'state'          => $self->state,
6251     'zip'            => $self->zip,
6252     'country'        => $self->country,
6253     'email'          => $email,
6254     'phone'          => $self->daytime || $self->night,
6255     %content, #after
6256   );
6257   warn join('', map { "  $_ => $sub_content{$_}\n" } keys %sub_content )
6258     if $DEBUG > 1;
6259   $refund->submit();
6260
6261   return "$processor error: ". $refund->error_message
6262     unless $refund->is_success();
6263
6264   my $paybatch = "$processor:". $refund->authorization;
6265   $paybatch .= ':'. $refund->order_number
6266     if $refund->can('order_number') && $refund->order_number;
6267
6268   while ( $cust_pay && $cust_pay->unapplied < $amount ) {
6269     my @cust_bill_pay = $cust_pay->cust_bill_pay;
6270     last unless @cust_bill_pay;
6271     my $cust_bill_pay = pop @cust_bill_pay;
6272     my $error = $cust_bill_pay->delete;
6273     last if $error;
6274   }
6275
6276   my $cust_refund = new FS::cust_refund ( {
6277     'custnum'  => $self->custnum,
6278     'paynum'   => $options{'paynum'},
6279     'refund'   => $amount,
6280     '_date'    => '',
6281     'payby'    => $bop_method2payby{$options{method}},
6282     'payinfo'  => $payinfo,
6283     'paybatch' => $paybatch,
6284     'reason'   => $options{'reason'} || 'card or ACH refund',
6285   } );
6286   my $error = $cust_refund->insert;
6287   if ( $error ) {
6288     $cust_refund->paynum(''); #try again with no specific paynum
6289     my $error2 = $cust_refund->insert;
6290     if ( $error2 ) {
6291       # gah, even with transactions.
6292       my $e = 'WARNING: Card/ACH refunded but database not updated - '.
6293               "error inserting refund ($processor): $error2".
6294               " (previously tried insert with paynum #$options{'paynum'}" .
6295               ": $error )";
6296       warn $e;
6297       return $e;
6298     }
6299   }
6300
6301   ''; #no error
6302
6303 }
6304
6305 =item batch_card OPTION => VALUE...
6306
6307 Adds a payment for this invoice to the pending credit card batch (see
6308 L<FS::cust_pay_batch>), or, if the B<realtime> option is set to a true value,
6309 runs the payment using a realtime gateway.
6310
6311 =cut
6312
6313 sub batch_card {
6314   my ($self, %options) = @_;
6315
6316   my $amount;
6317   if (exists($options{amount})) {
6318     $amount = $options{amount};
6319   }else{
6320     $amount = sprintf("%.2f", $self->balance - $self->in_transit_payments);
6321   }
6322   return '' unless $amount > 0;
6323   
6324   my $invnum = delete $options{invnum};
6325   my $payby = $options{invnum} || $self->payby;  #dubious
6326
6327   if ($options{'realtime'}) {
6328     return $self->realtime_bop( FS::payby->payby2bop($self->payby),
6329                                 $amount,
6330                                 %options,
6331                               );
6332   }
6333
6334   my $oldAutoCommit = $FS::UID::AutoCommit;
6335   local $FS::UID::AutoCommit = 0;
6336   my $dbh = dbh;
6337
6338   #this needs to handle mysql as well as Pg, like svc_acct.pm
6339   #(make it into a common function if folks need to do batching with mysql)
6340   $dbh->do("LOCK TABLE pay_batch IN SHARE ROW EXCLUSIVE MODE")
6341     or return "Cannot lock pay_batch: " . $dbh->errstr;
6342
6343   my %pay_batch = (
6344     'status' => 'O',
6345     'payby'  => FS::payby->payby2payment($payby),
6346   );
6347
6348   my $pay_batch = qsearchs( 'pay_batch', \%pay_batch );
6349
6350   unless ( $pay_batch ) {
6351     $pay_batch = new FS::pay_batch \%pay_batch;
6352     my $error = $pay_batch->insert;
6353     if ( $error ) {
6354       $dbh->rollback if $oldAutoCommit;
6355       die "error creating new batch: $error\n";
6356     }
6357   }
6358
6359   my $old_cust_pay_batch = qsearchs('cust_pay_batch', {
6360       'batchnum' => $pay_batch->batchnum,
6361       'custnum'  => $self->custnum,
6362   } );
6363
6364   foreach (qw( address1 address2 city state zip country payby payinfo paydate
6365                payname )) {
6366     $options{$_} = '' unless exists($options{$_});
6367   }
6368
6369   my $cust_pay_batch = new FS::cust_pay_batch ( {
6370     'batchnum' => $pay_batch->batchnum,
6371     'invnum'   => $invnum || 0,                    # is there a better value?
6372                                                    # this field should be
6373                                                    # removed...
6374                                                    # cust_bill_pay_batch now
6375     'custnum'  => $self->custnum,
6376     'last'     => $self->getfield('last'),
6377     'first'    => $self->getfield('first'),
6378     'address1' => $options{address1} || $self->address1,
6379     'address2' => $options{address2} || $self->address2,
6380     'city'     => $options{city}     || $self->city,
6381     'state'    => $options{state}    || $self->state,
6382     'zip'      => $options{zip}      || $self->zip,
6383     'country'  => $options{country}  || $self->country,
6384     'payby'    => $options{payby}    || $self->payby,
6385     'payinfo'  => $options{payinfo}  || $self->payinfo,
6386     'exp'      => $options{paydate}  || $self->paydate,
6387     'payname'  => $options{payname}  || $self->payname,
6388     'amount'   => $amount,                         # consolidating
6389   } );
6390   
6391   $cust_pay_batch->paybatchnum($old_cust_pay_batch->paybatchnum)
6392     if $old_cust_pay_batch;
6393
6394   my $error;
6395   if ($old_cust_pay_batch) {
6396     $error = $cust_pay_batch->replace($old_cust_pay_batch)
6397   } else {
6398     $error = $cust_pay_batch->insert;
6399   }
6400
6401   if ( $error ) {
6402     $dbh->rollback if $oldAutoCommit;
6403     die $error;
6404   }
6405
6406   my $unapplied =   $self->total_unapplied_credits
6407                   + $self->total_unapplied_payments
6408                   + $self->in_transit_payments;
6409   foreach my $cust_bill ($self->open_cust_bill) {
6410     #$dbh->commit or die $dbh->errstr if $oldAutoCommit;
6411     my $cust_bill_pay_batch = new FS::cust_bill_pay_batch {
6412       'invnum' => $cust_bill->invnum,
6413       'paybatchnum' => $cust_pay_batch->paybatchnum,
6414       'amount' => $cust_bill->owed,
6415       '_date' => time,
6416     };
6417     if ($unapplied >= $cust_bill_pay_batch->amount){
6418       $unapplied -= $cust_bill_pay_batch->amount;
6419       next;
6420     }else{
6421       $cust_bill_pay_batch->amount(sprintf ( "%.2f", 
6422                                    $cust_bill_pay_batch->amount - $unapplied ));      $unapplied = 0;
6423     }
6424     $error = $cust_bill_pay_batch->insert;
6425     if ( $error ) {
6426       $dbh->rollback if $oldAutoCommit;
6427       die $error;
6428     }
6429   }
6430
6431   $dbh->commit or die $dbh->errstr if $oldAutoCommit;
6432   '';
6433 }
6434
6435 =item apply_payments_and_credits [ OPTION => VALUE ... ]
6436
6437 Applies unapplied payments and credits.
6438
6439 In most cases, this new method should be used in place of sequential
6440 apply_payments and apply_credits methods.
6441
6442 A hash of optional arguments may be passed.  Currently "manual" is supported.
6443 If true, a payment receipt is sent instead of a statement when
6444 'payment_receipt_email' configuration option is set.
6445
6446 If there is an error, returns the error, otherwise returns false.
6447
6448 =cut
6449
6450 sub apply_payments_and_credits {
6451   my( $self, %options ) = @_;
6452
6453   local $SIG{HUP} = 'IGNORE';
6454   local $SIG{INT} = 'IGNORE';
6455   local $SIG{QUIT} = 'IGNORE';
6456   local $SIG{TERM} = 'IGNORE';
6457   local $SIG{TSTP} = 'IGNORE';
6458   local $SIG{PIPE} = 'IGNORE';
6459
6460   my $oldAutoCommit = $FS::UID::AutoCommit;
6461   local $FS::UID::AutoCommit = 0;
6462   my $dbh = dbh;
6463
6464   $self->select_for_update; #mutex
6465
6466   foreach my $cust_bill ( $self->open_cust_bill ) {
6467     my $error = $cust_bill->apply_payments_and_credits(%options);
6468     if ( $error ) {
6469       $dbh->rollback if $oldAutoCommit;
6470       return "Error applying: $error";
6471     }
6472   }
6473
6474   $dbh->commit or die $dbh->errstr if $oldAutoCommit;
6475   ''; #no error
6476
6477 }
6478
6479 =item apply_credits OPTION => VALUE ...
6480
6481 Applies (see L<FS::cust_credit_bill>) unapplied credits (see L<FS::cust_credit>)
6482 to outstanding invoice balances in chronological order (or reverse
6483 chronological order if the I<order> option is set to B<newest>) and returns the
6484 value of any remaining unapplied credits available for refund (see
6485 L<FS::cust_refund>).
6486
6487 Dies if there is an error.
6488
6489 =cut
6490
6491 sub apply_credits {
6492   my $self = shift;
6493   my %opt = @_;
6494
6495   local $SIG{HUP} = 'IGNORE';
6496   local $SIG{INT} = 'IGNORE';
6497   local $SIG{QUIT} = 'IGNORE';
6498   local $SIG{TERM} = 'IGNORE';
6499   local $SIG{TSTP} = 'IGNORE';
6500   local $SIG{PIPE} = 'IGNORE';
6501
6502   my $oldAutoCommit = $FS::UID::AutoCommit;
6503   local $FS::UID::AutoCommit = 0;
6504   my $dbh = dbh;
6505
6506   $self->select_for_update; #mutex
6507
6508   unless ( $self->total_unapplied_credits ) {
6509     $dbh->commit or die $dbh->errstr if $oldAutoCommit;
6510     return 0;
6511   }
6512
6513   my @credits = sort { $b->_date <=> $a->_date} (grep { $_->credited > 0 }
6514       qsearch('cust_credit', { 'custnum' => $self->custnum } ) );
6515
6516   my @invoices = $self->open_cust_bill;
6517   @invoices = sort { $b->_date <=> $a->_date } @invoices
6518     if defined($opt{'order'}) && $opt{'order'} eq 'newest';
6519
6520   if ( $conf->exists('pkg-balances') ) {
6521     # limit @credits to those w/ a pkgnum grepped from $self
6522     my %pkgnums = ();
6523     foreach my $i (@invoices) {
6524       foreach my $li ( $i->cust_bill_pkg ) {
6525         $pkgnums{$li->pkgnum} = 1;
6526       }
6527     }
6528     @credits = grep { ! $_->pkgnum || $pkgnums{$_->pkgnum} } @credits;
6529   }
6530
6531   my $credit;
6532
6533   foreach my $cust_bill ( @invoices ) {
6534
6535     if ( !defined($credit) || $credit->credited == 0) {
6536       $credit = pop @credits or last;
6537     }
6538
6539     my $owed;
6540     if ( $conf->exists('pkg-balances') && $credit->pkgnum ) {
6541       $owed = $cust_bill->owed_pkgnum($credit->pkgnum);
6542     } else {
6543       $owed = $cust_bill->owed;
6544     }
6545     unless ( $owed > 0 ) {
6546       push @credits, $credit;
6547       next;
6548     }
6549
6550     my $amount = min( $credit->credited, $owed );
6551     
6552     my $cust_credit_bill = new FS::cust_credit_bill ( {
6553       'crednum' => $credit->crednum,
6554       'invnum'  => $cust_bill->invnum,
6555       'amount'  => $amount,
6556     } );
6557     $cust_credit_bill->pkgnum( $credit->pkgnum )
6558       if $conf->exists('pkg-balances') && $credit->pkgnum;
6559     my $error = $cust_credit_bill->insert;
6560     if ( $error ) {
6561       $dbh->rollback or die $dbh->errstr if $oldAutoCommit;
6562       die $error;
6563     }
6564     
6565     redo if ($cust_bill->owed > 0) && ! $conf->exists('pkg-balances');
6566
6567   }
6568
6569   my $total_unapplied_credits = $self->total_unapplied_credits;
6570
6571   $dbh->commit or die $dbh->errstr if $oldAutoCommit;
6572
6573   return $total_unapplied_credits;
6574 }
6575
6576 =item apply_payments  [ OPTION => VALUE ... ]
6577
6578 Applies (see L<FS::cust_bill_pay>) unapplied payments (see L<FS::cust_pay>)
6579 to outstanding invoice balances in chronological order.
6580
6581  #and returns the value of any remaining unapplied payments.
6582
6583 A hash of optional arguments may be passed.  Currently "manual" is supported.
6584 If true, a payment receipt is sent instead of a statement when
6585 'payment_receipt_email' configuration option is set.
6586
6587 Dies if there is an error.
6588
6589 =cut
6590
6591 sub apply_payments {
6592   my( $self, %options ) = @_;
6593
6594   local $SIG{HUP} = 'IGNORE';
6595   local $SIG{INT} = 'IGNORE';
6596   local $SIG{QUIT} = 'IGNORE';
6597   local $SIG{TERM} = 'IGNORE';
6598   local $SIG{TSTP} = 'IGNORE';
6599   local $SIG{PIPE} = 'IGNORE';
6600
6601   my $oldAutoCommit = $FS::UID::AutoCommit;
6602   local $FS::UID::AutoCommit = 0;
6603   my $dbh = dbh;
6604
6605   $self->select_for_update; #mutex
6606
6607   #return 0 unless
6608
6609   my @payments = sort { $b->_date <=> $a->_date }
6610                  grep { $_->unapplied > 0 }
6611                  $self->cust_pay;
6612
6613   my @invoices = sort { $a->_date <=> $b->_date}
6614                  grep { $_->owed > 0 }
6615                  $self->cust_bill;
6616
6617   if ( $conf->exists('pkg-balances') ) {
6618     # limit @payments to those w/ a pkgnum grepped from $self
6619     my %pkgnums = ();
6620     foreach my $i (@invoices) {
6621       foreach my $li ( $i->cust_bill_pkg ) {
6622         $pkgnums{$li->pkgnum} = 1;
6623       }
6624     }
6625     @payments = grep { ! $_->pkgnum || $pkgnums{$_->pkgnum} } @payments;
6626   }
6627
6628   my $payment;
6629
6630   foreach my $cust_bill ( @invoices ) {
6631
6632     if ( !defined($payment) || $payment->unapplied == 0 ) {
6633       $payment = pop @payments or last;
6634     }
6635
6636     my $owed;
6637     if ( $conf->exists('pkg-balances') && $payment->pkgnum ) {
6638       $owed = $cust_bill->owed_pkgnum($payment->pkgnum);
6639     } else {
6640       $owed = $cust_bill->owed;
6641     }
6642     unless ( $owed > 0 ) {
6643       push @payments, $payment;
6644       next;
6645     }
6646
6647     my $amount = min( $payment->unapplied, $owed );
6648
6649     my $cust_bill_pay = new FS::cust_bill_pay ( {
6650       'paynum' => $payment->paynum,
6651       'invnum' => $cust_bill->invnum,
6652       'amount' => $amount,
6653     } );
6654     $cust_bill_pay->pkgnum( $payment->pkgnum )
6655       if $conf->exists('pkg-balances') && $payment->pkgnum;
6656     my $error = $cust_bill_pay->insert(%options);
6657     if ( $error ) {
6658       $dbh->rollback or die $dbh->errstr if $oldAutoCommit;
6659       die $error;
6660     }
6661
6662     redo if ( $cust_bill->owed > 0) && ! $conf->exists('pkg-balances');
6663
6664   }
6665
6666   my $total_unapplied_payments = $self->total_unapplied_payments;
6667
6668   $dbh->commit or die $dbh->errstr if $oldAutoCommit;
6669
6670   return $total_unapplied_payments;
6671 }
6672
6673 =item total_owed
6674
6675 Returns the total owed for this customer on all invoices
6676 (see L<FS::cust_bill/owed>).
6677
6678 =cut
6679
6680 sub total_owed {
6681   my $self = shift;
6682   $self->total_owed_date(2145859200); #12/31/2037
6683 }
6684
6685 =item total_owed_date TIME
6686
6687 Returns the total owed for this customer on all invoices with date earlier than
6688 TIME.  TIME is specified as a UNIX timestamp; see L<perlfunc/"time">).  Also
6689 see L<Time::Local> and L<Date::Parse> for conversion functions.
6690
6691 =cut
6692
6693 sub total_owed_date {
6694   my $self = shift;
6695   my $time = shift;
6696
6697 #  my $custnum = $self->custnum;
6698 #
6699 #  my $owed_sql = FS::cust_bill->owed_sql;
6700 #
6701 #  my $sql = "
6702 #    SELECT SUM($owed_sql) FROM cust_bill
6703 #      WHERE custnum = $custnum
6704 #        AND _date <= $time
6705 #  ";
6706 #
6707 #  my $sth = dbh->prepare($sql) or die dbh->errstr;
6708 #  $sth->execute() or die $sth->errstr;
6709 #
6710 #  return sprintf( '%.2f', $sth->fetchrow_arrayref->[0] );
6711
6712   my $total_bill = 0;
6713   foreach my $cust_bill (
6714     grep { $_->_date <= $time }
6715       qsearch('cust_bill', { 'custnum' => $self->custnum, } )
6716   ) {
6717     $total_bill += $cust_bill->owed;
6718   }
6719   sprintf( "%.2f", $total_bill );
6720
6721 }
6722
6723 =item total_owed_pkgnum PKGNUM
6724
6725 Returns the total owed on all invoices for this customer's specific package
6726 when using experimental package balances (see L<FS::cust_bill/owed_pkgnum>).
6727
6728 =cut
6729
6730 sub total_owed_pkgnum {
6731   my( $self, $pkgnum ) = @_;
6732   $self->total_owed_date_pkgnum(2145859200, $pkgnum); #12/31/2037
6733 }
6734
6735 =item total_owed_date_pkgnum TIME PKGNUM
6736
6737 Returns the total owed for this customer's specific package when using
6738 experimental package balances on all invoices with date earlier than
6739 TIME.  TIME is specified as a UNIX timestamp; see L<perlfunc/"time">).  Also
6740 see L<Time::Local> and L<Date::Parse> for conversion functions.
6741
6742 =cut
6743
6744 sub total_owed_date_pkgnum {
6745   my( $self, $time, $pkgnum ) = @_;
6746
6747   my $total_bill = 0;
6748   foreach my $cust_bill (
6749     grep { $_->_date <= $time }
6750       qsearch('cust_bill', { 'custnum' => $self->custnum, } )
6751   ) {
6752     $total_bill += $cust_bill->owed_pkgnum($pkgnum);
6753   }
6754   sprintf( "%.2f", $total_bill );
6755
6756 }
6757
6758 =item total_paid
6759
6760 Returns the total amount of all payments.
6761
6762 =cut
6763
6764 sub total_paid {
6765   my $self = shift;
6766   my $total = 0;
6767   $total += $_->paid foreach $self->cust_pay;
6768   sprintf( "%.2f", $total );
6769 }
6770
6771 =item total_unapplied_credits
6772
6773 Returns the total outstanding credit (see L<FS::cust_credit>) for this
6774 customer.  See L<FS::cust_credit/credited>.
6775
6776 =item total_credited
6777
6778 Old name for total_unapplied_credits.  Don't use.
6779
6780 =cut
6781
6782 sub total_credited {
6783   #carp "total_credited deprecated, use total_unapplied_credits";
6784   shift->total_unapplied_credits(@_);
6785 }
6786
6787 sub total_unapplied_credits {
6788   my $self = shift;
6789   my $total_credit = 0;
6790   $total_credit += $_->credited foreach $self->cust_credit;
6791   sprintf( "%.2f", $total_credit );
6792 }
6793
6794 =item total_unapplied_credits_pkgnum PKGNUM
6795
6796 Returns the total outstanding credit (see L<FS::cust_credit>) for this
6797 customer.  See L<FS::cust_credit/credited>.
6798
6799 =cut
6800
6801 sub total_unapplied_credits_pkgnum {
6802   my( $self, $pkgnum ) = @_;
6803   my $total_credit = 0;
6804   $total_credit += $_->credited foreach $self->cust_credit_pkgnum($pkgnum);
6805   sprintf( "%.2f", $total_credit );
6806 }
6807
6808
6809 =item total_unapplied_payments
6810
6811 Returns the total unapplied payments (see L<FS::cust_pay>) for this customer.
6812 See L<FS::cust_pay/unapplied>.
6813
6814 =cut
6815
6816 sub total_unapplied_payments {
6817   my $self = shift;
6818   my $total_unapplied = 0;
6819   $total_unapplied += $_->unapplied foreach $self->cust_pay;
6820   sprintf( "%.2f", $total_unapplied );
6821 }
6822
6823 =item total_unapplied_payments_pkgnum PKGNUM
6824
6825 Returns the total unapplied payments (see L<FS::cust_pay>) for this customer's
6826 specific package when using experimental package balances.  See
6827 L<FS::cust_pay/unapplied>.
6828
6829 =cut
6830
6831 sub total_unapplied_payments_pkgnum {
6832   my( $self, $pkgnum ) = @_;
6833   my $total_unapplied = 0;
6834   $total_unapplied += $_->unapplied foreach $self->cust_pay_pkgnum($pkgnum);
6835   sprintf( "%.2f", $total_unapplied );
6836 }
6837
6838
6839 =item total_unapplied_refunds
6840
6841 Returns the total unrefunded refunds (see L<FS::cust_refund>) for this
6842 customer.  See L<FS::cust_refund/unapplied>.
6843
6844 =cut
6845
6846 sub total_unapplied_refunds {
6847   my $self = shift;
6848   my $total_unapplied = 0;
6849   $total_unapplied += $_->unapplied foreach $self->cust_refund;
6850   sprintf( "%.2f", $total_unapplied );
6851 }
6852
6853 =item balance
6854
6855 Returns the balance for this customer (total_owed plus total_unrefunded, minus
6856 total_unapplied_credits minus total_unapplied_payments).
6857
6858 =cut
6859
6860 sub balance {
6861   my $self = shift;
6862   sprintf( "%.2f",
6863       $self->total_owed
6864     + $self->total_unapplied_refunds
6865     - $self->total_unapplied_credits
6866     - $self->total_unapplied_payments
6867   );
6868 }
6869
6870 =item balance_date TIME
6871
6872 Returns the balance for this customer, only considering invoices with date
6873 earlier than TIME (total_owed_date minus total_credited minus
6874 total_unapplied_payments).  TIME is specified as a UNIX timestamp; see
6875 L<perlfunc/"time">).  Also see L<Time::Local> and L<Date::Parse> for conversion
6876 functions.
6877
6878 =cut
6879
6880 sub balance_date {
6881   my $self = shift;
6882   my $time = shift;
6883   sprintf( "%.2f",
6884         $self->total_owed_date($time)
6885       + $self->total_unapplied_refunds
6886       - $self->total_unapplied_credits
6887       - $self->total_unapplied_payments
6888   );
6889 }
6890
6891 =item balance_date_range START_TIME [ END_TIME [ OPTION => VALUE ... ] ]
6892
6893 Returns the balance for this customer, only considering invoices with date
6894 earlier than START_TIME, and optionally not later than END_TIME
6895 (total_owed_date minus total_unapplied_credits minus total_unapplied_payments).
6896
6897 Times are specified as SQL fragments or numeric
6898 UNIX timestamps; see L<perlfunc/"time">).  Also see L<Time::Local> and
6899 L<Date::Parse> for conversion functions.  The empty string can be passed
6900 to disable that time constraint completely.
6901
6902 Available options are:
6903
6904 =over 4
6905
6906 =item unapplied_date
6907
6908 set to true to disregard unapplied credits, payments and refunds outside the specified time period - by default the time period restriction only applies to invoices (useful for reporting, probably a bad idea for event triggering)
6909
6910 =back
6911
6912 =cut
6913
6914 sub balance_date_range {
6915   my $self = shift;
6916   my $sql = 'SELECT SUM('. $self->balance_date_sql(@_).
6917             ') FROM cust_main WHERE custnum='. $self->custnum;
6918   sprintf( "%.2f", $self->scalar_sql($sql) );
6919 }
6920
6921 =item balance_pkgnum PKGNUM
6922
6923 Returns the balance for this customer's specific package when using
6924 experimental package balances (total_owed plus total_unrefunded, minus
6925 total_unapplied_credits minus total_unapplied_payments)
6926
6927 =cut
6928
6929 sub balance_pkgnum {
6930   my( $self, $pkgnum ) = @_;
6931
6932   sprintf( "%.2f",
6933       $self->total_owed_pkgnum($pkgnum)
6934 # n/a - refunds aren't part of pkg-balances since they don't apply to invoices
6935 #    + $self->total_unapplied_refunds_pkgnum($pkgnum)
6936     - $self->total_unapplied_credits_pkgnum($pkgnum)
6937     - $self->total_unapplied_payments_pkgnum($pkgnum)
6938   );
6939 }
6940
6941 =item in_transit_payments
6942
6943 Returns the total of requests for payments for this customer pending in 
6944 batches in transit to the bank.  See L<FS::pay_batch> and L<FS::cust_pay_batch>
6945
6946 =cut
6947
6948 sub in_transit_payments {
6949   my $self = shift;
6950   my $in_transit_payments = 0;
6951   foreach my $pay_batch ( qsearch('pay_batch', {
6952     'status' => 'I',
6953   } ) ) {
6954     foreach my $cust_pay_batch ( qsearch('cust_pay_batch', {
6955       'batchnum' => $pay_batch->batchnum,
6956       'custnum' => $self->custnum,
6957     } ) ) {
6958       $in_transit_payments += $cust_pay_batch->amount;
6959     }
6960   }
6961   sprintf( "%.2f", $in_transit_payments );
6962 }
6963
6964 =item payment_info
6965
6966 Returns a hash of useful information for making a payment.
6967
6968 =over 4
6969
6970 =item balance
6971
6972 Current balance.
6973
6974 =item payby
6975
6976 'CARD' (credit card - automatic), 'DCRD' (credit card - on-demand),
6977 'CHEK' (electronic check - automatic), 'DCHK' (electronic check - on-demand),
6978 'LECB' (Phone bill billing), 'BILL' (billing), or 'COMP' (free).
6979
6980 =back
6981
6982 For credit card transactions:
6983
6984 =over 4
6985
6986 =item card_type 1
6987
6988 =item payname
6989
6990 Exact name on card
6991
6992 =back
6993
6994 For electronic check transactions:
6995
6996 =over 4
6997
6998 =item stateid_state
6999
7000 =back
7001
7002 =cut
7003
7004 sub payment_info {
7005   my $self = shift;
7006
7007   my %return = ();
7008
7009   $return{balance} = $self->balance;
7010
7011   $return{payname} = $self->payname
7012                      || ( $self->first. ' '. $self->get('last') );
7013
7014   $return{$_} = $self->get($_) for qw(address1 address2 city state zip);
7015
7016   $return{payby} = $self->payby;
7017   $return{stateid_state} = $self->stateid_state;
7018
7019   if ( $self->payby =~ /^(CARD|DCRD)$/ ) {
7020     $return{card_type} = cardtype($self->payinfo);
7021     $return{payinfo} = $self->paymask;
7022
7023     @return{'month', 'year'} = $self->paydate_monthyear;
7024
7025   }
7026
7027   if ( $self->payby =~ /^(CHEK|DCHK)$/ ) {
7028     my ($payinfo1, $payinfo2) = split '@', $self->paymask;
7029     $return{payinfo1} = $payinfo1;
7030     $return{payinfo2} = $payinfo2;
7031     $return{paytype}  = $self->paytype;
7032     $return{paystate} = $self->paystate;
7033
7034   }
7035
7036   #doubleclick protection
7037   my $_date = time;
7038   $return{paybatch} = "webui-MyAccount-$_date-$$-". rand() * 2**32;
7039
7040   %return;
7041
7042 }
7043
7044 =item paydate_monthyear
7045
7046 Returns a two-element list consisting of the month and year of this customer's
7047 paydate (credit card expiration date for CARD customers)
7048
7049 =cut
7050
7051 sub paydate_monthyear {
7052   my $self = shift;
7053   if ( $self->paydate  =~ /^(\d{4})-(\d{1,2})-\d{1,2}$/ ) { #Pg date format
7054     ( $2, $1 );
7055   } elsif ( $self->paydate =~ /^(\d{1,2})-(\d{1,2}-)?(\d{4}$)/ ) {
7056     ( $1, $3 );
7057   } else {
7058     ('', '');
7059   }
7060 }
7061
7062 =item tax_exemption TAXNAME
7063
7064 =cut
7065
7066 sub tax_exemption {
7067   my( $self, $taxname ) = @_;
7068
7069   qsearchs( 'cust_main_exemption', { 'custnum' => $self->custnum,
7070                                      'taxname' => $taxname,
7071                                    },
7072           );
7073 }
7074
7075 =item cust_main_exemption
7076
7077 =cut
7078
7079 sub cust_main_exemption {
7080   my $self = shift;
7081   qsearch( 'cust_main_exemption', { 'custnum' => $self->custnum } );
7082 }
7083
7084 =item invoicing_list [ ARRAYREF ]
7085
7086 If an arguement is given, sets these email addresses as invoice recipients
7087 (see L<FS::cust_main_invoice>).  Errors are not fatal and are not reported
7088 (except as warnings), so use check_invoicing_list first.
7089
7090 Returns a list of email addresses (with svcnum entries expanded).
7091
7092 Note: You can clear the invoicing list by passing an empty ARRAYREF.  You can
7093 check it without disturbing anything by passing nothing.
7094
7095 This interface may change in the future.
7096
7097 =cut
7098
7099 sub invoicing_list {
7100   my( $self, $arrayref ) = @_;
7101
7102   if ( $arrayref ) {
7103     my @cust_main_invoice;
7104     if ( $self->custnum ) {
7105       @cust_main_invoice = 
7106         qsearch( 'cust_main_invoice', { 'custnum' => $self->custnum } );
7107     } else {
7108       @cust_main_invoice = ();
7109     }
7110     foreach my $cust_main_invoice ( @cust_main_invoice ) {
7111       #warn $cust_main_invoice->destnum;
7112       unless ( grep { $cust_main_invoice->address eq $_ } @{$arrayref} ) {
7113         #warn $cust_main_invoice->destnum;
7114         my $error = $cust_main_invoice->delete;
7115         warn $error if $error;
7116       }
7117     }
7118     if ( $self->custnum ) {
7119       @cust_main_invoice = 
7120         qsearch( 'cust_main_invoice', { 'custnum' => $self->custnum } );
7121     } else {
7122       @cust_main_invoice = ();
7123     }
7124     my %seen = map { $_->address => 1 } @cust_main_invoice;
7125     foreach my $address ( @{$arrayref} ) {
7126       next if exists $seen{$address} && $seen{$address};
7127       $seen{$address} = 1;
7128       my $cust_main_invoice = new FS::cust_main_invoice ( {
7129         'custnum' => $self->custnum,
7130         'dest'    => $address,
7131       } );
7132       my $error = $cust_main_invoice->insert;
7133       warn $error if $error;
7134     }
7135   }
7136   
7137   if ( $self->custnum ) {
7138     map { $_->address }
7139       qsearch( 'cust_main_invoice', { 'custnum' => $self->custnum } );
7140   } else {
7141     ();
7142   }
7143
7144 }
7145
7146 =item check_invoicing_list ARRAYREF
7147
7148 Checks these arguements as valid input for the invoicing_list method.  If there
7149 is an error, returns the error, otherwise returns false.
7150
7151 =cut
7152
7153 sub check_invoicing_list {
7154   my( $self, $arrayref ) = @_;
7155
7156   foreach my $address ( @$arrayref ) {
7157
7158     if ($address eq 'FAX' and $self->getfield('fax') eq '') {
7159       return 'Can\'t add FAX invoice destination with a blank FAX number.';
7160     }
7161
7162     my $cust_main_invoice = new FS::cust_main_invoice ( {
7163       'custnum' => $self->custnum,
7164       'dest'    => $address,
7165     } );
7166     my $error = $self->custnum
7167                 ? $cust_main_invoice->check
7168                 : $cust_main_invoice->checkdest
7169     ;
7170     return $error if $error;
7171
7172   }
7173
7174   return "Email address required"
7175     if $conf->exists('cust_main-require_invoicing_list_email')
7176     && ! grep { $_ !~ /^([A-Z]+)$/ } @$arrayref;
7177
7178   '';
7179 }
7180
7181 =item set_default_invoicing_list
7182
7183 Sets the invoicing list to all accounts associated with this customer,
7184 overwriting any previous invoicing list.
7185
7186 =cut
7187
7188 sub set_default_invoicing_list {
7189   my $self = shift;
7190   $self->invoicing_list($self->all_emails);
7191 }
7192
7193 =item all_emails
7194
7195 Returns the email addresses of all accounts provisioned for this customer.
7196
7197 =cut
7198
7199 sub all_emails {
7200   my $self = shift;
7201   my %list;
7202   foreach my $cust_pkg ( $self->all_pkgs ) {
7203     my @cust_svc = qsearch('cust_svc', { 'pkgnum' => $cust_pkg->pkgnum } );
7204     my @svc_acct =
7205       map { qsearchs('svc_acct', { 'svcnum' => $_->svcnum } ) }
7206         grep { qsearchs('svc_acct', { 'svcnum' => $_->svcnum } ) }
7207           @cust_svc;
7208     $list{$_}=1 foreach map { $_->email } @svc_acct;
7209   }
7210   keys %list;
7211 }
7212
7213 =item invoicing_list_addpost
7214
7215 Adds postal invoicing to this customer.  If this customer is already configured
7216 to receive postal invoices, does nothing.
7217
7218 =cut
7219
7220 sub invoicing_list_addpost {
7221   my $self = shift;
7222   return if grep { $_ eq 'POST' } $self->invoicing_list;
7223   my @invoicing_list = $self->invoicing_list;
7224   push @invoicing_list, 'POST';
7225   $self->invoicing_list(\@invoicing_list);
7226 }
7227
7228 =item invoicing_list_emailonly
7229
7230 Returns the list of email invoice recipients (invoicing_list without non-email
7231 destinations such as POST and FAX).
7232
7233 =cut
7234
7235 sub invoicing_list_emailonly {
7236   my $self = shift;
7237   warn "$me invoicing_list_emailonly called"
7238     if $DEBUG;
7239   grep { $_ !~ /^([A-Z]+)$/ } $self->invoicing_list;
7240 }
7241
7242 =item invoicing_list_emailonly_scalar
7243
7244 Returns the list of email invoice recipients (invoicing_list without non-email
7245 destinations such as POST and FAX) as a comma-separated scalar.
7246
7247 =cut
7248
7249 sub invoicing_list_emailonly_scalar {
7250   my $self = shift;
7251   warn "$me invoicing_list_emailonly_scalar called"
7252     if $DEBUG;
7253   join(', ', $self->invoicing_list_emailonly);
7254 }
7255
7256 =item referral_custnum_cust_main
7257
7258 Returns the customer who referred this customer (or the empty string, if
7259 this customer was not referred).
7260
7261 Note the difference with referral_cust_main method: This method,
7262 referral_custnum_cust_main returns the single customer (if any) who referred
7263 this customer, while referral_cust_main returns an array of customers referred
7264 BY this customer.
7265
7266 =cut
7267
7268 sub referral_custnum_cust_main {
7269   my $self = shift;
7270   return '' unless $self->referral_custnum;
7271   qsearchs('cust_main', { 'custnum' => $self->referral_custnum } );
7272 }
7273
7274 =item referral_cust_main [ DEPTH [ EXCLUDE_HASHREF ] ]
7275
7276 Returns an array of customers referred by this customer (referral_custnum set
7277 to this custnum).  If DEPTH is given, recurses up to the given depth, returning
7278 customers referred by customers referred by this customer and so on, inclusive.
7279 The default behavior is DEPTH 1 (no recursion).
7280
7281 Note the difference with referral_custnum_cust_main method: This method,
7282 referral_cust_main, returns an array of customers referred BY this customer,
7283 while referral_custnum_cust_main returns the single customer (if any) who
7284 referred this customer.
7285
7286 =cut
7287
7288 sub referral_cust_main {
7289   my $self = shift;
7290   my $depth = @_ ? shift : 1;
7291   my $exclude = @_ ? shift : {};
7292
7293   my @cust_main =
7294     map { $exclude->{$_->custnum}++; $_; }
7295       grep { ! $exclude->{ $_->custnum } }
7296         qsearch( 'cust_main', { 'referral_custnum' => $self->custnum } );
7297
7298   if ( $depth > 1 ) {
7299     push @cust_main,
7300       map { $_->referral_cust_main($depth-1, $exclude) }
7301         @cust_main;
7302   }
7303
7304   @cust_main;
7305 }
7306
7307 =item referral_cust_main_ncancelled
7308
7309 Same as referral_cust_main, except only returns customers with uncancelled
7310 packages.
7311
7312 =cut
7313
7314 sub referral_cust_main_ncancelled {
7315   my $self = shift;
7316   grep { scalar($_->ncancelled_pkgs) } $self->referral_cust_main;
7317 }
7318
7319 =item referral_cust_pkg [ DEPTH ]
7320
7321 Like referral_cust_main, except returns a flat list of all unsuspended (and
7322 uncancelled) packages for each customer.  The number of items in this list may
7323 be useful for commission calculations (perhaps after a C<grep { my $pkgpart = $_->pkgpart; grep { $_ == $pkgpart } @commission_worthy_pkgparts> } $cust_main-> ).
7324
7325 =cut
7326
7327 sub referral_cust_pkg {
7328   my $self = shift;
7329   my $depth = @_ ? shift : 1;
7330
7331   map { $_->unsuspended_pkgs }
7332     grep { $_->unsuspended_pkgs }
7333       $self->referral_cust_main($depth);
7334 }
7335
7336 =item referring_cust_main
7337
7338 Returns the single cust_main record for the customer who referred this customer
7339 (referral_custnum), or false.
7340
7341 =cut
7342
7343 sub referring_cust_main {
7344   my $self = shift;
7345   return '' unless $self->referral_custnum;
7346   qsearchs('cust_main', { 'custnum' => $self->referral_custnum } );
7347 }
7348
7349 =item credit AMOUNT, REASON [ , OPTION => VALUE ... ]
7350
7351 Applies a credit to this customer.  If there is an error, returns the error,
7352 otherwise returns false.
7353
7354 REASON can be a text string, an FS::reason object, or a scalar reference to
7355 a reasonnum.  If a text string, it will be automatically inserted as a new
7356 reason, and a 'reason_type' option must be passed to indicate the
7357 FS::reason_type for the new reason.
7358
7359 An I<addlinfo> option may be passed to set the credit's I<addlinfo> field.
7360
7361 Any other options are passed to FS::cust_credit::insert.
7362
7363 =cut
7364
7365 sub credit {
7366   my( $self, $amount, $reason, %options ) = @_;
7367
7368   my $cust_credit = new FS::cust_credit {
7369     'custnum' => $self->custnum,
7370     'amount'  => $amount,
7371   };
7372
7373   if ( ref($reason) ) {
7374
7375     if ( ref($reason) eq 'SCALAR' ) {
7376       $cust_credit->reasonnum( $$reason );
7377     } else {
7378       $cust_credit->reasonnum( $reason->reasonnum );
7379     }
7380
7381   } else {
7382     $cust_credit->set('reason', $reason)
7383   }
7384
7385   for (qw( addlinfo eventnum )) {
7386     $cust_credit->$_( delete $options{$_} )
7387       if exists($options{$_});
7388   }
7389
7390   $cust_credit->insert(%options);
7391
7392 }
7393
7394 =item charge HASHREF || AMOUNT [ PKG [ COMMENT [ TAXCLASS ] ] ]
7395
7396 Creates a one-time charge for this customer.  If there is an error, returns
7397 the error, otherwise returns false.
7398
7399 New-style, with a hashref of options:
7400
7401   my $error = $cust_main->charge(
7402                                   {
7403                                     'amount'     => 54.32,
7404                                     'quantity'   => 1,
7405                                     'start_date' => str2time('7/4/2009'),
7406                                     'pkg'        => 'Description',
7407                                     'comment'    => 'Comment',
7408                                     'additional' => [], #extra invoice detail
7409                                     'classnum'   => 1,  #pkg_class
7410
7411                                     'setuptax'   => '', # or 'Y' for tax exempt
7412
7413                                     #internal taxation
7414                                     'taxclass'   => 'Tax class',
7415
7416                                     #vendor taxation
7417                                     'taxproduct' => 2,  #part_pkg_taxproduct
7418                                     'override'   => {}, #XXX describe
7419
7420                                     #will be filled in with the new object
7421                                     'cust_pkg_ref' => \$cust_pkg,
7422
7423                                     #generate an invoice immediately
7424                                     'bill_now' => 0,
7425                                     'invoice_terms' => '', #with these terms
7426                                   }
7427                                 );
7428
7429 Old-style:
7430
7431   my $error = $cust_main->charge( 54.32, 'Description', 'Comment', 'Tax class' );
7432
7433 =cut
7434
7435 sub charge {
7436   my $self = shift;
7437   my ( $amount, $quantity, $start_date, $classnum );
7438   my ( $pkg, $comment, $additional );
7439   my ( $setuptax, $taxclass );   #internal taxes
7440   my ( $taxproduct, $override ); #vendor (CCH) taxes
7441   my $cust_pkg_ref = '';
7442   my ( $bill_now, $invoice_terms ) = ( 0, '' );
7443   if ( ref( $_[0] ) ) {
7444     $amount     = $_[0]->{amount};
7445     $quantity   = exists($_[0]->{quantity}) ? $_[0]->{quantity} : 1;
7446     $start_date = exists($_[0]->{start_date}) ? $_[0]->{start_date} : '';
7447     $pkg        = exists($_[0]->{pkg}) ? $_[0]->{pkg} : 'One-time charge';
7448     $comment    = exists($_[0]->{comment}) ? $_[0]->{comment}
7449                                            : '$'. sprintf("%.2f",$amount);
7450     $setuptax   = exists($_[0]->{setuptax}) ? $_[0]->{setuptax} : '';
7451     $taxclass   = exists($_[0]->{taxclass}) ? $_[0]->{taxclass} : '';
7452     $classnum   = exists($_[0]->{classnum}) ? $_[0]->{classnum} : '';
7453     $additional = $_[0]->{additional} || [];
7454     $taxproduct = $_[0]->{taxproductnum};
7455     $override   = { '' => $_[0]->{tax_override} };
7456     $cust_pkg_ref = exists($_[0]->{cust_pkg_ref}) ? $_[0]->{cust_pkg_ref} : '';
7457     $bill_now = exists($_[0]->{bill_now}) ? $_[0]->{bill_now} : '';
7458     $invoice_terms = exists($_[0]->{invoice_terms}) ? $_[0]->{invoice_terms} : '';
7459   } else {
7460     $amount     = shift;
7461     $quantity   = 1;
7462     $start_date = '';
7463     $pkg        = @_ ? shift : 'One-time charge';
7464     $comment    = @_ ? shift : '$'. sprintf("%.2f",$amount);
7465     $setuptax   = '';
7466     $taxclass   = @_ ? shift : '';
7467     $additional = [];
7468   }
7469
7470   local $SIG{HUP} = 'IGNORE';
7471   local $SIG{INT} = 'IGNORE';
7472   local $SIG{QUIT} = 'IGNORE';
7473   local $SIG{TERM} = 'IGNORE';
7474   local $SIG{TSTP} = 'IGNORE';
7475   local $SIG{PIPE} = 'IGNORE';
7476
7477   my $oldAutoCommit = $FS::UID::AutoCommit;
7478   local $FS::UID::AutoCommit = 0;
7479   my $dbh = dbh;
7480
7481   my $part_pkg = new FS::part_pkg ( {
7482     'pkg'           => $pkg,
7483     'comment'       => $comment,
7484     'plan'          => 'flat',
7485     'freq'          => 0,
7486     'disabled'      => 'Y',
7487     'classnum'      => $classnum ? $classnum : '',
7488     'setuptax'      => $setuptax,
7489     'taxclass'      => $taxclass,
7490     'taxproductnum' => $taxproduct,
7491   } );
7492
7493   my %options = ( ( map { ("additional_info$_" => $additional->[$_] ) }
7494                         ( 0 .. @$additional - 1 )
7495                   ),
7496                   'additional_count' => scalar(@$additional),
7497                   'setup_fee' => $amount,
7498                 );
7499
7500   my $error = $part_pkg->insert( options       => \%options,
7501                                  tax_overrides => $override,
7502                                );
7503   if ( $error ) {
7504     $dbh->rollback if $oldAutoCommit;
7505     return $error;
7506   }
7507
7508   my $pkgpart = $part_pkg->pkgpart;
7509   my %type_pkgs = ( 'typenum' => $self->agent->typenum, 'pkgpart' => $pkgpart );
7510   unless ( qsearchs('type_pkgs', \%type_pkgs ) ) {
7511     my $type_pkgs = new FS::type_pkgs \%type_pkgs;
7512     $error = $type_pkgs->insert;
7513     if ( $error ) {
7514       $dbh->rollback if $oldAutoCommit;
7515       return $error;
7516     }
7517   }
7518
7519   my $cust_pkg = new FS::cust_pkg ( {
7520     'custnum'    => $self->custnum,
7521     'pkgpart'    => $pkgpart,
7522     'quantity'   => $quantity,
7523     'start_date' => $start_date,
7524   } );
7525
7526   $error = $cust_pkg->insert;
7527   if ( $error ) {
7528     $dbh->rollback if $oldAutoCommit;
7529     return $error;
7530   } elsif ( $cust_pkg_ref ) {
7531     ${$cust_pkg_ref} = $cust_pkg;
7532   }
7533
7534   if ( $bill_now ) {
7535     my $error = $self->bill( 'invoice_terms' => $invoice_terms,
7536                              'pkg_list'      => [ $cust_pkg ],
7537                            );
7538     if ( $error ) {
7539       $dbh->rollback if $oldAutoCommit;
7540       return $error;
7541     }   
7542   }
7543
7544   $dbh->commit or die $dbh->errstr if $oldAutoCommit;
7545   return '';
7546
7547 }
7548
7549 #=item charge_postal_fee
7550 #
7551 #Applies a one time charge this customer.  If there is an error,
7552 #returns the error, returns the cust_pkg charge object or false
7553 #if there was no charge.
7554 #
7555 #=cut
7556 #
7557 # This should be a customer event.  For that to work requires that bill
7558 # also be a customer event.
7559
7560 sub charge_postal_fee {
7561   my $self = shift;
7562
7563   my $pkgpart = $conf->config('postal_invoice-fee_pkgpart');
7564   return '' unless ($pkgpart && grep { $_ eq 'POST' } $self->invoicing_list);
7565
7566   my $cust_pkg = new FS::cust_pkg ( {
7567     'custnum'  => $self->custnum,
7568     'pkgpart'  => $pkgpart,
7569     'quantity' => 1,
7570   } );
7571
7572   my $error = $cust_pkg->insert;
7573   $error ? $error : $cust_pkg;
7574 }
7575
7576 =item cust_bill
7577
7578 Returns all the invoices (see L<FS::cust_bill>) for this customer.
7579
7580 =cut
7581
7582 sub cust_bill {
7583   my $self = shift;
7584   map { $_ } #return $self->num_cust_bill unless wantarray;
7585   sort { $a->_date <=> $b->_date }
7586     qsearch('cust_bill', { 'custnum' => $self->custnum, } )
7587 }
7588
7589 =item open_cust_bill
7590
7591 Returns all the open (owed > 0) invoices (see L<FS::cust_bill>) for this
7592 customer.
7593
7594 =cut
7595
7596 sub open_cust_bill {
7597   my $self = shift;
7598
7599   qsearch({
7600     'table'     => 'cust_bill',
7601     'hashref'   => { 'custnum' => $self->custnum, },
7602     'extra_sql' => ' AND '. FS::cust_bill->owed_sql. ' > 0',
7603     'order_by'  => 'ORDER BY _date ASC',
7604   });
7605
7606 }
7607
7608 =item cust_statements
7609
7610 Returns all the statements (see L<FS::cust_statement>) for this customer.
7611
7612 =cut
7613
7614 sub cust_statement {
7615   my $self = shift;
7616   map { $_ } #return $self->num_cust_statement unless wantarray;
7617   sort { $a->_date <=> $b->_date }
7618     qsearch('cust_statement', { 'custnum' => $self->custnum, } )
7619 }
7620
7621 =item cust_credit
7622
7623 Returns all the credits (see L<FS::cust_credit>) for this customer.
7624
7625 =cut
7626
7627 sub cust_credit {
7628   my $self = shift;
7629   map { $_ } #return $self->num_cust_credit unless wantarray;
7630   sort { $a->_date <=> $b->_date }
7631     qsearch( 'cust_credit', { 'custnum' => $self->custnum } )
7632 }
7633
7634 =item cust_credit_pkgnum
7635
7636 Returns all the credits (see L<FS::cust_credit>) for this customer's specific
7637 package when using experimental package balances.
7638
7639 =cut
7640
7641 sub cust_credit_pkgnum {
7642   my( $self, $pkgnum ) = @_;
7643   map { $_ } #return $self->num_cust_credit_pkgnum($pkgnum) unless wantarray;
7644   sort { $a->_date <=> $b->_date }
7645     qsearch( 'cust_credit', { 'custnum' => $self->custnum,
7646                               'pkgnum'  => $pkgnum,
7647                             }
7648     );
7649 }
7650
7651 =item cust_pay
7652
7653 Returns all the payments (see L<FS::cust_pay>) for this customer.
7654
7655 =cut
7656
7657 sub cust_pay {
7658   my $self = shift;
7659   return $self->num_cust_pay unless wantarray;
7660   sort { $a->_date <=> $b->_date }
7661     qsearch( 'cust_pay', { 'custnum' => $self->custnum } )
7662 }
7663
7664 =item num_cust_pay
7665
7666 Returns the number of payments (see L<FS::cust_pay>) for this customer.  Also
7667 called automatically when the cust_pay method is used in a scalar context.
7668
7669 =cut
7670
7671 sub num_cust_pay {
7672   my $self = shift;
7673   my $sql = "SELECT COUNT(*) FROM cust_pay WHERE custnum = ?";
7674   my $sth = dbh->prepare($sql) or die dbh->errstr;
7675   $sth->execute($self->custnum) or die $sth->errstr;
7676   $sth->fetchrow_arrayref->[0];
7677 }
7678
7679 =item cust_pay_pkgnum
7680
7681 Returns all the payments (see L<FS::cust_pay>) for this customer's specific
7682 package when using experimental package balances.
7683
7684 =cut
7685
7686 sub cust_pay_pkgnum {
7687   my( $self, $pkgnum ) = @_;
7688   map { $_ } #return $self->num_cust_pay_pkgnum($pkgnum) unless wantarray;
7689   sort { $a->_date <=> $b->_date }
7690     qsearch( 'cust_pay', { 'custnum' => $self->custnum,
7691                            'pkgnum'  => $pkgnum,
7692                          }
7693     );
7694 }
7695
7696 =item cust_pay_void
7697
7698 Returns all voided payments (see L<FS::cust_pay_void>) for this customer.
7699
7700 =cut
7701
7702 sub cust_pay_void {
7703   my $self = shift;
7704   map { $_ } #return $self->num_cust_pay_void unless wantarray;
7705   sort { $a->_date <=> $b->_date }
7706     qsearch( 'cust_pay_void', { 'custnum' => $self->custnum } )
7707 }
7708
7709 =item cust_pay_batch
7710
7711 Returns all batched payments (see L<FS::cust_pay_void>) for this customer.
7712
7713 =cut
7714
7715 sub cust_pay_batch {
7716   my $self = shift;
7717   map { $_ } #return $self->num_cust_pay_batch unless wantarray;
7718   sort { $a->paybatchnum <=> $b->paybatchnum }
7719     qsearch( 'cust_pay_batch', { 'custnum' => $self->custnum } )
7720 }
7721
7722 =item cust_pay_pending
7723
7724 Returns all pending payments (see L<FS::cust_pay_pending>) for this customer
7725 (without status "done").
7726
7727 =cut
7728
7729 sub cust_pay_pending {
7730   my $self = shift;
7731   return $self->num_cust_pay_pending unless wantarray;
7732   sort { $a->_date <=> $b->_date }
7733     qsearch( 'cust_pay_pending', {
7734                                    'custnum' => $self->custnum,
7735                                    'status'  => { op=>'!=', value=>'done' },
7736                                  },
7737            );
7738 }
7739
7740 =item num_cust_pay_pending
7741
7742 Returns the number of pending payments (see L<FS::cust_pay_pending>) for this
7743 customer (without status "done").  Also called automatically when the
7744 cust_pay_pending method is used in a scalar context.
7745
7746 =cut
7747
7748 sub num_cust_pay_pending {
7749   my $self = shift;
7750   my $sql = " SELECT COUNT(*) FROM cust_pay_pending ".
7751             "   WHERE custnum = ? AND status != 'done' ";
7752   my $sth = dbh->prepare($sql) or die dbh->errstr;
7753   $sth->execute($self->custnum) or die $sth->errstr;
7754   $sth->fetchrow_arrayref->[0];
7755 }
7756
7757 =item cust_refund
7758
7759 Returns all the refunds (see L<FS::cust_refund>) for this customer.
7760
7761 =cut
7762
7763 sub cust_refund {
7764   my $self = shift;
7765   map { $_ } #return $self->num_cust_refund unless wantarray;
7766   sort { $a->_date <=> $b->_date }
7767     qsearch( 'cust_refund', { 'custnum' => $self->custnum } )
7768 }
7769
7770 =item display_custnum
7771
7772 Returns the displayed customer number for this customer: agent_custid if
7773 cust_main-default_agent_custid is set and it has a value, custnum otherwise.
7774
7775 =cut
7776
7777 sub display_custnum {
7778   my $self = shift;
7779   if ( $conf->exists('cust_main-default_agent_custid') && $self->agent_custid ){
7780     return $self->agent_custid;
7781   } else {
7782     return $self->custnum;
7783   }
7784 }
7785
7786 =item name
7787
7788 Returns a name string for this customer, either "Company (Last, First)" or
7789 "Last, First".
7790
7791 =cut
7792
7793 sub name {
7794   my $self = shift;
7795   my $name = $self->contact;
7796   $name = $self->company. " ($name)" if $self->company;
7797   $name;
7798 }
7799
7800 =item ship_name
7801
7802 Returns a name string for this (service/shipping) contact, either
7803 "Company (Last, First)" or "Last, First".
7804
7805 =cut
7806
7807 sub ship_name {
7808   my $self = shift;
7809   if ( $self->get('ship_last') ) { 
7810     my $name = $self->ship_contact;
7811     $name = $self->ship_company. " ($name)" if $self->ship_company;
7812     $name;
7813   } else {
7814     $self->name;
7815   }
7816 }
7817
7818 =item name_short
7819
7820 Returns a name string for this customer, either "Company" or "First Last".
7821
7822 =cut
7823
7824 sub name_short {
7825   my $self = shift;
7826   $self->company !~ /^\s*$/ ? $self->company : $self->contact_firstlast;
7827 }
7828
7829 =item ship_name_short
7830
7831 Returns a name string for this (service/shipping) contact, either "Company"
7832 or "First Last".
7833
7834 =cut
7835
7836 sub ship_name_short {
7837   my $self = shift;
7838   if ( $self->get('ship_last') ) { 
7839     $self->ship_company !~ /^\s*$/
7840       ? $self->ship_company
7841       : $self->ship_contact_firstlast;
7842   } else {
7843     $self->name_company_or_firstlast;
7844   }
7845 }
7846
7847 =item contact
7848
7849 Returns this customer's full (billing) contact name only, "Last, First"
7850
7851 =cut
7852
7853 sub contact {
7854   my $self = shift;
7855   $self->get('last'). ', '. $self->first;
7856 }
7857
7858 =item ship_contact
7859
7860 Returns this customer's full (shipping) contact name only, "Last, First"
7861
7862 =cut
7863
7864 sub ship_contact {
7865   my $self = shift;
7866   $self->get('ship_last')
7867     ? $self->get('ship_last'). ', '. $self->ship_first
7868     : $self->contact;
7869 }
7870
7871 =item contact_firstlast
7872
7873 Returns this customers full (billing) contact name only, "First Last".
7874
7875 =cut
7876
7877 sub contact_firstlast {
7878   my $self = shift;
7879   $self->first. ' '. $self->get('last');
7880 }
7881
7882 =item ship_contact_firstlast
7883
7884 Returns this customer's full (shipping) contact name only, "First Last".
7885
7886 =cut
7887
7888 sub ship_contact_firstlast {
7889   my $self = shift;
7890   $self->get('ship_last')
7891     ? $self->first. ' '. $self->get('ship_last')
7892     : $self->contact_firstlast;
7893 }
7894
7895 =item country_full
7896
7897 Returns this customer's full country name
7898
7899 =cut
7900
7901 sub country_full {
7902   my $self = shift;
7903   code2country($self->country);
7904 }
7905
7906 =item geocode DATA_VENDOR
7907
7908 Returns a value for the customer location as encoded by DATA_VENDOR.
7909 Currently this only makes sense for "CCH" as DATA_VENDOR.
7910
7911 =cut
7912
7913 sub geocode {
7914   my ($self, $data_vendor) = (shift, shift);  #always cch for now
7915
7916   my $geocode = $self->get('geocode');  #XXX only one data_vendor for geocode
7917   return $geocode if $geocode;
7918
7919   my $prefix = ( $conf->exists('tax-ship_address') && length($self->ship_last) )
7920                ? 'ship_'
7921                : '';
7922
7923   my($zip,$plus4) = split /-/, $self->get("${prefix}zip")
7924     if $self->country eq 'US';
7925
7926   $zip ||= '';
7927   $plus4 ||= '';
7928   #CCH specific location stuff
7929   my $extra_sql = "AND plus4lo <= '$plus4' AND plus4hi >= '$plus4'";
7930
7931   my @cust_tax_location =
7932     qsearch( {
7933                'table'     => 'cust_tax_location', 
7934                'hashref'   => { 'zip' => $zip, 'data_vendor' => $data_vendor },
7935                'extra_sql' => $extra_sql,
7936                'order_by'  => 'ORDER BY plus4hi',#overlapping with distinct ends
7937              }
7938            );
7939   $geocode = $cust_tax_location[0]->geocode
7940     if scalar(@cust_tax_location);
7941
7942   $geocode;
7943 }
7944
7945 =item cust_status
7946
7947 =item status
7948
7949 Returns a status string for this customer, currently:
7950
7951 =over 4
7952
7953 =item prospect - No packages have ever been ordered
7954
7955 =item active - One or more recurring packages is active
7956
7957 =item inactive - No active recurring packages, but otherwise unsuspended/uncancelled (the inactive status is new - previously inactive customers were mis-identified as cancelled)
7958
7959 =item suspended - All non-cancelled recurring packages are suspended
7960
7961 =item cancelled - All recurring packages are cancelled
7962
7963 =back
7964
7965 =cut
7966
7967 sub status { shift->cust_status(@_); }
7968
7969 sub cust_status {
7970   my $self = shift;
7971   for my $status (qw( prospect active inactive suspended cancelled )) {
7972     my $method = $status.'_sql';
7973     my $numnum = ( my $sql = $self->$method() ) =~ s/cust_main\.custnum/?/g;
7974     my $sth = dbh->prepare("SELECT $sql") or die dbh->errstr;
7975     $sth->execute( ($self->custnum) x $numnum )
7976       or die "Error executing 'SELECT $sql': ". $sth->errstr;
7977     return $status if $sth->fetchrow_arrayref->[0];
7978   }
7979 }
7980
7981 =item ucfirst_cust_status
7982
7983 =item ucfirst_status
7984
7985 Returns the status with the first character capitalized.
7986
7987 =cut
7988
7989 sub ucfirst_status { shift->ucfirst_cust_status(@_); }
7990
7991 sub ucfirst_cust_status {
7992   my $self = shift;
7993   ucfirst($self->cust_status);
7994 }
7995
7996 =item statuscolor
7997
7998 Returns a hex triplet color string for this customer's status.
7999
8000 =cut
8001
8002 use vars qw(%statuscolor);
8003 tie %statuscolor, 'Tie::IxHash',
8004   'prospect'  => '7e0079', #'000000', #black?  naw, purple
8005   'active'    => '00CC00', #green
8006   'inactive'  => '0000CC', #blue
8007   'suspended' => 'FF9900', #yellow
8008   'cancelled' => 'FF0000', #red
8009 ;
8010
8011 sub statuscolor { shift->cust_statuscolor(@_); }
8012
8013 sub cust_statuscolor {
8014   my $self = shift;
8015   $statuscolor{$self->cust_status};
8016 }
8017
8018 =item tickets
8019
8020 Returns an array of hashes representing the customer's RT tickets.
8021
8022 =cut
8023
8024 sub tickets {
8025   my $self = shift;
8026
8027   my $num = $conf->config('cust_main-max_tickets') || 10;
8028   my @tickets = ();
8029
8030   if ( $conf->config('ticket_system') ) {
8031     unless ( $conf->config('ticket_system-custom_priority_field') ) {
8032
8033       @tickets = @{ FS::TicketSystem->customer_tickets($self->custnum, $num) };
8034
8035     } else {
8036
8037       foreach my $priority (
8038         $conf->config('ticket_system-custom_priority_field-values'), ''
8039       ) {
8040         last if scalar(@tickets) >= $num;
8041         push @tickets, 
8042           @{ FS::TicketSystem->customer_tickets( $self->custnum,
8043                                                  $num - scalar(@tickets),
8044                                                  $priority,
8045                                                )
8046            };
8047       }
8048     }
8049   }
8050   (@tickets);
8051 }
8052
8053 # Return services representing svc_accts in customer support packages
8054 sub support_services {
8055   my $self = shift;
8056   my %packages = map { $_ => 1 } $conf->config('support_packages');
8057
8058   grep { $_->pkg_svc && $_->pkg_svc->primary_svc eq 'Y' }
8059     grep { $_->part_svc->svcdb eq 'svc_acct' }
8060     map { $_->cust_svc }
8061     grep { exists $packages{ $_->pkgpart } }
8062     $self->ncancelled_pkgs;
8063
8064 }
8065
8066 # Return a list of latitude/longitude for one of the services (if any)
8067 sub service_coordinates {
8068   my $self = shift;
8069
8070   my @svc_X = 
8071     grep { $_->latitude && $_->longitude }
8072     map { $_->svc_x }
8073     map { $_->cust_svc }
8074     $self->ncancelled_pkgs;
8075
8076   scalar(@svc_X) ? ( $svc_X[0]->latitude, $svc_X[0]->longitude ) : ()
8077 }
8078
8079 =back
8080
8081 =head1 CLASS METHODS
8082
8083 =over 4
8084
8085 =item statuses
8086
8087 Class method that returns the list of possible status strings for customers
8088 (see L<the status method|/status>).  For example:
8089
8090   @statuses = FS::cust_main->statuses();
8091
8092 =cut
8093
8094 sub statuses {
8095   #my $self = shift; #could be class...
8096   keys %statuscolor;
8097 }
8098
8099 =item prospect_sql
8100
8101 Returns an SQL expression identifying prospective cust_main records (customers
8102 with no packages ever ordered)
8103
8104 =cut
8105
8106 use vars qw($select_count_pkgs);
8107 $select_count_pkgs =
8108   "SELECT COUNT(*) FROM cust_pkg
8109     WHERE cust_pkg.custnum = cust_main.custnum";
8110
8111 sub select_count_pkgs_sql {
8112   $select_count_pkgs;
8113 }
8114
8115 sub prospect_sql { "
8116   0 = ( $select_count_pkgs )
8117 "; }
8118
8119 =item active_sql
8120
8121 Returns an SQL expression identifying active cust_main records (customers with
8122 active recurring packages).
8123
8124 =cut
8125
8126 sub active_sql { "
8127   0 < ( $select_count_pkgs AND ". FS::cust_pkg->active_sql. "
8128       )
8129 "; }
8130
8131 =item inactive_sql
8132
8133 Returns an SQL expression identifying inactive cust_main records (customers with
8134 no active recurring packages, but otherwise unsuspended/uncancelled).
8135
8136 =cut
8137
8138 sub inactive_sql { "
8139   0 = ( $select_count_pkgs AND ". FS::cust_pkg->active_sql. " )
8140   AND
8141   0 < ( $select_count_pkgs AND ". FS::cust_pkg->inactive_sql. " )
8142 "; }
8143
8144 =item susp_sql
8145 =item suspended_sql
8146
8147 Returns an SQL expression identifying suspended cust_main records.
8148
8149 =cut
8150
8151
8152 sub suspended_sql { susp_sql(@_); }
8153 sub susp_sql { "
8154     0 < ( $select_count_pkgs AND ". FS::cust_pkg->suspended_sql. " )
8155     AND
8156     0 = ( $select_count_pkgs AND ". FS::cust_pkg->active_sql. " )
8157 "; }
8158
8159 =item cancel_sql
8160 =item cancelled_sql
8161
8162 Returns an SQL expression identifying cancelled cust_main records.
8163
8164 =cut
8165
8166 sub cancelled_sql { cancel_sql(@_); }
8167 sub cancel_sql {
8168
8169   my $recurring_sql = FS::cust_pkg->recurring_sql;
8170   my $cancelled_sql = FS::cust_pkg->cancelled_sql;
8171
8172   "
8173         0 < ( $select_count_pkgs )
8174     AND 0 < ( $select_count_pkgs AND $recurring_sql AND $cancelled_sql   )
8175     AND 0 = ( $select_count_pkgs AND $recurring_sql
8176                   AND ( cust_pkg.cancel IS NULL OR cust_pkg.cancel = 0 )
8177             )
8178     AND 0 = (  $select_count_pkgs AND ". FS::cust_pkg->inactive_sql. " )
8179   ";
8180
8181 }
8182
8183 =item uncancel_sql
8184 =item uncancelled_sql
8185
8186 Returns an SQL expression identifying un-cancelled cust_main records.
8187
8188 =cut
8189
8190 sub uncancelled_sql { uncancel_sql(@_); }
8191 sub uncancel_sql { "
8192   ( 0 < ( $select_count_pkgs
8193                    AND ( cust_pkg.cancel IS NULL
8194                          OR cust_pkg.cancel = 0
8195                        )
8196         )
8197     OR 0 = ( $select_count_pkgs )
8198   )
8199 "; }
8200
8201 =item balance_sql
8202
8203 Returns an SQL fragment to retreive the balance.
8204
8205 =cut
8206
8207 sub balance_sql { "
8208     ( SELECT COALESCE( SUM(charged), 0 ) FROM cust_bill
8209         WHERE cust_bill.custnum   = cust_main.custnum     )
8210   - ( SELECT COALESCE( SUM(paid),    0 ) FROM cust_pay
8211         WHERE cust_pay.custnum    = cust_main.custnum     )
8212   - ( SELECT COALESCE( SUM(amount),  0 ) FROM cust_credit
8213         WHERE cust_credit.custnum = cust_main.custnum     )
8214   + ( SELECT COALESCE( SUM(refund),  0 ) FROM cust_refund
8215         WHERE cust_refund.custnum = cust_main.custnum     )
8216 "; }
8217
8218 =item balance_date_sql START_TIME [ END_TIME [ OPTION => VALUE ... ] ]
8219
8220 Returns an SQL fragment to retreive the balance for this customer, only
8221 considering invoices with date earlier than START_TIME, and optionally not
8222 later than END_TIME (total_owed_date minus total_unapplied_credits minus
8223 total_unapplied_payments).
8224
8225 Times are specified as SQL fragments or numeric
8226 UNIX timestamps; see L<perlfunc/"time">).  Also see L<Time::Local> and
8227 L<Date::Parse> for conversion functions.  The empty string can be passed
8228 to disable that time constraint completely.
8229
8230 Available options are:
8231
8232 =over 4
8233
8234 =item unapplied_date
8235
8236 set to true to disregard unapplied credits, payments and refunds outside the specified time period - by default the time period restriction only applies to invoices (useful for reporting, probably a bad idea for event triggering)
8237
8238 =item total
8239
8240 (unused.  obsolete?)
8241 set to true to remove all customer comparison clauses, for totals
8242
8243 =item where
8244
8245 (unused.  obsolete?)
8246 WHERE clause hashref (elements "AND"ed together) (typically used with the total option)
8247
8248 =item join
8249
8250 (unused.  obsolete?)
8251 JOIN clause (typically used with the total option)
8252
8253 =back
8254
8255 =cut
8256
8257 sub balance_date_sql {
8258   my( $class, $start, $end, %opt ) = @_;
8259
8260   my $owed         = FS::cust_bill->owed_sql;
8261   my $unapp_refund = FS::cust_refund->unapplied_sql;
8262   my $unapp_credit = FS::cust_credit->unapplied_sql;
8263   my $unapp_pay    = FS::cust_pay->unapplied_sql;
8264
8265   my $j = $opt{'join'} || '';
8266
8267   my $owed_wh   = $class->_money_table_where( 'cust_bill',   $start,$end,%opt );
8268   my $refund_wh = $class->_money_table_where( 'cust_refund', $start,$end,%opt );
8269   my $credit_wh = $class->_money_table_where( 'cust_credit', $start,$end,%opt );
8270   my $pay_wh    = $class->_money_table_where( 'cust_pay',    $start,$end,%opt );
8271
8272   "   ( SELECT COALESCE(SUM($owed),         0) FROM cust_bill   $j $owed_wh   )
8273     + ( SELECT COALESCE(SUM($unapp_refund), 0) FROM cust_refund $j $refund_wh )
8274     - ( SELECT COALESCE(SUM($unapp_credit), 0) FROM cust_credit $j $credit_wh )
8275     - ( SELECT COALESCE(SUM($unapp_pay),    0) FROM cust_pay    $j $pay_wh    )
8276   ";
8277
8278 }
8279
8280 =item unapplied_payments_date_sql START_TIME [ END_TIME ]
8281
8282 Returns an SQL fragment to retreive the total unapplied payments for this
8283 customer, only considering invoices with date earlier than START_TIME, and
8284 optionally not later than END_TIME.
8285
8286 Times are specified as SQL fragments or numeric
8287 UNIX timestamps; see L<perlfunc/"time">).  Also see L<Time::Local> and
8288 L<Date::Parse> for conversion functions.  The empty string can be passed
8289 to disable that time constraint completely.
8290
8291 Available options are:
8292
8293 =cut
8294
8295 sub unapplied_payments_date_sql {
8296   my( $class, $start, $end, ) = @_;
8297
8298   my $unapp_pay    = FS::cust_pay->unapplied_sql;
8299
8300   my $pay_where = $class->_money_table_where( 'cust_pay', $start, $end,
8301                                                           'unapplied_date'=>1 );
8302
8303   " ( SELECT COALESCE(SUM($unapp_pay), 0) FROM cust_pay $pay_where ) ";
8304 }
8305
8306 =item _money_table_where TABLE START_TIME [ END_TIME [ OPTION => VALUE ... ] ]
8307
8308 Helper method for balance_date_sql; name (and usage) subject to change
8309 (suggestions welcome).
8310
8311 Returns a WHERE clause for the specified monetary TABLE (cust_bill,
8312 cust_refund, cust_credit or cust_pay).
8313
8314 If TABLE is "cust_bill" or the unapplied_date option is true, only
8315 considers records with date earlier than START_TIME, and optionally not
8316 later than END_TIME .
8317
8318 =cut
8319
8320 sub _money_table_where {
8321   my( $class, $table, $start, $end, %opt ) = @_;
8322
8323   my @where = ();
8324   push @where, "cust_main.custnum = $table.custnum" unless $opt{'total'};
8325   if ( $table eq 'cust_bill' || $opt{'unapplied_date'} ) {
8326     push @where, "$table._date <= $start" if defined($start) && length($start);
8327     push @where, "$table._date >  $end"   if defined($end)   && length($end);
8328   }
8329   push @where, @{$opt{'where'}} if $opt{'where'};
8330   my $where = scalar(@where) ? 'WHERE '. join(' AND ', @where ) : '';
8331
8332   $where;
8333
8334 }
8335
8336 =item search HASHREF
8337
8338 (Class method)
8339
8340 Returns a qsearch hash expression to search for parameters specified in
8341 HASHREF.  Valid parameters are
8342
8343 =over 4
8344
8345 =item agentnum
8346
8347 =item status
8348
8349 =item cancelled_pkgs
8350
8351 bool
8352
8353 =item signupdate
8354
8355 listref of start date, end date
8356
8357 =item payby
8358
8359 listref
8360
8361 =item paydate_year
8362
8363 =item paydate_month
8364
8365 =item current_balance
8366
8367 listref (list returned by FS::UI::Web::parse_lt_gt($cgi, 'current_balance'))
8368
8369 =item cust_fields
8370
8371 =item flattened_pkgs
8372
8373 bool
8374
8375 =back
8376
8377 =cut
8378
8379 sub search {
8380   my ($class, $params) = @_;
8381
8382   my $dbh = dbh;
8383
8384   my @where = ();
8385   my $orderby;
8386
8387   ##
8388   # parse agent
8389   ##
8390
8391   if ( $params->{'agentnum'} =~ /^(\d+)$/ and $1 ) {
8392     push @where,
8393       "cust_main.agentnum = $1";
8394   }
8395
8396   ##
8397   # parse status
8398   ##
8399
8400   #prospect active inactive suspended cancelled
8401   if ( grep { $params->{'status'} eq $_ } FS::cust_main->statuses() ) {
8402     my $method = $params->{'status'}. '_sql';
8403     #push @where, $class->$method();
8404     push @where, FS::cust_main->$method();
8405   }
8406   
8407   ##
8408   # parse cancelled package checkbox
8409   ##
8410
8411   my $pkgwhere = "";
8412
8413   $pkgwhere .= "AND (cancel = 0 or cancel is null)"
8414     unless $params->{'cancelled_pkgs'};
8415
8416   ##
8417   # parse without census tract checkbox
8418   ##
8419
8420   push @where, "(censustract = '' or censustract is null)"
8421     if $params->{'no_censustract'};
8422
8423   ##
8424   # dates
8425   ##
8426
8427   foreach my $field (qw( signupdate )) {
8428
8429     next unless exists($params->{$field});
8430
8431     my($beginning, $ending) = @{$params->{$field}};
8432
8433     push @where,
8434       "cust_main.$field IS NOT NULL",
8435       "cust_main.$field >= $beginning",
8436       "cust_main.$field <= $ending";
8437
8438     $orderby ||= "ORDER BY cust_main.$field";
8439
8440   }
8441
8442   ###
8443   # payby
8444   ###
8445
8446   if ( $params->{'payby'} ) {
8447  
8448     my @payby = ref( $params->{'payby'} )
8449                   ? @{ $params->{'payby'} }
8450                   :  ( $params->{'payby'} );
8451  
8452     @payby = grep /^([A-Z]{4})$/, @{ $params->{'payby'} };
8453  
8454     push @where, '( '. join(' OR ', map "cust_main.payby = '$_'", @payby). ' )'
8455       if @payby;
8456
8457   }
8458
8459   my @payby = grep /^([A-Z]{4})$/, @{ $params->{'payby'} };
8460   if ( @payby ) {
8461     push @where, '( '. join(' OR ', map "cust_main.payby = '$_'", @payby). ' )';
8462   }
8463
8464   ###
8465   # paydate_year / paydate_month
8466   ###
8467
8468   if ( $params->{'paydate_year'} =~ /^(\d{4})$/ ) {
8469     my $year = $1;
8470     $params->{'paydate_month'} =~ /^(\d\d?)$/
8471       or die "paydate_year without paydate_month?";
8472     my $month = $1;
8473
8474     push @where,
8475       'paydate IS NOT NULL',
8476       "paydate != ''",
8477       "CAST(paydate AS timestamp) < CAST('$year-$month-01' AS timestamp )"
8478 ;
8479   }
8480
8481   ###
8482   # invoice terms
8483   ###
8484
8485   if ( $params->{'invoice_terms'} =~ /^([\w ]+)$/ ) {
8486     my $terms = $1;
8487     if ( $1 eq 'NULL' ) {
8488       push @where,
8489         "( cust_main.invoice_terms IS NULL OR cust_main.invoice_terms = '' )";
8490     } else {
8491       push @where,
8492         "cust_main.invoice_terms IS NOT NULL",
8493         "cust_main.invoice_terms = '$1'";
8494     }
8495   }
8496
8497   ##
8498   # amounts
8499   ##
8500
8501   if ( $params->{'current_balance'} ) {
8502
8503     #my $balance_sql = $class->balance_sql();
8504     my $balance_sql = FS::cust_main->balance_sql();
8505
8506     my @current_balance =
8507       ref( $params->{'current_balance'} )
8508       ? @{ $params->{'current_balance'} }
8509       :  ( $params->{'current_balance'} );
8510
8511     push @where, map { s/current_balance/$balance_sql/; $_ }
8512                      @current_balance;
8513
8514   }
8515
8516   ##
8517   # custbatch
8518   ##
8519
8520   if ( $params->{'custbatch'} =~ /^([\w\/\-\:\.]+)$/ and $1 ) {
8521     push @where,
8522       "cust_main.custbatch = '$1'";
8523   }
8524
8525   ##
8526   # setup queries, subs, etc. for the search
8527   ##
8528
8529   $orderby ||= 'ORDER BY custnum';
8530
8531   # here is the agent virtualization
8532   push @where, $FS::CurrentUser::CurrentUser->agentnums_sql;
8533
8534   my $extra_sql = scalar(@where) ? ' WHERE '. join(' AND ', @where) : '';
8535
8536   my $addl_from = 'LEFT JOIN cust_pkg USING ( custnum  ) ';
8537
8538   my $count_query = "SELECT COUNT(*) FROM cust_main $extra_sql";
8539
8540   my $select = join(', ', 
8541                  'cust_main.custnum',
8542                  FS::UI::Web::cust_sql_fields($params->{'cust_fields'}),
8543                );
8544
8545   my(@extra_headers) = ();
8546   my(@extra_fields)  = ();
8547
8548   if ($params->{'flattened_pkgs'}) {
8549
8550     if ($dbh->{Driver}->{Name} eq 'Pg') {
8551
8552       $select .= ", array_to_string(array(select pkg from cust_pkg left join part_pkg using ( pkgpart ) where cust_main.custnum = cust_pkg.custnum $pkgwhere),'|') as magic";
8553
8554     }elsif ($dbh->{Driver}->{Name} =~ /^mysql/i) {
8555       $select .= ", GROUP_CONCAT(pkg SEPARATOR '|') as magic";
8556       $addl_from .= " LEFT JOIN part_pkg using ( pkgpart )";
8557     }else{
8558       warn "warning: unknown database type ". $dbh->{Driver}->{Name}. 
8559            "omitting packing information from report.";
8560     }
8561
8562     my $header_query = "SELECT COUNT(cust_pkg.custnum = cust_main.custnum) AS count FROM cust_main $addl_from $extra_sql $pkgwhere group by cust_main.custnum order by count desc limit 1";
8563
8564     my $sth = dbh->prepare($header_query) or die dbh->errstr;
8565     $sth->execute() or die $sth->errstr;
8566     my $headerrow = $sth->fetchrow_arrayref;
8567     my $headercount = $headerrow ? $headerrow->[0] : 0;
8568     while($headercount) {
8569       unshift @extra_headers, "Package ". $headercount;
8570       unshift @extra_fields, eval q!sub {my $c = shift;
8571                                          my @a = split '\|', $c->magic;
8572                                          my $p = $a[!.--$headercount. q!];
8573                                          $p;
8574                                         };!;
8575     }
8576
8577   }
8578
8579   my $sql_query = {
8580     'table'         => 'cust_main',
8581     'select'        => $select,
8582     'hashref'       => {},
8583     'extra_sql'     => $extra_sql,
8584     'order_by'      => $orderby,
8585     'count_query'   => $count_query,
8586     'extra_headers' => \@extra_headers,
8587     'extra_fields'  => \@extra_fields,
8588   };
8589
8590 }
8591
8592 =item email_search_result HASHREF
8593
8594 (Class method)
8595
8596 Emails a notice to the specified customers.
8597
8598 Valid parameters are those of the L<search> method, plus the following:
8599
8600 =over 4
8601
8602 =item from
8603
8604 From: address
8605
8606 =item subject
8607
8608 Email Subject:
8609
8610 =item html_body
8611
8612 HTML body
8613
8614 =item text_body
8615
8616 Text body
8617
8618 =item job
8619
8620 Optional job queue job for status updates.
8621
8622 =back
8623
8624 Returns an error message, or false for success.
8625
8626 If an error occurs during any email, stops the enture send and returns that
8627 error.  Presumably if you're getting SMTP errors aborting is better than 
8628 retrying everything.
8629
8630 =cut
8631
8632 sub email_search_result {
8633   my($class, $params) = @_;
8634
8635   my $from = delete $params->{from};
8636   my $subject = delete $params->{subject};
8637   my $html_body = delete $params->{html_body};
8638   my $text_body = delete $params->{text_body};
8639
8640   my $job = delete $params->{'job'};
8641
8642   $params->{'payby'} = [ split(/\0/, $params->{'payby'}) ]
8643     unless ref($params->{'payby'});
8644
8645   my $sql_query = $class->search($params);
8646
8647   my $count_query   = delete($sql_query->{'count_query'});
8648   my $count_sth = dbh->prepare($count_query)
8649     or die "Error preparing $count_query: ". dbh->errstr;
8650   $count_sth->execute
8651     or die "Error executing $count_query: ". $count_sth->errstr;
8652   my $count_arrayref = $count_sth->fetchrow_arrayref;
8653   my $num_cust = $count_arrayref->[0];
8654
8655   #my @extra_headers = @{ delete($sql_query->{'extra_headers'}) };
8656   #my @extra_fields  = @{ delete($sql_query->{'extra_fields'})  };
8657
8658
8659   my( $num, $last, $min_sec ) = (0, time, 5); #progresbar foo
8660
8661   #eventually order+limit magic to reduce memory use?
8662   foreach my $cust_main ( qsearch($sql_query) ) {
8663
8664     my $to = $cust_main->invoicing_list_emailonly_scalar;
8665     next unless $to;
8666
8667     my $error = send_email(
8668       generate_email(
8669         'from'      => $from,
8670         'to'        => $to,
8671         'subject'   => $subject,
8672         'html_body' => $html_body,
8673         'text_body' => $text_body,
8674       )
8675     );
8676     return $error if $error;
8677
8678     if ( $job ) { #progressbar foo
8679       $num++;
8680       if ( time - $min_sec > $last ) {
8681         my $error = $job->update_statustext(
8682           int( 100 * $num / $num_cust )
8683         );
8684         die $error if $error;
8685         $last = time;
8686       }
8687     }
8688
8689   }
8690
8691   return '';
8692 }
8693
8694 use Storable qw(thaw);
8695 use Data::Dumper;
8696 use MIME::Base64;
8697 sub process_email_search_result {
8698   my $job = shift;
8699   #warn "$me process_re_X $method for job $job\n" if $DEBUG;
8700
8701   my $param = thaw(decode_base64(shift));
8702   warn Dumper($param) if $DEBUG;
8703
8704   $param->{'job'} = $job;
8705
8706   $param->{'payby'} = [ split(/\0/, $param->{'payby'}) ]
8707     unless ref($param->{'payby'});
8708
8709   my $error = FS::cust_main->email_search_result( $param );
8710   die $error if $error;
8711
8712 }
8713
8714 =item fuzzy_search FUZZY_HASHREF [ HASHREF, SELECT, EXTRA_SQL, CACHE_OBJ ]
8715
8716 Performs a fuzzy (approximate) search and returns the matching FS::cust_main
8717 records.  Currently, I<first>, I<last>, I<company> and/or I<address1> may be
8718 specified (the appropriate ship_ field is also searched).
8719
8720 Additional options are the same as FS::Record::qsearch
8721
8722 =cut
8723
8724 sub fuzzy_search {
8725   my( $self, $fuzzy, $hash, @opt) = @_;
8726   #$self
8727   $hash ||= {};
8728   my @cust_main = ();
8729
8730   check_and_rebuild_fuzzyfiles();
8731   foreach my $field ( keys %$fuzzy ) {
8732
8733     my $all = $self->all_X($field);
8734     next unless scalar(@$all);
8735
8736     my %match = ();
8737     $match{$_}=1 foreach ( amatch( $fuzzy->{$field}, ['i'], @$all ) );
8738
8739     my @fcust = ();
8740     foreach ( keys %match ) {
8741       push @fcust, qsearch('cust_main', { %$hash, $field=>$_}, @opt);
8742       push @fcust, qsearch('cust_main', { %$hash, "ship_$field"=>$_}, @opt);
8743     }
8744     my %fsaw = ();
8745     push @cust_main, grep { ! $fsaw{$_->custnum}++ } @fcust;
8746   }
8747
8748   # we want the components of $fuzzy ANDed, not ORed, but still don't want dupes
8749   my %saw = ();
8750   @cust_main = grep { ++$saw{$_->custnum} == scalar(keys %$fuzzy) } @cust_main;
8751
8752   @cust_main;
8753
8754 }
8755
8756 =item masked FIELD
8757
8758 Returns a masked version of the named field
8759
8760 =cut
8761
8762 sub masked {
8763 my ($self,$field) = @_;
8764
8765 # Show last four
8766
8767 'x'x(length($self->getfield($field))-4).
8768   substr($self->getfield($field), (length($self->getfield($field))-4));
8769
8770 }
8771
8772 =back
8773
8774 =head1 SUBROUTINES
8775
8776 =over 4
8777
8778 =item smart_search OPTION => VALUE ...
8779
8780 Accepts the following options: I<search>, the string to search for.  The string
8781 will be searched for as a customer number, phone number, name or company name,
8782 as an exact, or, in some cases, a substring or fuzzy match (see the source code
8783 for the exact heuristics used); I<no_fuzzy_on_exact>, causes smart_search to
8784 skip fuzzy matching when an exact match is found.
8785
8786 Any additional options are treated as an additional qualifier on the search
8787 (i.e. I<agentnum>).
8788
8789 Returns a (possibly empty) array of FS::cust_main objects.
8790
8791 =cut
8792
8793 sub smart_search {
8794   my %options = @_;
8795
8796   #here is the agent virtualization
8797   my $agentnums_sql = $FS::CurrentUser::CurrentUser->agentnums_sql;
8798
8799   my @cust_main = ();
8800
8801   my $skip_fuzzy = delete $options{'no_fuzzy_on_exact'};
8802   my $search = delete $options{'search'};
8803   ( my $alphanum_search = $search ) =~ s/\W//g;
8804   
8805   if ( $alphanum_search =~ /^1?(\d{3})(\d{3})(\d{4})(\d*)$/ ) { #phone# search
8806
8807     #false laziness w/Record::ut_phone
8808     my $phonen = "$1-$2-$3";
8809     $phonen .= " x$4" if $4;
8810
8811     push @cust_main, qsearch( {
8812       'table'   => 'cust_main',
8813       'hashref' => { %options },
8814       'extra_sql' => ( scalar(keys %options) ? ' AND ' : ' WHERE ' ).
8815                      ' ( '.
8816                          join(' OR ', map "$_ = '$phonen'",
8817                                           qw( daytime night fax
8818                                               ship_daytime ship_night ship_fax )
8819                              ).
8820                      ' ) '.
8821                      " AND $agentnums_sql", #agent virtualization
8822     } );
8823
8824     unless ( @cust_main || $phonen =~ /x\d+$/ ) { #no exact match
8825       #try looking for matches with extensions unless one was specified
8826
8827       push @cust_main, qsearch( {
8828         'table'   => 'cust_main',
8829         'hashref' => { %options },
8830         'extra_sql' => ( scalar(keys %options) ? ' AND ' : ' WHERE ' ).
8831                        ' ( '.
8832                            join(' OR ', map "$_ LIKE '$phonen\%'",
8833                                             qw( daytime night
8834                                                 ship_daytime ship_night )
8835                                ).
8836                        ' ) '.
8837                        " AND $agentnums_sql", #agent virtualization
8838       } );
8839
8840     }
8841
8842   # custnum search (also try agent_custid), with some tweaking options if your
8843   # legacy cust "numbers" have letters
8844   } 
8845
8846   if ( $search =~ /^\s*(\d+)\s*$/
8847          || ( $conf->config('cust_main-agent_custid-format') eq 'ww?d+'
8848               && $search =~ /^\s*(\w\w?\d+)\s*$/
8849             )
8850          || ( $conf->exists('address1-search' )
8851               && $search =~ /^\s*(\d+\-?\w*)\s*$/ #i.e. 1234A or 9432-D
8852             )
8853      )
8854   {
8855
8856     my $num = $1;
8857
8858     if ( $num =~ /^(\d+)$/ && $num <= 2147483647 ) { #need a bigint custnum? wow
8859       push @cust_main, qsearch( {
8860         'table'     => 'cust_main',
8861         'hashref'   => { 'custnum' => $num, %options },
8862         'extra_sql' => " AND $agentnums_sql", #agent virtualization
8863       } );
8864     }
8865
8866     push @cust_main, qsearch( {
8867       'table'     => 'cust_main',
8868       'hashref'   => { 'agent_custid' => $num, %options },
8869       'extra_sql' => " AND $agentnums_sql", #agent virtualization
8870     } );
8871
8872     if ( $conf->exists('address1-search') ) {
8873       my $len = length($num);
8874       $num = lc($num);
8875       foreach my $prefix ( '', 'ship_' ) {
8876         push @cust_main, qsearch( {
8877           'table'     => 'cust_main',
8878           'hashref'   => { %options, },
8879           'extra_sql' => 
8880             ( keys(%options) ? ' AND ' : ' WHERE ' ).
8881             " LOWER(SUBSTRING(${prefix}address1 FROM 1 FOR $len)) = '$num' ".
8882             " AND $agentnums_sql",
8883         } );
8884       }
8885     }
8886
8887   } elsif ( $search =~ /^\s*(\S.*\S)\s+\((.+), ([^,]+)\)\s*$/ ) {
8888
8889     my($company, $last, $first) = ( $1, $2, $3 );
8890
8891     # "Company (Last, First)"
8892     #this is probably something a browser remembered,
8893     #so just do an exact search (but case-insensitive, so USPS standardization
8894     #doesn't throw a wrench in the works)
8895
8896     foreach my $prefix ( '', 'ship_' ) {
8897       push @cust_main, qsearch( {
8898         'table'     => 'cust_main',
8899         'hashref'   => { %options },
8900         'extra_sql' => 
8901           ( keys(%options) ? ' AND ' : ' WHERE ' ).
8902           join(' AND ',
8903             " LOWER(${prefix}first)   = ". dbh->quote(lc($first)),
8904             " LOWER(${prefix}last)    = ". dbh->quote(lc($last)),
8905             " LOWER(${prefix}company) = ". dbh->quote(lc($company)),
8906             $agentnums_sql,
8907           ),
8908       } );
8909     }
8910
8911   } elsif ( $search =~ /^\s*(\S.*\S)\s*$/ ) { # value search
8912                                               # try (ship_){last,company}
8913
8914     my $value = lc($1);
8915
8916     # # remove "(Last, First)" in "Company (Last, First)", otherwise the
8917     # # full strings the browser remembers won't work
8918     # $value =~ s/\([\w \,\.\-\']*\)$//; #false laziness w/Record::ut_name
8919
8920     use Lingua::EN::NameParse;
8921     my $NameParse = new Lingua::EN::NameParse(
8922              auto_clean     => 1,
8923              allow_reversed => 1,
8924     );
8925
8926     my($last, $first) = ( '', '' );
8927     #maybe disable this too and just rely on NameParse?
8928     if ( $value =~ /^(.+),\s*([^,]+)$/ ) { # Last, First
8929     
8930       ($last, $first) = ( $1, $2 );
8931     
8932     #} elsif  ( $value =~ /^(.+)\s+(.+)$/ ) {
8933     } elsif ( ! $NameParse->parse($value) ) {
8934
8935       my %name = $NameParse->components;
8936       $first = $name{'given_name_1'};
8937       $last  = $name{'surname_1'};
8938
8939     }
8940
8941     if ( $first && $last ) {
8942
8943       my($q_last, $q_first) = ( dbh->quote($last), dbh->quote($first) );
8944
8945       #exact
8946       my $sql = scalar(keys %options) ? ' AND ' : ' WHERE ';
8947       $sql .= "
8948         (     ( LOWER(last) = $q_last AND LOWER(first) = $q_first )
8949            OR ( LOWER(ship_last) = $q_last AND LOWER(ship_first) = $q_first )
8950         )";
8951
8952       push @cust_main, qsearch( {
8953         'table'     => 'cust_main',
8954         'hashref'   => \%options,
8955         'extra_sql' => "$sql AND $agentnums_sql", #agent virtualization
8956       } );
8957
8958       # or it just be something that was typed in... (try that in a sec)
8959
8960     }
8961
8962     my $q_value = dbh->quote($value);
8963
8964     #exact
8965     my $sql = scalar(keys %options) ? ' AND ' : ' WHERE ';
8966     $sql .= " (    LOWER(last)          = $q_value
8967                 OR LOWER(company)       = $q_value
8968                 OR LOWER(ship_last)     = $q_value
8969                 OR LOWER(ship_company)  = $q_value
8970             ";
8971     $sql .= "   OR LOWER(address1)      = $q_value
8972                 OR LOWER(ship_address1) = $q_value
8973             "
8974       if $conf->exists('address1-search');
8975     $sql .= " )";
8976
8977     push @cust_main, qsearch( {
8978       'table'     => 'cust_main',
8979       'hashref'   => \%options,
8980       'extra_sql' => "$sql AND $agentnums_sql", #agent virtualization
8981     } );
8982
8983     #no exact match, trying substring/fuzzy
8984     #always do substring & fuzzy (unless they're explicity config'ed off)
8985     #getting complaints searches are not returning enough
8986     unless ( @cust_main  && $skip_fuzzy || $conf->exists('disable-fuzzy') ) {
8987
8988       #still some false laziness w/search (was search/cust_main.cgi)
8989
8990       #substring
8991
8992       my @hashrefs = (
8993         { 'company'      => { op=>'ILIKE', value=>"%$value%" }, },
8994         { 'ship_company' => { op=>'ILIKE', value=>"%$value%" }, },
8995       );
8996
8997       if ( $first && $last ) {
8998
8999         push @hashrefs,
9000           { 'first'        => { op=>'ILIKE', value=>"%$first%" },
9001             'last'         => { op=>'ILIKE', value=>"%$last%" },
9002           },
9003           { 'ship_first'   => { op=>'ILIKE', value=>"%$first%" },
9004             'ship_last'    => { op=>'ILIKE', value=>"%$last%" },
9005           },
9006         ;
9007
9008       } else {
9009
9010         push @hashrefs,
9011           { 'last'         => { op=>'ILIKE', value=>"%$value%" }, },
9012           { 'ship_last'    => { op=>'ILIKE', value=>"%$value%" }, },
9013         ;
9014       }
9015
9016       if ( $conf->exists('address1-search') ) {
9017         push @hashrefs,
9018           { 'address1'      => { op=>'ILIKE', value=>"%$value%" }, },
9019           { 'ship_address1' => { op=>'ILIKE', value=>"%$value%" }, },
9020         ;
9021       }
9022
9023       foreach my $hashref ( @hashrefs ) {
9024
9025         push @cust_main, qsearch( {
9026           'table'     => 'cust_main',
9027           'hashref'   => { %$hashref,
9028                            %options,
9029                          },
9030           'extra_sql' => " AND $agentnums_sql", #agent virtualizaiton
9031         } );
9032
9033       }
9034
9035       #fuzzy
9036       my @fuzopts = (
9037         \%options,                #hashref
9038         '',                       #select
9039         " AND $agentnums_sql",    #extra_sql  #agent virtualization
9040       );
9041
9042       if ( $first && $last ) {
9043         push @cust_main, FS::cust_main->fuzzy_search(
9044           { 'last'   => $last,    #fuzzy hashref
9045             'first'  => $first }, #
9046           @fuzopts
9047         );
9048       }
9049       foreach my $field ( 'last', 'company' ) {
9050         push @cust_main,
9051           FS::cust_main->fuzzy_search( { $field => $value }, @fuzopts );
9052       }
9053       if ( $conf->exists('address1-search') ) {
9054         push @cust_main,
9055           FS::cust_main->fuzzy_search( { 'address1' => $value }, @fuzopts );
9056       }
9057
9058     }
9059
9060   }
9061
9062   #eliminate duplicates
9063   my %saw = ();
9064   @cust_main = grep { !$saw{$_->custnum}++ } @cust_main;
9065
9066   @cust_main;
9067
9068 }
9069
9070 =item email_search
9071
9072 Accepts the following options: I<email>, the email address to search for.  The
9073 email address will be searched for as an email invoice destination and as an
9074 svc_acct account.
9075
9076 #Any additional options are treated as an additional qualifier on the search
9077 #(i.e. I<agentnum>).
9078
9079 Returns a (possibly empty) array of FS::cust_main objects (but usually just
9080 none or one).
9081
9082 =cut
9083
9084 sub email_search {
9085   my %options = @_;
9086
9087   local($DEBUG) = 1;
9088
9089   my $email = delete $options{'email'};
9090
9091   #we're only being used by RT at the moment... no agent virtualization yet
9092   #my $agentnums_sql = $FS::CurrentUser::CurrentUser->agentnums_sql;
9093
9094   my @cust_main = ();
9095
9096   if ( $email =~ /([^@]+)\@([^@]+)/ ) {
9097
9098     my ( $user, $domain ) = ( $1, $2 );
9099
9100     warn "$me smart_search: searching for $user in domain $domain"
9101       if $DEBUG;
9102
9103     push @cust_main,
9104       map $_->cust_main,
9105           qsearch( {
9106                      'table'     => 'cust_main_invoice',
9107                      'hashref'   => { 'dest' => $email },
9108                    }
9109                  );
9110
9111     push @cust_main,
9112       map  $_->cust_main,
9113       grep $_,
9114       map  $_->cust_svc->cust_pkg,
9115           qsearch( {
9116                      'table'     => 'svc_acct',
9117                      'hashref'   => { 'username' => $user, },
9118                      'extra_sql' =>
9119                        'AND ( SELECT domain FROM svc_domain
9120                                 WHERE svc_acct.domsvc = svc_domain.svcnum
9121                             ) = '. dbh->quote($domain),
9122                    }
9123                  );
9124   }
9125
9126   my %saw = ();
9127   @cust_main = grep { !$saw{$_->custnum}++ } @cust_main;
9128
9129   warn "$me smart_search: found ". scalar(@cust_main). " unique customers"
9130     if $DEBUG;
9131
9132   @cust_main;
9133
9134 }
9135
9136 =item check_and_rebuild_fuzzyfiles
9137
9138 =cut
9139
9140 sub check_and_rebuild_fuzzyfiles {
9141   my $dir = $FS::UID::conf_dir. "/cache.". $FS::UID::datasrc;
9142   rebuild_fuzzyfiles() if grep { ! -e "$dir/cust_main.$_" } @fuzzyfields
9143 }
9144
9145 =item rebuild_fuzzyfiles
9146
9147 =cut
9148
9149 sub rebuild_fuzzyfiles {
9150
9151   use Fcntl qw(:flock);
9152
9153   my $dir = $FS::UID::conf_dir. "/cache.". $FS::UID::datasrc;
9154   mkdir $dir, 0700 unless -d $dir;
9155
9156   foreach my $fuzzy ( @fuzzyfields ) {
9157
9158     open(LOCK,">>$dir/cust_main.$fuzzy")
9159       or die "can't open $dir/cust_main.$fuzzy: $!";
9160     flock(LOCK,LOCK_EX)
9161       or die "can't lock $dir/cust_main.$fuzzy: $!";
9162
9163     open (CACHE,">$dir/cust_main.$fuzzy.tmp")
9164       or die "can't open $dir/cust_main.$fuzzy.tmp: $!";
9165
9166     foreach my $field ( $fuzzy, "ship_$fuzzy" ) {
9167       my $sth = dbh->prepare("SELECT $field FROM cust_main".
9168                              " WHERE $field != '' AND $field IS NOT NULL");
9169       $sth->execute or die $sth->errstr;
9170
9171       while ( my $row = $sth->fetchrow_arrayref ) {
9172         print CACHE $row->[0]. "\n";
9173       }
9174
9175     } 
9176
9177     close CACHE or die "can't close $dir/cust_main.$fuzzy.tmp: $!";
9178   
9179     rename "$dir/cust_main.$fuzzy.tmp", "$dir/cust_main.$fuzzy";
9180     close LOCK;
9181   }
9182
9183 }
9184
9185 =item all_X
9186
9187 =cut
9188
9189 sub all_X {
9190   my( $self, $field ) = @_;
9191   my $dir = $FS::UID::conf_dir. "/cache.". $FS::UID::datasrc;
9192   open(CACHE,"<$dir/cust_main.$field")
9193     or die "can't open $dir/cust_main.$field: $!";
9194   my @array = map { chomp; $_; } <CACHE>;
9195   close CACHE;
9196   \@array;
9197 }
9198
9199 =item append_fuzzyfiles FIRSTNAME LASTNAME COMPANY ADDRESS1
9200
9201 =cut
9202
9203 sub append_fuzzyfiles {
9204   #my( $first, $last, $company ) = @_;
9205
9206   &check_and_rebuild_fuzzyfiles;
9207
9208   use Fcntl qw(:flock);
9209
9210   my $dir = $FS::UID::conf_dir. "/cache.". $FS::UID::datasrc;
9211
9212   foreach my $field (@fuzzyfields) {
9213     my $value = shift;
9214
9215     if ( $value ) {
9216
9217       open(CACHE,">>$dir/cust_main.$field")
9218         or die "can't open $dir/cust_main.$field: $!";
9219       flock(CACHE,LOCK_EX)
9220         or die "can't lock $dir/cust_main.$field: $!";
9221
9222       print CACHE "$value\n";
9223
9224       flock(CACHE,LOCK_UN)
9225         or die "can't unlock $dir/cust_main.$field: $!";
9226       close CACHE;
9227     }
9228
9229   }
9230
9231   1;
9232 }
9233
9234 =item batch_charge
9235
9236 =cut
9237
9238 sub batch_charge {
9239   my $param = shift;
9240   #warn join('-',keys %$param);
9241   my $fh = $param->{filehandle};
9242   my @fields = @{$param->{fields}};
9243
9244   eval "use Text::CSV_XS;";
9245   die $@ if $@;
9246
9247   my $csv = new Text::CSV_XS;
9248   #warn $csv;
9249   #warn $fh;
9250
9251   my $imported = 0;
9252   #my $columns;
9253
9254   local $SIG{HUP} = 'IGNORE';
9255   local $SIG{INT} = 'IGNORE';
9256   local $SIG{QUIT} = 'IGNORE';
9257   local $SIG{TERM} = 'IGNORE';
9258   local $SIG{TSTP} = 'IGNORE';
9259   local $SIG{PIPE} = 'IGNORE';
9260
9261   my $oldAutoCommit = $FS::UID::AutoCommit;
9262   local $FS::UID::AutoCommit = 0;
9263   my $dbh = dbh;
9264   
9265   #while ( $columns = $csv->getline($fh) ) {
9266   my $line;
9267   while ( defined($line=<$fh>) ) {
9268
9269     $csv->parse($line) or do {
9270       $dbh->rollback if $oldAutoCommit;
9271       return "can't parse: ". $csv->error_input();
9272     };
9273
9274     my @columns = $csv->fields();
9275     #warn join('-',@columns);
9276
9277     my %row = ();
9278     foreach my $field ( @fields ) {
9279       $row{$field} = shift @columns;
9280     }
9281
9282     my $cust_main = qsearchs('cust_main', { 'custnum' => $row{'custnum'} } );
9283     unless ( $cust_main ) {
9284       $dbh->rollback if $oldAutoCommit;
9285       return "unknown custnum $row{'custnum'}";
9286     }
9287
9288     if ( $row{'amount'} > 0 ) {
9289       my $error = $cust_main->charge($row{'amount'}, $row{'pkg'});
9290       if ( $error ) {
9291         $dbh->rollback if $oldAutoCommit;
9292         return $error;
9293       }
9294       $imported++;
9295     } elsif ( $row{'amount'} < 0 ) {
9296       my $error = $cust_main->credit( sprintf( "%.2f", 0-$row{'amount'} ),
9297                                       $row{'pkg'}                         );
9298       if ( $error ) {
9299         $dbh->rollback if $oldAutoCommit;
9300         return $error;
9301       }
9302       $imported++;
9303     } else {
9304       #hmm?
9305     }
9306
9307   }
9308
9309   $dbh->commit or die $dbh->errstr if $oldAutoCommit;
9310
9311   return "Empty file!" unless $imported;
9312
9313   ''; #no error
9314
9315 }
9316
9317 =item notify CUSTOMER_OBJECT TEMPLATE_NAME OPTIONS
9318
9319 Sends a templated email notification to the customer (see L<Text::Template>).
9320
9321 OPTIONS is a hash and may include
9322
9323 I<from> - the email sender (default is invoice_from)
9324
9325 I<to> - comma-separated scalar or arrayref of recipients 
9326    (default is invoicing_list)
9327
9328 I<subject> - The subject line of the sent email notification
9329    (default is "Notice from company_name")
9330
9331 I<extra_fields> - a hashref of name/value pairs which will be substituted
9332    into the template
9333
9334 The following variables are vavailable in the template.
9335
9336 I<$first> - the customer first name
9337 I<$last> - the customer last name
9338 I<$company> - the customer company
9339 I<$payby> - a description of the method of payment for the customer
9340             # would be nice to use FS::payby::shortname
9341 I<$payinfo> - the account information used to collect for this customer
9342 I<$expdate> - the expiration of the customer payment in seconds from epoch
9343
9344 =cut
9345
9346 sub notify {
9347   my ($self, $template, %options) = @_;
9348
9349   return unless $conf->exists($template);
9350
9351   my $from = $conf->config('invoice_from', $self->agentnum)
9352     if $conf->exists('invoice_from', $self->agentnum);
9353   $from = $options{from} if exists($options{from});
9354
9355   my $to = join(',', $self->invoicing_list_emailonly);
9356   $to = $options{to} if exists($options{to});
9357   
9358   my $subject = "Notice from " . $conf->config('company_name', $self->agentnum)
9359     if $conf->exists('company_name', $self->agentnum);
9360   $subject = $options{subject} if exists($options{subject});
9361
9362   my $notify_template = new Text::Template (TYPE => 'ARRAY',
9363                                             SOURCE => [ map "$_\n",
9364                                               $conf->config($template)]
9365                                            )
9366     or die "can't create new Text::Template object: Text::Template::ERROR";
9367   $notify_template->compile()
9368     or die "can't compile template: Text::Template::ERROR";
9369
9370   $FS::notify_template::_template::company_name =
9371     $conf->config('company_name', $self->agentnum);
9372   $FS::notify_template::_template::company_address =
9373     join("\n", $conf->config('company_address', $self->agentnum) ). "\n";
9374
9375   my $paydate = $self->paydate || '2037-12-31';
9376   $FS::notify_template::_template::first = $self->first;
9377   $FS::notify_template::_template::last = $self->last;
9378   $FS::notify_template::_template::company = $self->company;
9379   $FS::notify_template::_template::payinfo = $self->mask_payinfo;
9380   my $payby = $self->payby;
9381   my ($payyear,$paymonth,$payday) = split (/-/,$paydate);
9382   my $expire_time = timelocal(0,0,0,$payday,--$paymonth,$payyear);
9383
9384   #credit cards expire at the end of the month/year of their exp date
9385   if ($payby eq 'CARD' || $payby eq 'DCRD') {
9386     $FS::notify_template::_template::payby = 'credit card';
9387     ($paymonth < 11) ? $paymonth++ : ($paymonth=0, $payyear++);
9388     $expire_time = timelocal(0,0,0,$payday,$paymonth,$payyear);
9389     $expire_time--;
9390   }elsif ($payby eq 'COMP') {
9391     $FS::notify_template::_template::payby = 'complimentary account';
9392   }else{
9393     $FS::notify_template::_template::payby = 'current method';
9394   }
9395   $FS::notify_template::_template::expdate = $expire_time;
9396
9397   for (keys %{$options{extra_fields}}){
9398     no strict "refs";
9399     ${"FS::notify_template::_template::$_"} = $options{extra_fields}->{$_};
9400   }
9401
9402   send_email(from => $from,
9403              to => $to,
9404              subject => $subject,
9405              body => $notify_template->fill_in( PACKAGE =>
9406                                                 'FS::notify_template::_template'                                              ),
9407             );
9408
9409 }
9410
9411 =item generate_letter CUSTOMER_OBJECT TEMPLATE_NAME OPTIONS
9412
9413 Generates a templated notification to the customer (see L<Text::Template>).
9414
9415 OPTIONS is a hash and may include
9416
9417 I<extra_fields> - a hashref of name/value pairs which will be substituted
9418    into the template.  These values may override values mentioned below
9419    and those from the customer record.
9420
9421 The following variables are available in the template instead of or in addition
9422 to the fields of the customer record.
9423
9424 I<$payby> - a description of the method of payment for the customer
9425             # would be nice to use FS::payby::shortname
9426 I<$payinfo> - the masked account information used to collect for this customer
9427 I<$expdate> - the expiration of the customer payment method in seconds from epoch
9428 I<$returnaddress> - the return address defaults to invoice_latexreturnaddress or company_address
9429
9430 =cut
9431
9432 sub generate_letter {
9433   my ($self, $template, %options) = @_;
9434
9435   return unless $conf->exists($template);
9436
9437   my $letter_template = new Text::Template
9438                         ( TYPE       => 'ARRAY',
9439                           SOURCE     => [ map "$_\n", $conf->config($template)],
9440                           DELIMITERS => [ '[@--', '--@]' ],
9441                         )
9442     or die "can't create new Text::Template object: Text::Template::ERROR";
9443
9444   $letter_template->compile()
9445     or die "can't compile template: Text::Template::ERROR";
9446
9447   my %letter_data = map { $_ => $self->$_ } $self->fields;
9448   $letter_data{payinfo} = $self->mask_payinfo;
9449
9450   #my $paydate = $self->paydate || '2037-12-31';
9451   my $paydate = $self->paydate =~ /^\S+$/ ? $self->paydate : '2037-12-31';
9452
9453   my $payby = $self->payby;
9454   my ($payyear,$paymonth,$payday) = split (/-/,$paydate);
9455   my $expire_time = timelocal(0,0,0,$payday,--$paymonth,$payyear);
9456
9457   #credit cards expire at the end of the month/year of their exp date
9458   if ($payby eq 'CARD' || $payby eq 'DCRD') {
9459     $letter_data{payby} = 'credit card';
9460     ($paymonth < 11) ? $paymonth++ : ($paymonth=0, $payyear++);
9461     $expire_time = timelocal(0,0,0,$payday,$paymonth,$payyear);
9462     $expire_time--;
9463   }elsif ($payby eq 'COMP') {
9464     $letter_data{payby} = 'complimentary account';
9465   }else{
9466     $letter_data{payby} = 'current method';
9467   }
9468   $letter_data{expdate} = $expire_time;
9469
9470   for (keys %{$options{extra_fields}}){
9471     $letter_data{$_} = $options{extra_fields}->{$_};
9472   }
9473
9474   unless(exists($letter_data{returnaddress})){
9475     my $retadd = join("\n", $conf->config_orbase( 'invoice_latexreturnaddress',
9476                                                   $self->agent_template)
9477                      );
9478     if ( length($retadd) ) {
9479       $letter_data{returnaddress} = $retadd;
9480     } elsif ( grep /\S/, $conf->config('company_address', $self->agentnum) ) {
9481       $letter_data{returnaddress} =
9482         join( '\\*'."\n", map s/( {2,})/'~' x length($1)/eg,
9483                           $conf->config('company_address', $self->agentnum)
9484         );
9485     } else {
9486       $letter_data{returnaddress} = '~';
9487     }
9488   }
9489
9490   $letter_data{conf_dir} = "$FS::UID::conf_dir/conf.$FS::UID::datasrc";
9491
9492   $letter_data{company_name} = $conf->config('company_name', $self->agentnum);
9493
9494   my $dir = $FS::UID::conf_dir."/cache.". $FS::UID::datasrc;
9495   my $fh = new File::Temp( TEMPLATE => 'letter.'. $self->custnum. '.XXXXXXXX',
9496                            DIR      => $dir,
9497                            SUFFIX   => '.tex',
9498                            UNLINK   => 0,
9499                          ) or die "can't open temp file: $!\n";
9500
9501   $letter_template->fill_in( OUTPUT => $fh, HASH => \%letter_data );
9502   close $fh;
9503   $fh->filename =~ /^(.*).tex$/ or die "unparsable filename: ". $fh->filename;
9504   return $1;
9505 }
9506
9507 =item print_ps TEMPLATE 
9508
9509 Returns an postscript letter filled in from TEMPLATE, as a scalar.
9510
9511 =cut
9512
9513 sub print_ps {
9514   my $self = shift;
9515   my $file = $self->generate_letter(@_);
9516   FS::Misc::generate_ps($file);
9517 }
9518
9519 =item print TEMPLATE
9520
9521 Prints the filled in template.
9522
9523 TEMPLATE is the name of a L<Text::Template> to fill in and print.
9524
9525 =cut
9526
9527 sub queueable_print {
9528   my %opt = @_;
9529
9530   my $self = qsearchs('cust_main', { 'custnum' => $opt{custnum} } )
9531     or die "invalid customer number: " . $opt{custvnum};
9532
9533   my $error = $self->print( $opt{template} );
9534   die $error if $error;
9535 }
9536
9537 sub print {
9538   my ($self, $template) = (shift, shift);
9539   do_print [ $self->print_ps($template) ];
9540 }
9541
9542 #these three subs should just go away once agent stuff is all config overrides
9543
9544 sub agent_template {
9545   my $self = shift;
9546   $self->_agent_plandata('agent_templatename');
9547 }
9548
9549 sub agent_invoice_from {
9550   my $self = shift;
9551   $self->_agent_plandata('agent_invoice_from');
9552 }
9553
9554 sub _agent_plandata {
9555   my( $self, $option ) = @_;
9556
9557   #yuck.  this whole thing needs to be reconciled better with 1.9's idea of
9558   #agent-specific Conf
9559
9560   use FS::part_event::Condition;
9561   
9562   my $agentnum = $self->agentnum;
9563
9564   my $regexp = '';
9565   if ( driver_name =~ /^Pg/i ) {
9566     $regexp = '~';
9567   } elsif ( driver_name =~ /^mysql/i ) {
9568     $regexp = 'REGEXP';
9569   } else {
9570     die "don't know how to use regular expressions in ". driver_name. " databases";
9571   }
9572
9573   my $part_event_option =
9574     qsearchs({
9575       'select'    => 'part_event_option.*',
9576       'table'     => 'part_event_option',
9577       'addl_from' => q{
9578         LEFT JOIN part_event USING ( eventpart )
9579         LEFT JOIN part_event_option AS peo_agentnum
9580           ON ( part_event.eventpart = peo_agentnum.eventpart
9581                AND peo_agentnum.optionname = 'agentnum'
9582                AND peo_agentnum.optionvalue }. $regexp. q{ '(^|,)}. $agentnum. q{(,|$)'
9583              )
9584         LEFT JOIN part_event_condition
9585           ON ( part_event.eventpart = part_event_condition.eventpart
9586                AND part_event_condition.conditionname = 'cust_bill_age'
9587              )
9588         LEFT JOIN part_event_condition_option
9589           ON ( part_event_condition.eventconditionnum = part_event_condition_option.eventconditionnum
9590                AND part_event_condition_option.optionname = 'age'
9591              )
9592       },
9593       #'hashref'   => { 'optionname' => $option },
9594       #'hashref'   => { 'part_event_option.optionname' => $option },
9595       'extra_sql' =>
9596         " WHERE part_event_option.optionname = ". dbh->quote($option).
9597         " AND action = 'cust_bill_send_agent' ".
9598         " AND ( disabled IS NULL OR disabled != 'Y' ) ".
9599         " AND peo_agentnum.optionname = 'agentnum' ".
9600         " AND ( agentnum IS NULL OR agentnum = $agentnum ) ".
9601         " ORDER BY
9602            CASE WHEN part_event_condition_option.optionname IS NULL
9603            THEN -1
9604            ELSE ". FS::part_event::Condition->age2seconds_sql('part_event_condition_option.optionvalue').
9605         " END
9606           , part_event.weight".
9607         " LIMIT 1"
9608     });
9609     
9610   unless ( $part_event_option ) {
9611     return $self->agent->invoice_template || ''
9612       if $option eq 'agent_templatename';
9613     return '';
9614   }
9615
9616   $part_event_option->optionvalue;
9617
9618 }
9619
9620 sub queued_bill {
9621   ## actual sub, not a method, designed to be called from the queue.
9622   ## sets up the customer, and calls the bill_and_collect
9623   my (%args) = @_; #, ($time, $invoice_time, $check_freq, $resetup) = @_;
9624   my $cust_main = qsearchs( 'cust_main', { custnum => $args{'custnum'} } );
9625       $cust_main->bill_and_collect(
9626         %args,
9627       );
9628 }
9629
9630 sub _upgrade_data { #class method
9631   my ($class, %opts) = @_;
9632
9633   my $sql = 'UPDATE h_cust_main SET paycvv = NULL WHERE paycvv IS NOT NULL';
9634   my $sth = dbh->prepare($sql) or die dbh->errstr;
9635   $sth->execute or die $sth->errstr;
9636
9637 }
9638
9639 =back
9640
9641 =head1 BUGS
9642
9643 The delete method.
9644
9645 The delete method should possibly take an FS::cust_main object reference
9646 instead of a scalar customer number.
9647
9648 Bill and collect options should probably be passed as references instead of a
9649 list.
9650
9651 There should probably be a configuration file with a list of allowed credit
9652 card types.
9653
9654 No multiple currency support (probably a larger project than just this module).
9655
9656 payinfo_masked false laziness with cust_pay.pm and cust_refund.pm
9657
9658 Birthdates rely on negative epoch values.
9659
9660 The payby for card/check batches is broken.  With mixed batching, bad
9661 things will happen.
9662
9663 B<collect> I<invoice_time> should be renamed I<time>, like B<bill>.
9664
9665 =head1 SEE ALSO
9666
9667 L<FS::Record>, L<FS::cust_pkg>, L<FS::cust_bill>, L<FS::cust_credit>
9668 L<FS::agent>, L<FS::part_referral>, L<FS::cust_main_county>,
9669 L<FS::cust_main_invoice>, L<FS::UID>, schema.html from the base documentation.
9670
9671 =cut
9672
9673 1;
9674