e22f7eec19fb99eb14a5b432f9075654137f173f
[freeside.git] / FS / FS / cust_main.pm
1 package FS::cust_main;
2
3 require 5.006;
4 use strict;
5 use vars qw( @ISA @EXPORT_OK $DEBUG $me $conf
6              @encrypted_fields
7              $import $ignore_expired_card
8              $skip_fuzzyfiles @fuzzyfields
9              @paytypes
10            );
11 use vars qw( $realtime_bop_decline_quiet ); #ugh
12 use Safe;
13 use Carp;
14 use Exporter;
15 use Scalar::Util qw( blessed );
16 use List::Util qw( min );
17 use Time::Local qw(timelocal);
18 use Data::Dumper;
19 use Tie::IxHash;
20 use Digest::MD5 qw(md5_base64);
21 use Date::Format;
22 #use Date::Manip;
23 use File::Temp qw( tempfile );
24 use String::Approx qw(amatch);
25 use Business::CreditCard 0.28;
26 use Locale::Country;
27 use FS::UID qw( getotaker dbh driver_name );
28 use FS::Record qw( qsearchs qsearch dbdef );
29 use FS::Misc qw( generate_email send_email generate_ps do_print );
30 use FS::Msgcat qw(gettext);
31 use FS::payby;
32 use FS::cust_pkg;
33 use FS::cust_svc;
34 use FS::cust_bill;
35 use FS::cust_bill_pkg;
36 use FS::cust_bill_pkg_display;
37 use FS::cust_bill_pkg_tax_location;
38 use FS::cust_bill_pkg_tax_rate_location;
39 use FS::cust_pay;
40 use FS::cust_pay_pending;
41 use FS::cust_pay_void;
42 use FS::cust_pay_batch;
43 use FS::cust_credit;
44 use FS::cust_refund;
45 use FS::part_referral;
46 use FS::cust_main_county;
47 use FS::cust_location;
48 use FS::cust_main_exemption;
49 use FS::cust_tax_adjustment;
50 use FS::tax_rate;
51 use FS::tax_rate_location;
52 use FS::cust_tax_location;
53 use FS::part_pkg_taxrate;
54 use FS::agent;
55 use FS::cust_main_invoice;
56 use FS::cust_credit_bill;
57 use FS::cust_bill_pay;
58 use FS::prepay_credit;
59 use FS::queue;
60 use FS::part_pkg;
61 use FS::part_event;
62 use FS::part_event_condition;
63 #use FS::cust_event;
64 use FS::type_pkgs;
65 use FS::payment_gateway;
66 use FS::agent_payment_gateway;
67 use FS::banned_pay;
68 use FS::payinfo_Mixin;
69 use FS::TicketSystem;
70
71 @ISA = qw( FS::payinfo_Mixin FS::Record );
72
73 @EXPORT_OK = qw( smart_search );
74
75 $realtime_bop_decline_quiet = 0;
76
77 # 1 is mostly method/subroutine entry and options
78 # 2 traces progress of some operations
79 # 3 is even more information including possibly sensitive data
80 $DEBUG = 0;
81 $me = '[FS::cust_main]';
82
83 $import = 0;
84 $ignore_expired_card = 0;
85
86 $skip_fuzzyfiles = 0;
87 @fuzzyfields = ( 'first', 'last', 'company', 'address1' );
88
89 @encrypted_fields = ('payinfo', 'paycvv');
90 sub nohistory_fields { ('paycvv'); }
91
92 @paytypes = ('', 'Personal checking', 'Personal savings', 'Business checking', 'Business savings');
93
94 #ask FS::UID to run this stuff for us later
95 #$FS::UID::callback{'FS::cust_main'} = sub { 
96 install_callback FS::UID sub { 
97   $conf = new FS::Conf;
98   #yes, need it for stuff below (prolly should be cached)
99 };
100
101 sub _cache {
102   my $self = shift;
103   my ( $hashref, $cache ) = @_;
104   if ( exists $hashref->{'pkgnum'} ) {
105     #@{ $self->{'_pkgnum'} } = ();
106     my $subcache = $cache->subcache( 'pkgnum', 'cust_pkg', $hashref->{custnum});
107     $self->{'_pkgnum'} = $subcache;
108     #push @{ $self->{'_pkgnum'} },
109     FS::cust_pkg->new_or_cached($hashref, $subcache) if $hashref->{pkgnum};
110   }
111 }
112
113 =head1 NAME
114
115 FS::cust_main - Object methods for cust_main records
116
117 =head1 SYNOPSIS
118
119   use FS::cust_main;
120
121   $record = new FS::cust_main \%hash;
122   $record = new FS::cust_main { 'column' => 'value' };
123
124   $error = $record->insert;
125
126   $error = $new_record->replace($old_record);
127
128   $error = $record->delete;
129
130   $error = $record->check;
131
132   @cust_pkg = $record->all_pkgs;
133
134   @cust_pkg = $record->ncancelled_pkgs;
135
136   @cust_pkg = $record->suspended_pkgs;
137
138   $error = $record->bill;
139   $error = $record->bill %options;
140   $error = $record->bill 'time' => $time;
141
142   $error = $record->collect;
143   $error = $record->collect %options;
144   $error = $record->collect 'invoice_time'   => $time,
145                           ;
146
147 =head1 DESCRIPTION
148
149 An FS::cust_main object represents a customer.  FS::cust_main inherits from 
150 FS::Record.  The following fields are currently supported:
151
152 =over 4
153
154 =item custnum
155
156 Primary key (assigned automatically for new customers)
157
158 =item agentnum
159
160 Agent (see L<FS::agent>)
161
162 =item refnum
163
164 Advertising source (see L<FS::part_referral>)
165
166 =item first
167
168 First name
169
170 =item last
171
172 Last name
173
174 =item ss
175
176 Cocial security number (optional)
177
178 =item company
179
180 (optional)
181
182 =item address1
183
184 =item address2
185
186 (optional)
187
188 =item city
189
190 =item county
191
192 (optional, see L<FS::cust_main_county>)
193
194 =item state
195
196 (see L<FS::cust_main_county>)
197
198 =item zip
199
200 =item country
201
202 (see L<FS::cust_main_county>)
203
204 =item daytime
205
206 phone (optional)
207
208 =item night
209
210 phone (optional)
211
212 =item fax
213
214 phone (optional)
215
216 =item ship_first
217
218 Shipping first name
219
220 =item ship_last
221
222 Shipping last name
223
224 =item ship_company
225
226 (optional)
227
228 =item ship_address1
229
230 =item ship_address2
231
232 (optional)
233
234 =item ship_city
235
236 =item ship_county
237
238 (optional, see L<FS::cust_main_county>)
239
240 =item ship_state
241
242 (see L<FS::cust_main_county>)
243
244 =item ship_zip
245
246 =item ship_country
247
248 (see L<FS::cust_main_county>)
249
250 =item ship_daytime
251
252 phone (optional)
253
254 =item ship_night
255
256 phone (optional)
257
258 =item ship_fax
259
260 phone (optional)
261
262 =item payby
263
264 Payment Type (See L<FS::payinfo_Mixin> for valid payby values)
265
266 =item payinfo
267
268 Payment Information (See L<FS::payinfo_Mixin> for data format)
269
270 =item paymask
271
272 Masked payinfo (See L<FS::payinfo_Mixin> for how this works)
273
274 =item paycvv
275
276 Card Verification Value, "CVV2" (also known as CVC2 or CID), the 3 or 4 digit number on the back (or front, for American Express) of the credit card
277
278 =item paydate
279
280 Expiration date, mm/yyyy, m/yyyy, mm/yy or m/yy
281
282 =item paystart_month
283
284 Start date month (maestro/solo cards only)
285
286 =item paystart_year
287
288 Start date year (maestro/solo cards only)
289
290 =item payissue
291
292 Issue number (maestro/solo cards only)
293
294 =item payname
295
296 Name on card or billing name
297
298 =item payip
299
300 IP address from which payment information was received
301
302 =item tax
303
304 Tax exempt, empty or `Y'
305
306 =item otaker
307
308 Order taker (assigned automatically, see L<FS::UID>)
309
310 =item comments
311
312 Comments (optional)
313
314 =item referral_custnum
315
316 Referring customer number
317
318 =item spool_cdr
319
320 Enable individual CDR spooling, empty or `Y'
321
322 =item dundate
323
324 A suggestion to events (see L<FS::part_bill_event">) to delay until this unix timestamp
325
326 =item squelch_cdr
327
328 Discourage individual CDR printing, empty or `Y'
329
330 =back
331
332 =head1 METHODS
333
334 =over 4
335
336 =item new HASHREF
337
338 Creates a new customer.  To add the customer to the database, see L<"insert">.
339
340 Note that this stores the hash reference, not a distinct copy of the hash it
341 points to.  You can ask the object for a copy with the I<hash> method.
342
343 =cut
344
345 sub table { 'cust_main'; }
346
347 =item insert [ CUST_PKG_HASHREF [ , INVOICING_LIST_ARYREF ] [ , OPTION => VALUE ... ] ]
348
349 Adds this customer to the database.  If there is an error, returns the error,
350 otherwise returns false.
351
352 CUST_PKG_HASHREF: If you pass a Tie::RefHash data structure to the insert
353 method containing FS::cust_pkg and FS::svc_I<tablename> objects, all records
354 are inserted atomicly, or the transaction is rolled back.  Passing an empty
355 hash reference is equivalent to not supplying this parameter.  There should be
356 a better explanation of this, but until then, here's an example:
357
358   use Tie::RefHash;
359   tie %hash, 'Tie::RefHash'; #this part is important
360   %hash = (
361     $cust_pkg => [ $svc_acct ],
362     ...
363   );
364   $cust_main->insert( \%hash );
365
366 INVOICING_LIST_ARYREF: If you pass an arrarref to the insert method, it will
367 be set as the invoicing list (see L<"invoicing_list">).  Errors return as
368 expected and rollback the entire transaction; it is not necessary to call 
369 check_invoicing_list first.  The invoicing_list is set after the records in the
370 CUST_PKG_HASHREF above are inserted, so it is now possible to set an
371 invoicing_list destination to the newly-created svc_acct.  Here's an example:
372
373   $cust_main->insert( {}, [ $email, 'POST' ] );
374
375 Currently available options are: I<depend_jobnum>, I<noexport> and I<tax_exemption>.
376
377 If I<depend_jobnum> is set, all provisioning jobs will have a dependancy
378 on the supplied jobnum (they will not run until the specific job completes).
379 This can be used to defer provisioning until some action completes (such
380 as running the customer's credit card successfully).
381
382 The I<noexport> option is deprecated.  If I<noexport> is set true, no
383 provisioning jobs (exports) are scheduled.  (You can schedule them later with
384 the B<reexport> method.)
385
386 The I<tax_exemption> option can be set to an arrayref of tax names.
387 FS::cust_main_exemption records will be created and inserted.
388
389 =cut
390
391 sub insert {
392   my $self = shift;
393   my $cust_pkgs = @_ ? shift : {};
394   my $invoicing_list = @_ ? shift : '';
395   my %options = @_;
396   warn "$me insert called with options ".
397        join(', ', map { "$_: $options{$_}" } keys %options ). "\n"
398     if $DEBUG;
399
400   local $SIG{HUP} = 'IGNORE';
401   local $SIG{INT} = 'IGNORE';
402   local $SIG{QUIT} = 'IGNORE';
403   local $SIG{TERM} = 'IGNORE';
404   local $SIG{TSTP} = 'IGNORE';
405   local $SIG{PIPE} = 'IGNORE';
406
407   my $oldAutoCommit = $FS::UID::AutoCommit;
408   local $FS::UID::AutoCommit = 0;
409   my $dbh = dbh;
410
411   my $prepay_identifier = '';
412   my( $amount, $seconds, $upbytes, $downbytes, $totalbytes ) = (0, 0, 0, 0, 0);
413   my $payby = '';
414   if ( $self->payby eq 'PREPAY' ) {
415
416     $self->payby('BILL');
417     $prepay_identifier = $self->payinfo;
418     $self->payinfo('');
419
420     warn "  looking up prepaid card $prepay_identifier\n"
421       if $DEBUG > 1;
422
423     my $error = $self->get_prepay( $prepay_identifier,
424                                    'amount_ref'     => \$amount,
425                                    'seconds_ref'    => \$seconds,
426                                    'upbytes_ref'    => \$upbytes,
427                                    'downbytes_ref'  => \$downbytes,
428                                    'totalbytes_ref' => \$totalbytes,
429                                  );
430     if ( $error ) {
431       $dbh->rollback if $oldAutoCommit;
432       #return "error applying prepaid card (transaction rolled back): $error";
433       return $error;
434     }
435
436     $payby = 'PREP' if $amount;
437
438   } elsif ( $self->payby =~ /^(CASH|WEST|MCRD)$/ ) {
439
440     $payby = $1;
441     $self->payby('BILL');
442     $amount = $self->paid;
443
444   }
445
446   warn "  inserting $self\n"
447     if $DEBUG > 1;
448
449   $self->signupdate(time) unless $self->signupdate;
450
451   $self->auto_agent_custid()
452     if $conf->config('cust_main-auto_agent_custid') && ! $self->agent_custid;
453
454   my $error = $self->SUPER::insert;
455   if ( $error ) {
456     $dbh->rollback if $oldAutoCommit;
457     #return "inserting cust_main record (transaction rolled back): $error";
458     return $error;
459   }
460
461   warn "  setting invoicing list\n"
462     if $DEBUG > 1;
463
464   if ( $invoicing_list ) {
465     $error = $self->check_invoicing_list( $invoicing_list );
466     if ( $error ) {
467       $dbh->rollback if $oldAutoCommit;
468       #return "checking invoicing_list (transaction rolled back): $error";
469       return $error;
470     }
471     $self->invoicing_list( $invoicing_list );
472   }
473
474   warn "  setting cust_main_exemption\n"
475     if $DEBUG > 1;
476
477   my $tax_exemption = delete $options{'tax_exemption'};
478   if ( $tax_exemption ) {
479     foreach my $taxname ( @$tax_exemption ) {
480       my $cust_main_exemption = new FS::cust_main_exemption {
481         'custnum' => $self->custnum,
482         'taxname' => $taxname,
483       };
484       my $error = $cust_main_exemption->insert;
485       if ( $error ) {
486         $dbh->rollback if $oldAutoCommit;
487         return "inserting cust_main_exemption (transaction rolled back): $error";
488       }
489     }
490   }
491
492   if (    $conf->config('cust_main-skeleton_tables')
493        && $conf->config('cust_main-skeleton_custnum') ) {
494
495     warn "  inserting skeleton records\n"
496       if $DEBUG > 1;
497
498     my $error = $self->start_copy_skel;
499     if ( $error ) {
500       $dbh->rollback if $oldAutoCommit;
501       return $error;
502     }
503
504   }
505
506   warn "  ordering packages\n"
507     if $DEBUG > 1;
508
509   $error = $self->order_pkgs( $cust_pkgs,
510                               %options,
511                               'seconds_ref'    => \$seconds,
512                               'upbytes_ref'    => \$upbytes,
513                               'downbytes_ref'  => \$downbytes,
514                               'totalbytes_ref' => \$totalbytes,
515                             );
516   if ( $error ) {
517     $dbh->rollback if $oldAutoCommit;
518     return $error;
519   }
520
521   if ( $seconds ) {
522     $dbh->rollback if $oldAutoCommit;
523     return "No svc_acct record to apply pre-paid time";
524   }
525   if ( $upbytes || $downbytes || $totalbytes ) {
526     $dbh->rollback if $oldAutoCommit;
527     return "No svc_acct record to apply pre-paid data";
528   }
529
530   if ( $amount ) {
531     warn "  inserting initial $payby payment of $amount\n"
532       if $DEBUG > 1;
533     $error = $self->insert_cust_pay($payby, $amount, $prepay_identifier);
534     if ( $error ) {
535       $dbh->rollback if $oldAutoCommit;
536       return "inserting payment (transaction rolled back): $error";
537     }
538   }
539
540   unless ( $import || $skip_fuzzyfiles ) {
541     warn "  queueing fuzzyfiles update\n"
542       if $DEBUG > 1;
543     $error = $self->queue_fuzzyfiles_update;
544     if ( $error ) {
545       $dbh->rollback if $oldAutoCommit;
546       return "updating fuzzy search cache: $error";
547     }
548   }
549
550   warn "  insert complete; committing transaction\n"
551     if $DEBUG > 1;
552
553   $dbh->commit or die $dbh->errstr if $oldAutoCommit;
554   '';
555
556 }
557
558 use File::CounterFile;
559 sub auto_agent_custid {
560   my $self = shift;
561
562   my $format = $conf->config('cust_main-auto_agent_custid');
563   my $agent_custid;
564   if ( $format eq '1YMMXXXXXXXX' ) {
565
566     my $counter = new File::CounterFile 'cust_main.agent_custid';
567     $counter->lock;
568
569     my $ym = 100000000000 + time2str('%y%m00000000', time);
570     if ( $ym > $counter->value ) {
571       $counter->{'value'} = $agent_custid = $ym;
572       $counter->{'updated'} = 1;
573     } else {
574       $agent_custid = $counter->inc;
575     }
576
577     $counter->unlock;
578
579   } else {
580     die "Unknown cust_main-auto_agent_custid format: $format";
581   }
582
583   $self->agent_custid($agent_custid);
584
585 }
586
587 sub start_copy_skel {
588   my $self = shift;
589
590   #'mg_user_preference' => {},
591   #'mg_user_indicator_profile.user_indicator_profile_id' => { 'mg_profile_indicator.profile_indicator_id' => { 'mg_profile_details.profile_detail_id' }, },
592   #'mg_watchlist_header.watchlist_header_id' => { 'mg_watchlist_details.watchlist_details_id' },
593   #'mg_user_grid_header.grid_header_id' => { 'mg_user_grid_details.user_grid_details_id' },
594   #'mg_portfolio_header.portfolio_header_id' => { 'mg_portfolio_trades.portfolio_trades_id' => { 'mg_portfolio_trades_positions.portfolio_trades_positions_id' } },
595   my @tables = eval(join('\n',$conf->config('cust_main-skeleton_tables')));
596   die $@ if $@;
597
598   _copy_skel( 'cust_main',                                 #tablename
599               $conf->config('cust_main-skeleton_custnum'), #sourceid
600               $self->custnum,                              #destid
601               @tables,                                     #child tables
602             );
603 }
604
605 #recursive subroutine, not a method
606 sub _copy_skel {
607   my( $table, $sourceid, $destid, %child_tables ) = @_;
608
609   my $primary_key;
610   if ( $table =~ /^(\w+)\.(\w+)$/ ) {
611     ( $table, $primary_key ) = ( $1, $2 );
612   } else {
613     my $dbdef_table = dbdef->table($table);
614     $primary_key = $dbdef_table->primary_key
615       or return "$table has no primary key".
616                 " (or do you need to run dbdef-create?)";
617   }
618
619   warn "  _copy_skel: $table.$primary_key $sourceid to $destid for ".
620        join (', ', keys %child_tables). "\n"
621     if $DEBUG > 2;
622
623   foreach my $child_table_def ( keys %child_tables ) {
624
625     my $child_table;
626     my $child_pkey = '';
627     if ( $child_table_def =~ /^(\w+)\.(\w+)$/ ) {
628       ( $child_table, $child_pkey ) = ( $1, $2 );
629     } else {
630       $child_table = $child_table_def;
631
632       $child_pkey = dbdef->table($child_table)->primary_key;
633       #  or return "$table has no primary key".
634       #            " (or do you need to run dbdef-create?)\n";
635     }
636
637     my $sequence = '';
638     if ( keys %{ $child_tables{$child_table_def} } ) {
639
640       return "$child_table has no primary key".
641              " (run dbdef-create or try specifying it?)\n"
642         unless $child_pkey;
643
644       #false laziness w/Record::insert and only works on Pg
645       #refactor the proper last-inserted-id stuff out of Record::insert if this
646       # ever gets use for anything besides a quick kludge for one customer
647       my $default = dbdef->table($child_table)->column($child_pkey)->default;
648       $default =~ /^nextval\(\(?'"?([\w\.]+)"?'/i
649         or return "can't parse $child_table.$child_pkey default value ".
650                   " for sequence name: $default";
651       $sequence = $1;
652
653     }
654   
655     my @sel_columns = grep { $_ ne $primary_key }
656                            dbdef->table($child_table)->columns;
657     my $sel_columns = join(', ', @sel_columns );
658
659     my @ins_columns = grep { $_ ne $child_pkey } @sel_columns;
660     my $ins_columns = ' ( '. join(', ', $primary_key, @ins_columns ). ' ) ';
661     my $placeholders = ' ( ?, '. join(', ', map '?', @ins_columns ). ' ) ';
662
663     my $sel_st = "SELECT $sel_columns FROM $child_table".
664                  " WHERE $primary_key = $sourceid";
665     warn "    $sel_st\n"
666       if $DEBUG > 2;
667     my $sel_sth = dbh->prepare( $sel_st )
668       or return dbh->errstr;
669   
670     $sel_sth->execute or return $sel_sth->errstr;
671
672     while ( my $row = $sel_sth->fetchrow_hashref ) {
673
674       warn "    selected row: ".
675            join(', ', map { "$_=".$row->{$_} } keys %$row ). "\n"
676         if $DEBUG > 2;
677
678       my $statement =
679         "INSERT INTO $child_table $ins_columns VALUES $placeholders";
680       my $ins_sth =dbh->prepare($statement)
681           or return dbh->errstr;
682       my @param = ( $destid, map $row->{$_}, @ins_columns );
683       warn "    $statement: [ ". join(', ', @param). " ]\n"
684         if $DEBUG > 2;
685       $ins_sth->execute( @param )
686         or return $ins_sth->errstr;
687
688       #next unless keys %{ $child_tables{$child_table} };
689       next unless $sequence;
690       
691       #another section of that laziness
692       my $seq_sql = "SELECT currval('$sequence')";
693       my $seq_sth = dbh->prepare($seq_sql) or return dbh->errstr;
694       $seq_sth->execute or return $seq_sth->errstr;
695       my $insertid = $seq_sth->fetchrow_arrayref->[0];
696   
697       # don't drink soap!  recurse!  recurse!  okay!
698       my $error =
699         _copy_skel( $child_table_def,
700                     $row->{$child_pkey}, #sourceid
701                     $insertid, #destid
702                     %{ $child_tables{$child_table_def} },
703                   );
704       return $error if $error;
705
706     }
707
708   }
709
710   return '';
711
712 }
713
714 =item order_pkg HASHREF | OPTION => VALUE ... 
715
716 Orders a single package.
717
718 Options may be passed as a list of key/value pairs or as a hash reference.
719 Options are:
720
721 =over 4
722
723 =item cust_pkg
724
725 FS::cust_pkg object
726
727 =item cust_location
728
729 Optional FS::cust_location object
730
731 =item svcs
732
733 Optional arryaref of FS::svc_* service objects.
734
735 =item depend_jobnum
736
737 If this option is set to a job queue jobnum (see L<FS::queue>), all provisioning
738 jobs will have a dependancy on the supplied job (they will not run until the
739 specific job completes).  This can be used to defer provisioning until some
740 action completes (such as running the customer's credit card successfully).
741
742 =item ticket_subject
743
744 Optional subject for a ticket created and attached to this customer
745
746 =item ticket_subject
747
748 Optional queue name for ticket additions
749
750 =back
751
752 =cut
753
754 sub order_pkg {
755   my $self = shift;
756   my $opt = ref($_[0]) ? shift : { @_ };
757
758   warn "$me order_pkg called with options ".
759        join(', ', map { "$_: $opt->{$_}" } keys %$opt ). "\n"
760     if $DEBUG;
761
762   my $cust_pkg = $opt->{'cust_pkg'};
763   my $svcs     = $opt->{'svcs'} || [];
764
765   my %svc_options = ();
766   $svc_options{'depend_jobnum'} = $opt->{'depend_jobnum'}
767     if exists($opt->{'depend_jobnum'}) && $opt->{'depend_jobnum'};
768
769   my %insert_params = map { $opt->{$_} ? ( $_ => $opt->{$_} ) : () }
770                           qw( ticket_subject ticket_queue );
771
772   local $SIG{HUP} = 'IGNORE';
773   local $SIG{INT} = 'IGNORE';
774   local $SIG{QUIT} = 'IGNORE';
775   local $SIG{TERM} = 'IGNORE';
776   local $SIG{TSTP} = 'IGNORE';
777   local $SIG{PIPE} = 'IGNORE';
778
779   my $oldAutoCommit = $FS::UID::AutoCommit;
780   local $FS::UID::AutoCommit = 0;
781   my $dbh = dbh;
782
783   if ( $opt->{'cust_location'} &&
784        ( ! $cust_pkg->locationnum || $cust_pkg->locationnum == -1 ) ) {
785     my $error = $opt->{'cust_location'}->insert;
786     if ( $error ) {
787       $dbh->rollback if $oldAutoCommit;
788       return "inserting cust_location (transaction rolled back): $error";
789     }
790     $cust_pkg->locationnum($opt->{'cust_location'}->locationnum);
791   }
792
793   $cust_pkg->custnum( $self->custnum );
794
795   my $error = $cust_pkg->insert( %insert_params );
796   if ( $error ) {
797     $dbh->rollback if $oldAutoCommit;
798     return "inserting cust_pkg (transaction rolled back): $error";
799   }
800
801   foreach my $svc_something ( @{ $opt->{'svcs'} } ) {
802     if ( $svc_something->svcnum ) {
803       my $old_cust_svc = $svc_something->cust_svc;
804       my $new_cust_svc = new FS::cust_svc { $old_cust_svc->hash };
805       $new_cust_svc->pkgnum( $cust_pkg->pkgnum);
806       $error = $new_cust_svc->replace($old_cust_svc);
807     } else {
808       $svc_something->pkgnum( $cust_pkg->pkgnum );
809       if ( $svc_something->isa('FS::svc_acct') ) {
810         foreach ( grep { $opt->{$_.'_ref'} && ${ $opt->{$_.'_ref'} } }
811                        qw( seconds upbytes downbytes totalbytes )      ) {
812           $svc_something->$_( $svc_something->$_() + ${ $opt->{$_.'_ref'} } );
813           ${ $opt->{$_.'_ref'} } = 0;
814         }
815       }
816       $error = $svc_something->insert(%svc_options);
817     }
818     if ( $error ) {
819       $dbh->rollback if $oldAutoCommit;
820       return "inserting svc_ (transaction rolled back): $error";
821     }
822   }
823
824   $dbh->commit or die $dbh->errstr if $oldAutoCommit;
825   ''; #no error
826
827 }
828
829 #deprecated #=item order_pkgs HASHREF [ , SECONDSREF ] [ , OPTION => VALUE ... ]
830 =item order_pkgs HASHREF [ , OPTION => VALUE ... ]
831
832 Like the insert method on an existing record, this method orders multiple
833 packages and included services atomicaly.  Pass a Tie::RefHash data structure
834 to this method containing FS::cust_pkg and FS::svc_I<tablename> objects.
835 There should be a better explanation of this, but until then, here's an
836 example:
837
838   use Tie::RefHash;
839   tie %hash, 'Tie::RefHash'; #this part is important
840   %hash = (
841     $cust_pkg => [ $svc_acct ],
842     ...
843   );
844   $cust_main->order_pkgs( \%hash, 'noexport'=>1 );
845
846 Services can be new, in which case they are inserted, or existing unaudited
847 services, in which case they are linked to the newly-created package.
848
849 Currently available options are: I<depend_jobnum>, I<noexport>, I<seconds_ref>,
850 I<upbytes_ref>, I<downbytes_ref>, and I<totalbytes_ref>.
851
852 If I<depend_jobnum> is set, all provisioning jobs will have a dependancy
853 on the supplied jobnum (they will not run until the specific job completes).
854 This can be used to defer provisioning until some action completes (such
855 as running the customer's credit card successfully).
856
857 The I<noexport> option is deprecated.  If I<noexport> is set true, no
858 provisioning jobs (exports) are scheduled.  (You can schedule them later with
859 the B<reexport> method for each cust_pkg object.  Using the B<reexport> method
860 on the cust_main object is not recommended, as existing services will also be
861 reexported.)
862
863 If I<seconds_ref>, I<upbytes_ref>, I<downbytes_ref>, or I<totalbytes_ref> is
864 provided, the scalars (provided by references) will be incremented by the
865 values of the prepaid card.`
866
867 =cut
868
869 sub order_pkgs {
870   my $self = shift;
871   my $cust_pkgs = shift;
872   my $seconds_ref = ref($_[0]) ? shift : ''; #deprecated
873   my %options = @_;
874   $seconds_ref ||= $options{'seconds_ref'};
875
876   warn "$me order_pkgs called with options ".
877        join(', ', map { "$_: $options{$_}" } keys %options ). "\n"
878     if $DEBUG;
879
880   local $SIG{HUP} = 'IGNORE';
881   local $SIG{INT} = 'IGNORE';
882   local $SIG{QUIT} = 'IGNORE';
883   local $SIG{TERM} = 'IGNORE';
884   local $SIG{TSTP} = 'IGNORE';
885   local $SIG{PIPE} = 'IGNORE';
886
887   my $oldAutoCommit = $FS::UID::AutoCommit;
888   local $FS::UID::AutoCommit = 0;
889   my $dbh = dbh;
890
891   local $FS::svc_Common::noexport_hack = 1 if $options{'noexport'};
892
893   foreach my $cust_pkg ( keys %$cust_pkgs ) {
894
895     my $error = $self->order_pkg(
896       'cust_pkg'     => $cust_pkg,
897       'svcs'         => $cust_pkgs->{$cust_pkg},
898       'seconds_ref'  => $seconds_ref,
899       map { $_ => $options{$_} } qw( upbytes_ref downbytes_ref totalbytes_ref
900                                      depend_jobnum
901                                    )
902     );
903     if ( $error ) {
904       $dbh->rollback if $oldAutoCommit;
905       return $error;
906     }
907
908   }
909
910   $dbh->commit or die $dbh->errstr if $oldAutoCommit;
911   ''; #no error
912 }
913
914 =item recharge_prepay IDENTIFIER | PREPAY_CREDIT_OBJ [ , AMOUNTREF, SECONDSREF, UPBYTEREF, DOWNBYTEREF ]
915
916 Recharges this (existing) customer with the specified prepaid card (see
917 L<FS::prepay_credit>), specified either by I<identifier> or as an
918 FS::prepay_credit object.  If there is an error, returns the error, otherwise
919 returns false.
920
921 Optionally, five scalar references can be passed as well.  They will have their
922 values filled in with the amount, number of seconds, and number of upload,
923 download, and total bytes applied by this prepaid card.
924
925 =cut
926
927 #the ref bullshit here should be refactored like get_prepay.  MyAccount.pm is
928 #the only place that uses these args
929 sub recharge_prepay { 
930   my( $self, $prepay_credit, $amountref, $secondsref, 
931       $upbytesref, $downbytesref, $totalbytesref ) = @_;
932
933   local $SIG{HUP} = 'IGNORE';
934   local $SIG{INT} = 'IGNORE';
935   local $SIG{QUIT} = 'IGNORE';
936   local $SIG{TERM} = 'IGNORE';
937   local $SIG{TSTP} = 'IGNORE';
938   local $SIG{PIPE} = 'IGNORE';
939
940   my $oldAutoCommit = $FS::UID::AutoCommit;
941   local $FS::UID::AutoCommit = 0;
942   my $dbh = dbh;
943
944   my( $amount, $seconds, $upbytes, $downbytes, $totalbytes) = ( 0, 0, 0, 0, 0 );
945
946   my $error = $self->get_prepay( $prepay_credit,
947                                  'amount_ref'     => \$amount,
948                                  'seconds_ref'    => \$seconds,
949                                  'upbytes_ref'    => \$upbytes,
950                                  'downbytes_ref'  => \$downbytes,
951                                  'totalbytes_ref' => \$totalbytes,
952                                )
953            || $self->increment_seconds($seconds)
954            || $self->increment_upbytes($upbytes)
955            || $self->increment_downbytes($downbytes)
956            || $self->increment_totalbytes($totalbytes)
957            || $self->insert_cust_pay_prepay( $amount,
958                                              ref($prepay_credit)
959                                                ? $prepay_credit->identifier
960                                                : $prepay_credit
961                                            );
962
963   if ( $error ) {
964     $dbh->rollback if $oldAutoCommit;
965     return $error;
966   }
967
968   if ( defined($amountref)  ) { $$amountref  = $amount;  }
969   if ( defined($secondsref) ) { $$secondsref = $seconds; }
970   if ( defined($upbytesref) ) { $$upbytesref = $upbytes; }
971   if ( defined($downbytesref) ) { $$downbytesref = $downbytes; }
972   if ( defined($totalbytesref) ) { $$totalbytesref = $totalbytes; }
973
974   $dbh->commit or die $dbh->errstr if $oldAutoCommit;
975   '';
976
977 }
978
979 =item get_prepay IDENTIFIER | PREPAY_CREDIT_OBJ [ , OPTION => VALUE ... ]
980
981 Looks up and deletes a prepaid card (see L<FS::prepay_credit>),
982 specified either by I<identifier> or as an FS::prepay_credit object.
983
984 Available options are: I<amount_ref>, I<seconds_ref>, I<upbytes_ref>, I<downbytes_ref>, and I<totalbytes_ref>.  The scalars (provided by references) will be
985 incremented by the values of the prepaid card.
986
987 If the prepaid card specifies an I<agentnum> (see L<FS::agent>), it is used to
988 check or set this customer's I<agentnum>.
989
990 If there is an error, returns the error, otherwise returns false.
991
992 =cut
993
994
995 sub get_prepay {
996   my( $self, $prepay_credit, %opt ) = @_;
997
998   local $SIG{HUP} = 'IGNORE';
999   local $SIG{INT} = 'IGNORE';
1000   local $SIG{QUIT} = 'IGNORE';
1001   local $SIG{TERM} = 'IGNORE';
1002   local $SIG{TSTP} = 'IGNORE';
1003   local $SIG{PIPE} = 'IGNORE';
1004
1005   my $oldAutoCommit = $FS::UID::AutoCommit;
1006   local $FS::UID::AutoCommit = 0;
1007   my $dbh = dbh;
1008
1009   unless ( ref($prepay_credit) ) {
1010
1011     my $identifier = $prepay_credit;
1012
1013     $prepay_credit = qsearchs(
1014       'prepay_credit',
1015       { 'identifier' => $prepay_credit },
1016       '',
1017       'FOR UPDATE'
1018     );
1019
1020     unless ( $prepay_credit ) {
1021       $dbh->rollback if $oldAutoCommit;
1022       return "Invalid prepaid card: ". $identifier;
1023     }
1024
1025   }
1026
1027   if ( $prepay_credit->agentnum ) {
1028     if ( $self->agentnum && $self->agentnum != $prepay_credit->agentnum ) {
1029       $dbh->rollback if $oldAutoCommit;
1030       return "prepaid card not valid for agent ". $self->agentnum;
1031     }
1032     $self->agentnum($prepay_credit->agentnum);
1033   }
1034
1035   my $error = $prepay_credit->delete;
1036   if ( $error ) {
1037     $dbh->rollback if $oldAutoCommit;
1038     return "removing prepay_credit (transaction rolled back): $error";
1039   }
1040
1041   ${ $opt{$_.'_ref'} } += $prepay_credit->$_()
1042     for grep $opt{$_.'_ref'}, qw( amount seconds upbytes downbytes totalbytes );
1043
1044   $dbh->commit or die $dbh->errstr if $oldAutoCommit;
1045   '';
1046
1047 }
1048
1049 =item increment_upbytes SECONDS
1050
1051 Updates this customer's single or primary account (see L<FS::svc_acct>) by
1052 the specified number of upbytes.  If there is an error, returns the error,
1053 otherwise returns false.
1054
1055 =cut
1056
1057 sub increment_upbytes {
1058   _increment_column( shift, 'upbytes', @_);
1059 }
1060
1061 =item increment_downbytes SECONDS
1062
1063 Updates this customer's single or primary account (see L<FS::svc_acct>) by
1064 the specified number of downbytes.  If there is an error, returns the error,
1065 otherwise returns false.
1066
1067 =cut
1068
1069 sub increment_downbytes {
1070   _increment_column( shift, 'downbytes', @_);
1071 }
1072
1073 =item increment_totalbytes SECONDS
1074
1075 Updates this customer's single or primary account (see L<FS::svc_acct>) by
1076 the specified number of totalbytes.  If there is an error, returns the error,
1077 otherwise returns false.
1078
1079 =cut
1080
1081 sub increment_totalbytes {
1082   _increment_column( shift, 'totalbytes', @_);
1083 }
1084
1085 =item increment_seconds SECONDS
1086
1087 Updates this customer's single or primary account (see L<FS::svc_acct>) by
1088 the specified number of seconds.  If there is an error, returns the error,
1089 otherwise returns false.
1090
1091 =cut
1092
1093 sub increment_seconds {
1094   _increment_column( shift, 'seconds', @_);
1095 }
1096
1097 =item _increment_column AMOUNT
1098
1099 Updates this customer's single or primary account (see L<FS::svc_acct>) by
1100 the specified number of seconds or bytes.  If there is an error, returns
1101 the error, otherwise returns false.
1102
1103 =cut
1104
1105 sub _increment_column {
1106   my( $self, $column, $amount ) = @_;
1107   warn "$me increment_column called: $column, $amount\n"
1108     if $DEBUG;
1109
1110   return '' unless $amount;
1111
1112   my @cust_pkg = grep { $_->part_pkg->svcpart('svc_acct') }
1113                       $self->ncancelled_pkgs;
1114
1115   if ( ! @cust_pkg ) {
1116     return 'No packages with primary or single services found'.
1117            ' to apply pre-paid time';
1118   } elsif ( scalar(@cust_pkg) > 1 ) {
1119     #maybe have a way to specify the package/account?
1120     return 'Multiple packages found to apply pre-paid time';
1121   }
1122
1123   my $cust_pkg = $cust_pkg[0];
1124   warn "  found package pkgnum ". $cust_pkg->pkgnum. "\n"
1125     if $DEBUG > 1;
1126
1127   my @cust_svc =
1128     $cust_pkg->cust_svc( $cust_pkg->part_pkg->svcpart('svc_acct') );
1129
1130   if ( ! @cust_svc ) {
1131     return 'No account found to apply pre-paid time';
1132   } elsif ( scalar(@cust_svc) > 1 ) {
1133     return 'Multiple accounts found to apply pre-paid time';
1134   }
1135   
1136   my $svc_acct = $cust_svc[0]->svc_x;
1137   warn "  found service svcnum ". $svc_acct->pkgnum.
1138        ' ('. $svc_acct->email. ")\n"
1139     if $DEBUG > 1;
1140
1141   $column = "increment_$column";
1142   $svc_acct->$column($amount);
1143
1144 }
1145
1146 =item insert_cust_pay_prepay AMOUNT [ PAYINFO ]
1147
1148 Inserts a prepayment in the specified amount for this customer.  An optional
1149 second argument can specify the prepayment identifier for tracking purposes.
1150 If there is an error, returns the error, otherwise returns false.
1151
1152 =cut
1153
1154 sub insert_cust_pay_prepay {
1155   shift->insert_cust_pay('PREP', @_);
1156 }
1157
1158 =item insert_cust_pay_cash AMOUNT [ PAYINFO ]
1159
1160 Inserts a cash payment in the specified amount for this customer.  An optional
1161 second argument can specify the payment identifier for tracking purposes.
1162 If there is an error, returns the error, otherwise returns false.
1163
1164 =cut
1165
1166 sub insert_cust_pay_cash {
1167   shift->insert_cust_pay('CASH', @_);
1168 }
1169
1170 =item insert_cust_pay_west AMOUNT [ PAYINFO ]
1171
1172 Inserts a Western Union payment in the specified amount for this customer.  An
1173 optional second argument can specify the prepayment identifier for tracking
1174 purposes.  If there is an error, returns the error, otherwise returns false.
1175
1176 =cut
1177
1178 sub insert_cust_pay_west {
1179   shift->insert_cust_pay('WEST', @_);
1180 }
1181
1182 sub insert_cust_pay {
1183   my( $self, $payby, $amount ) = splice(@_, 0, 3);
1184   my $payinfo = scalar(@_) ? shift : '';
1185
1186   my $cust_pay = new FS::cust_pay {
1187     'custnum' => $self->custnum,
1188     'paid'    => sprintf('%.2f', $amount),
1189     #'_date'   => #date the prepaid card was purchased???
1190     'payby'   => $payby,
1191     'payinfo' => $payinfo,
1192   };
1193   $cust_pay->insert;
1194
1195 }
1196
1197 =item reexport
1198
1199 This method is deprecated.  See the I<depend_jobnum> option to the insert and
1200 order_pkgs methods for a better way to defer provisioning.
1201
1202 Re-schedules all exports by calling the B<reexport> method of all associated
1203 packages (see L<FS::cust_pkg>).  If there is an error, returns the error;
1204 otherwise returns false.
1205
1206 =cut
1207
1208 sub reexport {
1209   my $self = shift;
1210
1211   carp "WARNING: FS::cust_main::reexport is deprectated; ".
1212        "use the depend_jobnum option to insert or order_pkgs to delay export";
1213
1214   local $SIG{HUP} = 'IGNORE';
1215   local $SIG{INT} = 'IGNORE';
1216   local $SIG{QUIT} = 'IGNORE';
1217   local $SIG{TERM} = 'IGNORE';
1218   local $SIG{TSTP} = 'IGNORE';
1219   local $SIG{PIPE} = 'IGNORE';
1220
1221   my $oldAutoCommit = $FS::UID::AutoCommit;
1222   local $FS::UID::AutoCommit = 0;
1223   my $dbh = dbh;
1224
1225   foreach my $cust_pkg ( $self->ncancelled_pkgs ) {
1226     my $error = $cust_pkg->reexport;
1227     if ( $error ) {
1228       $dbh->rollback if $oldAutoCommit;
1229       return $error;
1230     }
1231   }
1232
1233   $dbh->commit or die $dbh->errstr if $oldAutoCommit;
1234   '';
1235
1236 }
1237
1238 =item delete NEW_CUSTNUM
1239
1240 This deletes the customer.  If there is an error, returns the error, otherwise
1241 returns false.
1242
1243 This will completely remove all traces of the customer record.  This is not
1244 what you want when a customer cancels service; for that, cancel all of the
1245 customer's packages (see L</cancel>).
1246
1247 If the customer has any uncancelled packages, you need to pass a new (valid)
1248 customer number for those packages to be transferred to.  Cancelled packages
1249 will be deleted.  Did I mention that this is NOT what you want when a customer
1250 cancels service and that you really should be looking see L<FS::cust_pkg/cancel>?
1251
1252 You can't delete a customer with invoices (see L<FS::cust_bill>),
1253 or credits (see L<FS::cust_credit>), payments (see L<FS::cust_pay>) or
1254 refunds (see L<FS::cust_refund>).
1255
1256 =cut
1257
1258 sub delete {
1259   my $self = shift;
1260
1261   local $SIG{HUP} = 'IGNORE';
1262   local $SIG{INT} = 'IGNORE';
1263   local $SIG{QUIT} = 'IGNORE';
1264   local $SIG{TERM} = 'IGNORE';
1265   local $SIG{TSTP} = 'IGNORE';
1266   local $SIG{PIPE} = 'IGNORE';
1267
1268   my $oldAutoCommit = $FS::UID::AutoCommit;
1269   local $FS::UID::AutoCommit = 0;
1270   my $dbh = dbh;
1271
1272   if ( $self->cust_bill ) {
1273     $dbh->rollback if $oldAutoCommit;
1274     return "Can't delete a customer with invoices";
1275   }
1276   if ( $self->cust_credit ) {
1277     $dbh->rollback if $oldAutoCommit;
1278     return "Can't delete a customer with credits";
1279   }
1280   if ( $self->cust_pay ) {
1281     $dbh->rollback if $oldAutoCommit;
1282     return "Can't delete a customer with payments";
1283   }
1284   if ( $self->cust_refund ) {
1285     $dbh->rollback if $oldAutoCommit;
1286     return "Can't delete a customer with refunds";
1287   }
1288
1289   my @cust_pkg = $self->ncancelled_pkgs;
1290   if ( @cust_pkg ) {
1291     my $new_custnum = shift;
1292     unless ( qsearchs( 'cust_main', { 'custnum' => $new_custnum } ) ) {
1293       $dbh->rollback if $oldAutoCommit;
1294       return "Invalid new customer number: $new_custnum";
1295     }
1296     foreach my $cust_pkg ( @cust_pkg ) {
1297       my %hash = $cust_pkg->hash;
1298       $hash{'custnum'} = $new_custnum;
1299       my $new_cust_pkg = new FS::cust_pkg ( \%hash );
1300       my $error = $new_cust_pkg->replace($cust_pkg,
1301                                          options => { $cust_pkg->options },
1302                                         );
1303       if ( $error ) {
1304         $dbh->rollback if $oldAutoCommit;
1305         return $error;
1306       }
1307     }
1308   }
1309   my @cancelled_cust_pkg = $self->all_pkgs;
1310   foreach my $cust_pkg ( @cancelled_cust_pkg ) {
1311     my $error = $cust_pkg->delete;
1312     if ( $error ) {
1313       $dbh->rollback if $oldAutoCommit;
1314       return $error;
1315     }
1316   }
1317
1318   foreach my $cust_main_invoice ( #(email invoice destinations, not invoices)
1319     qsearch( 'cust_main_invoice', { 'custnum' => $self->custnum } )
1320   ) {
1321     my $error = $cust_main_invoice->delete;
1322     if ( $error ) {
1323       $dbh->rollback if $oldAutoCommit;
1324       return $error;
1325     }
1326   }
1327
1328   foreach my $cust_main_exemption (
1329     qsearch( 'cust_main_exemption', { 'custnum' => $self->custnum } )
1330   ) {
1331     my $error = $cust_main_exemption->delete;
1332     if ( $error ) {
1333       $dbh->rollback if $oldAutoCommit;
1334       return $error;
1335     }
1336   }
1337
1338   my $error = $self->SUPER::delete;
1339   if ( $error ) {
1340     $dbh->rollback if $oldAutoCommit;
1341     return $error;
1342   }
1343
1344   $dbh->commit or die $dbh->errstr if $oldAutoCommit;
1345   '';
1346
1347 }
1348
1349 =item replace [ OLD_RECORD ] [ INVOICING_LIST_ARYREF ] [ , OPTION => VALUE ... ] ]
1350
1351
1352 Replaces the OLD_RECORD with this one in the database.  If there is an error,
1353 returns the error, otherwise returns false.
1354
1355 INVOICING_LIST_ARYREF: If you pass an arrarref to the insert method, it will
1356 be set as the invoicing list (see L<"invoicing_list">).  Errors return as
1357 expected and rollback the entire transaction; it is not necessary to call 
1358 check_invoicing_list first.  Here's an example:
1359
1360   $new_cust_main->replace( $old_cust_main, [ $email, 'POST' ] );
1361
1362 Currently available options are: I<tax_exemption>.
1363
1364 The I<tax_exemption> option can be set to an arrayref of tax names.
1365 FS::cust_main_exemption records will be deleted and inserted as appropriate.
1366
1367 =cut
1368
1369 sub replace {
1370   my $self = shift;
1371
1372   my $old = ( blessed($_[0]) && $_[0]->isa('FS::Record') )
1373               ? shift
1374               : $self->replace_old;
1375
1376   my @param = @_;
1377
1378   warn "$me replace called\n"
1379     if $DEBUG;
1380
1381   my $curuser = $FS::CurrentUser::CurrentUser;
1382   if (    $self->payby eq 'COMP'
1383        && $self->payby ne $old->payby
1384        && ! $curuser->access_right('Complimentary customer')
1385      )
1386   {
1387     return "You are not permitted to create complimentary accounts.";
1388   }
1389
1390   local($ignore_expired_card) = 1
1391     if $old->payby  =~ /^(CARD|DCRD)$/
1392     && $self->payby =~ /^(CARD|DCRD)$/
1393     && ( $old->payinfo eq $self->payinfo || $old->paymask eq $self->paymask );
1394
1395   local $SIG{HUP} = 'IGNORE';
1396   local $SIG{INT} = 'IGNORE';
1397   local $SIG{QUIT} = 'IGNORE';
1398   local $SIG{TERM} = 'IGNORE';
1399   local $SIG{TSTP} = 'IGNORE';
1400   local $SIG{PIPE} = 'IGNORE';
1401
1402   my $oldAutoCommit = $FS::UID::AutoCommit;
1403   local $FS::UID::AutoCommit = 0;
1404   my $dbh = dbh;
1405
1406   my $error = $self->SUPER::replace($old);
1407
1408   if ( $error ) {
1409     $dbh->rollback if $oldAutoCommit;
1410     return $error;
1411   }
1412
1413   if ( @param && ref($param[0]) eq 'ARRAY' ) { # INVOICING_LIST_ARYREF
1414     my $invoicing_list = shift @param;
1415     $error = $self->check_invoicing_list( $invoicing_list );
1416     if ( $error ) {
1417       $dbh->rollback if $oldAutoCommit;
1418       return $error;
1419     }
1420     $self->invoicing_list( $invoicing_list );
1421   }
1422
1423   my %options = @param;
1424
1425   my $tax_exemption = delete $options{'tax_exemption'};
1426   if ( $tax_exemption ) {
1427
1428     my %cust_main_exemption =
1429       map { $_->taxname => $_ }
1430           qsearch('cust_main_exemption', { 'custnum' => $old->custnum } );
1431
1432     foreach my $taxname ( @$tax_exemption ) {
1433
1434       next if delete $cust_main_exemption{$taxname};
1435
1436       my $cust_main_exemption = new FS::cust_main_exemption {
1437         'custnum' => $self->custnum,
1438         'taxname' => $taxname,
1439       };
1440       my $error = $cust_main_exemption->insert;
1441       if ( $error ) {
1442         $dbh->rollback if $oldAutoCommit;
1443         return "inserting cust_main_exemption (transaction rolled back): $error";
1444       }
1445     }
1446
1447     foreach my $cust_main_exemption ( values %cust_main_exemption ) {
1448       my $error = $cust_main_exemption->delete;
1449       if ( $error ) {
1450         $dbh->rollback if $oldAutoCommit;
1451         return "deleting cust_main_exemption (transaction rolled back): $error";
1452       }
1453     }
1454
1455   }
1456
1457   if ( $self->payby =~ /^(CARD|CHEK|LECB)$/ &&
1458        grep { $self->get($_) ne $old->get($_) } qw(payinfo paydate payname) ) {
1459     # card/check/lec info has changed, want to retry realtime_ invoice events
1460     my $error = $self->retry_realtime;
1461     if ( $error ) {
1462       $dbh->rollback if $oldAutoCommit;
1463       return $error;
1464     }
1465   }
1466
1467   unless ( $import || $skip_fuzzyfiles ) {
1468     $error = $self->queue_fuzzyfiles_update;
1469     if ( $error ) {
1470       $dbh->rollback if $oldAutoCommit;
1471       return "updating fuzzy search cache: $error";
1472     }
1473   }
1474
1475   $dbh->commit or die $dbh->errstr if $oldAutoCommit;
1476   '';
1477
1478 }
1479
1480 =item queue_fuzzyfiles_update
1481
1482 Used by insert & replace to update the fuzzy search cache
1483
1484 =cut
1485
1486 sub queue_fuzzyfiles_update {
1487   my $self = shift;
1488
1489   local $SIG{HUP} = 'IGNORE';
1490   local $SIG{INT} = 'IGNORE';
1491   local $SIG{QUIT} = 'IGNORE';
1492   local $SIG{TERM} = 'IGNORE';
1493   local $SIG{TSTP} = 'IGNORE';
1494   local $SIG{PIPE} = 'IGNORE';
1495
1496   my $oldAutoCommit = $FS::UID::AutoCommit;
1497   local $FS::UID::AutoCommit = 0;
1498   my $dbh = dbh;
1499
1500   my $queue = new FS::queue { 'job' => 'FS::cust_main::append_fuzzyfiles' };
1501   my $error = $queue->insert( map $self->getfield($_), @fuzzyfields );
1502   if ( $error ) {
1503     $dbh->rollback if $oldAutoCommit;
1504     return "queueing job (transaction rolled back): $error";
1505   }
1506
1507   if ( $self->ship_last ) {
1508     $queue = new FS::queue { 'job' => 'FS::cust_main::append_fuzzyfiles' };
1509     $error = $queue->insert( map $self->getfield("ship_$_"), @fuzzyfields );
1510     if ( $error ) {
1511       $dbh->rollback if $oldAutoCommit;
1512       return "queueing job (transaction rolled back): $error";
1513     }
1514   }
1515
1516   $dbh->commit or die $dbh->errstr if $oldAutoCommit;
1517   '';
1518
1519 }
1520
1521 =item check
1522
1523 Checks all fields to make sure this is a valid customer record.  If there is
1524 an error, returns the error, otherwise returns false.  Called by the insert
1525 and replace methods.
1526
1527 =cut
1528
1529 sub check {
1530   my $self = shift;
1531
1532   warn "$me check BEFORE: \n". $self->_dump
1533     if $DEBUG > 2;
1534
1535   my $error =
1536     $self->ut_numbern('custnum')
1537     || $self->ut_number('agentnum')
1538     || $self->ut_textn('agent_custid')
1539     || $self->ut_number('refnum')
1540     || $self->ut_textn('custbatch')
1541     || $self->ut_name('last')
1542     || $self->ut_name('first')
1543     || $self->ut_snumbern('birthdate')
1544     || $self->ut_snumbern('signupdate')
1545     || $self->ut_textn('company')
1546     || $self->ut_text('address1')
1547     || $self->ut_textn('address2')
1548     || $self->ut_text('city')
1549     || $self->ut_textn('county')
1550     || $self->ut_textn('state')
1551     || $self->ut_country('country')
1552     || $self->ut_anything('comments')
1553     || $self->ut_numbern('referral_custnum')
1554     || $self->ut_textn('stateid')
1555     || $self->ut_textn('stateid_state')
1556     || $self->ut_textn('invoice_terms')
1557     || $self->ut_alphan('geocode')
1558     || $self->ut_floatn('cdr_termination_percentage')
1559   ;
1560
1561   #barf.  need message catalogs.  i18n.  etc.
1562   $error .= "Please select an advertising source."
1563     if $error =~ /^Illegal or empty \(numeric\) refnum: /;
1564   return $error if $error;
1565
1566   return "Unknown agent"
1567     unless qsearchs( 'agent', { 'agentnum' => $self->agentnum } );
1568
1569   return "Unknown refnum"
1570     unless qsearchs( 'part_referral', { 'refnum' => $self->refnum } );
1571
1572   return "Unknown referring custnum: ". $self->referral_custnum
1573     unless ! $self->referral_custnum 
1574            || qsearchs( 'cust_main', { 'custnum' => $self->referral_custnum } );
1575
1576   if ( $self->censustract ne '' ) {
1577     $self->censustract =~ /^\s*(\d{9})\.?(\d{2})\s*$/
1578       or return "Illegal census tract: ". $self->censustract;
1579     
1580     $self->censustract("$1.$2");
1581   }
1582
1583   if ( $self->ss eq '' ) {
1584     $self->ss('');
1585   } else {
1586     my $ss = $self->ss;
1587     $ss =~ s/\D//g;
1588     $ss =~ /^(\d{3})(\d{2})(\d{4})$/
1589       or return "Illegal social security number: ". $self->ss;
1590     $self->ss("$1-$2-$3");
1591   }
1592
1593
1594 # bad idea to disable, causes billing to fail because of no tax rates later
1595 #  unless ( $import ) {
1596     unless ( qsearch('cust_main_county', {
1597       'country' => $self->country,
1598       'state'   => '',
1599      } ) ) {
1600       return "Unknown state/county/country: ".
1601         $self->state. "/". $self->county. "/". $self->country
1602         unless qsearch('cust_main_county',{
1603           'state'   => $self->state,
1604           'county'  => $self->county,
1605           'country' => $self->country,
1606         } );
1607     }
1608 #  }
1609
1610   $error =
1611     $self->ut_phonen('daytime', $self->country)
1612     || $self->ut_phonen('night', $self->country)
1613     || $self->ut_phonen('fax', $self->country)
1614     || $self->ut_zip('zip', $self->country)
1615   ;
1616   return $error if $error;
1617
1618   if ( $conf->exists('cust_main-require_phone')
1619        && ! length($self->daytime) && ! length($self->night)
1620      ) {
1621
1622     my $daytime_label = FS::Msgcat::_gettext('daytime') =~ /^(daytime)?$/
1623                           ? 'Day Phone'
1624                           : FS::Msgcat::_gettext('daytime');
1625     my $night_label = FS::Msgcat::_gettext('night') =~ /^(night)?$/
1626                         ? 'Night Phone'
1627                         : FS::Msgcat::_gettext('night');
1628   
1629     return "$daytime_label or $night_label is required"
1630   
1631   }
1632
1633   if ( $self->has_ship_address
1634        && scalar ( grep { $self->getfield($_) ne $self->getfield("ship_$_") }
1635                         $self->addr_fields )
1636      )
1637   {
1638     my $error =
1639       $self->ut_name('ship_last')
1640       || $self->ut_name('ship_first')
1641       || $self->ut_textn('ship_company')
1642       || $self->ut_text('ship_address1')
1643       || $self->ut_textn('ship_address2')
1644       || $self->ut_text('ship_city')
1645       || $self->ut_textn('ship_county')
1646       || $self->ut_textn('ship_state')
1647       || $self->ut_country('ship_country')
1648     ;
1649     return $error if $error;
1650
1651     #false laziness with above
1652     unless ( qsearchs('cust_main_county', {
1653       'country' => $self->ship_country,
1654       'state'   => '',
1655      } ) ) {
1656       return "Unknown ship_state/ship_county/ship_country: ".
1657         $self->ship_state. "/". $self->ship_county. "/". $self->ship_country
1658         unless qsearch('cust_main_county',{
1659           'state'   => $self->ship_state,
1660           'county'  => $self->ship_county,
1661           'country' => $self->ship_country,
1662         } );
1663     }
1664     #eofalse
1665
1666     $error =
1667       $self->ut_phonen('ship_daytime', $self->ship_country)
1668       || $self->ut_phonen('ship_night', $self->ship_country)
1669       || $self->ut_phonen('ship_fax', $self->ship_country)
1670       || $self->ut_zip('ship_zip', $self->ship_country)
1671     ;
1672     return $error if $error;
1673
1674     return "Unit # is required."
1675       if $self->ship_address2 =~ /^\s*$/
1676       && $conf->exists('cust_main-require_address2');
1677
1678   } else { # ship_ info eq billing info, so don't store dup info in database
1679
1680     $self->setfield("ship_$_", '')
1681       foreach $self->addr_fields;
1682
1683     return "Unit # is required."
1684       if $self->address2 =~ /^\s*$/
1685       && $conf->exists('cust_main-require_address2');
1686
1687   }
1688
1689   #$self->payby =~ /^(CARD|DCRD|CHEK|DCHK|LECB|BILL|COMP|PREPAY|CASH|WEST|MCRD)$/
1690   #  or return "Illegal payby: ". $self->payby;
1691   #$self->payby($1);
1692   FS::payby->can_payby($self->table, $self->payby)
1693     or return "Illegal payby: ". $self->payby;
1694
1695   $error =    $self->ut_numbern('paystart_month')
1696            || $self->ut_numbern('paystart_year')
1697            || $self->ut_numbern('payissue')
1698            || $self->ut_textn('paytype')
1699   ;
1700   return $error if $error;
1701
1702   if ( $self->payip eq '' ) {
1703     $self->payip('');
1704   } else {
1705     $error = $self->ut_ip('payip');
1706     return $error if $error;
1707   }
1708
1709   # If it is encrypted and the private key is not availaible then we can't
1710   # check the credit card.
1711
1712   my $check_payinfo = 1;
1713
1714   if ($self->is_encrypted($self->payinfo)) {
1715     $check_payinfo = 0;
1716   }
1717
1718   if ( $check_payinfo && $self->payby =~ /^(CARD|DCRD)$/ ) {
1719
1720     my $payinfo = $self->payinfo;
1721     $payinfo =~ s/\D//g;
1722     $payinfo =~ /^(\d{13,16})$/
1723       or return gettext('invalid_card'); # . ": ". $self->payinfo;
1724     $payinfo = $1;
1725     $self->payinfo($payinfo);
1726     validate($payinfo)
1727       or return gettext('invalid_card'); # . ": ". $self->payinfo;
1728
1729     return gettext('unknown_card_type')
1730       if cardtype($self->payinfo) eq "Unknown";
1731
1732     my $ban = qsearchs('banned_pay', $self->_banned_pay_hashref);
1733     if ( $ban ) {
1734       return 'Banned credit card: banned on '.
1735              time2str('%a %h %o at %r', $ban->_date).
1736              ' by '. $ban->otaker.
1737              ' (ban# '. $ban->bannum. ')';
1738     }
1739
1740     if (length($self->paycvv) && !$self->is_encrypted($self->paycvv)) {
1741       if ( cardtype($self->payinfo) eq 'American Express card' ) {
1742         $self->paycvv =~ /^(\d{4})$/
1743           or return "CVV2 (CID) for American Express cards is four digits.";
1744         $self->paycvv($1);
1745       } else {
1746         $self->paycvv =~ /^(\d{3})$/
1747           or return "CVV2 (CVC2/CID) is three digits.";
1748         $self->paycvv($1);
1749       }
1750     } else {
1751       $self->paycvv('');
1752     }
1753
1754     my $cardtype = cardtype($payinfo);
1755     if ( $cardtype =~ /^(Switch|Solo)$/i ) {
1756
1757       return "Start date or issue number is required for $cardtype cards"
1758         unless $self->paystart_month && $self->paystart_year or $self->payissue;
1759
1760       return "Start month must be between 1 and 12"
1761         if $self->paystart_month
1762            and $self->paystart_month < 1 || $self->paystart_month > 12;
1763
1764       return "Start year must be 1990 or later"
1765         if $self->paystart_year
1766            and $self->paystart_year < 1990;
1767
1768       return "Issue number must be beween 1 and 99"
1769         if $self->payissue
1770           and $self->payissue < 1 || $self->payissue > 99;
1771
1772     } else {
1773       $self->paystart_month('');
1774       $self->paystart_year('');
1775       $self->payissue('');
1776     }
1777
1778   } elsif ( $check_payinfo && $self->payby =~ /^(CHEK|DCHK)$/ ) {
1779
1780     my $payinfo = $self->payinfo;
1781     $payinfo =~ s/[^\d\@]//g;
1782     if ( $conf->exists('echeck-nonus') ) {
1783       $payinfo =~ /^(\d+)\@(\d+)$/ or return 'invalid echeck account@aba';
1784       $payinfo = "$1\@$2";
1785     } else {
1786       $payinfo =~ /^(\d+)\@(\d{9})$/ or return 'invalid echeck account@aba';
1787       $payinfo = "$1\@$2";
1788     }
1789     $self->payinfo($payinfo);
1790     $self->paycvv('');
1791
1792     my $ban = qsearchs('banned_pay', $self->_banned_pay_hashref);
1793     if ( $ban ) {
1794       return 'Banned ACH account: banned on '.
1795              time2str('%a %h %o at %r', $ban->_date).
1796              ' by '. $ban->otaker.
1797              ' (ban# '. $ban->bannum. ')';
1798     }
1799
1800   } elsif ( $self->payby eq 'LECB' ) {
1801
1802     my $payinfo = $self->payinfo;
1803     $payinfo =~ s/\D//g;
1804     $payinfo =~ /^1?(\d{10})$/ or return 'invalid btn billing telephone number';
1805     $payinfo = $1;
1806     $self->payinfo($payinfo);
1807     $self->paycvv('');
1808
1809   } elsif ( $self->payby eq 'BILL' ) {
1810
1811     $error = $self->ut_textn('payinfo');
1812     return "Illegal P.O. number: ". $self->payinfo if $error;
1813     $self->paycvv('');
1814
1815   } elsif ( $self->payby eq 'COMP' ) {
1816
1817     my $curuser = $FS::CurrentUser::CurrentUser;
1818     if (    ! $self->custnum
1819          && ! $curuser->access_right('Complimentary customer')
1820        )
1821     {
1822       return "You are not permitted to create complimentary accounts."
1823     }
1824
1825     $error = $self->ut_textn('payinfo');
1826     return "Illegal comp account issuer: ". $self->payinfo if $error;
1827     $self->paycvv('');
1828
1829   } elsif ( $self->payby eq 'PREPAY' ) {
1830
1831     my $payinfo = $self->payinfo;
1832     $payinfo =~ s/\W//g; #anything else would just confuse things
1833     $self->payinfo($payinfo);
1834     $error = $self->ut_alpha('payinfo');
1835     return "Illegal prepayment identifier: ". $self->payinfo if $error;
1836     return "Unknown prepayment identifier"
1837       unless qsearchs('prepay_credit', { 'identifier' => $self->payinfo } );
1838     $self->paycvv('');
1839
1840   }
1841
1842   if ( $self->paydate eq '' || $self->paydate eq '-' ) {
1843     return "Expiration date required"
1844       unless $self->payby =~ /^(BILL|PREPAY|CHEK|DCHK|LECB|CASH|WEST|MCRD)$/;
1845     $self->paydate('');
1846   } else {
1847     my( $m, $y );
1848     if ( $self->paydate =~ /^(\d{1,2})[\/\-](\d{2}(\d{2})?)$/ ) {
1849       ( $m, $y ) = ( $1, length($2) == 4 ? $2 : "20$2" );
1850     } elsif ( $self->paydate =~ /^19(\d{2})[\/\-](\d{1,2})[\/\-]\d+$/ ) {
1851       ( $m, $y ) = ( $2, "19$1" );
1852     } elsif ( $self->paydate =~ /^(20)?(\d{2})[\/\-](\d{1,2})[\/\-]\d+$/ ) {
1853       ( $m, $y ) = ( $3, "20$2" );
1854     } else {
1855       return "Illegal expiration date: ". $self->paydate;
1856     }
1857     $self->paydate("$y-$m-01");
1858     my($nowm,$nowy)=(localtime(time))[4,5]; $nowm++; $nowy+=1900;
1859     return gettext('expired_card')
1860       if !$import
1861       && !$ignore_expired_card 
1862       && ( $y<$nowy || ( $y==$nowy && $1<$nowm ) );
1863   }
1864
1865   if ( $self->payname eq '' && $self->payby !~ /^(CHEK|DCHK)$/ &&
1866        ( ! $conf->exists('require_cardname')
1867          || $self->payby !~ /^(CARD|DCRD)$/  ) 
1868   ) {
1869     $self->payname( $self->first. " ". $self->getfield('last') );
1870   } else {
1871     $self->payname =~ /^([\w \,\.\-\'\&]+)$/
1872       or return gettext('illegal_name'). " payname: ". $self->payname;
1873     $self->payname($1);
1874   }
1875
1876   foreach my $flag (qw( tax spool_cdr squelch_cdr archived email_csv_cdr )) {
1877     $self->$flag() =~ /^(Y?)$/ or return "Illegal $flag: ". $self->$flag();
1878     $self->$flag($1);
1879   }
1880
1881   $self->otaker(getotaker) unless $self->otaker;
1882
1883   warn "$me check AFTER: \n". $self->_dump
1884     if $DEBUG > 2;
1885
1886   $self->SUPER::check;
1887 }
1888
1889 =item addr_fields 
1890
1891 Returns a list of fields which have ship_ duplicates.
1892
1893 =cut
1894
1895 sub addr_fields {
1896   qw( last first company
1897       address1 address2 city county state zip country
1898       daytime night fax
1899     );
1900 }
1901
1902 =item has_ship_address
1903
1904 Returns true if this customer record has a separate shipping address.
1905
1906 =cut
1907
1908 sub has_ship_address {
1909   my $self = shift;
1910   scalar( grep { $self->getfield("ship_$_") ne '' } $self->addr_fields );
1911 }
1912
1913 =item location_hash
1914
1915 Returns a list of key/value pairs, with the following keys: address1, adddress2,
1916 city, county, state, zip, country.  The shipping address is used if present.
1917
1918 =cut
1919
1920 #geocode?  dependent on tax-ship_address config, not available in cust_location
1921 #mostly.  not yet then.
1922
1923 sub location_hash {
1924   my $self = shift;
1925   my $prefix = $self->has_ship_address ? 'ship_' : '';
1926
1927   map { $_ => $self->get($prefix.$_) }
1928       qw( address1 address2 city county state zip country geocode );
1929       #fields that cust_location has
1930 }
1931
1932 =item all_pkgs [ EXTRA_QSEARCH_PARAMS_HASHREF ]
1933
1934 Returns all packages (see L<FS::cust_pkg>) for this customer.
1935
1936 =cut
1937
1938 sub all_pkgs {
1939   my $self = shift;
1940   my $extra_qsearch = ref($_[0]) ? shift : {};
1941
1942   return $self->num_pkgs unless wantarray || keys(%$extra_qsearch);
1943
1944   my @cust_pkg = ();
1945   if ( $self->{'_pkgnum'} ) {
1946     @cust_pkg = values %{ $self->{'_pkgnum'}->cache };
1947   } else {
1948     @cust_pkg = $self->_cust_pkg($extra_qsearch);
1949   }
1950
1951   sort sort_packages @cust_pkg;
1952 }
1953
1954 =item cust_pkg
1955
1956 Synonym for B<all_pkgs>.
1957
1958 =cut
1959
1960 sub cust_pkg {
1961   shift->all_pkgs(@_);
1962 }
1963
1964 =item cust_location
1965
1966 Returns all locations (see L<FS::cust_location>) for this customer.
1967
1968 =cut
1969
1970 sub cust_location {
1971   my $self = shift;
1972   qsearch('cust_location', { 'custnum' => $self->custnum } );
1973 }
1974
1975 =item location_label [ OPTION => VALUE ... ]
1976
1977 Returns the label of the service location (see analog in L<FS::cust_location>) for this customer.
1978
1979 Options are
1980
1981 =over 4
1982
1983 =item join_string
1984
1985 used to separate the address elements (defaults to ', ')
1986
1987 =item escape_function
1988
1989 a callback used for escaping the text of the address elements
1990
1991 =back
1992
1993 =cut
1994
1995 # false laziness with FS::cust_location::line
1996
1997 sub location_label {
1998   my $self = shift;
1999   my %opt = @_;
2000
2001   my $separator = $opt{join_string} || ', ';
2002   my $escape = $opt{escape_function} || sub{ shift };
2003   my $line = '';
2004   my $cydefault = FS::conf->new->config('countrydefault') || 'US';
2005   my $prefix = length($self->ship_last) ? 'ship_' : '';
2006
2007   my $notfirst = 0;
2008   foreach (qw ( address1 address2 ) ) {
2009     my $method = "$prefix$_";
2010     $line .= ($notfirst ? $separator : ''). &$escape($self->$method)
2011       if $self->$method;
2012     $notfirst++;
2013   }
2014   $notfirst = 0;
2015   foreach (qw ( city county state zip ) ) {
2016     my $method = "$prefix$_";
2017     if ( $self->$method ) {
2018       $line .= ' (' if $method eq 'county';
2019       $line .= ($notfirst ? ' ' : $separator). &$escape($self->$method);
2020       $line .= ' )' if $method eq 'county';
2021       $notfirst++;
2022     }
2023   }
2024   $line .= $separator. &$escape(code2country($self->country))
2025     if $self->country ne $cydefault;
2026
2027   $line;
2028 }
2029
2030 =item ncancelled_pkgs [ EXTRA_QSEARCH_PARAMS_HASHREF ]
2031
2032 Returns all non-cancelled packages (see L<FS::cust_pkg>) for this customer.
2033
2034 =cut
2035
2036 sub ncancelled_pkgs {
2037   my $self = shift;
2038   my $extra_qsearch = ref($_[0]) ? shift : {};
2039
2040   return $self->num_ncancelled_pkgs unless wantarray;
2041
2042   my @cust_pkg = ();
2043   if ( $self->{'_pkgnum'} ) {
2044
2045     warn "$me ncancelled_pkgs: returning cached objects"
2046       if $DEBUG > 1;
2047
2048     @cust_pkg = grep { ! $_->getfield('cancel') }
2049                 values %{ $self->{'_pkgnum'}->cache };
2050
2051   } else {
2052
2053     warn "$me ncancelled_pkgs: searching for packages with custnum ".
2054          $self->custnum. "\n"
2055       if $DEBUG > 1;
2056
2057     $extra_qsearch->{'extra_sql'} .= ' AND ( cancel IS NULL OR cancel = 0 ) ';
2058
2059     @cust_pkg = $self->_cust_pkg($extra_qsearch);
2060
2061   }
2062
2063   sort sort_packages @cust_pkg;
2064
2065 }
2066
2067 sub _cust_pkg {
2068   my $self = shift;
2069   my $extra_qsearch = ref($_[0]) ? shift : {};
2070
2071   $extra_qsearch->{'select'} ||= '*';
2072   $extra_qsearch->{'select'} .=
2073    ',( SELECT COUNT(*) FROM cust_svc WHERE cust_pkg.pkgnum = cust_svc.pkgnum )
2074      AS _num_cust_svc';
2075
2076   map {
2077         $_->{'_num_cust_svc'} = $_->get('_num_cust_svc');
2078         $_;
2079       }
2080   qsearch({
2081     %$extra_qsearch,
2082     'table'   => 'cust_pkg',
2083     'hashref' => { 'custnum' => $self->custnum },
2084   });
2085
2086 }
2087
2088 # This should be generalized to use config options to determine order.
2089 sub sort_packages {
2090   
2091   my $locationsort = ( $a->locationnum || 0 ) <=> ( $b->locationnum || 0 );
2092   return $locationsort if $locationsort;
2093
2094   if ( $a->get('cancel') xor $b->get('cancel') ) {
2095     return -1 if $b->get('cancel');
2096     return  1 if $a->get('cancel');
2097     #shouldn't get here...
2098     return 0;
2099   } else {
2100     my $a_num_cust_svc = $a->num_cust_svc;
2101     my $b_num_cust_svc = $b->num_cust_svc;
2102     return 0  if !$a_num_cust_svc && !$b_num_cust_svc;
2103     return -1 if  $a_num_cust_svc && !$b_num_cust_svc;
2104     return 1  if !$a_num_cust_svc &&  $b_num_cust_svc;
2105     my @a_cust_svc = $a->cust_svc;
2106     my @b_cust_svc = $b->cust_svc;
2107     $a_cust_svc[0]->svc_x->label cmp $b_cust_svc[0]->svc_x->label;
2108   }
2109
2110 }
2111
2112 =item suspended_pkgs
2113
2114 Returns all suspended packages (see L<FS::cust_pkg>) for this customer.
2115
2116 =cut
2117
2118 sub suspended_pkgs {
2119   my $self = shift;
2120   grep { $_->susp } $self->ncancelled_pkgs;
2121 }
2122
2123 =item unflagged_suspended_pkgs
2124
2125 Returns all unflagged suspended packages (see L<FS::cust_pkg>) for this
2126 customer (thouse packages without the `manual_flag' set).
2127
2128 =cut
2129
2130 sub unflagged_suspended_pkgs {
2131   my $self = shift;
2132   return $self->suspended_pkgs
2133     unless dbdef->table('cust_pkg')->column('manual_flag');
2134   grep { ! $_->manual_flag } $self->suspended_pkgs;
2135 }
2136
2137 =item unsuspended_pkgs
2138
2139 Returns all unsuspended (and uncancelled) packages (see L<FS::cust_pkg>) for
2140 this customer.
2141
2142 =cut
2143
2144 sub unsuspended_pkgs {
2145   my $self = shift;
2146   grep { ! $_->susp } $self->ncancelled_pkgs;
2147 }
2148
2149 =item next_bill_date
2150
2151 Returns the next date this customer will be billed, as a UNIX timestamp, or
2152 undef if no active package has a next bill date.
2153
2154 =cut
2155
2156 sub next_bill_date {
2157   my $self = shift;
2158   min( map $_->get('bill'), grep $_->get('bill'), $self->unsuspended_pkgs );
2159 }
2160
2161 =item num_cancelled_pkgs
2162
2163 Returns the number of cancelled packages (see L<FS::cust_pkg>) for this
2164 customer.
2165
2166 =cut
2167
2168 sub num_cancelled_pkgs {
2169   shift->num_pkgs("cust_pkg.cancel IS NOT NULL AND cust_pkg.cancel != 0");
2170 }
2171
2172 sub num_ncancelled_pkgs {
2173   shift->num_pkgs("( cust_pkg.cancel IS NULL OR cust_pkg.cancel = 0 )");
2174 }
2175
2176 sub num_pkgs {
2177   my( $self ) = shift;
2178   my $sql = scalar(@_) ? shift : '';
2179   $sql = "AND $sql" if $sql && $sql !~ /^\s*$/ && $sql !~ /^\s*AND/i;
2180   my $sth = dbh->prepare(
2181     "SELECT COUNT(*) FROM cust_pkg WHERE custnum = ? $sql"
2182   ) or die dbh->errstr;
2183   $sth->execute($self->custnum) or die $sth->errstr;
2184   $sth->fetchrow_arrayref->[0];
2185 }
2186
2187 =item unsuspend
2188
2189 Unsuspends all unflagged suspended packages (see L</unflagged_suspended_pkgs>
2190 and L<FS::cust_pkg>) for this customer.  Always returns a list: an empty list
2191 on success or a list of errors.
2192
2193 =cut
2194
2195 sub unsuspend {
2196   my $self = shift;
2197   grep { $_->unsuspend } $self->suspended_pkgs;
2198 }
2199
2200 =item suspend
2201
2202 Suspends all unsuspended packages (see L<FS::cust_pkg>) for this customer.
2203
2204 Returns a list: an empty list on success or a list of errors.
2205
2206 =cut
2207
2208 sub suspend {
2209   my $self = shift;
2210   grep { $_->suspend(@_) } $self->unsuspended_pkgs;
2211 }
2212
2213 =item suspend_if_pkgpart HASHREF | PKGPART [ , PKGPART ... ]
2214
2215 Suspends all unsuspended packages (see L<FS::cust_pkg>) matching the listed
2216 PKGPARTs (see L<FS::part_pkg>).  Preferred usage is to pass a hashref instead
2217 of a list of pkgparts; the hashref has the following keys:
2218
2219 =over 4
2220
2221 =item pkgparts - listref of pkgparts
2222
2223 =item (other options are passed to the suspend method)
2224
2225 =back
2226
2227
2228 Returns a list: an empty list on success or a list of errors.
2229
2230 =cut
2231
2232 sub suspend_if_pkgpart {
2233   my $self = shift;
2234   my (@pkgparts, %opt);
2235   if (ref($_[0]) eq 'HASH'){
2236     @pkgparts = @{$_[0]{pkgparts}};
2237     %opt      = %{$_[0]};
2238   }else{
2239     @pkgparts = @_;
2240   }
2241   grep { $_->suspend(%opt) }
2242     grep { my $pkgpart = $_->pkgpart; grep { $pkgpart eq $_ } @pkgparts }
2243       $self->unsuspended_pkgs;
2244 }
2245
2246 =item suspend_unless_pkgpart HASHREF | PKGPART [ , PKGPART ... ]
2247
2248 Suspends all unsuspended packages (see L<FS::cust_pkg>) unless they match the
2249 given PKGPARTs (see L<FS::part_pkg>).  Preferred usage is to pass a hashref
2250 instead of a list of pkgparts; the hashref has the following keys:
2251
2252 =over 4
2253
2254 =item pkgparts - listref of pkgparts
2255
2256 =item (other options are passed to the suspend method)
2257
2258 =back
2259
2260 Returns a list: an empty list on success or a list of errors.
2261
2262 =cut
2263
2264 sub suspend_unless_pkgpart {
2265   my $self = shift;
2266   my (@pkgparts, %opt);
2267   if (ref($_[0]) eq 'HASH'){
2268     @pkgparts = @{$_[0]{pkgparts}};
2269     %opt      = %{$_[0]};
2270   }else{
2271     @pkgparts = @_;
2272   }
2273   grep { $_->suspend(%opt) }
2274     grep { my $pkgpart = $_->pkgpart; ! grep { $pkgpart eq $_ } @pkgparts }
2275       $self->unsuspended_pkgs;
2276 }
2277
2278 =item cancel [ OPTION => VALUE ... ]
2279
2280 Cancels all uncancelled packages (see L<FS::cust_pkg>) for this customer.
2281
2282 Available options are:
2283
2284 =over 4
2285
2286 =item quiet - can be set true to supress email cancellation notices.
2287
2288 =item reason - can be set to a cancellation reason (see L<FS:reason>), either a reasonnum of an existing reason, or passing a hashref will create a new reason.  The hashref should have the following keys: typenum - Reason type (see L<FS::reason_type>, reason - Text of the new reason.
2289
2290 =item ban - can be set true to ban this customer's credit card or ACH information, if present.
2291
2292 =item nobill - can be set true to skip billing if it might otherwise be done.
2293
2294 =back
2295
2296 Always returns a list: an empty list on success or a list of errors.
2297
2298 =cut
2299
2300 # nb that dates are not specified as valid options to this method
2301
2302 sub cancel {
2303   my( $self, %opt ) = @_;
2304
2305   warn "$me cancel called on customer ". $self->custnum. " with options ".
2306        join(', ', map { "$_: $opt{$_}" } keys %opt ). "\n"
2307     if $DEBUG;
2308
2309   return ( 'access denied' )
2310     unless $FS::CurrentUser::CurrentUser->access_right('Cancel customer');
2311
2312   if ( $opt{'ban'} && $self->payby =~ /^(CARD|DCRD|CHEK|DCHK)$/ ) {
2313
2314     #should try decryption (we might have the private key)
2315     # and if not maybe queue a job for the server that does?
2316     return ( "Can't (yet) ban encrypted credit cards" )
2317       if $self->is_encrypted($self->payinfo);
2318
2319     my $ban = new FS::banned_pay $self->_banned_pay_hashref;
2320     my $error = $ban->insert;
2321     return ( $error ) if $error;
2322
2323   }
2324
2325   my @pkgs = $self->ncancelled_pkgs;
2326
2327   if ( !$opt{nobill} && $conf->exists('bill_usage_on_cancel') ) {
2328     $opt{nobill} = 1;
2329     my $error = $self->bill( pkg_list => [ @pkgs ], cancel => 1 );
2330     warn "Error billing during cancel, custnum ". $self->custnum. ": $error"
2331       if $error;
2332   }
2333
2334   warn "$me cancelling ". scalar($self->ncancelled_pkgs). "/".
2335        scalar(@pkgs). " packages for customer ". $self->custnum. "\n"
2336     if $DEBUG;
2337
2338   grep { $_ } map { $_->cancel(%opt) } $self->ncancelled_pkgs;
2339 }
2340
2341 sub _banned_pay_hashref {
2342   my $self = shift;
2343
2344   my %payby2ban = (
2345     'CARD' => 'CARD',
2346     'DCRD' => 'CARD',
2347     'CHEK' => 'CHEK',
2348     'DCHK' => 'CHEK'
2349   );
2350
2351   {
2352     'payby'   => $payby2ban{$self->payby},
2353     'payinfo' => md5_base64($self->payinfo),
2354     #don't ever *search* on reason! #'reason'  =>
2355   };
2356 }
2357
2358 =item notes
2359
2360 Returns all notes (see L<FS::cust_main_note>) for this customer.
2361
2362 =cut
2363
2364 sub notes {
2365   my $self = shift;
2366   #order by?
2367   qsearch( 'cust_main_note',
2368            { 'custnum' => $self->custnum },
2369            '',
2370            'ORDER BY _DATE DESC'
2371          );
2372 }
2373
2374 =item agent
2375
2376 Returns the agent (see L<FS::agent>) for this customer.
2377
2378 =cut
2379
2380 sub agent {
2381   my $self = shift;
2382   qsearchs( 'agent', { 'agentnum' => $self->agentnum } );
2383 }
2384
2385 =item bill_and_collect 
2386
2387 Cancels and suspends any packages due, generates bills, applies payments and
2388 credits, and applies collection events to run cards, send bills and notices,
2389 etc.
2390
2391 By default, warns on errors and continues with the next operation (but see the
2392 "fatal" flag below).
2393
2394 Options are passed as name-value pairs.  Currently available options are:
2395
2396 =over 4
2397
2398 =item time
2399
2400 Bills the customer as if it were that time.  Specified as a UNIX timestamp; see L<perlfunc/"time">).  Also see L<Time::Local> and L<Date::Parse> for conversion functions.  For example:
2401
2402  use Date::Parse;
2403  ...
2404  $cust_main->bill( 'time' => str2time('April 20th, 2001') );
2405
2406 =item invoice_time
2407
2408 Used in conjunction with the I<time> option, this option specifies the date of for the generated invoices.  Other calculations, such as whether or not to generate the invoice in the first place, are not affected.
2409
2410 =item check_freq
2411
2412 "1d" for the traditional, daily events (the default), or "1m" for the new monthly events (part_event.check_freq)
2413
2414 =item resetup
2415
2416 If set true, re-charges setup fees.
2417
2418 =item fatal
2419
2420 If set any errors prevent subsequent operations from continusing.  If set
2421 specifically to "return", returns the error (or false, if there is no error).
2422 Any other true value causes errors to die.
2423
2424 =item debug
2425
2426 Debugging level.  Default is 0 (no debugging), or can be set to 1 (passed-in options), 2 (traces progress), 3 (more information), or 4 (include full search queries)
2427
2428 =back
2429
2430 Options are passed to the B<bill> and B<collect> methods verbatim, so all
2431 options of those methods are also available.
2432
2433 =cut
2434
2435 sub bill_and_collect {
2436   my( $self, %options ) = @_;
2437
2438   my $error;
2439
2440   #$options{actual_time} not $options{time} because freeside-daily -d is for
2441   #pre-printing invoices
2442
2443   $options{'actual_time'} ||= time;
2444
2445   $error = $self->cancel_expired_pkgs( $options{actual_time} );
2446   if ( $error ) {
2447     $error = "Error expiring custnum ". $self->custnum. ": $error";
2448     if    ( $options{fatal} && $options{fatal} eq 'return' ) { return $error; }
2449     elsif ( $options{fatal}                                ) { die    $error; }
2450     else                                                     { warn   $error; }
2451   }
2452
2453   $error = $self->suspend_adjourned_pkgs( $options{actual_time} );
2454   if ( $error ) {
2455     $error = "Error adjourning custnum ". $self->custnum. ": $error";
2456     if    ( $options{fatal} && $options{fatal} eq 'return' ) { return $error; }
2457     elsif ( $options{fatal}                                ) { die    $error; }
2458     else                                                     { warn   $error; }
2459   }
2460
2461   $error = $self->bill( %options );
2462   if ( $error ) {
2463     $error = "Error billing custnum ". $self->custnum. ": $error";
2464     if    ( $options{fatal} && $options{fatal} eq 'return' ) { return $error; }
2465     elsif ( $options{fatal}                                ) { die    $error; }
2466     else                                                     { warn   $error; }
2467   }
2468
2469   $error = $self->apply_payments_and_credits;
2470   if ( $error ) {
2471     $error = "Error applying custnum ". $self->custnum. ": $error";
2472     if    ( $options{fatal} && $options{fatal} eq 'return' ) { return $error; }
2473     elsif ( $options{fatal}                                ) { die    $error; }
2474     else                                                     { warn   $error; }
2475   }
2476
2477   unless ( $conf->exists('cancelled_cust-noevents')
2478            && ! $self->num_ncancelled_pkgs
2479   ) {
2480     $error = $self->collect( %options );
2481     if ( $error ) {
2482       $error = "Error collecting custnum ". $self->custnum. ": $error";
2483       if    ($options{fatal} && $options{fatal} eq 'return') { return $error; }
2484       elsif ($options{fatal}                               ) { die    $error; }
2485       else                                                   { warn   $error; }
2486     }
2487   }
2488
2489   '';
2490
2491 }
2492
2493 sub cancel_expired_pkgs {
2494   my ( $self, $time, %options ) = @_;
2495
2496   my @cancel_pkgs = $self->ncancelled_pkgs( { 
2497     'extra_sql' => " AND expire IS NOT NULL AND expire > 0 AND expire <= $time "
2498   } );
2499
2500   my @errors = ();
2501
2502   foreach my $cust_pkg ( @cancel_pkgs ) {
2503     my $cpr = $cust_pkg->last_cust_pkg_reason('expire');
2504     my $error = $cust_pkg->cancel($cpr ? ( 'reason'        => $cpr->reasonnum,
2505                                            'reason_otaker' => $cpr->otaker
2506                                          )
2507                                        : ()
2508                                  );
2509     push @errors, 'pkgnum '.$cust_pkg->pkgnum.": $error" if $error;
2510   }
2511
2512   scalar(@errors) ? join(' / ', @errors) : '';
2513
2514 }
2515
2516 sub suspend_adjourned_pkgs {
2517   my ( $self, $time, %options ) = @_;
2518
2519   my @susp_pkgs = $self->ncancelled_pkgs( {
2520     'extra_sql' =>
2521       " AND ( susp IS NULL OR susp = 0 )
2522         AND (    ( bill    IS NOT NULL AND bill    != 0 AND bill    <  $time )
2523               OR ( adjourn IS NOT NULL AND adjourn != 0 AND adjourn <= $time )
2524             )
2525       ",
2526   } );
2527
2528   #only because there's no SQL test for is_prepaid :/
2529   @susp_pkgs = 
2530     grep {     (    $_->part_pkg->is_prepaid
2531                  && $_->bill
2532                  && $_->bill < $time
2533                )
2534             || (    $_->adjourn
2535                  && $_->adjourn <= $time
2536                )
2537            
2538          }
2539          @susp_pkgs;
2540
2541   my @errors = ();
2542
2543   foreach my $cust_pkg ( @susp_pkgs ) {
2544     my $cpr = $cust_pkg->last_cust_pkg_reason('adjourn')
2545       if ($cust_pkg->adjourn && $cust_pkg->adjourn < $^T);
2546     my $error = $cust_pkg->suspend($cpr ? ( 'reason' => $cpr->reasonnum,
2547                                             'reason_otaker' => $cpr->otaker
2548                                           )
2549                                         : ()
2550                                   );
2551     push @errors, 'pkgnum '.$cust_pkg->pkgnum.": $error" if $error;
2552   }
2553
2554   scalar(@errors) ? join(' / ', @errors) : '';
2555
2556 }
2557
2558 =item bill OPTIONS
2559
2560 Generates invoices (see L<FS::cust_bill>) for this customer.  Usually used in
2561 conjunction with the collect method by calling B<bill_and_collect>.
2562
2563 If there is an error, returns the error, otherwise returns false.
2564
2565 Options are passed as name-value pairs.  Currently available options are:
2566
2567 =over 4
2568
2569 =item resetup
2570
2571 If set true, re-charges setup fees.
2572
2573 =item time
2574
2575 Bills the customer as if it were that time.  Specified as a UNIX timestamp; see L<perlfunc/"time">).  Also see L<Time::Local> and L<Date::Parse> for conversion functions.  For example:
2576
2577  use Date::Parse;
2578  ...
2579  $cust_main->bill( 'time' => str2time('April 20th, 2001') );
2580
2581 =item pkg_list
2582
2583 An array ref of specific packages (objects) to attempt billing, instead trying all of them.
2584
2585  $cust_main->bill( pkg_list => [$pkg1, $pkg2] );
2586
2587 =item not_pkgpart
2588
2589 A hashref of pkgparts to exclude from this billing run (can also be specified as a comma-separated scalar).
2590
2591 =item invoice_time
2592
2593 Used in conjunction with the I<time> option, this option specifies the date of for the generated invoices.  Other calculations, such as whether or not to generate the invoice in the first place, are not affected.
2594
2595 =item cancel
2596
2597 This boolean value informs the us that the package is being cancelled.  This
2598 typically might mean not charging the normal recurring fee but only usage
2599 fees since the last billing. Setup charges may be charged.  Not all package
2600 plans support this feature (they tend to charge 0).
2601
2602 =item invoice_terms
2603
2604 Optional terms to be printed on this invoice.  Otherwise, customer-specific
2605 terms or the default terms are used.
2606
2607 =back
2608
2609 =cut
2610
2611 sub bill {
2612   my( $self, %options ) = @_;
2613   return '' if $self->payby eq 'COMP';
2614   warn "$me bill customer ". $self->custnum. "\n"
2615     if $DEBUG;
2616
2617   my $time = $options{'time'} || time;
2618   my $invoice_time = $options{'invoice_time'} || $time;
2619
2620   $options{'not_pkgpart'} ||= {};
2621   $options{'not_pkgpart'} = { map { $_ => 1 }
2622                                   split(/\s*,\s*/, $options{'not_pkgpart'})
2623                             }
2624     unless ref($options{'not_pkgpart'});
2625
2626   local $SIG{HUP} = 'IGNORE';
2627   local $SIG{INT} = 'IGNORE';
2628   local $SIG{QUIT} = 'IGNORE';
2629   local $SIG{TERM} = 'IGNORE';
2630   local $SIG{TSTP} = 'IGNORE';
2631   local $SIG{PIPE} = 'IGNORE';
2632
2633   my $oldAutoCommit = $FS::UID::AutoCommit;
2634   local $FS::UID::AutoCommit = 0;
2635   my $dbh = dbh;
2636
2637   $self->select_for_update; #mutex
2638
2639   my $error = $self->do_cust_event(
2640     'debug'      => ( $options{'debug'} || 0 ),
2641     'time'       => $invoice_time,
2642     'check_freq' => $options{'check_freq'},
2643     'stage'      => 'pre-bill',
2644   );
2645   if ( $error ) {
2646     $dbh->rollback if $oldAutoCommit;
2647     return $error;
2648   }
2649
2650   my @cust_bill_pkg = ();
2651
2652   ###
2653   # find the packages which are due for billing, find out how much they are
2654   # & generate invoice database.
2655   ###
2656
2657   my( $total_setup, $total_recur, $postal_charge ) = ( 0, 0, 0 );
2658   my %taxlisthash;
2659   my @precommit_hooks = ();
2660
2661   $options{'pkg_list'} ||= [ $self->ncancelled_pkgs ];  #param checks?
2662   foreach my $cust_pkg ( @{ $options{'pkg_list'} } ) {
2663
2664     next if $options{'not_pkgpart'}->{$cust_pkg->pkgpart};
2665
2666     warn "  bill package ". $cust_pkg->pkgnum. "\n" if $DEBUG > 1;
2667
2668     #? to avoid use of uninitialized value errors... ?
2669     $cust_pkg->setfield('bill', '')
2670       unless defined($cust_pkg->bill);
2671  
2672     #my $part_pkg = $cust_pkg->part_pkg;
2673
2674     my $real_pkgpart = $cust_pkg->pkgpart;
2675     my %hash = $cust_pkg->hash;
2676
2677     foreach my $part_pkg ( $cust_pkg->part_pkg->self_and_bill_linked ) {
2678
2679       $cust_pkg->set($_, $hash{$_}) foreach qw ( setup last_bill bill );
2680
2681       my $error =
2682         $self->_make_lines( 'part_pkg'            => $part_pkg,
2683                             'cust_pkg'            => $cust_pkg,
2684                             'precommit_hooks'     => \@precommit_hooks,
2685                             'line_items'          => \@cust_bill_pkg,
2686                             'setup'               => \$total_setup,
2687                             'recur'               => \$total_recur,
2688                             'tax_matrix'          => \%taxlisthash,
2689                             'time'                => $time,
2690                             'real_pkgpart'        => $real_pkgpart,
2691                             'options'             => \%options,
2692                           );
2693       if ($error) {
2694         $dbh->rollback if $oldAutoCommit;
2695         return $error;
2696       }
2697
2698     } #foreach my $part_pkg
2699
2700   } #foreach my $cust_pkg
2701
2702   unless ( @cust_bill_pkg ) { #don't create an invoice w/o line items
2703     #but do commit any package date cycling that happened
2704     $dbh->commit or die $dbh->errstr if $oldAutoCommit;
2705     return '';
2706   }
2707
2708   if ( scalar( grep { $_->recur && $_->recur > 0 } @cust_bill_pkg) ||
2709          !$conf->exists('postal_invoice-recurring_only')
2710      )
2711   {
2712
2713     my $postal_pkg = $self->charge_postal_fee();
2714     if ( $postal_pkg && !ref( $postal_pkg ) ) {
2715
2716       $dbh->rollback if $oldAutoCommit;
2717       return "can't charge postal invoice fee for customer ".
2718         $self->custnum. ": $postal_pkg";
2719
2720     } elsif ( $postal_pkg ) {
2721
2722       my $real_pkgpart = $postal_pkg->pkgpart;
2723       foreach my $part_pkg ( $postal_pkg->part_pkg->self_and_bill_linked ) {
2724         my %postal_options = %options;
2725         delete $postal_options{cancel};
2726         my $error =
2727           $self->_make_lines( 'part_pkg'            => $part_pkg,
2728                               'cust_pkg'            => $postal_pkg,
2729                               'precommit_hooks'     => \@precommit_hooks,
2730                               'line_items'          => \@cust_bill_pkg,
2731                               'setup'               => \$total_setup,
2732                               'recur'               => \$total_recur,
2733                               'tax_matrix'          => \%taxlisthash,
2734                               'time'                => $time,
2735                               'real_pkgpart'        => $real_pkgpart,
2736                               'options'             => \%postal_options,
2737                             );
2738         if ($error) {
2739           $dbh->rollback if $oldAutoCommit;
2740           return $error;
2741         }
2742       }
2743
2744     }
2745
2746   }
2747
2748   warn "having a look at the taxes we found...\n" if $DEBUG > 2;
2749
2750   # keys are tax names (as printed on invoices / itemdesc )
2751   # values are listrefs of taxlisthash keys (internal identifiers)
2752   my %taxname = ();
2753
2754   # keys are taxlisthash keys (internal identifiers)
2755   # values are (cumulative) amounts
2756   my %tax = ();
2757
2758   # keys are taxlisthash keys (internal identifiers)
2759   # values are listrefs of cust_bill_pkg_tax_location hashrefs
2760   my %tax_location = ();
2761
2762   # keys are taxlisthash keys (internal identifiers)
2763   # values are listrefs of cust_bill_pkg_tax_rate_location hashrefs
2764   my %tax_rate_location = ();
2765
2766   foreach my $tax ( keys %taxlisthash ) {
2767     my $tax_object = shift @{ $taxlisthash{$tax} };
2768     warn "found ". $tax_object->taxname. " as $tax\n" if $DEBUG > 2;
2769     warn " ". join('/', @{ $taxlisthash{$tax} } ). "\n" if $DEBUG > 2;
2770     my $hashref_or_error =
2771       $tax_object->taxline( $taxlisthash{$tax},
2772                             'custnum'      => $self->custnum,
2773                             'invoice_time' => $invoice_time
2774                           );
2775     unless ( ref($hashref_or_error) ) {
2776       $dbh->rollback if $oldAutoCommit;
2777       return $hashref_or_error;
2778     }
2779     unshift @{ $taxlisthash{$tax} }, $tax_object;
2780
2781     my $name   = $hashref_or_error->{'name'};
2782     my $amount = $hashref_or_error->{'amount'};
2783
2784     #warn "adding $amount as $name\n";
2785     $taxname{ $name } ||= [];
2786     push @{ $taxname{ $name } }, $tax;
2787
2788     $tax{ $tax } += $amount;
2789
2790     $tax_location{ $tax } ||= [];
2791     if ( $tax_object->get('pkgnum') || $tax_object->get('locationnum') ) {
2792       push @{ $tax_location{ $tax }  },
2793         {
2794           'taxnum'      => $tax_object->taxnum, 
2795           'taxtype'     => ref($tax_object),
2796           'pkgnum'      => $tax_object->get('pkgnum'),
2797           'locationnum' => $tax_object->get('locationnum'),
2798           'amount'      => sprintf('%.2f', $amount ),
2799         };
2800     }
2801
2802     $tax_rate_location{ $tax } ||= [];
2803     if ( ref($tax_object) eq 'FS::tax_rate' ) {
2804       my $taxratelocationnum =
2805         $tax_object->tax_rate_location->taxratelocationnum;
2806       push @{ $tax_rate_location{ $tax }  },
2807         {
2808           'taxnum'             => $tax_object->taxnum, 
2809           'taxtype'            => ref($tax_object),
2810           'amount'             => sprintf('%.2f', $amount ),
2811           'locationtaxid'      => $tax_object->location,
2812           'taxratelocationnum' => $taxratelocationnum,
2813         };
2814     }
2815
2816   }
2817
2818   #move the cust_tax_exempt_pkg records to the cust_bill_pkgs we will commit
2819   my %packagemap = map { $_->pkgnum => $_ } @cust_bill_pkg;
2820   foreach my $tax ( keys %taxlisthash ) {
2821     foreach ( @{ $taxlisthash{$tax} }[1 ... scalar(@{ $taxlisthash{$tax} })] ) {
2822       next unless ref($_) eq 'FS::cust_bill_pkg';
2823
2824       push @{ $packagemap{$_->pkgnum}->_cust_tax_exempt_pkg }, 
2825         splice( @{ $_->_cust_tax_exempt_pkg } );
2826     }
2827   }
2828
2829   #consolidate and create tax line items
2830   warn "consolidating and generating...\n" if $DEBUG > 2;
2831   foreach my $taxname ( keys %taxname ) {
2832     my $tax = 0;
2833     my %seen = ();
2834     my @cust_bill_pkg_tax_location = ();
2835     my @cust_bill_pkg_tax_rate_location = ();
2836     warn "adding $taxname\n" if $DEBUG > 1;
2837     foreach my $taxitem ( @{ $taxname{$taxname} } ) {
2838       next if $seen{$taxitem}++;
2839       warn "adding $tax{$taxitem}\n" if $DEBUG > 1;
2840       $tax += $tax{$taxitem};
2841       push @cust_bill_pkg_tax_location,
2842         map { new FS::cust_bill_pkg_tax_location $_ }
2843             @{ $tax_location{ $taxitem } };
2844       push @cust_bill_pkg_tax_rate_location,
2845         map { new FS::cust_bill_pkg_tax_rate_location $_ }
2846             @{ $tax_rate_location{ $taxitem } };
2847     }
2848     next unless $tax;
2849
2850     $tax = sprintf('%.2f', $tax );
2851     $total_setup = sprintf('%.2f', $total_setup+$tax );
2852   
2853     my $pkg_category = qsearchs( 'pkg_category', { 'categoryname' => $taxname,
2854                                                    'disabled'     => '',
2855                                                  },
2856                                );
2857
2858     my @display = ();
2859     if ( $pkg_category and
2860          $conf->config('invoice_latexsummary') ||
2861          $conf->config('invoice_htmlsummary')
2862        )
2863     {
2864
2865       my %hash = (  'section' => $pkg_category->categoryname );
2866       push @display, new FS::cust_bill_pkg_display { type => 'S', %hash };
2867
2868     }
2869
2870     push @cust_bill_pkg, new FS::cust_bill_pkg {
2871       'pkgnum'   => 0,
2872       'setup'    => $tax,
2873       'recur'    => 0,
2874       'sdate'    => '',
2875       'edate'    => '',
2876       'itemdesc' => $taxname,
2877       'display'  => \@display,
2878       'cust_bill_pkg_tax_location' => \@cust_bill_pkg_tax_location,
2879       'cust_bill_pkg_tax_rate_location' => \@cust_bill_pkg_tax_rate_location,
2880     };
2881
2882   }
2883
2884   #add tax adjustments
2885   warn "adding tax adjustments...\n" if $DEBUG > 2;
2886   foreach my $cust_tax_adjustment (
2887     qsearch('cust_tax_adjustment', { 'custnum'    => $self->custnum,
2888                                      'billpkgnum' => '',
2889                                    }
2890            )
2891   ) {
2892
2893     my $tax = sprintf('%.2f', $cust_tax_adjustment->amount );
2894     $total_setup = sprintf('%.2f', $total_setup+$tax );
2895
2896     my $itemdesc = $cust_tax_adjustment->taxname;
2897     $itemdesc = '' if $itemdesc eq 'Tax';
2898
2899     push @cust_bill_pkg, new FS::cust_bill_pkg {
2900       'pkgnum'      => 0,
2901       'setup'       => $tax,
2902       'recur'       => 0,
2903       'sdate'       => '',
2904       'edate'       => '',
2905       'itemdesc'    => $itemdesc,
2906       'itemcomment' => $cust_tax_adjustment->comment,
2907       'cust_tax_adjustment' => $cust_tax_adjustment,
2908       #'cust_bill_pkg_tax_location' => \@cust_bill_pkg_tax_location,
2909     };
2910
2911   }
2912
2913   my $charged = sprintf('%.2f', $total_setup + $total_recur );
2914
2915   my @cust_bill = $self->cust_bill;
2916   my $balance = $self->balance;
2917   my $previous_balance = scalar(@cust_bill)
2918                            ? ( $cust_bill[$#cust_bill]->billing_balance || 0 )
2919                            : 0;
2920
2921   $previous_balance += $cust_bill[$#cust_bill]->charged
2922     if scalar(@cust_bill);
2923   #my $balance_adjustments =
2924   #  sprintf('%.2f', $balance - $prior_prior_balance - $prior_charged);
2925
2926   #create the new invoice
2927   my $cust_bill = new FS::cust_bill ( {
2928     'custnum'             => $self->custnum,
2929     '_date'               => ( $invoice_time ),
2930     'charged'             => $charged,
2931     'billing_balance'     => $balance,
2932     'previous_balance'    => $previous_balance,
2933     'invoice_terms'       => $options{'invoice_terms'},
2934   } );
2935   $error = $cust_bill->insert;
2936   if ( $error ) {
2937     $dbh->rollback if $oldAutoCommit;
2938     return "can't create invoice for customer #". $self->custnum. ": $error";
2939   }
2940
2941   foreach my $cust_bill_pkg ( @cust_bill_pkg ) {
2942     $cust_bill_pkg->invnum($cust_bill->invnum); 
2943     my $error = $cust_bill_pkg->insert;
2944     if ( $error ) {
2945       $dbh->rollback if $oldAutoCommit;
2946       return "can't create invoice line item: $error";
2947     }
2948   }
2949     
2950
2951   foreach my $hook ( @precommit_hooks ) { 
2952     eval {
2953       &{$hook}; #($self) ?
2954     };
2955     if ( $@ ) {
2956       $dbh->rollback if $oldAutoCommit;
2957       return "$@ running precommit hook $hook\n";
2958     }
2959   }
2960   
2961   $dbh->commit or die $dbh->errstr if $oldAutoCommit;
2962   ''; #no error
2963 }
2964
2965
2966 sub _make_lines {
2967   my ($self, %params) = @_;
2968
2969   my $part_pkg = $params{part_pkg} or die "no part_pkg specified";
2970   my $cust_pkg = $params{cust_pkg} or die "no cust_pkg specified";
2971   my $precommit_hooks = $params{precommit_hooks} or die "no package specified";
2972   my $cust_bill_pkgs = $params{line_items} or die "no line buffer specified";
2973   my $total_setup = $params{setup} or die "no setup accumulator specified";
2974   my $total_recur = $params{recur} or die "no recur accumulator specified";
2975   my $taxlisthash = $params{tax_matrix} or die "no tax accumulator specified";
2976   my $time = $params{'time'} or die "no time specified";
2977   my (%options) = %{$params{options}};
2978
2979   my $dbh = dbh;
2980   my $real_pkgpart = $params{real_pkgpart};
2981   my %hash = $cust_pkg->hash;
2982   my $old_cust_pkg = new FS::cust_pkg \%hash;
2983
2984   my @details = ();
2985
2986   my $lineitems = 0;
2987
2988   $cust_pkg->pkgpart($part_pkg->pkgpart);
2989
2990   ###
2991   # bill setup
2992   ###
2993
2994   my $setup = 0;
2995   my $unitsetup = 0;
2996   if ( $options{'resetup'}
2997        || ( ! $cust_pkg->setup
2998             && ( ! $cust_pkg->start_date
2999                  || $cust_pkg->start_date <= $time
3000                )
3001             && ( ! $conf->exists('disable_setup_suspended_pkgs')
3002                  || ( $conf->exists('disable_setup_suspended_pkgs') &&
3003                       ! $cust_pkg->getfield('susp')
3004                     )
3005                )
3006           )
3007     )
3008   {
3009     
3010     warn "    bill setup\n" if $DEBUG > 1;
3011     $lineitems++;
3012
3013     $setup = eval { $cust_pkg->calc_setup( $time, \@details ) };
3014     return "$@ running calc_setup for $cust_pkg\n"
3015       if $@;
3016
3017     $unitsetup = $cust_pkg->part_pkg->unit_setup || $setup; #XXX uuh
3018
3019     $cust_pkg->setfield('setup', $time)
3020       unless $cust_pkg->setup;
3021           #do need it, but it won't get written to the db
3022           #|| $cust_pkg->pkgpart != $real_pkgpart;
3023
3024     $cust_pkg->setfield('start_date', '')
3025       if $cust_pkg->start_date;
3026
3027   }
3028
3029   ###
3030   # bill recurring fee
3031   ### 
3032
3033   #XXX unit stuff here too
3034   my $recur = 0;
3035   my $unitrecur = 0;
3036   my $sdate;
3037   if (     ! $cust_pkg->get('susp')
3038        and ! $cust_pkg->get('start_date')
3039        and ( $part_pkg->getfield('freq') ne '0'
3040              && ( $cust_pkg->getfield('bill') || 0 ) <= $time
3041            )
3042         || ( $part_pkg->plan eq 'voip_cdr'
3043               && $part_pkg->option('bill_every_call')
3044            )
3045         || ( $options{cancel} )
3046   ) {
3047
3048     # XXX should this be a package event?  probably.  events are called
3049     # at collection time at the moment, though...
3050     $part_pkg->reset_usage($cust_pkg, 'debug'=>$DEBUG)
3051       if $part_pkg->can('reset_usage');
3052       #don't want to reset usage just cause we want a line item??
3053       #&& $part_pkg->pkgpart == $real_pkgpart;
3054
3055     warn "    bill recur\n" if $DEBUG > 1;
3056     $lineitems++;
3057
3058     # XXX shared with $recur_prog
3059     $sdate = ( $options{cancel} ? $cust_pkg->last_bill : $cust_pkg->bill )
3060              || $cust_pkg->setup
3061              || $time;
3062
3063     #over two params!  lets at least switch to a hashref for the rest...
3064     my $increment_next_bill = ( $part_pkg->freq ne '0'
3065                                 && ( $cust_pkg->getfield('bill') || 0 ) <= $time
3066                                 && !$options{cancel}
3067                               );
3068     my %param = ( 'precommit_hooks'     => $precommit_hooks,
3069                   'increment_next_bill' => $increment_next_bill,
3070                 );
3071
3072     my $method = $options{cancel} ? 'calc_cancel' : 'calc_recur';
3073     $recur = eval { $cust_pkg->$method( \$sdate, \@details, \%param ) };
3074     return "$@ running $method for $cust_pkg\n"
3075       if ( $@ );
3076
3077     if ( $increment_next_bill ) {
3078
3079       my $next_bill = $part_pkg->add_freq($sdate);
3080       return "unparsable frequency: ". $part_pkg->freq
3081         if $next_bill == -1;
3082   
3083       #pro-rating magic - if $recur_prog fiddled $sdate, want to use that
3084       # only for figuring next bill date, nothing else, so, reset $sdate again
3085       # here
3086       $sdate = $cust_pkg->bill || $cust_pkg->setup || $time;
3087       #no need, its in $hash{last_bill}# my $last_bill = $cust_pkg->last_bill;
3088       $cust_pkg->last_bill($sdate);
3089
3090       $cust_pkg->setfield('bill', $next_bill );
3091
3092     }
3093
3094   }
3095
3096   warn "\$setup is undefined" unless defined($setup);
3097   warn "\$recur is undefined" unless defined($recur);
3098   warn "\$cust_pkg->bill is undefined" unless defined($cust_pkg->bill);
3099   
3100   ###
3101   # If there's line items, create em cust_bill_pkg records
3102   # If $cust_pkg has been modified, update it (if we're a real pkgpart)
3103   ###
3104
3105   if ( $lineitems ) {
3106
3107     if ( $cust_pkg->modified && $cust_pkg->pkgpart == $real_pkgpart ) {
3108       # hmm.. and if just the options are modified in some weird price plan?
3109   
3110       warn "  package ". $cust_pkg->pkgnum. " modified; updating\n"
3111         if $DEBUG >1;
3112   
3113       my $error = $cust_pkg->replace( $old_cust_pkg,
3114                                       'options' => { $cust_pkg->options },
3115                                     );
3116       return "Error modifying pkgnum ". $cust_pkg->pkgnum. ": $error"
3117         if $error; #just in case
3118     }
3119   
3120     $setup = sprintf( "%.2f", $setup );
3121     $recur = sprintf( "%.2f", $recur );
3122     if ( $setup < 0 && ! $conf->exists('allow_negative_charges') ) {
3123       return "negative setup $setup for pkgnum ". $cust_pkg->pkgnum;
3124     }
3125     if ( $recur < 0 && ! $conf->exists('allow_negative_charges') ) {
3126       return "negative recur $recur for pkgnum ". $cust_pkg->pkgnum;
3127     }
3128
3129     if ( $setup != 0 || $recur != 0 ) {
3130
3131       warn "    charges (setup=$setup, recur=$recur); adding line items\n"
3132         if $DEBUG > 1;
3133
3134       my @cust_pkg_detail = map { $_->detail } $cust_pkg->cust_pkg_detail('I');
3135       if ( $DEBUG > 1 ) {
3136         warn "      adding customer package invoice detail: $_\n"
3137           foreach @cust_pkg_detail;
3138       }
3139       push @details, @cust_pkg_detail;
3140
3141       my $cust_bill_pkg = new FS::cust_bill_pkg {
3142         'pkgnum'    => $cust_pkg->pkgnum,
3143         'setup'     => $setup,
3144         'unitsetup' => $unitsetup,
3145         'recur'     => $recur,
3146         'unitrecur' => $unitrecur,
3147         'quantity'  => $cust_pkg->quantity,
3148         'details'   => \@details,
3149         'hidden'    => $part_pkg->hidden,
3150       };
3151
3152       if ( $part_pkg->option('recur_temporality', 1) eq 'preceding' ) {
3153         $cust_bill_pkg->sdate( $hash{last_bill} );
3154         $cust_bill_pkg->edate( $sdate - 86399   ); #60s*60m*24h-1
3155         $cust_bill_pkg->edate( $time ) if $options{cancel};
3156       } else { #if ( $part_pkg->option('recur_temporality', 1) eq 'upcoming' ) {
3157         $cust_bill_pkg->sdate( $sdate );
3158         $cust_bill_pkg->edate( $cust_pkg->bill );
3159         #$cust_bill_pkg->edate( $time ) if $options{cancel};
3160       }
3161
3162       $cust_bill_pkg->pkgpart_override($part_pkg->pkgpart)
3163         unless $part_pkg->pkgpart == $real_pkgpart;
3164
3165       $$total_setup += $setup;
3166       $$total_recur += $recur;
3167
3168       ###
3169       # handle taxes
3170       ###
3171
3172       my $error = 
3173         $self->_handle_taxes($part_pkg, $taxlisthash, $cust_bill_pkg, $cust_pkg, $options{invoice_time}, $real_pkgpart, \%options);
3174       return $error if $error;
3175
3176       push @$cust_bill_pkgs, $cust_bill_pkg;
3177
3178     } #if $setup != 0 || $recur != 0
3179       
3180   } #if $line_items
3181
3182   '';
3183
3184 }
3185
3186 sub _handle_taxes {
3187   my $self = shift;
3188   my $part_pkg = shift;
3189   my $taxlisthash = shift;
3190   my $cust_bill_pkg = shift;
3191   my $cust_pkg = shift;
3192   my $invoice_time = shift;
3193   my $real_pkgpart = shift;
3194   my $options = shift;
3195
3196   my %cust_bill_pkg = ();
3197   my %taxes = ();
3198     
3199   my @classes;
3200   #push @classes, $cust_bill_pkg->usage_classes if $cust_bill_pkg->type eq 'U';
3201   push @classes, $cust_bill_pkg->usage_classes if $cust_bill_pkg->usage;
3202   push @classes, 'setup' if ($cust_bill_pkg->setup && !$options->{cancel});
3203   push @classes, 'recur' if ($cust_bill_pkg->recur && !$options->{cancel});
3204
3205   if ( $self->tax !~ /Y/i && $self->payby ne 'COMP' ) {
3206
3207     if ( $conf->exists('enable_taxproducts')
3208          && ( scalar($part_pkg->part_pkg_taxoverride)
3209               || $part_pkg->has_taxproduct
3210             )
3211        )
3212     {
3213
3214       if ( $conf->exists('tax-pkg_address') && $cust_pkg->locationnum ) {
3215         return "fatal: Can't (yet) use tax-pkg_address with taxproducts";
3216       }
3217
3218       foreach my $class (@classes) {
3219         my $err_or_ref = $self->_gather_taxes( $part_pkg, $class );
3220         return $err_or_ref unless ref($err_or_ref);
3221         $taxes{$class} = $err_or_ref;
3222       }
3223
3224       unless (exists $taxes{''}) {
3225         my $err_or_ref = $self->_gather_taxes( $part_pkg, '' );
3226         return $err_or_ref unless ref($err_or_ref);
3227         $taxes{''} = $err_or_ref;
3228       }
3229
3230     } else {
3231
3232       my @loc_keys = qw( state county country );
3233       my %taxhash;
3234       if ( $conf->exists('tax-pkg_address') && $cust_pkg->locationnum ) {
3235         my $cust_location = $cust_pkg->cust_location;
3236         %taxhash = map { $_ => $cust_location->$_()    } @loc_keys;
3237       } else {
3238         my $prefix = 
3239           ( $conf->exists('tax-ship_address') && length($self->ship_last) )
3240           ? 'ship_'
3241           : '';
3242         %taxhash = map { $_ => $self->get("$prefix$_") } @loc_keys;
3243       }
3244
3245       $taxhash{'taxclass'} = $part_pkg->taxclass;
3246
3247       my @taxes = qsearch( 'cust_main_county', \%taxhash );
3248
3249       my %taxhash_elim = %taxhash;
3250
3251       my @elim = qw( taxclass county state );
3252       while ( !scalar(@taxes) && scalar(@elim) ) {
3253         $taxhash_elim{ shift(@elim) } = '';
3254         @taxes = qsearch( 'cust_main_county', \%taxhash_elim );
3255       }
3256
3257       @taxes = grep { ! $_->taxname or ! $self->tax_exemption($_->taxname) }
3258                     @taxes
3259         if $self->cust_main_exemption; #just to be safe
3260
3261       if ( $conf->exists('tax-pkg_address') && $cust_pkg->locationnum ) {
3262         foreach (@taxes) {
3263           $_->set('pkgnum',      $cust_pkg->pkgnum );
3264           $_->set('locationnum', $cust_pkg->locationnum );
3265         }
3266       }
3267
3268       $taxes{''} = [ @taxes ];
3269       $taxes{'setup'} = [ @taxes ];
3270       $taxes{'recur'} = [ @taxes ];
3271       $taxes{$_} = [ @taxes ] foreach (@classes);
3272
3273       # # maybe eliminate this entirely, along with all the 0% records
3274       # unless ( @taxes ) {
3275       #   return
3276       #     "fatal: can't find tax rate for state/county/country/taxclass ".
3277       #     join('/', map $taxhash{$_}, qw(state county country taxclass) );
3278       # }
3279
3280     } #if $conf->exists('enable_taxproducts') ...
3281
3282   }
3283  
3284   my @display = ();
3285   my $separate = $conf->exists('separate_usage');
3286   my $usage_mandate = $cust_pkg->part_pkg->option('usage_mandate', 'Hush!');
3287   if ( $separate || $cust_bill_pkg->hidden || $usage_mandate ) {
3288
3289     my $temp_pkg = new FS::cust_pkg { pkgpart => $real_pkgpart };
3290     my %hash = $cust_bill_pkg->hidden  # maybe for all bill linked?
3291                ? (  'section' => $temp_pkg->part_pkg->categoryname )
3292                : ();
3293
3294     my $section = $cust_pkg->part_pkg->option('usage_section', 'Hush!');
3295     my $summary = $cust_pkg->part_pkg->option('summarize_usage', 'Hush!');
3296     if ( $separate ) {
3297       push @display, new FS::cust_bill_pkg_display { type => 'S', %hash };
3298       push @display, new FS::cust_bill_pkg_display { type => 'R', %hash };
3299     } else {
3300       push @display, new FS::cust_bill_pkg_display
3301                        { type => '',
3302                          %hash,
3303                          ( ( $usage_mandate ) ? ( 'summary' => 'Y' ) : () ),
3304                        };
3305     }
3306
3307     if ($separate && $section && $summary) {
3308       push @display, new FS::cust_bill_pkg_display { type    => 'U',
3309                                                      summary => 'Y',
3310                                                      %hash,
3311                                                    };
3312     }
3313     if ($usage_mandate || $section && $summary) {
3314       $hash{post_total} = 'Y';
3315     }
3316
3317     $hash{section} = $section if ($separate || $usage_mandate);
3318     push @display, new FS::cust_bill_pkg_display { type => 'U', %hash };
3319
3320   }
3321   $cust_bill_pkg->set('display', \@display);
3322
3323   my %tax_cust_bill_pkg = $cust_bill_pkg->disintegrate;
3324   foreach my $key (keys %tax_cust_bill_pkg) {
3325     my @taxes = @{ $taxes{$key} || [] };
3326     my $tax_cust_bill_pkg = $tax_cust_bill_pkg{$key};
3327
3328     my %localtaxlisthash = ();
3329     foreach my $tax ( @taxes ) {
3330
3331       my $taxname = ref( $tax ). ' '. $tax->taxnum;
3332 #      $taxname .= ' pkgnum'. $cust_pkg->pkgnum.
3333 #                  ' locationnum'. $cust_pkg->locationnum
3334 #        if $conf->exists('tax-pkg_address') && $cust_pkg->locationnum;
3335
3336       $taxlisthash->{ $taxname } ||= [ $tax ];
3337       push @{ $taxlisthash->{ $taxname  } }, $tax_cust_bill_pkg;
3338
3339       $localtaxlisthash{ $taxname } ||= [ $tax ];
3340       push @{ $localtaxlisthash{ $taxname  } }, $tax_cust_bill_pkg;
3341
3342     }
3343
3344     warn "finding taxed taxes...\n" if $DEBUG > 2;
3345     foreach my $tax ( keys %localtaxlisthash ) {
3346       my $tax_object = shift @{ $localtaxlisthash{$tax} };
3347       warn "found possible taxed tax ". $tax_object->taxname. " we call $tax\n"
3348         if $DEBUG > 2;
3349       next unless $tax_object->can('tax_on_tax');
3350
3351       foreach my $tot ( $tax_object->tax_on_tax( $self ) ) {
3352         my $totname = ref( $tot ). ' '. $tot->taxnum;
3353
3354         warn "checking $totname which we call ". $tot->taxname. " as applicable\n"
3355           if $DEBUG > 2;
3356         next unless exists( $localtaxlisthash{ $totname } ); # only increase
3357                                                              # existing taxes
3358         warn "adding $totname to taxed taxes\n" if $DEBUG > 2;
3359         my $hashref_or_error = 
3360           $tax_object->taxline( $localtaxlisthash{$tax},
3361                                 'custnum'      => $self->custnum,
3362                                 'invoice_time' => $invoice_time,
3363                               );
3364         return $hashref_or_error
3365           unless ref($hashref_or_error);
3366         
3367         $taxlisthash->{ $totname } ||= [ $tot ];
3368         push @{ $taxlisthash->{ $totname  } }, $hashref_or_error->{amount};
3369
3370       }
3371     }
3372
3373   }
3374
3375   '';
3376 }
3377
3378 sub _gather_taxes {
3379   my $self = shift;
3380   my $part_pkg = shift;
3381   my $class = shift;
3382
3383   my @taxes = ();
3384   my $geocode = $self->geocode('cch');
3385
3386   my @taxclassnums = map { $_->taxclassnum }
3387                      $part_pkg->part_pkg_taxoverride($class);
3388
3389   unless (@taxclassnums) {
3390     @taxclassnums = map { $_->taxclassnum }
3391                     grep { $_->taxable eq 'Y' }
3392                     $part_pkg->part_pkg_taxrate('cch', $geocode, $class);
3393   }
3394   warn "Found taxclassnum values of ". join(',', @taxclassnums)
3395     if $DEBUG;
3396
3397   my $extra_sql =
3398     "AND (".
3399     join(' OR ', map { "taxclassnum = $_" } @taxclassnums ). ")";
3400
3401   @taxes = qsearch({ 'table' => 'tax_rate',
3402                      'hashref' => { 'geocode' => $geocode, },
3403                      'extra_sql' => $extra_sql,
3404                   })
3405     if scalar(@taxclassnums);
3406
3407   warn "Found taxes ".
3408        join(',', map{ ref($_). " ". $_->get($_->primary_key) } @taxes). "\n" 
3409    if $DEBUG;
3410
3411   [ @taxes ];
3412
3413 }
3414
3415 =item collect [ HASHREF | OPTION => VALUE ... ]
3416
3417 (Attempt to) collect money for this customer's outstanding invoices (see
3418 L<FS::cust_bill>).  Usually used after the bill method.
3419
3420 Actions are now triggered by billing events; see L<FS::part_event> and the
3421 billing events web interface.  Old-style invoice events (see
3422 L<FS::part_bill_event>) have been deprecated.
3423
3424 If there is an error, returns the error, otherwise returns false.
3425
3426 Options are passed as name-value pairs.
3427
3428 Currently available options are:
3429
3430 =over 4
3431
3432 =item invoice_time
3433
3434 Use this time when deciding when to print invoices and late notices on those invoices.  The default is now.  It is specified as a UNIX timestamp; see L<perlfunc/"time">).  Also see L<Time::Local> and L<Date::Parse> for conversion functions.
3435
3436 =item retry
3437
3438 Retry card/echeck/LEC transactions even when not scheduled by invoice events.
3439
3440 =item check_freq
3441
3442 "1d" for the traditional, daily events (the default), or "1m" for the new monthly events (part_event.check_freq)
3443
3444 =item quiet
3445
3446 set true to surpress email card/ACH decline notices.
3447
3448 =item debug
3449
3450 Debugging level.  Default is 0 (no debugging), or can be set to 1 (passed-in options), 2 (traces progress), 3 (more information), or 4 (include full search queries)
3451
3452 =back
3453
3454 # =item payby
3455 #
3456 # allows for one time override of normal customer billing method
3457
3458 =cut
3459
3460 sub collect {
3461   my( $self, %options ) = @_;
3462   my $invoice_time = $options{'invoice_time'} || time;
3463
3464   #put below somehow?
3465   local $SIG{HUP} = 'IGNORE';
3466   local $SIG{INT} = 'IGNORE';
3467   local $SIG{QUIT} = 'IGNORE';
3468   local $SIG{TERM} = 'IGNORE';
3469   local $SIG{TSTP} = 'IGNORE';
3470   local $SIG{PIPE} = 'IGNORE';
3471
3472   my $oldAutoCommit = $FS::UID::AutoCommit;
3473   local $FS::UID::AutoCommit = 0;
3474   my $dbh = dbh;
3475
3476   $self->select_for_update; #mutex
3477
3478   if ( $DEBUG ) {
3479     my $balance = $self->balance;
3480     warn "$me collect customer ". $self->custnum. ": balance $balance\n"
3481   }
3482
3483   if ( exists($options{'retry_card'}) ) {
3484     carp 'retry_card option passed to collect is deprecated; use retry';
3485     $options{'retry'} ||= $options{'retry_card'};
3486   }
3487   if ( exists($options{'retry'}) && $options{'retry'} ) {
3488     my $error = $self->retry_realtime;
3489     if ( $error ) {
3490       $dbh->rollback if $oldAutoCommit;
3491       return $error;
3492     }
3493   }
3494
3495   $dbh->commit or die $dbh->errstr if $oldAutoCommit;
3496
3497   #never want to roll back an event just because it returned an error
3498   local $FS::UID::AutoCommit = 1; #$oldAutoCommit;
3499
3500   $self->do_cust_event(
3501     'debug'      => ( $options{'debug'} || 0 ),
3502     'time'       => $invoice_time,
3503     'check_freq' => $options{'check_freq'},
3504     'stage'      => 'collect',
3505   );
3506
3507 }
3508
3509 =item do_cust_event [ HASHREF | OPTION => VALUE ... ]
3510
3511 Runs billing events; see L<FS::part_event> and the billing events web
3512 interface.
3513
3514 If there is an error, returns the error, otherwise returns false.
3515
3516 Options are passed as name-value pairs.
3517
3518 Currently available options are:
3519
3520 =over 4
3521
3522 =item time
3523
3524 Use this time when deciding when to print invoices and late notices on those invoices.  The default is now.  It is specified as a UNIX timestamp; see L<perlfunc/"time">).  Also see L<Time::Local> and L<Date::Parse> for conversion functions.
3525
3526 =item check_freq
3527
3528 "1d" for the traditional, daily events (the default), or "1m" for the new monthly events (part_event.check_freq)
3529
3530 =item stage
3531
3532 "collect" (the default) or "pre-bill"
3533
3534 =item quiet
3535  
3536 set true to surpress email card/ACH decline notices.
3537
3538 =item debug
3539
3540 Debugging level.  Default is 0 (no debugging), or can be set to 1 (passed-in options), 2 (traces progress), 3 (more information), or 4 (include full search queries)
3541
3542 =cut
3543
3544 # =item payby
3545 #
3546 # allows for one time override of normal customer billing method
3547
3548 # =item retry
3549 #
3550 # Retry card/echeck/LEC transactions even when not scheduled by invoice events.
3551
3552 sub do_cust_event {
3553   my( $self, %options ) = @_;
3554   my $time = $options{'time'} || time;
3555
3556   #put below somehow?
3557   local $SIG{HUP} = 'IGNORE';
3558   local $SIG{INT} = 'IGNORE';
3559   local $SIG{QUIT} = 'IGNORE';
3560   local $SIG{TERM} = 'IGNORE';
3561   local $SIG{TSTP} = 'IGNORE';
3562   local $SIG{PIPE} = 'IGNORE';
3563
3564   my $oldAutoCommit = $FS::UID::AutoCommit;
3565   local $FS::UID::AutoCommit = 0;
3566   my $dbh = dbh;
3567
3568   $self->select_for_update; #mutex
3569
3570   if ( $DEBUG ) {
3571     my $balance = $self->balance;
3572     warn "$me do_cust_event customer ". $self->custnum. ": balance $balance\n"
3573   }
3574
3575 #  if ( exists($options{'retry_card'}) ) {
3576 #    carp 'retry_card option passed to collect is deprecated; use retry';
3577 #    $options{'retry'} ||= $options{'retry_card'};
3578 #  }
3579 #  if ( exists($options{'retry'}) && $options{'retry'} ) {
3580 #    my $error = $self->retry_realtime;
3581 #    if ( $error ) {
3582 #      $dbh->rollback if $oldAutoCommit;
3583 #      return $error;
3584 #    }
3585 #  }
3586
3587   # false laziness w/pay_batch::import_results
3588
3589   my $due_cust_event = $self->due_cust_event(
3590     'debug'      => ( $options{'debug'} || 0 ),
3591     'time'       => $time,
3592     'check_freq' => $options{'check_freq'},
3593     'stage'      => ( $options{'stage'} || 'collect' ),
3594   );
3595   unless( ref($due_cust_event) ) {
3596     $dbh->rollback if $oldAutoCommit;
3597     return $due_cust_event;
3598   }
3599
3600   $dbh->commit or die $dbh->errstr if $oldAutoCommit;
3601   #never want to roll back an event just because it or a different one
3602   # returned an error
3603   local $FS::UID::AutoCommit = 1; #$oldAutoCommit;
3604
3605   foreach my $cust_event ( @$due_cust_event ) {
3606
3607     #XXX lock event
3608     
3609     #re-eval event conditions (a previous event could have changed things)
3610     unless ( $cust_event->test_conditions( 'time' => $time ) ) {
3611       #don't leave stray "new/locked" records around
3612       my $error = $cust_event->delete;
3613       return $error if $error;
3614       next;
3615     }
3616
3617     {
3618       local $realtime_bop_decline_quiet = 1 if $options{'quiet'};
3619       warn "  running cust_event ". $cust_event->eventnum. "\n"
3620         if $DEBUG > 1;
3621
3622       #if ( my $error = $cust_event->do_event(%options) ) { #XXX %options?
3623       if ( my $error = $cust_event->do_event() ) {
3624         #XXX wtf is this?  figure out a proper dealio with return value
3625         #from do_event
3626         return $error;
3627       }
3628     }
3629
3630   }
3631
3632   '';
3633
3634 }
3635
3636 =item due_cust_event [ HASHREF | OPTION => VALUE ... ]
3637
3638 Inserts database records for and returns an ordered listref of new events due
3639 for this customer, as FS::cust_event objects (see L<FS::cust_event>).  If no
3640 events are due, an empty listref is returned.  If there is an error, returns a
3641 scalar error message.
3642
3643 To actually run the events, call each event's test_condition method, and if
3644 still true, call the event's do_event method.
3645
3646 Options are passed as a hashref or as a list of name-value pairs.  Available
3647 options are:
3648
3649 =over 4
3650
3651 =item check_freq
3652
3653 Search only for events of this check frequency (how often events of this type are checked); currently "1d" (daily, the default) and "1m" (monthly) are recognized.
3654
3655 =item stage
3656
3657 "collect" (the default) or "pre-bill"
3658
3659 =item time
3660
3661 "Current time" for the events.
3662
3663 =item debug
3664
3665 Debugging level.  Default is 0 (no debugging), or can be set to 1 (passed-in options), 2 (traces progress), 3 (more information), or 4 (include full search queries)
3666
3667 =item eventtable
3668
3669 Only return events for the specified eventtable (by default, events of all eventtables are returned)
3670
3671 =item objects
3672
3673 Explicitly pass the objects to be tested (typically used with eventtable).
3674
3675 =item testonly
3676
3677 Set to true to return the objects, but not actually insert them into the
3678 database.
3679
3680 =back
3681
3682 =cut
3683
3684 sub due_cust_event {
3685   my $self = shift;
3686   my %opt = ref($_[0]) ? %{ $_[0] } : @_;
3687
3688   #???
3689   #my $DEBUG = $opt{'debug'}
3690   local($DEBUG) = $opt{'debug'}
3691     if defined($opt{'debug'}) && $opt{'debug'} > $DEBUG;
3692
3693   warn "$me due_cust_event called with options ".
3694        join(', ', map { "$_: $opt{$_}" } keys %opt). "\n"
3695     if $DEBUG;
3696
3697   $opt{'time'} ||= time;
3698
3699   local $SIG{HUP} = 'IGNORE';
3700   local $SIG{INT} = 'IGNORE';
3701   local $SIG{QUIT} = 'IGNORE';
3702   local $SIG{TERM} = 'IGNORE';
3703   local $SIG{TSTP} = 'IGNORE';
3704   local $SIG{PIPE} = 'IGNORE';
3705
3706   my $oldAutoCommit = $FS::UID::AutoCommit;
3707   local $FS::UID::AutoCommit = 0;
3708   my $dbh = dbh;
3709
3710   $self->select_for_update #mutex
3711     unless $opt{testonly};
3712
3713   ###
3714   # find possible events (initial search)
3715   ###
3716   
3717   my @cust_event = ();
3718
3719   my @eventtable = $opt{'eventtable'}
3720                      ? ( $opt{'eventtable'} )
3721                      : FS::part_event->eventtables_runorder;
3722
3723   foreach my $eventtable ( @eventtable ) {
3724
3725     my @objects;
3726     if ( $opt{'objects'} ) {
3727
3728       @objects = @{ $opt{'objects'} };
3729
3730     } else {
3731
3732       #my @objects = $self->eventtable(); # sub cust_main { @{ [ $self ] }; }
3733       @objects = ( $eventtable eq 'cust_main' )
3734                    ? ( $self )
3735                    : ( $self->$eventtable() );
3736
3737     }
3738
3739     my @e_cust_event = ();
3740
3741     my $cross = "CROSS JOIN $eventtable";
3742     $cross .= ' LEFT JOIN cust_main USING ( custnum )'
3743       unless $eventtable eq 'cust_main';
3744
3745     foreach my $object ( @objects ) {
3746
3747       #this first search uses the condition_sql magic for optimization.
3748       #the more possible events we can eliminate in this step the better
3749
3750       my $cross_where = '';
3751       my $pkey = $object->primary_key;
3752       $cross_where = "$eventtable.$pkey = ". $object->$pkey();
3753
3754       my $join = FS::part_event_condition->join_conditions_sql( $eventtable );
3755       my $extra_sql =
3756         FS::part_event_condition->where_conditions_sql( $eventtable,
3757                                                         'time'=>$opt{'time'}
3758                                                       );
3759       my $order = FS::part_event_condition->order_conditions_sql( $eventtable );
3760
3761       $extra_sql = "AND $extra_sql" if $extra_sql;
3762
3763       #here is the agent virtualization
3764       $extra_sql .= " AND (    part_event.agentnum IS NULL
3765                             OR part_event.agentnum = ". $self->agentnum. ' )';
3766
3767       $extra_sql .= " $order";
3768
3769       warn "searching for events for $eventtable ". $object->$pkey. "\n"
3770         if $opt{'debug'} > 2;
3771       my @part_event = qsearch( {
3772         'debug'     => ( $opt{'debug'} > 3 ? 1 : 0 ),
3773         'select'    => 'part_event.*',
3774         'table'     => 'part_event',
3775         'addl_from' => "$cross $join",
3776         'hashref'   => { 'check_freq' => ( $opt{'check_freq'} || '1d' ),
3777                          'eventtable' => $eventtable,
3778                          'disabled'   => '',
3779                        },
3780         'extra_sql' => "AND $cross_where $extra_sql",
3781       } );
3782
3783       if ( $DEBUG > 2 ) {
3784         my $pkey = $object->primary_key;
3785         warn "      ". scalar(@part_event).
3786              " possible events found for $eventtable ". $object->$pkey(). "\n";
3787       }
3788
3789       push @e_cust_event, map { $_->new_cust_event($object) } @part_event;
3790
3791     }
3792
3793     warn "    ". scalar(@e_cust_event).
3794          " subtotal possible cust events found for $eventtable\n"
3795       if $DEBUG > 1;
3796
3797     push @cust_event, @e_cust_event;
3798
3799   }
3800
3801   warn "  ". scalar(@cust_event).
3802        " total possible cust events found in initial search\n"
3803     if $DEBUG; # > 1;
3804
3805
3806   ##
3807   # test stage
3808   ##
3809
3810   $opt{stage} ||= 'collect';
3811   @cust_event =
3812     grep { my $stage = $_->part_event->event_stage;
3813            $opt{stage} eq $stage or ( ! $stage && $opt{stage} eq 'collect' )
3814          }
3815          @cust_event;
3816
3817   ##
3818   # test conditions
3819   ##
3820   
3821   my %unsat = ();
3822
3823   @cust_event = grep $_->test_conditions( 'time'          => $opt{'time'},
3824                                           'stats_hashref' => \%unsat ),
3825                      @cust_event;
3826
3827   warn "  ". scalar(@cust_event). " cust events left satisfying conditions\n"
3828     if $DEBUG; # > 1;
3829
3830   warn "    invalid conditions not eliminated with condition_sql:\n".
3831        join('', map "      $_: ".$unsat{$_}."\n", keys %unsat )
3832     if keys %unsat && $DEBUG; # > 1;
3833
3834   ##
3835   # insert
3836   ##
3837
3838   unless( $opt{testonly} ) {
3839     foreach my $cust_event ( @cust_event ) {
3840
3841       my $error = $cust_event->insert();
3842       if ( $error ) {
3843         $dbh->rollback if $oldAutoCommit;
3844         return $error;
3845       }
3846                                        
3847     }
3848   }
3849
3850   $dbh->commit or die $dbh->errstr if $oldAutoCommit;
3851
3852   ##
3853   # return
3854   ##
3855
3856   warn "  returning events: ". Dumper(@cust_event). "\n"
3857     if $DEBUG > 2;
3858
3859   \@cust_event;
3860
3861 }
3862
3863 =item retry_realtime
3864
3865 Schedules realtime / batch  credit card / electronic check / LEC billing
3866 events for for retry.  Useful if card information has changed or manual
3867 retry is desired.  The 'collect' method must be called to actually retry
3868 the transaction.
3869
3870 Implementation details: For either this customer, or for each of this
3871 customer's open invoices, changes the status of the first "done" (with
3872 statustext error) realtime processing event to "failed".
3873
3874 =cut
3875
3876 sub retry_realtime {
3877   my $self = shift;
3878
3879   local $SIG{HUP} = 'IGNORE';
3880   local $SIG{INT} = 'IGNORE';
3881   local $SIG{QUIT} = 'IGNORE';
3882   local $SIG{TERM} = 'IGNORE';
3883   local $SIG{TSTP} = 'IGNORE';
3884   local $SIG{PIPE} = 'IGNORE';
3885
3886   my $oldAutoCommit = $FS::UID::AutoCommit;
3887   local $FS::UID::AutoCommit = 0;
3888   my $dbh = dbh;
3889
3890   #a little false laziness w/due_cust_event (not too bad, really)
3891
3892   my $join = FS::part_event_condition->join_conditions_sql;
3893   my $order = FS::part_event_condition->order_conditions_sql;
3894   my $mine = 
3895   '( '
3896    . join ( ' OR ' , map { 
3897     "( part_event.eventtable = " . dbh->quote($_) 
3898     . " AND tablenum IN( SELECT " . dbdef->table($_)->primary_key . " from $_ where custnum = " . dbh->quote( $self->custnum ) . "))" ;
3899    } FS::part_event->eventtables)
3900    . ') ';
3901
3902   #here is the agent virtualization
3903   my $agent_virt = " (    part_event.agentnum IS NULL
3904                        OR part_event.agentnum = ". $self->agentnum. ' )';
3905
3906   #XXX this shouldn't be hardcoded, actions should declare it...
3907   my @realtime_events = qw(
3908     cust_bill_realtime_card
3909     cust_bill_realtime_check
3910     cust_bill_realtime_lec
3911     cust_bill_batch
3912   );
3913
3914   my $is_realtime_event = ' ( '. join(' OR ', map "part_event.action = '$_'",
3915                                                   @realtime_events
3916                                      ).
3917                           ' ) ';
3918
3919   my @cust_event = qsearchs({
3920     'table'     => 'cust_event',
3921     'select'    => 'cust_event.*',
3922     'addl_from' => "LEFT JOIN part_event USING ( eventpart ) $join",
3923     'hashref'   => { 'status' => 'done' },
3924     'extra_sql' => " AND statustext IS NOT NULL AND statustext != '' ".
3925                    " AND $mine AND $is_realtime_event AND $agent_virt $order" # LIMIT 1"
3926   });
3927
3928   my %seen_invnum = ();
3929   foreach my $cust_event (@cust_event) {
3930
3931     #max one for the customer, one for each open invoice
3932     my $cust_X = $cust_event->cust_X;
3933     next if $seen_invnum{ $cust_event->part_event->eventtable eq 'cust_bill'
3934                           ? $cust_X->invnum
3935                           : 0
3936                         }++
3937          or $cust_event->part_event->eventtable eq 'cust_bill'
3938             && ! $cust_X->owed;
3939
3940     my $error = $cust_event->retry;
3941     if ( $error ) {
3942       $dbh->rollback if $oldAutoCommit;
3943       return "error scheduling event for retry: $error";
3944     }
3945
3946   }
3947
3948   $dbh->commit or die $dbh->errstr if $oldAutoCommit;
3949   '';
3950
3951 }
3952
3953 # some horrid false laziness here to avoid refactor fallout
3954 # eventually realtime realtime_bop and realtime_refund_bop should go
3955 # away and be replaced by _new_realtime_bop and _new_realtime_refund_bop
3956
3957 =item realtime_bop METHOD AMOUNT [ OPTION => VALUE ... ]
3958
3959 Runs a realtime credit card, ACH (electronic check) or phone bill transaction
3960 via a Business::OnlinePayment realtime gateway.  See
3961 L<http://420.am/business-onlinepayment> for supported gateways.
3962
3963 Available methods are: I<CC>, I<ECHECK> and I<LEC>
3964
3965 Available options are: I<description>, I<invnum>, I<quiet>, I<paynum_ref>, I<payunique>
3966
3967 The additional options I<payname>, I<address1>, I<address2>, I<city>, I<state>,
3968 I<zip>, I<payinfo> and I<paydate> are also available.  Any of these options,
3969 if set, will override the value from the customer record.
3970
3971 I<description> is a free-text field passed to the gateway.  It defaults to
3972 the value defined by the business-onlinepayment-description configuration
3973 option, or "Internet services" if that is unset.
3974
3975 If an I<invnum> is specified, this payment (if successful) is applied to the
3976 specified invoice.  If you don't specify an I<invnum> you might want to
3977 call the B<apply_payments> method or set the I<apply> option.
3978
3979 I<apply> can be set to true to apply a resulting payment.
3980
3981 I<quiet> can be set true to surpress email decline notices.
3982
3983 I<paynum_ref> can be set to a scalar reference.  It will be filled in with the
3984 resulting paynum, if any.
3985
3986 I<payunique> is a unique identifier for this payment.
3987
3988 (moved from cust_bill) (probably should get realtime_{card,ach,lec} here too)
3989
3990 =cut
3991
3992 sub realtime_bop {
3993   my $self = shift;
3994
3995   return $self->_new_realtime_bop(@_)
3996     if $self->_new_bop_required();
3997
3998   my($method, $amount);
3999   my %options = ();
4000   if (ref($_[0]) eq 'HASH') {
4001     %options = %{$_[0]};
4002     $method = $options{method};
4003     $amount = $options{amount};
4004   } else {
4005     ( $method, $amount ) = ( shift, shift );
4006     %options = @_;
4007   }
4008   if ( $DEBUG ) {
4009     warn "$me realtime_bop: $method $amount\n";
4010     warn "  $_ => $options{$_}\n" foreach keys %options;
4011   }
4012
4013   return "Amount must be greater than 0" unless $amount > 0;
4014
4015   unless ( $options{'description'} ) {
4016     if ( $conf->exists('business-onlinepayment-description') ) {
4017       my $dtempl = $conf->config('business-onlinepayment-description');
4018
4019       my $agent = $self->agent->agent;
4020       #$pkgs... not here
4021       $options{'description'} = eval qq("$dtempl");
4022     } else {
4023       $options{'description'} = 'Internet services';
4024     }
4025   }
4026
4027   return $self->fake_bop($method, $amount, %options) if $options{'fake'};
4028
4029   eval "use Business::OnlinePayment";  
4030   die $@ if $@;
4031
4032   my $payinfo = exists($options{'payinfo'})
4033                   ? $options{'payinfo'}
4034                   : $self->payinfo;
4035
4036   my %method2payby = (
4037     'CC'     => 'CARD',
4038     'ECHECK' => 'CHEK',
4039     'LEC'    => 'LECB',
4040   );
4041
4042   ###
4043   # check for banned credit card/ACH
4044   ###
4045
4046   my $ban = qsearchs('banned_pay', {
4047     'payby'   => $method2payby{$method},
4048     'payinfo' => md5_base64($payinfo),
4049   } );
4050   return "Banned credit card" if $ban;
4051
4052   ###
4053   # set taxclass and trans_is_recur based on invnum if there is one
4054   ###
4055
4056   my $taxclass = '';
4057   my $trans_is_recur = 0;
4058   if ( $options{'invnum'} ) {
4059
4060     my $cust_bill = qsearchs('cust_bill', { 'invnum' => $options{'invnum'} } );
4061     die "invnum ". $options{'invnum'}. " not found" unless $cust_bill;
4062
4063     my @part_pkg =
4064       map  { $_->part_pkg }
4065       grep { $_ }
4066       map  { $_->cust_pkg }
4067       $cust_bill->cust_bill_pkg;
4068
4069     my @taxclasses = map $_->taxclass, @part_pkg;
4070     $taxclass = $taxclasses[0]
4071       unless grep { $taxclasses[0] ne $_ } @taxclasses; #unless there are
4072                                                         #different taxclasses
4073     $trans_is_recur = 1
4074       if grep { $_->freq ne '0' } @part_pkg;
4075
4076   }
4077
4078   ###
4079   # select a gateway
4080   ###
4081
4082   #look for an agent gateway override first
4083   my $cardtype;
4084   if ( $method eq 'CC' ) {
4085     $cardtype = cardtype($payinfo);
4086   } elsif ( $method eq 'ECHECK' ) {
4087     $cardtype = 'ACH';
4088   } else {
4089     $cardtype = $method;
4090   }
4091
4092   my $override =
4093        qsearchs('agent_payment_gateway', { agentnum => $self->agentnum,
4094                                            cardtype => $cardtype,
4095                                            taxclass => $taxclass,       } )
4096     || qsearchs('agent_payment_gateway', { agentnum => $self->agentnum,
4097                                            cardtype => '',
4098                                            taxclass => $taxclass,       } )
4099     || qsearchs('agent_payment_gateway', { agentnum => $self->agentnum,
4100                                            cardtype => $cardtype,
4101                                            taxclass => '',              } )
4102     || qsearchs('agent_payment_gateway', { agentnum => $self->agentnum,
4103                                            cardtype => '',
4104                                            taxclass => '',              } );
4105
4106   my $payment_gateway = '';
4107   my( $processor, $login, $password, $action, @bop_options );
4108   if ( $override ) { #use a payment gateway override
4109
4110     $payment_gateway = $override->payment_gateway;
4111
4112     $processor   = $payment_gateway->gateway_module;
4113     $login       = $payment_gateway->gateway_username;
4114     $password    = $payment_gateway->gateway_password;
4115     $action      = $payment_gateway->gateway_action;
4116     @bop_options = $payment_gateway->options;
4117
4118   } else { #use the standard settings from the config
4119
4120     ( $processor, $login, $password, $action, @bop_options ) =
4121       $self->default_payment_gateway($method);
4122
4123   }
4124
4125   ###
4126   # massage data
4127   ###
4128
4129   my $address = exists($options{'address1'})
4130                     ? $options{'address1'}
4131                     : $self->address1;
4132   my $address2 = exists($options{'address2'})
4133                     ? $options{'address2'}
4134                     : $self->address2;
4135   $address .= ", ". $address2 if length($address2);
4136
4137   my $o_payname = exists($options{'payname'})
4138                     ? $options{'payname'}
4139                     : $self->payname;
4140   my($payname, $payfirst, $paylast);
4141   if ( $o_payname && $method ne 'ECHECK' ) {
4142     ($payname = $o_payname) =~ /^\s*([\w \,\.\-\']*)?\s+([\w\,\.\-\']+)\s*$/
4143       or return "Illegal payname $payname";
4144     ($payfirst, $paylast) = ($1, $2);
4145   } else {
4146     $payfirst = $self->getfield('first');
4147     $paylast = $self->getfield('last');
4148     $payname =  "$payfirst $paylast";
4149   }
4150
4151   my @invoicing_list = $self->invoicing_list_emailonly;
4152   if ( $conf->exists('emailinvoiceautoalways')
4153        || $conf->exists('emailinvoiceauto') && ! @invoicing_list
4154        || ( $conf->exists('emailinvoiceonly') && ! @invoicing_list ) ) {
4155     push @invoicing_list, $self->all_emails;
4156   }
4157
4158   my $email = ($conf->exists('business-onlinepayment-email-override'))
4159               ? $conf->config('business-onlinepayment-email-override')
4160               : $invoicing_list[0];
4161
4162   my %content = ();
4163
4164   my $payip = exists($options{'payip'})
4165                 ? $options{'payip'}
4166                 : $self->payip;
4167   $content{customer_ip} = $payip
4168     if length($payip);
4169
4170   $content{invoice_number} = $options{'invnum'}
4171     if exists($options{'invnum'}) && length($options{'invnum'});
4172
4173   $content{email_customer} = 
4174     (    $conf->exists('business-onlinepayment-email_customer')
4175       || $conf->exists('business-onlinepayment-email-override') );
4176       
4177   my $paydate = '';
4178   if ( $method eq 'CC' ) { 
4179
4180     $content{card_number} = $payinfo;
4181     $paydate = exists($options{'paydate'})
4182                     ? $options{'paydate'}
4183                     : $self->paydate;
4184     $paydate =~ /^\d{2}(\d{2})[\/\-](\d+)[\/\-]\d+$/;
4185     $content{expiration} = "$2/$1";
4186
4187     my $paycvv = exists($options{'paycvv'})
4188                    ? $options{'paycvv'}
4189                    : $self->paycvv;
4190     $content{cvv2} = $paycvv
4191       if length($paycvv);
4192
4193     my $paystart_month = exists($options{'paystart_month'})
4194                            ? $options{'paystart_month'}
4195                            : $self->paystart_month;
4196
4197     my $paystart_year  = exists($options{'paystart_year'})
4198                            ? $options{'paystart_year'}
4199                            : $self->paystart_year;
4200
4201     $content{card_start} = "$paystart_month/$paystart_year"
4202       if $paystart_month && $paystart_year;
4203
4204     my $payissue       = exists($options{'payissue'})
4205                            ? $options{'payissue'}
4206                            : $self->payissue;
4207     $content{issue_number} = $payissue if $payissue;
4208
4209     if ( $self->_bop_recurring_billing( 'payinfo'        => $payinfo,
4210                                         'trans_is_recur' => $trans_is_recur,
4211                                       )
4212        )
4213     {
4214       $content{recurring_billing} = 'YES';
4215       $content{acct_code} = 'rebill'
4216         if $conf->exists('credit_card-recurring_billing_acct_code');
4217     }
4218
4219   } elsif ( $method eq 'ECHECK' ) {
4220     ( $content{account_number}, $content{routing_code} ) =
4221       split('@', $payinfo);
4222     $content{bank_name} = $o_payname;
4223     $content{bank_state} = exists($options{'paystate'})
4224                              ? $options{'paystate'}
4225                              : $self->getfield('paystate');
4226     $content{account_type} = exists($options{'paytype'})
4227                                ? uc($options{'paytype'}) || 'CHECKING'
4228                                : uc($self->getfield('paytype')) || 'CHECKING';
4229     $content{account_name} = $payname;
4230     $content{customer_org} = $self->company ? 'B' : 'I';
4231     $content{state_id}       = exists($options{'stateid'})
4232                                  ? $options{'stateid'}
4233                                  : $self->getfield('stateid');
4234     $content{state_id_state} = exists($options{'stateid_state'})
4235                                  ? $options{'stateid_state'}
4236                                  : $self->getfield('stateid_state');
4237     $content{customer_ssn} = exists($options{'ss'})
4238                                ? $options{'ss'}
4239                                : $self->ss;
4240   } elsif ( $method eq 'LEC' ) {
4241     $content{phone} = $payinfo;
4242   }
4243
4244   ###
4245   # run transaction(s)
4246   ###
4247
4248   my $balance = exists( $options{'balance'} )
4249                   ? $options{'balance'}
4250                   : $self->balance;
4251
4252   $self->select_for_update; #mutex ... just until we get our pending record in
4253
4254   #the checks here are intended to catch concurrent payments
4255   #double-form-submission prevention is taken care of in cust_pay_pending::check
4256
4257   #check the balance
4258   return "The customer's balance has changed; $method transaction aborted."
4259     if $self->balance < $balance;
4260     #&& $self->balance < $amount; #might as well anyway?
4261
4262   #also check and make sure there aren't *other* pending payments for this cust
4263
4264   my @pending = qsearch('cust_pay_pending', {
4265     'custnum' => $self->custnum,
4266     'status'  => { op=>'!=', value=>'done' } 
4267   });
4268   return "A payment is already being processed for this customer (".
4269          join(', ', map 'paypendingnum '. $_->paypendingnum, @pending ).
4270          "); $method transaction aborted."
4271     if scalar(@pending);
4272
4273   #okay, good to go, if we're a duplicate, cust_pay_pending will kick us out
4274
4275   my $cust_pay_pending = new FS::cust_pay_pending {
4276     'custnum'           => $self->custnum,
4277     #'invnum'            => $options{'invnum'},
4278     'paid'              => $amount,
4279     '_date'             => '',
4280     'payby'             => $method2payby{$method},
4281     'payinfo'           => $payinfo,
4282     'paydate'           => $paydate,
4283     'recurring_billing' => $content{recurring_billing},
4284     'pkgnum'            => $options{'pkgnum'},
4285     'status'            => 'new',
4286     'gatewaynum'        => ( $payment_gateway ? $payment_gateway->gatewaynum : '' ),
4287   };
4288   $cust_pay_pending->payunique( $options{payunique} )
4289     if defined($options{payunique}) && length($options{payunique});
4290   my $cpp_new_err = $cust_pay_pending->insert; #mutex lost when this is inserted
4291   return $cpp_new_err if $cpp_new_err;
4292
4293   my( $action1, $action2 ) = split(/\s*\,\s*/, $action );
4294
4295   my $transaction = new Business::OnlinePayment( $processor, @bop_options );
4296   $transaction->content(
4297     'type'           => $method,
4298     'login'          => $login,
4299     'password'       => $password,
4300     'action'         => $action1,
4301     'description'    => $options{'description'},
4302     'amount'         => $amount,
4303     #'invoice_number' => $options{'invnum'},
4304     'customer_id'    => $self->custnum,
4305     'last_name'      => $paylast,
4306     'first_name'     => $payfirst,
4307     'name'           => $payname,
4308     'address'        => $address,
4309     'city'           => ( exists($options{'city'})
4310                             ? $options{'city'}
4311                             : $self->city          ),
4312     'state'          => ( exists($options{'state'})
4313                             ? $options{'state'}
4314                             : $self->state          ),
4315     'zip'            => ( exists($options{'zip'})
4316                             ? $options{'zip'}
4317                             : $self->zip          ),
4318     'country'        => ( exists($options{'country'})
4319                             ? $options{'country'}
4320                             : $self->country          ),
4321     'referer'        => 'http://cleanwhisker.420.am/', #XXX fix referer :/
4322     'email'          => $email,
4323     'phone'          => $self->daytime || $self->night,
4324     %content, #after
4325   );
4326
4327   $cust_pay_pending->status('pending');
4328   my $cpp_pending_err = $cust_pay_pending->replace;
4329   return $cpp_pending_err if $cpp_pending_err;
4330
4331   #config?
4332   my $BOP_TESTING = 0;
4333   my $BOP_TESTING_SUCCESS = 1;
4334
4335   unless ( $BOP_TESTING ) {
4336     $transaction->submit();
4337   } else {
4338     if ( $BOP_TESTING_SUCCESS ) {
4339       $transaction->is_success(1);
4340       $transaction->authorization('fake auth');
4341     } else {
4342       $transaction->is_success(0);
4343       $transaction->error_message('fake failure');
4344     }
4345   }
4346
4347   if ( $transaction->is_success() && $action2 ) {
4348
4349     $cust_pay_pending->status('authorized');
4350     my $cpp_authorized_err = $cust_pay_pending->replace;
4351     return $cpp_authorized_err if $cpp_authorized_err;
4352
4353     my $auth = $transaction->authorization;
4354     my $ordernum = $transaction->can('order_number')
4355                    ? $transaction->order_number
4356                    : '';
4357
4358     my $capture =
4359       new Business::OnlinePayment( $processor, @bop_options );
4360
4361     my %capture = (
4362       %content,
4363       type           => $method,
4364       action         => $action2,
4365       login          => $login,
4366       password       => $password,
4367       order_number   => $ordernum,
4368       amount         => $amount,
4369       authorization  => $auth,
4370       description    => $options{'description'},
4371     );
4372
4373     foreach my $field (qw( authorization_source_code returned_ACI
4374                            transaction_identifier validation_code           
4375                            transaction_sequence_num local_transaction_date    
4376                            local_transaction_time AVS_result_code          )) {
4377       $capture{$field} = $transaction->$field() if $transaction->can($field);
4378     }
4379
4380     $capture->content( %capture );
4381
4382     $capture->submit();
4383
4384     unless ( $capture->is_success ) {
4385       my $e = "Authorization successful but capture failed, custnum #".
4386               $self->custnum. ': '.  $capture->result_code.
4387               ": ". $capture->error_message;
4388       warn $e;
4389       return $e;
4390     }
4391
4392   }
4393
4394   $cust_pay_pending->status($transaction->is_success() ? 'captured' : 'declined');
4395   my $cpp_captured_err = $cust_pay_pending->replace;
4396   return $cpp_captured_err if $cpp_captured_err;
4397
4398   ###
4399   # remove paycvv after initial transaction
4400   ###
4401
4402   #false laziness w/misc/process/payment.cgi - check both to make sure working
4403   # correctly
4404   if ( defined $self->dbdef_table->column('paycvv')
4405        && length($self->paycvv)
4406        && ! grep { $_ eq cardtype($payinfo) } $conf->config('cvv-save')
4407   ) {
4408     my $error = $self->remove_cvv;
4409     if ( $error ) {
4410       warn "WARNING: error removing cvv: $error\n";
4411     }
4412   }
4413
4414   ###
4415   # result handling
4416   ###
4417
4418   if ( $transaction->is_success() ) {
4419
4420     my $paybatch = '';
4421     if ( $payment_gateway ) { # agent override
4422       $paybatch = $payment_gateway->gatewaynum. '-';
4423     }
4424
4425     $paybatch .= "$processor:". $transaction->authorization;
4426
4427     $paybatch .= ':'. $transaction->order_number
4428       if $transaction->can('order_number')
4429       && length($transaction->order_number);
4430
4431     my $cust_pay = new FS::cust_pay ( {
4432        'custnum'  => $self->custnum,
4433        'invnum'   => $options{'invnum'},
4434        'paid'     => $amount,
4435        '_date'    => '',
4436        'payby'    => $method2payby{$method},
4437        'payinfo'  => $payinfo,
4438        'paybatch' => $paybatch,
4439        'paydate'  => $paydate,
4440        'pkgnum'   => $options{'pkgnum'},
4441     } );
4442     #doesn't hurt to know, even though the dup check is in cust_pay_pending now
4443     $cust_pay->payunique( $options{payunique} )
4444       if defined($options{payunique}) && length($options{payunique});
4445
4446     my $oldAutoCommit = $FS::UID::AutoCommit;
4447     local $FS::UID::AutoCommit = 0;
4448     my $dbh = dbh;
4449
4450     #start a transaction, insert the cust_pay and set cust_pay_pending.status to done in a single transction
4451
4452     my $error = $cust_pay->insert($options{'manual'} ? ( 'manual' => 1 ) : () );
4453
4454     if ( $error ) {
4455       $cust_pay->invnum(''); #try again with no specific invnum
4456       my $error2 = $cust_pay->insert( $options{'manual'} ?
4457                                       ( 'manual' => 1 ) : ()
4458                                     );
4459       if ( $error2 ) {
4460         # gah.  but at least we have a record of the state we had to abort in
4461         # from cust_pay_pending now.
4462         my $e = "WARNING: $method captured but payment not recorded - ".
4463                 "error inserting payment ($processor): $error2".
4464                 " (previously tried insert with invnum #$options{'invnum'}" .
4465                 ": $error ) - pending payment saved as paypendingnum ".
4466                 $cust_pay_pending->paypendingnum. "\n";
4467         warn $e;
4468         return $e;
4469       }
4470     }
4471
4472     if ( $options{'paynum_ref'} ) {
4473       ${ $options{'paynum_ref'} } = $cust_pay->paynum;
4474     }
4475
4476     $cust_pay_pending->status('done');
4477     $cust_pay_pending->statustext('captured');
4478     $cust_pay_pending->paynum($cust_pay->paynum);
4479     my $cpp_done_err = $cust_pay_pending->replace;
4480
4481     if ( $cpp_done_err ) {
4482
4483       $dbh->rollback or die $dbh->errstr if $oldAutoCommit;
4484       my $e = "WARNING: $method captured but payment not recorded - ".
4485               "error updating status for paypendingnum ".
4486               $cust_pay_pending->paypendingnum. ": $cpp_done_err \n";
4487       warn $e;
4488       return $e;
4489
4490     } else {
4491
4492       $dbh->commit or die $dbh->errstr if $oldAutoCommit;
4493
4494       if ( $options{'apply'} ) {
4495         my $apply_error = $self->apply_payments_and_credits;
4496         if ( $apply_error ) {
4497           warn "WARNING: error applying payment: $apply_error\n";
4498           #but we still should return no error cause the payment otherwise went
4499           #through...
4500         }
4501       }
4502
4503       return ''; #no error
4504
4505     }
4506
4507   } else {
4508
4509     my $perror = "$processor error: ". $transaction->error_message;
4510
4511     unless ( $transaction->error_message ) {
4512
4513       my $t_response;
4514       if ( $transaction->can('response_page') ) {
4515         $t_response = {
4516                         'page'    => ( $transaction->can('response_page')
4517                                          ? $transaction->response_page
4518                                          : ''
4519                                      ),
4520                         'code'    => ( $transaction->can('response_code')
4521                                          ? $transaction->response_code
4522                                          : ''
4523                                      ),
4524                         'headers' => ( $transaction->can('response_headers')
4525                                          ? $transaction->response_headers
4526                                          : ''
4527                                      ),
4528                       };
4529       } else {
4530         $t_response .=
4531           "No additional debugging information available for $processor";
4532       }
4533
4534       $perror .= "No error_message returned from $processor -- ".
4535                  ( ref($t_response) ? Dumper($t_response) : $t_response );
4536
4537     }
4538
4539     if ( !$options{'quiet'} && !$realtime_bop_decline_quiet
4540          && $conf->exists('emaildecline')
4541          && grep { $_ ne 'POST' } $self->invoicing_list
4542          && ! grep { $transaction->error_message =~ /$_/ }
4543                    $conf->config('emaildecline-exclude')
4544     ) {
4545       my @templ = $conf->config('declinetemplate');
4546       my $template = new Text::Template (
4547         TYPE   => 'ARRAY',
4548         SOURCE => [ map "$_\n", @templ ],
4549       ) or return "($perror) can't create template: $Text::Template::ERROR";
4550       $template->compile()
4551         or return "($perror) can't compile template: $Text::Template::ERROR";
4552
4553       my $templ_hash = {
4554         'company_name'    =>
4555           scalar( $conf->config('company_name', $self->agentnum ) ),
4556         'company_address' =>
4557           join("\n", $conf->config('company_address', $self->agentnum ) ),
4558         'error'           => $transaction->error_message,
4559       };
4560
4561       my $error = send_email(
4562         'from'    => $conf->config('invoice_from', $self->agentnum ),
4563         'to'      => [ grep { $_ ne 'POST' } $self->invoicing_list ],
4564         'subject' => 'Your payment could not be processed',
4565         'body'    => [ $template->fill_in(HASH => $templ_hash) ],
4566       );
4567
4568       $perror .= " (also received error sending decline notification: $error)"
4569         if $error;
4570
4571     }
4572
4573     $cust_pay_pending->status('done');
4574     $cust_pay_pending->statustext("declined: $perror");
4575     my $cpp_done_err = $cust_pay_pending->replace;
4576     if ( $cpp_done_err ) {
4577       my $e = "WARNING: $method declined but pending payment not resolved - ".
4578               "error updating status for paypendingnum ".
4579               $cust_pay_pending->paypendingnum. ": $cpp_done_err \n";
4580       warn $e;
4581       $perror = "$e ($perror)";
4582     }
4583
4584     return $perror;
4585   }
4586
4587 }
4588
4589 sub _bop_recurring_billing {
4590   my( $self, %opt ) = @_;
4591
4592   my $method = scalar($conf->config('credit_card-recurring_billing_flag'));
4593
4594   if ( defined($method) && $method eq 'transaction_is_recur' ) {
4595
4596     return 1 if $opt{'trans_is_recur'};
4597
4598   } else {
4599
4600     my %hash = ( 'custnum' => $self->custnum,
4601                  'payby'   => 'CARD',
4602                );
4603
4604     return 1 
4605       if qsearch('cust_pay', { %hash, 'payinfo' => $opt{'payinfo'} } )
4606       || qsearch('cust_pay', { %hash, 'paymask' => $self->mask_payinfo('CARD',
4607                                                                $opt{'payinfo'} )
4608                              } );
4609
4610   }
4611
4612   return 0;
4613
4614 }
4615
4616
4617 =item realtime_refund_bop METHOD [ OPTION => VALUE ... ]
4618
4619 Refunds a realtime credit card, ACH (electronic check) or phone bill transaction
4620 via a Business::OnlinePayment realtime gateway.  See
4621 L<http://420.am/business-onlinepayment> for supported gateways.
4622
4623 Available methods are: I<CC>, I<ECHECK> and I<LEC>
4624
4625 Available options are: I<amount>, I<reason>, I<paynum>, I<paydate>
4626
4627 Most gateways require a reference to an original payment transaction to refund,
4628 so you probably need to specify a I<paynum>.
4629
4630 I<amount> defaults to the original amount of the payment if not specified.
4631
4632 I<reason> specifies a reason for the refund.
4633
4634 I<paydate> specifies the expiration date for a credit card overriding the
4635 value from the customer record or the payment record. Specified as yyyy-mm-dd
4636
4637 Implementation note: If I<amount> is unspecified or equal to the amount of the
4638 orignal payment, first an attempt is made to "void" the transaction via
4639 the gateway (to cancel a not-yet settled transaction) and then if that fails,
4640 the normal attempt is made to "refund" ("credit") the transaction via the
4641 gateway is attempted.
4642
4643 #The additional options I<payname>, I<address1>, I<address2>, I<city>, I<state>,
4644 #I<zip>, I<payinfo> and I<paydate> are also available.  Any of these options,
4645 #if set, will override the value from the customer record.
4646
4647 #If an I<invnum> is specified, this payment (if successful) is applied to the
4648 #specified invoice.  If you don't specify an I<invnum> you might want to
4649 #call the B<apply_payments> method.
4650
4651 =cut
4652
4653 #some false laziness w/realtime_bop, not enough to make it worth merging
4654 #but some useful small subs should be pulled out
4655 sub realtime_refund_bop {
4656   my $self = shift;
4657
4658   return $self->_new_realtime_refund_bop(@_)
4659     if $self->_new_bop_required();
4660
4661   my( $method, %options ) = @_;
4662   if ( $DEBUG ) {
4663     warn "$me realtime_refund_bop: $method refund\n";
4664     warn "  $_ => $options{$_}\n" foreach keys %options;
4665   }
4666
4667   eval "use Business::OnlinePayment";  
4668   die $@ if $@;
4669
4670   ###
4671   # look up the original payment and optionally a gateway for that payment
4672   ###
4673
4674   my $cust_pay = '';
4675   my $amount = $options{'amount'};
4676
4677   my( $processor, $login, $password, @bop_options ) ;
4678   my( $auth, $order_number ) = ( '', '', '' );
4679
4680   if ( $options{'paynum'} ) {
4681
4682     warn "  paynum: $options{paynum}\n" if $DEBUG > 1;
4683     $cust_pay = qsearchs('cust_pay', { paynum=>$options{'paynum'} } )
4684       or return "Unknown paynum $options{'paynum'}";
4685     $amount ||= $cust_pay->paid;
4686
4687     $cust_pay->paybatch =~ /^((\d+)\-)?(\w+):\s*([\w\-\/ ]*)(:([\w\-]+))?$/
4688       or return "Can't parse paybatch for paynum $options{'paynum'}: ".
4689                 $cust_pay->paybatch;
4690     my $gatewaynum = '';
4691     ( $gatewaynum, $processor, $auth, $order_number ) = ( $2, $3, $4, $6 );
4692
4693     if ( $gatewaynum ) { #gateway for the payment to be refunded
4694
4695       my $payment_gateway =
4696         qsearchs('payment_gateway', { 'gatewaynum' => $gatewaynum } );
4697       die "payment gateway $gatewaynum not found"
4698         unless $payment_gateway;
4699
4700       $processor   = $payment_gateway->gateway_module;
4701       $login       = $payment_gateway->gateway_username;
4702       $password    = $payment_gateway->gateway_password;
4703       @bop_options = $payment_gateway->options;
4704
4705     } else { #try the default gateway
4706
4707       my( $conf_processor, $unused_action );
4708       ( $conf_processor, $login, $password, $unused_action, @bop_options ) =
4709         $self->default_payment_gateway($method);
4710
4711       return "processor of payment $options{'paynum'} $processor does not".
4712              " match default processor $conf_processor"
4713         unless $processor eq $conf_processor;
4714
4715     }
4716
4717
4718   } else { # didn't specify a paynum, so look for agent gateway overrides
4719            # like a normal transaction 
4720
4721     my $cardtype;
4722     if ( $method eq 'CC' ) {
4723       $cardtype = cardtype($self->payinfo);
4724     } elsif ( $method eq 'ECHECK' ) {
4725       $cardtype = 'ACH';
4726     } else {
4727       $cardtype = $method;
4728     }
4729     my $override =
4730            qsearchs('agent_payment_gateway', { agentnum => $self->agentnum,
4731                                                cardtype => $cardtype,
4732                                                taxclass => '',              } )
4733         || qsearchs('agent_payment_gateway', { agentnum => $self->agentnum,
4734                                                cardtype => '',
4735                                                taxclass => '',              } );
4736
4737     if ( $override ) { #use a payment gateway override
4738  
4739       my $payment_gateway = $override->payment_gateway;
4740
4741       $processor   = $payment_gateway->gateway_module;
4742       $login       = $payment_gateway->gateway_username;
4743       $password    = $payment_gateway->gateway_password;
4744       #$action      = $payment_gateway->gateway_action;
4745       @bop_options = $payment_gateway->options;
4746
4747     } else { #use the standard settings from the config
4748
4749       my $unused_action;
4750       ( $processor, $login, $password, $unused_action, @bop_options ) =
4751         $self->default_payment_gateway($method);
4752
4753     }
4754
4755   }
4756   return "neither amount nor paynum specified" unless $amount;
4757
4758   my %content = (
4759     'type'           => $method,
4760     'login'          => $login,
4761     'password'       => $password,
4762     'order_number'   => $order_number,
4763     'amount'         => $amount,
4764     'referer'        => 'http://cleanwhisker.420.am/', #XXX fix referer :/
4765   );
4766   $content{authorization} = $auth
4767     if length($auth); #echeck/ACH transactions have an order # but no auth
4768                       #(at least with authorize.net)
4769
4770   my $disable_void_after;
4771   if ($conf->exists('disable_void_after')
4772       && $conf->config('disable_void_after') =~ /^(\d+)$/) {
4773     $disable_void_after = $1;
4774   }
4775
4776   #first try void if applicable
4777   if ( $cust_pay && $cust_pay->paid == $amount
4778     && (
4779       ( not defined($disable_void_after) )
4780       || ( time < ($cust_pay->_date + $disable_void_after ) )
4781     )
4782   ) {
4783     warn "  attempting void\n" if $DEBUG > 1;
4784     my $void = new Business::OnlinePayment( $processor, @bop_options );
4785     if ( $void->can('info') ) {
4786       if ( $cust_pay->payby eq 'CARD'
4787            && $void->info('CC_void_requires_card') )
4788       {
4789         $content{'card_number'} = $cust_pay->payinfo
4790       } elsif ( $cust_pay->payby eq 'CHEK'
4791                 && $void->info('ECHECK_void_requires_account') )
4792       {
4793         ( $content{'account_number'}, $content{'routing_code'} ) =
4794           split('@', $cust_pay->payinfo);
4795         $content{'name'} = $self->get('first'). ' '. $self->get('last');
4796       }
4797     }
4798     $void->content( 'action' => 'void', %content );
4799     $void->submit();
4800     if ( $void->is_success ) {
4801       my $error = $cust_pay->void($options{'reason'});
4802       if ( $error ) {
4803         # gah, even with transactions.
4804         my $e = 'WARNING: Card/ACH voided but database not updated - '.
4805                 "error voiding payment: $error";
4806         warn $e;
4807         return $e;
4808       }
4809       warn "  void successful\n" if $DEBUG > 1;
4810       return '';
4811     }
4812   }
4813
4814   warn "  void unsuccessful, trying refund\n"
4815     if $DEBUG > 1;
4816
4817   #massage data
4818   my $address = $self->address1;
4819   $address .= ", ". $self->address2 if $self->address2;
4820
4821   my($payname, $payfirst, $paylast);
4822   if ( $self->payname && $method ne 'ECHECK' ) {
4823     $payname = $self->payname;
4824     $payname =~ /^\s*([\w \,\.\-\']*)?\s+([\w\,\.\-\']+)\s*$/
4825       or return "Illegal payname $payname";
4826     ($payfirst, $paylast) = ($1, $2);
4827   } else {
4828     $payfirst = $self->getfield('first');
4829     $paylast = $self->getfield('last');
4830     $payname =  "$payfirst $paylast";
4831   }
4832
4833   my @invoicing_list = $self->invoicing_list_emailonly;
4834   if ( $conf->exists('emailinvoiceautoalways')
4835        || $conf->exists('emailinvoiceauto') && ! @invoicing_list
4836        || ( $conf->exists('emailinvoiceonly') && ! @invoicing_list ) ) {
4837     push @invoicing_list, $self->all_emails;
4838   }
4839
4840   my $email = ($conf->exists('business-onlinepayment-email-override'))
4841               ? $conf->config('business-onlinepayment-email-override')
4842               : $invoicing_list[0];
4843
4844   my $payip = exists($options{'payip'})
4845                 ? $options{'payip'}
4846                 : $self->payip;
4847   $content{customer_ip} = $payip
4848     if length($payip);
4849
4850   my $payinfo = '';
4851   if ( $method eq 'CC' ) {
4852
4853     if ( $cust_pay ) {
4854       $content{card_number} = $payinfo = $cust_pay->payinfo;
4855       (exists($options{'paydate'}) ? $options{'paydate'} : $cust_pay->paydate)
4856         =~ /^\d{2}(\d{2})[\/\-](\d+)[\/\-]\d+$/ &&
4857         ($content{expiration} = "$2/$1");  # where available
4858     } else {
4859       $content{card_number} = $payinfo = $self->payinfo;
4860       (exists($options{'paydate'}) ? $options{'paydate'} : $self->paydate)
4861         =~ /^\d{2}(\d{2})[\/\-](\d+)[\/\-]\d+$/;
4862       $content{expiration} = "$2/$1";
4863     }
4864
4865   } elsif ( $method eq 'ECHECK' ) {
4866
4867     if ( $cust_pay ) {
4868       $payinfo = $cust_pay->payinfo;
4869     } else {
4870       $payinfo = $self->payinfo;
4871     } 
4872     ( $content{account_number}, $content{routing_code} )= split('@', $payinfo );
4873     $content{bank_name} = $self->payname;
4874     $content{account_type} = 'CHECKING';
4875     $content{account_name} = $payname;
4876     $content{customer_org} = $self->company ? 'B' : 'I';
4877     $content{customer_ssn} = $self->ss;
4878   } elsif ( $method eq 'LEC' ) {
4879     $content{phone} = $payinfo = $self->payinfo;
4880   }
4881
4882   #then try refund
4883   my $refund = new Business::OnlinePayment( $processor, @bop_options );
4884   my %sub_content = $refund->content(
4885     'action'         => 'credit',
4886     'customer_id'    => $self->custnum,
4887     'last_name'      => $paylast,
4888     'first_name'     => $payfirst,
4889     'name'           => $payname,
4890     'address'        => $address,
4891     'city'           => $self->city,
4892     'state'          => $self->state,
4893     'zip'            => $self->zip,
4894     'country'        => $self->country,
4895     'email'          => $email,
4896     'phone'          => $self->daytime || $self->night,
4897     %content, #after
4898   );
4899   warn join('', map { "  $_ => $sub_content{$_}\n" } keys %sub_content )
4900     if $DEBUG > 1;
4901   $refund->submit();
4902
4903   return "$processor error: ". $refund->error_message
4904     unless $refund->is_success();
4905
4906   my %method2payby = (
4907     'CC'     => 'CARD',
4908     'ECHECK' => 'CHEK',
4909     'LEC'    => 'LECB',
4910   );
4911
4912   my $paybatch = "$processor:". $refund->authorization;
4913   $paybatch .= ':'. $refund->order_number
4914     if $refund->can('order_number') && $refund->order_number;
4915
4916   while ( $cust_pay && $cust_pay->unapplied < $amount ) {
4917     my @cust_bill_pay = $cust_pay->cust_bill_pay;
4918     last unless @cust_bill_pay;
4919     my $cust_bill_pay = pop @cust_bill_pay;
4920     my $error = $cust_bill_pay->delete;
4921     last if $error;
4922   }
4923
4924   my $cust_refund = new FS::cust_refund ( {
4925     'custnum'  => $self->custnum,
4926     'paynum'   => $options{'paynum'},
4927     'refund'   => $amount,
4928     '_date'    => '',
4929     'payby'    => $method2payby{$method},
4930     'payinfo'  => $payinfo,
4931     'paybatch' => $paybatch,
4932     'reason'   => $options{'reason'} || 'card or ACH refund',
4933   } );
4934   my $error = $cust_refund->insert;
4935   if ( $error ) {
4936     $cust_refund->paynum(''); #try again with no specific paynum
4937     my $error2 = $cust_refund->insert;
4938     if ( $error2 ) {
4939       # gah, even with transactions.
4940       my $e = 'WARNING: Card/ACH refunded but database not updated - '.
4941               "error inserting refund ($processor): $error2".
4942               " (previously tried insert with paynum #$options{'paynum'}" .
4943               ": $error )";
4944       warn $e;
4945       return $e;
4946     }
4947   }
4948
4949   ''; #no error
4950
4951 }
4952
4953 # does the configuration indicate the new bop routines are required?
4954
4955 sub _new_bop_required {
4956   my $self = shift;
4957
4958   my $botpp = 'Business::OnlineThirdPartyPayment';
4959
4960   return 1
4961     if (   (     $conf->exists('business-onlinepayment-namespace')
4962              &&  $conf->config('business-onlinepayment-namespace') eq $botpp
4963            )
4964          or scalar( grep { $_->gateway_namespace eq $botpp } 
4965                     qsearch( 'payment_gateway', { 'disabled' => '' } )
4966                   )
4967        )
4968   ;
4969
4970   '';
4971 }
4972   
4973 =item realtime_collect [ OPTION => VALUE ... ]
4974
4975 Runs a realtime credit card, ACH (electronic check) or phone bill transaction
4976 via a Business::OnlinePayment or Business::OnlineThirdPartyPayment realtime
4977 gateway.  See L<http://420.am/business-onlinepayment> and 
4978 L<http://420.am/business-onlinethirdpartypayment> for supported gateways.
4979
4980 On failure returns an error message.
4981
4982 Returns false or a hashref upon success.  The hashref contains keys popup_url reference, and collectitems.  The first is a URL to which a browser should be redirected for completion of collection.  The second is a reference id for the transaction suitable for the end user.  The collectitems is a reference to a list of name value pairs suitable for assigning to a html form and posted to popup_url.
4983
4984 Available options are: I<method>, I<amount>, I<description>, I<invnum>, I<quiet>, I<paynum_ref>, I<payunique>, I<session_id>, I<pkgnum>
4985
4986 I<method> is one of: I<CC>, I<ECHECK> and I<LEC>.  If none is specified
4987 then it is deduced from the customer record.
4988
4989 If no I<amount> is specified, then the customer balance is used.
4990
4991 The additional options I<payname>, I<address1>, I<address2>, I<city>, I<state>,
4992 I<zip>, I<payinfo> and I<paydate> are also available.  Any of these options,
4993 if set, will override the value from the customer record.
4994
4995 I<description> is a free-text field passed to the gateway.  It defaults to
4996 the value defined by the business-onlinepayment-description configuration
4997 option, or "Internet services" if that is unset.
4998
4999 If an I<invnum> is specified, this payment (if successful) is applied to the
5000 specified invoice.  If you don't specify an I<invnum> you might want to
5001 call the B<apply_payments> method or set the I<apply> option.
5002
5003 I<apply> can be set to true to apply a resulting payment.
5004
5005 I<quiet> can be set true to surpress email decline notices.
5006
5007 I<paynum_ref> can be set to a scalar reference.  It will be filled in with the
5008 resulting paynum, if any.
5009
5010 I<payunique> is a unique identifier for this payment.
5011
5012 I<session_id> is a session identifier associated with this payment.
5013
5014 I<depend_jobnum> allows payment capture to unlock export jobs
5015
5016 =cut
5017
5018 sub realtime_collect {
5019   my( $self, %options ) = @_;
5020
5021   if ( $DEBUG ) {
5022     warn "$me realtime_collect:\n";
5023     warn "  $_ => $options{$_}\n" foreach keys %options;
5024   }
5025
5026   $options{amount} = $self->balance unless exists( $options{amount} );
5027   $options{method} = FS::payby->payby2bop($self->payby)
5028     unless exists( $options{method} );
5029
5030   return $self->realtime_bop({%options});
5031
5032 }
5033
5034 =item _realtime_bop { [ ARG => VALUE ... ] }
5035
5036 Runs a realtime credit card, ACH (electronic check) or phone bill transaction
5037 via a Business::OnlinePayment realtime gateway.  See
5038 L<http://420.am/business-onlinepayment> for supported gateways.
5039
5040 Required arguments in the hashref are I<method>, and I<amount>
5041
5042 Available methods are: I<CC>, I<ECHECK> and I<LEC>
5043
5044 Available optional arguments are: I<description>, I<invnum>, I<quiet>, I<paynum_ref>, I<payunique>, I<session_id>
5045
5046 The additional options I<payname>, I<address1>, I<address2>, I<city>, I<state>,
5047 I<zip>, I<payinfo> and I<paydate> are also available.  Any of these options,
5048 if set, will override the value from the customer record.
5049
5050 I<description> is a free-text field passed to the gateway.  It defaults to
5051 the value defined by the business-onlinepayment-description configuration
5052 option, or "Internet services" if that is unset.
5053
5054 If an I<invnum> is specified, this payment (if successful) is applied to the
5055 specified invoice.  If you don't specify an I<invnum> you might want to
5056 call the B<apply_payments> method.
5057
5058 I<quiet> can be set true to surpress email decline notices.
5059
5060 I<paynum_ref> can be set to a scalar reference.  It will be filled in with the
5061 resulting paynum, if any.
5062
5063 I<payunique> is a unique identifier for this payment.
5064
5065 I<session_id> is a session identifier associated with this payment.
5066
5067 I<depend_jobnum> allows payment capture to unlock export jobs
5068
5069 (moved from cust_bill) (probably should get realtime_{card,ach,lec} here too)
5070
5071 =cut
5072
5073 # some helper routines
5074 sub _payment_gateway {
5075   my ($self, $options) = @_;
5076
5077   $options->{payment_gateway} = $self->agent->payment_gateway( %$options )
5078     unless exists($options->{payment_gateway});
5079
5080   $options->{payment_gateway};
5081 }
5082
5083 sub _bop_auth {
5084   my ($self, $options) = @_;
5085
5086   (
5087     'login'    => $options->{payment_gateway}->gateway_username,
5088     'password' => $options->{payment_gateway}->gateway_password,
5089   );
5090 }
5091
5092 sub _bop_options {
5093   my ($self, $options) = @_;
5094
5095   $options->{payment_gateway}->gatewaynum
5096     ? $options->{payment_gateway}->options
5097     : @{ $options->{payment_gateway}->get('options') };
5098 }
5099
5100 sub _bop_defaults {
5101   my ($self, $options) = @_;
5102
5103   unless ( $options->{'description'} ) {
5104     if ( $conf->exists('business-onlinepayment-description') ) {
5105       my $dtempl = $conf->config('business-onlinepayment-description');
5106
5107       my $agent = $self->agent->agent;
5108       #$pkgs... not here
5109       $options->{'description'} = eval qq("$dtempl");
5110     } else {
5111       $options->{'description'} = 'Internet services';
5112     }
5113   }
5114
5115   $options->{payinfo} = $self->payinfo unless exists( $options->{payinfo} );
5116   $options->{invnum} ||= '';
5117   $options->{payname} = $self->payname unless exists( $options->{payname} );
5118 }
5119
5120 sub _bop_content {
5121   my ($self, $options) = @_;
5122   my %content = ();
5123
5124   $content{address} = exists($options->{'address1'})
5125                         ? $options->{'address1'}
5126                         : $self->address1;
5127   my $address2 = exists($options->{'address2'})
5128                    ? $options->{'address2'}
5129                    : $self->address2;
5130   $content{address} .= ", ". $address2 if length($address2);
5131
5132   my $payip = exists($options->{'payip'}) ? $options->{'payip'} : $self->payip;
5133   $content{customer_ip} = $payip if length($payip);
5134
5135   $content{invoice_number} = $options->{'invnum'}
5136     if exists($options->{'invnum'}) && length($options->{'invnum'});
5137
5138   $content{email_customer} = 
5139     (    $conf->exists('business-onlinepayment-email_customer')
5140       || $conf->exists('business-onlinepayment-email-override') );
5141       
5142   $content{payfirst} = $self->getfield('first');
5143   $content{paylast} = $self->getfield('last');
5144
5145   $content{account_name} = "$content{payfirst} $content{paylast}"
5146     if $options->{method} eq 'ECHECK';
5147
5148   $content{name} = $options->{payname};
5149   $content{name} = $content{account_name} if exists($content{account_name});
5150
5151   $content{city} = exists($options->{city})
5152                      ? $options->{city}
5153                      : $self->city;
5154   $content{state} = exists($options->{state})
5155                       ? $options->{state}
5156                       : $self->state;
5157   $content{zip} = exists($options->{zip})
5158                     ? $options->{'zip'}
5159                     : $self->zip;
5160   $content{country} = exists($options->{country})
5161                         ? $options->{country}
5162                         : $self->country;
5163   $content{referer} = 'http://cleanwhisker.420.am/'; #XXX fix referer :/
5164   $content{phone} = $self->daytime || $self->night;
5165
5166   (%content);
5167 }
5168
5169 my %bop_method2payby = (
5170   'CC'     => 'CARD',
5171   'ECHECK' => 'CHEK',
5172   'LEC'    => 'LECB',
5173 );
5174
5175 sub _new_realtime_bop {
5176   my $self = shift;
5177
5178   my %options = ();
5179   if (ref($_[0]) eq 'HASH') {
5180     %options = %{$_[0]};
5181   } else {
5182     my ( $method, $amount ) = ( shift, shift );
5183     %options = @_;
5184     $options{method} = $method;
5185     $options{amount} = $amount;
5186   }
5187   
5188   if ( $DEBUG ) {
5189     warn "$me realtime_bop (new): $options{method} $options{amount}\n";
5190     warn "  $_ => $options{$_}\n" foreach keys %options;
5191   }
5192
5193   return $self->fake_bop(%options) if $options{'fake'};
5194
5195   $self->_bop_defaults(\%options);
5196
5197   ###
5198   # set trans_is_recur based on invnum if there is one
5199   ###
5200
5201   my $trans_is_recur = 0;
5202   if ( $options{'invnum'} ) {
5203
5204     my $cust_bill = qsearchs('cust_bill', { 'invnum' => $options{'invnum'} } );
5205     die "invnum ". $options{'invnum'}. " not found" unless $cust_bill;
5206
5207     my @part_pkg =
5208       map  { $_->part_pkg }
5209       grep { $_ }
5210       map  { $_->cust_pkg }
5211       $cust_bill->cust_bill_pkg;
5212
5213     $trans_is_recur = 1
5214       if grep { $_->freq ne '0' } @part_pkg;
5215
5216   }
5217
5218   ###
5219   # select a gateway
5220   ###
5221
5222   my $payment_gateway =  $self->_payment_gateway( \%options );
5223   my $namespace = $payment_gateway->gateway_namespace;
5224
5225   eval "use $namespace";  
5226   die $@ if $@;
5227
5228   ###
5229   # check for banned credit card/ACH
5230   ###
5231
5232   my $ban = qsearchs('banned_pay', {
5233     'payby'   => $bop_method2payby{$options{method}},
5234     'payinfo' => md5_base64($options{payinfo}),
5235   } );
5236   return "Banned credit card" if $ban;
5237
5238   ###
5239   # massage data
5240   ###
5241
5242   my (%bop_content) = $self->_bop_content(\%options);
5243
5244   if ( $options{method} ne 'ECHECK' ) {
5245     $options{payname} =~ /^\s*([\w \,\.\-\']*)?\s+([\w\,\.\-\']+)\s*$/
5246       or return "Illegal payname $options{payname}";
5247     ($bop_content{payfirst}, $bop_content{paylast}) = ($1, $2);
5248   }
5249
5250   my @invoicing_list = $self->invoicing_list_emailonly;
5251   if ( $conf->exists('emailinvoiceautoalways')
5252        || $conf->exists('emailinvoiceauto') && ! @invoicing_list
5253        || ( $conf->exists('emailinvoiceonly') && ! @invoicing_list ) ) {
5254     push @invoicing_list, $self->all_emails;
5255   }
5256
5257   my $email = ($conf->exists('business-onlinepayment-email-override'))
5258               ? $conf->config('business-onlinepayment-email-override')
5259               : $invoicing_list[0];
5260
5261   my $paydate = '';
5262   my %content = ();
5263   if ( $namespace eq 'Business::OnlinePayment' && $options{method} eq 'CC' ) {
5264
5265     $content{card_number} = $options{payinfo};
5266     $paydate = exists($options{'paydate'})
5267                     ? $options{'paydate'}
5268                     : $self->paydate;
5269     $paydate =~ /^\d{2}(\d{2})[\/\-](\d+)[\/\-]\d+$/;
5270     $content{expiration} = "$2/$1";
5271
5272     my $paycvv = exists($options{'paycvv'})
5273                    ? $options{'paycvv'}
5274                    : $self->paycvv;
5275     $content{cvv2} = $paycvv
5276       if length($paycvv);
5277
5278     my $paystart_month = exists($options{'paystart_month'})
5279                            ? $options{'paystart_month'}
5280                            : $self->paystart_month;
5281
5282     my $paystart_year  = exists($options{'paystart_year'})
5283                            ? $options{'paystart_year'}
5284                            : $self->paystart_year;
5285
5286     $content{card_start} = "$paystart_month/$paystart_year"
5287       if $paystart_month && $paystart_year;
5288
5289     my $payissue       = exists($options{'payissue'})
5290                            ? $options{'payissue'}
5291                            : $self->payissue;
5292     $content{issue_number} = $payissue if $payissue;
5293
5294     if ( $self->_bop_recurring_billing( 'payinfo'        => $options{'payinfo'},
5295                                         'trans_is_recur' => $trans_is_recur,
5296                                       )
5297        )
5298     {
5299       $content{recurring_billing} = 'YES';
5300       $content{acct_code} = 'rebill'
5301         if $conf->exists('credit_card-recurring_billing_acct_code');
5302     }
5303
5304   } elsif ( $namespace eq 'Business::OnlinePayment' && $options{method} eq 'ECHECK' ){
5305     ( $content{account_number}, $content{routing_code} ) =
5306       split('@', $options{payinfo});
5307     $content{bank_name} = $options{payname};
5308     $content{bank_state} = exists($options{'paystate'})
5309                              ? $options{'paystate'}
5310                              : $self->getfield('paystate');
5311     $content{account_type} = exists($options{'paytype'})
5312                                ? uc($options{'paytype'}) || 'CHECKING'
5313                                : uc($self->getfield('paytype')) || 'CHECKING';
5314     $content{customer_org} = $self->company ? 'B' : 'I';
5315     $content{state_id}       = exists($options{'stateid'})
5316                                  ? $options{'stateid'}
5317                                  : $self->getfield('stateid');
5318     $content{state_id_state} = exists($options{'stateid_state'})
5319                                  ? $options{'stateid_state'}
5320                                  : $self->getfield('stateid_state');
5321     $content{customer_ssn} = exists($options{'ss'})
5322                                ? $options{'ss'}
5323                                : $self->ss;
5324   } elsif ( $namespace eq 'Business::OnlinePayment' && $options{method} eq 'LEC' ) {
5325     $content{phone} = $options{payinfo};
5326   } elsif ( $namespace eq 'Business::OnlineThirdPartyPayment' ) {
5327     #move along
5328   } else {
5329     #die an evil death
5330   }
5331
5332   ###
5333   # run transaction(s)
5334   ###
5335
5336   my $balance = exists( $options{'balance'} )
5337                   ? $options{'balance'}
5338                   : $self->balance;
5339
5340   $self->select_for_update; #mutex ... just until we get our pending record in
5341
5342   #the checks here are intended to catch concurrent payments
5343   #double-form-submission prevention is taken care of in cust_pay_pending::check
5344
5345   #check the balance
5346   return "The customer's balance has changed; $options{method} transaction aborted."
5347     if $self->balance < $balance;
5348     #&& $self->balance < $options{amount}; #might as well anyway?
5349
5350   #also check and make sure there aren't *other* pending payments for this cust
5351
5352   my @pending = qsearch('cust_pay_pending', {
5353     'custnum' => $self->custnum,
5354     'status'  => { op=>'!=', value=>'done' } 
5355   });
5356   return "A payment is already being processed for this customer (".
5357          join(', ', map 'paypendingnum '. $_->paypendingnum, @pending ).
5358          "); $options{method} transaction aborted."
5359     if scalar(@pending);
5360
5361   #okay, good to go, if we're a duplicate, cust_pay_pending will kick us out
5362
5363   my $cust_pay_pending = new FS::cust_pay_pending {
5364     'custnum'           => $self->custnum,
5365     #'invnum'            => $options{'invnum'},
5366     'paid'              => $options{amount},
5367     '_date'             => '',
5368     'payby'             => $bop_method2payby{$options{method}},
5369     'payinfo'           => $options{payinfo},
5370     'paydate'           => $paydate,
5371     'recurring_billing' => $content{recurring_billing},
5372     'pkgnum'            => $options{'pkgnum'},
5373     'status'            => 'new',
5374     'gatewaynum'        => $payment_gateway->gatewaynum || '',
5375     'session_id'        => $options{session_id} || '',
5376     'jobnum'            => $options{depend_jobnum} || '',
5377   };
5378   $cust_pay_pending->payunique( $options{payunique} )
5379     if defined($options{payunique}) && length($options{payunique});
5380   my $cpp_new_err = $cust_pay_pending->insert; #mutex lost when this is inserted
5381   return $cpp_new_err if $cpp_new_err;
5382
5383   my( $action1, $action2 ) =
5384     split( /\s*\,\s*/, $payment_gateway->gateway_action );
5385
5386   my $transaction = new $namespace( $payment_gateway->gateway_module,
5387                                     $self->_bop_options(\%options),
5388                                   );
5389
5390   $transaction->content(
5391     'type'           => $options{method},
5392     $self->_bop_auth(\%options),          
5393     'action'         => $action1,
5394     'description'    => $options{'description'},
5395     'amount'         => $options{amount},
5396     #'invoice_number' => $options{'invnum'},
5397     'customer_id'    => $self->custnum,
5398     %bop_content,
5399     'reference'      => $cust_pay_pending->paypendingnum, #for now
5400     'email'          => $email,
5401     %content, #after
5402   );
5403
5404   $cust_pay_pending->status('pending');
5405   my $cpp_pending_err = $cust_pay_pending->replace;
5406   return $cpp_pending_err if $cpp_pending_err;
5407
5408   #config?
5409   my $BOP_TESTING = 0;
5410   my $BOP_TESTING_SUCCESS = 1;
5411
5412   unless ( $BOP_TESTING ) {
5413     $transaction->submit();
5414   } else {
5415     if ( $BOP_TESTING_SUCCESS ) {
5416       $transaction->is_success(1);
5417       $transaction->authorization('fake auth');
5418     } else {
5419       $transaction->is_success(0);
5420       $transaction->error_message('fake failure');
5421     }
5422   }
5423
5424   if ( $transaction->is_success() && $namespace eq 'Business::OnlineThirdPartyPayment' ) {
5425
5426     return { reference => $cust_pay_pending->paypendingnum,
5427              map { $_ => $transaction->$_ } qw ( popup_url collectitems ) };
5428
5429   } elsif ( $transaction->is_success() && $action2 ) {
5430
5431     $cust_pay_pending->status('authorized');
5432     my $cpp_authorized_err = $cust_pay_pending->replace;
5433     return $cpp_authorized_err if $cpp_authorized_err;
5434
5435     my $auth = $transaction->authorization;
5436     my $ordernum = $transaction->can('order_number')
5437                    ? $transaction->order_number
5438                    : '';
5439
5440     my $capture =
5441       new Business::OnlinePayment( $payment_gateway->gateway_module,
5442                                    $self->_bop_options(\%options),
5443                                  );
5444
5445     my %capture = (
5446       %content,
5447       type           => $options{method},
5448       action         => $action2,
5449       $self->_bop_auth(\%options),          
5450       order_number   => $ordernum,
5451       amount         => $options{amount},
5452       authorization  => $auth,
5453       description    => $options{'description'},
5454     );
5455
5456     foreach my $field (qw( authorization_source_code returned_ACI
5457                            transaction_identifier validation_code           
5458                            transaction_sequence_num local_transaction_date    
5459                            local_transaction_time AVS_result_code          )) {
5460       $capture{$field} = $transaction->$field() if $transaction->can($field);
5461     }
5462
5463     $capture->content( %capture );
5464
5465     $capture->submit();
5466
5467     unless ( $capture->is_success ) {
5468       my $e = "Authorization successful but capture failed, custnum #".
5469               $self->custnum. ': '.  $capture->result_code.
5470               ": ". $capture->error_message;
5471       warn $e;
5472       return $e;
5473     }
5474
5475   }
5476
5477   ###
5478   # remove paycvv after initial transaction
5479   ###
5480
5481   #false laziness w/misc/process/payment.cgi - check both to make sure working
5482   # correctly
5483   if ( defined $self->dbdef_table->column('paycvv')
5484        && length($self->paycvv)
5485        && ! grep { $_ eq cardtype($options{payinfo}) } $conf->config('cvv-save')
5486   ) {
5487     my $error = $self->remove_cvv;
5488     if ( $error ) {
5489       warn "WARNING: error removing cvv: $error\n";
5490     }
5491   }
5492
5493   ###
5494   # result handling
5495   ###
5496
5497   $self->_realtime_bop_result( $cust_pay_pending, $transaction, %options );
5498
5499 }
5500
5501 =item fake_bop
5502
5503 =cut
5504
5505 sub fake_bop {
5506   my $self = shift;
5507
5508   my %options = ();
5509   if (ref($_[0]) eq 'HASH') {
5510     %options = %{$_[0]};
5511   } else {
5512     my ( $method, $amount ) = ( shift, shift );
5513     %options = @_;
5514     $options{method} = $method;
5515     $options{amount} = $amount;
5516   }
5517   
5518   if ( $options{'fake_failure'} ) {
5519      return "Error: No error; test failure requested with fake_failure";
5520   }
5521
5522   #my $paybatch = '';
5523   #if ( $payment_gateway->gatewaynum ) { # agent override
5524   #  $paybatch = $payment_gateway->gatewaynum. '-';
5525   #}
5526   #
5527   #$paybatch .= "$processor:". $transaction->authorization;
5528   #
5529   #$paybatch .= ':'. $transaction->order_number
5530   #  if $transaction->can('order_number')
5531   #  && length($transaction->order_number);
5532
5533   my $paybatch = 'FakeProcessor:54:32';
5534
5535   my $cust_pay = new FS::cust_pay ( {
5536      'custnum'  => $self->custnum,
5537      'invnum'   => $options{'invnum'},
5538      'paid'     => $options{amount},
5539      '_date'    => '',
5540      'payby'    => $bop_method2payby{$options{method}},
5541      #'payinfo'  => $payinfo,
5542      'payinfo'  => '4111111111111111',
5543      'paybatch' => $paybatch,
5544      #'paydate'  => $paydate,
5545      'paydate'  => '2012-05-01',
5546   } );
5547   $cust_pay->payunique( $options{payunique} ) if length($options{payunique});
5548
5549   my $error = $cust_pay->insert($options{'manual'} ? ( 'manual' => 1 ) : () );
5550
5551   if ( $error ) {
5552     $cust_pay->invnum(''); #try again with no specific invnum
5553     my $error2 = $cust_pay->insert( $options{'manual'} ?
5554                                     ( 'manual' => 1 ) : ()
5555                                   );
5556     if ( $error2 ) {
5557       # gah, even with transactions.
5558       my $e = 'WARNING: Card/ACH debited but database not updated - '.
5559               "error inserting (fake!) payment: $error2".
5560               " (previously tried insert with invnum #$options{'invnum'}" .
5561               ": $error )";
5562       warn $e;
5563       return $e;
5564     }
5565   }
5566
5567   if ( $options{'paynum_ref'} ) {
5568     ${ $options{'paynum_ref'} } = $cust_pay->paynum;
5569   }
5570
5571   return ''; #no error
5572
5573 }
5574
5575
5576 # item _realtime_bop_result CUST_PAY_PENDING, BOP_OBJECT [ OPTION => VALUE ... ]
5577
5578 # Wraps up processing of a realtime credit card, ACH (electronic check) or
5579 # phone bill transaction.
5580
5581 sub _realtime_bop_result {
5582   my( $self, $cust_pay_pending, $transaction, %options ) = @_;
5583   if ( $DEBUG ) {
5584     warn "$me _realtime_bop_result: pending transaction ".
5585       $cust_pay_pending->paypendingnum. "\n";
5586     warn "  $_ => $options{$_}\n" foreach keys %options;
5587   }
5588
5589   my $payment_gateway = $options{payment_gateway}
5590     or return "no payment gateway in arguments to _realtime_bop_result";
5591
5592   $cust_pay_pending->status($transaction->is_success() ? 'captured' : 'declined');
5593   my $cpp_captured_err = $cust_pay_pending->replace;
5594   return $cpp_captured_err if $cpp_captured_err;
5595
5596   if ( $transaction->is_success() ) {
5597
5598     my $paybatch = '';
5599     if ( $payment_gateway->gatewaynum ) { # agent override
5600       $paybatch = $payment_gateway->gatewaynum. '-';
5601     }
5602
5603     $paybatch .= $payment_gateway->gateway_module. ":".
5604       $transaction->authorization;
5605
5606     $paybatch .= ':'. $transaction->order_number
5607       if $transaction->can('order_number')
5608       && length($transaction->order_number);
5609
5610     my $cust_pay = new FS::cust_pay ( {
5611        'custnum'  => $self->custnum,
5612        'invnum'   => $options{'invnum'},
5613        'paid'     => $cust_pay_pending->paid,
5614        '_date'    => '',
5615        'payby'    => $cust_pay_pending->payby,
5616        #'payinfo'  => $payinfo,
5617        'paybatch' => $paybatch,
5618        'paydate'  => $cust_pay_pending->paydate,
5619        'pkgnum'   => $cust_pay_pending->pkgnum,
5620     } );
5621     #doesn't hurt to know, even though the dup check is in cust_pay_pending now
5622     $cust_pay->payunique( $options{payunique} )
5623       if defined($options{payunique}) && length($options{payunique});
5624
5625     my $oldAutoCommit = $FS::UID::AutoCommit;
5626     local $FS::UID::AutoCommit = 0;
5627     my $dbh = dbh;
5628
5629     #start a transaction, insert the cust_pay and set cust_pay_pending.status to done in a single transction
5630
5631     my $error = $cust_pay->insert($options{'manual'} ? ( 'manual' => 1 ) : () );
5632
5633     if ( $error ) {
5634       $cust_pay->invnum(''); #try again with no specific invnum
5635       my $error2 = $cust_pay->insert( $options{'manual'} ?
5636                                       ( 'manual' => 1 ) : ()
5637                                     );
5638       if ( $error2 ) {
5639         # gah.  but at least we have a record of the state we had to abort in
5640         # from cust_pay_pending now.
5641         my $e = "WARNING: $options{method} captured but payment not recorded -".
5642                 " error inserting payment (". $payment_gateway->gateway_module.
5643                 "): $error2".
5644                 " (previously tried insert with invnum #$options{'invnum'}" .
5645                 ": $error ) - pending payment saved as paypendingnum ".
5646                 $cust_pay_pending->paypendingnum. "\n";
5647         warn $e;
5648         return $e;
5649       }
5650     }
5651
5652     my $jobnum = $cust_pay_pending->jobnum;
5653     if ( $jobnum ) {
5654        my $placeholder = qsearchs( 'queue', { 'jobnum' => $jobnum } );
5655       
5656        unless ( $placeholder ) {
5657          $dbh->rollback or die $dbh->errstr if $oldAutoCommit;
5658          my $e = "WARNING: $options{method} captured but job $jobnum not ".
5659              "found for paypendingnum ". $cust_pay_pending->paypendingnum. "\n";
5660          warn $e;
5661          return $e;
5662        }
5663
5664        $error = $placeholder->delete;
5665
5666        if ( $error ) {
5667          $dbh->rollback or die $dbh->errstr if $oldAutoCommit;
5668          my $e = "WARNING: $options{method} captured but could not delete ".
5669               "job $jobnum for paypendingnum ".
5670               $cust_pay_pending->paypendingnum. ": $error\n";
5671          warn $e;
5672          return $e;
5673        }
5674
5675     }
5676     
5677     if ( $options{'paynum_ref'} ) {
5678       ${ $options{'paynum_ref'} } = $cust_pay->paynum;
5679     }
5680
5681     $cust_pay_pending->status('done');
5682     $cust_pay_pending->statustext('captured');
5683     $cust_pay_pending->paynum($cust_pay->paynum);
5684     my $cpp_done_err = $cust_pay_pending->replace;
5685
5686     if ( $cpp_done_err ) {
5687
5688       $dbh->rollback or die $dbh->errstr if $oldAutoCommit;
5689       my $e = "WARNING: $options{method} captured but payment not recorded - ".
5690               "error updating status for paypendingnum ".
5691               $cust_pay_pending->paypendingnum. ": $cpp_done_err \n";
5692       warn $e;
5693       return $e;
5694
5695     } else {
5696
5697       $dbh->commit or die $dbh->errstr if $oldAutoCommit;
5698
5699       if ( $options{'apply'} ) {
5700         my $apply_error = $self->apply_payments_and_credits;
5701         if ( $apply_error ) {
5702           warn "WARNING: error applying payment: $apply_error\n";
5703           #but we still should return no error cause the payment otherwise went
5704           #through...
5705         }
5706       }
5707
5708       return ''; #no error
5709
5710     }
5711
5712   } else {
5713
5714     my $perror = $payment_gateway->gateway_module. " error: ".
5715       $transaction->error_message;
5716
5717     my $jobnum = $cust_pay_pending->jobnum;
5718     if ( $jobnum ) {
5719        my $placeholder = qsearchs( 'queue', { 'jobnum' => $jobnum } );
5720       
5721        if ( $placeholder ) {
5722          my $error = $placeholder->depended_delete;
5723          $error ||= $placeholder->delete;
5724          warn "error removing provisioning jobs after declined paypendingnum ".
5725            $cust_pay_pending->paypendingnum. "\n";
5726        } else {
5727          my $e = "error finding job $jobnum for declined paypendingnum ".
5728               $cust_pay_pending->paypendingnum. "\n";
5729          warn $e;
5730        }
5731
5732     }
5733     
5734     unless ( $transaction->error_message ) {
5735
5736       my $t_response;
5737       if ( $transaction->can('response_page') ) {
5738         $t_response = {
5739                         'page'    => ( $transaction->can('response_page')
5740                                          ? $transaction->response_page
5741                                          : ''
5742                                      ),
5743                         'code'    => ( $transaction->can('response_code')
5744                                          ? $transaction->response_code
5745                                          : ''
5746                                      ),
5747                         'headers' => ( $transaction->can('response_headers')
5748                                          ? $transaction->response_headers
5749                                          : ''
5750                                      ),
5751                       };
5752       } else {
5753         $t_response .=
5754           "No additional debugging information available for ".
5755             $payment_gateway->gateway_module;
5756       }
5757
5758       $perror .= "No error_message returned from ".
5759                    $payment_gateway->gateway_module. " -- ".
5760                  ( ref($t_response) ? Dumper($t_response) : $t_response );
5761
5762     }
5763
5764     if ( !$options{'quiet'} && !$realtime_bop_decline_quiet
5765          && $conf->exists('emaildecline')
5766          && grep { $_ ne 'POST' } $self->invoicing_list
5767          && ! grep { $transaction->error_message =~ /$_/ }
5768                    $conf->config('emaildecline-exclude')
5769     ) {
5770       my @templ = $conf->config('declinetemplate');
5771       my $template = new Text::Template (
5772         TYPE   => 'ARRAY',
5773         SOURCE => [ map "$_\n", @templ ],
5774       ) or return "($perror) can't create template: $Text::Template::ERROR";
5775       $template->compile()
5776         or return "($perror) can't compile template: $Text::Template::ERROR";
5777
5778       my $templ_hash = {
5779         'company_name'    =>
5780           scalar( $conf->config('company_name', $self->agentnum ) ),
5781         'company_address' =>
5782           join("\n", $conf->config('company_address', $self->agentnum ) ),
5783         'error'           => $transaction->error_message,
5784       };
5785
5786       my $error = send_email(
5787         'from'    => $conf->config('invoice_from', $self->agentnum ),
5788         'to'      => [ grep { $_ ne 'POST' } $self->invoicing_list ],
5789         'subject' => 'Your payment could not be processed',
5790         'body'    => [ $template->fill_in(HASH => $templ_hash) ],
5791       );
5792
5793       $perror .= " (also received error sending decline notification: $error)"
5794         if $error;
5795
5796     }
5797
5798     $cust_pay_pending->status('done');
5799     $cust_pay_pending->statustext("declined: $perror");
5800     my $cpp_done_err = $cust_pay_pending->replace;
5801     if ( $cpp_done_err ) {
5802       my $e = "WARNING: $options{method} declined but pending payment not ".
5803               "resolved - error updating status for paypendingnum ".
5804               $cust_pay_pending->paypendingnum. ": $cpp_done_err \n";
5805       warn $e;
5806       $perror = "$e ($perror)";
5807     }
5808
5809     return $perror;
5810   }
5811
5812 }
5813
5814 =item realtime_botpp_capture CUST_PAY_PENDING [ OPTION => VALUE ... ]
5815
5816 Verifies successful third party processing of a realtime credit card,
5817 ACH (electronic check) or phone bill transaction via a
5818 Business::OnlineThirdPartyPayment realtime gateway.  See
5819 L<http://420.am/business-onlinethirdpartypayment> for supported gateways.
5820
5821 Available options are: I<description>, I<invnum>, I<quiet>, I<paynum_ref>, I<payunique>
5822
5823 The additional options I<payname>, I<city>, I<state>,
5824 I<zip>, I<payinfo> and I<paydate> are also available.  Any of these options,
5825 if set, will override the value from the customer record.
5826
5827 I<description> is a free-text field passed to the gateway.  It defaults to
5828 "Internet services".
5829
5830 If an I<invnum> is specified, this payment (if successful) is applied to the
5831 specified invoice.  If you don't specify an I<invnum> you might want to
5832 call the B<apply_payments> method.
5833
5834 I<quiet> can be set true to surpress email decline notices.
5835
5836 I<paynum_ref> can be set to a scalar reference.  It will be filled in with the
5837 resulting paynum, if any.
5838
5839 I<payunique> is a unique identifier for this payment.
5840
5841 Returns a hashref containing elements bill_error (which will be undefined
5842 upon success) and session_id of any associated session.
5843
5844 =cut
5845
5846 sub realtime_botpp_capture {
5847   my( $self, $cust_pay_pending, %options ) = @_;
5848   if ( $DEBUG ) {
5849     warn "$me realtime_botpp_capture: pending transaction $cust_pay_pending\n";
5850     warn "  $_ => $options{$_}\n" foreach keys %options;
5851   }
5852
5853   eval "use Business::OnlineThirdPartyPayment";  
5854   die $@ if $@;
5855
5856   ###
5857   # select the gateway
5858   ###
5859
5860   my $method = FS::payby->payby2bop($cust_pay_pending->payby);
5861
5862   my $payment_gateway = $cust_pay_pending->gatewaynum
5863     ? qsearchs( 'payment_gateway',
5864                 { gatewaynum => $cust_pay_pending->gatewaynum }
5865               )
5866     : $self->agent->payment_gateway( 'method' => $method,
5867                                      # 'invnum'  => $cust_pay_pending->invnum,
5868                                      # 'payinfo' => $cust_pay_pending->payinfo,
5869                                    );
5870
5871   $options{payment_gateway} = $payment_gateway; # for the helper subs
5872
5873   ###
5874   # massage data
5875   ###
5876
5877   my @invoicing_list = $self->invoicing_list_emailonly;
5878   if ( $conf->exists('emailinvoiceautoalways')
5879        || $conf->exists('emailinvoiceauto') && ! @invoicing_list
5880        || ( $conf->exists('emailinvoiceonly') && ! @invoicing_list ) ) {
5881     push @invoicing_list, $self->all_emails;
5882   }
5883
5884   my $email = ($conf->exists('business-onlinepayment-email-override'))
5885               ? $conf->config('business-onlinepayment-email-override')
5886               : $invoicing_list[0];
5887
5888   my %content = ();
5889
5890   $content{email_customer} = 
5891     (    $conf->exists('business-onlinepayment-email_customer')
5892       || $conf->exists('business-onlinepayment-email-override') );
5893       
5894   ###
5895   # run transaction(s)
5896   ###
5897
5898   my $transaction =
5899     new Business::OnlineThirdPartyPayment( $payment_gateway->gateway_module,
5900                                            $self->_bop_options(\%options),
5901                                          );
5902
5903   $transaction->reference({ %options }); 
5904
5905   $transaction->content(
5906     'type'           => $method,
5907     $self->_bop_auth(\%options),
5908     'action'         => 'Post Authorization',
5909     'description'    => $options{'description'},
5910     'amount'         => $cust_pay_pending->paid,
5911     #'invoice_number' => $options{'invnum'},
5912     'customer_id'    => $self->custnum,
5913     'referer'        => 'http://cleanwhisker.420.am/',
5914     'reference'      => $cust_pay_pending->paypendingnum,
5915     'email'          => $email,
5916     'phone'          => $self->daytime || $self->night,
5917     %content, #after
5918     # plus whatever is required for bogus capture avoidance
5919   );
5920
5921   $transaction->submit();
5922
5923   my $error =
5924     $self->_realtime_bop_result( $cust_pay_pending, $transaction, %options );
5925
5926   {
5927     bill_error => $error,
5928     session_id => $cust_pay_pending->session_id,
5929   }
5930
5931 }
5932
5933 =item default_payment_gateway DEPRECATED -- use agent->payment_gateway
5934
5935 =cut
5936
5937 sub default_payment_gateway {
5938   my( $self, $method ) = @_;
5939
5940   die "Real-time processing not enabled\n"
5941     unless $conf->exists('business-onlinepayment');
5942
5943   #warn "default_payment_gateway deprecated -- use agent->payment_gateway\n";
5944
5945   #load up config
5946   my $bop_config = 'business-onlinepayment';
5947   $bop_config .= '-ach'
5948     if $method =~ /^(ECHECK|CHEK)$/ && $conf->exists($bop_config. '-ach');
5949   my ( $processor, $login, $password, $action, @bop_options ) =
5950     $conf->config($bop_config);
5951   $action ||= 'normal authorization';
5952   pop @bop_options if scalar(@bop_options) % 2 && $bop_options[-1] =~ /^\s*$/;
5953   die "No real-time processor is enabled - ".
5954       "did you set the business-onlinepayment configuration value?\n"
5955     unless $processor;
5956
5957   ( $processor, $login, $password, $action, @bop_options )
5958 }
5959
5960 =item remove_cvv
5961
5962 Removes the I<paycvv> field from the database directly.
5963
5964 If there is an error, returns the error, otherwise returns false.
5965
5966 =cut
5967
5968 sub remove_cvv {
5969   my $self = shift;
5970   my $sth = dbh->prepare("UPDATE cust_main SET paycvv = '' WHERE custnum = ?")
5971     or return dbh->errstr;
5972   $sth->execute($self->custnum)
5973     or return $sth->errstr;
5974   $self->paycvv('');
5975   '';
5976 }
5977
5978 =item _new_realtime_refund_bop METHOD [ OPTION => VALUE ... ]
5979
5980 Refunds a realtime credit card, ACH (electronic check) or phone bill transaction
5981 via a Business::OnlinePayment realtime gateway.  See
5982 L<http://420.am/business-onlinepayment> for supported gateways.
5983
5984 Available methods are: I<CC>, I<ECHECK> and I<LEC>
5985
5986 Available options are: I<amount>, I<reason>, I<paynum>, I<paydate>
5987
5988 Most gateways require a reference to an original payment transaction to refund,
5989 so you probably need to specify a I<paynum>.
5990
5991 I<amount> defaults to the original amount of the payment if not specified.
5992
5993 I<reason> specifies a reason for the refund.
5994
5995 I<paydate> specifies the expiration date for a credit card overriding the
5996 value from the customer record or the payment record. Specified as yyyy-mm-dd
5997
5998 Implementation note: If I<amount> is unspecified or equal to the amount of the
5999 orignal payment, first an attempt is made to "void" the transaction via
6000 the gateway (to cancel a not-yet settled transaction) and then if that fails,
6001 the normal attempt is made to "refund" ("credit") the transaction via the
6002 gateway is attempted.
6003
6004 #The additional options I<payname>, I<address1>, I<address2>, I<city>, I<state>,
6005 #I<zip>, I<payinfo> and I<paydate> are also available.  Any of these options,
6006 #if set, will override the value from the customer record.
6007
6008 #If an I<invnum> is specified, this payment (if successful) is applied to the
6009 #specified invoice.  If you don't specify an I<invnum> you might want to
6010 #call the B<apply_payments> method.
6011
6012 =cut
6013
6014 #some false laziness w/realtime_bop, not enough to make it worth merging
6015 #but some useful small subs should be pulled out
6016 sub _new_realtime_refund_bop {
6017   my $self = shift;
6018
6019   my %options = ();
6020   if (ref($_[0]) ne 'HASH') {
6021     %options = %{$_[0]};
6022   } else {
6023     my $method = shift;
6024     %options = @_;
6025     $options{method} = $method;
6026   }
6027
6028   if ( $DEBUG ) {
6029     warn "$me realtime_refund_bop (new): $options{method} refund\n";
6030     warn "  $_ => $options{$_}\n" foreach keys %options;
6031   }
6032
6033   ###
6034   # look up the original payment and optionally a gateway for that payment
6035   ###
6036
6037   my $cust_pay = '';
6038   my $amount = $options{'amount'};
6039
6040   my( $processor, $login, $password, @bop_options, $namespace ) ;
6041   my( $auth, $order_number ) = ( '', '', '' );
6042
6043   if ( $options{'paynum'} ) {
6044
6045     warn "  paynum: $options{paynum}\n" if $DEBUG > 1;
6046     $cust_pay = qsearchs('cust_pay', { paynum=>$options{'paynum'} } )
6047       or return "Unknown paynum $options{'paynum'}";
6048     $amount ||= $cust_pay->paid;
6049
6050     $cust_pay->paybatch =~ /^((\d+)\-)?(\w+):\s*([\w\-\/ ]*)(:([\w\-]+))?$/
6051       or return "Can't parse paybatch for paynum $options{'paynum'}: ".
6052                 $cust_pay->paybatch;
6053     my $gatewaynum = '';
6054     ( $gatewaynum, $processor, $auth, $order_number ) = ( $2, $3, $4, $6 );
6055
6056     if ( $gatewaynum ) { #gateway for the payment to be refunded
6057
6058       my $payment_gateway =
6059         qsearchs('payment_gateway', { 'gatewaynum' => $gatewaynum } );
6060       die "payment gateway $gatewaynum not found"
6061         unless $payment_gateway;
6062
6063       $processor   = $payment_gateway->gateway_module;
6064       $login       = $payment_gateway->gateway_username;
6065       $password    = $payment_gateway->gateway_password;
6066       $namespace   = $payment_gateway->gateway_namespace;
6067       @bop_options = $payment_gateway->options;
6068
6069     } else { #try the default gateway
6070
6071       my $conf_processor;
6072       my $payment_gateway =
6073         $self->agent->payment_gateway('method' => $options{method});
6074
6075       ( $conf_processor, $login, $password, $namespace ) =
6076         map { my $method = "gateway_$_"; $payment_gateway->$method }
6077           qw( module username password namespace );
6078
6079       @bop_options = $payment_gateway->gatewaynum
6080                        ? $payment_gateway->options
6081                        : @{ $payment_gateway->get('options') };
6082
6083       return "processor of payment $options{'paynum'} $processor does not".
6084              " match default processor $conf_processor"
6085         unless $processor eq $conf_processor;
6086
6087     }
6088
6089
6090   } else { # didn't specify a paynum, so look for agent gateway overrides
6091            # like a normal transaction 
6092  
6093     my $payment_gateway =
6094       $self->agent->payment_gateway( 'method'  => $options{method},
6095                                      #'payinfo' => $payinfo,
6096                                    );
6097     my( $processor, $login, $password, $namespace ) =
6098       map { my $method = "gateway_$_"; $payment_gateway->$method }
6099         qw( module username password namespace );
6100
6101     my @bop_options = $payment_gateway->gatewaynum
6102                         ? $payment_gateway->options
6103                         : @{ $payment_gateway->get('options') };
6104
6105   }
6106   return "neither amount nor paynum specified" unless $amount;
6107
6108   eval "use $namespace";  
6109   die $@ if $@;
6110
6111   my %content = (
6112     'type'           => $options{method},
6113     'login'          => $login,
6114     'password'       => $password,
6115     'order_number'   => $order_number,
6116     'amount'         => $amount,
6117     'referer'        => 'http://cleanwhisker.420.am/', #XXX fix referer :/
6118   );
6119   $content{authorization} = $auth
6120     if length($auth); #echeck/ACH transactions have an order # but no auth
6121                       #(at least with authorize.net)
6122
6123   my $disable_void_after;
6124   if ($conf->exists('disable_void_after')
6125       && $conf->config('disable_void_after') =~ /^(\d+)$/) {
6126     $disable_void_after = $1;
6127   }
6128
6129   #first try void if applicable
6130   if ( $cust_pay && $cust_pay->paid == $amount
6131     && (
6132       ( not defined($disable_void_after) )
6133       || ( time < ($cust_pay->_date + $disable_void_after ) )
6134     )
6135   ) {
6136     warn "  attempting void\n" if $DEBUG > 1;
6137     my $void = new Business::OnlinePayment( $processor, @bop_options );
6138     if ( $void->can('info') ) {
6139       if ( $cust_pay->payby eq 'CARD'
6140            && $void->info('CC_void_requires_card') )
6141       {
6142         $content{'card_number'} = $cust_pay->payinfo;
6143       } elsif ( $cust_pay->payby eq 'CHEK'
6144                 && $void->info('ECHECK_void_requires_account') )
6145       {
6146         ( $content{'account_number'}, $content{'routing_code'} ) =
6147           split('@', $cust_pay->payinfo);
6148         $content{'name'} = $self->get('first'). ' '. $self->get('last');
6149       }
6150     }
6151     $void->content( 'action' => 'void', %content );
6152     $void->submit();
6153     if ( $void->is_success ) {
6154       my $error = $cust_pay->void($options{'reason'});
6155       if ( $error ) {
6156         # gah, even with transactions.
6157         my $e = 'WARNING: Card/ACH voided but database not updated - '.
6158                 "error voiding payment: $error";
6159         warn $e;
6160         return $e;
6161       }
6162       warn "  void successful\n" if $DEBUG > 1;
6163       return '';
6164     }
6165   }
6166
6167   warn "  void unsuccessful, trying refund\n"
6168     if $DEBUG > 1;
6169
6170   #massage data
6171   my $address = $self->address1;
6172   $address .= ", ". $self->address2 if $self->address2;
6173
6174   my($payname, $payfirst, $paylast);
6175   if ( $self->payname && $options{method} ne 'ECHECK' ) {
6176     $payname = $self->payname;
6177     $payname =~ /^\s*([\w \,\.\-\']*)?\s+([\w\,\.\-\']+)\s*$/
6178       or return "Illegal payname $payname";
6179     ($payfirst, $paylast) = ($1, $2);
6180   } else {
6181     $payfirst = $self->getfield('first');
6182     $paylast = $self->getfield('last');
6183     $payname =  "$payfirst $paylast";
6184   }
6185
6186   my @invoicing_list = $self->invoicing_list_emailonly;
6187   if ( $conf->exists('emailinvoiceautoalways')
6188        || $conf->exists('emailinvoiceauto') && ! @invoicing_list
6189        || ( $conf->exists('emailinvoiceonly') && ! @invoicing_list ) ) {
6190     push @invoicing_list, $self->all_emails;
6191   }
6192
6193   my $email = ($conf->exists('business-onlinepayment-email-override'))
6194               ? $conf->config('business-onlinepayment-email-override')
6195               : $invoicing_list[0];
6196
6197   my $payip = exists($options{'payip'})
6198                 ? $options{'payip'}
6199                 : $self->payip;
6200   $content{customer_ip} = $payip
6201     if length($payip);
6202
6203   my $payinfo = '';
6204   if ( $options{method} eq 'CC' ) {
6205
6206     if ( $cust_pay ) {
6207       $content{card_number} = $payinfo = $cust_pay->payinfo;
6208       (exists($options{'paydate'}) ? $options{'paydate'} : $cust_pay->paydate)
6209         =~ /^\d{2}(\d{2})[\/\-](\d+)[\/\-]\d+$/ &&
6210         ($content{expiration} = "$2/$1");  # where available
6211     } else {
6212       $content{card_number} = $payinfo = $self->payinfo;
6213       (exists($options{'paydate'}) ? $options{'paydate'} : $self->paydate)
6214         =~ /^\d{2}(\d{2})[\/\-](\d+)[\/\-]\d+$/;
6215       $content{expiration} = "$2/$1";
6216     }
6217
6218   } elsif ( $options{method} eq 'ECHECK' ) {
6219
6220     if ( $cust_pay ) {
6221       $payinfo = $cust_pay->payinfo;
6222     } else {
6223       $payinfo = $self->payinfo;
6224     } 
6225     ( $content{account_number}, $content{routing_code} )= split('@', $payinfo );
6226     $content{bank_name} = $self->payname;
6227     $content{account_type} = 'CHECKING';
6228     $content{account_name} = $payname;
6229     $content{customer_org} = $self->company ? 'B' : 'I';
6230     $content{customer_ssn} = $self->ss;
6231   } elsif ( $options{method} eq 'LEC' ) {
6232     $content{phone} = $payinfo = $self->payinfo;
6233   }
6234
6235   #then try refund
6236   my $refund = new Business::OnlinePayment( $processor, @bop_options );
6237   my %sub_content = $refund->content(
6238     'action'         => 'credit',
6239     'customer_id'    => $self->custnum,
6240     'last_name'      => $paylast,
6241     'first_name'     => $payfirst,
6242     'name'           => $payname,
6243     'address'        => $address,
6244     'city'           => $self->city,
6245     'state'          => $self->state,
6246     'zip'            => $self->zip,
6247     'country'        => $self->country,
6248     'email'          => $email,
6249     'phone'          => $self->daytime || $self->night,
6250     %content, #after
6251   );
6252   warn join('', map { "  $_ => $sub_content{$_}\n" } keys %sub_content )
6253     if $DEBUG > 1;
6254   $refund->submit();
6255
6256   return "$processor error: ". $refund->error_message
6257     unless $refund->is_success();
6258
6259   my $paybatch = "$processor:". $refund->authorization;
6260   $paybatch .= ':'. $refund->order_number
6261     if $refund->can('order_number') && $refund->order_number;
6262
6263   while ( $cust_pay && $cust_pay->unapplied < $amount ) {
6264     my @cust_bill_pay = $cust_pay->cust_bill_pay;
6265     last unless @cust_bill_pay;
6266     my $cust_bill_pay = pop @cust_bill_pay;
6267     my $error = $cust_bill_pay->delete;
6268     last if $error;
6269   }
6270
6271   my $cust_refund = new FS::cust_refund ( {
6272     'custnum'  => $self->custnum,
6273     'paynum'   => $options{'paynum'},
6274     'refund'   => $amount,
6275     '_date'    => '',
6276     'payby'    => $bop_method2payby{$options{method}},
6277     'payinfo'  => $payinfo,
6278     'paybatch' => $paybatch,
6279     'reason'   => $options{'reason'} || 'card or ACH refund',
6280   } );
6281   my $error = $cust_refund->insert;
6282   if ( $error ) {
6283     $cust_refund->paynum(''); #try again with no specific paynum
6284     my $error2 = $cust_refund->insert;
6285     if ( $error2 ) {
6286       # gah, even with transactions.
6287       my $e = 'WARNING: Card/ACH refunded but database not updated - '.
6288               "error inserting refund ($processor): $error2".
6289               " (previously tried insert with paynum #$options{'paynum'}" .
6290               ": $error )";
6291       warn $e;
6292       return $e;
6293     }
6294   }
6295
6296   ''; #no error
6297
6298 }
6299
6300 =item batch_card OPTION => VALUE...
6301
6302 Adds a payment for this invoice to the pending credit card batch (see
6303 L<FS::cust_pay_batch>), or, if the B<realtime> option is set to a true value,
6304 runs the payment using a realtime gateway.
6305
6306 =cut
6307
6308 sub batch_card {
6309   my ($self, %options) = @_;
6310
6311   my $amount;
6312   if (exists($options{amount})) {
6313     $amount = $options{amount};
6314   }else{
6315     $amount = sprintf("%.2f", $self->balance - $self->in_transit_payments);
6316   }
6317   return '' unless $amount > 0;
6318   
6319   my $invnum = delete $options{invnum};
6320   my $payby = $options{invnum} || $self->payby;  #dubious
6321
6322   if ($options{'realtime'}) {
6323     return $self->realtime_bop( FS::payby->payby2bop($self->payby),
6324                                 $amount,
6325                                 %options,
6326                               );
6327   }
6328
6329   my $oldAutoCommit = $FS::UID::AutoCommit;
6330   local $FS::UID::AutoCommit = 0;
6331   my $dbh = dbh;
6332
6333   #this needs to handle mysql as well as Pg, like svc_acct.pm
6334   #(make it into a common function if folks need to do batching with mysql)
6335   $dbh->do("LOCK TABLE pay_batch IN SHARE ROW EXCLUSIVE MODE")
6336     or return "Cannot lock pay_batch: " . $dbh->errstr;
6337
6338   my %pay_batch = (
6339     'status' => 'O',
6340     'payby'  => FS::payby->payby2payment($payby),
6341   );
6342
6343   my $pay_batch = qsearchs( 'pay_batch', \%pay_batch );
6344
6345   unless ( $pay_batch ) {
6346     $pay_batch = new FS::pay_batch \%pay_batch;
6347     my $error = $pay_batch->insert;
6348     if ( $error ) {
6349       $dbh->rollback if $oldAutoCommit;
6350       die "error creating new batch: $error\n";
6351     }
6352   }
6353
6354   my $old_cust_pay_batch = qsearchs('cust_pay_batch', {
6355       'batchnum' => $pay_batch->batchnum,
6356       'custnum'  => $self->custnum,
6357   } );
6358
6359   foreach (qw( address1 address2 city state zip country payby payinfo paydate
6360                payname )) {
6361     $options{$_} = '' unless exists($options{$_});
6362   }
6363
6364   my $cust_pay_batch = new FS::cust_pay_batch ( {
6365     'batchnum' => $pay_batch->batchnum,
6366     'invnum'   => $invnum || 0,                    # is there a better value?
6367                                                    # this field should be
6368                                                    # removed...
6369                                                    # cust_bill_pay_batch now
6370     'custnum'  => $self->custnum,
6371     'last'     => $self->getfield('last'),
6372     'first'    => $self->getfield('first'),
6373     'address1' => $options{address1} || $self->address1,
6374     'address2' => $options{address2} || $self->address2,
6375     'city'     => $options{city}     || $self->city,
6376     'state'    => $options{state}    || $self->state,
6377     'zip'      => $options{zip}      || $self->zip,
6378     'country'  => $options{country}  || $self->country,
6379     'payby'    => $options{payby}    || $self->payby,
6380     'payinfo'  => $options{payinfo}  || $self->payinfo,
6381     'exp'      => $options{paydate}  || $self->paydate,
6382     'payname'  => $options{payname}  || $self->payname,
6383     'amount'   => $amount,                         # consolidating
6384   } );
6385   
6386   $cust_pay_batch->paybatchnum($old_cust_pay_batch->paybatchnum)
6387     if $old_cust_pay_batch;
6388
6389   my $error;
6390   if ($old_cust_pay_batch) {
6391     $error = $cust_pay_batch->replace($old_cust_pay_batch)
6392   } else {
6393     $error = $cust_pay_batch->insert;
6394   }
6395
6396   if ( $error ) {
6397     $dbh->rollback if $oldAutoCommit;
6398     die $error;
6399   }
6400
6401   my $unapplied =   $self->total_unapplied_credits
6402                   + $self->total_unapplied_payments
6403                   + $self->in_transit_payments;
6404   foreach my $cust_bill ($self->open_cust_bill) {
6405     #$dbh->commit or die $dbh->errstr if $oldAutoCommit;
6406     my $cust_bill_pay_batch = new FS::cust_bill_pay_batch {
6407       'invnum' => $cust_bill->invnum,
6408       'paybatchnum' => $cust_pay_batch->paybatchnum,
6409       'amount' => $cust_bill->owed,
6410       '_date' => time,
6411     };
6412     if ($unapplied >= $cust_bill_pay_batch->amount){
6413       $unapplied -= $cust_bill_pay_batch->amount;
6414       next;
6415     }else{
6416       $cust_bill_pay_batch->amount(sprintf ( "%.2f", 
6417                                    $cust_bill_pay_batch->amount - $unapplied ));      $unapplied = 0;
6418     }
6419     $error = $cust_bill_pay_batch->insert;
6420     if ( $error ) {
6421       $dbh->rollback if $oldAutoCommit;
6422       die $error;
6423     }
6424   }
6425
6426   $dbh->commit or die $dbh->errstr if $oldAutoCommit;
6427   '';
6428 }
6429
6430 =item apply_payments_and_credits [ OPTION => VALUE ... ]
6431
6432 Applies unapplied payments and credits.
6433
6434 In most cases, this new method should be used in place of sequential
6435 apply_payments and apply_credits methods.
6436
6437 A hash of optional arguments may be passed.  Currently "manual" is supported.
6438 If true, a payment receipt is sent instead of a statement when
6439 'payment_receipt_email' configuration option is set.
6440
6441 If there is an error, returns the error, otherwise returns false.
6442
6443 =cut
6444
6445 sub apply_payments_and_credits {
6446   my( $self, %options ) = @_;
6447
6448   local $SIG{HUP} = 'IGNORE';
6449   local $SIG{INT} = 'IGNORE';
6450   local $SIG{QUIT} = 'IGNORE';
6451   local $SIG{TERM} = 'IGNORE';
6452   local $SIG{TSTP} = 'IGNORE';
6453   local $SIG{PIPE} = 'IGNORE';
6454
6455   my $oldAutoCommit = $FS::UID::AutoCommit;
6456   local $FS::UID::AutoCommit = 0;
6457   my $dbh = dbh;
6458
6459   $self->select_for_update; #mutex
6460
6461   foreach my $cust_bill ( $self->open_cust_bill ) {
6462     my $error = $cust_bill->apply_payments_and_credits(%options);
6463     if ( $error ) {
6464       $dbh->rollback if $oldAutoCommit;
6465       return "Error applying: $error";
6466     }
6467   }
6468
6469   $dbh->commit or die $dbh->errstr if $oldAutoCommit;
6470   ''; #no error
6471
6472 }
6473
6474 =item apply_credits OPTION => VALUE ...
6475
6476 Applies (see L<FS::cust_credit_bill>) unapplied credits (see L<FS::cust_credit>)
6477 to outstanding invoice balances in chronological order (or reverse
6478 chronological order if the I<order> option is set to B<newest>) and returns the
6479 value of any remaining unapplied credits available for refund (see
6480 L<FS::cust_refund>).
6481
6482 Dies if there is an error.
6483
6484 =cut
6485
6486 sub apply_credits {
6487   my $self = shift;
6488   my %opt = @_;
6489
6490   local $SIG{HUP} = 'IGNORE';
6491   local $SIG{INT} = 'IGNORE';
6492   local $SIG{QUIT} = 'IGNORE';
6493   local $SIG{TERM} = 'IGNORE';
6494   local $SIG{TSTP} = 'IGNORE';
6495   local $SIG{PIPE} = 'IGNORE';
6496
6497   my $oldAutoCommit = $FS::UID::AutoCommit;
6498   local $FS::UID::AutoCommit = 0;
6499   my $dbh = dbh;
6500
6501   $self->select_for_update; #mutex
6502
6503   unless ( $self->total_unapplied_credits ) {
6504     $dbh->commit or die $dbh->errstr if $oldAutoCommit;
6505     return 0;
6506   }
6507
6508   my @credits = sort { $b->_date <=> $a->_date} (grep { $_->credited > 0 }
6509       qsearch('cust_credit', { 'custnum' => $self->custnum } ) );
6510
6511   my @invoices = $self->open_cust_bill;
6512   @invoices = sort { $b->_date <=> $a->_date } @invoices
6513     if defined($opt{'order'}) && $opt{'order'} eq 'newest';
6514
6515   if ( $conf->exists('pkg-balances') ) {
6516     # limit @credits to those w/ a pkgnum grepped from $self
6517     my %pkgnums = ();
6518     foreach my $i (@invoices) {
6519       foreach my $li ( $i->cust_bill_pkg ) {
6520         $pkgnums{$li->pkgnum} = 1;
6521       }
6522     }
6523     @credits = grep { ! $_->pkgnum || $pkgnums{$_->pkgnum} } @credits;
6524   }
6525
6526   my $credit;
6527
6528   foreach my $cust_bill ( @invoices ) {
6529
6530     if ( !defined($credit) || $credit->credited == 0) {
6531       $credit = pop @credits or last;
6532     }
6533
6534     my $owed;
6535     if ( $conf->exists('pkg-balances') && $credit->pkgnum ) {
6536       $owed = $cust_bill->owed_pkgnum($credit->pkgnum);
6537     } else {
6538       $owed = $cust_bill->owed;
6539     }
6540     unless ( $owed > 0 ) {
6541       push @credits, $credit;
6542       next;
6543     }
6544
6545     my $amount = min( $credit->credited, $owed );
6546     
6547     my $cust_credit_bill = new FS::cust_credit_bill ( {
6548       'crednum' => $credit->crednum,
6549       'invnum'  => $cust_bill->invnum,
6550       'amount'  => $amount,
6551     } );
6552     $cust_credit_bill->pkgnum( $credit->pkgnum )
6553       if $conf->exists('pkg-balances') && $credit->pkgnum;
6554     my $error = $cust_credit_bill->insert;
6555     if ( $error ) {
6556       $dbh->rollback or die $dbh->errstr if $oldAutoCommit;
6557       die $error;
6558     }
6559     
6560     redo if ($cust_bill->owed > 0) && ! $conf->exists('pkg-balances');
6561
6562   }
6563
6564   my $total_unapplied_credits = $self->total_unapplied_credits;
6565
6566   $dbh->commit or die $dbh->errstr if $oldAutoCommit;
6567
6568   return $total_unapplied_credits;
6569 }
6570
6571 =item apply_payments  [ OPTION => VALUE ... ]
6572
6573 Applies (see L<FS::cust_bill_pay>) unapplied payments (see L<FS::cust_pay>)
6574 to outstanding invoice balances in chronological order.
6575
6576  #and returns the value of any remaining unapplied payments.
6577
6578 A hash of optional arguments may be passed.  Currently "manual" is supported.
6579 If true, a payment receipt is sent instead of a statement when
6580 'payment_receipt_email' configuration option is set.
6581
6582 Dies if there is an error.
6583
6584 =cut
6585
6586 sub apply_payments {
6587   my( $self, %options ) = @_;
6588
6589   local $SIG{HUP} = 'IGNORE';
6590   local $SIG{INT} = 'IGNORE';
6591   local $SIG{QUIT} = 'IGNORE';
6592   local $SIG{TERM} = 'IGNORE';
6593   local $SIG{TSTP} = 'IGNORE';
6594   local $SIG{PIPE} = 'IGNORE';
6595
6596   my $oldAutoCommit = $FS::UID::AutoCommit;
6597   local $FS::UID::AutoCommit = 0;
6598   my $dbh = dbh;
6599
6600   $self->select_for_update; #mutex
6601
6602   #return 0 unless
6603
6604   my @payments = sort { $b->_date <=> $a->_date }
6605                  grep { $_->unapplied > 0 }
6606                  $self->cust_pay;
6607
6608   my @invoices = sort { $a->_date <=> $b->_date}
6609                  grep { $_->owed > 0 }
6610                  $self->cust_bill;
6611
6612   if ( $conf->exists('pkg-balances') ) {
6613     # limit @payments to those w/ a pkgnum grepped from $self
6614     my %pkgnums = ();
6615     foreach my $i (@invoices) {
6616       foreach my $li ( $i->cust_bill_pkg ) {
6617         $pkgnums{$li->pkgnum} = 1;
6618       }
6619     }
6620     @payments = grep { ! $_->pkgnum || $pkgnums{$_->pkgnum} } @payments;
6621   }
6622
6623   my $payment;
6624
6625   foreach my $cust_bill ( @invoices ) {
6626
6627     if ( !defined($payment) || $payment->unapplied == 0 ) {
6628       $payment = pop @payments or last;
6629     }
6630
6631     my $owed;
6632     if ( $conf->exists('pkg-balances') && $payment->pkgnum ) {
6633       $owed = $cust_bill->owed_pkgnum($payment->pkgnum);
6634     } else {
6635       $owed = $cust_bill->owed;
6636     }
6637     unless ( $owed > 0 ) {
6638       push @payments, $payment;
6639       next;
6640     }
6641
6642     my $amount = min( $payment->unapplied, $owed );
6643
6644     my $cust_bill_pay = new FS::cust_bill_pay ( {
6645       'paynum' => $payment->paynum,
6646       'invnum' => $cust_bill->invnum,
6647       'amount' => $amount,
6648     } );
6649     $cust_bill_pay->pkgnum( $payment->pkgnum )
6650       if $conf->exists('pkg-balances') && $payment->pkgnum;
6651     my $error = $cust_bill_pay->insert(%options);
6652     if ( $error ) {
6653       $dbh->rollback or die $dbh->errstr if $oldAutoCommit;
6654       die $error;
6655     }
6656
6657     redo if ( $cust_bill->owed > 0) && ! $conf->exists('pkg-balances');
6658
6659   }
6660
6661   my $total_unapplied_payments = $self->total_unapplied_payments;
6662
6663   $dbh->commit or die $dbh->errstr if $oldAutoCommit;
6664
6665   return $total_unapplied_payments;
6666 }
6667
6668 =item total_owed
6669
6670 Returns the total owed for this customer on all invoices
6671 (see L<FS::cust_bill/owed>).
6672
6673 =cut
6674
6675 sub total_owed {
6676   my $self = shift;
6677   $self->total_owed_date(2145859200); #12/31/2037
6678 }
6679
6680 =item total_owed_date TIME
6681
6682 Returns the total owed for this customer on all invoices with date earlier than
6683 TIME.  TIME is specified as a UNIX timestamp; see L<perlfunc/"time">).  Also
6684 see L<Time::Local> and L<Date::Parse> for conversion functions.
6685
6686 =cut
6687
6688 sub total_owed_date {
6689   my $self = shift;
6690   my $time = shift;
6691
6692 #  my $custnum = $self->custnum;
6693 #
6694 #  my $owed_sql = FS::cust_bill->owed_sql;
6695 #
6696 #  my $sql = "
6697 #    SELECT SUM($owed_sql) FROM cust_bill
6698 #      WHERE custnum = $custnum
6699 #        AND _date <= $time
6700 #  ";
6701 #
6702 #  my $sth = dbh->prepare($sql) or die dbh->errstr;
6703 #  $sth->execute() or die $sth->errstr;
6704 #
6705 #  return sprintf( '%.2f', $sth->fetchrow_arrayref->[0] );
6706
6707   my $total_bill = 0;
6708   foreach my $cust_bill (
6709     grep { $_->_date <= $time }
6710       qsearch('cust_bill', { 'custnum' => $self->custnum, } )
6711   ) {
6712     $total_bill += $cust_bill->owed;
6713   }
6714   sprintf( "%.2f", $total_bill );
6715
6716 }
6717
6718 =item total_owed_pkgnum PKGNUM
6719
6720 Returns the total owed on all invoices for this customer's specific package
6721 when using experimental package balances (see L<FS::cust_bill/owed_pkgnum>).
6722
6723 =cut
6724
6725 sub total_owed_pkgnum {
6726   my( $self, $pkgnum ) = @_;
6727   $self->total_owed_date_pkgnum(2145859200, $pkgnum); #12/31/2037
6728 }
6729
6730 =item total_owed_date_pkgnum TIME PKGNUM
6731
6732 Returns the total owed for this customer's specific package when using
6733 experimental package balances on all invoices with date earlier than
6734 TIME.  TIME is specified as a UNIX timestamp; see L<perlfunc/"time">).  Also
6735 see L<Time::Local> and L<Date::Parse> for conversion functions.
6736
6737 =cut
6738
6739 sub total_owed_date_pkgnum {
6740   my( $self, $time, $pkgnum ) = @_;
6741
6742   my $total_bill = 0;
6743   foreach my $cust_bill (
6744     grep { $_->_date <= $time }
6745       qsearch('cust_bill', { 'custnum' => $self->custnum, } )
6746   ) {
6747     $total_bill += $cust_bill->owed_pkgnum($pkgnum);
6748   }
6749   sprintf( "%.2f", $total_bill );
6750
6751 }
6752
6753 =item total_paid
6754
6755 Returns the total amount of all payments.
6756
6757 =cut
6758
6759 sub total_paid {
6760   my $self = shift;
6761   my $total = 0;
6762   $total += $_->paid foreach $self->cust_pay;
6763   sprintf( "%.2f", $total );
6764 }
6765
6766 =item total_unapplied_credits
6767
6768 Returns the total outstanding credit (see L<FS::cust_credit>) for this
6769 customer.  See L<FS::cust_credit/credited>.
6770
6771 =item total_credited
6772
6773 Old name for total_unapplied_credits.  Don't use.
6774
6775 =cut
6776
6777 sub total_credited {
6778   #carp "total_credited deprecated, use total_unapplied_credits";
6779   shift->total_unapplied_credits(@_);
6780 }
6781
6782 sub total_unapplied_credits {
6783   my $self = shift;
6784   my $total_credit = 0;
6785   $total_credit += $_->credited foreach $self->cust_credit;
6786   sprintf( "%.2f", $total_credit );
6787 }
6788
6789 =item total_unapplied_credits_pkgnum PKGNUM
6790
6791 Returns the total outstanding credit (see L<FS::cust_credit>) for this
6792 customer.  See L<FS::cust_credit/credited>.
6793
6794 =cut
6795
6796 sub total_unapplied_credits_pkgnum {
6797   my( $self, $pkgnum ) = @_;
6798   my $total_credit = 0;
6799   $total_credit += $_->credited foreach $self->cust_credit_pkgnum($pkgnum);
6800   sprintf( "%.2f", $total_credit );
6801 }
6802
6803
6804 =item total_unapplied_payments
6805
6806 Returns the total unapplied payments (see L<FS::cust_pay>) for this customer.
6807 See L<FS::cust_pay/unapplied>.
6808
6809 =cut
6810
6811 sub total_unapplied_payments {
6812   my $self = shift;
6813   my $total_unapplied = 0;
6814   $total_unapplied += $_->unapplied foreach $self->cust_pay;
6815   sprintf( "%.2f", $total_unapplied );
6816 }
6817
6818 =item total_unapplied_payments_pkgnum PKGNUM
6819
6820 Returns the total unapplied payments (see L<FS::cust_pay>) for this customer's
6821 specific package when using experimental package balances.  See
6822 L<FS::cust_pay/unapplied>.
6823
6824 =cut
6825
6826 sub total_unapplied_payments_pkgnum {
6827   my( $self, $pkgnum ) = @_;
6828   my $total_unapplied = 0;
6829   $total_unapplied += $_->unapplied foreach $self->cust_pay_pkgnum($pkgnum);
6830   sprintf( "%.2f", $total_unapplied );
6831 }
6832
6833
6834 =item total_unapplied_refunds
6835
6836 Returns the total unrefunded refunds (see L<FS::cust_refund>) for this
6837 customer.  See L<FS::cust_refund/unapplied>.
6838
6839 =cut
6840
6841 sub total_unapplied_refunds {
6842   my $self = shift;
6843   my $total_unapplied = 0;
6844   $total_unapplied += $_->unapplied foreach $self->cust_refund;
6845   sprintf( "%.2f", $total_unapplied );
6846 }
6847
6848 =item balance
6849
6850 Returns the balance for this customer (total_owed plus total_unrefunded, minus
6851 total_unapplied_credits minus total_unapplied_payments).
6852
6853 =cut
6854
6855 sub balance {
6856   my $self = shift;
6857   sprintf( "%.2f",
6858       $self->total_owed
6859     + $self->total_unapplied_refunds
6860     - $self->total_unapplied_credits
6861     - $self->total_unapplied_payments
6862   );
6863 }
6864
6865 =item balance_date TIME
6866
6867 Returns the balance for this customer, only considering invoices with date
6868 earlier than TIME (total_owed_date minus total_credited minus
6869 total_unapplied_payments).  TIME is specified as a UNIX timestamp; see
6870 L<perlfunc/"time">).  Also see L<Time::Local> and L<Date::Parse> for conversion
6871 functions.
6872
6873 =cut
6874
6875 sub balance_date {
6876   my $self = shift;
6877   my $time = shift;
6878   sprintf( "%.2f",
6879         $self->total_owed_date($time)
6880       + $self->total_unapplied_refunds
6881       - $self->total_unapplied_credits
6882       - $self->total_unapplied_payments
6883   );
6884 }
6885
6886 =item balance_date_range START_TIME [ END_TIME [ OPTION => VALUE ... ] ]
6887
6888 Returns the balance for this customer, only considering invoices with date
6889 earlier than START_TIME, and optionally not later than END_TIME
6890 (total_owed_date minus total_unapplied_credits minus total_unapplied_payments).
6891
6892 Times are specified as SQL fragments or numeric
6893 UNIX timestamps; see L<perlfunc/"time">).  Also see L<Time::Local> and
6894 L<Date::Parse> for conversion functions.  The empty string can be passed
6895 to disable that time constraint completely.
6896
6897 Available options are:
6898
6899 =over 4
6900
6901 =item unapplied_date
6902
6903 set to true to disregard unapplied credits, payments and refunds outside the specified time period - by default the time period restriction only applies to invoices (useful for reporting, probably a bad idea for event triggering)
6904
6905 =back
6906
6907 =cut
6908
6909 sub balance_date_range {
6910   my $self = shift;
6911   my $sql = 'SELECT SUM('. $self->balance_date_sql(@_).
6912             ') FROM cust_main WHERE custnum='. $self->custnum;
6913   sprintf( "%.2f", $self->scalar_sql($sql) );
6914 }
6915
6916 =item balance_pkgnum PKGNUM
6917
6918 Returns the balance for this customer's specific package when using
6919 experimental package balances (total_owed plus total_unrefunded, minus
6920 total_unapplied_credits minus total_unapplied_payments)
6921
6922 =cut
6923
6924 sub balance_pkgnum {
6925   my( $self, $pkgnum ) = @_;
6926
6927   sprintf( "%.2f",
6928       $self->total_owed_pkgnum($pkgnum)
6929 # n/a - refunds aren't part of pkg-balances since they don't apply to invoices
6930 #    + $self->total_unapplied_refunds_pkgnum($pkgnum)
6931     - $self->total_unapplied_credits_pkgnum($pkgnum)
6932     - $self->total_unapplied_payments_pkgnum($pkgnum)
6933   );
6934 }
6935
6936 =item in_transit_payments
6937
6938 Returns the total of requests for payments for this customer pending in 
6939 batches in transit to the bank.  See L<FS::pay_batch> and L<FS::cust_pay_batch>
6940
6941 =cut
6942
6943 sub in_transit_payments {
6944   my $self = shift;
6945   my $in_transit_payments = 0;
6946   foreach my $pay_batch ( qsearch('pay_batch', {
6947     'status' => 'I',
6948   } ) ) {
6949     foreach my $cust_pay_batch ( qsearch('cust_pay_batch', {
6950       'batchnum' => $pay_batch->batchnum,
6951       'custnum' => $self->custnum,
6952     } ) ) {
6953       $in_transit_payments += $cust_pay_batch->amount;
6954     }
6955   }
6956   sprintf( "%.2f", $in_transit_payments );
6957 }
6958
6959 =item payment_info
6960
6961 Returns a hash of useful information for making a payment.
6962
6963 =over 4
6964
6965 =item balance
6966
6967 Current balance.
6968
6969 =item payby
6970
6971 'CARD' (credit card - automatic), 'DCRD' (credit card - on-demand),
6972 'CHEK' (electronic check - automatic), 'DCHK' (electronic check - on-demand),
6973 'LECB' (Phone bill billing), 'BILL' (billing), or 'COMP' (free).
6974
6975 =back
6976
6977 For credit card transactions:
6978
6979 =over 4
6980
6981 =item card_type 1
6982
6983 =item payname
6984
6985 Exact name on card
6986
6987 =back
6988
6989 For electronic check transactions:
6990
6991 =over 4
6992
6993 =item stateid_state
6994
6995 =back
6996
6997 =cut
6998
6999 sub payment_info {
7000   my $self = shift;
7001
7002   my %return = ();
7003
7004   $return{balance} = $self->balance;
7005
7006   $return{payname} = $self->payname
7007                      || ( $self->first. ' '. $self->get('last') );
7008
7009   $return{$_} = $self->get($_) for qw(address1 address2 city state zip);
7010
7011   $return{payby} = $self->payby;
7012   $return{stateid_state} = $self->stateid_state;
7013
7014   if ( $self->payby =~ /^(CARD|DCRD)$/ ) {
7015     $return{card_type} = cardtype($self->payinfo);
7016     $return{payinfo} = $self->paymask;
7017
7018     @return{'month', 'year'} = $self->paydate_monthyear;
7019
7020   }
7021
7022   if ( $self->payby =~ /^(CHEK|DCHK)$/ ) {
7023     my ($payinfo1, $payinfo2) = split '@', $self->paymask;
7024     $return{payinfo1} = $payinfo1;
7025     $return{payinfo2} = $payinfo2;
7026     $return{paytype}  = $self->paytype;
7027     $return{paystate} = $self->paystate;
7028
7029   }
7030
7031   #doubleclick protection
7032   my $_date = time;
7033   $return{paybatch} = "webui-MyAccount-$_date-$$-". rand() * 2**32;
7034
7035   %return;
7036
7037 }
7038
7039 =item paydate_monthyear
7040
7041 Returns a two-element list consisting of the month and year of this customer's
7042 paydate (credit card expiration date for CARD customers)
7043
7044 =cut
7045
7046 sub paydate_monthyear {
7047   my $self = shift;
7048   if ( $self->paydate  =~ /^(\d{4})-(\d{1,2})-\d{1,2}$/ ) { #Pg date format
7049     ( $2, $1 );
7050   } elsif ( $self->paydate =~ /^(\d{1,2})-(\d{1,2}-)?(\d{4}$)/ ) {
7051     ( $1, $3 );
7052   } else {
7053     ('', '');
7054   }
7055 }
7056
7057 =item tax_exemption TAXNAME
7058
7059 =cut
7060
7061 sub tax_exemption {
7062   my( $self, $taxname ) = @_;
7063
7064   qsearchs( 'cust_main_exemption', { 'custnum' => $self->custnum,
7065                                      'taxname' => $taxname,
7066                                    },
7067           );
7068 }
7069
7070 =item cust_main_exemption
7071
7072 =cut
7073
7074 sub cust_main_exemption {
7075   my $self = shift;
7076   qsearch( 'cust_main_exemption', { 'custnum' => $self->custnum } );
7077 }
7078
7079 =item invoicing_list [ ARRAYREF ]
7080
7081 If an arguement is given, sets these email addresses as invoice recipients
7082 (see L<FS::cust_main_invoice>).  Errors are not fatal and are not reported
7083 (except as warnings), so use check_invoicing_list first.
7084
7085 Returns a list of email addresses (with svcnum entries expanded).
7086
7087 Note: You can clear the invoicing list by passing an empty ARRAYREF.  You can
7088 check it without disturbing anything by passing nothing.
7089
7090 This interface may change in the future.
7091
7092 =cut
7093
7094 sub invoicing_list {
7095   my( $self, $arrayref ) = @_;
7096
7097   if ( $arrayref ) {
7098     my @cust_main_invoice;
7099     if ( $self->custnum ) {
7100       @cust_main_invoice = 
7101         qsearch( 'cust_main_invoice', { 'custnum' => $self->custnum } );
7102     } else {
7103       @cust_main_invoice = ();
7104     }
7105     foreach my $cust_main_invoice ( @cust_main_invoice ) {
7106       #warn $cust_main_invoice->destnum;
7107       unless ( grep { $cust_main_invoice->address eq $_ } @{$arrayref} ) {
7108         #warn $cust_main_invoice->destnum;
7109         my $error = $cust_main_invoice->delete;
7110         warn $error if $error;
7111       }
7112     }
7113     if ( $self->custnum ) {
7114       @cust_main_invoice = 
7115         qsearch( 'cust_main_invoice', { 'custnum' => $self->custnum } );
7116     } else {
7117       @cust_main_invoice = ();
7118     }
7119     my %seen = map { $_->address => 1 } @cust_main_invoice;
7120     foreach my $address ( @{$arrayref} ) {
7121       next if exists $seen{$address} && $seen{$address};
7122       $seen{$address} = 1;
7123       my $cust_main_invoice = new FS::cust_main_invoice ( {
7124         'custnum' => $self->custnum,
7125         'dest'    => $address,
7126       } );
7127       my $error = $cust_main_invoice->insert;
7128       warn $error if $error;
7129     }
7130   }
7131   
7132   if ( $self->custnum ) {
7133     map { $_->address }
7134       qsearch( 'cust_main_invoice', { 'custnum' => $self->custnum } );
7135   } else {
7136     ();
7137   }
7138
7139 }
7140
7141 =item check_invoicing_list ARRAYREF
7142
7143 Checks these arguements as valid input for the invoicing_list method.  If there
7144 is an error, returns the error, otherwise returns false.
7145
7146 =cut
7147
7148 sub check_invoicing_list {
7149   my( $self, $arrayref ) = @_;
7150
7151   foreach my $address ( @$arrayref ) {
7152
7153     if ($address eq 'FAX' and $self->getfield('fax') eq '') {
7154       return 'Can\'t add FAX invoice destination with a blank FAX number.';
7155     }
7156
7157     my $cust_main_invoice = new FS::cust_main_invoice ( {
7158       'custnum' => $self->custnum,
7159       'dest'    => $address,
7160     } );
7161     my $error = $self->custnum
7162                 ? $cust_main_invoice->check
7163                 : $cust_main_invoice->checkdest
7164     ;
7165     return $error if $error;
7166
7167   }
7168
7169   return "Email address required"
7170     if $conf->exists('cust_main-require_invoicing_list_email')
7171     && ! grep { $_ !~ /^([A-Z]+)$/ } @$arrayref;
7172
7173   '';
7174 }
7175
7176 =item set_default_invoicing_list
7177
7178 Sets the invoicing list to all accounts associated with this customer,
7179 overwriting any previous invoicing list.
7180
7181 =cut
7182
7183 sub set_default_invoicing_list {
7184   my $self = shift;
7185   $self->invoicing_list($self->all_emails);
7186 }
7187
7188 =item all_emails
7189
7190 Returns the email addresses of all accounts provisioned for this customer.
7191
7192 =cut
7193
7194 sub all_emails {
7195   my $self = shift;
7196   my %list;
7197   foreach my $cust_pkg ( $self->all_pkgs ) {
7198     my @cust_svc = qsearch('cust_svc', { 'pkgnum' => $cust_pkg->pkgnum } );
7199     my @svc_acct =
7200       map { qsearchs('svc_acct', { 'svcnum' => $_->svcnum } ) }
7201         grep { qsearchs('svc_acct', { 'svcnum' => $_->svcnum } ) }
7202           @cust_svc;
7203     $list{$_}=1 foreach map { $_->email } @svc_acct;
7204   }
7205   keys %list;
7206 }
7207
7208 =item invoicing_list_addpost
7209
7210 Adds postal invoicing to this customer.  If this customer is already configured
7211 to receive postal invoices, does nothing.
7212
7213 =cut
7214
7215 sub invoicing_list_addpost {
7216   my $self = shift;
7217   return if grep { $_ eq 'POST' } $self->invoicing_list;
7218   my @invoicing_list = $self->invoicing_list;
7219   push @invoicing_list, 'POST';
7220   $self->invoicing_list(\@invoicing_list);
7221 }
7222
7223 =item invoicing_list_emailonly
7224
7225 Returns the list of email invoice recipients (invoicing_list without non-email
7226 destinations such as POST and FAX).
7227
7228 =cut
7229
7230 sub invoicing_list_emailonly {
7231   my $self = shift;
7232   warn "$me invoicing_list_emailonly called"
7233     if $DEBUG;
7234   grep { $_ !~ /^([A-Z]+)$/ } $self->invoicing_list;
7235 }
7236
7237 =item invoicing_list_emailonly_scalar
7238
7239 Returns the list of email invoice recipients (invoicing_list without non-email
7240 destinations such as POST and FAX) as a comma-separated scalar.
7241
7242 =cut
7243
7244 sub invoicing_list_emailonly_scalar {
7245   my $self = shift;
7246   warn "$me invoicing_list_emailonly_scalar called"
7247     if $DEBUG;
7248   join(', ', $self->invoicing_list_emailonly);
7249 }
7250
7251 =item referral_custnum_cust_main
7252
7253 Returns the customer who referred this customer (or the empty string, if
7254 this customer was not referred).
7255
7256 Note the difference with referral_cust_main method: This method,
7257 referral_custnum_cust_main returns the single customer (if any) who referred
7258 this customer, while referral_cust_main returns an array of customers referred
7259 BY this customer.
7260
7261 =cut
7262
7263 sub referral_custnum_cust_main {
7264   my $self = shift;
7265   return '' unless $self->referral_custnum;
7266   qsearchs('cust_main', { 'custnum' => $self->referral_custnum } );
7267 }
7268
7269 =item referral_cust_main [ DEPTH [ EXCLUDE_HASHREF ] ]
7270
7271 Returns an array of customers referred by this customer (referral_custnum set
7272 to this custnum).  If DEPTH is given, recurses up to the given depth, returning
7273 customers referred by customers referred by this customer and so on, inclusive.
7274 The default behavior is DEPTH 1 (no recursion).
7275
7276 Note the difference with referral_custnum_cust_main method: This method,
7277 referral_cust_main, returns an array of customers referred BY this customer,
7278 while referral_custnum_cust_main returns the single customer (if any) who
7279 referred this customer.
7280
7281 =cut
7282
7283 sub referral_cust_main {
7284   my $self = shift;
7285   my $depth = @_ ? shift : 1;
7286   my $exclude = @_ ? shift : {};
7287
7288   my @cust_main =
7289     map { $exclude->{$_->custnum}++; $_; }
7290       grep { ! $exclude->{ $_->custnum } }
7291         qsearch( 'cust_main', { 'referral_custnum' => $self->custnum } );
7292
7293   if ( $depth > 1 ) {
7294     push @cust_main,
7295       map { $_->referral_cust_main($depth-1, $exclude) }
7296         @cust_main;
7297   }
7298
7299   @cust_main;
7300 }
7301
7302 =item referral_cust_main_ncancelled
7303
7304 Same as referral_cust_main, except only returns customers with uncancelled
7305 packages.
7306
7307 =cut
7308
7309 sub referral_cust_main_ncancelled {
7310   my $self = shift;
7311   grep { scalar($_->ncancelled_pkgs) } $self->referral_cust_main;
7312 }
7313
7314 =item referral_cust_pkg [ DEPTH ]
7315
7316 Like referral_cust_main, except returns a flat list of all unsuspended (and
7317 uncancelled) packages for each customer.  The number of items in this list may
7318 be useful for commission calculations (perhaps after a C<grep { my $pkgpart = $_->pkgpart; grep { $_ == $pkgpart } @commission_worthy_pkgparts> } $cust_main-> ).
7319
7320 =cut
7321
7322 sub referral_cust_pkg {
7323   my $self = shift;
7324   my $depth = @_ ? shift : 1;
7325
7326   map { $_->unsuspended_pkgs }
7327     grep { $_->unsuspended_pkgs }
7328       $self->referral_cust_main($depth);
7329 }
7330
7331 =item referring_cust_main
7332
7333 Returns the single cust_main record for the customer who referred this customer
7334 (referral_custnum), or false.
7335
7336 =cut
7337
7338 sub referring_cust_main {
7339   my $self = shift;
7340   return '' unless $self->referral_custnum;
7341   qsearchs('cust_main', { 'custnum' => $self->referral_custnum } );
7342 }
7343
7344 =item credit AMOUNT, REASON [ , OPTION => VALUE ... ]
7345
7346 Applies a credit to this customer.  If there is an error, returns the error,
7347 otherwise returns false.
7348
7349 REASON can be a text string, an FS::reason object, or a scalar reference to
7350 a reasonnum.  If a text string, it will be automatically inserted as a new
7351 reason, and a 'reason_type' option must be passed to indicate the
7352 FS::reason_type for the new reason.
7353
7354 An I<addlinfo> option may be passed to set the credit's I<addlinfo> field.
7355
7356 Any other options are passed to FS::cust_credit::insert.
7357
7358 =cut
7359
7360 sub credit {
7361   my( $self, $amount, $reason, %options ) = @_;
7362
7363   my $cust_credit = new FS::cust_credit {
7364     'custnum' => $self->custnum,
7365     'amount'  => $amount,
7366   };
7367
7368   if ( ref($reason) ) {
7369
7370     if ( ref($reason) eq 'SCALAR' ) {
7371       $cust_credit->reasonnum( $$reason );
7372     } else {
7373       $cust_credit->reasonnum( $reason->reasonnum );
7374     }
7375
7376   } else {
7377     $cust_credit->set('reason', $reason)
7378   }
7379
7380   for (qw( addlinfo eventnum )) {
7381     $cust_credit->$_( delete $options{$_} )
7382       if exists($options{$_});
7383   }
7384
7385   $cust_credit->insert(%options);
7386
7387 }
7388
7389 =item charge HASHREF || AMOUNT [ PKG [ COMMENT [ TAXCLASS ] ] ]
7390 =item cutoff
7391
7392 An absolute cutoff time.  Payments, credits, and refunds I<applied> after this 
7393 time will be ignored.  Note that START_TIME and END_TIME only limit the date 
7394 range for invoices and I<unapplied> payments, credits, and refunds.
7395
7396
7397 Creates a one-time charge for this customer.  If there is an error, returns
7398 the error, otherwise returns false.
7399
7400 New-style, with a hashref of options:
7401
7402   my $error = $cust_main->charge(
7403                                   {
7404                                     'amount'     => 54.32,
7405                                     'quantity'   => 1,
7406                                     'start_date' => str2time('7/4/2009'),
7407                                     'pkg'        => 'Description',
7408                                     'comment'    => 'Comment',
7409                                     'additional' => [], #extra invoice detail
7410                                     'classnum'   => 1,  #pkg_class
7411
7412                                     'setuptax'   => '', # or 'Y' for tax exempt
7413
7414                                     #internal taxation
7415                                     'taxclass'   => 'Tax class',
7416
7417                                     #vendor taxation
7418                                     'taxproduct' => 2,  #part_pkg_taxproduct
7419                                     'override'   => {}, #XXX describe
7420
7421                                     #will be filled in with the new object
7422                                     'cust_pkg_ref' => \$cust_pkg,
7423
7424                                     #generate an invoice immediately
7425                                     'bill_now' => 0,
7426                                     'invoice_terms' => '', #with these terms
7427                                   }
7428                                 );
7429
7430 Old-style:
7431
7432   my $error = $cust_main->charge( 54.32, 'Description', 'Comment', 'Tax class' );
7433
7434 =cut
7435
7436 sub charge {
7437   my $self = shift;
7438   my ( $amount, $quantity, $start_date, $classnum );
7439   my ( $pkg, $comment, $additional );
7440   my ( $setuptax, $taxclass );   #internal taxes
7441   my ( $taxproduct, $override ); #vendor (CCH) taxes
7442   my $cust_pkg_ref = '';
7443   my ( $bill_now, $invoice_terms ) = ( 0, '' );
7444   if ( ref( $_[0] ) ) {
7445     $amount     = $_[0]->{amount};
7446     $quantity   = exists($_[0]->{quantity}) ? $_[0]->{quantity} : 1;
7447     $start_date = exists($_[0]->{start_date}) ? $_[0]->{start_date} : '';
7448     $pkg        = exists($_[0]->{pkg}) ? $_[0]->{pkg} : 'One-time charge';
7449     $comment    = exists($_[0]->{comment}) ? $_[0]->{comment}
7450                                            : '$'. sprintf("%.2f",$amount);
7451     $setuptax   = exists($_[0]->{setuptax}) ? $_[0]->{setuptax} : '';
7452     $taxclass   = exists($_[0]->{taxclass}) ? $_[0]->{taxclass} : '';
7453     $classnum   = exists($_[0]->{classnum}) ? $_[0]->{classnum} : '';
7454     $additional = $_[0]->{additional} || [];
7455     $taxproduct = $_[0]->{taxproductnum};
7456     $override   = { '' => $_[0]->{tax_override} };
7457     $cust_pkg_ref = exists($_[0]->{cust_pkg_ref}) ? $_[0]->{cust_pkg_ref} : '';
7458     $bill_now = exists($_[0]->{bill_now}) ? $_[0]->{bill_now} : '';
7459     $invoice_terms = exists($_[0]->{invoice_terms}) ? $_[0]->{invoice_terms} : '';
7460   } else {
7461     $amount     = shift;
7462     $quantity   = 1;
7463     $start_date = '';
7464     $pkg        = @_ ? shift : 'One-time charge';
7465     $comment    = @_ ? shift : '$'. sprintf("%.2f",$amount);
7466     $setuptax   = '';
7467     $taxclass   = @_ ? shift : '';
7468     $additional = [];
7469   }
7470
7471   local $SIG{HUP} = 'IGNORE';
7472   local $SIG{INT} = 'IGNORE';
7473   local $SIG{QUIT} = 'IGNORE';
7474   local $SIG{TERM} = 'IGNORE';
7475   local $SIG{TSTP} = 'IGNORE';
7476   local $SIG{PIPE} = 'IGNORE';
7477
7478   my $oldAutoCommit = $FS::UID::AutoCommit;
7479   local $FS::UID::AutoCommit = 0;
7480   my $dbh = dbh;
7481
7482   my $part_pkg = new FS::part_pkg ( {
7483     'pkg'           => $pkg,
7484     'comment'       => $comment,
7485     'plan'          => 'flat',
7486     'freq'          => 0,
7487     'disabled'      => 'Y',
7488     'classnum'      => $classnum ? $classnum : '',
7489     'setuptax'      => $setuptax,
7490     'taxclass'      => $taxclass,
7491     'taxproductnum' => $taxproduct,
7492   } );
7493
7494   my %options = ( ( map { ("additional_info$_" => $additional->[$_] ) }
7495                         ( 0 .. @$additional - 1 )
7496                   ),
7497                   'additional_count' => scalar(@$additional),
7498                   'setup_fee' => $amount,
7499                 );
7500
7501   my $error = $part_pkg->insert( options       => \%options,
7502                                  tax_overrides => $override,
7503                                );
7504   if ( $error ) {
7505     $dbh->rollback if $oldAutoCommit;
7506     return $error;
7507   }
7508
7509   my $pkgpart = $part_pkg->pkgpart;
7510   my %type_pkgs = ( 'typenum' => $self->agent->typenum, 'pkgpart' => $pkgpart );
7511   unless ( qsearchs('type_pkgs', \%type_pkgs ) ) {
7512     my $type_pkgs = new FS::type_pkgs \%type_pkgs;
7513     $error = $type_pkgs->insert;
7514     if ( $error ) {
7515       $dbh->rollback if $oldAutoCommit;
7516       return $error;
7517     }
7518   }
7519
7520   my $cust_pkg = new FS::cust_pkg ( {
7521     'custnum'    => $self->custnum,
7522     'pkgpart'    => $pkgpart,
7523     'quantity'   => $quantity,
7524     'start_date' => $start_date,
7525   } );
7526
7527   $error = $cust_pkg->insert;
7528   if ( $error ) {
7529     $dbh->rollback if $oldAutoCommit;
7530     return $error;
7531   } elsif ( $cust_pkg_ref ) {
7532     ${$cust_pkg_ref} = $cust_pkg;
7533   }
7534
7535   if ( $bill_now ) {
7536     my $error = $self->bill( 'invoice_terms' => $invoice_terms,
7537                              'pkg_list'      => [ $cust_pkg ],
7538                            );
7539     if ( $error ) {
7540       $dbh->rollback if $oldAutoCommit;
7541       return $error;
7542     }   
7543   }
7544
7545   $dbh->commit or die $dbh->errstr if $oldAutoCommit;
7546   return '';
7547
7548 }
7549
7550 #=item charge_postal_fee
7551 #
7552 #Applies a one time charge this customer.  If there is an error,
7553 #returns the error, returns the cust_pkg charge object or false
7554 #if there was no charge.
7555 #
7556 #=cut
7557 #
7558 # This should be a customer event.  For that to work requires that bill
7559 # also be a customer event.
7560
7561 sub charge_postal_fee {
7562   my $self = shift;
7563
7564   my $pkgpart = $conf->config('postal_invoice-fee_pkgpart');
7565   return '' unless ($pkgpart && grep { $_ eq 'POST' } $self->invoicing_list);
7566
7567   my $cust_pkg = new FS::cust_pkg ( {
7568     'custnum'  => $self->custnum,
7569     'pkgpart'  => $pkgpart,
7570     'quantity' => 1,
7571   } );
7572
7573   my $error = $cust_pkg->insert;
7574   $error ? $error : $cust_pkg;
7575 }
7576
7577 =item cust_bill
7578
7579 Returns all the invoices (see L<FS::cust_bill>) for this customer.
7580
7581 =cut
7582
7583 sub cust_bill {
7584   my $self = shift;
7585   map { $_ } #return $self->num_cust_bill unless wantarray;
7586   sort { $a->_date <=> $b->_date }
7587     qsearch('cust_bill', { 'custnum' => $self->custnum, } )
7588 }
7589
7590 =item open_cust_bill
7591
7592 Returns all the open (owed > 0) invoices (see L<FS::cust_bill>) for this
7593 customer.
7594
7595 =cut
7596
7597 sub open_cust_bill {
7598   my $self = shift;
7599
7600   qsearch({
7601     'table'     => 'cust_bill',
7602     'hashref'   => { 'custnum' => $self->custnum, },
7603     'extra_sql' => ' AND '. FS::cust_bill->owed_sql. ' > 0',
7604     'order_by'  => 'ORDER BY _date ASC',
7605   });
7606
7607 }
7608
7609 =item cust_statements
7610
7611 Returns all the statements (see L<FS::cust_statement>) for this customer.
7612
7613 =cut
7614
7615 sub cust_statement {
7616   my $self = shift;
7617   map { $_ } #return $self->num_cust_statement unless wantarray;
7618   sort { $a->_date <=> $b->_date }
7619     qsearch('cust_statement', { 'custnum' => $self->custnum, } )
7620 }
7621
7622 =item cust_credit
7623
7624 Returns all the credits (see L<FS::cust_credit>) for this customer.
7625
7626 =cut
7627
7628 sub cust_credit {
7629   my $self = shift;
7630   map { $_ } #return $self->num_cust_credit unless wantarray;
7631   sort { $a->_date <=> $b->_date }
7632     qsearch( 'cust_credit', { 'custnum' => $self->custnum } )
7633 }
7634
7635 =item cust_credit_pkgnum
7636
7637 Returns all the credits (see L<FS::cust_credit>) for this customer's specific
7638 package when using experimental package balances.
7639
7640 =cut
7641
7642 sub cust_credit_pkgnum {
7643   my( $self, $pkgnum ) = @_;
7644   map { $_ } #return $self->num_cust_credit_pkgnum($pkgnum) unless wantarray;
7645   sort { $a->_date <=> $b->_date }
7646     qsearch( 'cust_credit', { 'custnum' => $self->custnum,
7647                               'pkgnum'  => $pkgnum,
7648                             }
7649     );
7650 }
7651
7652 =item cust_pay
7653
7654 Returns all the payments (see L<FS::cust_pay>) for this customer.
7655
7656 =cut
7657
7658 sub cust_pay {
7659   my $self = shift;
7660   return $self->num_cust_pay unless wantarray;
7661   sort { $a->_date <=> $b->_date }
7662     qsearch( 'cust_pay', { 'custnum' => $self->custnum } )
7663 }
7664
7665 =item num_cust_pay
7666
7667 Returns the number of payments (see L<FS::cust_pay>) for this customer.  Also
7668 called automatically when the cust_pay method is used in a scalar context.
7669
7670 =cut
7671
7672 sub num_cust_pay {
7673   my $self = shift;
7674   my $sql = "SELECT COUNT(*) FROM cust_pay WHERE custnum = ?";
7675   my $sth = dbh->prepare($sql) or die dbh->errstr;
7676   $sth->execute($self->custnum) or die $sth->errstr;
7677   $sth->fetchrow_arrayref->[0];
7678 }
7679
7680 =item cust_pay_pkgnum
7681
7682 Returns all the payments (see L<FS::cust_pay>) for this customer's specific
7683 package when using experimental package balances.
7684
7685 =cut
7686
7687 sub cust_pay_pkgnum {
7688   my( $self, $pkgnum ) = @_;
7689   map { $_ } #return $self->num_cust_pay_pkgnum($pkgnum) unless wantarray;
7690   sort { $a->_date <=> $b->_date }
7691     qsearch( 'cust_pay', { 'custnum' => $self->custnum,
7692                            'pkgnum'  => $pkgnum,
7693                          }
7694     );
7695 }
7696
7697 =item cust_pay_void
7698
7699 Returns all voided payments (see L<FS::cust_pay_void>) for this customer.
7700
7701 =cut
7702
7703 sub cust_pay_void {
7704   my $self = shift;
7705   map { $_ } #return $self->num_cust_pay_void unless wantarray;
7706   sort { $a->_date <=> $b->_date }
7707     qsearch( 'cust_pay_void', { 'custnum' => $self->custnum } )
7708 }
7709
7710 =item cust_pay_batch
7711
7712 Returns all batched payments (see L<FS::cust_pay_void>) for this customer.
7713
7714 =cut
7715
7716 sub cust_pay_batch {
7717   my $self = shift;
7718   map { $_ } #return $self->num_cust_pay_batch unless wantarray;
7719   sort { $a->paybatchnum <=> $b->paybatchnum }
7720     qsearch( 'cust_pay_batch', { 'custnum' => $self->custnum } )
7721 }
7722
7723 =item cust_pay_pending
7724
7725 Returns all pending payments (see L<FS::cust_pay_pending>) for this customer
7726 (without status "done").
7727
7728 =cut
7729
7730 sub cust_pay_pending {
7731   my $self = shift;
7732   return $self->num_cust_pay_pending unless wantarray;
7733   sort { $a->_date <=> $b->_date }
7734     qsearch( 'cust_pay_pending', {
7735                                    'custnum' => $self->custnum,
7736                                    'status'  => { op=>'!=', value=>'done' },
7737                                  },
7738            );
7739 }
7740
7741 =item num_cust_pay_pending
7742
7743 Returns the number of pending payments (see L<FS::cust_pay_pending>) for this
7744 customer (without status "done").  Also called automatically when the
7745 cust_pay_pending method is used in a scalar context.
7746
7747 =cut
7748
7749 sub num_cust_pay_pending {
7750   my $self = shift;
7751   my $sql = " SELECT COUNT(*) FROM cust_pay_pending ".
7752             "   WHERE custnum = ? AND status != 'done' ";
7753   my $sth = dbh->prepare($sql) or die dbh->errstr;
7754   $sth->execute($self->custnum) or die $sth->errstr;
7755   $sth->fetchrow_arrayref->[0];
7756 }
7757
7758 =item cust_refund
7759
7760 Returns all the refunds (see L<FS::cust_refund>) for this customer.
7761
7762 =cut
7763
7764 sub cust_refund {
7765   my $self = shift;
7766   map { $_ } #return $self->num_cust_refund unless wantarray;
7767   sort { $a->_date <=> $b->_date }
7768     qsearch( 'cust_refund', { 'custnum' => $self->custnum } )
7769 }
7770
7771 =item display_custnum
7772
7773 Returns the displayed customer number for this customer: agent_custid if
7774 cust_main-default_agent_custid is set and it has a value, custnum otherwise.
7775
7776 =cut
7777
7778 sub display_custnum {
7779   my $self = shift;
7780   if ( $conf->exists('cust_main-default_agent_custid') && $self->agent_custid ){
7781     return $self->agent_custid;
7782   } else {
7783     return $self->custnum;
7784   }
7785 }
7786
7787 =item name
7788
7789 Returns a name string for this customer, either "Company (Last, First)" or
7790 "Last, First".
7791
7792 =cut
7793
7794 sub name {
7795   my $self = shift;
7796   my $name = $self->contact;
7797   $name = $self->company. " ($name)" if $self->company;
7798   $name;
7799 }
7800
7801 =item ship_name
7802
7803 Returns a name string for this (service/shipping) contact, either
7804 "Company (Last, First)" or "Last, First".
7805
7806 =cut
7807
7808 sub ship_name {
7809   my $self = shift;
7810   if ( $self->get('ship_last') ) { 
7811     my $name = $self->ship_contact;
7812     $name = $self->ship_company. " ($name)" if $self->ship_company;
7813     $name;
7814   } else {
7815     $self->name;
7816   }
7817 }
7818
7819 =item name_short
7820
7821 Returns a name string for this customer, either "Company" or "First Last".
7822
7823 =cut
7824
7825 sub name_short {
7826   my $self = shift;
7827   $self->company !~ /^\s*$/ ? $self->company : $self->contact_firstlast;
7828 }
7829
7830 =item ship_name_short
7831
7832 Returns a name string for this (service/shipping) contact, either "Company"
7833 or "First Last".
7834
7835 =cut
7836
7837 sub ship_name_short {
7838   my $self = shift;
7839   if ( $self->get('ship_last') ) { 
7840     $self->ship_company !~ /^\s*$/
7841       ? $self->ship_company
7842       : $self->ship_contact_firstlast;
7843   } else {
7844     $self->name_company_or_firstlast;
7845   }
7846 }
7847
7848 =item contact
7849
7850 Returns this customer's full (billing) contact name only, "Last, First"
7851
7852 =cut
7853
7854 sub contact {
7855   my $self = shift;
7856   $self->get('last'). ', '. $self->first;
7857 }
7858
7859 =item ship_contact
7860
7861 Returns this customer's full (shipping) contact name only, "Last, First"
7862
7863 =cut
7864
7865 sub ship_contact {
7866   my $self = shift;
7867   $self->get('ship_last')
7868     ? $self->get('ship_last'). ', '. $self->ship_first
7869     : $self->contact;
7870 }
7871
7872 =item contact_firstlast
7873
7874 Returns this customers full (billing) contact name only, "First Last".
7875
7876 =cut
7877
7878 sub contact_firstlast {
7879   my $self = shift;
7880   $self->first. ' '. $self->get('last');
7881 }
7882
7883 =item ship_contact_firstlast
7884
7885 Returns this customer's full (shipping) contact name only, "First Last".
7886
7887 =cut
7888
7889 sub ship_contact_firstlast {
7890   my $self = shift;
7891   $self->get('ship_last')
7892     ? $self->first. ' '. $self->get('ship_last')
7893     : $self->contact_firstlast;
7894 }
7895
7896 =item country_full
7897
7898 Returns this customer's full country name
7899
7900 =cut
7901
7902 sub country_full {
7903   my $self = shift;
7904   code2country($self->country);
7905 }
7906
7907 =item geocode DATA_VENDOR
7908
7909 Returns a value for the customer location as encoded by DATA_VENDOR.
7910 Currently this only makes sense for "CCH" as DATA_VENDOR.
7911
7912 =cut
7913
7914 sub geocode {
7915   my ($self, $data_vendor) = (shift, shift);  #always cch for now
7916
7917   my $geocode = $self->get('geocode');  #XXX only one data_vendor for geocode
7918   return $geocode if $geocode;
7919
7920   my $prefix = ( $conf->exists('tax-ship_address') && length($self->ship_last) )
7921                ? 'ship_'
7922                : '';
7923
7924   my($zip,$plus4) = split /-/, $self->get("${prefix}zip")
7925     if $self->country eq 'US';
7926
7927   $zip ||= '';
7928   $plus4 ||= '';
7929   #CCH specific location stuff
7930   my $extra_sql = "AND plus4lo <= '$plus4' AND plus4hi >= '$plus4'";
7931
7932   my @cust_tax_location =
7933     qsearch( {
7934                'table'     => 'cust_tax_location', 
7935                'hashref'   => { 'zip' => $zip, 'data_vendor' => $data_vendor },
7936                'extra_sql' => $extra_sql,
7937                'order_by'  => 'ORDER BY plus4hi',#overlapping with distinct ends
7938              }
7939            );
7940   $geocode = $cust_tax_location[0]->geocode
7941     if scalar(@cust_tax_location);
7942
7943   $geocode;
7944 }
7945
7946 =item cust_status
7947
7948 =item status
7949
7950 Returns a status string for this customer, currently:
7951
7952 =over 4
7953
7954 =item prospect - No packages have ever been ordered
7955
7956 =item active - One or more recurring packages is active
7957
7958 =item inactive - No active recurring packages, but otherwise unsuspended/uncancelled (the inactive status is new - previously inactive customers were mis-identified as cancelled)
7959
7960 =item suspended - All non-cancelled recurring packages are suspended
7961
7962 =item cancelled - All recurring packages are cancelled
7963
7964 =back
7965
7966 =cut
7967
7968 sub status { shift->cust_status(@_); }
7969
7970 sub cust_status {
7971   my $self = shift;
7972   for my $status (qw( prospect active inactive suspended cancelled )) {
7973     my $method = $status.'_sql';
7974     my $numnum = ( my $sql = $self->$method() ) =~ s/cust_main\.custnum/?/g;
7975     my $sth = dbh->prepare("SELECT $sql") or die dbh->errstr;
7976     $sth->execute( ($self->custnum) x $numnum )
7977       or die "Error executing 'SELECT $sql': ". $sth->errstr;
7978     return $status if $sth->fetchrow_arrayref->[0];
7979   }
7980 }
7981
7982 =item ucfirst_cust_status
7983
7984 =item ucfirst_status
7985
7986 Returns the status with the first character capitalized.
7987
7988 =cut
7989
7990 sub ucfirst_status { shift->ucfirst_cust_status(@_); }
7991
7992 sub ucfirst_cust_status {
7993   my $self = shift;
7994   ucfirst($self->cust_status);
7995 }
7996
7997 =item statuscolor
7998
7999 Returns a hex triplet color string for this customer's status.
8000
8001 =cut
8002
8003 use vars qw(%statuscolor);
8004 tie %statuscolor, 'Tie::IxHash',
8005   'prospect'  => '7e0079', #'000000', #black?  naw, purple
8006   'active'    => '00CC00', #green
8007   'inactive'  => '0000CC', #blue
8008   'suspended' => 'FF9900', #yellow
8009   'cancelled' => 'FF0000', #red
8010 ;
8011
8012 sub statuscolor { shift->cust_statuscolor(@_); }
8013
8014 sub cust_statuscolor {
8015   my $self = shift;
8016   $statuscolor{$self->cust_status};
8017 }
8018
8019 =item tickets
8020
8021 Returns an array of hashes representing the customer's RT tickets.
8022
8023 =cut
8024
8025 sub tickets {
8026   my $self = shift;
8027
8028   my $num = $conf->config('cust_main-max_tickets') || 10;
8029   my @tickets = ();
8030
8031   if ( $conf->config('ticket_system') ) {
8032     unless ( $conf->config('ticket_system-custom_priority_field') ) {
8033
8034       @tickets = @{ FS::TicketSystem->customer_tickets($self->custnum, $num) };
8035
8036     } else {
8037
8038       foreach my $priority (
8039         $conf->config('ticket_system-custom_priority_field-values'), ''
8040       ) {
8041         last if scalar(@tickets) >= $num;
8042         push @tickets, 
8043           @{ FS::TicketSystem->customer_tickets( $self->custnum,
8044                                                  $num - scalar(@tickets),
8045                                                  $priority,
8046                                                )
8047            };
8048       }
8049     }
8050   }
8051   (@tickets);
8052 }
8053
8054 # Return services representing svc_accts in customer support packages
8055 sub support_services {
8056   my $self = shift;
8057   my %packages = map { $_ => 1 } $conf->config('support_packages');
8058
8059   grep { $_->pkg_svc && $_->pkg_svc->primary_svc eq 'Y' }
8060     grep { $_->part_svc->svcdb eq 'svc_acct' }
8061     map { $_->cust_svc }
8062     grep { exists $packages{ $_->pkgpart } }
8063     $self->ncancelled_pkgs;
8064
8065 }
8066
8067 # Return a list of latitude/longitude for one of the services (if any)
8068 sub service_coordinates {
8069   my $self = shift;
8070
8071   my @svc_X = 
8072     grep { $_->latitude && $_->longitude }
8073     map { $_->svc_x }
8074     map { $_->cust_svc }
8075     $self->ncancelled_pkgs;
8076
8077   scalar(@svc_X) ? ( $svc_X[0]->latitude, $svc_X[0]->longitude ) : ()
8078 }
8079
8080 =back
8081
8082 =head1 CLASS METHODS
8083
8084 =over 4
8085
8086 =item statuses
8087
8088 Class method that returns the list of possible status strings for customers
8089 (see L<the status method|/status>).  For example:
8090
8091   @statuses = FS::cust_main->statuses();
8092
8093 =cut
8094
8095 sub statuses {
8096   #my $self = shift; #could be class...
8097   keys %statuscolor;
8098 }
8099
8100 =item prospect_sql
8101
8102 Returns an SQL expression identifying prospective cust_main records (customers
8103 with no packages ever ordered)
8104
8105 =cut
8106
8107 use vars qw($select_count_pkgs);
8108 $select_count_pkgs =
8109   "SELECT COUNT(*) FROM cust_pkg
8110     WHERE cust_pkg.custnum = cust_main.custnum";
8111
8112 sub select_count_pkgs_sql {
8113   $select_count_pkgs;
8114 }
8115
8116 sub prospect_sql { "
8117   0 = ( $select_count_pkgs )
8118 "; }
8119
8120 =item active_sql
8121
8122 Returns an SQL expression identifying active cust_main records (customers with
8123 active recurring packages).
8124
8125 =cut
8126
8127 sub active_sql { "
8128   0 < ( $select_count_pkgs AND ". FS::cust_pkg->active_sql. "
8129       )
8130 "; }
8131
8132 =item inactive_sql
8133
8134 Returns an SQL expression identifying inactive cust_main records (customers with
8135 no active recurring packages, but otherwise unsuspended/uncancelled).
8136
8137 =cut
8138
8139 sub inactive_sql { "
8140   0 = ( $select_count_pkgs AND ". FS::cust_pkg->active_sql. " )
8141   AND
8142   0 < ( $select_count_pkgs AND ". FS::cust_pkg->inactive_sql. " )
8143 "; }
8144
8145 =item susp_sql
8146 =item suspended_sql
8147
8148 Returns an SQL expression identifying suspended cust_main records.
8149
8150 =cut
8151
8152
8153 sub suspended_sql { susp_sql(@_); }
8154 sub susp_sql { "
8155     0 < ( $select_count_pkgs AND ". FS::cust_pkg->suspended_sql. " )
8156     AND
8157     0 = ( $select_count_pkgs AND ". FS::cust_pkg->active_sql. " )
8158 "; }
8159
8160 =item cancel_sql
8161 =item cancelled_sql
8162
8163 Returns an SQL expression identifying cancelled cust_main records.
8164
8165 =cut
8166
8167 sub cancelled_sql { cancel_sql(@_); }
8168 sub cancel_sql {
8169
8170   my $recurring_sql = FS::cust_pkg->recurring_sql;
8171   my $cancelled_sql = FS::cust_pkg->cancelled_sql;
8172
8173   "
8174         0 < ( $select_count_pkgs )
8175     AND 0 < ( $select_count_pkgs AND $recurring_sql AND $cancelled_sql   )
8176     AND 0 = ( $select_count_pkgs AND $recurring_sql
8177                   AND ( cust_pkg.cancel IS NULL OR cust_pkg.cancel = 0 )
8178             )
8179     AND 0 = (  $select_count_pkgs AND ". FS::cust_pkg->inactive_sql. " )
8180   ";
8181
8182 }
8183
8184 =item uncancel_sql
8185 =item uncancelled_sql
8186
8187 Returns an SQL expression identifying un-cancelled cust_main records.
8188
8189 =cut
8190
8191 sub uncancelled_sql { uncancel_sql(@_); }
8192 sub uncancel_sql { "
8193   ( 0 < ( $select_count_pkgs
8194                    AND ( cust_pkg.cancel IS NULL
8195                          OR cust_pkg.cancel = 0
8196                        )
8197         )
8198     OR 0 = ( $select_count_pkgs )
8199   )
8200 "; }
8201
8202 =item balance_sql
8203
8204 Returns an SQL fragment to retreive the balance.
8205
8206 =cut
8207
8208 sub balance_sql { "
8209     ( SELECT COALESCE( SUM(charged), 0 ) FROM cust_bill
8210         WHERE cust_bill.custnum   = cust_main.custnum     )
8211   - ( SELECT COALESCE( SUM(paid),    0 ) FROM cust_pay
8212         WHERE cust_pay.custnum    = cust_main.custnum     )
8213   - ( SELECT COALESCE( SUM(amount),  0 ) FROM cust_credit
8214         WHERE cust_credit.custnum = cust_main.custnum     )
8215   + ( SELECT COALESCE( SUM(refund),  0 ) FROM cust_refund
8216         WHERE cust_refund.custnum = cust_main.custnum     )
8217 "; }
8218
8219 =item balance_date_sql START_TIME [ END_TIME [ OPTION => VALUE ... ] ]
8220
8221 Returns an SQL fragment to retreive the balance for this customer, only
8222 considering invoices with date earlier than START_TIME, and optionally not
8223 later than END_TIME (total_owed_date minus total_unapplied_credits minus
8224 total_unapplied_payments).
8225
8226 Times are specified as SQL fragments or numeric
8227 UNIX timestamps; see L<perlfunc/"time">).  Also see L<Time::Local> and
8228 L<Date::Parse> for conversion functions.  The empty string can be passed
8229 to disable that time constraint completely.
8230
8231 Available options are:
8232
8233 =over 4
8234
8235 =item unapplied_date
8236
8237 set to true to disregard unapplied credits, payments and refunds outside the specified time period - by default the time period restriction only applies to invoices (useful for reporting, probably a bad idea for event triggering)
8238
8239 =item total
8240
8241 (unused.  obsolete?)
8242 set to true to remove all customer comparison clauses, for totals
8243
8244 =item where
8245
8246 (unused.  obsolete?)
8247 WHERE clause hashref (elements "AND"ed together) (typically used with the total option)
8248
8249 =item join
8250
8251 (unused.  obsolete?)
8252 JOIN clause (typically used with the total option)
8253
8254 =back
8255
8256 =cut
8257
8258 sub balance_date_sql {
8259   my( $class, $start, $end, %opt ) = @_;
8260
8261   my $cutoff = $opt{'cutoff'};
8262
8263   my $owed         = FS::cust_bill->owed_sql($cutoff);
8264   my $unapp_refund = FS::cust_refund->unapplied_sql($cutoff);
8265   my $unapp_credit = FS::cust_credit->unapplied_sql($cutoff);
8266   my $unapp_pay    = FS::cust_pay->unapplied_sql($cutoff);
8267
8268   my $j = $opt{'join'} || '';
8269
8270   my $owed_wh   = $class->_money_table_where( 'cust_bill',   $start,$end,%opt );
8271   my $refund_wh = $class->_money_table_where( 'cust_refund', $start,$end,%opt );
8272   my $credit_wh = $class->_money_table_where( 'cust_credit', $start,$end,%opt );
8273   my $pay_wh    = $class->_money_table_where( 'cust_pay',    $start,$end,%opt );
8274
8275   "   ( SELECT COALESCE(SUM($owed),         0) FROM cust_bill   $j $owed_wh   )
8276     + ( SELECT COALESCE(SUM($unapp_refund), 0) FROM cust_refund $j $refund_wh )
8277     - ( SELECT COALESCE(SUM($unapp_credit), 0) FROM cust_credit $j $credit_wh )
8278     - ( SELECT COALESCE(SUM($unapp_pay),    0) FROM cust_pay    $j $pay_wh    )
8279   ";
8280
8281 }
8282
8283 =item unapplied_payments_date_sql START_TIME [ END_TIME ]
8284
8285 Returns an SQL fragment to retreive the total unapplied payments for this
8286 customer, only considering invoices with date earlier than START_TIME, and
8287 optionally not later than END_TIME.
8288
8289 Times are specified as SQL fragments or numeric
8290 UNIX timestamps; see L<perlfunc/"time">).  Also see L<Time::Local> and
8291 L<Date::Parse> for conversion functions.  The empty string can be passed
8292 to disable that time constraint completely.
8293
8294 Available options are:
8295
8296 =cut
8297
8298 sub unapplied_payments_date_sql {
8299   my( $class, $start, $end, %opt ) = @_;
8300
8301   my $cutoff = $opt{'cutoff'};
8302
8303   my $unapp_pay    = FS::cust_pay->unapplied_sql($cutoff);
8304
8305   my $pay_where = $class->_money_table_where( 'cust_pay', $start, $end,
8306                                                           'unapplied_date'=>1 );
8307
8308   " ( SELECT COALESCE(SUM($unapp_pay), 0) FROM cust_pay $pay_where ) ";
8309 }
8310
8311 =item _money_table_where TABLE START_TIME [ END_TIME [ OPTION => VALUE ... ] ]
8312
8313 Helper method for balance_date_sql; name (and usage) subject to change
8314 (suggestions welcome).
8315
8316 Returns a WHERE clause for the specified monetary TABLE (cust_bill,
8317 cust_refund, cust_credit or cust_pay).
8318
8319 If TABLE is "cust_bill" or the unapplied_date option is true, only
8320 considers records with date earlier than START_TIME, and optionally not
8321 later than END_TIME .
8322
8323 =cut
8324
8325 sub _money_table_where {
8326   my( $class, $table, $start, $end, %opt ) = @_;
8327
8328   my @where = ();
8329   push @where, "cust_main.custnum = $table.custnum" unless $opt{'total'};
8330   if ( $table eq 'cust_bill' || $opt{'unapplied_date'} ) {
8331     push @where, "$table._date <= $start" if defined($start) && length($start);
8332     push @where, "$table._date >  $end"   if defined($end)   && length($end);
8333   }
8334   push @where, @{$opt{'where'}} if $opt{'where'};
8335   my $where = scalar(@where) ? 'WHERE '. join(' AND ', @where ) : '';
8336
8337   $where;
8338
8339 }
8340
8341 =item search HASHREF
8342
8343 (Class method)
8344
8345 Returns a qsearch hash expression to search for parameters specified in
8346 HASHREF.  Valid parameters are
8347
8348 =over 4
8349
8350 =item agentnum
8351
8352 =item status
8353
8354 =item cancelled_pkgs
8355
8356 bool
8357
8358 =item signupdate
8359
8360 listref of start date, end date
8361
8362 =item payby
8363
8364 listref
8365
8366 =item paydate_year
8367
8368 =item paydate_month
8369
8370 =item current_balance
8371
8372 listref (list returned by FS::UI::Web::parse_lt_gt($cgi, 'current_balance'))
8373
8374 =item cust_fields
8375
8376 =item flattened_pkgs
8377
8378 bool
8379
8380 =back
8381
8382 =cut
8383
8384 sub search {
8385   my ($class, $params) = @_;
8386
8387   my $dbh = dbh;
8388
8389   my @where = ();
8390   my $orderby;
8391
8392   ##
8393   # parse agent
8394   ##
8395
8396   if ( $params->{'agentnum'} =~ /^(\d+)$/ and $1 ) {
8397     push @where,
8398       "cust_main.agentnum = $1";
8399   }
8400
8401   ##
8402   # parse status
8403   ##
8404
8405   #prospect active inactive suspended cancelled
8406   if ( grep { $params->{'status'} eq $_ } FS::cust_main->statuses() ) {
8407     my $method = $params->{'status'}. '_sql';
8408     #push @where, $class->$method();
8409     push @where, FS::cust_main->$method();
8410   }
8411   
8412   ##
8413   # parse cancelled package checkbox
8414   ##
8415
8416   my $pkgwhere = "";
8417
8418   $pkgwhere .= "AND (cancel = 0 or cancel is null)"
8419     unless $params->{'cancelled_pkgs'};
8420
8421   ##
8422   # parse without census tract checkbox
8423   ##
8424
8425   push @where, "(censustract = '' or censustract is null)"
8426     if $params->{'no_censustract'};
8427
8428   ##
8429   # dates
8430   ##
8431
8432   foreach my $field (qw( signupdate )) {
8433
8434     next unless exists($params->{$field});
8435
8436     my($beginning, $ending) = @{$params->{$field}};
8437
8438     push @where,
8439       "cust_main.$field IS NOT NULL",
8440       "cust_main.$field >= $beginning",
8441       "cust_main.$field <= $ending";
8442
8443     $orderby ||= "ORDER BY cust_main.$field";
8444
8445   }
8446
8447   ###
8448   # payby
8449   ###
8450
8451   if ( $params->{'payby'} ) {
8452  
8453     my @payby = ref( $params->{'payby'} )
8454                   ? @{ $params->{'payby'} }
8455                   :  ( $params->{'payby'} );
8456  
8457     @payby = grep /^([A-Z]{4})$/, @{ $params->{'payby'} };
8458  
8459     push @where, '( '. join(' OR ', map "cust_main.payby = '$_'", @payby). ' )'
8460       if @payby;
8461
8462   }
8463
8464   my @payby = grep /^([A-Z]{4})$/, @{ $params->{'payby'} };
8465   if ( @payby ) {
8466     push @where, '( '. join(' OR ', map "cust_main.payby = '$_'", @payby). ' )';
8467   }
8468
8469   ###
8470   # paydate_year / paydate_month
8471   ###
8472
8473   if ( $params->{'paydate_year'} =~ /^(\d{4})$/ ) {
8474     my $year = $1;
8475     $params->{'paydate_month'} =~ /^(\d\d?)$/
8476       or die "paydate_year without paydate_month?";
8477     my $month = $1;
8478
8479     push @where,
8480       'paydate IS NOT NULL',
8481       "paydate != ''",
8482       "CAST(paydate AS timestamp) < CAST('$year-$month-01' AS timestamp )"
8483 ;
8484   }
8485
8486   ###
8487   # invoice terms
8488   ###
8489
8490   if ( $params->{'invoice_terms'} =~ /^([\w ]+)$/ ) {
8491     my $terms = $1;
8492     if ( $1 eq 'NULL' ) {
8493       push @where,
8494         "( cust_main.invoice_terms IS NULL OR cust_main.invoice_terms = '' )";
8495     } else {
8496       push @where,
8497         "cust_main.invoice_terms IS NOT NULL",
8498         "cust_main.invoice_terms = '$1'";
8499     }
8500   }
8501
8502   ##
8503   # amounts
8504   ##
8505
8506   if ( $params->{'current_balance'} ) {
8507
8508     #my $balance_sql = $class->balance_sql();
8509     my $balance_sql = FS::cust_main->balance_sql();
8510
8511     my @current_balance =
8512       ref( $params->{'current_balance'} )
8513       ? @{ $params->{'current_balance'} }
8514       :  ( $params->{'current_balance'} );
8515
8516     push @where, map { s/current_balance/$balance_sql/; $_ }
8517                      @current_balance;
8518
8519   }
8520
8521   ##
8522   # custbatch
8523   ##
8524
8525   if ( $params->{'custbatch'} =~ /^([\w\/\-\:\.]+)$/ and $1 ) {
8526     push @where,
8527       "cust_main.custbatch = '$1'";
8528   }
8529
8530   ##
8531   # setup queries, subs, etc. for the search
8532   ##
8533
8534   $orderby ||= 'ORDER BY custnum';
8535
8536   # here is the agent virtualization
8537   push @where, $FS::CurrentUser::CurrentUser->agentnums_sql;
8538
8539   my $extra_sql = scalar(@where) ? ' WHERE '. join(' AND ', @where) : '';
8540
8541   my $addl_from = 'LEFT JOIN cust_pkg USING ( custnum  ) ';
8542
8543   my $count_query = "SELECT COUNT(*) FROM cust_main $extra_sql";
8544
8545   my $select = join(', ', 
8546                  'cust_main.custnum',
8547                  FS::UI::Web::cust_sql_fields($params->{'cust_fields'}),
8548                );
8549
8550   my(@extra_headers) = ();
8551   my(@extra_fields)  = ();
8552
8553   if ($params->{'flattened_pkgs'}) {
8554
8555     if ($dbh->{Driver}->{Name} eq 'Pg') {
8556
8557       $select .= ", array_to_string(array(select pkg from cust_pkg left join part_pkg using ( pkgpart ) where cust_main.custnum = cust_pkg.custnum $pkgwhere),'|') as magic";
8558
8559     }elsif ($dbh->{Driver}->{Name} =~ /^mysql/i) {
8560       $select .= ", GROUP_CONCAT(pkg SEPARATOR '|') as magic";
8561       $addl_from .= " LEFT JOIN part_pkg using ( pkgpart )";
8562     }else{
8563       warn "warning: unknown database type ". $dbh->{Driver}->{Name}. 
8564            "omitting packing information from report.";
8565     }
8566
8567     my $header_query = "SELECT COUNT(cust_pkg.custnum = cust_main.custnum) AS count FROM cust_main $addl_from $extra_sql $pkgwhere group by cust_main.custnum order by count desc limit 1";
8568
8569     my $sth = dbh->prepare($header_query) or die dbh->errstr;
8570     $sth->execute() or die $sth->errstr;
8571     my $headerrow = $sth->fetchrow_arrayref;
8572     my $headercount = $headerrow ? $headerrow->[0] : 0;
8573     while($headercount) {
8574       unshift @extra_headers, "Package ". $headercount;
8575       unshift @extra_fields, eval q!sub {my $c = shift;
8576                                          my @a = split '\|', $c->magic;
8577                                          my $p = $a[!.--$headercount. q!];
8578                                          $p;
8579                                         };!;
8580     }
8581
8582   }
8583
8584   my $sql_query = {
8585     'table'         => 'cust_main',
8586     'select'        => $select,
8587     'hashref'       => {},
8588     'extra_sql'     => $extra_sql,
8589     'order_by'      => $orderby,
8590     'count_query'   => $count_query,
8591     'extra_headers' => \@extra_headers,
8592     'extra_fields'  => \@extra_fields,
8593   };
8594
8595 }
8596
8597 =item email_search_result HASHREF
8598
8599 (Class method)
8600
8601 Emails a notice to the specified customers.
8602
8603 Valid parameters are those of the L<search> method, plus the following:
8604
8605 =over 4
8606
8607 =item from
8608
8609 From: address
8610
8611 =item subject
8612
8613 Email Subject:
8614
8615 =item html_body
8616
8617 HTML body
8618
8619 =item text_body
8620
8621 Text body
8622
8623 =item job
8624
8625 Optional job queue job for status updates.
8626
8627 =back
8628
8629 Returns an error message, or false for success.
8630
8631 If an error occurs during any email, stops the enture send and returns that
8632 error.  Presumably if you're getting SMTP errors aborting is better than 
8633 retrying everything.
8634
8635 =cut
8636
8637 sub email_search_result {
8638   my($class, $params) = @_;
8639
8640   my $from = delete $params->{from};
8641   my $subject = delete $params->{subject};
8642   my $html_body = delete $params->{html_body};
8643   my $text_body = delete $params->{text_body};
8644
8645   my $job = delete $params->{'job'};
8646
8647   $params->{'payby'} = [ split(/\0/, $params->{'payby'}) ]
8648     unless ref($params->{'payby'});
8649
8650   my $sql_query = $class->search($params);
8651
8652   my $count_query   = delete($sql_query->{'count_query'});
8653   my $count_sth = dbh->prepare($count_query)
8654     or die "Error preparing $count_query: ". dbh->errstr;
8655   $count_sth->execute
8656     or die "Error executing $count_query: ". $count_sth->errstr;
8657   my $count_arrayref = $count_sth->fetchrow_arrayref;
8658   my $num_cust = $count_arrayref->[0];
8659
8660   #my @extra_headers = @{ delete($sql_query->{'extra_headers'}) };
8661   #my @extra_fields  = @{ delete($sql_query->{'extra_fields'})  };
8662
8663
8664   my( $num, $last, $min_sec ) = (0, time, 5); #progresbar foo
8665
8666   #eventually order+limit magic to reduce memory use?
8667   foreach my $cust_main ( qsearch($sql_query) ) {
8668
8669     my $to = $cust_main->invoicing_list_emailonly_scalar;
8670     next unless $to;
8671
8672     my $error = send_email(
8673       generate_email(
8674         'from'      => $from,
8675         'to'        => $to,
8676         'subject'   => $subject,
8677         'html_body' => $html_body,
8678         'text_body' => $text_body,
8679       )
8680     );
8681     return $error if $error;
8682
8683     if ( $job ) { #progressbar foo
8684       $num++;
8685       if ( time - $min_sec > $last ) {
8686         my $error = $job->update_statustext(
8687           int( 100 * $num / $num_cust )
8688         );
8689         die $error if $error;
8690         $last = time;
8691       }
8692     }
8693
8694   }
8695
8696   return '';
8697 }
8698
8699 use Storable qw(thaw);
8700 use Data::Dumper;
8701 use MIME::Base64;
8702 sub process_email_search_result {
8703   my $job = shift;
8704   #warn "$me process_re_X $method for job $job\n" if $DEBUG;
8705
8706   my $param = thaw(decode_base64(shift));
8707   warn Dumper($param) if $DEBUG;
8708
8709   $param->{'job'} = $job;
8710
8711   $param->{'payby'} = [ split(/\0/, $param->{'payby'}) ]
8712     unless ref($param->{'payby'});
8713
8714   my $error = FS::cust_main->email_search_result( $param );
8715   die $error if $error;
8716
8717 }
8718
8719 =item fuzzy_search FUZZY_HASHREF [ HASHREF, SELECT, EXTRA_SQL, CACHE_OBJ ]
8720
8721 Performs a fuzzy (approximate) search and returns the matching FS::cust_main
8722 records.  Currently, I<first>, I<last>, I<company> and/or I<address1> may be
8723 specified (the appropriate ship_ field is also searched).
8724
8725 Additional options are the same as FS::Record::qsearch
8726
8727 =cut
8728
8729 sub fuzzy_search {
8730   my( $self, $fuzzy, $hash, @opt) = @_;
8731   #$self
8732   $hash ||= {};
8733   my @cust_main = ();
8734
8735   check_and_rebuild_fuzzyfiles();
8736   foreach my $field ( keys %$fuzzy ) {
8737
8738     my $all = $self->all_X($field);
8739     next unless scalar(@$all);
8740
8741     my %match = ();
8742     $match{$_}=1 foreach ( amatch( $fuzzy->{$field}, ['i'], @$all ) );
8743
8744     my @fcust = ();
8745     foreach ( keys %match ) {
8746       push @fcust, qsearch('cust_main', { %$hash, $field=>$_}, @opt);
8747       push @fcust, qsearch('cust_main', { %$hash, "ship_$field"=>$_}, @opt);
8748     }
8749     my %fsaw = ();
8750     push @cust_main, grep { ! $fsaw{$_->custnum}++ } @fcust;
8751   }
8752
8753   # we want the components of $fuzzy ANDed, not ORed, but still don't want dupes
8754   my %saw = ();
8755   @cust_main = grep { ++$saw{$_->custnum} == scalar(keys %$fuzzy) } @cust_main;
8756
8757   @cust_main;
8758
8759 }
8760
8761 =item masked FIELD
8762
8763 Returns a masked version of the named field
8764
8765 =cut
8766
8767 sub masked {
8768 my ($self,$field) = @_;
8769
8770 # Show last four
8771
8772 'x'x(length($self->getfield($field))-4).
8773   substr($self->getfield($field), (length($self->getfield($field))-4));
8774
8775 }
8776
8777 =back
8778
8779 =head1 SUBROUTINES
8780
8781 =over 4
8782
8783 =item smart_search OPTION => VALUE ...
8784
8785 Accepts the following options: I<search>, the string to search for.  The string
8786 will be searched for as a customer number, phone number, name or company name,
8787 as an exact, or, in some cases, a substring or fuzzy match (see the source code
8788 for the exact heuristics used); I<no_fuzzy_on_exact>, causes smart_search to
8789 skip fuzzy matching when an exact match is found.
8790
8791 Any additional options are treated as an additional qualifier on the search
8792 (i.e. I<agentnum>).
8793
8794 Returns a (possibly empty) array of FS::cust_main objects.
8795
8796 =cut
8797
8798 sub smart_search {
8799   my %options = @_;
8800
8801   #here is the agent virtualization
8802   my $agentnums_sql = $FS::CurrentUser::CurrentUser->agentnums_sql;
8803
8804   my @cust_main = ();
8805
8806   my $skip_fuzzy = delete $options{'no_fuzzy_on_exact'};
8807   my $search = delete $options{'search'};
8808   ( my $alphanum_search = $search ) =~ s/\W//g;
8809   
8810   if ( $alphanum_search =~ /^1?(\d{3})(\d{3})(\d{4})(\d*)$/ ) { #phone# search
8811
8812     #false laziness w/Record::ut_phone
8813     my $phonen = "$1-$2-$3";
8814     $phonen .= " x$4" if $4;
8815
8816     push @cust_main, qsearch( {
8817       'table'   => 'cust_main',
8818       'hashref' => { %options },
8819       'extra_sql' => ( scalar(keys %options) ? ' AND ' : ' WHERE ' ).
8820                      ' ( '.
8821                          join(' OR ', map "$_ = '$phonen'",
8822                                           qw( daytime night fax
8823                                               ship_daytime ship_night ship_fax )
8824                              ).
8825                      ' ) '.
8826                      " AND $agentnums_sql", #agent virtualization
8827     } );
8828
8829     unless ( @cust_main || $phonen =~ /x\d+$/ ) { #no exact match
8830       #try looking for matches with extensions unless one was specified
8831
8832       push @cust_main, qsearch( {
8833         'table'   => 'cust_main',
8834         'hashref' => { %options },
8835         'extra_sql' => ( scalar(keys %options) ? ' AND ' : ' WHERE ' ).
8836                        ' ( '.
8837                            join(' OR ', map "$_ LIKE '$phonen\%'",
8838                                             qw( daytime night
8839                                                 ship_daytime ship_night )
8840                                ).
8841                        ' ) '.
8842                        " AND $agentnums_sql", #agent virtualization
8843       } );
8844
8845     }
8846
8847   # custnum search (also try agent_custid), with some tweaking options if your
8848   # legacy cust "numbers" have letters
8849   } 
8850
8851   if ( $search =~ /^\s*(\d+)\s*$/
8852          || ( $conf->config('cust_main-agent_custid-format') eq 'ww?d+'
8853               && $search =~ /^\s*(\w\w?\d+)\s*$/
8854             )
8855          || ( $conf->exists('address1-search' )
8856               && $search =~ /^\s*(\d+\-?\w*)\s*$/ #i.e. 1234A or 9432-D
8857             )
8858      )
8859   {
8860
8861     my $num = $1;
8862
8863     if ( $num =~ /^(\d+)$/ && $num <= 2147483647 ) { #need a bigint custnum? wow
8864       push @cust_main, qsearch( {
8865         'table'     => 'cust_main',
8866         'hashref'   => { 'custnum' => $num, %options },
8867         'extra_sql' => " AND $agentnums_sql", #agent virtualization
8868       } );
8869     }
8870
8871     push @cust_main, qsearch( {
8872       'table'     => 'cust_main',
8873       'hashref'   => { 'agent_custid' => $num, %options },
8874       'extra_sql' => " AND $agentnums_sql", #agent virtualization
8875     } );
8876
8877     if ( $conf->exists('address1-search') ) {
8878       my $len = length($num);
8879       $num = lc($num);
8880       foreach my $prefix ( '', 'ship_' ) {
8881         push @cust_main, qsearch( {
8882           'table'     => 'cust_main',
8883           'hashref'   => { %options, },
8884           'extra_sql' => 
8885             ( keys(%options) ? ' AND ' : ' WHERE ' ).
8886             " LOWER(SUBSTRING(${prefix}address1 FROM 1 FOR $len)) = '$num' ".
8887             " AND $agentnums_sql",
8888         } );
8889       }
8890     }
8891
8892   } elsif ( $search =~ /^\s*(\S.*\S)\s+\((.+), ([^,]+)\)\s*$/ ) {
8893
8894     my($company, $last, $first) = ( $1, $2, $3 );
8895
8896     # "Company (Last, First)"
8897     #this is probably something a browser remembered,
8898     #so just do an exact search (but case-insensitive, so USPS standardization
8899     #doesn't throw a wrench in the works)
8900
8901     foreach my $prefix ( '', 'ship_' ) {
8902       push @cust_main, qsearch( {
8903         'table'     => 'cust_main',
8904         'hashref'   => { %options },
8905         'extra_sql' => 
8906           ( keys(%options) ? ' AND ' : ' WHERE ' ).
8907           join(' AND ',
8908             " LOWER(${prefix}first)   = ". dbh->quote(lc($first)),
8909             " LOWER(${prefix}last)    = ". dbh->quote(lc($last)),
8910             " LOWER(${prefix}company) = ". dbh->quote(lc($company)),
8911             $agentnums_sql,
8912           ),
8913       } );
8914     }
8915
8916   } elsif ( $search =~ /^\s*(\S.*\S)\s*$/ ) { # value search
8917                                               # try (ship_){last,company}
8918
8919     my $value = lc($1);
8920
8921     # # remove "(Last, First)" in "Company (Last, First)", otherwise the
8922     # # full strings the browser remembers won't work
8923     # $value =~ s/\([\w \,\.\-\']*\)$//; #false laziness w/Record::ut_name
8924
8925     use Lingua::EN::NameParse;
8926     my $NameParse = new Lingua::EN::NameParse(
8927              auto_clean     => 1,
8928              allow_reversed => 1,
8929     );
8930
8931     my($last, $first) = ( '', '' );
8932     #maybe disable this too and just rely on NameParse?
8933     if ( $value =~ /^(.+),\s*([^,]+)$/ ) { # Last, First
8934     
8935       ($last, $first) = ( $1, $2 );
8936     
8937     #} elsif  ( $value =~ /^(.+)\s+(.+)$/ ) {
8938     } elsif ( ! $NameParse->parse($value) ) {
8939
8940       my %name = $NameParse->components;
8941       $first = $name{'given_name_1'};
8942       $last  = $name{'surname_1'};
8943
8944     }
8945
8946     if ( $first && $last ) {
8947
8948       my($q_last, $q_first) = ( dbh->quote($last), dbh->quote($first) );
8949
8950       #exact
8951       my $sql = scalar(keys %options) ? ' AND ' : ' WHERE ';
8952       $sql .= "
8953         (     ( LOWER(last) = $q_last AND LOWER(first) = $q_first )
8954            OR ( LOWER(ship_last) = $q_last AND LOWER(ship_first) = $q_first )
8955         )";
8956
8957       push @cust_main, qsearch( {
8958         'table'     => 'cust_main',
8959         'hashref'   => \%options,
8960         'extra_sql' => "$sql AND $agentnums_sql", #agent virtualization
8961       } );
8962
8963       # or it just be something that was typed in... (try that in a sec)
8964
8965     }
8966
8967     my $q_value = dbh->quote($value);
8968
8969     #exact
8970     my $sql = scalar(keys %options) ? ' AND ' : ' WHERE ';
8971     $sql .= " (    LOWER(last)          = $q_value
8972                 OR LOWER(company)       = $q_value
8973                 OR LOWER(ship_last)     = $q_value
8974                 OR LOWER(ship_company)  = $q_value
8975             ";
8976     $sql .= "   OR LOWER(address1)      = $q_value
8977                 OR LOWER(ship_address1) = $q_value
8978             "
8979       if $conf->exists('address1-search');
8980     $sql .= " )";
8981
8982     push @cust_main, qsearch( {
8983       'table'     => 'cust_main',
8984       'hashref'   => \%options,
8985       'extra_sql' => "$sql AND $agentnums_sql", #agent virtualization
8986     } );
8987
8988     #no exact match, trying substring/fuzzy
8989     #always do substring & fuzzy (unless they're explicity config'ed off)
8990     #getting complaints searches are not returning enough
8991     unless ( @cust_main  && $skip_fuzzy || $conf->exists('disable-fuzzy') ) {
8992
8993       #still some false laziness w/search (was search/cust_main.cgi)
8994
8995       #substring
8996
8997       my @hashrefs = (
8998         { 'company'      => { op=>'ILIKE', value=>"%$value%" }, },
8999         { 'ship_company' => { op=>'ILIKE', value=>"%$value%" }, },
9000       );
9001
9002       if ( $first && $last ) {
9003
9004         push @hashrefs,
9005           { 'first'        => { op=>'ILIKE', value=>"%$first%" },
9006             'last'         => { op=>'ILIKE', value=>"%$last%" },
9007           },
9008           { 'ship_first'   => { op=>'ILIKE', value=>"%$first%" },
9009             'ship_last'    => { op=>'ILIKE', value=>"%$last%" },
9010           },
9011         ;
9012
9013       } else {
9014
9015         push @hashrefs,
9016           { 'last'         => { op=>'ILIKE', value=>"%$value%" }, },
9017           { 'ship_last'    => { op=>'ILIKE', value=>"%$value%" }, },
9018         ;
9019       }
9020
9021       if ( $conf->exists('address1-search') ) {
9022         push @hashrefs,
9023           { 'address1'      => { op=>'ILIKE', value=>"%$value%" }, },
9024           { 'ship_address1' => { op=>'ILIKE', value=>"%$value%" }, },
9025         ;
9026       }
9027
9028       foreach my $hashref ( @hashrefs ) {
9029
9030         push @cust_main, qsearch( {
9031           'table'     => 'cust_main',
9032           'hashref'   => { %$hashref,
9033                            %options,
9034                          },
9035           'extra_sql' => " AND $agentnums_sql", #agent virtualizaiton
9036         } );
9037
9038       }
9039
9040       #fuzzy
9041       my @fuzopts = (
9042         \%options,                #hashref
9043         '',                       #select
9044         " AND $agentnums_sql",    #extra_sql  #agent virtualization
9045       );
9046
9047       if ( $first && $last ) {
9048         push @cust_main, FS::cust_main->fuzzy_search(
9049           { 'last'   => $last,    #fuzzy hashref
9050             'first'  => $first }, #
9051           @fuzopts
9052         );
9053       }
9054       foreach my $field ( 'last', 'company' ) {
9055         push @cust_main,
9056           FS::cust_main->fuzzy_search( { $field => $value }, @fuzopts );
9057       }
9058       if ( $conf->exists('address1-search') ) {
9059         push @cust_main,
9060           FS::cust_main->fuzzy_search( { 'address1' => $value }, @fuzopts );
9061       }
9062
9063     }
9064
9065   }
9066
9067   #eliminate duplicates
9068   my %saw = ();
9069   @cust_main = grep { !$saw{$_->custnum}++ } @cust_main;
9070
9071   @cust_main;
9072
9073 }
9074
9075 =item email_search
9076
9077 Accepts the following options: I<email>, the email address to search for.  The
9078 email address will be searched for as an email invoice destination and as an
9079 svc_acct account.
9080
9081 #Any additional options are treated as an additional qualifier on the search
9082 #(i.e. I<agentnum>).
9083
9084 Returns a (possibly empty) array of FS::cust_main objects (but usually just
9085 none or one).
9086
9087 =cut
9088
9089 sub email_search {
9090   my %options = @_;
9091
9092   local($DEBUG) = 1;
9093
9094   my $email = delete $options{'email'};
9095
9096   #we're only being used by RT at the moment... no agent virtualization yet
9097   #my $agentnums_sql = $FS::CurrentUser::CurrentUser->agentnums_sql;
9098
9099   my @cust_main = ();
9100
9101   if ( $email =~ /([^@]+)\@([^@]+)/ ) {
9102
9103     my ( $user, $domain ) = ( $1, $2 );
9104
9105     warn "$me smart_search: searching for $user in domain $domain"
9106       if $DEBUG;
9107
9108     push @cust_main,
9109       map $_->cust_main,
9110           qsearch( {
9111                      'table'     => 'cust_main_invoice',
9112                      'hashref'   => { 'dest' => $email },
9113                    }
9114                  );
9115
9116     push @cust_main,
9117       map  $_->cust_main,
9118       grep $_,
9119       map  $_->cust_svc->cust_pkg,
9120           qsearch( {
9121                      'table'     => 'svc_acct',
9122                      'hashref'   => { 'username' => $user, },
9123                      'extra_sql' =>
9124                        'AND ( SELECT domain FROM svc_domain
9125                                 WHERE svc_acct.domsvc = svc_domain.svcnum
9126                             ) = '. dbh->quote($domain),
9127                    }
9128                  );
9129   }
9130
9131   my %saw = ();
9132   @cust_main = grep { !$saw{$_->custnum}++ } @cust_main;
9133
9134   warn "$me smart_search: found ". scalar(@cust_main). " unique customers"
9135     if $DEBUG;
9136
9137   @cust_main;
9138
9139 }
9140
9141 =item check_and_rebuild_fuzzyfiles
9142
9143 =cut
9144
9145 sub check_and_rebuild_fuzzyfiles {
9146   my $dir = $FS::UID::conf_dir. "/cache.". $FS::UID::datasrc;
9147   rebuild_fuzzyfiles() if grep { ! -e "$dir/cust_main.$_" } @fuzzyfields
9148 }
9149
9150 =item rebuild_fuzzyfiles
9151
9152 =cut
9153
9154 sub rebuild_fuzzyfiles {
9155
9156   use Fcntl qw(:flock);
9157
9158   my $dir = $FS::UID::conf_dir. "/cache.". $FS::UID::datasrc;
9159   mkdir $dir, 0700 unless -d $dir;
9160
9161   foreach my $fuzzy ( @fuzzyfields ) {
9162
9163     open(LOCK,">>$dir/cust_main.$fuzzy")
9164       or die "can't open $dir/cust_main.$fuzzy: $!";
9165     flock(LOCK,LOCK_EX)
9166       or die "can't lock $dir/cust_main.$fuzzy: $!";
9167
9168     open (CACHE,">$dir/cust_main.$fuzzy.tmp")
9169       or die "can't open $dir/cust_main.$fuzzy.tmp: $!";
9170
9171     foreach my $field ( $fuzzy, "ship_$fuzzy" ) {
9172       my $sth = dbh->prepare("SELECT $field FROM cust_main".
9173                              " WHERE $field != '' AND $field IS NOT NULL");
9174       $sth->execute or die $sth->errstr;
9175
9176       while ( my $row = $sth->fetchrow_arrayref ) {
9177         print CACHE $row->[0]. "\n";
9178       }
9179
9180     } 
9181
9182     close CACHE or die "can't close $dir/cust_main.$fuzzy.tmp: $!";
9183   
9184     rename "$dir/cust_main.$fuzzy.tmp", "$dir/cust_main.$fuzzy";
9185     close LOCK;
9186   }
9187
9188 }
9189
9190 =item all_X
9191
9192 =cut
9193
9194 sub all_X {
9195   my( $self, $field ) = @_;
9196   my $dir = $FS::UID::conf_dir. "/cache.". $FS::UID::datasrc;
9197   open(CACHE,"<$dir/cust_main.$field")
9198     or die "can't open $dir/cust_main.$field: $!";
9199   my @array = map { chomp; $_; } <CACHE>;
9200   close CACHE;
9201   \@array;
9202 }
9203
9204 =item append_fuzzyfiles FIRSTNAME LASTNAME COMPANY ADDRESS1
9205
9206 =cut
9207
9208 sub append_fuzzyfiles {
9209   #my( $first, $last, $company ) = @_;
9210
9211   &check_and_rebuild_fuzzyfiles;
9212
9213   use Fcntl qw(:flock);
9214
9215   my $dir = $FS::UID::conf_dir. "/cache.". $FS::UID::datasrc;
9216
9217   foreach my $field (@fuzzyfields) {
9218     my $value = shift;
9219
9220     if ( $value ) {
9221
9222       open(CACHE,">>$dir/cust_main.$field")
9223         or die "can't open $dir/cust_main.$field: $!";
9224       flock(CACHE,LOCK_EX)
9225         or die "can't lock $dir/cust_main.$field: $!";
9226
9227       print CACHE "$value\n";
9228
9229       flock(CACHE,LOCK_UN)
9230         or die "can't unlock $dir/cust_main.$field: $!";
9231       close CACHE;
9232     }
9233
9234   }
9235
9236   1;
9237 }
9238
9239 =item batch_charge
9240
9241 =cut
9242
9243 sub batch_charge {
9244   my $param = shift;
9245   #warn join('-',keys %$param);
9246   my $fh = $param->{filehandle};
9247   my @fields = @{$param->{fields}};
9248
9249   eval "use Text::CSV_XS;";
9250   die $@ if $@;
9251
9252   my $csv = new Text::CSV_XS;
9253   #warn $csv;
9254   #warn $fh;
9255
9256   my $imported = 0;
9257   #my $columns;
9258
9259   local $SIG{HUP} = 'IGNORE';
9260   local $SIG{INT} = 'IGNORE';
9261   local $SIG{QUIT} = 'IGNORE';
9262   local $SIG{TERM} = 'IGNORE';
9263   local $SIG{TSTP} = 'IGNORE';
9264   local $SIG{PIPE} = 'IGNORE';
9265
9266   my $oldAutoCommit = $FS::UID::AutoCommit;
9267   local $FS::UID::AutoCommit = 0;
9268   my $dbh = dbh;
9269   
9270   #while ( $columns = $csv->getline($fh) ) {
9271   my $line;
9272   while ( defined($line=<$fh>) ) {
9273
9274     $csv->parse($line) or do {
9275       $dbh->rollback if $oldAutoCommit;
9276       return "can't parse: ". $csv->error_input();
9277     };
9278
9279     my @columns = $csv->fields();
9280     #warn join('-',@columns);
9281
9282     my %row = ();
9283     foreach my $field ( @fields ) {
9284       $row{$field} = shift @columns;
9285     }
9286
9287     my $cust_main = qsearchs('cust_main', { 'custnum' => $row{'custnum'} } );
9288     unless ( $cust_main ) {
9289       $dbh->rollback if $oldAutoCommit;
9290       return "unknown custnum $row{'custnum'}";
9291     }
9292
9293     if ( $row{'amount'} > 0 ) {
9294       my $error = $cust_main->charge($row{'amount'}, $row{'pkg'});
9295       if ( $error ) {
9296         $dbh->rollback if $oldAutoCommit;
9297         return $error;
9298       }
9299       $imported++;
9300     } elsif ( $row{'amount'} < 0 ) {
9301       my $error = $cust_main->credit( sprintf( "%.2f", 0-$row{'amount'} ),
9302                                       $row{'pkg'}                         );
9303       if ( $error ) {
9304         $dbh->rollback if $oldAutoCommit;
9305         return $error;
9306       }
9307       $imported++;
9308     } else {
9309       #hmm?
9310     }
9311
9312   }
9313
9314   $dbh->commit or die $dbh->errstr if $oldAutoCommit;
9315
9316   return "Empty file!" unless $imported;
9317
9318   ''; #no error
9319
9320 }
9321
9322 =item notify CUSTOMER_OBJECT TEMPLATE_NAME OPTIONS
9323
9324 Sends a templated email notification to the customer (see L<Text::Template>).
9325
9326 OPTIONS is a hash and may include
9327
9328 I<from> - the email sender (default is invoice_from)
9329
9330 I<to> - comma-separated scalar or arrayref of recipients 
9331    (default is invoicing_list)
9332
9333 I<subject> - The subject line of the sent email notification
9334    (default is "Notice from company_name")
9335
9336 I<extra_fields> - a hashref of name/value pairs which will be substituted
9337    into the template
9338
9339 The following variables are vavailable in the template.
9340
9341 I<$first> - the customer first name
9342 I<$last> - the customer last name
9343 I<$company> - the customer company
9344 I<$payby> - a description of the method of payment for the customer
9345             # would be nice to use FS::payby::shortname
9346 I<$payinfo> - the account information used to collect for this customer
9347 I<$expdate> - the expiration of the customer payment in seconds from epoch
9348
9349 =cut
9350
9351 sub notify {
9352   my ($self, $template, %options) = @_;
9353
9354   return unless $conf->exists($template);
9355
9356   my $from = $conf->config('invoice_from', $self->agentnum)
9357     if $conf->exists('invoice_from', $self->agentnum);
9358   $from = $options{from} if exists($options{from});
9359
9360   my $to = join(',', $self->invoicing_list_emailonly);
9361   $to = $options{to} if exists($options{to});
9362   
9363   my $subject = "Notice from " . $conf->config('company_name', $self->agentnum)
9364     if $conf->exists('company_name', $self->agentnum);
9365   $subject = $options{subject} if exists($options{subject});
9366
9367   my $notify_template = new Text::Template (TYPE => 'ARRAY',
9368                                             SOURCE => [ map "$_\n",
9369                                               $conf->config($template)]
9370                                            )
9371     or die "can't create new Text::Template object: Text::Template::ERROR";
9372   $notify_template->compile()
9373     or die "can't compile template: Text::Template::ERROR";
9374
9375   $FS::notify_template::_template::company_name =
9376     $conf->config('company_name', $self->agentnum);
9377   $FS::notify_template::_template::company_address =
9378     join("\n", $conf->config('company_address', $self->agentnum) ). "\n";
9379
9380   my $paydate = $self->paydate || '2037-12-31';
9381   $FS::notify_template::_template::first = $self->first;
9382   $FS::notify_template::_template::last = $self->last;
9383   $FS::notify_template::_template::company = $self->company;
9384   $FS::notify_template::_template::payinfo = $self->mask_payinfo;
9385   my $payby = $self->payby;
9386   my ($payyear,$paymonth,$payday) = split (/-/,$paydate);
9387   my $expire_time = timelocal(0,0,0,$payday,--$paymonth,$payyear);
9388
9389   #credit cards expire at the end of the month/year of their exp date
9390   if ($payby eq 'CARD' || $payby eq 'DCRD') {
9391     $FS::notify_template::_template::payby = 'credit card';
9392     ($paymonth < 11) ? $paymonth++ : ($paymonth=0, $payyear++);
9393     $expire_time = timelocal(0,0,0,$payday,$paymonth,$payyear);
9394     $expire_time--;
9395   }elsif ($payby eq 'COMP') {
9396     $FS::notify_template::_template::payby = 'complimentary account';
9397   }else{
9398     $FS::notify_template::_template::payby = 'current method';
9399   }
9400   $FS::notify_template::_template::expdate = $expire_time;
9401
9402   for (keys %{$options{extra_fields}}){
9403     no strict "refs";
9404     ${"FS::notify_template::_template::$_"} = $options{extra_fields}->{$_};
9405   }
9406
9407   send_email(from => $from,
9408              to => $to,
9409              subject => $subject,
9410              body => $notify_template->fill_in( PACKAGE =>
9411                                                 'FS::notify_template::_template'                                              ),
9412             );
9413
9414 }
9415
9416 =item generate_letter CUSTOMER_OBJECT TEMPLATE_NAME OPTIONS
9417
9418 Generates a templated notification to the customer (see L<Text::Template>).
9419
9420 OPTIONS is a hash and may include
9421
9422 I<extra_fields> - a hashref of name/value pairs which will be substituted
9423    into the template.  These values may override values mentioned below
9424    and those from the customer record.
9425
9426 The following variables are available in the template instead of or in addition
9427 to the fields of the customer record.
9428
9429 I<$payby> - a description of the method of payment for the customer
9430             # would be nice to use FS::payby::shortname
9431 I<$payinfo> - the masked account information used to collect for this customer
9432 I<$expdate> - the expiration of the customer payment method in seconds from epoch
9433 I<$returnaddress> - the return address defaults to invoice_latexreturnaddress or company_address
9434
9435 =cut
9436
9437 sub generate_letter {
9438   my ($self, $template, %options) = @_;
9439
9440   return unless $conf->exists($template);
9441
9442   my $letter_template = new Text::Template
9443                         ( TYPE       => 'ARRAY',
9444                           SOURCE     => [ map "$_\n", $conf->config($template)],
9445                           DELIMITERS => [ '[@--', '--@]' ],
9446                         )
9447     or die "can't create new Text::Template object: Text::Template::ERROR";
9448
9449   $letter_template->compile()
9450     or die "can't compile template: Text::Template::ERROR";
9451
9452   my %letter_data = map { $_ => $self->$_ } $self->fields;
9453   $letter_data{payinfo} = $self->mask_payinfo;
9454
9455   #my $paydate = $self->paydate || '2037-12-31';
9456   my $paydate = $self->paydate =~ /^\S+$/ ? $self->paydate : '2037-12-31';
9457
9458   my $payby = $self->payby;
9459   my ($payyear,$paymonth,$payday) = split (/-/,$paydate);
9460   my $expire_time = timelocal(0,0,0,$payday,--$paymonth,$payyear);
9461
9462   #credit cards expire at the end of the month/year of their exp date
9463   if ($payby eq 'CARD' || $payby eq 'DCRD') {
9464     $letter_data{payby} = 'credit card';
9465     ($paymonth < 11) ? $paymonth++ : ($paymonth=0, $payyear++);
9466     $expire_time = timelocal(0,0,0,$payday,$paymonth,$payyear);
9467     $expire_time--;
9468   }elsif ($payby eq 'COMP') {
9469     $letter_data{payby} = 'complimentary account';
9470   }else{
9471     $letter_data{payby} = 'current method';
9472   }
9473   $letter_data{expdate} = $expire_time;
9474
9475   for (keys %{$options{extra_fields}}){
9476     $letter_data{$_} = $options{extra_fields}->{$_};
9477   }
9478
9479   unless(exists($letter_data{returnaddress})){
9480     my $retadd = join("\n", $conf->config_orbase( 'invoice_latexreturnaddress',
9481                                                   $self->agent_template)
9482                      );
9483     if ( length($retadd) ) {
9484       $letter_data{returnaddress} = $retadd;
9485     } elsif ( grep /\S/, $conf->config('company_address', $self->agentnum) ) {
9486       $letter_data{returnaddress} =
9487         join( '\\*'."\n", map s/( {2,})/'~' x length($1)/eg,
9488                           $conf->config('company_address', $self->agentnum)
9489         );
9490     } else {
9491       $letter_data{returnaddress} = '~';
9492     }
9493   }
9494
9495   $letter_data{conf_dir} = "$FS::UID::conf_dir/conf.$FS::UID::datasrc";
9496
9497   $letter_data{company_name} = $conf->config('company_name', $self->agentnum);
9498
9499   my $dir = $FS::UID::conf_dir."/cache.". $FS::UID::datasrc;
9500   my $fh = new File::Temp( TEMPLATE => 'letter.'. $self->custnum. '.XXXXXXXX',
9501                            DIR      => $dir,
9502                            SUFFIX   => '.tex',
9503                            UNLINK   => 0,
9504                          ) or die "can't open temp file: $!\n";
9505
9506   $letter_template->fill_in( OUTPUT => $fh, HASH => \%letter_data );
9507   close $fh;
9508   $fh->filename =~ /^(.*).tex$/ or die "unparsable filename: ". $fh->filename;
9509   return $1;
9510 }
9511
9512 =item print_ps TEMPLATE 
9513
9514 Returns an postscript letter filled in from TEMPLATE, as a scalar.
9515
9516 =cut
9517
9518 sub print_ps {
9519   my $self = shift;
9520   my $file = $self->generate_letter(@_);
9521   FS::Misc::generate_ps($file);
9522 }
9523
9524 =item print TEMPLATE
9525
9526 Prints the filled in template.
9527
9528 TEMPLATE is the name of a L<Text::Template> to fill in and print.
9529
9530 =cut
9531
9532 sub queueable_print {
9533   my %opt = @_;
9534
9535   my $self = qsearchs('cust_main', { 'custnum' => $opt{custnum} } )
9536     or die "invalid customer number: " . $opt{custvnum};
9537
9538   my $error = $self->print( $opt{template} );
9539   die $error if $error;
9540 }
9541
9542 sub print {
9543   my ($self, $template) = (shift, shift);
9544   do_print [ $self->print_ps($template) ];
9545 }
9546
9547 #these three subs should just go away once agent stuff is all config overrides
9548
9549 sub agent_template {
9550   my $self = shift;
9551   $self->_agent_plandata('agent_templatename');
9552 }
9553
9554 sub agent_invoice_from {
9555   my $self = shift;
9556   $self->_agent_plandata('agent_invoice_from');
9557 }
9558
9559 sub _agent_plandata {
9560   my( $self, $option ) = @_;
9561
9562   #yuck.  this whole thing needs to be reconciled better with 1.9's idea of
9563   #agent-specific Conf
9564
9565   use FS::part_event::Condition;
9566   
9567   my $agentnum = $self->agentnum;
9568
9569   my $regexp = '';
9570   if ( driver_name =~ /^Pg/i ) {
9571     $regexp = '~';
9572   } elsif ( driver_name =~ /^mysql/i ) {
9573     $regexp = 'REGEXP';
9574   } else {
9575     die "don't know how to use regular expressions in ". driver_name. " databases";
9576   }
9577
9578   my $part_event_option =
9579     qsearchs({
9580       'select'    => 'part_event_option.*',
9581       'table'     => 'part_event_option',
9582       'addl_from' => q{
9583         LEFT JOIN part_event USING ( eventpart )
9584         LEFT JOIN part_event_option AS peo_agentnum
9585           ON ( part_event.eventpart = peo_agentnum.eventpart
9586                AND peo_agentnum.optionname = 'agentnum'
9587                AND peo_agentnum.optionvalue }. $regexp. q{ '(^|,)}. $agentnum. q{(,|$)'
9588              )
9589         LEFT JOIN part_event_condition
9590           ON ( part_event.eventpart = part_event_condition.eventpart
9591                AND part_event_condition.conditionname = 'cust_bill_age'
9592              )
9593         LEFT JOIN part_event_condition_option
9594           ON ( part_event_condition.eventconditionnum = part_event_condition_option.eventconditionnum
9595                AND part_event_condition_option.optionname = 'age'
9596              )
9597       },
9598       #'hashref'   => { 'optionname' => $option },
9599       #'hashref'   => { 'part_event_option.optionname' => $option },
9600       'extra_sql' =>
9601         " WHERE part_event_option.optionname = ". dbh->quote($option).
9602         " AND action = 'cust_bill_send_agent' ".
9603         " AND ( disabled IS NULL OR disabled != 'Y' ) ".
9604         " AND peo_agentnum.optionname = 'agentnum' ".
9605         " AND ( agentnum IS NULL OR agentnum = $agentnum ) ".
9606         " ORDER BY
9607            CASE WHEN part_event_condition_option.optionname IS NULL
9608            THEN -1
9609            ELSE ". FS::part_event::Condition->age2seconds_sql('part_event_condition_option.optionvalue').
9610         " END
9611           , part_event.weight".
9612         " LIMIT 1"
9613     });
9614     
9615   unless ( $part_event_option ) {
9616     return $self->agent->invoice_template || ''
9617       if $option eq 'agent_templatename';
9618     return '';
9619   }
9620
9621   $part_event_option->optionvalue;
9622
9623 }
9624
9625 =item queued_bill 'custnum' => CUSTNUM [ , OPTION => VALUE ... ]
9626
9627 Subroutine (not a method), designed to be called from the queue.
9628
9629 Takes a list of options and values.
9630
9631 Pulls up the customer record via the custnum option and calls bill_and_collect.
9632
9633 =cut
9634
9635 sub queued_bill {
9636   my (%args) = @_; #, ($time, $invoice_time, $check_freq, $resetup) = @_;
9637
9638   my $cust_main = qsearchs( 'cust_main', { custnum => $args{'custnum'} } );
9639   warn 'bill_and_collect custnum#'. $cust_main->custnum. "\n";#log custnum w/pid
9640
9641   $cust_main->bill_and_collect( %args );
9642 }
9643
9644 sub _upgrade_data { #class method
9645   my ($class, %opts) = @_;
9646
9647   my $sql = 'UPDATE h_cust_main SET paycvv = NULL WHERE paycvv IS NOT NULL';
9648   my $sth = dbh->prepare($sql) or die dbh->errstr;
9649   $sth->execute or die $sth->errstr;
9650
9651 }
9652
9653 =back
9654
9655 =head1 BUGS
9656
9657 The delete method.
9658
9659 The delete method should possibly take an FS::cust_main object reference
9660 instead of a scalar customer number.
9661
9662 Bill and collect options should probably be passed as references instead of a
9663 list.
9664
9665 There should probably be a configuration file with a list of allowed credit
9666 card types.
9667
9668 No multiple currency support (probably a larger project than just this module).
9669
9670 payinfo_masked false laziness with cust_pay.pm and cust_refund.pm
9671
9672 Birthdates rely on negative epoch values.
9673
9674 The payby for card/check batches is broken.  With mixed batching, bad
9675 things will happen.
9676
9677 B<collect> I<invoice_time> should be renamed I<time>, like B<bill>.
9678
9679 =head1 SEE ALSO
9680
9681 L<FS::Record>, L<FS::cust_pkg>, L<FS::cust_bill>, L<FS::cust_credit>
9682 L<FS::agent>, L<FS::part_referral>, L<FS::cust_main_county>,
9683 L<FS::cust_main_invoice>, L<FS::UID>, schema.html from the base documentation.
9684
9685 =cut
9686
9687 1;
9688