msg_template improvements, RT#8324
[freeside.git] / FS / FS / cust_main.pm
1 package FS::cust_main;
2
3 require 5.006;
4 use strict;
5 use vars qw( @ISA @EXPORT_OK $DEBUG $me $conf
6              @encrypted_fields
7              $import $ignore_expired_card
8              $skip_fuzzyfiles @fuzzyfields
9              @paytypes
10            );
11 use vars qw( $realtime_bop_decline_quiet ); #ugh
12 use Safe;
13 use Carp;
14 use Exporter;
15 use Scalar::Util qw( blessed );
16 use List::Util qw( min );
17 use Time::Local qw(timelocal);
18 use Data::Dumper;
19 use Tie::IxHash;
20 use Digest::MD5 qw(md5_base64);
21 use Date::Format;
22 #use Date::Manip;
23 use File::Temp qw( tempfile );
24 use String::Approx qw(amatch);
25 use Business::CreditCard 0.28;
26 use Locale::Country;
27 use FS::UID qw( getotaker dbh driver_name );
28 use FS::Record qw( qsearchs qsearch dbdef );
29 use FS::Misc qw( generate_email send_email generate_ps do_print );
30 use FS::Msgcat qw(gettext);
31 use FS::payby;
32 use FS::cust_pkg;
33 use FS::cust_svc;
34 use FS::cust_bill;
35 use FS::cust_bill_pkg;
36 use FS::cust_bill_pkg_display;
37 use FS::cust_bill_pkg_tax_location;
38 use FS::cust_bill_pkg_tax_rate_location;
39 use FS::cust_pay;
40 use FS::cust_pay_pending;
41 use FS::cust_pay_void;
42 use FS::cust_pay_batch;
43 use FS::cust_credit;
44 use FS::cust_refund;
45 use FS::part_referral;
46 use FS::cust_main_county;
47 use FS::cust_location;
48 use FS::cust_main_exemption;
49 use FS::cust_tax_adjustment;
50 use FS::tax_rate;
51 use FS::tax_rate_location;
52 use FS::cust_tax_location;
53 use FS::part_pkg_taxrate;
54 use FS::agent;
55 use FS::cust_main_invoice;
56 use FS::cust_tag;
57 use FS::cust_credit_bill;
58 use FS::cust_bill_pay;
59 use FS::prepay_credit;
60 use FS::queue;
61 use FS::part_pkg;
62 use FS::part_event;
63 use FS::part_event_condition;
64 #use FS::cust_event;
65 use FS::type_pkgs;
66 use FS::payment_gateway;
67 use FS::agent_payment_gateway;
68 use FS::banned_pay;
69 use FS::payinfo_Mixin;
70 use FS::TicketSystem;
71
72 @ISA = qw( FS::payinfo_Mixin FS::Record );
73
74 @EXPORT_OK = qw( smart_search );
75
76 $realtime_bop_decline_quiet = 0;
77
78 # 1 is mostly method/subroutine entry and options
79 # 2 traces progress of some operations
80 # 3 is even more information including possibly sensitive data
81 $DEBUG = 0;
82 $me = '[FS::cust_main]';
83
84 $import = 0;
85 $ignore_expired_card = 0;
86
87 $skip_fuzzyfiles = 0;
88 @fuzzyfields = ( 'first', 'last', 'company', 'address1' );
89
90 @encrypted_fields = ('payinfo', 'paycvv');
91 sub nohistory_fields { ('paycvv'); }
92
93 @paytypes = ('', 'Personal checking', 'Personal savings', 'Business checking', 'Business savings');
94
95 #ask FS::UID to run this stuff for us later
96 #$FS::UID::callback{'FS::cust_main'} = sub { 
97 install_callback FS::UID sub { 
98   $conf = new FS::Conf;
99   #yes, need it for stuff below (prolly should be cached)
100 };
101
102 sub _cache {
103   my $self = shift;
104   my ( $hashref, $cache ) = @_;
105   if ( exists $hashref->{'pkgnum'} ) {
106     #@{ $self->{'_pkgnum'} } = ();
107     my $subcache = $cache->subcache( 'pkgnum', 'cust_pkg', $hashref->{custnum});
108     $self->{'_pkgnum'} = $subcache;
109     #push @{ $self->{'_pkgnum'} },
110     FS::cust_pkg->new_or_cached($hashref, $subcache) if $hashref->{pkgnum};
111   }
112 }
113
114 =head1 NAME
115
116 FS::cust_main - Object methods for cust_main records
117
118 =head1 SYNOPSIS
119
120   use FS::cust_main;
121
122   $record = new FS::cust_main \%hash;
123   $record = new FS::cust_main { 'column' => 'value' };
124
125   $error = $record->insert;
126
127   $error = $new_record->replace($old_record);
128
129   $error = $record->delete;
130
131   $error = $record->check;
132
133   @cust_pkg = $record->all_pkgs;
134
135   @cust_pkg = $record->ncancelled_pkgs;
136
137   @cust_pkg = $record->suspended_pkgs;
138
139   $error = $record->bill;
140   $error = $record->bill %options;
141   $error = $record->bill 'time' => $time;
142
143   $error = $record->collect;
144   $error = $record->collect %options;
145   $error = $record->collect 'invoice_time'   => $time,
146                           ;
147
148 =head1 DESCRIPTION
149
150 An FS::cust_main object represents a customer.  FS::cust_main inherits from 
151 FS::Record.  The following fields are currently supported:
152
153 =over 4
154
155 =item custnum
156
157 Primary key (assigned automatically for new customers)
158
159 =item agentnum
160
161 Agent (see L<FS::agent>)
162
163 =item refnum
164
165 Advertising source (see L<FS::part_referral>)
166
167 =item first
168
169 First name
170
171 =item last
172
173 Last name
174
175 =item ss
176
177 Cocial security number (optional)
178
179 =item company
180
181 (optional)
182
183 =item address1
184
185 =item address2
186
187 (optional)
188
189 =item city
190
191 =item county
192
193 (optional, see L<FS::cust_main_county>)
194
195 =item state
196
197 (see L<FS::cust_main_county>)
198
199 =item zip
200
201 =item country
202
203 (see L<FS::cust_main_county>)
204
205 =item daytime
206
207 phone (optional)
208
209 =item night
210
211 phone (optional)
212
213 =item fax
214
215 phone (optional)
216
217 =item ship_first
218
219 Shipping first name
220
221 =item ship_last
222
223 Shipping last name
224
225 =item ship_company
226
227 (optional)
228
229 =item ship_address1
230
231 =item ship_address2
232
233 (optional)
234
235 =item ship_city
236
237 =item ship_county
238
239 (optional, see L<FS::cust_main_county>)
240
241 =item ship_state
242
243 (see L<FS::cust_main_county>)
244
245 =item ship_zip
246
247 =item ship_country
248
249 (see L<FS::cust_main_county>)
250
251 =item ship_daytime
252
253 phone (optional)
254
255 =item ship_night
256
257 phone (optional)
258
259 =item ship_fax
260
261 phone (optional)
262
263 =item payby
264
265 Payment Type (See L<FS::payinfo_Mixin> for valid payby values)
266
267 =item payinfo
268
269 Payment Information (See L<FS::payinfo_Mixin> for data format)
270
271 =item paymask
272
273 Masked payinfo (See L<FS::payinfo_Mixin> for how this works)
274
275 =item paycvv
276
277 Card Verification Value, "CVV2" (also known as CVC2 or CID), the 3 or 4 digit number on the back (or front, for American Express) of the credit card
278
279 =item paydate
280
281 Expiration date, mm/yyyy, m/yyyy, mm/yy or m/yy
282
283 =item paystart_month
284
285 Start date month (maestro/solo cards only)
286
287 =item paystart_year
288
289 Start date year (maestro/solo cards only)
290
291 =item payissue
292
293 Issue number (maestro/solo cards only)
294
295 =item payname
296
297 Name on card or billing name
298
299 =item payip
300
301 IP address from which payment information was received
302
303 =item tax
304
305 Tax exempt, empty or `Y'
306
307 =item otaker
308
309 Order taker (assigned automatically, see L<FS::UID>)
310
311 =item comments
312
313 Comments (optional)
314
315 =item referral_custnum
316
317 Referring customer number
318
319 =item spool_cdr
320
321 Enable individual CDR spooling, empty or `Y'
322
323 =item dundate
324
325 A suggestion to events (see L<FS::part_bill_event">) to delay until this unix timestamp
326
327 =item squelch_cdr
328
329 Discourage individual CDR printing, empty or `Y'
330
331 =back
332
333 =head1 METHODS
334
335 =over 4
336
337 =item new HASHREF
338
339 Creates a new customer.  To add the customer to the database, see L<"insert">.
340
341 Note that this stores the hash reference, not a distinct copy of the hash it
342 points to.  You can ask the object for a copy with the I<hash> method.
343
344 =cut
345
346 sub table { 'cust_main'; }
347
348 =item insert [ CUST_PKG_HASHREF [ , INVOICING_LIST_ARYREF ] [ , OPTION => VALUE ... ] ]
349
350 Adds this customer to the database.  If there is an error, returns the error,
351 otherwise returns false.
352
353 CUST_PKG_HASHREF: If you pass a Tie::RefHash data structure to the insert
354 method containing FS::cust_pkg and FS::svc_I<tablename> objects, all records
355 are inserted atomicly, or the transaction is rolled back.  Passing an empty
356 hash reference is equivalent to not supplying this parameter.  There should be
357 a better explanation of this, but until then, here's an example:
358
359   use Tie::RefHash;
360   tie %hash, 'Tie::RefHash'; #this part is important
361   %hash = (
362     $cust_pkg => [ $svc_acct ],
363     ...
364   );
365   $cust_main->insert( \%hash );
366
367 INVOICING_LIST_ARYREF: If you pass an arrarref to the insert method, it will
368 be set as the invoicing list (see L<"invoicing_list">).  Errors return as
369 expected and rollback the entire transaction; it is not necessary to call 
370 check_invoicing_list first.  The invoicing_list is set after the records in the
371 CUST_PKG_HASHREF above are inserted, so it is now possible to set an
372 invoicing_list destination to the newly-created svc_acct.  Here's an example:
373
374   $cust_main->insert( {}, [ $email, 'POST' ] );
375
376 Currently available options are: I<depend_jobnum>, I<noexport> and I<tax_exemption>.
377
378 If I<depend_jobnum> is set, all provisioning jobs will have a dependancy
379 on the supplied jobnum (they will not run until the specific job completes).
380 This can be used to defer provisioning until some action completes (such
381 as running the customer's credit card successfully).
382
383 The I<noexport> option is deprecated.  If I<noexport> is set true, no
384 provisioning jobs (exports) are scheduled.  (You can schedule them later with
385 the B<reexport> method.)
386
387 The I<tax_exemption> option can be set to an arrayref of tax names.
388 FS::cust_main_exemption records will be created and inserted.
389
390 =cut
391
392 sub insert {
393   my $self = shift;
394   my $cust_pkgs = @_ ? shift : {};
395   my $invoicing_list = @_ ? shift : '';
396   my %options = @_;
397   warn "$me insert called with options ".
398        join(', ', map { "$_: $options{$_}" } keys %options ). "\n"
399     if $DEBUG;
400
401   local $SIG{HUP} = 'IGNORE';
402   local $SIG{INT} = 'IGNORE';
403   local $SIG{QUIT} = 'IGNORE';
404   local $SIG{TERM} = 'IGNORE';
405   local $SIG{TSTP} = 'IGNORE';
406   local $SIG{PIPE} = 'IGNORE';
407
408   my $oldAutoCommit = $FS::UID::AutoCommit;
409   local $FS::UID::AutoCommit = 0;
410   my $dbh = dbh;
411
412   my $prepay_identifier = '';
413   my( $amount, $seconds, $upbytes, $downbytes, $totalbytes ) = (0, 0, 0, 0, 0);
414   my $payby = '';
415   if ( $self->payby eq 'PREPAY' ) {
416
417     $self->payby('BILL');
418     $prepay_identifier = $self->payinfo;
419     $self->payinfo('');
420
421     warn "  looking up prepaid card $prepay_identifier\n"
422       if $DEBUG > 1;
423
424     my $error = $self->get_prepay( $prepay_identifier,
425                                    'amount_ref'     => \$amount,
426                                    'seconds_ref'    => \$seconds,
427                                    'upbytes_ref'    => \$upbytes,
428                                    'downbytes_ref'  => \$downbytes,
429                                    'totalbytes_ref' => \$totalbytes,
430                                  );
431     if ( $error ) {
432       $dbh->rollback if $oldAutoCommit;
433       #return "error applying prepaid card (transaction rolled back): $error";
434       return $error;
435     }
436
437     $payby = 'PREP' if $amount;
438
439   } elsif ( $self->payby =~ /^(CASH|WEST|MCRD)$/ ) {
440
441     $payby = $1;
442     $self->payby('BILL');
443     $amount = $self->paid;
444
445   }
446
447   warn "  inserting $self\n"
448     if $DEBUG > 1;
449
450   $self->signupdate(time) unless $self->signupdate;
451
452   $self->auto_agent_custid()
453     if $conf->config('cust_main-auto_agent_custid') && ! $self->agent_custid;
454
455   my $error = $self->SUPER::insert;
456   if ( $error ) {
457     $dbh->rollback if $oldAutoCommit;
458     #return "inserting cust_main record (transaction rolled back): $error";
459     return $error;
460   }
461
462   warn "  setting invoicing list\n"
463     if $DEBUG > 1;
464
465   if ( $invoicing_list ) {
466     $error = $self->check_invoicing_list( $invoicing_list );
467     if ( $error ) {
468       $dbh->rollback if $oldAutoCommit;
469       #return "checking invoicing_list (transaction rolled back): $error";
470       return $error;
471     }
472     $self->invoicing_list( $invoicing_list );
473   }
474
475   warn "  setting customer tags\n"
476     if $DEBUG > 1;
477
478   foreach my $tagnum ( @{ $self->tagnum || [] } ) {
479     my $cust_tag = new FS::cust_tag { 'tagnum'  => $tagnum,
480                                       'custnum' => $self->custnum };
481     my $error = $cust_tag->insert;
482     if ( $error ) {
483       $dbh->rollback if $oldAutoCommit;
484       return $error;
485     }
486   }
487
488   if ( $invoicing_list ) {
489     $error = $self->check_invoicing_list( $invoicing_list );
490     if ( $error ) {
491       $dbh->rollback if $oldAutoCommit;
492       #return "checking invoicing_list (transaction rolled back): $error";
493       return $error;
494     }
495     $self->invoicing_list( $invoicing_list );
496   }
497
498
499   warn "  setting cust_main_exemption\n"
500     if $DEBUG > 1;
501
502   my $tax_exemption = delete $options{'tax_exemption'};
503   if ( $tax_exemption ) {
504     foreach my $taxname ( @$tax_exemption ) {
505       my $cust_main_exemption = new FS::cust_main_exemption {
506         'custnum' => $self->custnum,
507         'taxname' => $taxname,
508       };
509       my $error = $cust_main_exemption->insert;
510       if ( $error ) {
511         $dbh->rollback if $oldAutoCommit;
512         return "inserting cust_main_exemption (transaction rolled back): $error";
513       }
514     }
515   }
516
517   if (    $conf->config('cust_main-skeleton_tables')
518        && $conf->config('cust_main-skeleton_custnum') ) {
519
520     warn "  inserting skeleton records\n"
521       if $DEBUG > 1;
522
523     my $error = $self->start_copy_skel;
524     if ( $error ) {
525       $dbh->rollback if $oldAutoCommit;
526       return $error;
527     }
528
529   }
530
531   warn "  ordering packages\n"
532     if $DEBUG > 1;
533
534   $error = $self->order_pkgs( $cust_pkgs,
535                               %options,
536                               'seconds_ref'    => \$seconds,
537                               'upbytes_ref'    => \$upbytes,
538                               'downbytes_ref'  => \$downbytes,
539                               'totalbytes_ref' => \$totalbytes,
540                             );
541   if ( $error ) {
542     $dbh->rollback if $oldAutoCommit;
543     return $error;
544   }
545
546   if ( $seconds ) {
547     $dbh->rollback if $oldAutoCommit;
548     return "No svc_acct record to apply pre-paid time";
549   }
550   if ( $upbytes || $downbytes || $totalbytes ) {
551     $dbh->rollback if $oldAutoCommit;
552     return "No svc_acct record to apply pre-paid data";
553   }
554
555   if ( $amount ) {
556     warn "  inserting initial $payby payment of $amount\n"
557       if $DEBUG > 1;
558     $error = $self->insert_cust_pay($payby, $amount, $prepay_identifier);
559     if ( $error ) {
560       $dbh->rollback if $oldAutoCommit;
561       return "inserting payment (transaction rolled back): $error";
562     }
563   }
564
565   unless ( $import || $skip_fuzzyfiles ) {
566     warn "  queueing fuzzyfiles update\n"
567       if $DEBUG > 1;
568     $error = $self->queue_fuzzyfiles_update;
569     if ( $error ) {
570       $dbh->rollback if $oldAutoCommit;
571       return "updating fuzzy search cache: $error";
572     }
573   }
574
575   warn "  insert complete; committing transaction\n"
576     if $DEBUG > 1;
577
578   $dbh->commit or die $dbh->errstr if $oldAutoCommit;
579   '';
580
581 }
582
583 use File::CounterFile;
584 sub auto_agent_custid {
585   my $self = shift;
586
587   my $format = $conf->config('cust_main-auto_agent_custid');
588   my $agent_custid;
589   if ( $format eq '1YMMXXXXXXXX' ) {
590
591     my $counter = new File::CounterFile 'cust_main.agent_custid';
592     $counter->lock;
593
594     my $ym = 100000000000 + time2str('%y%m00000000', time);
595     if ( $ym > $counter->value ) {
596       $counter->{'value'} = $agent_custid = $ym;
597       $counter->{'updated'} = 1;
598     } else {
599       $agent_custid = $counter->inc;
600     }
601
602     $counter->unlock;
603
604   } else {
605     die "Unknown cust_main-auto_agent_custid format: $format";
606   }
607
608   $self->agent_custid($agent_custid);
609
610 }
611
612 sub start_copy_skel {
613   my $self = shift;
614
615   #'mg_user_preference' => {},
616   #'mg_user_indicator_profile.user_indicator_profile_id' => { 'mg_profile_indicator.profile_indicator_id' => { 'mg_profile_details.profile_detail_id' }, },
617   #'mg_watchlist_header.watchlist_header_id' => { 'mg_watchlist_details.watchlist_details_id' },
618   #'mg_user_grid_header.grid_header_id' => { 'mg_user_grid_details.user_grid_details_id' },
619   #'mg_portfolio_header.portfolio_header_id' => { 'mg_portfolio_trades.portfolio_trades_id' => { 'mg_portfolio_trades_positions.portfolio_trades_positions_id' } },
620   my @tables = eval(join('\n',$conf->config('cust_main-skeleton_tables')));
621   die $@ if $@;
622
623   _copy_skel( 'cust_main',                                 #tablename
624               $conf->config('cust_main-skeleton_custnum'), #sourceid
625               $self->custnum,                              #destid
626               @tables,                                     #child tables
627             );
628 }
629
630 #recursive subroutine, not a method
631 sub _copy_skel {
632   my( $table, $sourceid, $destid, %child_tables ) = @_;
633
634   my $primary_key;
635   if ( $table =~ /^(\w+)\.(\w+)$/ ) {
636     ( $table, $primary_key ) = ( $1, $2 );
637   } else {
638     my $dbdef_table = dbdef->table($table);
639     $primary_key = $dbdef_table->primary_key
640       or return "$table has no primary key".
641                 " (or do you need to run dbdef-create?)";
642   }
643
644   warn "  _copy_skel: $table.$primary_key $sourceid to $destid for ".
645        join (', ', keys %child_tables). "\n"
646     if $DEBUG > 2;
647
648   foreach my $child_table_def ( keys %child_tables ) {
649
650     my $child_table;
651     my $child_pkey = '';
652     if ( $child_table_def =~ /^(\w+)\.(\w+)$/ ) {
653       ( $child_table, $child_pkey ) = ( $1, $2 );
654     } else {
655       $child_table = $child_table_def;
656
657       $child_pkey = dbdef->table($child_table)->primary_key;
658       #  or return "$table has no primary key".
659       #            " (or do you need to run dbdef-create?)\n";
660     }
661
662     my $sequence = '';
663     if ( keys %{ $child_tables{$child_table_def} } ) {
664
665       return "$child_table has no primary key".
666              " (run dbdef-create or try specifying it?)\n"
667         unless $child_pkey;
668
669       #false laziness w/Record::insert and only works on Pg
670       #refactor the proper last-inserted-id stuff out of Record::insert if this
671       # ever gets use for anything besides a quick kludge for one customer
672       my $default = dbdef->table($child_table)->column($child_pkey)->default;
673       $default =~ /^nextval\(\(?'"?([\w\.]+)"?'/i
674         or return "can't parse $child_table.$child_pkey default value ".
675                   " for sequence name: $default";
676       $sequence = $1;
677
678     }
679   
680     my @sel_columns = grep { $_ ne $primary_key }
681                            dbdef->table($child_table)->columns;
682     my $sel_columns = join(', ', @sel_columns );
683
684     my @ins_columns = grep { $_ ne $child_pkey } @sel_columns;
685     my $ins_columns = ' ( '. join(', ', $primary_key, @ins_columns ). ' ) ';
686     my $placeholders = ' ( ?, '. join(', ', map '?', @ins_columns ). ' ) ';
687
688     my $sel_st = "SELECT $sel_columns FROM $child_table".
689                  " WHERE $primary_key = $sourceid";
690     warn "    $sel_st\n"
691       if $DEBUG > 2;
692     my $sel_sth = dbh->prepare( $sel_st )
693       or return dbh->errstr;
694   
695     $sel_sth->execute or return $sel_sth->errstr;
696
697     while ( my $row = $sel_sth->fetchrow_hashref ) {
698
699       warn "    selected row: ".
700            join(', ', map { "$_=".$row->{$_} } keys %$row ). "\n"
701         if $DEBUG > 2;
702
703       my $statement =
704         "INSERT INTO $child_table $ins_columns VALUES $placeholders";
705       my $ins_sth =dbh->prepare($statement)
706           or return dbh->errstr;
707       my @param = ( $destid, map $row->{$_}, @ins_columns );
708       warn "    $statement: [ ". join(', ', @param). " ]\n"
709         if $DEBUG > 2;
710       $ins_sth->execute( @param )
711         or return $ins_sth->errstr;
712
713       #next unless keys %{ $child_tables{$child_table} };
714       next unless $sequence;
715       
716       #another section of that laziness
717       my $seq_sql = "SELECT currval('$sequence')";
718       my $seq_sth = dbh->prepare($seq_sql) or return dbh->errstr;
719       $seq_sth->execute or return $seq_sth->errstr;
720       my $insertid = $seq_sth->fetchrow_arrayref->[0];
721   
722       # don't drink soap!  recurse!  recurse!  okay!
723       my $error =
724         _copy_skel( $child_table_def,
725                     $row->{$child_pkey}, #sourceid
726                     $insertid, #destid
727                     %{ $child_tables{$child_table_def} },
728                   );
729       return $error if $error;
730
731     }
732
733   }
734
735   return '';
736
737 }
738
739 =item order_pkg HASHREF | OPTION => VALUE ... 
740
741 Orders a single package.
742
743 Options may be passed as a list of key/value pairs or as a hash reference.
744 Options are:
745
746 =over 4
747
748 =item cust_pkg
749
750 FS::cust_pkg object
751
752 =item cust_location
753
754 Optional FS::cust_location object
755
756 =item svcs
757
758 Optional arryaref of FS::svc_* service objects.
759
760 =item depend_jobnum
761
762 If this option is set to a job queue jobnum (see L<FS::queue>), all provisioning
763 jobs will have a dependancy on the supplied job (they will not run until the
764 specific job completes).  This can be used to defer provisioning until some
765 action completes (such as running the customer's credit card successfully).
766
767 =item ticket_subject
768
769 Optional subject for a ticket created and attached to this customer
770
771 =item ticket_subject
772
773 Optional queue name for ticket additions
774
775 =back
776
777 =cut
778
779 sub order_pkg {
780   my $self = shift;
781   my $opt = ref($_[0]) ? shift : { @_ };
782
783   warn "$me order_pkg called with options ".
784        join(', ', map { "$_: $opt->{$_}" } keys %$opt ). "\n"
785     if $DEBUG;
786
787   my $cust_pkg = $opt->{'cust_pkg'};
788   my $svcs     = $opt->{'svcs'} || [];
789
790   my %svc_options = ();
791   $svc_options{'depend_jobnum'} = $opt->{'depend_jobnum'}
792     if exists($opt->{'depend_jobnum'}) && $opt->{'depend_jobnum'};
793
794   my %insert_params = map { $opt->{$_} ? ( $_ => $opt->{$_} ) : () }
795                           qw( ticket_subject ticket_queue );
796
797   local $SIG{HUP} = 'IGNORE';
798   local $SIG{INT} = 'IGNORE';
799   local $SIG{QUIT} = 'IGNORE';
800   local $SIG{TERM} = 'IGNORE';
801   local $SIG{TSTP} = 'IGNORE';
802   local $SIG{PIPE} = 'IGNORE';
803
804   my $oldAutoCommit = $FS::UID::AutoCommit;
805   local $FS::UID::AutoCommit = 0;
806   my $dbh = dbh;
807
808   if ( $opt->{'cust_location'} &&
809        ( ! $cust_pkg->locationnum || $cust_pkg->locationnum == -1 ) ) {
810     my $error = $opt->{'cust_location'}->insert;
811     if ( $error ) {
812       $dbh->rollback if $oldAutoCommit;
813       return "inserting cust_location (transaction rolled back): $error";
814     }
815     $cust_pkg->locationnum($opt->{'cust_location'}->locationnum);
816   }
817
818   $cust_pkg->custnum( $self->custnum );
819
820   my $error = $cust_pkg->insert( %insert_params );
821   if ( $error ) {
822     $dbh->rollback if $oldAutoCommit;
823     return "inserting cust_pkg (transaction rolled back): $error";
824   }
825
826   foreach my $svc_something ( @{ $opt->{'svcs'} } ) {
827     if ( $svc_something->svcnum ) {
828       my $old_cust_svc = $svc_something->cust_svc;
829       my $new_cust_svc = new FS::cust_svc { $old_cust_svc->hash };
830       $new_cust_svc->pkgnum( $cust_pkg->pkgnum);
831       $error = $new_cust_svc->replace($old_cust_svc);
832     } else {
833       $svc_something->pkgnum( $cust_pkg->pkgnum );
834       if ( $svc_something->isa('FS::svc_acct') ) {
835         foreach ( grep { $opt->{$_.'_ref'} && ${ $opt->{$_.'_ref'} } }
836                        qw( seconds upbytes downbytes totalbytes )      ) {
837           $svc_something->$_( $svc_something->$_() + ${ $opt->{$_.'_ref'} } );
838           ${ $opt->{$_.'_ref'} } = 0;
839         }
840       }
841       $error = $svc_something->insert(%svc_options);
842     }
843     if ( $error ) {
844       $dbh->rollback if $oldAutoCommit;
845       return "inserting svc_ (transaction rolled back): $error";
846     }
847   }
848
849   $dbh->commit or die $dbh->errstr if $oldAutoCommit;
850   ''; #no error
851
852 }
853
854 #deprecated #=item order_pkgs HASHREF [ , SECONDSREF ] [ , OPTION => VALUE ... ]
855 =item order_pkgs HASHREF [ , OPTION => VALUE ... ]
856
857 Like the insert method on an existing record, this method orders multiple
858 packages and included services atomicaly.  Pass a Tie::RefHash data structure
859 to this method containing FS::cust_pkg and FS::svc_I<tablename> objects.
860 There should be a better explanation of this, but until then, here's an
861 example:
862
863   use Tie::RefHash;
864   tie %hash, 'Tie::RefHash'; #this part is important
865   %hash = (
866     $cust_pkg => [ $svc_acct ],
867     ...
868   );
869   $cust_main->order_pkgs( \%hash, 'noexport'=>1 );
870
871 Services can be new, in which case they are inserted, or existing unaudited
872 services, in which case they are linked to the newly-created package.
873
874 Currently available options are: I<depend_jobnum>, I<noexport>, I<seconds_ref>,
875 I<upbytes_ref>, I<downbytes_ref>, and I<totalbytes_ref>.
876
877 If I<depend_jobnum> is set, all provisioning jobs will have a dependancy
878 on the supplied jobnum (they will not run until the specific job completes).
879 This can be used to defer provisioning until some action completes (such
880 as running the customer's credit card successfully).
881
882 The I<noexport> option is deprecated.  If I<noexport> is set true, no
883 provisioning jobs (exports) are scheduled.  (You can schedule them later with
884 the B<reexport> method for each cust_pkg object.  Using the B<reexport> method
885 on the cust_main object is not recommended, as existing services will also be
886 reexported.)
887
888 If I<seconds_ref>, I<upbytes_ref>, I<downbytes_ref>, or I<totalbytes_ref> is
889 provided, the scalars (provided by references) will be incremented by the
890 values of the prepaid card.`
891
892 =cut
893
894 sub order_pkgs {
895   my $self = shift;
896   my $cust_pkgs = shift;
897   my $seconds_ref = ref($_[0]) ? shift : ''; #deprecated
898   my %options = @_;
899   $seconds_ref ||= $options{'seconds_ref'};
900
901   warn "$me order_pkgs called with options ".
902        join(', ', map { "$_: $options{$_}" } keys %options ). "\n"
903     if $DEBUG;
904
905   local $SIG{HUP} = 'IGNORE';
906   local $SIG{INT} = 'IGNORE';
907   local $SIG{QUIT} = 'IGNORE';
908   local $SIG{TERM} = 'IGNORE';
909   local $SIG{TSTP} = 'IGNORE';
910   local $SIG{PIPE} = 'IGNORE';
911
912   my $oldAutoCommit = $FS::UID::AutoCommit;
913   local $FS::UID::AutoCommit = 0;
914   my $dbh = dbh;
915
916   local $FS::svc_Common::noexport_hack = 1 if $options{'noexport'};
917
918   foreach my $cust_pkg ( keys %$cust_pkgs ) {
919
920     my $error = $self->order_pkg(
921       'cust_pkg'     => $cust_pkg,
922       'svcs'         => $cust_pkgs->{$cust_pkg},
923       'seconds_ref'  => $seconds_ref,
924       map { $_ => $options{$_} } qw( upbytes_ref downbytes_ref totalbytes_ref
925                                      depend_jobnum
926                                    )
927     );
928     if ( $error ) {
929       $dbh->rollback if $oldAutoCommit;
930       return $error;
931     }
932
933   }
934
935   $dbh->commit or die $dbh->errstr if $oldAutoCommit;
936   ''; #no error
937 }
938
939 =item recharge_prepay IDENTIFIER | PREPAY_CREDIT_OBJ [ , AMOUNTREF, SECONDSREF, UPBYTEREF, DOWNBYTEREF ]
940
941 Recharges this (existing) customer with the specified prepaid card (see
942 L<FS::prepay_credit>), specified either by I<identifier> or as an
943 FS::prepay_credit object.  If there is an error, returns the error, otherwise
944 returns false.
945
946 Optionally, five scalar references can be passed as well.  They will have their
947 values filled in with the amount, number of seconds, and number of upload,
948 download, and total bytes applied by this prepaid card.
949
950 =cut
951
952 #the ref bullshit here should be refactored like get_prepay.  MyAccount.pm is
953 #the only place that uses these args
954 sub recharge_prepay { 
955   my( $self, $prepay_credit, $amountref, $secondsref, 
956       $upbytesref, $downbytesref, $totalbytesref ) = @_;
957
958   local $SIG{HUP} = 'IGNORE';
959   local $SIG{INT} = 'IGNORE';
960   local $SIG{QUIT} = 'IGNORE';
961   local $SIG{TERM} = 'IGNORE';
962   local $SIG{TSTP} = 'IGNORE';
963   local $SIG{PIPE} = 'IGNORE';
964
965   my $oldAutoCommit = $FS::UID::AutoCommit;
966   local $FS::UID::AutoCommit = 0;
967   my $dbh = dbh;
968
969   my( $amount, $seconds, $upbytes, $downbytes, $totalbytes) = ( 0, 0, 0, 0, 0 );
970
971   my $error = $self->get_prepay( $prepay_credit,
972                                  'amount_ref'     => \$amount,
973                                  'seconds_ref'    => \$seconds,
974                                  'upbytes_ref'    => \$upbytes,
975                                  'downbytes_ref'  => \$downbytes,
976                                  'totalbytes_ref' => \$totalbytes,
977                                )
978            || $self->increment_seconds($seconds)
979            || $self->increment_upbytes($upbytes)
980            || $self->increment_downbytes($downbytes)
981            || $self->increment_totalbytes($totalbytes)
982            || $self->insert_cust_pay_prepay( $amount,
983                                              ref($prepay_credit)
984                                                ? $prepay_credit->identifier
985                                                : $prepay_credit
986                                            );
987
988   if ( $error ) {
989     $dbh->rollback if $oldAutoCommit;
990     return $error;
991   }
992
993   if ( defined($amountref)  ) { $$amountref  = $amount;  }
994   if ( defined($secondsref) ) { $$secondsref = $seconds; }
995   if ( defined($upbytesref) ) { $$upbytesref = $upbytes; }
996   if ( defined($downbytesref) ) { $$downbytesref = $downbytes; }
997   if ( defined($totalbytesref) ) { $$totalbytesref = $totalbytes; }
998
999   $dbh->commit or die $dbh->errstr if $oldAutoCommit;
1000   '';
1001
1002 }
1003
1004 =item get_prepay IDENTIFIER | PREPAY_CREDIT_OBJ [ , OPTION => VALUE ... ]
1005
1006 Looks up and deletes a prepaid card (see L<FS::prepay_credit>),
1007 specified either by I<identifier> or as an FS::prepay_credit object.
1008
1009 Available options are: I<amount_ref>, I<seconds_ref>, I<upbytes_ref>, I<downbytes_ref>, and I<totalbytes_ref>.  The scalars (provided by references) will be
1010 incremented by the values of the prepaid card.
1011
1012 If the prepaid card specifies an I<agentnum> (see L<FS::agent>), it is used to
1013 check or set this customer's I<agentnum>.
1014
1015 If there is an error, returns the error, otherwise returns false.
1016
1017 =cut
1018
1019
1020 sub get_prepay {
1021   my( $self, $prepay_credit, %opt ) = @_;
1022
1023   local $SIG{HUP} = 'IGNORE';
1024   local $SIG{INT} = 'IGNORE';
1025   local $SIG{QUIT} = 'IGNORE';
1026   local $SIG{TERM} = 'IGNORE';
1027   local $SIG{TSTP} = 'IGNORE';
1028   local $SIG{PIPE} = 'IGNORE';
1029
1030   my $oldAutoCommit = $FS::UID::AutoCommit;
1031   local $FS::UID::AutoCommit = 0;
1032   my $dbh = dbh;
1033
1034   unless ( ref($prepay_credit) ) {
1035
1036     my $identifier = $prepay_credit;
1037
1038     $prepay_credit = qsearchs(
1039       'prepay_credit',
1040       { 'identifier' => $prepay_credit },
1041       '',
1042       'FOR UPDATE'
1043     );
1044
1045     unless ( $prepay_credit ) {
1046       $dbh->rollback if $oldAutoCommit;
1047       return "Invalid prepaid card: ". $identifier;
1048     }
1049
1050   }
1051
1052   if ( $prepay_credit->agentnum ) {
1053     if ( $self->agentnum && $self->agentnum != $prepay_credit->agentnum ) {
1054       $dbh->rollback if $oldAutoCommit;
1055       return "prepaid card not valid for agent ". $self->agentnum;
1056     }
1057     $self->agentnum($prepay_credit->agentnum);
1058   }
1059
1060   my $error = $prepay_credit->delete;
1061   if ( $error ) {
1062     $dbh->rollback if $oldAutoCommit;
1063     return "removing prepay_credit (transaction rolled back): $error";
1064   }
1065
1066   ${ $opt{$_.'_ref'} } += $prepay_credit->$_()
1067     for grep $opt{$_.'_ref'}, qw( amount seconds upbytes downbytes totalbytes );
1068
1069   $dbh->commit or die $dbh->errstr if $oldAutoCommit;
1070   '';
1071
1072 }
1073
1074 =item increment_upbytes SECONDS
1075
1076 Updates this customer's single or primary account (see L<FS::svc_acct>) by
1077 the specified number of upbytes.  If there is an error, returns the error,
1078 otherwise returns false.
1079
1080 =cut
1081
1082 sub increment_upbytes {
1083   _increment_column( shift, 'upbytes', @_);
1084 }
1085
1086 =item increment_downbytes SECONDS
1087
1088 Updates this customer's single or primary account (see L<FS::svc_acct>) by
1089 the specified number of downbytes.  If there is an error, returns the error,
1090 otherwise returns false.
1091
1092 =cut
1093
1094 sub increment_downbytes {
1095   _increment_column( shift, 'downbytes', @_);
1096 }
1097
1098 =item increment_totalbytes SECONDS
1099
1100 Updates this customer's single or primary account (see L<FS::svc_acct>) by
1101 the specified number of totalbytes.  If there is an error, returns the error,
1102 otherwise returns false.
1103
1104 =cut
1105
1106 sub increment_totalbytes {
1107   _increment_column( shift, 'totalbytes', @_);
1108 }
1109
1110 =item increment_seconds SECONDS
1111
1112 Updates this customer's single or primary account (see L<FS::svc_acct>) by
1113 the specified number of seconds.  If there is an error, returns the error,
1114 otherwise returns false.
1115
1116 =cut
1117
1118 sub increment_seconds {
1119   _increment_column( shift, 'seconds', @_);
1120 }
1121
1122 =item _increment_column AMOUNT
1123
1124 Updates this customer's single or primary account (see L<FS::svc_acct>) by
1125 the specified number of seconds or bytes.  If there is an error, returns
1126 the error, otherwise returns false.
1127
1128 =cut
1129
1130 sub _increment_column {
1131   my( $self, $column, $amount ) = @_;
1132   warn "$me increment_column called: $column, $amount\n"
1133     if $DEBUG;
1134
1135   return '' unless $amount;
1136
1137   my @cust_pkg = grep { $_->part_pkg->svcpart('svc_acct') }
1138                       $self->ncancelled_pkgs;
1139
1140   if ( ! @cust_pkg ) {
1141     return 'No packages with primary or single services found'.
1142            ' to apply pre-paid time';
1143   } elsif ( scalar(@cust_pkg) > 1 ) {
1144     #maybe have a way to specify the package/account?
1145     return 'Multiple packages found to apply pre-paid time';
1146   }
1147
1148   my $cust_pkg = $cust_pkg[0];
1149   warn "  found package pkgnum ". $cust_pkg->pkgnum. "\n"
1150     if $DEBUG > 1;
1151
1152   my @cust_svc =
1153     $cust_pkg->cust_svc( $cust_pkg->part_pkg->svcpart('svc_acct') );
1154
1155   if ( ! @cust_svc ) {
1156     return 'No account found to apply pre-paid time';
1157   } elsif ( scalar(@cust_svc) > 1 ) {
1158     return 'Multiple accounts found to apply pre-paid time';
1159   }
1160   
1161   my $svc_acct = $cust_svc[0]->svc_x;
1162   warn "  found service svcnum ". $svc_acct->pkgnum.
1163        ' ('. $svc_acct->email. ")\n"
1164     if $DEBUG > 1;
1165
1166   $column = "increment_$column";
1167   $svc_acct->$column($amount);
1168
1169 }
1170
1171 =item insert_cust_pay_prepay AMOUNT [ PAYINFO ]
1172
1173 Inserts a prepayment in the specified amount for this customer.  An optional
1174 second argument can specify the prepayment identifier for tracking purposes.
1175 If there is an error, returns the error, otherwise returns false.
1176
1177 =cut
1178
1179 sub insert_cust_pay_prepay {
1180   shift->insert_cust_pay('PREP', @_);
1181 }
1182
1183 =item insert_cust_pay_cash AMOUNT [ PAYINFO ]
1184
1185 Inserts a cash payment in the specified amount for this customer.  An optional
1186 second argument can specify the payment identifier for tracking purposes.
1187 If there is an error, returns the error, otherwise returns false.
1188
1189 =cut
1190
1191 sub insert_cust_pay_cash {
1192   shift->insert_cust_pay('CASH', @_);
1193 }
1194
1195 =item insert_cust_pay_west AMOUNT [ PAYINFO ]
1196
1197 Inserts a Western Union payment in the specified amount for this customer.  An
1198 optional second argument can specify the prepayment identifier for tracking
1199 purposes.  If there is an error, returns the error, otherwise returns false.
1200
1201 =cut
1202
1203 sub insert_cust_pay_west {
1204   shift->insert_cust_pay('WEST', @_);
1205 }
1206
1207 sub insert_cust_pay {
1208   my( $self, $payby, $amount ) = splice(@_, 0, 3);
1209   my $payinfo = scalar(@_) ? shift : '';
1210
1211   my $cust_pay = new FS::cust_pay {
1212     'custnum' => $self->custnum,
1213     'paid'    => sprintf('%.2f', $amount),
1214     #'_date'   => #date the prepaid card was purchased???
1215     'payby'   => $payby,
1216     'payinfo' => $payinfo,
1217   };
1218   $cust_pay->insert;
1219
1220 }
1221
1222 =item reexport
1223
1224 This method is deprecated.  See the I<depend_jobnum> option to the insert and
1225 order_pkgs methods for a better way to defer provisioning.
1226
1227 Re-schedules all exports by calling the B<reexport> method of all associated
1228 packages (see L<FS::cust_pkg>).  If there is an error, returns the error;
1229 otherwise returns false.
1230
1231 =cut
1232
1233 sub reexport {
1234   my $self = shift;
1235
1236   carp "WARNING: FS::cust_main::reexport is deprectated; ".
1237        "use the depend_jobnum option to insert or order_pkgs to delay export";
1238
1239   local $SIG{HUP} = 'IGNORE';
1240   local $SIG{INT} = 'IGNORE';
1241   local $SIG{QUIT} = 'IGNORE';
1242   local $SIG{TERM} = 'IGNORE';
1243   local $SIG{TSTP} = 'IGNORE';
1244   local $SIG{PIPE} = 'IGNORE';
1245
1246   my $oldAutoCommit = $FS::UID::AutoCommit;
1247   local $FS::UID::AutoCommit = 0;
1248   my $dbh = dbh;
1249
1250   foreach my $cust_pkg ( $self->ncancelled_pkgs ) {
1251     my $error = $cust_pkg->reexport;
1252     if ( $error ) {
1253       $dbh->rollback if $oldAutoCommit;
1254       return $error;
1255     }
1256   }
1257
1258   $dbh->commit or die $dbh->errstr if $oldAutoCommit;
1259   '';
1260
1261 }
1262
1263 =item delete NEW_CUSTNUM
1264
1265 This deletes the customer.  If there is an error, returns the error, otherwise
1266 returns false.
1267
1268 This will completely remove all traces of the customer record.  This is not
1269 what you want when a customer cancels service; for that, cancel all of the
1270 customer's packages (see L</cancel>).
1271
1272 If the customer has any uncancelled packages, you need to pass a new (valid)
1273 customer number for those packages to be transferred to.  Cancelled packages
1274 will be deleted.  Did I mention that this is NOT what you want when a customer
1275 cancels service and that you really should be looking see L<FS::cust_pkg/cancel>?
1276
1277 You can't delete a customer with invoices (see L<FS::cust_bill>),
1278 or credits (see L<FS::cust_credit>), payments (see L<FS::cust_pay>) or
1279 refunds (see L<FS::cust_refund>).
1280
1281 =cut
1282
1283 sub delete {
1284   my $self = shift;
1285
1286   local $SIG{HUP} = 'IGNORE';
1287   local $SIG{INT} = 'IGNORE';
1288   local $SIG{QUIT} = 'IGNORE';
1289   local $SIG{TERM} = 'IGNORE';
1290   local $SIG{TSTP} = 'IGNORE';
1291   local $SIG{PIPE} = 'IGNORE';
1292
1293   my $oldAutoCommit = $FS::UID::AutoCommit;
1294   local $FS::UID::AutoCommit = 0;
1295   my $dbh = dbh;
1296
1297   if ( $self->cust_bill ) {
1298     $dbh->rollback if $oldAutoCommit;
1299     return "Can't delete a customer with invoices";
1300   }
1301   if ( $self->cust_credit ) {
1302     $dbh->rollback if $oldAutoCommit;
1303     return "Can't delete a customer with credits";
1304   }
1305   if ( $self->cust_pay ) {
1306     $dbh->rollback if $oldAutoCommit;
1307     return "Can't delete a customer with payments";
1308   }
1309   if ( $self->cust_refund ) {
1310     $dbh->rollback if $oldAutoCommit;
1311     return "Can't delete a customer with refunds";
1312   }
1313
1314   my @cust_pkg = $self->ncancelled_pkgs;
1315   if ( @cust_pkg ) {
1316     my $new_custnum = shift;
1317     unless ( qsearchs( 'cust_main', { 'custnum' => $new_custnum } ) ) {
1318       $dbh->rollback if $oldAutoCommit;
1319       return "Invalid new customer number: $new_custnum";
1320     }
1321     foreach my $cust_pkg ( @cust_pkg ) {
1322       my %hash = $cust_pkg->hash;
1323       $hash{'custnum'} = $new_custnum;
1324       my $new_cust_pkg = new FS::cust_pkg ( \%hash );
1325       my $error = $new_cust_pkg->replace($cust_pkg,
1326                                          options => { $cust_pkg->options },
1327                                         );
1328       if ( $error ) {
1329         $dbh->rollback if $oldAutoCommit;
1330         return $error;
1331       }
1332     }
1333   }
1334   my @cancelled_cust_pkg = $self->all_pkgs;
1335   foreach my $cust_pkg ( @cancelled_cust_pkg ) {
1336     my $error = $cust_pkg->delete;
1337     if ( $error ) {
1338       $dbh->rollback if $oldAutoCommit;
1339       return $error;
1340     }
1341   }
1342
1343   foreach my $table (qw( cust_main_invoice cust_main_exemption cust_tag )) {
1344     foreach my $record ( qsearch( 'table', { 'custnum' => $self->custnum } ) ) {
1345       my $error = $record->delete;
1346       if ( $error ) {
1347         $dbh->rollback if $oldAutoCommit;
1348         return $error;
1349       }
1350     }
1351   }
1352
1353   my $error = $self->SUPER::delete;
1354   if ( $error ) {
1355     $dbh->rollback if $oldAutoCommit;
1356     return $error;
1357   }
1358
1359   $dbh->commit or die $dbh->errstr if $oldAutoCommit;
1360   '';
1361
1362 }
1363
1364 =item replace [ OLD_RECORD ] [ INVOICING_LIST_ARYREF ] [ , OPTION => VALUE ... ] ]
1365
1366
1367 Replaces the OLD_RECORD with this one in the database.  If there is an error,
1368 returns the error, otherwise returns false.
1369
1370 INVOICING_LIST_ARYREF: If you pass an arrarref to the insert method, it will
1371 be set as the invoicing list (see L<"invoicing_list">).  Errors return as
1372 expected and rollback the entire transaction; it is not necessary to call 
1373 check_invoicing_list first.  Here's an example:
1374
1375   $new_cust_main->replace( $old_cust_main, [ $email, 'POST' ] );
1376
1377 Currently available options are: I<tax_exemption>.
1378
1379 The I<tax_exemption> option can be set to an arrayref of tax names.
1380 FS::cust_main_exemption records will be deleted and inserted as appropriate.
1381
1382 =cut
1383
1384 sub replace {
1385   my $self = shift;
1386
1387   my $old = ( blessed($_[0]) && $_[0]->isa('FS::Record') )
1388               ? shift
1389               : $self->replace_old;
1390
1391   my @param = @_;
1392
1393   warn "$me replace called\n"
1394     if $DEBUG;
1395
1396   my $curuser = $FS::CurrentUser::CurrentUser;
1397   if (    $self->payby eq 'COMP'
1398        && $self->payby ne $old->payby
1399        && ! $curuser->access_right('Complimentary customer')
1400      )
1401   {
1402     return "You are not permitted to create complimentary accounts.";
1403   }
1404
1405   local($ignore_expired_card) = 1
1406     if $old->payby  =~ /^(CARD|DCRD)$/
1407     && $self->payby =~ /^(CARD|DCRD)$/
1408     && ( $old->payinfo eq $self->payinfo || $old->paymask eq $self->paymask );
1409
1410   local $SIG{HUP} = 'IGNORE';
1411   local $SIG{INT} = 'IGNORE';
1412   local $SIG{QUIT} = 'IGNORE';
1413   local $SIG{TERM} = 'IGNORE';
1414   local $SIG{TSTP} = 'IGNORE';
1415   local $SIG{PIPE} = 'IGNORE';
1416
1417   my $oldAutoCommit = $FS::UID::AutoCommit;
1418   local $FS::UID::AutoCommit = 0;
1419   my $dbh = dbh;
1420
1421   my $error = $self->SUPER::replace($old);
1422
1423   if ( $error ) {
1424     $dbh->rollback if $oldAutoCommit;
1425     return $error;
1426   }
1427
1428   if ( @param && ref($param[0]) eq 'ARRAY' ) { # INVOICING_LIST_ARYREF
1429     my $invoicing_list = shift @param;
1430     $error = $self->check_invoicing_list( $invoicing_list );
1431     if ( $error ) {
1432       $dbh->rollback if $oldAutoCommit;
1433       return $error;
1434     }
1435     $self->invoicing_list( $invoicing_list );
1436   }
1437
1438   if ( $self->exists('tagnum') ) { #so we don't delete these on edit by accident
1439
1440     #this could be more efficient than deleting and re-inserting, if it matters
1441     foreach my $cust_tag (qsearch('cust_tag', {'custnum'=>$self->custnum} )) {
1442       my $error = $cust_tag->delete;
1443       if ( $error ) {
1444         $dbh->rollback if $oldAutoCommit;
1445         return $error;
1446       }
1447     }
1448     foreach my $tagnum ( @{ $self->tagnum || [] } ) {
1449       my $cust_tag = new FS::cust_tag { 'tagnum'  => $tagnum,
1450                                         'custnum' => $self->custnum };
1451       my $error = $cust_tag->insert;
1452       if ( $error ) {
1453         $dbh->rollback if $oldAutoCommit;
1454         return $error;
1455       }
1456     }
1457
1458   }
1459
1460   my %options = @param;
1461
1462   my $tax_exemption = delete $options{'tax_exemption'};
1463   if ( $tax_exemption ) {
1464
1465     my %cust_main_exemption =
1466       map { $_->taxname => $_ }
1467           qsearch('cust_main_exemption', { 'custnum' => $old->custnum } );
1468
1469     foreach my $taxname ( @$tax_exemption ) {
1470
1471       next if delete $cust_main_exemption{$taxname};
1472
1473       my $cust_main_exemption = new FS::cust_main_exemption {
1474         'custnum' => $self->custnum,
1475         'taxname' => $taxname,
1476       };
1477       my $error = $cust_main_exemption->insert;
1478       if ( $error ) {
1479         $dbh->rollback if $oldAutoCommit;
1480         return "inserting cust_main_exemption (transaction rolled back): $error";
1481       }
1482     }
1483
1484     foreach my $cust_main_exemption ( values %cust_main_exemption ) {
1485       my $error = $cust_main_exemption->delete;
1486       if ( $error ) {
1487         $dbh->rollback if $oldAutoCommit;
1488         return "deleting cust_main_exemption (transaction rolled back): $error";
1489       }
1490     }
1491
1492   }
1493
1494   if ( $self->payby =~ /^(CARD|CHEK|LECB)$/ &&
1495        grep { $self->get($_) ne $old->get($_) } qw(payinfo paydate payname) ) {
1496     # card/check/lec info has changed, want to retry realtime_ invoice events
1497     my $error = $self->retry_realtime;
1498     if ( $error ) {
1499       $dbh->rollback if $oldAutoCommit;
1500       return $error;
1501     }
1502   }
1503
1504   unless ( $import || $skip_fuzzyfiles ) {
1505     $error = $self->queue_fuzzyfiles_update;
1506     if ( $error ) {
1507       $dbh->rollback if $oldAutoCommit;
1508       return "updating fuzzy search cache: $error";
1509     }
1510   }
1511
1512   $dbh->commit or die $dbh->errstr if $oldAutoCommit;
1513   '';
1514
1515 }
1516
1517 =item queue_fuzzyfiles_update
1518
1519 Used by insert & replace to update the fuzzy search cache
1520
1521 =cut
1522
1523 sub queue_fuzzyfiles_update {
1524   my $self = shift;
1525
1526   local $SIG{HUP} = 'IGNORE';
1527   local $SIG{INT} = 'IGNORE';
1528   local $SIG{QUIT} = 'IGNORE';
1529   local $SIG{TERM} = 'IGNORE';
1530   local $SIG{TSTP} = 'IGNORE';
1531   local $SIG{PIPE} = 'IGNORE';
1532
1533   my $oldAutoCommit = $FS::UID::AutoCommit;
1534   local $FS::UID::AutoCommit = 0;
1535   my $dbh = dbh;
1536
1537   my $queue = new FS::queue { 'job' => 'FS::cust_main::append_fuzzyfiles' };
1538   my $error = $queue->insert( map $self->getfield($_), @fuzzyfields );
1539   if ( $error ) {
1540     $dbh->rollback if $oldAutoCommit;
1541     return "queueing job (transaction rolled back): $error";
1542   }
1543
1544   if ( $self->ship_last ) {
1545     $queue = new FS::queue { 'job' => 'FS::cust_main::append_fuzzyfiles' };
1546     $error = $queue->insert( map $self->getfield("ship_$_"), @fuzzyfields );
1547     if ( $error ) {
1548       $dbh->rollback if $oldAutoCommit;
1549       return "queueing job (transaction rolled back): $error";
1550     }
1551   }
1552
1553   $dbh->commit or die $dbh->errstr if $oldAutoCommit;
1554   '';
1555
1556 }
1557
1558 =item check
1559
1560 Checks all fields to make sure this is a valid customer record.  If there is
1561 an error, returns the error, otherwise returns false.  Called by the insert
1562 and replace methods.
1563
1564 =cut
1565
1566 sub check {
1567   my $self = shift;
1568
1569   warn "$me check BEFORE: \n". $self->_dump
1570     if $DEBUG > 2;
1571
1572   my $error =
1573     $self->ut_numbern('custnum')
1574     || $self->ut_number('agentnum')
1575     || $self->ut_textn('agent_custid')
1576     || $self->ut_number('refnum')
1577     || $self->ut_textn('custbatch')
1578     || $self->ut_name('last')
1579     || $self->ut_name('first')
1580     || $self->ut_snumbern('birthdate')
1581     || $self->ut_snumbern('signupdate')
1582     || $self->ut_textn('company')
1583     || $self->ut_text('address1')
1584     || $self->ut_textn('address2')
1585     || $self->ut_text('city')
1586     || $self->ut_textn('county')
1587     || $self->ut_textn('state')
1588     || $self->ut_country('country')
1589     || $self->ut_anything('comments')
1590     || $self->ut_numbern('referral_custnum')
1591     || $self->ut_textn('stateid')
1592     || $self->ut_textn('stateid_state')
1593     || $self->ut_textn('invoice_terms')
1594     || $self->ut_alphan('geocode')
1595     || $self->ut_floatn('cdr_termination_percentage')
1596   ;
1597
1598   #barf.  need message catalogs.  i18n.  etc.
1599   $error .= "Please select an advertising source."
1600     if $error =~ /^Illegal or empty \(numeric\) refnum: /;
1601   return $error if $error;
1602
1603   return "Unknown agent"
1604     unless qsearchs( 'agent', { 'agentnum' => $self->agentnum } );
1605
1606   return "Unknown refnum"
1607     unless qsearchs( 'part_referral', { 'refnum' => $self->refnum } );
1608
1609   return "Unknown referring custnum: ". $self->referral_custnum
1610     unless ! $self->referral_custnum 
1611            || qsearchs( 'cust_main', { 'custnum' => $self->referral_custnum } );
1612
1613   if ( $self->censustract ne '' ) {
1614     $self->censustract =~ /^\s*(\d{9})\.?(\d{2})\s*$/
1615       or return "Illegal census tract: ". $self->censustract;
1616     
1617     $self->censustract("$1.$2");
1618   }
1619
1620   if ( $self->ss eq '' ) {
1621     $self->ss('');
1622   } else {
1623     my $ss = $self->ss;
1624     $ss =~ s/\D//g;
1625     $ss =~ /^(\d{3})(\d{2})(\d{4})$/
1626       or return "Illegal social security number: ". $self->ss;
1627     $self->ss("$1-$2-$3");
1628   }
1629
1630
1631 # bad idea to disable, causes billing to fail because of no tax rates later
1632 #  unless ( $import ) {
1633     unless ( qsearch('cust_main_county', {
1634       'country' => $self->country,
1635       'state'   => '',
1636      } ) ) {
1637       return "Unknown state/county/country: ".
1638         $self->state. "/". $self->county. "/". $self->country
1639         unless qsearch('cust_main_county',{
1640           'state'   => $self->state,
1641           'county'  => $self->county,
1642           'country' => $self->country,
1643         } );
1644     }
1645 #  }
1646
1647   $error =
1648     $self->ut_phonen('daytime', $self->country)
1649     || $self->ut_phonen('night', $self->country)
1650     || $self->ut_phonen('fax', $self->country)
1651     || $self->ut_zip('zip', $self->country)
1652   ;
1653   return $error if $error;
1654
1655   if ( $conf->exists('cust_main-require_phone')
1656        && ! length($self->daytime) && ! length($self->night)
1657      ) {
1658
1659     my $daytime_label = FS::Msgcat::_gettext('daytime') =~ /^(daytime)?$/
1660                           ? 'Day Phone'
1661                           : FS::Msgcat::_gettext('daytime');
1662     my $night_label = FS::Msgcat::_gettext('night') =~ /^(night)?$/
1663                         ? 'Night Phone'
1664                         : FS::Msgcat::_gettext('night');
1665   
1666     return "$daytime_label or $night_label is required"
1667   
1668   }
1669
1670   if ( $self->has_ship_address
1671        && scalar ( grep { $self->getfield($_) ne $self->getfield("ship_$_") }
1672                         $self->addr_fields )
1673      )
1674   {
1675     my $error =
1676       $self->ut_name('ship_last')
1677       || $self->ut_name('ship_first')
1678       || $self->ut_textn('ship_company')
1679       || $self->ut_text('ship_address1')
1680       || $self->ut_textn('ship_address2')
1681       || $self->ut_text('ship_city')
1682       || $self->ut_textn('ship_county')
1683       || $self->ut_textn('ship_state')
1684       || $self->ut_country('ship_country')
1685     ;
1686     return $error if $error;
1687
1688     #false laziness with above
1689     unless ( qsearchs('cust_main_county', {
1690       'country' => $self->ship_country,
1691       'state'   => '',
1692      } ) ) {
1693       return "Unknown ship_state/ship_county/ship_country: ".
1694         $self->ship_state. "/". $self->ship_county. "/". $self->ship_country
1695         unless qsearch('cust_main_county',{
1696           'state'   => $self->ship_state,
1697           'county'  => $self->ship_county,
1698           'country' => $self->ship_country,
1699         } );
1700     }
1701     #eofalse
1702
1703     $error =
1704       $self->ut_phonen('ship_daytime', $self->ship_country)
1705       || $self->ut_phonen('ship_night', $self->ship_country)
1706       || $self->ut_phonen('ship_fax', $self->ship_country)
1707       || $self->ut_zip('ship_zip', $self->ship_country)
1708     ;
1709     return $error if $error;
1710
1711     return "Unit # is required."
1712       if $self->ship_address2 =~ /^\s*$/
1713       && $conf->exists('cust_main-require_address2');
1714
1715   } else { # ship_ info eq billing info, so don't store dup info in database
1716
1717     $self->setfield("ship_$_", '')
1718       foreach $self->addr_fields;
1719
1720     return "Unit # is required."
1721       if $self->address2 =~ /^\s*$/
1722       && $conf->exists('cust_main-require_address2');
1723
1724   }
1725
1726   #$self->payby =~ /^(CARD|DCRD|CHEK|DCHK|LECB|BILL|COMP|PREPAY|CASH|WEST|MCRD)$/
1727   #  or return "Illegal payby: ". $self->payby;
1728   #$self->payby($1);
1729   FS::payby->can_payby($self->table, $self->payby)
1730     or return "Illegal payby: ". $self->payby;
1731
1732   $error =    $self->ut_numbern('paystart_month')
1733            || $self->ut_numbern('paystart_year')
1734            || $self->ut_numbern('payissue')
1735            || $self->ut_textn('paytype')
1736   ;
1737   return $error if $error;
1738
1739   if ( $self->payip eq '' ) {
1740     $self->payip('');
1741   } else {
1742     $error = $self->ut_ip('payip');
1743     return $error if $error;
1744   }
1745
1746   # If it is encrypted and the private key is not availaible then we can't
1747   # check the credit card.
1748
1749   my $check_payinfo = 1;
1750
1751   if ($self->is_encrypted($self->payinfo)) {
1752     $check_payinfo = 0;
1753   }
1754
1755   if ( $check_payinfo && $self->payby =~ /^(CARD|DCRD)$/ ) {
1756
1757     my $payinfo = $self->payinfo;
1758     $payinfo =~ s/\D//g;
1759     $payinfo =~ /^(\d{13,16})$/
1760       or return gettext('invalid_card'); # . ": ". $self->payinfo;
1761     $payinfo = $1;
1762     $self->payinfo($payinfo);
1763     validate($payinfo)
1764       or return gettext('invalid_card'); # . ": ". $self->payinfo;
1765
1766     return gettext('unknown_card_type')
1767       if cardtype($self->payinfo) eq "Unknown";
1768
1769     my $ban = qsearchs('banned_pay', $self->_banned_pay_hashref);
1770     if ( $ban ) {
1771       return 'Banned credit card: banned on '.
1772              time2str('%a %h %o at %r', $ban->_date).
1773              ' by '. $ban->otaker.
1774              ' (ban# '. $ban->bannum. ')';
1775     }
1776
1777     if (length($self->paycvv) && !$self->is_encrypted($self->paycvv)) {
1778       if ( cardtype($self->payinfo) eq 'American Express card' ) {
1779         $self->paycvv =~ /^(\d{4})$/
1780           or return "CVV2 (CID) for American Express cards is four digits.";
1781         $self->paycvv($1);
1782       } else {
1783         $self->paycvv =~ /^(\d{3})$/
1784           or return "CVV2 (CVC2/CID) is three digits.";
1785         $self->paycvv($1);
1786       }
1787     } else {
1788       $self->paycvv('');
1789     }
1790
1791     my $cardtype = cardtype($payinfo);
1792     if ( $cardtype =~ /^(Switch|Solo)$/i ) {
1793
1794       return "Start date or issue number is required for $cardtype cards"
1795         unless $self->paystart_month && $self->paystart_year or $self->payissue;
1796
1797       return "Start month must be between 1 and 12"
1798         if $self->paystart_month
1799            and $self->paystart_month < 1 || $self->paystart_month > 12;
1800
1801       return "Start year must be 1990 or later"
1802         if $self->paystart_year
1803            and $self->paystart_year < 1990;
1804
1805       return "Issue number must be beween 1 and 99"
1806         if $self->payissue
1807           and $self->payissue < 1 || $self->payissue > 99;
1808
1809     } else {
1810       $self->paystart_month('');
1811       $self->paystart_year('');
1812       $self->payissue('');
1813     }
1814
1815   } elsif ( $check_payinfo && $self->payby =~ /^(CHEK|DCHK)$/ ) {
1816
1817     my $payinfo = $self->payinfo;
1818     $payinfo =~ s/[^\d\@]//g;
1819     if ( $conf->exists('echeck-nonus') ) {
1820       $payinfo =~ /^(\d+)\@(\d+)$/ or return 'invalid echeck account@aba';
1821       $payinfo = "$1\@$2";
1822     } else {
1823       $payinfo =~ /^(\d+)\@(\d{9})$/ or return 'invalid echeck account@aba';
1824       $payinfo = "$1\@$2";
1825     }
1826     $self->payinfo($payinfo);
1827     $self->paycvv('');
1828
1829     my $ban = qsearchs('banned_pay', $self->_banned_pay_hashref);
1830     if ( $ban ) {
1831       return 'Banned ACH account: banned on '.
1832              time2str('%a %h %o at %r', $ban->_date).
1833              ' by '. $ban->otaker.
1834              ' (ban# '. $ban->bannum. ')';
1835     }
1836
1837   } elsif ( $self->payby eq 'LECB' ) {
1838
1839     my $payinfo = $self->payinfo;
1840     $payinfo =~ s/\D//g;
1841     $payinfo =~ /^1?(\d{10})$/ or return 'invalid btn billing telephone number';
1842     $payinfo = $1;
1843     $self->payinfo($payinfo);
1844     $self->paycvv('');
1845
1846   } elsif ( $self->payby eq 'BILL' ) {
1847
1848     $error = $self->ut_textn('payinfo');
1849     return "Illegal P.O. number: ". $self->payinfo if $error;
1850     $self->paycvv('');
1851
1852   } elsif ( $self->payby eq 'COMP' ) {
1853
1854     my $curuser = $FS::CurrentUser::CurrentUser;
1855     if (    ! $self->custnum
1856          && ! $curuser->access_right('Complimentary customer')
1857        )
1858     {
1859       return "You are not permitted to create complimentary accounts."
1860     }
1861
1862     $error = $self->ut_textn('payinfo');
1863     return "Illegal comp account issuer: ". $self->payinfo if $error;
1864     $self->paycvv('');
1865
1866   } elsif ( $self->payby eq 'PREPAY' ) {
1867
1868     my $payinfo = $self->payinfo;
1869     $payinfo =~ s/\W//g; #anything else would just confuse things
1870     $self->payinfo($payinfo);
1871     $error = $self->ut_alpha('payinfo');
1872     return "Illegal prepayment identifier: ". $self->payinfo if $error;
1873     return "Unknown prepayment identifier"
1874       unless qsearchs('prepay_credit', { 'identifier' => $self->payinfo } );
1875     $self->paycvv('');
1876
1877   }
1878
1879   if ( $self->paydate eq '' || $self->paydate eq '-' ) {
1880     return "Expiration date required"
1881       unless $self->payby =~ /^(BILL|PREPAY|CHEK|DCHK|LECB|CASH|WEST|MCRD)$/;
1882     $self->paydate('');
1883   } else {
1884     my( $m, $y );
1885     if ( $self->paydate =~ /^(\d{1,2})[\/\-](\d{2}(\d{2})?)$/ ) {
1886       ( $m, $y ) = ( $1, length($2) == 4 ? $2 : "20$2" );
1887     } elsif ( $self->paydate =~ /^19(\d{2})[\/\-](\d{1,2})[\/\-]\d+$/ ) {
1888       ( $m, $y ) = ( $2, "19$1" );
1889     } elsif ( $self->paydate =~ /^(20)?(\d{2})[\/\-](\d{1,2})[\/\-]\d+$/ ) {
1890       ( $m, $y ) = ( $3, "20$2" );
1891     } else {
1892       return "Illegal expiration date: ". $self->paydate;
1893     }
1894     $self->paydate("$y-$m-01");
1895     my($nowm,$nowy)=(localtime(time))[4,5]; $nowm++; $nowy+=1900;
1896     return gettext('expired_card')
1897       if !$import
1898       && !$ignore_expired_card 
1899       && ( $y<$nowy || ( $y==$nowy && $1<$nowm ) );
1900   }
1901
1902   if ( $self->payname eq '' && $self->payby !~ /^(CHEK|DCHK)$/ &&
1903        ( ! $conf->exists('require_cardname')
1904          || $self->payby !~ /^(CARD|DCRD)$/  ) 
1905   ) {
1906     $self->payname( $self->first. " ". $self->getfield('last') );
1907   } else {
1908     $self->payname =~ /^([\w \,\.\-\'\&]+)$/
1909       or return gettext('illegal_name'). " payname: ". $self->payname;
1910     $self->payname($1);
1911   }
1912
1913   foreach my $flag (qw( tax spool_cdr squelch_cdr archived email_csv_cdr )) {
1914     $self->$flag() =~ /^(Y?)$/ or return "Illegal $flag: ". $self->$flag();
1915     $self->$flag($1);
1916   }
1917
1918   $self->otaker(getotaker) unless $self->otaker;
1919
1920   warn "$me check AFTER: \n". $self->_dump
1921     if $DEBUG > 2;
1922
1923   $self->SUPER::check;
1924 }
1925
1926 =item addr_fields 
1927
1928 Returns a list of fields which have ship_ duplicates.
1929
1930 =cut
1931
1932 sub addr_fields {
1933   qw( last first company
1934       address1 address2 city county state zip country
1935       daytime night fax
1936     );
1937 }
1938
1939 =item has_ship_address
1940
1941 Returns true if this customer record has a separate shipping address.
1942
1943 =cut
1944
1945 sub has_ship_address {
1946   my $self = shift;
1947   scalar( grep { $self->getfield("ship_$_") ne '' } $self->addr_fields );
1948 }
1949
1950 =item location_hash
1951
1952 Returns a list of key/value pairs, with the following keys: address1, adddress2,
1953 city, county, state, zip, country.  The shipping address is used if present.
1954
1955 =cut
1956
1957 #geocode?  dependent on tax-ship_address config, not available in cust_location
1958 #mostly.  not yet then.
1959
1960 sub location_hash {
1961   my $self = shift;
1962   my $prefix = $self->has_ship_address ? 'ship_' : '';
1963
1964   map { $_ => $self->get($prefix.$_) }
1965       qw( address1 address2 city county state zip country geocode );
1966       #fields that cust_location has
1967 }
1968
1969 =item all_pkgs [ EXTRA_QSEARCH_PARAMS_HASHREF ]
1970
1971 Returns all packages (see L<FS::cust_pkg>) for this customer.
1972
1973 =cut
1974
1975 sub all_pkgs {
1976   my $self = shift;
1977   my $extra_qsearch = ref($_[0]) ? shift : {};
1978
1979   return $self->num_pkgs unless wantarray || keys(%$extra_qsearch);
1980
1981   my @cust_pkg = ();
1982   if ( $self->{'_pkgnum'} ) {
1983     @cust_pkg = values %{ $self->{'_pkgnum'}->cache };
1984   } else {
1985     @cust_pkg = $self->_cust_pkg($extra_qsearch);
1986   }
1987
1988   sort sort_packages @cust_pkg;
1989 }
1990
1991 =item cust_pkg
1992
1993 Synonym for B<all_pkgs>.
1994
1995 =cut
1996
1997 sub cust_pkg {
1998   shift->all_pkgs(@_);
1999 }
2000
2001 =item cust_location
2002
2003 Returns all locations (see L<FS::cust_location>) for this customer.
2004
2005 =cut
2006
2007 sub cust_location {
2008   my $self = shift;
2009   qsearch('cust_location', { 'custnum' => $self->custnum } );
2010 }
2011
2012 =item location_label [ OPTION => VALUE ... ]
2013
2014 Returns the label of the service location (see analog in L<FS::cust_location>) for this customer.
2015
2016 Options are
2017
2018 =over 4
2019
2020 =item join_string
2021
2022 used to separate the address elements (defaults to ', ')
2023
2024 =item escape_function
2025
2026 a callback used for escaping the text of the address elements
2027
2028 =back
2029
2030 =cut
2031
2032 # false laziness with FS::cust_location::line
2033
2034 sub location_label {
2035   my $self = shift;
2036   my %opt = @_;
2037
2038   my $separator = $opt{join_string} || ', ';
2039   my $escape = $opt{escape_function} || sub{ shift };
2040   my $line = '';
2041   my $cydefault = FS::conf->new->config('countrydefault') || 'US';
2042   my $prefix = length($self->ship_last) ? 'ship_' : '';
2043
2044   my $notfirst = 0;
2045   foreach (qw ( address1 address2 ) ) {
2046     my $method = "$prefix$_";
2047     $line .= ($notfirst ? $separator : ''). &$escape($self->$method)
2048       if $self->$method;
2049     $notfirst++;
2050   }
2051   $notfirst = 0;
2052   foreach (qw ( city county state zip ) ) {
2053     my $method = "$prefix$_";
2054     if ( $self->$method ) {
2055       $line .= ' (' if $method eq 'county';
2056       $line .= ($notfirst ? ' ' : $separator). &$escape($self->$method);
2057       $line .= ' )' if $method eq 'county';
2058       $notfirst++;
2059     }
2060   }
2061   $line .= $separator. &$escape(code2country($self->country))
2062     if $self->country ne $cydefault;
2063
2064   $line;
2065 }
2066
2067 =item ncancelled_pkgs [ EXTRA_QSEARCH_PARAMS_HASHREF ]
2068
2069 Returns all non-cancelled packages (see L<FS::cust_pkg>) for this customer.
2070
2071 =cut
2072
2073 sub ncancelled_pkgs {
2074   my $self = shift;
2075   my $extra_qsearch = ref($_[0]) ? shift : {};
2076
2077   return $self->num_ncancelled_pkgs unless wantarray;
2078
2079   my @cust_pkg = ();
2080   if ( $self->{'_pkgnum'} ) {
2081
2082     warn "$me ncancelled_pkgs: returning cached objects"
2083       if $DEBUG > 1;
2084
2085     @cust_pkg = grep { ! $_->getfield('cancel') }
2086                 values %{ $self->{'_pkgnum'}->cache };
2087
2088   } else {
2089
2090     warn "$me ncancelled_pkgs: searching for packages with custnum ".
2091          $self->custnum. "\n"
2092       if $DEBUG > 1;
2093
2094     $extra_qsearch->{'extra_sql'} .= ' AND ( cancel IS NULL OR cancel = 0 ) ';
2095
2096     @cust_pkg = $self->_cust_pkg($extra_qsearch);
2097
2098   }
2099
2100   sort sort_packages @cust_pkg;
2101
2102 }
2103
2104 sub _cust_pkg {
2105   my $self = shift;
2106   my $extra_qsearch = ref($_[0]) ? shift : {};
2107
2108   $extra_qsearch->{'select'} ||= '*';
2109   $extra_qsearch->{'select'} .=
2110    ',( SELECT COUNT(*) FROM cust_svc WHERE cust_pkg.pkgnum = cust_svc.pkgnum )
2111      AS _num_cust_svc';
2112
2113   map {
2114         $_->{'_num_cust_svc'} = $_->get('_num_cust_svc');
2115         $_;
2116       }
2117   qsearch({
2118     %$extra_qsearch,
2119     'table'   => 'cust_pkg',
2120     'hashref' => { 'custnum' => $self->custnum },
2121   });
2122
2123 }
2124
2125 # This should be generalized to use config options to determine order.
2126 sub sort_packages {
2127   
2128   my $locationsort = ( $a->locationnum || 0 ) <=> ( $b->locationnum || 0 );
2129   return $locationsort if $locationsort;
2130
2131   if ( $a->get('cancel') xor $b->get('cancel') ) {
2132     return -1 if $b->get('cancel');
2133     return  1 if $a->get('cancel');
2134     #shouldn't get here...
2135     return 0;
2136   } else {
2137     my $a_num_cust_svc = $a->num_cust_svc;
2138     my $b_num_cust_svc = $b->num_cust_svc;
2139     return 0  if !$a_num_cust_svc && !$b_num_cust_svc;
2140     return -1 if  $a_num_cust_svc && !$b_num_cust_svc;
2141     return 1  if !$a_num_cust_svc &&  $b_num_cust_svc;
2142     my @a_cust_svc = $a->cust_svc;
2143     my @b_cust_svc = $b->cust_svc;
2144     return 0  if !scalar(@a_cust_svc) && !scalar(@b_cust_svc);
2145     return -1 if  scalar(@a_cust_svc) && !scalar(@b_cust_svc);
2146     return 1  if !scalar(@a_cust_svc) &&  scalar(@b_cust_svc);
2147     $a_cust_svc[0]->svc_x->label cmp $b_cust_svc[0]->svc_x->label;
2148   }
2149
2150 }
2151
2152 =item suspended_pkgs
2153
2154 Returns all suspended packages (see L<FS::cust_pkg>) for this customer.
2155
2156 =cut
2157
2158 sub suspended_pkgs {
2159   my $self = shift;
2160   grep { $_->susp } $self->ncancelled_pkgs;
2161 }
2162
2163 =item unflagged_suspended_pkgs
2164
2165 Returns all unflagged suspended packages (see L<FS::cust_pkg>) for this
2166 customer (thouse packages without the `manual_flag' set).
2167
2168 =cut
2169
2170 sub unflagged_suspended_pkgs {
2171   my $self = shift;
2172   return $self->suspended_pkgs
2173     unless dbdef->table('cust_pkg')->column('manual_flag');
2174   grep { ! $_->manual_flag } $self->suspended_pkgs;
2175 }
2176
2177 =item unsuspended_pkgs
2178
2179 Returns all unsuspended (and uncancelled) packages (see L<FS::cust_pkg>) for
2180 this customer.
2181
2182 =cut
2183
2184 sub unsuspended_pkgs {
2185   my $self = shift;
2186   grep { ! $_->susp } $self->ncancelled_pkgs;
2187 }
2188
2189 =item next_bill_date
2190
2191 Returns the next date this customer will be billed, as a UNIX timestamp, or
2192 undef if no active package has a next bill date.
2193
2194 =cut
2195
2196 sub next_bill_date {
2197   my $self = shift;
2198   min( map $_->get('bill'), grep $_->get('bill'), $self->unsuspended_pkgs );
2199 }
2200
2201 =item num_cancelled_pkgs
2202
2203 Returns the number of cancelled packages (see L<FS::cust_pkg>) for this
2204 customer.
2205
2206 =cut
2207
2208 sub num_cancelled_pkgs {
2209   shift->num_pkgs("cust_pkg.cancel IS NOT NULL AND cust_pkg.cancel != 0");
2210 }
2211
2212 sub num_ncancelled_pkgs {
2213   shift->num_pkgs("( cust_pkg.cancel IS NULL OR cust_pkg.cancel = 0 )");
2214 }
2215
2216 sub num_pkgs {
2217   my( $self ) = shift;
2218   my $sql = scalar(@_) ? shift : '';
2219   $sql = "AND $sql" if $sql && $sql !~ /^\s*$/ && $sql !~ /^\s*AND/i;
2220   my $sth = dbh->prepare(
2221     "SELECT COUNT(*) FROM cust_pkg WHERE custnum = ? $sql"
2222   ) or die dbh->errstr;
2223   $sth->execute($self->custnum) or die $sth->errstr;
2224   $sth->fetchrow_arrayref->[0];
2225 }
2226
2227 =item unsuspend
2228
2229 Unsuspends all unflagged suspended packages (see L</unflagged_suspended_pkgs>
2230 and L<FS::cust_pkg>) for this customer.  Always returns a list: an empty list
2231 on success or a list of errors.
2232
2233 =cut
2234
2235 sub unsuspend {
2236   my $self = shift;
2237   grep { $_->unsuspend } $self->suspended_pkgs;
2238 }
2239
2240 =item suspend
2241
2242 Suspends all unsuspended packages (see L<FS::cust_pkg>) for this customer.
2243
2244 Returns a list: an empty list on success or a list of errors.
2245
2246 =cut
2247
2248 sub suspend {
2249   my $self = shift;
2250   grep { $_->suspend(@_) } $self->unsuspended_pkgs;
2251 }
2252
2253 =item suspend_if_pkgpart HASHREF | PKGPART [ , PKGPART ... ]
2254
2255 Suspends all unsuspended packages (see L<FS::cust_pkg>) matching the listed
2256 PKGPARTs (see L<FS::part_pkg>).  Preferred usage is to pass a hashref instead
2257 of a list of pkgparts; the hashref has the following keys:
2258
2259 =over 4
2260
2261 =item pkgparts - listref of pkgparts
2262
2263 =item (other options are passed to the suspend method)
2264
2265 =back
2266
2267
2268 Returns a list: an empty list on success or a list of errors.
2269
2270 =cut
2271
2272 sub suspend_if_pkgpart {
2273   my $self = shift;
2274   my (@pkgparts, %opt);
2275   if (ref($_[0]) eq 'HASH'){
2276     @pkgparts = @{$_[0]{pkgparts}};
2277     %opt      = %{$_[0]};
2278   }else{
2279     @pkgparts = @_;
2280   }
2281   grep { $_->suspend(%opt) }
2282     grep { my $pkgpart = $_->pkgpart; grep { $pkgpart eq $_ } @pkgparts }
2283       $self->unsuspended_pkgs;
2284 }
2285
2286 =item suspend_unless_pkgpart HASHREF | PKGPART [ , PKGPART ... ]
2287
2288 Suspends all unsuspended packages (see L<FS::cust_pkg>) unless they match the
2289 given PKGPARTs (see L<FS::part_pkg>).  Preferred usage is to pass a hashref
2290 instead of a list of pkgparts; the hashref has the following keys:
2291
2292 =over 4
2293
2294 =item pkgparts - listref of pkgparts
2295
2296 =item (other options are passed to the suspend method)
2297
2298 =back
2299
2300 Returns a list: an empty list on success or a list of errors.
2301
2302 =cut
2303
2304 sub suspend_unless_pkgpart {
2305   my $self = shift;
2306   my (@pkgparts, %opt);
2307   if (ref($_[0]) eq 'HASH'){
2308     @pkgparts = @{$_[0]{pkgparts}};
2309     %opt      = %{$_[0]};
2310   }else{
2311     @pkgparts = @_;
2312   }
2313   grep { $_->suspend(%opt) }
2314     grep { my $pkgpart = $_->pkgpart; ! grep { $pkgpart eq $_ } @pkgparts }
2315       $self->unsuspended_pkgs;
2316 }
2317
2318 =item cancel [ OPTION => VALUE ... ]
2319
2320 Cancels all uncancelled packages (see L<FS::cust_pkg>) for this customer.
2321
2322 Available options are:
2323
2324 =over 4
2325
2326 =item quiet - can be set true to supress email cancellation notices.
2327
2328 =item reason - can be set to a cancellation reason (see L<FS:reason>), either a reasonnum of an existing reason, or passing a hashref will create a new reason.  The hashref should have the following keys: typenum - Reason type (see L<FS::reason_type>, reason - Text of the new reason.
2329
2330 =item ban - can be set true to ban this customer's credit card or ACH information, if present.
2331
2332 =item nobill - can be set true to skip billing if it might otherwise be done.
2333
2334 =back
2335
2336 Always returns a list: an empty list on success or a list of errors.
2337
2338 =cut
2339
2340 # nb that dates are not specified as valid options to this method
2341
2342 sub cancel {
2343   my( $self, %opt ) = @_;
2344
2345   warn "$me cancel called on customer ". $self->custnum. " with options ".
2346        join(', ', map { "$_: $opt{$_}" } keys %opt ). "\n"
2347     if $DEBUG;
2348
2349   return ( 'access denied' )
2350     unless $FS::CurrentUser::CurrentUser->access_right('Cancel customer');
2351
2352   if ( $opt{'ban'} && $self->payby =~ /^(CARD|DCRD|CHEK|DCHK)$/ ) {
2353
2354     #should try decryption (we might have the private key)
2355     # and if not maybe queue a job for the server that does?
2356     return ( "Can't (yet) ban encrypted credit cards" )
2357       if $self->is_encrypted($self->payinfo);
2358
2359     my $ban = new FS::banned_pay $self->_banned_pay_hashref;
2360     my $error = $ban->insert;
2361     return ( $error ) if $error;
2362
2363   }
2364
2365   my @pkgs = $self->ncancelled_pkgs;
2366
2367   if ( !$opt{nobill} && $conf->exists('bill_usage_on_cancel') ) {
2368     $opt{nobill} = 1;
2369     my $error = $self->bill( pkg_list => [ @pkgs ], cancel => 1 );
2370     warn "Error billing during cancel, custnum ". $self->custnum. ": $error"
2371       if $error;
2372   }
2373
2374   warn "$me cancelling ". scalar($self->ncancelled_pkgs). "/".
2375        scalar(@pkgs). " packages for customer ". $self->custnum. "\n"
2376     if $DEBUG;
2377
2378   grep { $_ } map { $_->cancel(%opt) } $self->ncancelled_pkgs;
2379 }
2380
2381 sub _banned_pay_hashref {
2382   my $self = shift;
2383
2384   my %payby2ban = (
2385     'CARD' => 'CARD',
2386     'DCRD' => 'CARD',
2387     'CHEK' => 'CHEK',
2388     'DCHK' => 'CHEK'
2389   );
2390
2391   {
2392     'payby'   => $payby2ban{$self->payby},
2393     'payinfo' => md5_base64($self->payinfo),
2394     #don't ever *search* on reason! #'reason'  =>
2395   };
2396 }
2397
2398 =item notes
2399
2400 Returns all notes (see L<FS::cust_main_note>) for this customer.
2401
2402 =cut
2403
2404 sub notes {
2405   my $self = shift;
2406   #order by?
2407   qsearch( 'cust_main_note',
2408            { 'custnum' => $self->custnum },
2409            '',
2410            'ORDER BY _DATE DESC'
2411          );
2412 }
2413
2414 =item agent
2415
2416 Returns the agent (see L<FS::agent>) for this customer.
2417
2418 =cut
2419
2420 sub agent {
2421   my $self = shift;
2422   qsearchs( 'agent', { 'agentnum' => $self->agentnum } );
2423 }
2424
2425 =item agent_name
2426
2427 Returns the agent name (see L<FS::agent>) for this customer.
2428
2429 =cut
2430
2431 sub agent_name {
2432   my $self = shift;
2433   $self->agent->agent;
2434 }
2435
2436 =item cust_tag
2437
2438 Returns any tags associated with this customer, as FS::cust_tag objects,
2439 or an empty list if there are no tags.
2440
2441 =cut
2442
2443 sub cust_tag {
2444   my $self = shift;
2445   qsearch('cust_tag', { 'custnum' => $self->custnum } );
2446 }
2447
2448 =item part_tag
2449
2450 Returns any tags associated with this customer, as FS::part_tag objects,
2451 or an empty list if there are no tags.
2452
2453 =cut
2454
2455 sub part_tag {
2456   my $self = shift;
2457   map $_->part_tag, $self->cust_tag; 
2458 }
2459
2460 =item bill_and_collect 
2461
2462 Cancels and suspends any packages due, generates bills, applies payments and
2463 credits, and applies collection events to run cards, send bills and notices,
2464 etc.
2465
2466 By default, warns on errors and continues with the next operation (but see the
2467 "fatal" flag below).
2468
2469 Options are passed as name-value pairs.  Currently available options are:
2470
2471 =over 4
2472
2473 =item time
2474
2475 Bills the customer as if it were that time.  Specified as a UNIX timestamp; see L<perlfunc/"time">).  Also see L<Time::Local> and L<Date::Parse> for conversion functions.  For example:
2476
2477  use Date::Parse;
2478  ...
2479  $cust_main->bill( 'time' => str2time('April 20th, 2001') );
2480
2481 =item invoice_time
2482
2483 Used in conjunction with the I<time> option, this option specifies the date of for the generated invoices.  Other calculations, such as whether or not to generate the invoice in the first place, are not affected.
2484
2485 =item check_freq
2486
2487 "1d" for the traditional, daily events (the default), or "1m" for the new monthly events (part_event.check_freq)
2488
2489 =item resetup
2490
2491 If set true, re-charges setup fees.
2492
2493 =item fatal
2494
2495 If set any errors prevent subsequent operations from continusing.  If set
2496 specifically to "return", returns the error (or false, if there is no error).
2497 Any other true value causes errors to die.
2498
2499 =item debug
2500
2501 Debugging level.  Default is 0 (no debugging), or can be set to 1 (passed-in options), 2 (traces progress), 3 (more information), or 4 (include full search queries)
2502
2503 =back
2504
2505 Options are passed to the B<bill> and B<collect> methods verbatim, so all
2506 options of those methods are also available.
2507
2508 =cut
2509
2510 sub bill_and_collect {
2511   my( $self, %options ) = @_;
2512
2513   my $error;
2514
2515   #$options{actual_time} not $options{time} because freeside-daily -d is for
2516   #pre-printing invoices
2517
2518   $options{'actual_time'} ||= time;
2519
2520   $error = $self->cancel_expired_pkgs( $options{actual_time} );
2521   if ( $error ) {
2522     $error = "Error expiring custnum ". $self->custnum. ": $error";
2523     if    ( $options{fatal} && $options{fatal} eq 'return' ) { return $error; }
2524     elsif ( $options{fatal}                                ) { die    $error; }
2525     else                                                     { warn   $error; }
2526   }
2527
2528   $error = $self->suspend_adjourned_pkgs( $options{actual_time} );
2529   if ( $error ) {
2530     $error = "Error adjourning custnum ". $self->custnum. ": $error";
2531     if    ( $options{fatal} && $options{fatal} eq 'return' ) { return $error; }
2532     elsif ( $options{fatal}                                ) { die    $error; }
2533     else                                                     { warn   $error; }
2534   }
2535
2536   $error = $self->bill( %options );
2537   if ( $error ) {
2538     $error = "Error billing custnum ". $self->custnum. ": $error";
2539     if    ( $options{fatal} && $options{fatal} eq 'return' ) { return $error; }
2540     elsif ( $options{fatal}                                ) { die    $error; }
2541     else                                                     { warn   $error; }
2542   }
2543
2544   $error = $self->apply_payments_and_credits;
2545   if ( $error ) {
2546     $error = "Error applying custnum ". $self->custnum. ": $error";
2547     if    ( $options{fatal} && $options{fatal} eq 'return' ) { return $error; }
2548     elsif ( $options{fatal}                                ) { die    $error; }
2549     else                                                     { warn   $error; }
2550   }
2551
2552   unless ( $conf->exists('cancelled_cust-noevents')
2553            && ! $self->num_ncancelled_pkgs
2554   ) {
2555     $error = $self->collect( %options );
2556     if ( $error ) {
2557       $error = "Error collecting custnum ". $self->custnum. ": $error";
2558       if    ($options{fatal} && $options{fatal} eq 'return') { return $error; }
2559       elsif ($options{fatal}                               ) { die    $error; }
2560       else                                                   { warn   $error; }
2561     }
2562   }
2563
2564   '';
2565
2566 }
2567
2568 sub cancel_expired_pkgs {
2569   my ( $self, $time, %options ) = @_;
2570
2571   my @cancel_pkgs = $self->ncancelled_pkgs( { 
2572     'extra_sql' => " AND expire IS NOT NULL AND expire > 0 AND expire <= $time "
2573   } );
2574
2575   my @errors = ();
2576
2577   foreach my $cust_pkg ( @cancel_pkgs ) {
2578     my $cpr = $cust_pkg->last_cust_pkg_reason('expire');
2579     my $error = $cust_pkg->cancel($cpr ? ( 'reason'        => $cpr->reasonnum,
2580                                            'reason_otaker' => $cpr->otaker
2581                                          )
2582                                        : ()
2583                                  );
2584     push @errors, 'pkgnum '.$cust_pkg->pkgnum.": $error" if $error;
2585   }
2586
2587   scalar(@errors) ? join(' / ', @errors) : '';
2588
2589 }
2590
2591 sub suspend_adjourned_pkgs {
2592   my ( $self, $time, %options ) = @_;
2593
2594   my @susp_pkgs = $self->ncancelled_pkgs( {
2595     'extra_sql' =>
2596       " AND ( susp IS NULL OR susp = 0 )
2597         AND (    ( bill    IS NOT NULL AND bill    != 0 AND bill    <  $time )
2598               OR ( adjourn IS NOT NULL AND adjourn != 0 AND adjourn <= $time )
2599             )
2600       ",
2601   } );
2602
2603   #only because there's no SQL test for is_prepaid :/
2604   @susp_pkgs = 
2605     grep {     (    $_->part_pkg->is_prepaid
2606                  && $_->bill
2607                  && $_->bill < $time
2608                )
2609             || (    $_->adjourn
2610                  && $_->adjourn <= $time
2611                )
2612            
2613          }
2614          @susp_pkgs;
2615
2616   my @errors = ();
2617
2618   foreach my $cust_pkg ( @susp_pkgs ) {
2619     my $cpr = $cust_pkg->last_cust_pkg_reason('adjourn')
2620       if ($cust_pkg->adjourn && $cust_pkg->adjourn < $^T);
2621     my $error = $cust_pkg->suspend($cpr ? ( 'reason' => $cpr->reasonnum,
2622                                             'reason_otaker' => $cpr->otaker
2623                                           )
2624                                         : ()
2625                                   );
2626     push @errors, 'pkgnum '.$cust_pkg->pkgnum.": $error" if $error;
2627   }
2628
2629   scalar(@errors) ? join(' / ', @errors) : '';
2630
2631 }
2632
2633 =item bill OPTIONS
2634
2635 Generates invoices (see L<FS::cust_bill>) for this customer.  Usually used in
2636 conjunction with the collect method by calling B<bill_and_collect>.
2637
2638 If there is an error, returns the error, otherwise returns false.
2639
2640 Options are passed as name-value pairs.  Currently available options are:
2641
2642 =over 4
2643
2644 =item resetup
2645
2646 If set true, re-charges setup fees.
2647
2648 =item time
2649
2650 Bills the customer as if it were that time.  Specified as a UNIX timestamp; see L<perlfunc/"time">).  Also see L<Time::Local> and L<Date::Parse> for conversion functions.  For example:
2651
2652  use Date::Parse;
2653  ...
2654  $cust_main->bill( 'time' => str2time('April 20th, 2001') );
2655
2656 =item pkg_list
2657
2658 An array ref of specific packages (objects) to attempt billing, instead trying all of them.
2659
2660  $cust_main->bill( pkg_list => [$pkg1, $pkg2] );
2661
2662 =item not_pkgpart
2663
2664 A hashref of pkgparts to exclude from this billing run (can also be specified as a comma-separated scalar).
2665
2666 =item invoice_time
2667
2668 Used in conjunction with the I<time> option, this option specifies the date of for the generated invoices.  Other calculations, such as whether or not to generate the invoice in the first place, are not affected.
2669
2670 =item cancel
2671
2672 This boolean value informs the us that the package is being cancelled.  This
2673 typically might mean not charging the normal recurring fee but only usage
2674 fees since the last billing. Setup charges may be charged.  Not all package
2675 plans support this feature (they tend to charge 0).
2676
2677 =item invoice_terms
2678
2679 Optional terms to be printed on this invoice.  Otherwise, customer-specific
2680 terms or the default terms are used.
2681
2682 =back
2683
2684 =cut
2685
2686 sub bill {
2687   my( $self, %options ) = @_;
2688   return '' if $self->payby eq 'COMP';
2689   warn "$me bill customer ". $self->custnum. "\n"
2690     if $DEBUG;
2691
2692   my $time = $options{'time'} || time;
2693   my $invoice_time = $options{'invoice_time'} || $time;
2694
2695   $options{'not_pkgpart'} ||= {};
2696   $options{'not_pkgpart'} = { map { $_ => 1 }
2697                                   split(/\s*,\s*/, $options{'not_pkgpart'})
2698                             }
2699     unless ref($options{'not_pkgpart'});
2700
2701   local $SIG{HUP} = 'IGNORE';
2702   local $SIG{INT} = 'IGNORE';
2703   local $SIG{QUIT} = 'IGNORE';
2704   local $SIG{TERM} = 'IGNORE';
2705   local $SIG{TSTP} = 'IGNORE';
2706   local $SIG{PIPE} = 'IGNORE';
2707
2708   my $oldAutoCommit = $FS::UID::AutoCommit;
2709   local $FS::UID::AutoCommit = 0;
2710   my $dbh = dbh;
2711
2712   $self->select_for_update; #mutex
2713
2714   my $error = $self->do_cust_event(
2715     'debug'      => ( $options{'debug'} || 0 ),
2716     'time'       => $invoice_time,
2717     'check_freq' => $options{'check_freq'},
2718     'stage'      => 'pre-bill',
2719   );
2720   if ( $error ) {
2721     $dbh->rollback if $oldAutoCommit;
2722     return $error;
2723   }
2724
2725   my @cust_bill_pkg = ();
2726
2727   ###
2728   # find the packages which are due for billing, find out how much they are
2729   # & generate invoice database.
2730   ###
2731
2732   my( $total_setup, $total_recur, $postal_charge ) = ( 0, 0, 0 );
2733   my %taxlisthash;
2734   my @precommit_hooks = ();
2735
2736   $options{'pkg_list'} ||= [ $self->ncancelled_pkgs ];  #param checks?
2737   foreach my $cust_pkg ( @{ $options{'pkg_list'} } ) {
2738
2739     next if $options{'not_pkgpart'}->{$cust_pkg->pkgpart};
2740
2741     warn "  bill package ". $cust_pkg->pkgnum. "\n" if $DEBUG > 1;
2742
2743     #? to avoid use of uninitialized value errors... ?
2744     $cust_pkg->setfield('bill', '')
2745       unless defined($cust_pkg->bill);
2746  
2747     #my $part_pkg = $cust_pkg->part_pkg;
2748
2749     my $real_pkgpart = $cust_pkg->pkgpart;
2750     my %hash = $cust_pkg->hash;
2751
2752     foreach my $part_pkg ( $cust_pkg->part_pkg->self_and_bill_linked ) {
2753
2754       $cust_pkg->set($_, $hash{$_}) foreach qw ( setup last_bill bill );
2755
2756       my $error =
2757         $self->_make_lines( 'part_pkg'            => $part_pkg,
2758                             'cust_pkg'            => $cust_pkg,
2759                             'precommit_hooks'     => \@precommit_hooks,
2760                             'line_items'          => \@cust_bill_pkg,
2761                             'setup'               => \$total_setup,
2762                             'recur'               => \$total_recur,
2763                             'tax_matrix'          => \%taxlisthash,
2764                             'time'                => $time,
2765                             'real_pkgpart'        => $real_pkgpart,
2766                             'options'             => \%options,
2767                           );
2768       if ($error) {
2769         $dbh->rollback if $oldAutoCommit;
2770         return $error;
2771       }
2772
2773     } #foreach my $part_pkg
2774
2775   } #foreach my $cust_pkg
2776
2777   unless ( @cust_bill_pkg ) { #don't create an invoice w/o line items
2778     #but do commit any package date cycling that happened
2779     $dbh->commit or die $dbh->errstr if $oldAutoCommit;
2780     return '';
2781   }
2782
2783   if ( scalar( grep { $_->recur && $_->recur > 0 } @cust_bill_pkg) ||
2784          !$conf->exists('postal_invoice-recurring_only')
2785      )
2786   {
2787
2788     my $postal_pkg = $self->charge_postal_fee();
2789     if ( $postal_pkg && !ref( $postal_pkg ) ) {
2790
2791       $dbh->rollback if $oldAutoCommit;
2792       return "can't charge postal invoice fee for customer ".
2793         $self->custnum. ": $postal_pkg";
2794
2795     } elsif ( $postal_pkg ) {
2796
2797       my $real_pkgpart = $postal_pkg->pkgpart;
2798       foreach my $part_pkg ( $postal_pkg->part_pkg->self_and_bill_linked ) {
2799         my %postal_options = %options;
2800         delete $postal_options{cancel};
2801         my $error =
2802           $self->_make_lines( 'part_pkg'            => $part_pkg,
2803                               'cust_pkg'            => $postal_pkg,
2804                               'precommit_hooks'     => \@precommit_hooks,
2805                               'line_items'          => \@cust_bill_pkg,
2806                               'setup'               => \$total_setup,
2807                               'recur'               => \$total_recur,
2808                               'tax_matrix'          => \%taxlisthash,
2809                               'time'                => $time,
2810                               'real_pkgpart'        => $real_pkgpart,
2811                               'options'             => \%postal_options,
2812                             );
2813         if ($error) {
2814           $dbh->rollback if $oldAutoCommit;
2815           return $error;
2816         }
2817       }
2818
2819     }
2820
2821   }
2822
2823   warn "having a look at the taxes we found...\n" if $DEBUG > 2;
2824
2825   # keys are tax names (as printed on invoices / itemdesc )
2826   # values are listrefs of taxlisthash keys (internal identifiers)
2827   my %taxname = ();
2828
2829   # keys are taxlisthash keys (internal identifiers)
2830   # values are (cumulative) amounts
2831   my %tax = ();
2832
2833   # keys are taxlisthash keys (internal identifiers)
2834   # values are listrefs of cust_bill_pkg_tax_location hashrefs
2835   my %tax_location = ();
2836
2837   # keys are taxlisthash keys (internal identifiers)
2838   # values are listrefs of cust_bill_pkg_tax_rate_location hashrefs
2839   my %tax_rate_location = ();
2840
2841   foreach my $tax ( keys %taxlisthash ) {
2842     my $tax_object = shift @{ $taxlisthash{$tax} };
2843     warn "found ". $tax_object->taxname. " as $tax\n" if $DEBUG > 2;
2844     warn " ". join('/', @{ $taxlisthash{$tax} } ). "\n" if $DEBUG > 2;
2845     my $hashref_or_error =
2846       $tax_object->taxline( $taxlisthash{$tax},
2847                             'custnum'      => $self->custnum,
2848                             'invoice_time' => $invoice_time
2849                           );
2850     unless ( ref($hashref_or_error) ) {
2851       $dbh->rollback if $oldAutoCommit;
2852       return $hashref_or_error;
2853     }
2854     unshift @{ $taxlisthash{$tax} }, $tax_object;
2855
2856     my $name   = $hashref_or_error->{'name'};
2857     my $amount = $hashref_or_error->{'amount'};
2858
2859     #warn "adding $amount as $name\n";
2860     $taxname{ $name } ||= [];
2861     push @{ $taxname{ $name } }, $tax;
2862
2863     $tax{ $tax } += $amount;
2864
2865     $tax_location{ $tax } ||= [];
2866     if ( $tax_object->get('pkgnum') || $tax_object->get('locationnum') ) {
2867       push @{ $tax_location{ $tax }  },
2868         {
2869           'taxnum'      => $tax_object->taxnum, 
2870           'taxtype'     => ref($tax_object),
2871           'pkgnum'      => $tax_object->get('pkgnum'),
2872           'locationnum' => $tax_object->get('locationnum'),
2873           'amount'      => sprintf('%.2f', $amount ),
2874         };
2875     }
2876
2877     $tax_rate_location{ $tax } ||= [];
2878     if ( ref($tax_object) eq 'FS::tax_rate' ) {
2879       my $taxratelocationnum =
2880         $tax_object->tax_rate_location->taxratelocationnum;
2881       push @{ $tax_rate_location{ $tax }  },
2882         {
2883           'taxnum'             => $tax_object->taxnum, 
2884           'taxtype'            => ref($tax_object),
2885           'amount'             => sprintf('%.2f', $amount ),
2886           'locationtaxid'      => $tax_object->location,
2887           'taxratelocationnum' => $taxratelocationnum,
2888         };
2889     }
2890
2891   }
2892
2893   #move the cust_tax_exempt_pkg records to the cust_bill_pkgs we will commit
2894   my %packagemap = map { $_->pkgnum => $_ } @cust_bill_pkg;
2895   foreach my $tax ( keys %taxlisthash ) {
2896     foreach ( @{ $taxlisthash{$tax} }[1 ... scalar(@{ $taxlisthash{$tax} })] ) {
2897       next unless ref($_) eq 'FS::cust_bill_pkg';
2898
2899       push @{ $packagemap{$_->pkgnum}->_cust_tax_exempt_pkg }, 
2900         splice( @{ $_->_cust_tax_exempt_pkg } );
2901     }
2902   }
2903
2904   #consolidate and create tax line items
2905   warn "consolidating and generating...\n" if $DEBUG > 2;
2906   foreach my $taxname ( keys %taxname ) {
2907     my $tax = 0;
2908     my %seen = ();
2909     my @cust_bill_pkg_tax_location = ();
2910     my @cust_bill_pkg_tax_rate_location = ();
2911     warn "adding $taxname\n" if $DEBUG > 1;
2912     foreach my $taxitem ( @{ $taxname{$taxname} } ) {
2913       next if $seen{$taxitem}++;
2914       warn "adding $tax{$taxitem}\n" if $DEBUG > 1;
2915       $tax += $tax{$taxitem};
2916       push @cust_bill_pkg_tax_location,
2917         map { new FS::cust_bill_pkg_tax_location $_ }
2918             @{ $tax_location{ $taxitem } };
2919       push @cust_bill_pkg_tax_rate_location,
2920         map { new FS::cust_bill_pkg_tax_rate_location $_ }
2921             @{ $tax_rate_location{ $taxitem } };
2922     }
2923     next unless $tax;
2924
2925     $tax = sprintf('%.2f', $tax );
2926     $total_setup = sprintf('%.2f', $total_setup+$tax );
2927   
2928     my $pkg_category = qsearchs( 'pkg_category', { 'categoryname' => $taxname,
2929                                                    'disabled'     => '',
2930                                                  },
2931                                );
2932
2933     my @display = ();
2934     if ( $pkg_category and
2935          $conf->config('invoice_latexsummary') ||
2936          $conf->config('invoice_htmlsummary')
2937        )
2938     {
2939
2940       my %hash = (  'section' => $pkg_category->categoryname );
2941       push @display, new FS::cust_bill_pkg_display { type => 'S', %hash };
2942
2943     }
2944
2945     push @cust_bill_pkg, new FS::cust_bill_pkg {
2946       'pkgnum'   => 0,
2947       'setup'    => $tax,
2948       'recur'    => 0,
2949       'sdate'    => '',
2950       'edate'    => '',
2951       'itemdesc' => $taxname,
2952       'display'  => \@display,
2953       'cust_bill_pkg_tax_location' => \@cust_bill_pkg_tax_location,
2954       'cust_bill_pkg_tax_rate_location' => \@cust_bill_pkg_tax_rate_location,
2955     };
2956
2957   }
2958
2959   #add tax adjustments
2960   warn "adding tax adjustments...\n" if $DEBUG > 2;
2961   foreach my $cust_tax_adjustment (
2962     qsearch('cust_tax_adjustment', { 'custnum'    => $self->custnum,
2963                                      'billpkgnum' => '',
2964                                    }
2965            )
2966   ) {
2967
2968     my $tax = sprintf('%.2f', $cust_tax_adjustment->amount );
2969     $total_setup = sprintf('%.2f', $total_setup+$tax );
2970
2971     my $itemdesc = $cust_tax_adjustment->taxname;
2972     $itemdesc = '' if $itemdesc eq 'Tax';
2973
2974     push @cust_bill_pkg, new FS::cust_bill_pkg {
2975       'pkgnum'      => 0,
2976       'setup'       => $tax,
2977       'recur'       => 0,
2978       'sdate'       => '',
2979       'edate'       => '',
2980       'itemdesc'    => $itemdesc,
2981       'itemcomment' => $cust_tax_adjustment->comment,
2982       'cust_tax_adjustment' => $cust_tax_adjustment,
2983       #'cust_bill_pkg_tax_location' => \@cust_bill_pkg_tax_location,
2984     };
2985
2986   }
2987
2988   my $charged = sprintf('%.2f', $total_setup + $total_recur );
2989
2990   my @cust_bill = $self->cust_bill;
2991   my $balance = $self->balance;
2992   my $previous_balance = scalar(@cust_bill)
2993                            ? ( $cust_bill[$#cust_bill]->billing_balance || 0 )
2994                            : 0;
2995
2996   $previous_balance += $cust_bill[$#cust_bill]->charged
2997     if scalar(@cust_bill);
2998   #my $balance_adjustments =
2999   #  sprintf('%.2f', $balance - $prior_prior_balance - $prior_charged);
3000
3001   #create the new invoice
3002   my $cust_bill = new FS::cust_bill ( {
3003     'custnum'             => $self->custnum,
3004     '_date'               => ( $invoice_time ),
3005     'charged'             => $charged,
3006     'billing_balance'     => $balance,
3007     'previous_balance'    => $previous_balance,
3008     'invoice_terms'       => $options{'invoice_terms'},
3009   } );
3010   $error = $cust_bill->insert;
3011   if ( $error ) {
3012     $dbh->rollback if $oldAutoCommit;
3013     return "can't create invoice for customer #". $self->custnum. ": $error";
3014   }
3015
3016   foreach my $cust_bill_pkg ( @cust_bill_pkg ) {
3017     $cust_bill_pkg->invnum($cust_bill->invnum); 
3018     my $error = $cust_bill_pkg->insert;
3019     if ( $error ) {
3020       $dbh->rollback if $oldAutoCommit;
3021       return "can't create invoice line item: $error";
3022     }
3023   }
3024     
3025
3026   foreach my $hook ( @precommit_hooks ) { 
3027     eval {
3028       &{$hook}; #($self) ?
3029     };
3030     if ( $@ ) {
3031       $dbh->rollback if $oldAutoCommit;
3032       return "$@ running precommit hook $hook\n";
3033     }
3034   }
3035   
3036   $dbh->commit or die $dbh->errstr if $oldAutoCommit;
3037   ''; #no error
3038 }
3039
3040
3041 sub _make_lines {
3042   my ($self, %params) = @_;
3043
3044   my $part_pkg = $params{part_pkg} or die "no part_pkg specified";
3045   my $cust_pkg = $params{cust_pkg} or die "no cust_pkg specified";
3046   my $precommit_hooks = $params{precommit_hooks} or die "no package specified";
3047   my $cust_bill_pkgs = $params{line_items} or die "no line buffer specified";
3048   my $total_setup = $params{setup} or die "no setup accumulator specified";
3049   my $total_recur = $params{recur} or die "no recur accumulator specified";
3050   my $taxlisthash = $params{tax_matrix} or die "no tax accumulator specified";
3051   my $time = $params{'time'} or die "no time specified";
3052   my (%options) = %{$params{options}};
3053
3054   my $dbh = dbh;
3055   my $real_pkgpart = $params{real_pkgpart};
3056   my %hash = $cust_pkg->hash;
3057   my $old_cust_pkg = new FS::cust_pkg \%hash;
3058
3059   my @details = ();
3060
3061   my $lineitems = 0;
3062
3063   $cust_pkg->pkgpart($part_pkg->pkgpart);
3064
3065   ###
3066   # bill setup
3067   ###
3068
3069   my $setup = 0;
3070   my $unitsetup = 0;
3071   if ( $options{'resetup'}
3072        || ( ! $cust_pkg->setup
3073             && ( ! $cust_pkg->start_date
3074                  || $cust_pkg->start_date <= $time
3075                )
3076             && ( ! $conf->exists('disable_setup_suspended_pkgs')
3077                  || ( $conf->exists('disable_setup_suspended_pkgs') &&
3078                       ! $cust_pkg->getfield('susp')
3079                     )
3080                )
3081           )
3082     )
3083   {
3084     
3085     warn "    bill setup\n" if $DEBUG > 1;
3086     $lineitems++;
3087
3088     $setup = eval { $cust_pkg->calc_setup( $time, \@details ) };
3089     return "$@ running calc_setup for $cust_pkg\n"
3090       if $@;
3091
3092     $unitsetup = $cust_pkg->part_pkg->unit_setup || $setup; #XXX uuh
3093
3094     $cust_pkg->setfield('setup', $time)
3095       unless $cust_pkg->setup;
3096           #do need it, but it won't get written to the db
3097           #|| $cust_pkg->pkgpart != $real_pkgpart;
3098
3099     $cust_pkg->setfield('start_date', '')
3100       if $cust_pkg->start_date;
3101
3102   }
3103
3104   ###
3105   # bill recurring fee
3106   ### 
3107
3108   #XXX unit stuff here too
3109   my $recur = 0;
3110   my $unitrecur = 0;
3111   my $sdate;
3112   if (     ! $cust_pkg->get('susp')
3113        and ! $cust_pkg->get('start_date')
3114        and ( $part_pkg->getfield('freq') ne '0'
3115              && ( $cust_pkg->getfield('bill') || 0 ) <= $time
3116            )
3117         || ( $part_pkg->plan eq 'voip_cdr'
3118               && $part_pkg->option('bill_every_call')
3119            )
3120         || ( $options{cancel} )
3121   ) {
3122
3123     # XXX should this be a package event?  probably.  events are called
3124     # at collection time at the moment, though...
3125     $part_pkg->reset_usage($cust_pkg, 'debug'=>$DEBUG)
3126       if $part_pkg->can('reset_usage');
3127       #don't want to reset usage just cause we want a line item??
3128       #&& $part_pkg->pkgpart == $real_pkgpart;
3129
3130     warn "    bill recur\n" if $DEBUG > 1;
3131     $lineitems++;
3132
3133     # XXX shared with $recur_prog
3134     $sdate = ( $options{cancel} ? $cust_pkg->last_bill : $cust_pkg->bill )
3135              || $cust_pkg->setup
3136              || $time;
3137
3138     #over two params!  lets at least switch to a hashref for the rest...
3139     my $increment_next_bill = ( $part_pkg->freq ne '0'
3140                                 && ( $cust_pkg->getfield('bill') || 0 ) <= $time
3141                                 && !$options{cancel}
3142                               );
3143     my %param = ( 'precommit_hooks'     => $precommit_hooks,
3144                   'increment_next_bill' => $increment_next_bill,
3145                 );
3146
3147     my $method = $options{cancel} ? 'calc_cancel' : 'calc_recur';
3148     $recur = eval { $cust_pkg->$method( \$sdate, \@details, \%param ) };
3149     return "$@ running $method for $cust_pkg\n"
3150       if ( $@ );
3151
3152     if ( $increment_next_bill ) {
3153
3154       my $next_bill = $part_pkg->add_freq($sdate);
3155       return "unparsable frequency: ". $part_pkg->freq
3156         if $next_bill == -1;
3157   
3158       #pro-rating magic - if $recur_prog fiddled $sdate, want to use that
3159       # only for figuring next bill date, nothing else, so, reset $sdate again
3160       # here
3161       $sdate = $cust_pkg->bill || $cust_pkg->setup || $time;
3162       #no need, its in $hash{last_bill}# my $last_bill = $cust_pkg->last_bill;
3163       $cust_pkg->last_bill($sdate);
3164
3165       $cust_pkg->setfield('bill', $next_bill );
3166
3167     }
3168
3169   }
3170
3171   warn "\$setup is undefined" unless defined($setup);
3172   warn "\$recur is undefined" unless defined($recur);
3173   warn "\$cust_pkg->bill is undefined" unless defined($cust_pkg->bill);
3174   
3175   ###
3176   # If there's line items, create em cust_bill_pkg records
3177   # If $cust_pkg has been modified, update it (if we're a real pkgpart)
3178   ###
3179
3180   if ( $lineitems ) {
3181
3182     if ( $cust_pkg->modified && $cust_pkg->pkgpart == $real_pkgpart ) {
3183       # hmm.. and if just the options are modified in some weird price plan?
3184   
3185       warn "  package ". $cust_pkg->pkgnum. " modified; updating\n"
3186         if $DEBUG >1;
3187   
3188       my $error = $cust_pkg->replace( $old_cust_pkg,
3189                                       'options' => { $cust_pkg->options },
3190                                     );
3191       return "Error modifying pkgnum ". $cust_pkg->pkgnum. ": $error"
3192         if $error; #just in case
3193     }
3194   
3195     $setup = sprintf( "%.2f", $setup );
3196     $recur = sprintf( "%.2f", $recur );
3197     if ( $setup < 0 && ! $conf->exists('allow_negative_charges') ) {
3198       return "negative setup $setup for pkgnum ". $cust_pkg->pkgnum;
3199     }
3200     if ( $recur < 0 && ! $conf->exists('allow_negative_charges') ) {
3201       return "negative recur $recur for pkgnum ". $cust_pkg->pkgnum;
3202     }
3203
3204     if ( $setup != 0 || $recur != 0 ) {
3205
3206       warn "    charges (setup=$setup, recur=$recur); adding line items\n"
3207         if $DEBUG > 1;
3208
3209       my @cust_pkg_detail = map { $_->detail } $cust_pkg->cust_pkg_detail('I');
3210       if ( $DEBUG > 1 ) {
3211         warn "      adding customer package invoice detail: $_\n"
3212           foreach @cust_pkg_detail;
3213       }
3214       push @details, @cust_pkg_detail;
3215
3216       my $cust_bill_pkg = new FS::cust_bill_pkg {
3217         'pkgnum'    => $cust_pkg->pkgnum,
3218         'setup'     => $setup,
3219         'unitsetup' => $unitsetup,
3220         'recur'     => $recur,
3221         'unitrecur' => $unitrecur,
3222         'quantity'  => $cust_pkg->quantity,
3223         'details'   => \@details,
3224         'hidden'    => $part_pkg->hidden,
3225       };
3226
3227       if ( $part_pkg->option('recur_temporality', 1) eq 'preceding' ) {
3228         $cust_bill_pkg->sdate( $hash{last_bill} );
3229         $cust_bill_pkg->edate( $sdate - 86399   ); #60s*60m*24h-1
3230         $cust_bill_pkg->edate( $time ) if $options{cancel};
3231       } else { #if ( $part_pkg->option('recur_temporality', 1) eq 'upcoming' ) {
3232         $cust_bill_pkg->sdate( $sdate );
3233         $cust_bill_pkg->edate( $cust_pkg->bill );
3234         #$cust_bill_pkg->edate( $time ) if $options{cancel};
3235       }
3236
3237       $cust_bill_pkg->pkgpart_override($part_pkg->pkgpart)
3238         unless $part_pkg->pkgpart == $real_pkgpart;
3239
3240       $$total_setup += $setup;
3241       $$total_recur += $recur;
3242
3243       ###
3244       # handle taxes
3245       ###
3246
3247       my $error = 
3248         $self->_handle_taxes($part_pkg, $taxlisthash, $cust_bill_pkg, $cust_pkg, $options{invoice_time}, $real_pkgpart, \%options);
3249       return $error if $error;
3250
3251       push @$cust_bill_pkgs, $cust_bill_pkg;
3252
3253     } #if $setup != 0 || $recur != 0
3254       
3255   } #if $line_items
3256
3257   '';
3258
3259 }
3260
3261 sub _handle_taxes {
3262   my $self = shift;
3263   my $part_pkg = shift;
3264   my $taxlisthash = shift;
3265   my $cust_bill_pkg = shift;
3266   my $cust_pkg = shift;
3267   my $invoice_time = shift;
3268   my $real_pkgpart = shift;
3269   my $options = shift;
3270
3271   my %cust_bill_pkg = ();
3272   my %taxes = ();
3273     
3274   my @classes;
3275   #push @classes, $cust_bill_pkg->usage_classes if $cust_bill_pkg->type eq 'U';
3276   push @classes, $cust_bill_pkg->usage_classes if $cust_bill_pkg->usage;
3277   push @classes, 'setup' if ($cust_bill_pkg->setup && !$options->{cancel});
3278   push @classes, 'recur' if ($cust_bill_pkg->recur && !$options->{cancel});
3279
3280   if ( $self->tax !~ /Y/i && $self->payby ne 'COMP' ) {
3281
3282     if ( $conf->exists('enable_taxproducts')
3283          && ( scalar($part_pkg->part_pkg_taxoverride)
3284               || $part_pkg->has_taxproduct
3285             )
3286        )
3287     {
3288
3289       if ( $conf->exists('tax-pkg_address') && $cust_pkg->locationnum ) {
3290         return "fatal: Can't (yet) use tax-pkg_address with taxproducts";
3291       }
3292
3293       foreach my $class (@classes) {
3294         my $err_or_ref = $self->_gather_taxes( $part_pkg, $class );
3295         return $err_or_ref unless ref($err_or_ref);
3296         $taxes{$class} = $err_or_ref;
3297       }
3298
3299       unless (exists $taxes{''}) {
3300         my $err_or_ref = $self->_gather_taxes( $part_pkg, '' );
3301         return $err_or_ref unless ref($err_or_ref);
3302         $taxes{''} = $err_or_ref;
3303       }
3304
3305     } else {
3306
3307       my @loc_keys = qw( state county country );
3308       my %taxhash;
3309       if ( $conf->exists('tax-pkg_address') && $cust_pkg->locationnum ) {
3310         my $cust_location = $cust_pkg->cust_location;
3311         %taxhash = map { $_ => $cust_location->$_()    } @loc_keys;
3312       } else {
3313         my $prefix = 
3314           ( $conf->exists('tax-ship_address') && length($self->ship_last) )
3315           ? 'ship_'
3316           : '';
3317         %taxhash = map { $_ => $self->get("$prefix$_") } @loc_keys;
3318       }
3319
3320       $taxhash{'taxclass'} = $part_pkg->taxclass;
3321
3322       my @taxes = qsearch( 'cust_main_county', \%taxhash );
3323
3324       my %taxhash_elim = %taxhash;
3325
3326       my @elim = qw( taxclass county state );
3327       while ( !scalar(@taxes) && scalar(@elim) ) {
3328         $taxhash_elim{ shift(@elim) } = '';
3329         @taxes = qsearch( 'cust_main_county', \%taxhash_elim );
3330       }
3331
3332       @taxes = grep { ! $_->taxname or ! $self->tax_exemption($_->taxname) }
3333                     @taxes
3334         if $self->cust_main_exemption; #just to be safe
3335
3336       if ( $conf->exists('tax-pkg_address') && $cust_pkg->locationnum ) {
3337         foreach (@taxes) {
3338           $_->set('pkgnum',      $cust_pkg->pkgnum );
3339           $_->set('locationnum', $cust_pkg->locationnum );
3340         }
3341       }
3342
3343       $taxes{''} = [ @taxes ];
3344       $taxes{'setup'} = [ @taxes ];
3345       $taxes{'recur'} = [ @taxes ];
3346       $taxes{$_} = [ @taxes ] foreach (@classes);
3347
3348       # # maybe eliminate this entirely, along with all the 0% records
3349       # unless ( @taxes ) {
3350       #   return
3351       #     "fatal: can't find tax rate for state/county/country/taxclass ".
3352       #     join('/', map $taxhash{$_}, qw(state county country taxclass) );
3353       # }
3354
3355     } #if $conf->exists('enable_taxproducts') ...
3356
3357   }
3358  
3359   my @display = ();
3360   my $separate = $conf->exists('separate_usage');
3361   my $usage_mandate = $cust_pkg->part_pkg->option('usage_mandate', 'Hush!');
3362   if ( $separate || $cust_bill_pkg->hidden || $usage_mandate ) {
3363
3364     my $temp_pkg = new FS::cust_pkg { pkgpart => $real_pkgpart };
3365     my %hash = $cust_bill_pkg->hidden  # maybe for all bill linked?
3366                ? (  'section' => $temp_pkg->part_pkg->categoryname )
3367                : ();
3368
3369     my $section = $cust_pkg->part_pkg->option('usage_section', 'Hush!');
3370     my $summary = $cust_pkg->part_pkg->option('summarize_usage', 'Hush!');
3371     if ( $separate ) {
3372       push @display, new FS::cust_bill_pkg_display { type => 'S', %hash };
3373       push @display, new FS::cust_bill_pkg_display { type => 'R', %hash };
3374     } else {
3375       push @display, new FS::cust_bill_pkg_display
3376                        { type => '',
3377                          %hash,
3378                          ( ( $usage_mandate ) ? ( 'summary' => 'Y' ) : () ),
3379                        };
3380     }
3381
3382     if ($separate && $section && $summary) {
3383       push @display, new FS::cust_bill_pkg_display { type    => 'U',
3384                                                      summary => 'Y',
3385                                                      %hash,
3386                                                    };
3387     }
3388     if ($usage_mandate || $section && $summary) {
3389       $hash{post_total} = 'Y';
3390     }
3391
3392     $hash{section} = $section if ($separate || $usage_mandate);
3393     push @display, new FS::cust_bill_pkg_display { type => 'U', %hash };
3394
3395   }
3396   $cust_bill_pkg->set('display', \@display);
3397
3398   my %tax_cust_bill_pkg = $cust_bill_pkg->disintegrate;
3399   foreach my $key (keys %tax_cust_bill_pkg) {
3400     my @taxes = @{ $taxes{$key} || [] };
3401     my $tax_cust_bill_pkg = $tax_cust_bill_pkg{$key};
3402
3403     my %localtaxlisthash = ();
3404     foreach my $tax ( @taxes ) {
3405
3406       my $taxname = ref( $tax ). ' '. $tax->taxnum;
3407 #      $taxname .= ' pkgnum'. $cust_pkg->pkgnum.
3408 #                  ' locationnum'. $cust_pkg->locationnum
3409 #        if $conf->exists('tax-pkg_address') && $cust_pkg->locationnum;
3410
3411       $taxlisthash->{ $taxname } ||= [ $tax ];
3412       push @{ $taxlisthash->{ $taxname  } }, $tax_cust_bill_pkg;
3413
3414       $localtaxlisthash{ $taxname } ||= [ $tax ];
3415       push @{ $localtaxlisthash{ $taxname  } }, $tax_cust_bill_pkg;
3416
3417     }
3418
3419     warn "finding taxed taxes...\n" if $DEBUG > 2;
3420     foreach my $tax ( keys %localtaxlisthash ) {
3421       my $tax_object = shift @{ $localtaxlisthash{$tax} };
3422       warn "found possible taxed tax ". $tax_object->taxname. " we call $tax\n"
3423         if $DEBUG > 2;
3424       next unless $tax_object->can('tax_on_tax');
3425
3426       foreach my $tot ( $tax_object->tax_on_tax( $self ) ) {
3427         my $totname = ref( $tot ). ' '. $tot->taxnum;
3428
3429         warn "checking $totname which we call ". $tot->taxname. " as applicable\n"
3430           if $DEBUG > 2;
3431         next unless exists( $localtaxlisthash{ $totname } ); # only increase
3432                                                              # existing taxes
3433         warn "adding $totname to taxed taxes\n" if $DEBUG > 2;
3434         my $hashref_or_error = 
3435           $tax_object->taxline( $localtaxlisthash{$tax},
3436                                 'custnum'      => $self->custnum,
3437                                 'invoice_time' => $invoice_time,
3438                               );
3439         return $hashref_or_error
3440           unless ref($hashref_or_error);
3441         
3442         $taxlisthash->{ $totname } ||= [ $tot ];
3443         push @{ $taxlisthash->{ $totname  } }, $hashref_or_error->{amount};
3444
3445       }
3446     }
3447
3448   }
3449
3450   '';
3451 }
3452
3453 sub _gather_taxes {
3454   my $self = shift;
3455   my $part_pkg = shift;
3456   my $class = shift;
3457
3458   my @taxes = ();
3459   my $geocode = $self->geocode('cch');
3460
3461   my @taxclassnums = map { $_->taxclassnum }
3462                      $part_pkg->part_pkg_taxoverride($class);
3463
3464   unless (@taxclassnums) {
3465     @taxclassnums = map { $_->taxclassnum }
3466                     grep { $_->taxable eq 'Y' }
3467                     $part_pkg->part_pkg_taxrate('cch', $geocode, $class);
3468   }
3469   warn "Found taxclassnum values of ". join(',', @taxclassnums)
3470     if $DEBUG;
3471
3472   my $extra_sql =
3473     "AND (".
3474     join(' OR ', map { "taxclassnum = $_" } @taxclassnums ). ")";
3475
3476   @taxes = qsearch({ 'table' => 'tax_rate',
3477                      'hashref' => { 'geocode' => $geocode, },
3478                      'extra_sql' => $extra_sql,
3479                   })
3480     if scalar(@taxclassnums);
3481
3482   warn "Found taxes ".
3483        join(',', map{ ref($_). " ". $_->get($_->primary_key) } @taxes). "\n" 
3484    if $DEBUG;
3485
3486   [ @taxes ];
3487
3488 }
3489
3490 =item collect [ HASHREF | OPTION => VALUE ... ]
3491
3492 (Attempt to) collect money for this customer's outstanding invoices (see
3493 L<FS::cust_bill>).  Usually used after the bill method.
3494
3495 Actions are now triggered by billing events; see L<FS::part_event> and the
3496 billing events web interface.  Old-style invoice events (see
3497 L<FS::part_bill_event>) have been deprecated.
3498
3499 If there is an error, returns the error, otherwise returns false.
3500
3501 Options are passed as name-value pairs.
3502
3503 Currently available options are:
3504
3505 =over 4
3506
3507 =item invoice_time
3508
3509 Use this time when deciding when to print invoices and late notices on those invoices.  The default is now.  It is specified as a UNIX timestamp; see L<perlfunc/"time">).  Also see L<Time::Local> and L<Date::Parse> for conversion functions.
3510
3511 =item retry
3512
3513 Retry card/echeck/LEC transactions even when not scheduled by invoice events.
3514
3515 =item check_freq
3516
3517 "1d" for the traditional, daily events (the default), or "1m" for the new monthly events (part_event.check_freq)
3518
3519 =item quiet
3520
3521 set true to surpress email card/ACH decline notices.
3522
3523 =item debug
3524
3525 Debugging level.  Default is 0 (no debugging), or can be set to 1 (passed-in options), 2 (traces progress), 3 (more information), or 4 (include full search queries)
3526
3527 =back
3528
3529 # =item payby
3530 #
3531 # allows for one time override of normal customer billing method
3532
3533 =cut
3534
3535 sub collect {
3536   my( $self, %options ) = @_;
3537   my $invoice_time = $options{'invoice_time'} || time;
3538
3539   #put below somehow?
3540   local $SIG{HUP} = 'IGNORE';
3541   local $SIG{INT} = 'IGNORE';
3542   local $SIG{QUIT} = 'IGNORE';
3543   local $SIG{TERM} = 'IGNORE';
3544   local $SIG{TSTP} = 'IGNORE';
3545   local $SIG{PIPE} = 'IGNORE';
3546
3547   my $oldAutoCommit = $FS::UID::AutoCommit;
3548   local $FS::UID::AutoCommit = 0;
3549   my $dbh = dbh;
3550
3551   $self->select_for_update; #mutex
3552
3553   if ( $DEBUG ) {
3554     my $balance = $self->balance;
3555     warn "$me collect customer ". $self->custnum. ": balance $balance\n"
3556   }
3557
3558   if ( exists($options{'retry_card'}) ) {
3559     carp 'retry_card option passed to collect is deprecated; use retry';
3560     $options{'retry'} ||= $options{'retry_card'};
3561   }
3562   if ( exists($options{'retry'}) && $options{'retry'} ) {
3563     my $error = $self->retry_realtime;
3564     if ( $error ) {
3565       $dbh->rollback if $oldAutoCommit;
3566       return $error;
3567     }
3568   }
3569
3570   $dbh->commit or die $dbh->errstr if $oldAutoCommit;
3571
3572   #never want to roll back an event just because it returned an error
3573   local $FS::UID::AutoCommit = 1; #$oldAutoCommit;
3574
3575   $self->do_cust_event(
3576     'debug'      => ( $options{'debug'} || 0 ),
3577     'time'       => $invoice_time,
3578     'check_freq' => $options{'check_freq'},
3579     'stage'      => 'collect',
3580   );
3581
3582 }
3583
3584 =item do_cust_event [ HASHREF | OPTION => VALUE ... ]
3585
3586 Runs billing events; see L<FS::part_event> and the billing events web
3587 interface.
3588
3589 If there is an error, returns the error, otherwise returns false.
3590
3591 Options are passed as name-value pairs.
3592
3593 Currently available options are:
3594
3595 =over 4
3596
3597 =item time
3598
3599 Use this time when deciding when to print invoices and late notices on those invoices.  The default is now.  It is specified as a UNIX timestamp; see L<perlfunc/"time">).  Also see L<Time::Local> and L<Date::Parse> for conversion functions.
3600
3601 =item check_freq
3602
3603 "1d" for the traditional, daily events (the default), or "1m" for the new monthly events (part_event.check_freq)
3604
3605 =item stage
3606
3607 "collect" (the default) or "pre-bill"
3608
3609 =item quiet
3610  
3611 set true to surpress email card/ACH decline notices.
3612
3613 =item debug
3614
3615 Debugging level.  Default is 0 (no debugging), or can be set to 1 (passed-in options), 2 (traces progress), 3 (more information), or 4 (include full search queries)
3616
3617 =cut
3618
3619 # =item payby
3620 #
3621 # allows for one time override of normal customer billing method
3622
3623 # =item retry
3624 #
3625 # Retry card/echeck/LEC transactions even when not scheduled by invoice events.
3626
3627 sub do_cust_event {
3628   my( $self, %options ) = @_;
3629   my $time = $options{'time'} || time;
3630
3631   #put below somehow?
3632   local $SIG{HUP} = 'IGNORE';
3633   local $SIG{INT} = 'IGNORE';
3634   local $SIG{QUIT} = 'IGNORE';
3635   local $SIG{TERM} = 'IGNORE';
3636   local $SIG{TSTP} = 'IGNORE';
3637   local $SIG{PIPE} = 'IGNORE';
3638
3639   my $oldAutoCommit = $FS::UID::AutoCommit;
3640   local $FS::UID::AutoCommit = 0;
3641   my $dbh = dbh;
3642
3643   $self->select_for_update; #mutex
3644
3645   if ( $DEBUG ) {
3646     my $balance = $self->balance;
3647     warn "$me do_cust_event customer ". $self->custnum. ": balance $balance\n"
3648   }
3649
3650 #  if ( exists($options{'retry_card'}) ) {
3651 #    carp 'retry_card option passed to collect is deprecated; use retry';
3652 #    $options{'retry'} ||= $options{'retry_card'};
3653 #  }
3654 #  if ( exists($options{'retry'}) && $options{'retry'} ) {
3655 #    my $error = $self->retry_realtime;
3656 #    if ( $error ) {
3657 #      $dbh->rollback if $oldAutoCommit;
3658 #      return $error;
3659 #    }
3660 #  }
3661
3662   # false laziness w/pay_batch::import_results
3663
3664   my $due_cust_event = $self->due_cust_event(
3665     'debug'      => ( $options{'debug'} || 0 ),
3666     'time'       => $time,
3667     'check_freq' => $options{'check_freq'},
3668     'stage'      => ( $options{'stage'} || 'collect' ),
3669   );
3670   unless( ref($due_cust_event) ) {
3671     $dbh->rollback if $oldAutoCommit;
3672     return $due_cust_event;
3673   }
3674
3675   $dbh->commit or die $dbh->errstr if $oldAutoCommit;
3676   #never want to roll back an event just because it or a different one
3677   # returned an error
3678   local $FS::UID::AutoCommit = 1; #$oldAutoCommit;
3679
3680   foreach my $cust_event ( @$due_cust_event ) {
3681
3682     #XXX lock event
3683     
3684     #re-eval event conditions (a previous event could have changed things)
3685     unless ( $cust_event->test_conditions( 'time' => $time ) ) {
3686       #don't leave stray "new/locked" records around
3687       my $error = $cust_event->delete;
3688       return $error if $error;
3689       next;
3690     }
3691
3692     {
3693       local $realtime_bop_decline_quiet = 1 if $options{'quiet'};
3694       warn "  running cust_event ". $cust_event->eventnum. "\n"
3695         if $DEBUG > 1;
3696
3697       #if ( my $error = $cust_event->do_event(%options) ) { #XXX %options?
3698       if ( my $error = $cust_event->do_event() ) {
3699         #XXX wtf is this?  figure out a proper dealio with return value
3700         #from do_event
3701         return $error;
3702       }
3703     }
3704
3705   }
3706
3707   '';
3708
3709 }
3710
3711 =item due_cust_event [ HASHREF | OPTION => VALUE ... ]
3712
3713 Inserts database records for and returns an ordered listref of new events due
3714 for this customer, as FS::cust_event objects (see L<FS::cust_event>).  If no
3715 events are due, an empty listref is returned.  If there is an error, returns a
3716 scalar error message.
3717
3718 To actually run the events, call each event's test_condition method, and if
3719 still true, call the event's do_event method.
3720
3721 Options are passed as a hashref or as a list of name-value pairs.  Available
3722 options are:
3723
3724 =over 4
3725
3726 =item check_freq
3727
3728 Search only for events of this check frequency (how often events of this type are checked); currently "1d" (daily, the default) and "1m" (monthly) are recognized.
3729
3730 =item stage
3731
3732 "collect" (the default) or "pre-bill"
3733
3734 =item time
3735
3736 "Current time" for the events.
3737
3738 =item debug
3739
3740 Debugging level.  Default is 0 (no debugging), or can be set to 1 (passed-in options), 2 (traces progress), 3 (more information), or 4 (include full search queries)
3741
3742 =item eventtable
3743
3744 Only return events for the specified eventtable (by default, events of all eventtables are returned)
3745
3746 =item objects
3747
3748 Explicitly pass the objects to be tested (typically used with eventtable).
3749
3750 =item testonly
3751
3752 Set to true to return the objects, but not actually insert them into the
3753 database.
3754
3755 =back
3756
3757 =cut
3758
3759 sub due_cust_event {
3760   my $self = shift;
3761   my %opt = ref($_[0]) ? %{ $_[0] } : @_;
3762
3763   #???
3764   #my $DEBUG = $opt{'debug'}
3765   local($DEBUG) = $opt{'debug'}
3766     if defined($opt{'debug'}) && $opt{'debug'} > $DEBUG;
3767
3768   warn "$me due_cust_event called with options ".
3769        join(', ', map { "$_: $opt{$_}" } keys %opt). "\n"
3770     if $DEBUG;
3771
3772   $opt{'time'} ||= time;
3773
3774   local $SIG{HUP} = 'IGNORE';
3775   local $SIG{INT} = 'IGNORE';
3776   local $SIG{QUIT} = 'IGNORE';
3777   local $SIG{TERM} = 'IGNORE';
3778   local $SIG{TSTP} = 'IGNORE';
3779   local $SIG{PIPE} = 'IGNORE';
3780
3781   my $oldAutoCommit = $FS::UID::AutoCommit;
3782   local $FS::UID::AutoCommit = 0;
3783   my $dbh = dbh;
3784
3785   $self->select_for_update #mutex
3786     unless $opt{testonly};
3787
3788   ###
3789   # find possible events (initial search)
3790   ###
3791   
3792   my @cust_event = ();
3793
3794   my @eventtable = $opt{'eventtable'}
3795                      ? ( $opt{'eventtable'} )
3796                      : FS::part_event->eventtables_runorder;
3797
3798   foreach my $eventtable ( @eventtable ) {
3799
3800     my @objects;
3801     if ( $opt{'objects'} ) {
3802
3803       @objects = @{ $opt{'objects'} };
3804
3805     } else {
3806
3807       #my @objects = $self->eventtable(); # sub cust_main { @{ [ $self ] }; }
3808       @objects = ( $eventtable eq 'cust_main' )
3809                    ? ( $self )
3810                    : ( $self->$eventtable() );
3811
3812     }
3813
3814     my @e_cust_event = ();
3815
3816     my $cross = "CROSS JOIN $eventtable";
3817     $cross .= ' LEFT JOIN cust_main USING ( custnum )'
3818       unless $eventtable eq 'cust_main';
3819
3820     foreach my $object ( @objects ) {
3821
3822       #this first search uses the condition_sql magic for optimization.
3823       #the more possible events we can eliminate in this step the better
3824
3825       my $cross_where = '';
3826       my $pkey = $object->primary_key;
3827       $cross_where = "$eventtable.$pkey = ". $object->$pkey();
3828
3829       my $join = FS::part_event_condition->join_conditions_sql( $eventtable );
3830       my $extra_sql =
3831         FS::part_event_condition->where_conditions_sql( $eventtable,
3832                                                         'time'=>$opt{'time'}
3833                                                       );
3834       my $order = FS::part_event_condition->order_conditions_sql( $eventtable );
3835
3836       $extra_sql = "AND $extra_sql" if $extra_sql;
3837
3838       #here is the agent virtualization
3839       $extra_sql .= " AND (    part_event.agentnum IS NULL
3840                             OR part_event.agentnum = ". $self->agentnum. ' )';
3841
3842       $extra_sql .= " $order";
3843
3844       warn "searching for events for $eventtable ". $object->$pkey. "\n"
3845         if $opt{'debug'} > 2;
3846       my @part_event = qsearch( {
3847         'debug'     => ( $opt{'debug'} > 3 ? 1 : 0 ),
3848         'select'    => 'part_event.*',
3849         'table'     => 'part_event',
3850         'addl_from' => "$cross $join",
3851         'hashref'   => { 'check_freq' => ( $opt{'check_freq'} || '1d' ),
3852                          'eventtable' => $eventtable,
3853                          'disabled'   => '',
3854                        },
3855         'extra_sql' => "AND $cross_where $extra_sql",
3856       } );
3857
3858       if ( $DEBUG > 2 ) {
3859         my $pkey = $object->primary_key;
3860         warn "      ". scalar(@part_event).
3861              " possible events found for $eventtable ". $object->$pkey(). "\n";
3862       }
3863
3864       push @e_cust_event, map { $_->new_cust_event($object) } @part_event;
3865
3866     }
3867
3868     warn "    ". scalar(@e_cust_event).
3869          " subtotal possible cust events found for $eventtable\n"
3870       if $DEBUG > 1;
3871
3872     push @cust_event, @e_cust_event;
3873
3874   }
3875
3876   warn "  ". scalar(@cust_event).
3877        " total possible cust events found in initial search\n"
3878     if $DEBUG; # > 1;
3879
3880
3881   ##
3882   # test stage
3883   ##
3884
3885   $opt{stage} ||= 'collect';
3886   @cust_event =
3887     grep { my $stage = $_->part_event->event_stage;
3888            $opt{stage} eq $stage or ( ! $stage && $opt{stage} eq 'collect' )
3889          }
3890          @cust_event;
3891
3892   ##
3893   # test conditions
3894   ##
3895   
3896   my %unsat = ();
3897
3898   @cust_event = grep $_->test_conditions( 'time'          => $opt{'time'},
3899                                           'stats_hashref' => \%unsat ),
3900                      @cust_event;
3901
3902   warn "  ". scalar(@cust_event). " cust events left satisfying conditions\n"
3903     if $DEBUG; # > 1;
3904
3905   warn "    invalid conditions not eliminated with condition_sql:\n".
3906        join('', map "      $_: ".$unsat{$_}."\n", keys %unsat )
3907     if keys %unsat && $DEBUG; # > 1;
3908
3909   ##
3910   # insert
3911   ##
3912
3913   unless( $opt{testonly} ) {
3914     foreach my $cust_event ( @cust_event ) {
3915
3916       my $error = $cust_event->insert();
3917       if ( $error ) {
3918         $dbh->rollback if $oldAutoCommit;
3919         return $error;
3920       }
3921                                        
3922     }
3923   }
3924
3925   $dbh->commit or die $dbh->errstr if $oldAutoCommit;
3926
3927   ##
3928   # return
3929   ##
3930
3931   warn "  returning events: ". Dumper(@cust_event). "\n"
3932     if $DEBUG > 2;
3933
3934   \@cust_event;
3935
3936 }
3937
3938 =item retry_realtime
3939
3940 Schedules realtime / batch  credit card / electronic check / LEC billing
3941 events for for retry.  Useful if card information has changed or manual
3942 retry is desired.  The 'collect' method must be called to actually retry
3943 the transaction.
3944
3945 Implementation details: For either this customer, or for each of this
3946 customer's open invoices, changes the status of the first "done" (with
3947 statustext error) realtime processing event to "failed".
3948
3949 =cut
3950
3951 sub retry_realtime {
3952   my $self = shift;
3953
3954   local $SIG{HUP} = 'IGNORE';
3955   local $SIG{INT} = 'IGNORE';
3956   local $SIG{QUIT} = 'IGNORE';
3957   local $SIG{TERM} = 'IGNORE';
3958   local $SIG{TSTP} = 'IGNORE';
3959   local $SIG{PIPE} = 'IGNORE';
3960
3961   my $oldAutoCommit = $FS::UID::AutoCommit;
3962   local $FS::UID::AutoCommit = 0;
3963   my $dbh = dbh;
3964
3965   #a little false laziness w/due_cust_event (not too bad, really)
3966
3967   my $join = FS::part_event_condition->join_conditions_sql;
3968   my $order = FS::part_event_condition->order_conditions_sql;
3969   my $mine = 
3970   '( '
3971    . join ( ' OR ' , map { 
3972     "( part_event.eventtable = " . dbh->quote($_) 
3973     . " AND tablenum IN( SELECT " . dbdef->table($_)->primary_key . " from $_ where custnum = " . dbh->quote( $self->custnum ) . "))" ;
3974    } FS::part_event->eventtables)
3975    . ') ';
3976
3977   #here is the agent virtualization
3978   my $agent_virt = " (    part_event.agentnum IS NULL
3979                        OR part_event.agentnum = ". $self->agentnum. ' )';
3980
3981   #XXX this shouldn't be hardcoded, actions should declare it...
3982   my @realtime_events = qw(
3983     cust_bill_realtime_card
3984     cust_bill_realtime_check
3985     cust_bill_realtime_lec
3986     cust_bill_batch
3987   );
3988
3989   my $is_realtime_event = ' ( '. join(' OR ', map "part_event.action = '$_'",
3990                                                   @realtime_events
3991                                      ).
3992                           ' ) ';
3993
3994   my @cust_event = qsearchs({
3995     'table'     => 'cust_event',
3996     'select'    => 'cust_event.*',
3997     'addl_from' => "LEFT JOIN part_event USING ( eventpart ) $join",
3998     'hashref'   => { 'status' => 'done' },
3999     'extra_sql' => " AND statustext IS NOT NULL AND statustext != '' ".
4000                    " AND $mine AND $is_realtime_event AND $agent_virt $order" # LIMIT 1"
4001   });
4002
4003   my %seen_invnum = ();
4004   foreach my $cust_event (@cust_event) {
4005
4006     #max one for the customer, one for each open invoice
4007     my $cust_X = $cust_event->cust_X;
4008     next if $seen_invnum{ $cust_event->part_event->eventtable eq 'cust_bill'
4009                           ? $cust_X->invnum
4010                           : 0
4011                         }++
4012          or $cust_event->part_event->eventtable eq 'cust_bill'
4013             && ! $cust_X->owed;
4014
4015     my $error = $cust_event->retry;
4016     if ( $error ) {
4017       $dbh->rollback if $oldAutoCommit;
4018       return "error scheduling event for retry: $error";
4019     }
4020
4021   }
4022
4023   $dbh->commit or die $dbh->errstr if $oldAutoCommit;
4024   '';
4025
4026 }
4027
4028 # some horrid false laziness here to avoid refactor fallout
4029 # eventually realtime realtime_bop and realtime_refund_bop should go
4030 # away and be replaced by _new_realtime_bop and _new_realtime_refund_bop
4031
4032 =item realtime_bop METHOD AMOUNT [ OPTION => VALUE ... ]
4033
4034 Runs a realtime credit card, ACH (electronic check) or phone bill transaction
4035 via a Business::OnlinePayment realtime gateway.  See
4036 L<http://420.am/business-onlinepayment> for supported gateways.
4037
4038 Available methods are: I<CC>, I<ECHECK> and I<LEC>
4039
4040 Available options are: I<description>, I<invnum>, I<quiet>, I<paynum_ref>, I<payunique>
4041
4042 The additional options I<payname>, I<address1>, I<address2>, I<city>, I<state>,
4043 I<zip>, I<payinfo> and I<paydate> are also available.  Any of these options,
4044 if set, will override the value from the customer record.
4045
4046 I<description> is a free-text field passed to the gateway.  It defaults to
4047 the value defined by the business-onlinepayment-description configuration
4048 option, or "Internet services" if that is unset.
4049
4050 If an I<invnum> is specified, this payment (if successful) is applied to the
4051 specified invoice.  If you don't specify an I<invnum> you might want to
4052 call the B<apply_payments> method or set the I<apply> option.
4053
4054 I<apply> can be set to true to apply a resulting payment.
4055
4056 I<quiet> can be set true to surpress email decline notices.
4057
4058 I<paynum_ref> can be set to a scalar reference.  It will be filled in with the
4059 resulting paynum, if any.
4060
4061 I<payunique> is a unique identifier for this payment.
4062
4063 (moved from cust_bill) (probably should get realtime_{card,ach,lec} here too)
4064
4065 =cut
4066
4067 sub realtime_bop {
4068   my $self = shift;
4069
4070   return $self->_new_realtime_bop(@_)
4071     if $self->_new_bop_required();
4072
4073   my($method, $amount);
4074   my %options = ();
4075   if (ref($_[0]) eq 'HASH') {
4076     %options = %{$_[0]};
4077     $method = $options{method};
4078     $amount = $options{amount};
4079   } else {
4080     ( $method, $amount ) = ( shift, shift );
4081     %options = @_;
4082   }
4083   if ( $DEBUG ) {
4084     warn "$me realtime_bop: $method $amount\n";
4085     warn "  $_ => $options{$_}\n" foreach keys %options;
4086   }
4087
4088   return "Amount must be greater than 0" unless $amount > 0;
4089
4090   unless ( $options{'description'} ) {
4091     if ( $conf->exists('business-onlinepayment-description') ) {
4092       my $dtempl = $conf->config('business-onlinepayment-description');
4093
4094       my $agent = $self->agent->agent;
4095       #$pkgs... not here
4096       $options{'description'} = eval qq("$dtempl");
4097     } else {
4098       $options{'description'} = 'Internet services';
4099     }
4100   }
4101
4102   return $self->fake_bop($method, $amount, %options) if $options{'fake'};
4103
4104   eval "use Business::OnlinePayment";  
4105   die $@ if $@;
4106
4107   my $payinfo = exists($options{'payinfo'})
4108                   ? $options{'payinfo'}
4109                   : $self->payinfo;
4110
4111   my %method2payby = (
4112     'CC'     => 'CARD',
4113     'ECHECK' => 'CHEK',
4114     'LEC'    => 'LECB',
4115   );
4116
4117   ###
4118   # check for banned credit card/ACH
4119   ###
4120
4121   my $ban = qsearchs('banned_pay', {
4122     'payby'   => $method2payby{$method},
4123     'payinfo' => md5_base64($payinfo),
4124   } );
4125   return "Banned credit card" if $ban;
4126
4127   ###
4128   # set taxclass and trans_is_recur based on invnum if there is one
4129   ###
4130
4131   my $taxclass = '';
4132   my $trans_is_recur = 0;
4133   if ( $options{'invnum'} ) {
4134
4135     my $cust_bill = qsearchs('cust_bill', { 'invnum' => $options{'invnum'} } );
4136     die "invnum ". $options{'invnum'}. " not found" unless $cust_bill;
4137
4138     my @part_pkg =
4139       map  { $_->part_pkg }
4140       grep { $_ }
4141       map  { $_->cust_pkg }
4142       $cust_bill->cust_bill_pkg;
4143
4144     my @taxclasses = map $_->taxclass, @part_pkg;
4145     $taxclass = $taxclasses[0]
4146       unless grep { $taxclasses[0] ne $_ } @taxclasses; #unless there are
4147                                                         #different taxclasses
4148     $trans_is_recur = 1
4149       if grep { $_->freq ne '0' } @part_pkg;
4150
4151   }
4152
4153   ###
4154   # select a gateway
4155   ###
4156
4157   #look for an agent gateway override first
4158   my $cardtype;
4159   if ( $method eq 'CC' ) {
4160     $cardtype = cardtype($payinfo);
4161   } elsif ( $method eq 'ECHECK' ) {
4162     $cardtype = 'ACH';
4163   } else {
4164     $cardtype = $method;
4165   }
4166
4167   my $override =
4168        qsearchs('agent_payment_gateway', { agentnum => $self->agentnum,
4169                                            cardtype => $cardtype,
4170                                            taxclass => $taxclass,       } )
4171     || qsearchs('agent_payment_gateway', { agentnum => $self->agentnum,
4172                                            cardtype => '',
4173                                            taxclass => $taxclass,       } )
4174     || qsearchs('agent_payment_gateway', { agentnum => $self->agentnum,
4175                                            cardtype => $cardtype,
4176                                            taxclass => '',              } )
4177     || qsearchs('agent_payment_gateway', { agentnum => $self->agentnum,
4178                                            cardtype => '',
4179                                            taxclass => '',              } );
4180
4181   my $payment_gateway = '';
4182   my( $processor, $login, $password, $action, @bop_options );
4183   if ( $override ) { #use a payment gateway override
4184
4185     $payment_gateway = $override->payment_gateway;
4186
4187     $processor   = $payment_gateway->gateway_module;
4188     $login       = $payment_gateway->gateway_username;
4189     $password    = $payment_gateway->gateway_password;
4190     $action      = $payment_gateway->gateway_action;
4191     @bop_options = $payment_gateway->options;
4192
4193   } else { #use the standard settings from the config
4194
4195     ( $processor, $login, $password, $action, @bop_options ) =
4196       $self->default_payment_gateway($method);
4197
4198   }
4199
4200   ###
4201   # massage data
4202   ###
4203
4204   my $address = exists($options{'address1'})
4205                     ? $options{'address1'}
4206                     : $self->address1;
4207   my $address2 = exists($options{'address2'})
4208                     ? $options{'address2'}
4209                     : $self->address2;
4210   $address .= ", ". $address2 if length($address2);
4211
4212   my $o_payname = exists($options{'payname'})
4213                     ? $options{'payname'}
4214                     : $self->payname;
4215   my($payname, $payfirst, $paylast);
4216   if ( $o_payname && $method ne 'ECHECK' ) {
4217     ($payname = $o_payname) =~ /^\s*([\w \,\.\-\']*)?\s+([\w\,\.\-\']+)\s*$/
4218       or return "Illegal payname $payname";
4219     ($payfirst, $paylast) = ($1, $2);
4220   } else {
4221     $payfirst = $self->getfield('first');
4222     $paylast = $self->getfield('last');
4223     $payname =  "$payfirst $paylast";
4224   }
4225
4226   my @invoicing_list = $self->invoicing_list_emailonly;
4227   if ( $conf->exists('emailinvoiceautoalways')
4228        || $conf->exists('emailinvoiceauto') && ! @invoicing_list
4229        || ( $conf->exists('emailinvoiceonly') && ! @invoicing_list ) ) {
4230     push @invoicing_list, $self->all_emails;
4231   }
4232
4233   my $email = ($conf->exists('business-onlinepayment-email-override'))
4234               ? $conf->config('business-onlinepayment-email-override')
4235               : $invoicing_list[0];
4236
4237   my %content = ();
4238
4239   my $payip = exists($options{'payip'})
4240                 ? $options{'payip'}
4241                 : $self->payip;
4242   $content{customer_ip} = $payip
4243     if length($payip);
4244
4245   $content{invoice_number} = $options{'invnum'}
4246     if exists($options{'invnum'}) && length($options{'invnum'});
4247
4248   $content{email_customer} = 
4249     (    $conf->exists('business-onlinepayment-email_customer')
4250       || $conf->exists('business-onlinepayment-email-override') );
4251       
4252   my $paydate = '';
4253   if ( $method eq 'CC' ) { 
4254
4255     $content{card_number} = $payinfo;
4256     $paydate = exists($options{'paydate'})
4257                     ? $options{'paydate'}
4258                     : $self->paydate;
4259     $paydate =~ /^\d{2}(\d{2})[\/\-](\d+)[\/\-]\d+$/;
4260     $content{expiration} = "$2/$1";
4261
4262     my $paycvv = exists($options{'paycvv'})
4263                    ? $options{'paycvv'}
4264                    : $self->paycvv;
4265     $content{cvv2} = $paycvv
4266       if length($paycvv);
4267
4268     my $paystart_month = exists($options{'paystart_month'})
4269                            ? $options{'paystart_month'}
4270                            : $self->paystart_month;
4271
4272     my $paystart_year  = exists($options{'paystart_year'})
4273                            ? $options{'paystart_year'}
4274                            : $self->paystart_year;
4275
4276     $content{card_start} = "$paystart_month/$paystart_year"
4277       if $paystart_month && $paystart_year;
4278
4279     my $payissue       = exists($options{'payissue'})
4280                            ? $options{'payissue'}
4281                            : $self->payissue;
4282     $content{issue_number} = $payissue if $payissue;
4283
4284     if ( $self->_bop_recurring_billing( 'payinfo'        => $payinfo,
4285                                         'trans_is_recur' => $trans_is_recur,
4286                                       )
4287        )
4288     {
4289       $content{recurring_billing} = 'YES';
4290       $content{acct_code} = 'rebill'
4291         if $conf->exists('credit_card-recurring_billing_acct_code');
4292     }
4293
4294   } elsif ( $method eq 'ECHECK' ) {
4295     ( $content{account_number}, $content{routing_code} ) =
4296       split('@', $payinfo);
4297     $content{bank_name} = $o_payname;
4298     $content{bank_state} = exists($options{'paystate'})
4299                              ? $options{'paystate'}
4300                              : $self->getfield('paystate');
4301     $content{account_type} = exists($options{'paytype'})
4302                                ? uc($options{'paytype'}) || 'CHECKING'
4303                                : uc($self->getfield('paytype')) || 'CHECKING';
4304     $content{account_name} = $payname;
4305     $content{customer_org} = $self->company ? 'B' : 'I';
4306     $content{state_id}       = exists($options{'stateid'})
4307                                  ? $options{'stateid'}
4308                                  : $self->getfield('stateid');
4309     $content{state_id_state} = exists($options{'stateid_state'})
4310                                  ? $options{'stateid_state'}
4311                                  : $self->getfield('stateid_state');
4312     $content{customer_ssn} = exists($options{'ss'})
4313                                ? $options{'ss'}
4314                                : $self->ss;
4315   } elsif ( $method eq 'LEC' ) {
4316     $content{phone} = $payinfo;
4317   }
4318
4319   ###
4320   # run transaction(s)
4321   ###
4322
4323   my $balance = exists( $options{'balance'} )
4324                   ? $options{'balance'}
4325                   : $self->balance;
4326
4327   $self->select_for_update; #mutex ... just until we get our pending record in
4328
4329   #the checks here are intended to catch concurrent payments
4330   #double-form-submission prevention is taken care of in cust_pay_pending::check
4331
4332   #check the balance
4333   return "The customer's balance has changed; $method transaction aborted."
4334     if $self->balance < $balance;
4335     #&& $self->balance < $amount; #might as well anyway?
4336
4337   #also check and make sure there aren't *other* pending payments for this cust
4338
4339   my @pending = qsearch('cust_pay_pending', {
4340     'custnum' => $self->custnum,
4341     'status'  => { op=>'!=', value=>'done' } 
4342   });
4343   return "A payment is already being processed for this customer (".
4344          join(', ', map 'paypendingnum '. $_->paypendingnum, @pending ).
4345          "); $method transaction aborted."
4346     if scalar(@pending);
4347
4348   #okay, good to go, if we're a duplicate, cust_pay_pending will kick us out
4349
4350   my $cust_pay_pending = new FS::cust_pay_pending {
4351     'custnum'           => $self->custnum,
4352     #'invnum'            => $options{'invnum'},
4353     'paid'              => $amount,
4354     '_date'             => '',
4355     'payby'             => $method2payby{$method},
4356     'payinfo'           => $payinfo,
4357     'paydate'           => $paydate,
4358     'recurring_billing' => $content{recurring_billing},
4359     'pkgnum'            => $options{'pkgnum'},
4360     'status'            => 'new',
4361     'gatewaynum'        => ( $payment_gateway ? $payment_gateway->gatewaynum : '' ),
4362   };
4363   $cust_pay_pending->payunique( $options{payunique} )
4364     if defined($options{payunique}) && length($options{payunique});
4365   my $cpp_new_err = $cust_pay_pending->insert; #mutex lost when this is inserted
4366   return $cpp_new_err if $cpp_new_err;
4367
4368   my( $action1, $action2 ) = split(/\s*\,\s*/, $action );
4369
4370   my $transaction = new Business::OnlinePayment( $processor, @bop_options );
4371   $transaction->content(
4372     'type'           => $method,
4373     'login'          => $login,
4374     'password'       => $password,
4375     'action'         => $action1,
4376     'description'    => $options{'description'},
4377     'amount'         => $amount,
4378     #'invoice_number' => $options{'invnum'},
4379     'customer_id'    => $self->custnum,
4380     'last_name'      => $paylast,
4381     'first_name'     => $payfirst,
4382     'name'           => $payname,
4383     'address'        => $address,
4384     'city'           => ( exists($options{'city'})
4385                             ? $options{'city'}
4386                             : $self->city          ),
4387     'state'          => ( exists($options{'state'})
4388                             ? $options{'state'}
4389                             : $self->state          ),
4390     'zip'            => ( exists($options{'zip'})
4391                             ? $options{'zip'}
4392                             : $self->zip          ),
4393     'country'        => ( exists($options{'country'})
4394                             ? $options{'country'}
4395                             : $self->country          ),
4396     'referer'        => 'http://cleanwhisker.420.am/', #XXX fix referer :/
4397     'email'          => $email,
4398     'phone'          => $self->daytime || $self->night,
4399     %content, #after
4400   );
4401
4402   $cust_pay_pending->status('pending');
4403   my $cpp_pending_err = $cust_pay_pending->replace;
4404   return $cpp_pending_err if $cpp_pending_err;
4405
4406   #config?
4407   my $BOP_TESTING = 0;
4408   my $BOP_TESTING_SUCCESS = 1;
4409
4410   unless ( $BOP_TESTING ) {
4411     $transaction->submit();
4412   } else {
4413     if ( $BOP_TESTING_SUCCESS ) {
4414       $transaction->is_success(1);
4415       $transaction->authorization('fake auth');
4416     } else {
4417       $transaction->is_success(0);
4418       $transaction->error_message('fake failure');
4419     }
4420   }
4421
4422   if ( $transaction->is_success() && $action2 ) {
4423
4424     $cust_pay_pending->status('authorized');
4425     my $cpp_authorized_err = $cust_pay_pending->replace;
4426     return $cpp_authorized_err if $cpp_authorized_err;
4427
4428     my $auth = $transaction->authorization;
4429     my $ordernum = $transaction->can('order_number')
4430                    ? $transaction->order_number
4431                    : '';
4432
4433     my $capture =
4434       new Business::OnlinePayment( $processor, @bop_options );
4435
4436     my %capture = (
4437       %content,
4438       type           => $method,
4439       action         => $action2,
4440       login          => $login,
4441       password       => $password,
4442       order_number   => $ordernum,
4443       amount         => $amount,
4444       authorization  => $auth,
4445       description    => $options{'description'},
4446     );
4447
4448     foreach my $field (qw( authorization_source_code returned_ACI
4449                            transaction_identifier validation_code           
4450                            transaction_sequence_num local_transaction_date    
4451                            local_transaction_time AVS_result_code          )) {
4452       $capture{$field} = $transaction->$field() if $transaction->can($field);
4453     }
4454
4455     $capture->content( %capture );
4456
4457     $capture->submit();
4458
4459     unless ( $capture->is_success ) {
4460       my $e = "Authorization successful but capture failed, custnum #".
4461               $self->custnum. ': '.  $capture->result_code.
4462               ": ". $capture->error_message;
4463       warn $e;
4464       return $e;
4465     }
4466
4467   }
4468
4469   $cust_pay_pending->status($transaction->is_success() ? 'captured' : 'declined');
4470   my $cpp_captured_err = $cust_pay_pending->replace;
4471   return $cpp_captured_err if $cpp_captured_err;
4472
4473   ###
4474   # remove paycvv after initial transaction
4475   ###
4476
4477   #false laziness w/misc/process/payment.cgi - check both to make sure working
4478   # correctly
4479   if ( defined $self->dbdef_table->column('paycvv')
4480        && length($self->paycvv)
4481        && ! grep { $_ eq cardtype($payinfo) } $conf->config('cvv-save')
4482   ) {
4483     my $error = $self->remove_cvv;
4484     if ( $error ) {
4485       warn "WARNING: error removing cvv: $error\n";
4486     }
4487   }
4488
4489   ###
4490   # result handling
4491   ###
4492
4493   if ( $transaction->is_success() ) {
4494
4495     my $paybatch = '';
4496     if ( $payment_gateway ) { # agent override
4497       $paybatch = $payment_gateway->gatewaynum. '-';
4498     }
4499
4500     $paybatch .= "$processor:". $transaction->authorization;
4501
4502     $paybatch .= ':'. $transaction->order_number
4503       if $transaction->can('order_number')
4504       && length($transaction->order_number);
4505
4506     my $cust_pay = new FS::cust_pay ( {
4507        'custnum'  => $self->custnum,
4508        'invnum'   => $options{'invnum'},
4509        'paid'     => $amount,
4510        '_date'    => '',
4511        'payby'    => $method2payby{$method},
4512        'payinfo'  => $payinfo,
4513        'paybatch' => $paybatch,
4514        'paydate'  => $paydate,
4515        'pkgnum'   => $options{'pkgnum'},
4516     } );
4517     #doesn't hurt to know, even though the dup check is in cust_pay_pending now
4518     $cust_pay->payunique( $options{payunique} )
4519       if defined($options{payunique}) && length($options{payunique});
4520
4521     my $oldAutoCommit = $FS::UID::AutoCommit;
4522     local $FS::UID::AutoCommit = 0;
4523     my $dbh = dbh;
4524
4525     #start a transaction, insert the cust_pay and set cust_pay_pending.status to done in a single transction
4526
4527     my $error = $cust_pay->insert($options{'manual'} ? ( 'manual' => 1 ) : () );
4528
4529     if ( $error ) {
4530       $cust_pay->invnum(''); #try again with no specific invnum
4531       my $error2 = $cust_pay->insert( $options{'manual'} ?
4532                                       ( 'manual' => 1 ) : ()
4533                                     );
4534       if ( $error2 ) {
4535         # gah.  but at least we have a record of the state we had to abort in
4536         # from cust_pay_pending now.
4537         my $e = "WARNING: $method captured but payment not recorded - ".
4538                 "error inserting payment ($processor): $error2".
4539                 " (previously tried insert with invnum #$options{'invnum'}" .
4540                 ": $error ) - pending payment saved as paypendingnum ".
4541                 $cust_pay_pending->paypendingnum. "\n";
4542         warn $e;
4543         return $e;
4544       }
4545     }
4546
4547     if ( $options{'paynum_ref'} ) {
4548       ${ $options{'paynum_ref'} } = $cust_pay->paynum;
4549     }
4550
4551     $cust_pay_pending->status('done');
4552     $cust_pay_pending->statustext('captured');
4553     $cust_pay_pending->paynum($cust_pay->paynum);
4554     my $cpp_done_err = $cust_pay_pending->replace;
4555
4556     if ( $cpp_done_err ) {
4557
4558       $dbh->rollback or die $dbh->errstr if $oldAutoCommit;
4559       my $e = "WARNING: $method captured but payment not recorded - ".
4560               "error updating status for paypendingnum ".
4561               $cust_pay_pending->paypendingnum. ": $cpp_done_err \n";
4562       warn $e;
4563       return $e;
4564
4565     } else {
4566
4567       $dbh->commit or die $dbh->errstr if $oldAutoCommit;
4568
4569       if ( $options{'apply'} ) {
4570         my $apply_error = $self->apply_payments_and_credits;
4571         if ( $apply_error ) {
4572           warn "WARNING: error applying payment: $apply_error\n";
4573           #but we still should return no error cause the payment otherwise went
4574           #through...
4575         }
4576       }
4577
4578       return ''; #no error
4579
4580     }
4581
4582   } else {
4583
4584     my $perror = "$processor error: ". $transaction->error_message;
4585
4586     unless ( $transaction->error_message ) {
4587
4588       my $t_response;
4589       if ( $transaction->can('response_page') ) {
4590         $t_response = {
4591                         'page'    => ( $transaction->can('response_page')
4592                                          ? $transaction->response_page
4593                                          : ''
4594                                      ),
4595                         'code'    => ( $transaction->can('response_code')
4596                                          ? $transaction->response_code
4597                                          : ''
4598                                      ),
4599                         'headers' => ( $transaction->can('response_headers')
4600                                          ? $transaction->response_headers
4601                                          : ''
4602                                      ),
4603                       };
4604       } else {
4605         $t_response .=
4606           "No additional debugging information available for $processor";
4607       }
4608
4609       $perror .= "No error_message returned from $processor -- ".
4610                  ( ref($t_response) ? Dumper($t_response) : $t_response );
4611
4612     }
4613
4614     if ( !$options{'quiet'} && !$realtime_bop_decline_quiet
4615          && $conf->exists('emaildecline')
4616          && grep { $_ ne 'POST' } $self->invoicing_list
4617          && ! grep { $transaction->error_message =~ /$_/ }
4618                    $conf->config('emaildecline-exclude')
4619     ) {
4620
4621       # Send a decline alert to the customer.
4622       my $msgnum = $conf->config('decline_msgnum', $self->agentnum);
4623       my $error = '';
4624       if ( $msgnum ) {
4625         my $msg_template = qsearchs('msg_template', { msgnum => $msgnum });
4626         $error = $msg_template->send( 'cust_main' => $self );
4627       }
4628       else { #!$msgnum
4629
4630         my @templ = $conf->config('declinetemplate');
4631         my $template = new Text::Template (
4632           TYPE   => 'ARRAY',
4633           SOURCE => [ map "$_\n", @templ ],
4634         ) or return "($perror) can't create template: $Text::Template::ERROR";
4635         $template->compile()
4636           or return "($perror) can't compile template: $Text::Template::ERROR";
4637
4638         my $templ_hash = {
4639           'company_name'    =>
4640             scalar( $conf->config('company_name', $self->agentnum ) ),
4641           'company_address' =>
4642             join("\n", $conf->config('company_address', $self->agentnum ) ),
4643           'error'           => $transaction->error_message,
4644         };
4645
4646         my $error = send_email(
4647           'from'    => $conf->config('invoice_from', $self->agentnum ),
4648           'to'      => [ grep { $_ ne 'POST' } $self->invoicing_list ],
4649           'subject' => 'Your payment could not be processed',
4650           'body'    => [ $template->fill_in(HASH => $templ_hash) ],
4651         );
4652       }
4653
4654       $perror .= " (also received error sending decline notification: $error)"
4655         if $error;
4656
4657     }
4658
4659     $cust_pay_pending->status('done');
4660     $cust_pay_pending->statustext("declined: $perror");
4661     my $cpp_done_err = $cust_pay_pending->replace;
4662     if ( $cpp_done_err ) {
4663       my $e = "WARNING: $method declined but pending payment not resolved - ".
4664               "error updating status for paypendingnum ".
4665               $cust_pay_pending->paypendingnum. ": $cpp_done_err \n";
4666       warn $e;
4667       $perror = "$e ($perror)";
4668     }
4669
4670     return $perror;
4671   }
4672
4673 }
4674
4675 sub _bop_recurring_billing {
4676   my( $self, %opt ) = @_;
4677
4678   my $method = scalar($conf->config('credit_card-recurring_billing_flag'));
4679
4680   if ( defined($method) && $method eq 'transaction_is_recur' ) {
4681
4682     return 1 if $opt{'trans_is_recur'};
4683
4684   } else {
4685
4686     my %hash = ( 'custnum' => $self->custnum,
4687                  'payby'   => 'CARD',
4688                );
4689
4690     return 1 
4691       if qsearch('cust_pay', { %hash, 'payinfo' => $opt{'payinfo'} } )
4692       || qsearch('cust_pay', { %hash, 'paymask' => $self->mask_payinfo('CARD',
4693                                                                $opt{'payinfo'} )
4694                              } );
4695
4696   }
4697
4698   return 0;
4699
4700 }
4701
4702
4703 =item realtime_refund_bop METHOD [ OPTION => VALUE ... ]
4704
4705 Refunds a realtime credit card, ACH (electronic check) or phone bill transaction
4706 via a Business::OnlinePayment realtime gateway.  See
4707 L<http://420.am/business-onlinepayment> for supported gateways.
4708
4709 Available methods are: I<CC>, I<ECHECK> and I<LEC>
4710
4711 Available options are: I<amount>, I<reason>, I<paynum>, I<paydate>
4712
4713 Most gateways require a reference to an original payment transaction to refund,
4714 so you probably need to specify a I<paynum>.
4715
4716 I<amount> defaults to the original amount of the payment if not specified.
4717
4718 I<reason> specifies a reason for the refund.
4719
4720 I<paydate> specifies the expiration date for a credit card overriding the
4721 value from the customer record or the payment record. Specified as yyyy-mm-dd
4722
4723 Implementation note: If I<amount> is unspecified or equal to the amount of the
4724 orignal payment, first an attempt is made to "void" the transaction via
4725 the gateway (to cancel a not-yet settled transaction) and then if that fails,
4726 the normal attempt is made to "refund" ("credit") the transaction via the
4727 gateway is attempted.
4728
4729 #The additional options I<payname>, I<address1>, I<address2>, I<city>, I<state>,
4730 #I<zip>, I<payinfo> and I<paydate> are also available.  Any of these options,
4731 #if set, will override the value from the customer record.
4732
4733 #If an I<invnum> is specified, this payment (if successful) is applied to the
4734 #specified invoice.  If you don't specify an I<invnum> you might want to
4735 #call the B<apply_payments> method.
4736
4737 =cut
4738
4739 #some false laziness w/realtime_bop, not enough to make it worth merging
4740 #but some useful small subs should be pulled out
4741 sub realtime_refund_bop {
4742   my $self = shift;
4743
4744   return $self->_new_realtime_refund_bop(@_)
4745     if $self->_new_bop_required();
4746
4747   my( $method, %options ) = @_;
4748   if ( $DEBUG ) {
4749     warn "$me realtime_refund_bop: $method refund\n";
4750     warn "  $_ => $options{$_}\n" foreach keys %options;
4751   }
4752
4753   eval "use Business::OnlinePayment";  
4754   die $@ if $@;
4755
4756   ###
4757   # look up the original payment and optionally a gateway for that payment
4758   ###
4759
4760   my $cust_pay = '';
4761   my $amount = $options{'amount'};
4762
4763   my( $processor, $login, $password, @bop_options ) ;
4764   my( $auth, $order_number ) = ( '', '', '' );
4765
4766   if ( $options{'paynum'} ) {
4767
4768     warn "  paynum: $options{paynum}\n" if $DEBUG > 1;
4769     $cust_pay = qsearchs('cust_pay', { paynum=>$options{'paynum'} } )
4770       or return "Unknown paynum $options{'paynum'}";
4771     $amount ||= $cust_pay->paid;
4772
4773     $cust_pay->paybatch =~ /^((\d+)\-)?(\w+):\s*([\w\-\/ ]*)(:([\w\-]+))?$/
4774       or return "Can't parse paybatch for paynum $options{'paynum'}: ".
4775                 $cust_pay->paybatch;
4776     my $gatewaynum = '';
4777     ( $gatewaynum, $processor, $auth, $order_number ) = ( $2, $3, $4, $6 );
4778
4779     if ( $gatewaynum ) { #gateway for the payment to be refunded
4780
4781       my $payment_gateway =
4782         qsearchs('payment_gateway', { 'gatewaynum' => $gatewaynum } );
4783       die "payment gateway $gatewaynum not found"
4784         unless $payment_gateway;
4785
4786       $processor   = $payment_gateway->gateway_module;
4787       $login       = $payment_gateway->gateway_username;
4788       $password    = $payment_gateway->gateway_password;
4789       @bop_options = $payment_gateway->options;
4790
4791     } else { #try the default gateway
4792
4793       my( $conf_processor, $unused_action );
4794       ( $conf_processor, $login, $password, $unused_action, @bop_options ) =
4795         $self->default_payment_gateway($method);
4796
4797       return "processor of payment $options{'paynum'} $processor does not".
4798              " match default processor $conf_processor"
4799         unless $processor eq $conf_processor;
4800
4801     }
4802
4803
4804   } else { # didn't specify a paynum, so look for agent gateway overrides
4805            # like a normal transaction 
4806
4807     my $cardtype;
4808     if ( $method eq 'CC' ) {
4809       $cardtype = cardtype($self->payinfo);
4810     } elsif ( $method eq 'ECHECK' ) {
4811       $cardtype = 'ACH';
4812     } else {
4813       $cardtype = $method;
4814     }
4815     my $override =
4816            qsearchs('agent_payment_gateway', { agentnum => $self->agentnum,
4817                                                cardtype => $cardtype,
4818                                                taxclass => '',              } )
4819         || qsearchs('agent_payment_gateway', { agentnum => $self->agentnum,
4820                                                cardtype => '',
4821                                                taxclass => '',              } );
4822
4823     if ( $override ) { #use a payment gateway override
4824  
4825       my $payment_gateway = $override->payment_gateway;
4826
4827       $processor   = $payment_gateway->gateway_module;
4828       $login       = $payment_gateway->gateway_username;
4829       $password    = $payment_gateway->gateway_password;
4830       #$action      = $payment_gateway->gateway_action;
4831       @bop_options = $payment_gateway->options;
4832
4833     } else { #use the standard settings from the config
4834
4835       my $unused_action;
4836       ( $processor, $login, $password, $unused_action, @bop_options ) =
4837         $self->default_payment_gateway($method);
4838
4839     }
4840
4841   }
4842   return "neither amount nor paynum specified" unless $amount;
4843
4844   my %content = (
4845     'type'           => $method,
4846     'login'          => $login,
4847     'password'       => $password,
4848     'order_number'   => $order_number,
4849     'amount'         => $amount,
4850     'referer'        => 'http://cleanwhisker.420.am/', #XXX fix referer :/
4851   );
4852   $content{authorization} = $auth
4853     if length($auth); #echeck/ACH transactions have an order # but no auth
4854                       #(at least with authorize.net)
4855
4856   my $disable_void_after;
4857   if ($conf->exists('disable_void_after')
4858       && $conf->config('disable_void_after') =~ /^(\d+)$/) {
4859     $disable_void_after = $1;
4860   }
4861
4862   #first try void if applicable
4863   if ( $cust_pay && $cust_pay->paid == $amount
4864     && (
4865       ( not defined($disable_void_after) )
4866       || ( time < ($cust_pay->_date + $disable_void_after ) )
4867     )
4868   ) {
4869     warn "  attempting void\n" if $DEBUG > 1;
4870     my $void = new Business::OnlinePayment( $processor, @bop_options );
4871     if ( $void->can('info') ) {
4872       if ( $cust_pay->payby eq 'CARD'
4873            && $void->info('CC_void_requires_card') )
4874       {
4875         $content{'card_number'} = $cust_pay->payinfo
4876       } elsif ( $cust_pay->payby eq 'CHEK'
4877                 && $void->info('ECHECK_void_requires_account') )
4878       {
4879         ( $content{'account_number'}, $content{'routing_code'} ) =
4880           split('@', $cust_pay->payinfo);
4881         $content{'name'} = $self->get('first'). ' '. $self->get('last');
4882       }
4883     }
4884     $void->content( 'action' => 'void', %content );
4885     $void->submit();
4886     if ( $void->is_success ) {
4887       my $error = $cust_pay->void($options{'reason'});
4888       if ( $error ) {
4889         # gah, even with transactions.
4890         my $e = 'WARNING: Card/ACH voided but database not updated - '.
4891                 "error voiding payment: $error";
4892         warn $e;
4893         return $e;
4894       }
4895       warn "  void successful\n" if $DEBUG > 1;
4896       return '';
4897     }
4898   }
4899
4900   warn "  void unsuccessful, trying refund\n"
4901     if $DEBUG > 1;
4902
4903   #massage data
4904   my $address = $self->address1;
4905   $address .= ", ". $self->address2 if $self->address2;
4906
4907   my($payname, $payfirst, $paylast);
4908   if ( $self->payname && $method ne 'ECHECK' ) {
4909     $payname = $self->payname;
4910     $payname =~ /^\s*([\w \,\.\-\']*)?\s+([\w\,\.\-\']+)\s*$/
4911       or return "Illegal payname $payname";
4912     ($payfirst, $paylast) = ($1, $2);
4913   } else {
4914     $payfirst = $self->getfield('first');
4915     $paylast = $self->getfield('last');
4916     $payname =  "$payfirst $paylast";
4917   }
4918
4919   my @invoicing_list = $self->invoicing_list_emailonly;
4920   if ( $conf->exists('emailinvoiceautoalways')
4921        || $conf->exists('emailinvoiceauto') && ! @invoicing_list
4922        || ( $conf->exists('emailinvoiceonly') && ! @invoicing_list ) ) {
4923     push @invoicing_list, $self->all_emails;
4924   }
4925
4926   my $email = ($conf->exists('business-onlinepayment-email-override'))
4927               ? $conf->config('business-onlinepayment-email-override')
4928               : $invoicing_list[0];
4929
4930   my $payip = exists($options{'payip'})
4931                 ? $options{'payip'}
4932                 : $self->payip;
4933   $content{customer_ip} = $payip
4934     if length($payip);
4935
4936   my $payinfo = '';
4937   if ( $method eq 'CC' ) {
4938
4939     if ( $cust_pay ) {
4940       $content{card_number} = $payinfo = $cust_pay->payinfo;
4941       (exists($options{'paydate'}) ? $options{'paydate'} : $cust_pay->paydate)
4942         =~ /^\d{2}(\d{2})[\/\-](\d+)[\/\-]\d+$/ &&
4943         ($content{expiration} = "$2/$1");  # where available
4944     } else {
4945       $content{card_number} = $payinfo = $self->payinfo;
4946       (exists($options{'paydate'}) ? $options{'paydate'} : $self->paydate)
4947         =~ /^\d{2}(\d{2})[\/\-](\d+)[\/\-]\d+$/;
4948       $content{expiration} = "$2/$1";
4949     }
4950
4951   } elsif ( $method eq 'ECHECK' ) {
4952
4953     if ( $cust_pay ) {
4954       $payinfo = $cust_pay->payinfo;
4955     } else {
4956       $payinfo = $self->payinfo;
4957     } 
4958     ( $content{account_number}, $content{routing_code} )= split('@', $payinfo );
4959     $content{bank_name} = $self->payname;
4960     $content{account_type} = 'CHECKING';
4961     $content{account_name} = $payname;
4962     $content{customer_org} = $self->company ? 'B' : 'I';
4963     $content{customer_ssn} = $self->ss;
4964   } elsif ( $method eq 'LEC' ) {
4965     $content{phone} = $payinfo = $self->payinfo;
4966   }
4967
4968   #then try refund
4969   my $refund = new Business::OnlinePayment( $processor, @bop_options );
4970   my %sub_content = $refund->content(
4971     'action'         => 'credit',
4972     'customer_id'    => $self->custnum,
4973     'last_name'      => $paylast,
4974     'first_name'     => $payfirst,
4975     'name'           => $payname,
4976     'address'        => $address,
4977     'city'           => $self->city,
4978     'state'          => $self->state,
4979     'zip'            => $self->zip,
4980     'country'        => $self->country,
4981     'email'          => $email,
4982     'phone'          => $self->daytime || $self->night,
4983     %content, #after
4984   );
4985   warn join('', map { "  $_ => $sub_content{$_}\n" } keys %sub_content )
4986     if $DEBUG > 1;
4987   $refund->submit();
4988
4989   return "$processor error: ". $refund->error_message
4990     unless $refund->is_success();
4991
4992   my %method2payby = (
4993     'CC'     => 'CARD',
4994     'ECHECK' => 'CHEK',
4995     'LEC'    => 'LECB',
4996   );
4997
4998   my $paybatch = "$processor:". $refund->authorization;
4999   $paybatch .= ':'. $refund->order_number
5000     if $refund->can('order_number') && $refund->order_number;
5001
5002   while ( $cust_pay && $cust_pay->unapplied < $amount ) {
5003     my @cust_bill_pay = $cust_pay->cust_bill_pay;
5004     last unless @cust_bill_pay;
5005     my $cust_bill_pay = pop @cust_bill_pay;
5006     my $error = $cust_bill_pay->delete;
5007     last if $error;
5008   }
5009
5010   my $cust_refund = new FS::cust_refund ( {
5011     'custnum'  => $self->custnum,
5012     'paynum'   => $options{'paynum'},
5013     'refund'   => $amount,
5014     '_date'    => '',
5015     'payby'    => $method2payby{$method},
5016     'payinfo'  => $payinfo,
5017     'paybatch' => $paybatch,
5018     'reason'   => $options{'reason'} || 'card or ACH refund',
5019   } );
5020   my $error = $cust_refund->insert;
5021   if ( $error ) {
5022     $cust_refund->paynum(''); #try again with no specific paynum
5023     my $error2 = $cust_refund->insert;
5024     if ( $error2 ) {
5025       # gah, even with transactions.
5026       my $e = 'WARNING: Card/ACH refunded but database not updated - '.
5027               "error inserting refund ($processor): $error2".
5028               " (previously tried insert with paynum #$options{'paynum'}" .
5029               ": $error )";
5030       warn $e;
5031       return $e;
5032     }
5033   }
5034
5035   ''; #no error
5036
5037 }
5038
5039 # does the configuration indicate the new bop routines are required?
5040
5041 sub _new_bop_required {
5042   my $self = shift;
5043
5044   my $botpp = 'Business::OnlineThirdPartyPayment';
5045
5046   return 1
5047     if (   (     $conf->exists('business-onlinepayment-namespace')
5048              &&  $conf->config('business-onlinepayment-namespace') eq $botpp
5049            )
5050          or scalar( grep { $_->gateway_namespace eq $botpp } 
5051                     qsearch( 'payment_gateway', { 'disabled' => '' } )
5052                   )
5053        )
5054   ;
5055
5056   '';
5057 }
5058   
5059 =item realtime_collect [ OPTION => VALUE ... ]
5060
5061 Runs a realtime credit card, ACH (electronic check) or phone bill transaction
5062 via a Business::OnlinePayment or Business::OnlineThirdPartyPayment realtime
5063 gateway.  See L<http://420.am/business-onlinepayment> and 
5064 L<http://420.am/business-onlinethirdpartypayment> for supported gateways.
5065
5066 On failure returns an error message.
5067
5068 Returns false or a hashref upon success.  The hashref contains keys popup_url reference, and collectitems.  The first is a URL to which a browser should be redirected for completion of collection.  The second is a reference id for the transaction suitable for the end user.  The collectitems is a reference to a list of name value pairs suitable for assigning to a html form and posted to popup_url.
5069
5070 Available options are: I<method>, I<amount>, I<description>, I<invnum>, I<quiet>, I<paynum_ref>, I<payunique>, I<session_id>, I<pkgnum>
5071
5072 I<method> is one of: I<CC>, I<ECHECK> and I<LEC>.  If none is specified
5073 then it is deduced from the customer record.
5074
5075 If no I<amount> is specified, then the customer balance is used.
5076
5077 The additional options I<payname>, I<address1>, I<address2>, I<city>, I<state>,
5078 I<zip>, I<payinfo> and I<paydate> are also available.  Any of these options,
5079 if set, will override the value from the customer record.
5080
5081 I<description> is a free-text field passed to the gateway.  It defaults to
5082 the value defined by the business-onlinepayment-description configuration
5083 option, or "Internet services" if that is unset.
5084
5085 If an I<invnum> is specified, this payment (if successful) is applied to the
5086 specified invoice.  If you don't specify an I<invnum> you might want to
5087 call the B<apply_payments> method or set the I<apply> option.
5088
5089 I<apply> can be set to true to apply a resulting payment.
5090
5091 I<quiet> can be set true to surpress email decline notices.
5092
5093 I<paynum_ref> can be set to a scalar reference.  It will be filled in with the
5094 resulting paynum, if any.
5095
5096 I<payunique> is a unique identifier for this payment.
5097
5098 I<session_id> is a session identifier associated with this payment.
5099
5100 I<depend_jobnum> allows payment capture to unlock export jobs
5101
5102 =cut
5103
5104 sub realtime_collect {
5105   my( $self, %options ) = @_;
5106
5107   if ( $DEBUG ) {
5108     warn "$me realtime_collect:\n";
5109     warn "  $_ => $options{$_}\n" foreach keys %options;
5110   }
5111
5112   $options{amount} = $self->balance unless exists( $options{amount} );
5113   $options{method} = FS::payby->payby2bop($self->payby)
5114     unless exists( $options{method} );
5115
5116   return $self->realtime_bop({%options});
5117
5118 }
5119
5120 =item _realtime_bop { [ ARG => VALUE ... ] }
5121
5122 Runs a realtime credit card, ACH (electronic check) or phone bill transaction
5123 via a Business::OnlinePayment realtime gateway.  See
5124 L<http://420.am/business-onlinepayment> for supported gateways.
5125
5126 Required arguments in the hashref are I<method>, and I<amount>
5127
5128 Available methods are: I<CC>, I<ECHECK> and I<LEC>
5129
5130 Available optional arguments are: I<description>, I<invnum>, I<quiet>, I<paynum_ref>, I<payunique>, I<session_id>
5131
5132 The additional options I<payname>, I<address1>, I<address2>, I<city>, I<state>,
5133 I<zip>, I<payinfo> and I<paydate> are also available.  Any of these options,
5134 if set, will override the value from the customer record.
5135
5136 I<description> is a free-text field passed to the gateway.  It defaults to
5137 the value defined by the business-onlinepayment-description configuration
5138 option, or "Internet services" if that is unset.
5139
5140 If an I<invnum> is specified, this payment (if successful) is applied to the
5141 specified invoice.  If you don't specify an I<invnum> you might want to
5142 call the B<apply_payments> method.
5143
5144 I<quiet> can be set true to surpress email decline notices.
5145
5146 I<paynum_ref> can be set to a scalar reference.  It will be filled in with the
5147 resulting paynum, if any.
5148
5149 I<payunique> is a unique identifier for this payment.
5150
5151 I<session_id> is a session identifier associated with this payment.
5152
5153 I<depend_jobnum> allows payment capture to unlock export jobs
5154
5155 (moved from cust_bill) (probably should get realtime_{card,ach,lec} here too)
5156
5157 =cut
5158
5159 # some helper routines
5160 sub _payment_gateway {
5161   my ($self, $options) = @_;
5162
5163   $options->{payment_gateway} = $self->agent->payment_gateway( %$options )
5164     unless exists($options->{payment_gateway});
5165
5166   $options->{payment_gateway};
5167 }
5168
5169 sub _bop_auth {
5170   my ($self, $options) = @_;
5171
5172   (
5173     'login'    => $options->{payment_gateway}->gateway_username,
5174     'password' => $options->{payment_gateway}->gateway_password,
5175   );
5176 }
5177
5178 sub _bop_options {
5179   my ($self, $options) = @_;
5180
5181   $options->{payment_gateway}->gatewaynum
5182     ? $options->{payment_gateway}->options
5183     : @{ $options->{payment_gateway}->get('options') };
5184 }
5185
5186 sub _bop_defaults {
5187   my ($self, $options) = @_;
5188
5189   unless ( $options->{'description'} ) {
5190     if ( $conf->exists('business-onlinepayment-description') ) {
5191       my $dtempl = $conf->config('business-onlinepayment-description');
5192
5193       my $agent = $self->agent->agent;
5194       #$pkgs... not here
5195       $options->{'description'} = eval qq("$dtempl");
5196     } else {
5197       $options->{'description'} = 'Internet services';
5198     }
5199   }
5200
5201   $options->{payinfo} = $self->payinfo unless exists( $options->{payinfo} );
5202   $options->{invnum} ||= '';
5203   $options->{payname} = $self->payname unless exists( $options->{payname} );
5204 }
5205
5206 sub _bop_content {
5207   my ($self, $options) = @_;
5208   my %content = ();
5209
5210   $content{address} = exists($options->{'address1'})
5211                         ? $options->{'address1'}
5212                         : $self->address1;
5213   my $address2 = exists($options->{'address2'})
5214                    ? $options->{'address2'}
5215                    : $self->address2;
5216   $content{address} .= ", ". $address2 if length($address2);
5217
5218   my $payip = exists($options->{'payip'}) ? $options->{'payip'} : $self->payip;
5219   $content{customer_ip} = $payip if length($payip);
5220
5221   $content{invoice_number} = $options->{'invnum'}
5222     if exists($options->{'invnum'}) && length($options->{'invnum'});
5223
5224   $content{email_customer} = 
5225     (    $conf->exists('business-onlinepayment-email_customer')
5226       || $conf->exists('business-onlinepayment-email-override') );
5227       
5228   $content{payfirst} = $self->getfield('first');
5229   $content{paylast} = $self->getfield('last');
5230
5231   $content{account_name} = "$content{payfirst} $content{paylast}"
5232     if $options->{method} eq 'ECHECK';
5233
5234   $content{name} = $options->{payname};
5235   $content{name} = $content{account_name} if exists($content{account_name});
5236
5237   $content{city} = exists($options->{city})
5238                      ? $options->{city}
5239                      : $self->city;
5240   $content{state} = exists($options->{state})
5241                       ? $options->{state}
5242                       : $self->state;
5243   $content{zip} = exists($options->{zip})
5244                     ? $options->{'zip'}
5245                     : $self->zip;
5246   $content{country} = exists($options->{country})
5247                         ? $options->{country}
5248                         : $self->country;
5249   $content{referer} = 'http://cleanwhisker.420.am/'; #XXX fix referer :/
5250   $content{phone} = $self->daytime || $self->night;
5251
5252   (%content);
5253 }
5254
5255 my %bop_method2payby = (
5256   'CC'     => 'CARD',
5257   'ECHECK' => 'CHEK',
5258   'LEC'    => 'LECB',
5259 );
5260
5261 sub _new_realtime_bop {
5262   my $self = shift;
5263
5264   my %options = ();
5265   if (ref($_[0]) eq 'HASH') {
5266     %options = %{$_[0]};
5267   } else {
5268     my ( $method, $amount ) = ( shift, shift );
5269     %options = @_;
5270     $options{method} = $method;
5271     $options{amount} = $amount;
5272   }
5273   
5274   if ( $DEBUG ) {
5275     warn "$me realtime_bop (new): $options{method} $options{amount}\n";
5276     warn "  $_ => $options{$_}\n" foreach keys %options;
5277   }
5278
5279   return $self->fake_bop(%options) if $options{'fake'};
5280
5281   $self->_bop_defaults(\%options);
5282
5283   ###
5284   # set trans_is_recur based on invnum if there is one
5285   ###
5286
5287   my $trans_is_recur = 0;
5288   if ( $options{'invnum'} ) {
5289
5290     my $cust_bill = qsearchs('cust_bill', { 'invnum' => $options{'invnum'} } );
5291     die "invnum ". $options{'invnum'}. " not found" unless $cust_bill;
5292
5293     my @part_pkg =
5294       map  { $_->part_pkg }
5295       grep { $_ }
5296       map  { $_->cust_pkg }
5297       $cust_bill->cust_bill_pkg;
5298
5299     $trans_is_recur = 1
5300       if grep { $_->freq ne '0' } @part_pkg;
5301
5302   }
5303
5304   ###
5305   # select a gateway
5306   ###
5307
5308   my $payment_gateway =  $self->_payment_gateway( \%options );
5309   my $namespace = $payment_gateway->gateway_namespace;
5310
5311   eval "use $namespace";  
5312   die $@ if $@;
5313
5314   ###
5315   # check for banned credit card/ACH
5316   ###
5317
5318   my $ban = qsearchs('banned_pay', {
5319     'payby'   => $bop_method2payby{$options{method}},
5320     'payinfo' => md5_base64($options{payinfo}),
5321   } );
5322   return "Banned credit card" if $ban;
5323
5324   ###
5325   # massage data
5326   ###
5327
5328   my (%bop_content) = $self->_bop_content(\%options);
5329
5330   if ( $options{method} ne 'ECHECK' ) {
5331     $options{payname} =~ /^\s*([\w \,\.\-\']*)?\s+([\w\,\.\-\']+)\s*$/
5332       or return "Illegal payname $options{payname}";
5333     ($bop_content{payfirst}, $bop_content{paylast}) = ($1, $2);
5334   }
5335
5336   my @invoicing_list = $self->invoicing_list_emailonly;
5337   if ( $conf->exists('emailinvoiceautoalways')
5338        || $conf->exists('emailinvoiceauto') && ! @invoicing_list
5339        || ( $conf->exists('emailinvoiceonly') && ! @invoicing_list ) ) {
5340     push @invoicing_list, $self->all_emails;
5341   }
5342
5343   my $email = ($conf->exists('business-onlinepayment-email-override'))
5344               ? $conf->config('business-onlinepayment-email-override')
5345               : $invoicing_list[0];
5346
5347   my $paydate = '';
5348   my %content = ();
5349   if ( $namespace eq 'Business::OnlinePayment' && $options{method} eq 'CC' ) {
5350
5351     $content{card_number} = $options{payinfo};
5352     $paydate = exists($options{'paydate'})
5353                     ? $options{'paydate'}
5354                     : $self->paydate;
5355     $paydate =~ /^\d{2}(\d{2})[\/\-](\d+)[\/\-]\d+$/;
5356     $content{expiration} = "$2/$1";
5357
5358     my $paycvv = exists($options{'paycvv'})
5359                    ? $options{'paycvv'}
5360                    : $self->paycvv;
5361     $content{cvv2} = $paycvv
5362       if length($paycvv);
5363
5364     my $paystart_month = exists($options{'paystart_month'})
5365                            ? $options{'paystart_month'}
5366                            : $self->paystart_month;
5367
5368     my $paystart_year  = exists($options{'paystart_year'})
5369                            ? $options{'paystart_year'}
5370                            : $self->paystart_year;
5371
5372     $content{card_start} = "$paystart_month/$paystart_year"
5373       if $paystart_month && $paystart_year;
5374
5375     my $payissue       = exists($options{'payissue'})
5376                            ? $options{'payissue'}
5377                            : $self->payissue;
5378     $content{issue_number} = $payissue if $payissue;
5379
5380     if ( $self->_bop_recurring_billing( 'payinfo'        => $options{'payinfo'},
5381                                         'trans_is_recur' => $trans_is_recur,
5382                                       )
5383        )
5384     {
5385       $content{recurring_billing} = 'YES';
5386       $content{acct_code} = 'rebill'
5387         if $conf->exists('credit_card-recurring_billing_acct_code');
5388     }
5389
5390   } elsif ( $namespace eq 'Business::OnlinePayment' && $options{method} eq 'ECHECK' ){
5391     ( $content{account_number}, $content{routing_code} ) =
5392       split('@', $options{payinfo});
5393     $content{bank_name} = $options{payname};
5394     $content{bank_state} = exists($options{'paystate'})
5395                              ? $options{'paystate'}
5396                              : $self->getfield('paystate');
5397     $content{account_type} = exists($options{'paytype'})
5398                                ? uc($options{'paytype'}) || 'CHECKING'
5399                                : uc($self->getfield('paytype')) || 'CHECKING';
5400     $content{customer_org} = $self->company ? 'B' : 'I';
5401     $content{state_id}       = exists($options{'stateid'})
5402                                  ? $options{'stateid'}
5403                                  : $self->getfield('stateid');
5404     $content{state_id_state} = exists($options{'stateid_state'})
5405                                  ? $options{'stateid_state'}
5406                                  : $self->getfield('stateid_state');
5407     $content{customer_ssn} = exists($options{'ss'})
5408                                ? $options{'ss'}
5409                                : $self->ss;
5410   } elsif ( $namespace eq 'Business::OnlinePayment' && $options{method} eq 'LEC' ) {
5411     $content{phone} = $options{payinfo};
5412   } elsif ( $namespace eq 'Business::OnlineThirdPartyPayment' ) {
5413     #move along
5414   } else {
5415     #die an evil death
5416   }
5417
5418   ###
5419   # run transaction(s)
5420   ###
5421
5422   my $balance = exists( $options{'balance'} )
5423                   ? $options{'balance'}
5424                   : $self->balance;
5425
5426   $self->select_for_update; #mutex ... just until we get our pending record in
5427
5428   #the checks here are intended to catch concurrent payments
5429   #double-form-submission prevention is taken care of in cust_pay_pending::check
5430
5431   #check the balance
5432   return "The customer's balance has changed; $options{method} transaction aborted."
5433     if $self->balance < $balance;
5434     #&& $self->balance < $options{amount}; #might as well anyway?
5435
5436   #also check and make sure there aren't *other* pending payments for this cust
5437
5438   my @pending = qsearch('cust_pay_pending', {
5439     'custnum' => $self->custnum,
5440     'status'  => { op=>'!=', value=>'done' } 
5441   });
5442   return "A payment is already being processed for this customer (".
5443          join(', ', map 'paypendingnum '. $_->paypendingnum, @pending ).
5444          "); $options{method} transaction aborted."
5445     if scalar(@pending);
5446
5447   #okay, good to go, if we're a duplicate, cust_pay_pending will kick us out
5448
5449   my $cust_pay_pending = new FS::cust_pay_pending {
5450     'custnum'           => $self->custnum,
5451     #'invnum'            => $options{'invnum'},
5452     'paid'              => $options{amount},
5453     '_date'             => '',
5454     'payby'             => $bop_method2payby{$options{method}},
5455     'payinfo'           => $options{payinfo},
5456     'paydate'           => $paydate,
5457     'recurring_billing' => $content{recurring_billing},
5458     'pkgnum'            => $options{'pkgnum'},
5459     'status'            => 'new',
5460     'gatewaynum'        => $payment_gateway->gatewaynum || '',
5461     'session_id'        => $options{session_id} || '',
5462     'jobnum'            => $options{depend_jobnum} || '',
5463   };
5464   $cust_pay_pending->payunique( $options{payunique} )
5465     if defined($options{payunique}) && length($options{payunique});
5466   my $cpp_new_err = $cust_pay_pending->insert; #mutex lost when this is inserted
5467   return $cpp_new_err if $cpp_new_err;
5468
5469   my( $action1, $action2 ) =
5470     split( /\s*\,\s*/, $payment_gateway->gateway_action );
5471
5472   my $transaction = new $namespace( $payment_gateway->gateway_module,
5473                                     $self->_bop_options(\%options),
5474                                   );
5475
5476   $transaction->content(
5477     'type'           => $options{method},
5478     $self->_bop_auth(\%options),          
5479     'action'         => $action1,
5480     'description'    => $options{'description'},
5481     'amount'         => $options{amount},
5482     #'invoice_number' => $options{'invnum'},
5483     'customer_id'    => $self->custnum,
5484     %bop_content,
5485     'reference'      => $cust_pay_pending->paypendingnum, #for now
5486     'email'          => $email,
5487     %content, #after
5488   );
5489
5490   $cust_pay_pending->status('pending');
5491   my $cpp_pending_err = $cust_pay_pending->replace;
5492   return $cpp_pending_err if $cpp_pending_err;
5493
5494   #config?
5495   my $BOP_TESTING = 0;
5496   my $BOP_TESTING_SUCCESS = 1;
5497
5498   unless ( $BOP_TESTING ) {
5499     $transaction->submit();
5500   } else {
5501     if ( $BOP_TESTING_SUCCESS ) {
5502       $transaction->is_success(1);
5503       $transaction->authorization('fake auth');
5504     } else {
5505       $transaction->is_success(0);
5506       $transaction->error_message('fake failure');
5507     }
5508   }
5509
5510   if ( $transaction->is_success() && $namespace eq 'Business::OnlineThirdPartyPayment' ) {
5511
5512     return { reference => $cust_pay_pending->paypendingnum,
5513              map { $_ => $transaction->$_ } qw ( popup_url collectitems ) };
5514
5515   } elsif ( $transaction->is_success() && $action2 ) {
5516
5517     $cust_pay_pending->status('authorized');
5518     my $cpp_authorized_err = $cust_pay_pending->replace;
5519     return $cpp_authorized_err if $cpp_authorized_err;
5520
5521     my $auth = $transaction->authorization;
5522     my $ordernum = $transaction->can('order_number')
5523                    ? $transaction->order_number
5524                    : '';
5525
5526     my $capture =
5527       new Business::OnlinePayment( $payment_gateway->gateway_module,
5528                                    $self->_bop_options(\%options),
5529                                  );
5530
5531     my %capture = (
5532       %content,
5533       type           => $options{method},
5534       action         => $action2,
5535       $self->_bop_auth(\%options),          
5536       order_number   => $ordernum,
5537       amount         => $options{amount},
5538       authorization  => $auth,
5539       description    => $options{'description'},
5540     );
5541
5542     foreach my $field (qw( authorization_source_code returned_ACI
5543                            transaction_identifier validation_code           
5544                            transaction_sequence_num local_transaction_date    
5545                            local_transaction_time AVS_result_code          )) {
5546       $capture{$field} = $transaction->$field() if $transaction->can($field);
5547     }
5548
5549     $capture->content( %capture );
5550
5551     $capture->submit();
5552
5553     unless ( $capture->is_success ) {
5554       my $e = "Authorization successful but capture failed, custnum #".
5555               $self->custnum. ': '.  $capture->result_code.
5556               ": ". $capture->error_message;
5557       warn $e;
5558       return $e;
5559     }
5560
5561   }
5562
5563   ###
5564   # remove paycvv after initial transaction
5565   ###
5566
5567   #false laziness w/misc/process/payment.cgi - check both to make sure working
5568   # correctly
5569   if ( defined $self->dbdef_table->column('paycvv')
5570        && length($self->paycvv)
5571        && ! grep { $_ eq cardtype($options{payinfo}) } $conf->config('cvv-save')
5572   ) {
5573     my $error = $self->remove_cvv;
5574     if ( $error ) {
5575       warn "WARNING: error removing cvv: $error\n";
5576     }
5577   }
5578
5579   ###
5580   # result handling
5581   ###
5582
5583   $self->_realtime_bop_result( $cust_pay_pending, $transaction, %options );
5584
5585 }
5586
5587 =item fake_bop
5588
5589 =cut
5590
5591 sub fake_bop {
5592   my $self = shift;
5593
5594   my %options = ();
5595   if (ref($_[0]) eq 'HASH') {
5596     %options = %{$_[0]};
5597   } else {
5598     my ( $method, $amount ) = ( shift, shift );
5599     %options = @_;
5600     $options{method} = $method;
5601     $options{amount} = $amount;
5602   }
5603   
5604   if ( $options{'fake_failure'} ) {
5605      return "Error: No error; test failure requested with fake_failure";
5606   }
5607
5608   #my $paybatch = '';
5609   #if ( $payment_gateway->gatewaynum ) { # agent override
5610   #  $paybatch = $payment_gateway->gatewaynum. '-';
5611   #}
5612   #
5613   #$paybatch .= "$processor:". $transaction->authorization;
5614   #
5615   #$paybatch .= ':'. $transaction->order_number
5616   #  if $transaction->can('order_number')
5617   #  && length($transaction->order_number);
5618
5619   my $paybatch = 'FakeProcessor:54:32';
5620
5621   my $cust_pay = new FS::cust_pay ( {
5622      'custnum'  => $self->custnum,
5623      'invnum'   => $options{'invnum'},
5624      'paid'     => $options{amount},
5625      '_date'    => '',
5626      'payby'    => $bop_method2payby{$options{method}},
5627      #'payinfo'  => $payinfo,
5628      'payinfo'  => '4111111111111111',
5629      'paybatch' => $paybatch,
5630      #'paydate'  => $paydate,
5631      'paydate'  => '2012-05-01',
5632   } );
5633   $cust_pay->payunique( $options{payunique} ) if length($options{payunique});
5634
5635   my $error = $cust_pay->insert($options{'manual'} ? ( 'manual' => 1 ) : () );
5636
5637   if ( $error ) {
5638     $cust_pay->invnum(''); #try again with no specific invnum
5639     my $error2 = $cust_pay->insert( $options{'manual'} ?
5640                                     ( 'manual' => 1 ) : ()
5641                                   );
5642     if ( $error2 ) {
5643       # gah, even with transactions.
5644       my $e = 'WARNING: Card/ACH debited but database not updated - '.
5645               "error inserting (fake!) payment: $error2".
5646               " (previously tried insert with invnum #$options{'invnum'}" .
5647               ": $error )";
5648       warn $e;
5649       return $e;
5650     }
5651   }
5652
5653   if ( $options{'paynum_ref'} ) {
5654     ${ $options{'paynum_ref'} } = $cust_pay->paynum;
5655   }
5656
5657   return ''; #no error
5658
5659 }
5660
5661
5662 # item _realtime_bop_result CUST_PAY_PENDING, BOP_OBJECT [ OPTION => VALUE ... ]
5663
5664 # Wraps up processing of a realtime credit card, ACH (electronic check) or
5665 # phone bill transaction.
5666
5667 sub _realtime_bop_result {
5668   my( $self, $cust_pay_pending, $transaction, %options ) = @_;
5669   if ( $DEBUG ) {
5670     warn "$me _realtime_bop_result: pending transaction ".
5671       $cust_pay_pending->paypendingnum. "\n";
5672     warn "  $_ => $options{$_}\n" foreach keys %options;
5673   }
5674
5675   my $payment_gateway = $options{payment_gateway}
5676     or return "no payment gateway in arguments to _realtime_bop_result";
5677
5678   $cust_pay_pending->status($transaction->is_success() ? 'captured' : 'declined');
5679   my $cpp_captured_err = $cust_pay_pending->replace;
5680   return $cpp_captured_err if $cpp_captured_err;
5681
5682   if ( $transaction->is_success() ) {
5683
5684     my $paybatch = '';
5685     if ( $payment_gateway->gatewaynum ) { # agent override
5686       $paybatch = $payment_gateway->gatewaynum. '-';
5687     }
5688
5689     $paybatch .= $payment_gateway->gateway_module. ":".
5690       $transaction->authorization;
5691
5692     $paybatch .= ':'. $transaction->order_number
5693       if $transaction->can('order_number')
5694       && length($transaction->order_number);
5695
5696     my $cust_pay = new FS::cust_pay ( {
5697        'custnum'  => $self->custnum,
5698        'invnum'   => $options{'invnum'},
5699        'paid'     => $cust_pay_pending->paid,
5700        '_date'    => '',
5701        'payby'    => $cust_pay_pending->payby,
5702        #'payinfo'  => $payinfo,
5703        'paybatch' => $paybatch,
5704        'paydate'  => $cust_pay_pending->paydate,
5705        'pkgnum'   => $cust_pay_pending->pkgnum,
5706     } );
5707     #doesn't hurt to know, even though the dup check is in cust_pay_pending now
5708     $cust_pay->payunique( $options{payunique} )
5709       if defined($options{payunique}) && length($options{payunique});
5710
5711     my $oldAutoCommit = $FS::UID::AutoCommit;
5712     local $FS::UID::AutoCommit = 0;
5713     my $dbh = dbh;
5714
5715     #start a transaction, insert the cust_pay and set cust_pay_pending.status to done in a single transction
5716
5717     my $error = $cust_pay->insert($options{'manual'} ? ( 'manual' => 1 ) : () );
5718
5719     if ( $error ) {
5720       $cust_pay->invnum(''); #try again with no specific invnum
5721       my $error2 = $cust_pay->insert( $options{'manual'} ?
5722                                       ( 'manual' => 1 ) : ()
5723                                     );
5724       if ( $error2 ) {
5725         # gah.  but at least we have a record of the state we had to abort in
5726         # from cust_pay_pending now.
5727         my $e = "WARNING: $options{method} captured but payment not recorded -".
5728                 " error inserting payment (". $payment_gateway->gateway_module.
5729                 "): $error2".
5730                 " (previously tried insert with invnum #$options{'invnum'}" .
5731                 ": $error ) - pending payment saved as paypendingnum ".
5732                 $cust_pay_pending->paypendingnum. "\n";
5733         warn $e;
5734         return $e;
5735       }
5736     }
5737
5738     my $jobnum = $cust_pay_pending->jobnum;
5739     if ( $jobnum ) {
5740        my $placeholder = qsearchs( 'queue', { 'jobnum' => $jobnum } );
5741       
5742        unless ( $placeholder ) {
5743          $dbh->rollback or die $dbh->errstr if $oldAutoCommit;
5744          my $e = "WARNING: $options{method} captured but job $jobnum not ".
5745              "found for paypendingnum ". $cust_pay_pending->paypendingnum. "\n";
5746          warn $e;
5747          return $e;
5748        }
5749
5750        $error = $placeholder->delete;
5751
5752        if ( $error ) {
5753          $dbh->rollback or die $dbh->errstr if $oldAutoCommit;
5754          my $e = "WARNING: $options{method} captured but could not delete ".
5755               "job $jobnum for paypendingnum ".
5756               $cust_pay_pending->paypendingnum. ": $error\n";
5757          warn $e;
5758          return $e;
5759        }
5760
5761     }
5762     
5763     if ( $options{'paynum_ref'} ) {
5764       ${ $options{'paynum_ref'} } = $cust_pay->paynum;
5765     }
5766
5767     $cust_pay_pending->status('done');
5768     $cust_pay_pending->statustext('captured');
5769     $cust_pay_pending->paynum($cust_pay->paynum);
5770     my $cpp_done_err = $cust_pay_pending->replace;
5771
5772     if ( $cpp_done_err ) {
5773
5774       $dbh->rollback or die $dbh->errstr if $oldAutoCommit;
5775       my $e = "WARNING: $options{method} captured but payment not recorded - ".
5776               "error updating status for paypendingnum ".
5777               $cust_pay_pending->paypendingnum. ": $cpp_done_err \n";
5778       warn $e;
5779       return $e;
5780
5781     } else {
5782
5783       $dbh->commit or die $dbh->errstr if $oldAutoCommit;
5784
5785       if ( $options{'apply'} ) {
5786         my $apply_error = $self->apply_payments_and_credits;
5787         if ( $apply_error ) {
5788           warn "WARNING: error applying payment: $apply_error\n";
5789           #but we still should return no error cause the payment otherwise went
5790           #through...
5791         }
5792       }
5793
5794       return ''; #no error
5795
5796     }
5797
5798   } else {
5799
5800     my $perror = $payment_gateway->gateway_module. " error: ".
5801       $transaction->error_message;
5802
5803     my $jobnum = $cust_pay_pending->jobnum;
5804     if ( $jobnum ) {
5805        my $placeholder = qsearchs( 'queue', { 'jobnum' => $jobnum } );
5806       
5807        if ( $placeholder ) {
5808          my $error = $placeholder->depended_delete;
5809          $error ||= $placeholder->delete;
5810          warn "error removing provisioning jobs after declined paypendingnum ".
5811            $cust_pay_pending->paypendingnum. "\n";
5812        } else {
5813          my $e = "error finding job $jobnum for declined paypendingnum ".
5814               $cust_pay_pending->paypendingnum. "\n";
5815          warn $e;
5816        }
5817
5818     }
5819     
5820     unless ( $transaction->error_message ) {
5821
5822       my $t_response;
5823       if ( $transaction->can('response_page') ) {
5824         $t_response = {
5825                         'page'    => ( $transaction->can('response_page')
5826                                          ? $transaction->response_page
5827                                          : ''
5828                                      ),
5829                         'code'    => ( $transaction->can('response_code')
5830                                          ? $transaction->response_code
5831                                          : ''
5832                                      ),
5833                         'headers' => ( $transaction->can('response_headers')
5834                                          ? $transaction->response_headers
5835                                          : ''
5836                                      ),
5837                       };
5838       } else {
5839         $t_response .=
5840           "No additional debugging information available for ".
5841             $payment_gateway->gateway_module;
5842       }
5843
5844       $perror .= "No error_message returned from ".
5845                    $payment_gateway->gateway_module. " -- ".
5846                  ( ref($t_response) ? Dumper($t_response) : $t_response );
5847
5848     }
5849
5850     if ( !$options{'quiet'} && !$realtime_bop_decline_quiet
5851          && $conf->exists('emaildecline')
5852          && grep { $_ ne 'POST' } $self->invoicing_list
5853          && ! grep { $transaction->error_message =~ /$_/ }
5854                    $conf->config('emaildecline-exclude')
5855     ) {
5856       my @templ = $conf->config('declinetemplate');
5857       my $template = new Text::Template (
5858         TYPE   => 'ARRAY',
5859         SOURCE => [ map "$_\n", @templ ],
5860       ) or return "($perror) can't create template: $Text::Template::ERROR";
5861       $template->compile()
5862         or return "($perror) can't compile template: $Text::Template::ERROR";
5863
5864       my $templ_hash = {
5865         'company_name'    =>
5866           scalar( $conf->config('company_name', $self->agentnum ) ),
5867         'company_address' =>
5868           join("\n", $conf->config('company_address', $self->agentnum ) ),
5869         'error'           => $transaction->error_message,
5870       };
5871
5872       my $error = send_email(
5873         'from'    => $conf->config('invoice_from', $self->agentnum ),
5874         'to'      => [ grep { $_ ne 'POST' } $self->invoicing_list ],
5875         'subject' => 'Your payment could not be processed',
5876         'body'    => [ $template->fill_in(HASH => $templ_hash) ],
5877       );
5878
5879       $perror .= " (also received error sending decline notification: $error)"
5880         if $error;
5881
5882     }
5883
5884     $cust_pay_pending->status('done');
5885     $cust_pay_pending->statustext("declined: $perror");
5886     my $cpp_done_err = $cust_pay_pending->replace;
5887     if ( $cpp_done_err ) {
5888       my $e = "WARNING: $options{method} declined but pending payment not ".
5889               "resolved - error updating status for paypendingnum ".
5890               $cust_pay_pending->paypendingnum. ": $cpp_done_err \n";
5891       warn $e;
5892       $perror = "$e ($perror)";
5893     }
5894
5895     return $perror;
5896   }
5897
5898 }
5899
5900 =item realtime_botpp_capture CUST_PAY_PENDING [ OPTION => VALUE ... ]
5901
5902 Verifies successful third party processing of a realtime credit card,
5903 ACH (electronic check) or phone bill transaction via a
5904 Business::OnlineThirdPartyPayment realtime gateway.  See
5905 L<http://420.am/business-onlinethirdpartypayment> for supported gateways.
5906
5907 Available options are: I<description>, I<invnum>, I<quiet>, I<paynum_ref>, I<payunique>
5908
5909 The additional options I<payname>, I<city>, I<state>,
5910 I<zip>, I<payinfo> and I<paydate> are also available.  Any of these options,
5911 if set, will override the value from the customer record.
5912
5913 I<description> is a free-text field passed to the gateway.  It defaults to
5914 "Internet services".
5915
5916 If an I<invnum> is specified, this payment (if successful) is applied to the
5917 specified invoice.  If you don't specify an I<invnum> you might want to
5918 call the B<apply_payments> method.
5919
5920 I<quiet> can be set true to surpress email decline notices.
5921
5922 I<paynum_ref> can be set to a scalar reference.  It will be filled in with the
5923 resulting paynum, if any.
5924
5925 I<payunique> is a unique identifier for this payment.
5926
5927 Returns a hashref containing elements bill_error (which will be undefined
5928 upon success) and session_id of any associated session.
5929
5930 =cut
5931
5932 sub realtime_botpp_capture {
5933   my( $self, $cust_pay_pending, %options ) = @_;
5934   if ( $DEBUG ) {
5935     warn "$me realtime_botpp_capture: pending transaction $cust_pay_pending\n";
5936     warn "  $_ => $options{$_}\n" foreach keys %options;
5937   }
5938
5939   eval "use Business::OnlineThirdPartyPayment";  
5940   die $@ if $@;
5941
5942   ###
5943   # select the gateway
5944   ###
5945
5946   my $method = FS::payby->payby2bop($cust_pay_pending->payby);
5947
5948   my $payment_gateway = $cust_pay_pending->gatewaynum
5949     ? qsearchs( 'payment_gateway',
5950                 { gatewaynum => $cust_pay_pending->gatewaynum }
5951               )
5952     : $self->agent->payment_gateway( 'method' => $method,
5953                                      # 'invnum'  => $cust_pay_pending->invnum,
5954                                      # 'payinfo' => $cust_pay_pending->payinfo,
5955                                    );
5956
5957   $options{payment_gateway} = $payment_gateway; # for the helper subs
5958
5959   ###
5960   # massage data
5961   ###
5962
5963   my @invoicing_list = $self->invoicing_list_emailonly;
5964   if ( $conf->exists('emailinvoiceautoalways')
5965        || $conf->exists('emailinvoiceauto') && ! @invoicing_list
5966        || ( $conf->exists('emailinvoiceonly') && ! @invoicing_list ) ) {
5967     push @invoicing_list, $self->all_emails;
5968   }
5969
5970   my $email = ($conf->exists('business-onlinepayment-email-override'))
5971               ? $conf->config('business-onlinepayment-email-override')
5972               : $invoicing_list[0];
5973
5974   my %content = ();
5975
5976   $content{email_customer} = 
5977     (    $conf->exists('business-onlinepayment-email_customer')
5978       || $conf->exists('business-onlinepayment-email-override') );
5979       
5980   ###
5981   # run transaction(s)
5982   ###
5983
5984   my $transaction =
5985     new Business::OnlineThirdPartyPayment( $payment_gateway->gateway_module,
5986                                            $self->_bop_options(\%options),
5987                                          );
5988
5989   $transaction->reference({ %options }); 
5990
5991   $transaction->content(
5992     'type'           => $method,
5993     $self->_bop_auth(\%options),
5994     'action'         => 'Post Authorization',
5995     'description'    => $options{'description'},
5996     'amount'         => $cust_pay_pending->paid,
5997     #'invoice_number' => $options{'invnum'},
5998     'customer_id'    => $self->custnum,
5999     'referer'        => 'http://cleanwhisker.420.am/',
6000     'reference'      => $cust_pay_pending->paypendingnum,
6001     'email'          => $email,
6002     'phone'          => $self->daytime || $self->night,
6003     %content, #after
6004     # plus whatever is required for bogus capture avoidance
6005   );
6006
6007   $transaction->submit();
6008
6009   my $error =
6010     $self->_realtime_bop_result( $cust_pay_pending, $transaction, %options );
6011
6012   {
6013     bill_error => $error,
6014     session_id => $cust_pay_pending->session_id,
6015   }
6016
6017 }
6018
6019 =item default_payment_gateway DEPRECATED -- use agent->payment_gateway
6020
6021 =cut
6022
6023 sub default_payment_gateway {
6024   my( $self, $method ) = @_;
6025
6026   die "Real-time processing not enabled\n"
6027     unless $conf->exists('business-onlinepayment');
6028
6029   #warn "default_payment_gateway deprecated -- use agent->payment_gateway\n";
6030
6031   #load up config
6032   my $bop_config = 'business-onlinepayment';
6033   $bop_config .= '-ach'
6034     if $method =~ /^(ECHECK|CHEK)$/ && $conf->exists($bop_config. '-ach');
6035   my ( $processor, $login, $password, $action, @bop_options ) =
6036     $conf->config($bop_config);
6037   $action ||= 'normal authorization';
6038   pop @bop_options if scalar(@bop_options) % 2 && $bop_options[-1] =~ /^\s*$/;
6039   die "No real-time processor is enabled - ".
6040       "did you set the business-onlinepayment configuration value?\n"
6041     unless $processor;
6042
6043   ( $processor, $login, $password, $action, @bop_options )
6044 }
6045
6046 =item remove_cvv
6047
6048 Removes the I<paycvv> field from the database directly.
6049
6050 If there is an error, returns the error, otherwise returns false.
6051
6052 =cut
6053
6054 sub remove_cvv {
6055   my $self = shift;
6056   my $sth = dbh->prepare("UPDATE cust_main SET paycvv = '' WHERE custnum = ?")
6057     or return dbh->errstr;
6058   $sth->execute($self->custnum)
6059     or return $sth->errstr;
6060   $self->paycvv('');
6061   '';
6062 }
6063
6064 =item _new_realtime_refund_bop METHOD [ OPTION => VALUE ... ]
6065
6066 Refunds a realtime credit card, ACH (electronic check) or phone bill transaction
6067 via a Business::OnlinePayment realtime gateway.  See
6068 L<http://420.am/business-onlinepayment> for supported gateways.
6069
6070 Available methods are: I<CC>, I<ECHECK> and I<LEC>
6071
6072 Available options are: I<amount>, I<reason>, I<paynum>, I<paydate>
6073
6074 Most gateways require a reference to an original payment transaction to refund,
6075 so you probably need to specify a I<paynum>.
6076
6077 I<amount> defaults to the original amount of the payment if not specified.
6078
6079 I<reason> specifies a reason for the refund.
6080
6081 I<paydate> specifies the expiration date for a credit card overriding the
6082 value from the customer record or the payment record. Specified as yyyy-mm-dd
6083
6084 Implementation note: If I<amount> is unspecified or equal to the amount of the
6085 orignal payment, first an attempt is made to "void" the transaction via
6086 the gateway (to cancel a not-yet settled transaction) and then if that fails,
6087 the normal attempt is made to "refund" ("credit") the transaction via the
6088 gateway is attempted.
6089
6090 #The additional options I<payname>, I<address1>, I<address2>, I<city>, I<state>,
6091 #I<zip>, I<payinfo> and I<paydate> are also available.  Any of these options,
6092 #if set, will override the value from the customer record.
6093
6094 #If an I<invnum> is specified, this payment (if successful) is applied to the
6095 #specified invoice.  If you don't specify an I<invnum> you might want to
6096 #call the B<apply_payments> method.
6097
6098 =cut
6099
6100 #some false laziness w/realtime_bop, not enough to make it worth merging
6101 #but some useful small subs should be pulled out
6102 sub _new_realtime_refund_bop {
6103   my $self = shift;
6104
6105   my %options = ();
6106   if (ref($_[0]) ne 'HASH') {
6107     %options = %{$_[0]};
6108   } else {
6109     my $method = shift;
6110     %options = @_;
6111     $options{method} = $method;
6112   }
6113
6114   if ( $DEBUG ) {
6115     warn "$me realtime_refund_bop (new): $options{method} refund\n";
6116     warn "  $_ => $options{$_}\n" foreach keys %options;
6117   }
6118
6119   ###
6120   # look up the original payment and optionally a gateway for that payment
6121   ###
6122
6123   my $cust_pay = '';
6124   my $amount = $options{'amount'};
6125
6126   my( $processor, $login, $password, @bop_options, $namespace ) ;
6127   my( $auth, $order_number ) = ( '', '', '' );
6128
6129   if ( $options{'paynum'} ) {
6130
6131     warn "  paynum: $options{paynum}\n" if $DEBUG > 1;
6132     $cust_pay = qsearchs('cust_pay', { paynum=>$options{'paynum'} } )
6133       or return "Unknown paynum $options{'paynum'}";
6134     $amount ||= $cust_pay->paid;
6135
6136     $cust_pay->paybatch =~ /^((\d+)\-)?(\w+):\s*([\w\-\/ ]*)(:([\w\-]+))?$/
6137       or return "Can't parse paybatch for paynum $options{'paynum'}: ".
6138                 $cust_pay->paybatch;
6139     my $gatewaynum = '';
6140     ( $gatewaynum, $processor, $auth, $order_number ) = ( $2, $3, $4, $6 );
6141
6142     if ( $gatewaynum ) { #gateway for the payment to be refunded
6143
6144       my $payment_gateway =
6145         qsearchs('payment_gateway', { 'gatewaynum' => $gatewaynum } );
6146       die "payment gateway $gatewaynum not found"
6147         unless $payment_gateway;
6148
6149       $processor   = $payment_gateway->gateway_module;
6150       $login       = $payment_gateway->gateway_username;
6151       $password    = $payment_gateway->gateway_password;
6152       $namespace   = $payment_gateway->gateway_namespace;
6153       @bop_options = $payment_gateway->options;
6154
6155     } else { #try the default gateway
6156
6157       my $conf_processor;
6158       my $payment_gateway =
6159         $self->agent->payment_gateway('method' => $options{method});
6160
6161       ( $conf_processor, $login, $password, $namespace ) =
6162         map { my $method = "gateway_$_"; $payment_gateway->$method }
6163           qw( module username password namespace );
6164
6165       @bop_options = $payment_gateway->gatewaynum
6166                        ? $payment_gateway->options
6167                        : @{ $payment_gateway->get('options') };
6168
6169       return "processor of payment $options{'paynum'} $processor does not".
6170              " match default processor $conf_processor"
6171         unless $processor eq $conf_processor;
6172
6173     }
6174
6175
6176   } else { # didn't specify a paynum, so look for agent gateway overrides
6177            # like a normal transaction 
6178  
6179     my $payment_gateway =
6180       $self->agent->payment_gateway( 'method'  => $options{method},
6181                                      #'payinfo' => $payinfo,
6182                                    );
6183     my( $processor, $login, $password, $namespace ) =
6184       map { my $method = "gateway_$_"; $payment_gateway->$method }
6185         qw( module username password namespace );
6186
6187     my @bop_options = $payment_gateway->gatewaynum
6188                         ? $payment_gateway->options
6189                         : @{ $payment_gateway->get('options') };
6190
6191   }
6192   return "neither amount nor paynum specified" unless $amount;
6193
6194   eval "use $namespace";  
6195   die $@ if $@;
6196
6197   my %content = (
6198     'type'           => $options{method},
6199     'login'          => $login,
6200     'password'       => $password,
6201     'order_number'   => $order_number,
6202     'amount'         => $amount,
6203     'referer'        => 'http://cleanwhisker.420.am/', #XXX fix referer :/
6204   );
6205   $content{authorization} = $auth
6206     if length($auth); #echeck/ACH transactions have an order # but no auth
6207                       #(at least with authorize.net)
6208
6209   my $disable_void_after;
6210   if ($conf->exists('disable_void_after')
6211       && $conf->config('disable_void_after') =~ /^(\d+)$/) {
6212     $disable_void_after = $1;
6213   }
6214
6215   #first try void if applicable
6216   if ( $cust_pay && $cust_pay->paid == $amount
6217     && (
6218       ( not defined($disable_void_after) )
6219       || ( time < ($cust_pay->_date + $disable_void_after ) )
6220     )
6221   ) {
6222     warn "  attempting void\n" if $DEBUG > 1;
6223     my $void = new Business::OnlinePayment( $processor, @bop_options );
6224     if ( $void->can('info') ) {
6225       if ( $cust_pay->payby eq 'CARD'
6226            && $void->info('CC_void_requires_card') )
6227       {
6228         $content{'card_number'} = $cust_pay->payinfo;
6229       } elsif ( $cust_pay->payby eq 'CHEK'
6230                 && $void->info('ECHECK_void_requires_account') )
6231       {
6232         ( $content{'account_number'}, $content{'routing_code'} ) =
6233           split('@', $cust_pay->payinfo);
6234         $content{'name'} = $self->get('first'). ' '. $self->get('last');
6235       }
6236     }
6237     $void->content( 'action' => 'void', %content );
6238     $void->submit();
6239     if ( $void->is_success ) {
6240       my $error = $cust_pay->void($options{'reason'});
6241       if ( $error ) {
6242         # gah, even with transactions.
6243         my $e = 'WARNING: Card/ACH voided but database not updated - '.
6244                 "error voiding payment: $error";
6245         warn $e;
6246         return $e;
6247       }
6248       warn "  void successful\n" if $DEBUG > 1;
6249       return '';
6250     }
6251   }
6252
6253   warn "  void unsuccessful, trying refund\n"
6254     if $DEBUG > 1;
6255
6256   #massage data
6257   my $address = $self->address1;
6258   $address .= ", ". $self->address2 if $self->address2;
6259
6260   my($payname, $payfirst, $paylast);
6261   if ( $self->payname && $options{method} ne 'ECHECK' ) {
6262     $payname = $self->payname;
6263     $payname =~ /^\s*([\w \,\.\-\']*)?\s+([\w\,\.\-\']+)\s*$/
6264       or return "Illegal payname $payname";
6265     ($payfirst, $paylast) = ($1, $2);
6266   } else {
6267     $payfirst = $self->getfield('first');
6268     $paylast = $self->getfield('last');
6269     $payname =  "$payfirst $paylast";
6270   }
6271
6272   my @invoicing_list = $self->invoicing_list_emailonly;
6273   if ( $conf->exists('emailinvoiceautoalways')
6274        || $conf->exists('emailinvoiceauto') && ! @invoicing_list
6275        || ( $conf->exists('emailinvoiceonly') && ! @invoicing_list ) ) {
6276     push @invoicing_list, $self->all_emails;
6277   }
6278
6279   my $email = ($conf->exists('business-onlinepayment-email-override'))
6280               ? $conf->config('business-onlinepayment-email-override')
6281               : $invoicing_list[0];
6282
6283   my $payip = exists($options{'payip'})
6284                 ? $options{'payip'}
6285                 : $self->payip;
6286   $content{customer_ip} = $payip
6287     if length($payip);
6288
6289   my $payinfo = '';
6290   if ( $options{method} eq 'CC' ) {
6291
6292     if ( $cust_pay ) {
6293       $content{card_number} = $payinfo = $cust_pay->payinfo;
6294       (exists($options{'paydate'}) ? $options{'paydate'} : $cust_pay->paydate)
6295         =~ /^\d{2}(\d{2})[\/\-](\d+)[\/\-]\d+$/ &&
6296         ($content{expiration} = "$2/$1");  # where available
6297     } else {
6298       $content{card_number} = $payinfo = $self->payinfo;
6299       (exists($options{'paydate'}) ? $options{'paydate'} : $self->paydate)
6300         =~ /^\d{2}(\d{2})[\/\-](\d+)[\/\-]\d+$/;
6301       $content{expiration} = "$2/$1";
6302     }
6303
6304   } elsif ( $options{method} eq 'ECHECK' ) {
6305
6306     if ( $cust_pay ) {
6307       $payinfo = $cust_pay->payinfo;
6308     } else {
6309       $payinfo = $self->payinfo;
6310     } 
6311     ( $content{account_number}, $content{routing_code} )= split('@', $payinfo );
6312     $content{bank_name} = $self->payname;
6313     $content{account_type} = 'CHECKING';
6314     $content{account_name} = $payname;
6315     $content{customer_org} = $self->company ? 'B' : 'I';
6316     $content{customer_ssn} = $self->ss;
6317   } elsif ( $options{method} eq 'LEC' ) {
6318     $content{phone} = $payinfo = $self->payinfo;
6319   }
6320
6321   #then try refund
6322   my $refund = new Business::OnlinePayment( $processor, @bop_options );
6323   my %sub_content = $refund->content(
6324     'action'         => 'credit',
6325     'customer_id'    => $self->custnum,
6326     'last_name'      => $paylast,
6327     'first_name'     => $payfirst,
6328     'name'           => $payname,
6329     'address'        => $address,
6330     'city'           => $self->city,
6331     'state'          => $self->state,
6332     'zip'            => $self->zip,
6333     'country'        => $self->country,
6334     'email'          => $email,
6335     'phone'          => $self->daytime || $self->night,
6336     %content, #after
6337   );
6338   warn join('', map { "  $_ => $sub_content{$_}\n" } keys %sub_content )
6339     if $DEBUG > 1;
6340   $refund->submit();
6341
6342   return "$processor error: ". $refund->error_message
6343     unless $refund->is_success();
6344
6345   my $paybatch = "$processor:". $refund->authorization;
6346   $paybatch .= ':'. $refund->order_number
6347     if $refund->can('order_number') && $refund->order_number;
6348
6349   while ( $cust_pay && $cust_pay->unapplied < $amount ) {
6350     my @cust_bill_pay = $cust_pay->cust_bill_pay;
6351     last unless @cust_bill_pay;
6352     my $cust_bill_pay = pop @cust_bill_pay;
6353     my $error = $cust_bill_pay->delete;
6354     last if $error;
6355   }
6356
6357   my $cust_refund = new FS::cust_refund ( {
6358     'custnum'  => $self->custnum,
6359     'paynum'   => $options{'paynum'},
6360     'refund'   => $amount,
6361     '_date'    => '',
6362     'payby'    => $bop_method2payby{$options{method}},
6363     'payinfo'  => $payinfo,
6364     'paybatch' => $paybatch,
6365     'reason'   => $options{'reason'} || 'card or ACH refund',
6366   } );
6367   my $error = $cust_refund->insert;
6368   if ( $error ) {
6369     $cust_refund->paynum(''); #try again with no specific paynum
6370     my $error2 = $cust_refund->insert;
6371     if ( $error2 ) {
6372       # gah, even with transactions.
6373       my $e = 'WARNING: Card/ACH refunded but database not updated - '.
6374               "error inserting refund ($processor): $error2".
6375               " (previously tried insert with paynum #$options{'paynum'}" .
6376               ": $error )";
6377       warn $e;
6378       return $e;
6379     }
6380   }
6381
6382   ''; #no error
6383
6384 }
6385
6386 =item batch_card OPTION => VALUE...
6387
6388 Adds a payment for this invoice to the pending credit card batch (see
6389 L<FS::cust_pay_batch>), or, if the B<realtime> option is set to a true value,
6390 runs the payment using a realtime gateway.
6391
6392 =cut
6393
6394 sub batch_card {
6395   my ($self, %options) = @_;
6396
6397   my $amount;
6398   if (exists($options{amount})) {
6399     $amount = $options{amount};
6400   }else{
6401     $amount = sprintf("%.2f", $self->balance - $self->in_transit_payments);
6402   }
6403   return '' unless $amount > 0;
6404   
6405   my $invnum = delete $options{invnum};
6406   my $payby = $options{invnum} || $self->payby;  #dubious
6407
6408   if ($options{'realtime'}) {
6409     return $self->realtime_bop( FS::payby->payby2bop($self->payby),
6410                                 $amount,
6411                                 %options,
6412                               );
6413   }
6414
6415   my $oldAutoCommit = $FS::UID::AutoCommit;
6416   local $FS::UID::AutoCommit = 0;
6417   my $dbh = dbh;
6418
6419   #this needs to handle mysql as well as Pg, like svc_acct.pm
6420   #(make it into a common function if folks need to do batching with mysql)
6421   $dbh->do("LOCK TABLE pay_batch IN SHARE ROW EXCLUSIVE MODE")
6422     or return "Cannot lock pay_batch: " . $dbh->errstr;
6423
6424   my %pay_batch = (
6425     'status' => 'O',
6426     'payby'  => FS::payby->payby2payment($payby),
6427   );
6428
6429   my $pay_batch = qsearchs( 'pay_batch', \%pay_batch );
6430
6431   unless ( $pay_batch ) {
6432     $pay_batch = new FS::pay_batch \%pay_batch;
6433     my $error = $pay_batch->insert;
6434     if ( $error ) {
6435       $dbh->rollback if $oldAutoCommit;
6436       die "error creating new batch: $error\n";
6437     }
6438   }
6439
6440   my $old_cust_pay_batch = qsearchs('cust_pay_batch', {
6441       'batchnum' => $pay_batch->batchnum,
6442       'custnum'  => $self->custnum,
6443   } );
6444
6445   foreach (qw( address1 address2 city state zip country payby payinfo paydate
6446                payname )) {
6447     $options{$_} = '' unless exists($options{$_});
6448   }
6449
6450   my $cust_pay_batch = new FS::cust_pay_batch ( {
6451     'batchnum' => $pay_batch->batchnum,
6452     'invnum'   => $invnum || 0,                    # is there a better value?
6453                                                    # this field should be
6454                                                    # removed...
6455                                                    # cust_bill_pay_batch now
6456     'custnum'  => $self->custnum,
6457     'last'     => $self->getfield('last'),
6458     'first'    => $self->getfield('first'),
6459     'address1' => $options{address1} || $self->address1,
6460     'address2' => $options{address2} || $self->address2,
6461     'city'     => $options{city}     || $self->city,
6462     'state'    => $options{state}    || $self->state,
6463     'zip'      => $options{zip}      || $self->zip,
6464     'country'  => $options{country}  || $self->country,
6465     'payby'    => $options{payby}    || $self->payby,
6466     'payinfo'  => $options{payinfo}  || $self->payinfo,
6467     'exp'      => $options{paydate}  || $self->paydate,
6468     'payname'  => $options{payname}  || $self->payname,
6469     'amount'   => $amount,                         # consolidating
6470   } );
6471   
6472   $cust_pay_batch->paybatchnum($old_cust_pay_batch->paybatchnum)
6473     if $old_cust_pay_batch;
6474
6475   my $error;
6476   if ($old_cust_pay_batch) {
6477     $error = $cust_pay_batch->replace($old_cust_pay_batch)
6478   } else {
6479     $error = $cust_pay_batch->insert;
6480   }
6481
6482   if ( $error ) {
6483     $dbh->rollback if $oldAutoCommit;
6484     die $error;
6485   }
6486
6487   my $unapplied =   $self->total_unapplied_credits
6488                   + $self->total_unapplied_payments
6489                   + $self->in_transit_payments;
6490   foreach my $cust_bill ($self->open_cust_bill) {
6491     #$dbh->commit or die $dbh->errstr if $oldAutoCommit;
6492     my $cust_bill_pay_batch = new FS::cust_bill_pay_batch {
6493       'invnum' => $cust_bill->invnum,
6494       'paybatchnum' => $cust_pay_batch->paybatchnum,
6495       'amount' => $cust_bill->owed,
6496       '_date' => time,
6497     };
6498     if ($unapplied >= $cust_bill_pay_batch->amount){
6499       $unapplied -= $cust_bill_pay_batch->amount;
6500       next;
6501     }else{
6502       $cust_bill_pay_batch->amount(sprintf ( "%.2f", 
6503                                    $cust_bill_pay_batch->amount - $unapplied ));      $unapplied = 0;
6504     }
6505     $error = $cust_bill_pay_batch->insert;
6506     if ( $error ) {
6507       $dbh->rollback if $oldAutoCommit;
6508       die $error;
6509     }
6510   }
6511
6512   $dbh->commit or die $dbh->errstr if $oldAutoCommit;
6513   '';
6514 }
6515
6516 =item apply_payments_and_credits [ OPTION => VALUE ... ]
6517
6518 Applies unapplied payments and credits.
6519
6520 In most cases, this new method should be used in place of sequential
6521 apply_payments and apply_credits methods.
6522
6523 A hash of optional arguments may be passed.  Currently "manual" is supported.
6524 If true, a payment receipt is sent instead of a statement when
6525 'payment_receipt_email' configuration option is set.
6526
6527 If there is an error, returns the error, otherwise returns false.
6528
6529 =cut
6530
6531 sub apply_payments_and_credits {
6532   my( $self, %options ) = @_;
6533
6534   local $SIG{HUP} = 'IGNORE';
6535   local $SIG{INT} = 'IGNORE';
6536   local $SIG{QUIT} = 'IGNORE';
6537   local $SIG{TERM} = 'IGNORE';
6538   local $SIG{TSTP} = 'IGNORE';
6539   local $SIG{PIPE} = 'IGNORE';
6540
6541   my $oldAutoCommit = $FS::UID::AutoCommit;
6542   local $FS::UID::AutoCommit = 0;
6543   my $dbh = dbh;
6544
6545   $self->select_for_update; #mutex
6546
6547   foreach my $cust_bill ( $self->open_cust_bill ) {
6548     my $error = $cust_bill->apply_payments_and_credits(%options);
6549     if ( $error ) {
6550       $dbh->rollback if $oldAutoCommit;
6551       return "Error applying: $error";
6552     }
6553   }
6554
6555   $dbh->commit or die $dbh->errstr if $oldAutoCommit;
6556   ''; #no error
6557
6558 }
6559
6560 =item apply_credits OPTION => VALUE ...
6561
6562 Applies (see L<FS::cust_credit_bill>) unapplied credits (see L<FS::cust_credit>)
6563 to outstanding invoice balances in chronological order (or reverse
6564 chronological order if the I<order> option is set to B<newest>) and returns the
6565 value of any remaining unapplied credits available for refund (see
6566 L<FS::cust_refund>).
6567
6568 Dies if there is an error.
6569
6570 =cut
6571
6572 sub apply_credits {
6573   my $self = shift;
6574   my %opt = @_;
6575
6576   local $SIG{HUP} = 'IGNORE';
6577   local $SIG{INT} = 'IGNORE';
6578   local $SIG{QUIT} = 'IGNORE';
6579   local $SIG{TERM} = 'IGNORE';
6580   local $SIG{TSTP} = 'IGNORE';
6581   local $SIG{PIPE} = 'IGNORE';
6582
6583   my $oldAutoCommit = $FS::UID::AutoCommit;
6584   local $FS::UID::AutoCommit = 0;
6585   my $dbh = dbh;
6586
6587   $self->select_for_update; #mutex
6588
6589   unless ( $self->total_unapplied_credits ) {
6590     $dbh->commit or die $dbh->errstr if $oldAutoCommit;
6591     return 0;
6592   }
6593
6594   my @credits = sort { $b->_date <=> $a->_date} (grep { $_->credited > 0 }
6595       qsearch('cust_credit', { 'custnum' => $self->custnum } ) );
6596
6597   my @invoices = $self->open_cust_bill;
6598   @invoices = sort { $b->_date <=> $a->_date } @invoices
6599     if defined($opt{'order'}) && $opt{'order'} eq 'newest';
6600
6601   if ( $conf->exists('pkg-balances') ) {
6602     # limit @credits to those w/ a pkgnum grepped from $self
6603     my %pkgnums = ();
6604     foreach my $i (@invoices) {
6605       foreach my $li ( $i->cust_bill_pkg ) {
6606         $pkgnums{$li->pkgnum} = 1;
6607       }
6608     }
6609     @credits = grep { ! $_->pkgnum || $pkgnums{$_->pkgnum} } @credits;
6610   }
6611
6612   my $credit;
6613
6614   foreach my $cust_bill ( @invoices ) {
6615
6616     if ( !defined($credit) || $credit->credited == 0) {
6617       $credit = pop @credits or last;
6618     }
6619
6620     my $owed;
6621     if ( $conf->exists('pkg-balances') && $credit->pkgnum ) {
6622       $owed = $cust_bill->owed_pkgnum($credit->pkgnum);
6623     } else {
6624       $owed = $cust_bill->owed;
6625     }
6626     unless ( $owed > 0 ) {
6627       push @credits, $credit;
6628       next;
6629     }
6630
6631     my $amount = min( $credit->credited, $owed );
6632     
6633     my $cust_credit_bill = new FS::cust_credit_bill ( {
6634       'crednum' => $credit->crednum,
6635       'invnum'  => $cust_bill->invnum,
6636       'amount'  => $amount,
6637     } );
6638     $cust_credit_bill->pkgnum( $credit->pkgnum )
6639       if $conf->exists('pkg-balances') && $credit->pkgnum;
6640     my $error = $cust_credit_bill->insert;
6641     if ( $error ) {
6642       $dbh->rollback or die $dbh->errstr if $oldAutoCommit;
6643       die $error;
6644     }
6645     
6646     redo if ($cust_bill->owed > 0) && ! $conf->exists('pkg-balances');
6647
6648   }
6649
6650   my $total_unapplied_credits = $self->total_unapplied_credits;
6651
6652   $dbh->commit or die $dbh->errstr if $oldAutoCommit;
6653
6654   return $total_unapplied_credits;
6655 }
6656
6657 =item apply_payments  [ OPTION => VALUE ... ]
6658
6659 Applies (see L<FS::cust_bill_pay>) unapplied payments (see L<FS::cust_pay>)
6660 to outstanding invoice balances in chronological order.
6661
6662  #and returns the value of any remaining unapplied payments.
6663
6664 A hash of optional arguments may be passed.  Currently "manual" is supported.
6665 If true, a payment receipt is sent instead of a statement when
6666 'payment_receipt_email' configuration option is set.
6667
6668 Dies if there is an error.
6669
6670 =cut
6671
6672 sub apply_payments {
6673   my( $self, %options ) = @_;
6674
6675   local $SIG{HUP} = 'IGNORE';
6676   local $SIG{INT} = 'IGNORE';
6677   local $SIG{QUIT} = 'IGNORE';
6678   local $SIG{TERM} = 'IGNORE';
6679   local $SIG{TSTP} = 'IGNORE';
6680   local $SIG{PIPE} = 'IGNORE';
6681
6682   my $oldAutoCommit = $FS::UID::AutoCommit;
6683   local $FS::UID::AutoCommit = 0;
6684   my $dbh = dbh;
6685
6686   $self->select_for_update; #mutex
6687
6688   #return 0 unless
6689
6690   my @payments = sort { $b->_date <=> $a->_date }
6691                  grep { $_->unapplied > 0 }
6692                  $self->cust_pay;
6693
6694   my @invoices = sort { $a->_date <=> $b->_date}
6695                  grep { $_->owed > 0 }
6696                  $self->cust_bill;
6697
6698   if ( $conf->exists('pkg-balances') ) {
6699     # limit @payments to those w/ a pkgnum grepped from $self
6700     my %pkgnums = ();
6701     foreach my $i (@invoices) {
6702       foreach my $li ( $i->cust_bill_pkg ) {
6703         $pkgnums{$li->pkgnum} = 1;
6704       }
6705     }
6706     @payments = grep { ! $_->pkgnum || $pkgnums{$_->pkgnum} } @payments;
6707   }
6708
6709   my $payment;
6710
6711   foreach my $cust_bill ( @invoices ) {
6712
6713     if ( !defined($payment) || $payment->unapplied == 0 ) {
6714       $payment = pop @payments or last;
6715     }
6716
6717     my $owed;
6718     if ( $conf->exists('pkg-balances') && $payment->pkgnum ) {
6719       $owed = $cust_bill->owed_pkgnum($payment->pkgnum);
6720     } else {
6721       $owed = $cust_bill->owed;
6722     }
6723     unless ( $owed > 0 ) {
6724       push @payments, $payment;
6725       next;
6726     }
6727
6728     my $amount = min( $payment->unapplied, $owed );
6729
6730     my $cust_bill_pay = new FS::cust_bill_pay ( {
6731       'paynum' => $payment->paynum,
6732       'invnum' => $cust_bill->invnum,
6733       'amount' => $amount,
6734     } );
6735     $cust_bill_pay->pkgnum( $payment->pkgnum )
6736       if $conf->exists('pkg-balances') && $payment->pkgnum;
6737     my $error = $cust_bill_pay->insert(%options);
6738     if ( $error ) {
6739       $dbh->rollback or die $dbh->errstr if $oldAutoCommit;
6740       die $error;
6741     }
6742
6743     redo if ( $cust_bill->owed > 0) && ! $conf->exists('pkg-balances');
6744
6745   }
6746
6747   my $total_unapplied_payments = $self->total_unapplied_payments;
6748
6749   $dbh->commit or die $dbh->errstr if $oldAutoCommit;
6750
6751   return $total_unapplied_payments;
6752 }
6753
6754 =item total_owed
6755
6756 Returns the total owed for this customer on all invoices
6757 (see L<FS::cust_bill/owed>).
6758
6759 =cut
6760
6761 sub total_owed {
6762   my $self = shift;
6763   $self->total_owed_date(2145859200); #12/31/2037
6764 }
6765
6766 =item total_owed_date TIME
6767
6768 Returns the total owed for this customer on all invoices with date earlier than
6769 TIME.  TIME is specified as a UNIX timestamp; see L<perlfunc/"time">).  Also
6770 see L<Time::Local> and L<Date::Parse> for conversion functions.
6771
6772 =cut
6773
6774 sub total_owed_date {
6775   my $self = shift;
6776   my $time = shift;
6777
6778 #  my $custnum = $self->custnum;
6779 #
6780 #  my $owed_sql = FS::cust_bill->owed_sql;
6781 #
6782 #  my $sql = "
6783 #    SELECT SUM($owed_sql) FROM cust_bill
6784 #      WHERE custnum = $custnum
6785 #        AND _date <= $time
6786 #  ";
6787 #
6788 #  my $sth = dbh->prepare($sql) or die dbh->errstr;
6789 #  $sth->execute() or die $sth->errstr;
6790 #
6791 #  return sprintf( '%.2f', $sth->fetchrow_arrayref->[0] );
6792
6793   my $total_bill = 0;
6794   foreach my $cust_bill (
6795     grep { $_->_date <= $time }
6796       qsearch('cust_bill', { 'custnum' => $self->custnum, } )
6797   ) {
6798     $total_bill += $cust_bill->owed;
6799   }
6800   sprintf( "%.2f", $total_bill );
6801
6802 }
6803
6804 =item total_owed_pkgnum PKGNUM
6805
6806 Returns the total owed on all invoices for this customer's specific package
6807 when using experimental package balances (see L<FS::cust_bill/owed_pkgnum>).
6808
6809 =cut
6810
6811 sub total_owed_pkgnum {
6812   my( $self, $pkgnum ) = @_;
6813   $self->total_owed_date_pkgnum(2145859200, $pkgnum); #12/31/2037
6814 }
6815
6816 =item total_owed_date_pkgnum TIME PKGNUM
6817
6818 Returns the total owed for this customer's specific package when using
6819 experimental package balances on all invoices with date earlier than
6820 TIME.  TIME is specified as a UNIX timestamp; see L<perlfunc/"time">).  Also
6821 see L<Time::Local> and L<Date::Parse> for conversion functions.
6822
6823 =cut
6824
6825 sub total_owed_date_pkgnum {
6826   my( $self, $time, $pkgnum ) = @_;
6827
6828   my $total_bill = 0;
6829   foreach my $cust_bill (
6830     grep { $_->_date <= $time }
6831       qsearch('cust_bill', { 'custnum' => $self->custnum, } )
6832   ) {
6833     $total_bill += $cust_bill->owed_pkgnum($pkgnum);
6834   }
6835   sprintf( "%.2f", $total_bill );
6836
6837 }
6838
6839 =item total_paid
6840
6841 Returns the total amount of all payments.
6842
6843 =cut
6844
6845 sub total_paid {
6846   my $self = shift;
6847   my $total = 0;
6848   $total += $_->paid foreach $self->cust_pay;
6849   sprintf( "%.2f", $total );
6850 }
6851
6852 =item total_unapplied_credits
6853
6854 Returns the total outstanding credit (see L<FS::cust_credit>) for this
6855 customer.  See L<FS::cust_credit/credited>.
6856
6857 =item total_credited
6858
6859 Old name for total_unapplied_credits.  Don't use.
6860
6861 =cut
6862
6863 sub total_credited {
6864   #carp "total_credited deprecated, use total_unapplied_credits";
6865   shift->total_unapplied_credits(@_);
6866 }
6867
6868 sub total_unapplied_credits {
6869   my $self = shift;
6870   my $total_credit = 0;
6871   $total_credit += $_->credited foreach $self->cust_credit;
6872   sprintf( "%.2f", $total_credit );
6873 }
6874
6875 =item total_unapplied_credits_pkgnum PKGNUM
6876
6877 Returns the total outstanding credit (see L<FS::cust_credit>) for this
6878 customer.  See L<FS::cust_credit/credited>.
6879
6880 =cut
6881
6882 sub total_unapplied_credits_pkgnum {
6883   my( $self, $pkgnum ) = @_;
6884   my $total_credit = 0;
6885   $total_credit += $_->credited foreach $self->cust_credit_pkgnum($pkgnum);
6886   sprintf( "%.2f", $total_credit );
6887 }
6888
6889
6890 =item total_unapplied_payments
6891
6892 Returns the total unapplied payments (see L<FS::cust_pay>) for this customer.
6893 See L<FS::cust_pay/unapplied>.
6894
6895 =cut
6896
6897 sub total_unapplied_payments {
6898   my $self = shift;
6899   my $total_unapplied = 0;
6900   $total_unapplied += $_->unapplied foreach $self->cust_pay;
6901   sprintf( "%.2f", $total_unapplied );
6902 }
6903
6904 =item total_unapplied_payments_pkgnum PKGNUM
6905
6906 Returns the total unapplied payments (see L<FS::cust_pay>) for this customer's
6907 specific package when using experimental package balances.  See
6908 L<FS::cust_pay/unapplied>.
6909
6910 =cut
6911
6912 sub total_unapplied_payments_pkgnum {
6913   my( $self, $pkgnum ) = @_;
6914   my $total_unapplied = 0;
6915   $total_unapplied += $_->unapplied foreach $self->cust_pay_pkgnum($pkgnum);
6916   sprintf( "%.2f", $total_unapplied );
6917 }
6918
6919
6920 =item total_unapplied_refunds
6921
6922 Returns the total unrefunded refunds (see L<FS::cust_refund>) for this
6923 customer.  See L<FS::cust_refund/unapplied>.
6924
6925 =cut
6926
6927 sub total_unapplied_refunds {
6928   my $self = shift;
6929   my $total_unapplied = 0;
6930   $total_unapplied += $_->unapplied foreach $self->cust_refund;
6931   sprintf( "%.2f", $total_unapplied );
6932 }
6933
6934 =item balance
6935
6936 Returns the balance for this customer (total_owed plus total_unrefunded, minus
6937 total_unapplied_credits minus total_unapplied_payments).
6938
6939 =cut
6940
6941 sub balance {
6942   my $self = shift;
6943   sprintf( "%.2f",
6944       $self->total_owed
6945     + $self->total_unapplied_refunds
6946     - $self->total_unapplied_credits
6947     - $self->total_unapplied_payments
6948   );
6949 }
6950
6951 =item balance_date TIME
6952
6953 Returns the balance for this customer, only considering invoices with date
6954 earlier than TIME (total_owed_date minus total_credited minus
6955 total_unapplied_payments).  TIME is specified as a UNIX timestamp; see
6956 L<perlfunc/"time">).  Also see L<Time::Local> and L<Date::Parse> for conversion
6957 functions.
6958
6959 =cut
6960
6961 sub balance_date {
6962   my $self = shift;
6963   my $time = shift;
6964   sprintf( "%.2f",
6965         $self->total_owed_date($time)
6966       + $self->total_unapplied_refunds
6967       - $self->total_unapplied_credits
6968       - $self->total_unapplied_payments
6969   );
6970 }
6971
6972 =item balance_date_range START_TIME [ END_TIME [ OPTION => VALUE ... ] ]
6973
6974 Returns the balance for this customer, only considering invoices with date
6975 earlier than START_TIME, and optionally not later than END_TIME
6976 (total_owed_date minus total_unapplied_credits minus total_unapplied_payments).
6977
6978 Times are specified as SQL fragments or numeric
6979 UNIX timestamps; see L<perlfunc/"time">).  Also see L<Time::Local> and
6980 L<Date::Parse> for conversion functions.  The empty string can be passed
6981 to disable that time constraint completely.
6982
6983 Available options are:
6984
6985 =over 4
6986
6987 =item unapplied_date
6988
6989 set to true to disregard unapplied credits, payments and refunds outside the specified time period - by default the time period restriction only applies to invoices (useful for reporting, probably a bad idea for event triggering)
6990
6991 =back
6992
6993 =cut
6994
6995 sub balance_date_range {
6996   my $self = shift;
6997   my $sql = 'SELECT SUM('. $self->balance_date_sql(@_).
6998             ') FROM cust_main WHERE custnum='. $self->custnum;
6999   sprintf( "%.2f", $self->scalar_sql($sql) );
7000 }
7001
7002 =item balance_pkgnum PKGNUM
7003
7004 Returns the balance for this customer's specific package when using
7005 experimental package balances (total_owed plus total_unrefunded, minus
7006 total_unapplied_credits minus total_unapplied_payments)
7007
7008 =cut
7009
7010 sub balance_pkgnum {
7011   my( $self, $pkgnum ) = @_;
7012
7013   sprintf( "%.2f",
7014       $self->total_owed_pkgnum($pkgnum)
7015 # n/a - refunds aren't part of pkg-balances since they don't apply to invoices
7016 #    + $self->total_unapplied_refunds_pkgnum($pkgnum)
7017     - $self->total_unapplied_credits_pkgnum($pkgnum)
7018     - $self->total_unapplied_payments_pkgnum($pkgnum)
7019   );
7020 }
7021
7022 =item in_transit_payments
7023
7024 Returns the total of requests for payments for this customer pending in 
7025 batches in transit to the bank.  See L<FS::pay_batch> and L<FS::cust_pay_batch>
7026
7027 =cut
7028
7029 sub in_transit_payments {
7030   my $self = shift;
7031   my $in_transit_payments = 0;
7032   foreach my $pay_batch ( qsearch('pay_batch', {
7033     'status' => 'I',
7034   } ) ) {
7035     foreach my $cust_pay_batch ( qsearch('cust_pay_batch', {
7036       'batchnum' => $pay_batch->batchnum,
7037       'custnum' => $self->custnum,
7038     } ) ) {
7039       $in_transit_payments += $cust_pay_batch->amount;
7040     }
7041   }
7042   sprintf( "%.2f", $in_transit_payments );
7043 }
7044
7045 =item payment_info
7046
7047 Returns a hash of useful information for making a payment.
7048
7049 =over 4
7050
7051 =item balance
7052
7053 Current balance.
7054
7055 =item payby
7056
7057 'CARD' (credit card - automatic), 'DCRD' (credit card - on-demand),
7058 'CHEK' (electronic check - automatic), 'DCHK' (electronic check - on-demand),
7059 'LECB' (Phone bill billing), 'BILL' (billing), or 'COMP' (free).
7060
7061 =back
7062
7063 For credit card transactions:
7064
7065 =over 4
7066
7067 =item card_type 1
7068
7069 =item payname
7070
7071 Exact name on card
7072
7073 =back
7074
7075 For electronic check transactions:
7076
7077 =over 4
7078
7079 =item stateid_state
7080
7081 =back
7082
7083 =cut
7084
7085 sub payment_info {
7086   my $self = shift;
7087
7088   my %return = ();
7089
7090   $return{balance} = $self->balance;
7091
7092   $return{payname} = $self->payname
7093                      || ( $self->first. ' '. $self->get('last') );
7094
7095   $return{$_} = $self->get($_) for qw(address1 address2 city state zip);
7096
7097   $return{payby} = $self->payby;
7098   $return{stateid_state} = $self->stateid_state;
7099
7100   if ( $self->payby =~ /^(CARD|DCRD)$/ ) {
7101     $return{card_type} = cardtype($self->payinfo);
7102     $return{payinfo} = $self->paymask;
7103
7104     @return{'month', 'year'} = $self->paydate_monthyear;
7105
7106   }
7107
7108   if ( $self->payby =~ /^(CHEK|DCHK)$/ ) {
7109     my ($payinfo1, $payinfo2) = split '@', $self->paymask;
7110     $return{payinfo1} = $payinfo1;
7111     $return{payinfo2} = $payinfo2;
7112     $return{paytype}  = $self->paytype;
7113     $return{paystate} = $self->paystate;
7114
7115   }
7116
7117   #doubleclick protection
7118   my $_date = time;
7119   $return{paybatch} = "webui-MyAccount-$_date-$$-". rand() * 2**32;
7120
7121   %return;
7122
7123 }
7124
7125 =item paydate_monthyear
7126
7127 Returns a two-element list consisting of the month and year of this customer's
7128 paydate (credit card expiration date for CARD customers)
7129
7130 =cut
7131
7132 sub paydate_monthyear {
7133   my $self = shift;
7134   if ( $self->paydate  =~ /^(\d{4})-(\d{1,2})-\d{1,2}$/ ) { #Pg date format
7135     ( $2, $1 );
7136   } elsif ( $self->paydate =~ /^(\d{1,2})-(\d{1,2}-)?(\d{4}$)/ ) {
7137     ( $1, $3 );
7138   } else {
7139     ('', '');
7140   }
7141 }
7142
7143 =item tax_exemption TAXNAME
7144
7145 =cut
7146
7147 sub tax_exemption {
7148   my( $self, $taxname ) = @_;
7149
7150   qsearchs( 'cust_main_exemption', { 'custnum' => $self->custnum,
7151                                      'taxname' => $taxname,
7152                                    },
7153           );
7154 }
7155
7156 =item cust_main_exemption
7157
7158 =cut
7159
7160 sub cust_main_exemption {
7161   my $self = shift;
7162   qsearch( 'cust_main_exemption', { 'custnum' => $self->custnum } );
7163 }
7164
7165 =item invoicing_list [ ARRAYREF ]
7166
7167 If an arguement is given, sets these email addresses as invoice recipients
7168 (see L<FS::cust_main_invoice>).  Errors are not fatal and are not reported
7169 (except as warnings), so use check_invoicing_list first.
7170
7171 Returns a list of email addresses (with svcnum entries expanded).
7172
7173 Note: You can clear the invoicing list by passing an empty ARRAYREF.  You can
7174 check it without disturbing anything by passing nothing.
7175
7176 This interface may change in the future.
7177
7178 =cut
7179
7180 sub invoicing_list {
7181   my( $self, $arrayref ) = @_;
7182
7183   if ( $arrayref ) {
7184     my @cust_main_invoice;
7185     if ( $self->custnum ) {
7186       @cust_main_invoice = 
7187         qsearch( 'cust_main_invoice', { 'custnum' => $self->custnum } );
7188     } else {
7189       @cust_main_invoice = ();
7190     }
7191     foreach my $cust_main_invoice ( @cust_main_invoice ) {
7192       #warn $cust_main_invoice->destnum;
7193       unless ( grep { $cust_main_invoice->address eq $_ } @{$arrayref} ) {
7194         #warn $cust_main_invoice->destnum;
7195         my $error = $cust_main_invoice->delete;
7196         warn $error if $error;
7197       }
7198     }
7199     if ( $self->custnum ) {
7200       @cust_main_invoice = 
7201         qsearch( 'cust_main_invoice', { 'custnum' => $self->custnum } );
7202     } else {
7203       @cust_main_invoice = ();
7204     }
7205     my %seen = map { $_->address => 1 } @cust_main_invoice;
7206     foreach my $address ( @{$arrayref} ) {
7207       next if exists $seen{$address} && $seen{$address};
7208       $seen{$address} = 1;
7209       my $cust_main_invoice = new FS::cust_main_invoice ( {
7210         'custnum' => $self->custnum,
7211         'dest'    => $address,
7212       } );
7213       my $error = $cust_main_invoice->insert;
7214       warn $error if $error;
7215     }
7216   }
7217   
7218   if ( $self->custnum ) {
7219     map { $_->address }
7220       qsearch( 'cust_main_invoice', { 'custnum' => $self->custnum } );
7221   } else {
7222     ();
7223   }
7224
7225 }
7226
7227 =item check_invoicing_list ARRAYREF
7228
7229 Checks these arguements as valid input for the invoicing_list method.  If there
7230 is an error, returns the error, otherwise returns false.
7231
7232 =cut
7233
7234 sub check_invoicing_list {
7235   my( $self, $arrayref ) = @_;
7236
7237   foreach my $address ( @$arrayref ) {
7238
7239     if ($address eq 'FAX' and $self->getfield('fax') eq '') {
7240       return 'Can\'t add FAX invoice destination with a blank FAX number.';
7241     }
7242
7243     my $cust_main_invoice = new FS::cust_main_invoice ( {
7244       'custnum' => $self->custnum,
7245       'dest'    => $address,
7246     } );
7247     my $error = $self->custnum
7248                 ? $cust_main_invoice->check
7249                 : $cust_main_invoice->checkdest
7250     ;
7251     return $error if $error;
7252
7253   }
7254
7255   return "Email address required"
7256     if $conf->exists('cust_main-require_invoicing_list_email')
7257     && ! grep { $_ !~ /^([A-Z]+)$/ } @$arrayref;
7258
7259   '';
7260 }
7261
7262 =item set_default_invoicing_list
7263
7264 Sets the invoicing list to all accounts associated with this customer,
7265 overwriting any previous invoicing list.
7266
7267 =cut
7268
7269 sub set_default_invoicing_list {
7270   my $self = shift;
7271   $self->invoicing_list($self->all_emails);
7272 }
7273
7274 =item all_emails
7275
7276 Returns the email addresses of all accounts provisioned for this customer.
7277
7278 =cut
7279
7280 sub all_emails {
7281   my $self = shift;
7282   my %list;
7283   foreach my $cust_pkg ( $self->all_pkgs ) {
7284     my @cust_svc = qsearch('cust_svc', { 'pkgnum' => $cust_pkg->pkgnum } );
7285     my @svc_acct =
7286       map { qsearchs('svc_acct', { 'svcnum' => $_->svcnum } ) }
7287         grep { qsearchs('svc_acct', { 'svcnum' => $_->svcnum } ) }
7288           @cust_svc;
7289     $list{$_}=1 foreach map { $_->email } @svc_acct;
7290   }
7291   keys %list;
7292 }
7293
7294 =item invoicing_list_addpost
7295
7296 Adds postal invoicing to this customer.  If this customer is already configured
7297 to receive postal invoices, does nothing.
7298
7299 =cut
7300
7301 sub invoicing_list_addpost {
7302   my $self = shift;
7303   return if grep { $_ eq 'POST' } $self->invoicing_list;
7304   my @invoicing_list = $self->invoicing_list;
7305   push @invoicing_list, 'POST';
7306   $self->invoicing_list(\@invoicing_list);
7307 }
7308
7309 =item invoicing_list_emailonly
7310
7311 Returns the list of email invoice recipients (invoicing_list without non-email
7312 destinations such as POST and FAX).
7313
7314 =cut
7315
7316 sub invoicing_list_emailonly {
7317   my $self = shift;
7318   warn "$me invoicing_list_emailonly called"
7319     if $DEBUG;
7320   grep { $_ !~ /^([A-Z]+)$/ } $self->invoicing_list;
7321 }
7322
7323 =item invoicing_list_emailonly_scalar
7324
7325 Returns the list of email invoice recipients (invoicing_list without non-email
7326 destinations such as POST and FAX) as a comma-separated scalar.
7327
7328 =cut
7329
7330 sub invoicing_list_emailonly_scalar {
7331   my $self = shift;
7332   warn "$me invoicing_list_emailonly_scalar called"
7333     if $DEBUG;
7334   join(', ', $self->invoicing_list_emailonly);
7335 }
7336
7337 =item referral_custnum_cust_main
7338
7339 Returns the customer who referred this customer (or the empty string, if
7340 this customer was not referred).
7341
7342 Note the difference with referral_cust_main method: This method,
7343 referral_custnum_cust_main returns the single customer (if any) who referred
7344 this customer, while referral_cust_main returns an array of customers referred
7345 BY this customer.
7346
7347 =cut
7348
7349 sub referral_custnum_cust_main {
7350   my $self = shift;
7351   return '' unless $self->referral_custnum;
7352   qsearchs('cust_main', { 'custnum' => $self->referral_custnum } );
7353 }
7354
7355 =item referral_cust_main [ DEPTH [ EXCLUDE_HASHREF ] ]
7356
7357 Returns an array of customers referred by this customer (referral_custnum set
7358 to this custnum).  If DEPTH is given, recurses up to the given depth, returning
7359 customers referred by customers referred by this customer and so on, inclusive.
7360 The default behavior is DEPTH 1 (no recursion).
7361
7362 Note the difference with referral_custnum_cust_main method: This method,
7363 referral_cust_main, returns an array of customers referred BY this customer,
7364 while referral_custnum_cust_main returns the single customer (if any) who
7365 referred this customer.
7366
7367 =cut
7368
7369 sub referral_cust_main {
7370   my $self = shift;
7371   my $depth = @_ ? shift : 1;
7372   my $exclude = @_ ? shift : {};
7373
7374   my @cust_main =
7375     map { $exclude->{$_->custnum}++; $_; }
7376       grep { ! $exclude->{ $_->custnum } }
7377         qsearch( 'cust_main', { 'referral_custnum' => $self->custnum } );
7378
7379   if ( $depth > 1 ) {
7380     push @cust_main,
7381       map { $_->referral_cust_main($depth-1, $exclude) }
7382         @cust_main;
7383   }
7384
7385   @cust_main;
7386 }
7387
7388 =item referral_cust_main_ncancelled
7389
7390 Same as referral_cust_main, except only returns customers with uncancelled
7391 packages.
7392
7393 =cut
7394
7395 sub referral_cust_main_ncancelled {
7396   my $self = shift;
7397   grep { scalar($_->ncancelled_pkgs) } $self->referral_cust_main;
7398 }
7399
7400 =item referral_cust_pkg [ DEPTH ]
7401
7402 Like referral_cust_main, except returns a flat list of all unsuspended (and
7403 uncancelled) packages for each customer.  The number of items in this list may
7404 be useful for commission calculations (perhaps after a C<grep { my $pkgpart = $_->pkgpart; grep { $_ == $pkgpart } @commission_worthy_pkgparts> } $cust_main-> ).
7405
7406 =cut
7407
7408 sub referral_cust_pkg {
7409   my $self = shift;
7410   my $depth = @_ ? shift : 1;
7411
7412   map { $_->unsuspended_pkgs }
7413     grep { $_->unsuspended_pkgs }
7414       $self->referral_cust_main($depth);
7415 }
7416
7417 =item referring_cust_main
7418
7419 Returns the single cust_main record for the customer who referred this customer
7420 (referral_custnum), or false.
7421
7422 =cut
7423
7424 sub referring_cust_main {
7425   my $self = shift;
7426   return '' unless $self->referral_custnum;
7427   qsearchs('cust_main', { 'custnum' => $self->referral_custnum } );
7428 }
7429
7430 =item credit AMOUNT, REASON [ , OPTION => VALUE ... ]
7431
7432 Applies a credit to this customer.  If there is an error, returns the error,
7433 otherwise returns false.
7434
7435 REASON can be a text string, an FS::reason object, or a scalar reference to
7436 a reasonnum.  If a text string, it will be automatically inserted as a new
7437 reason, and a 'reason_type' option must be passed to indicate the
7438 FS::reason_type for the new reason.
7439
7440 An I<addlinfo> option may be passed to set the credit's I<addlinfo> field.
7441
7442 Any other options are passed to FS::cust_credit::insert.
7443
7444 =cut
7445
7446 sub credit {
7447   my( $self, $amount, $reason, %options ) = @_;
7448
7449   my $cust_credit = new FS::cust_credit {
7450     'custnum' => $self->custnum,
7451     'amount'  => $amount,
7452   };
7453
7454   if ( ref($reason) ) {
7455
7456     if ( ref($reason) eq 'SCALAR' ) {
7457       $cust_credit->reasonnum( $$reason );
7458     } else {
7459       $cust_credit->reasonnum( $reason->reasonnum );
7460     }
7461
7462   } else {
7463     $cust_credit->set('reason', $reason)
7464   }
7465
7466   for (qw( addlinfo eventnum )) {
7467     $cust_credit->$_( delete $options{$_} )
7468       if exists($options{$_});
7469   }
7470
7471   $cust_credit->insert(%options);
7472
7473 }
7474
7475 =item charge HASHREF || AMOUNT [ PKG [ COMMENT [ TAXCLASS ] ] ]
7476 =item cutoff
7477
7478 An absolute cutoff time.  Payments, credits, and refunds I<applied> after this 
7479 time will be ignored.  Note that START_TIME and END_TIME only limit the date 
7480 range for invoices and I<unapplied> payments, credits, and refunds.
7481
7482
7483 Creates a one-time charge for this customer.  If there is an error, returns
7484 the error, otherwise returns false.
7485
7486 New-style, with a hashref of options:
7487
7488   my $error = $cust_main->charge(
7489                                   {
7490                                     'amount'     => 54.32,
7491                                     'quantity'   => 1,
7492                                     'start_date' => str2time('7/4/2009'),
7493                                     'pkg'        => 'Description',
7494                                     'comment'    => 'Comment',
7495                                     'additional' => [], #extra invoice detail
7496                                     'classnum'   => 1,  #pkg_class
7497
7498                                     'setuptax'   => '', # or 'Y' for tax exempt
7499
7500                                     #internal taxation
7501                                     'taxclass'   => 'Tax class',
7502
7503                                     #vendor taxation
7504                                     'taxproduct' => 2,  #part_pkg_taxproduct
7505                                     'override'   => {}, #XXX describe
7506
7507                                     #will be filled in with the new object
7508                                     'cust_pkg_ref' => \$cust_pkg,
7509
7510                                     #generate an invoice immediately
7511                                     'bill_now' => 0,
7512                                     'invoice_terms' => '', #with these terms
7513                                   }
7514                                 );
7515
7516 Old-style:
7517
7518   my $error = $cust_main->charge( 54.32, 'Description', 'Comment', 'Tax class' );
7519
7520 =cut
7521
7522 sub charge {
7523   my $self = shift;
7524   my ( $amount, $quantity, $start_date, $classnum );
7525   my ( $pkg, $comment, $additional );
7526   my ( $setuptax, $taxclass );   #internal taxes
7527   my ( $taxproduct, $override ); #vendor (CCH) taxes
7528   my $cust_pkg_ref = '';
7529   my ( $bill_now, $invoice_terms ) = ( 0, '' );
7530   if ( ref( $_[0] ) ) {
7531     $amount     = $_[0]->{amount};
7532     $quantity   = exists($_[0]->{quantity}) ? $_[0]->{quantity} : 1;
7533     $start_date = exists($_[0]->{start_date}) ? $_[0]->{start_date} : '';
7534     $pkg        = exists($_[0]->{pkg}) ? $_[0]->{pkg} : 'One-time charge';
7535     $comment    = exists($_[0]->{comment}) ? $_[0]->{comment}
7536                                            : '$'. sprintf("%.2f",$amount);
7537     $setuptax   = exists($_[0]->{setuptax}) ? $_[0]->{setuptax} : '';
7538     $taxclass   = exists($_[0]->{taxclass}) ? $_[0]->{taxclass} : '';
7539     $classnum   = exists($_[0]->{classnum}) ? $_[0]->{classnum} : '';
7540     $additional = $_[0]->{additional} || [];
7541     $taxproduct = $_[0]->{taxproductnum};
7542     $override   = { '' => $_[0]->{tax_override} };
7543     $cust_pkg_ref = exists($_[0]->{cust_pkg_ref}) ? $_[0]->{cust_pkg_ref} : '';
7544     $bill_now = exists($_[0]->{bill_now}) ? $_[0]->{bill_now} : '';
7545     $invoice_terms = exists($_[0]->{invoice_terms}) ? $_[0]->{invoice_terms} : '';
7546   } else {
7547     $amount     = shift;
7548     $quantity   = 1;
7549     $start_date = '';
7550     $pkg        = @_ ? shift : 'One-time charge';
7551     $comment    = @_ ? shift : '$'. sprintf("%.2f",$amount);
7552     $setuptax   = '';
7553     $taxclass   = @_ ? shift : '';
7554     $additional = [];
7555   }
7556
7557   local $SIG{HUP} = 'IGNORE';
7558   local $SIG{INT} = 'IGNORE';
7559   local $SIG{QUIT} = 'IGNORE';
7560   local $SIG{TERM} = 'IGNORE';
7561   local $SIG{TSTP} = 'IGNORE';
7562   local $SIG{PIPE} = 'IGNORE';
7563
7564   my $oldAutoCommit = $FS::UID::AutoCommit;
7565   local $FS::UID::AutoCommit = 0;
7566   my $dbh = dbh;
7567
7568   my $part_pkg = new FS::part_pkg ( {
7569     'pkg'           => $pkg,
7570     'comment'       => $comment,
7571     'plan'          => 'flat',
7572     'freq'          => 0,
7573     'disabled'      => 'Y',
7574     'classnum'      => $classnum ? $classnum : '',
7575     'setuptax'      => $setuptax,
7576     'taxclass'      => $taxclass,
7577     'taxproductnum' => $taxproduct,
7578   } );
7579
7580   my %options = ( ( map { ("additional_info$_" => $additional->[$_] ) }
7581                         ( 0 .. @$additional - 1 )
7582                   ),
7583                   'additional_count' => scalar(@$additional),
7584                   'setup_fee' => $amount,
7585                 );
7586
7587   my $error = $part_pkg->insert( options       => \%options,
7588                                  tax_overrides => $override,
7589                                );
7590   if ( $error ) {
7591     $dbh->rollback if $oldAutoCommit;
7592     return $error;
7593   }
7594
7595   my $pkgpart = $part_pkg->pkgpart;
7596   my %type_pkgs = ( 'typenum' => $self->agent->typenum, 'pkgpart' => $pkgpart );
7597   unless ( qsearchs('type_pkgs', \%type_pkgs ) ) {
7598     my $type_pkgs = new FS::type_pkgs \%type_pkgs;
7599     $error = $type_pkgs->insert;
7600     if ( $error ) {
7601       $dbh->rollback if $oldAutoCommit;
7602       return $error;
7603     }
7604   }
7605
7606   my $cust_pkg = new FS::cust_pkg ( {
7607     'custnum'    => $self->custnum,
7608     'pkgpart'    => $pkgpart,
7609     'quantity'   => $quantity,
7610     'start_date' => $start_date,
7611   } );
7612
7613   $error = $cust_pkg->insert;
7614   if ( $error ) {
7615     $dbh->rollback if $oldAutoCommit;
7616     return $error;
7617   } elsif ( $cust_pkg_ref ) {
7618     ${$cust_pkg_ref} = $cust_pkg;
7619   }
7620
7621   if ( $bill_now ) {
7622     my $error = $self->bill( 'invoice_terms' => $invoice_terms,
7623                              'pkg_list'      => [ $cust_pkg ],
7624                            );
7625     if ( $error ) {
7626       $dbh->rollback if $oldAutoCommit;
7627       return $error;
7628     }   
7629   }
7630
7631   $dbh->commit or die $dbh->errstr if $oldAutoCommit;
7632   return '';
7633
7634 }
7635
7636 #=item charge_postal_fee
7637 #
7638 #Applies a one time charge this customer.  If there is an error,
7639 #returns the error, returns the cust_pkg charge object or false
7640 #if there was no charge.
7641 #
7642 #=cut
7643 #
7644 # This should be a customer event.  For that to work requires that bill
7645 # also be a customer event.
7646
7647 sub charge_postal_fee {
7648   my $self = shift;
7649
7650   my $pkgpart = $conf->config('postal_invoice-fee_pkgpart');
7651   return '' unless ($pkgpart && grep { $_ eq 'POST' } $self->invoicing_list);
7652
7653   my $cust_pkg = new FS::cust_pkg ( {
7654     'custnum'  => $self->custnum,
7655     'pkgpart'  => $pkgpart,
7656     'quantity' => 1,
7657   } );
7658
7659   my $error = $cust_pkg->insert;
7660   $error ? $error : $cust_pkg;
7661 }
7662
7663 =item cust_bill
7664
7665 Returns all the invoices (see L<FS::cust_bill>) for this customer.
7666
7667 =cut
7668
7669 sub cust_bill {
7670   my $self = shift;
7671   map { $_ } #return $self->num_cust_bill unless wantarray;
7672   sort { $a->_date <=> $b->_date }
7673     qsearch('cust_bill', { 'custnum' => $self->custnum, } )
7674 }
7675
7676 =item open_cust_bill
7677
7678 Returns all the open (owed > 0) invoices (see L<FS::cust_bill>) for this
7679 customer.
7680
7681 =cut
7682
7683 sub open_cust_bill {
7684   my $self = shift;
7685
7686   qsearch({
7687     'table'     => 'cust_bill',
7688     'hashref'   => { 'custnum' => $self->custnum, },
7689     'extra_sql' => ' AND '. FS::cust_bill->owed_sql. ' > 0',
7690     'order_by'  => 'ORDER BY _date ASC',
7691   });
7692
7693 }
7694
7695 =item cust_statements
7696
7697 Returns all the statements (see L<FS::cust_statement>) for this customer.
7698
7699 =cut
7700
7701 sub cust_statement {
7702   my $self = shift;
7703   map { $_ } #return $self->num_cust_statement unless wantarray;
7704   sort { $a->_date <=> $b->_date }
7705     qsearch('cust_statement', { 'custnum' => $self->custnum, } )
7706 }
7707
7708 =item cust_credit
7709
7710 Returns all the credits (see L<FS::cust_credit>) for this customer.
7711
7712 =cut
7713
7714 sub cust_credit {
7715   my $self = shift;
7716   map { $_ } #return $self->num_cust_credit unless wantarray;
7717   sort { $a->_date <=> $b->_date }
7718     qsearch( 'cust_credit', { 'custnum' => $self->custnum } )
7719 }
7720
7721 =item cust_credit_pkgnum
7722
7723 Returns all the credits (see L<FS::cust_credit>) for this customer's specific
7724 package when using experimental package balances.
7725
7726 =cut
7727
7728 sub cust_credit_pkgnum {
7729   my( $self, $pkgnum ) = @_;
7730   map { $_ } #return $self->num_cust_credit_pkgnum($pkgnum) unless wantarray;
7731   sort { $a->_date <=> $b->_date }
7732     qsearch( 'cust_credit', { 'custnum' => $self->custnum,
7733                               'pkgnum'  => $pkgnum,
7734                             }
7735     );
7736 }
7737
7738 =item cust_pay
7739
7740 Returns all the payments (see L<FS::cust_pay>) for this customer.
7741
7742 =cut
7743
7744 sub cust_pay {
7745   my $self = shift;
7746   return $self->num_cust_pay unless wantarray;
7747   sort { $a->_date <=> $b->_date }
7748     qsearch( 'cust_pay', { 'custnum' => $self->custnum } )
7749 }
7750
7751 =item num_cust_pay
7752
7753 Returns the number of payments (see L<FS::cust_pay>) for this customer.  Also
7754 called automatically when the cust_pay method is used in a scalar context.
7755
7756 =cut
7757
7758 sub num_cust_pay {
7759   my $self = shift;
7760   my $sql = "SELECT COUNT(*) FROM cust_pay WHERE custnum = ?";
7761   my $sth = dbh->prepare($sql) or die dbh->errstr;
7762   $sth->execute($self->custnum) or die $sth->errstr;
7763   $sth->fetchrow_arrayref->[0];
7764 }
7765
7766 =item cust_pay_pkgnum
7767
7768 Returns all the payments (see L<FS::cust_pay>) for this customer's specific
7769 package when using experimental package balances.
7770
7771 =cut
7772
7773 sub cust_pay_pkgnum {
7774   my( $self, $pkgnum ) = @_;
7775   map { $_ } #return $self->num_cust_pay_pkgnum($pkgnum) unless wantarray;
7776   sort { $a->_date <=> $b->_date }
7777     qsearch( 'cust_pay', { 'custnum' => $self->custnum,
7778                            'pkgnum'  => $pkgnum,
7779                          }
7780     );
7781 }
7782
7783 =item cust_pay_void
7784
7785 Returns all voided payments (see L<FS::cust_pay_void>) for this customer.
7786
7787 =cut
7788
7789 sub cust_pay_void {
7790   my $self = shift;
7791   map { $_ } #return $self->num_cust_pay_void unless wantarray;
7792   sort { $a->_date <=> $b->_date }
7793     qsearch( 'cust_pay_void', { 'custnum' => $self->custnum } )
7794 }
7795
7796 =item cust_pay_batch
7797
7798 Returns all batched payments (see L<FS::cust_pay_void>) for this customer.
7799
7800 =cut
7801
7802 sub cust_pay_batch {
7803   my $self = shift;
7804   map { $_ } #return $self->num_cust_pay_batch unless wantarray;
7805   sort { $a->paybatchnum <=> $b->paybatchnum }
7806     qsearch( 'cust_pay_batch', { 'custnum' => $self->custnum } )
7807 }
7808
7809 =item cust_pay_pending
7810
7811 Returns all pending payments (see L<FS::cust_pay_pending>) for this customer
7812 (without status "done").
7813
7814 =cut
7815
7816 sub cust_pay_pending {
7817   my $self = shift;
7818   return $self->num_cust_pay_pending unless wantarray;
7819   sort { $a->_date <=> $b->_date }
7820     qsearch( 'cust_pay_pending', {
7821                                    'custnum' => $self->custnum,
7822                                    'status'  => { op=>'!=', value=>'done' },
7823                                  },
7824            );
7825 }
7826
7827 =item num_cust_pay_pending
7828
7829 Returns the number of pending payments (see L<FS::cust_pay_pending>) for this
7830 customer (without status "done").  Also called automatically when the
7831 cust_pay_pending method is used in a scalar context.
7832
7833 =cut
7834
7835 sub num_cust_pay_pending {
7836   my $self = shift;
7837   my $sql = " SELECT COUNT(*) FROM cust_pay_pending ".
7838             "   WHERE custnum = ? AND status != 'done' ";
7839   my $sth = dbh->prepare($sql) or die dbh->errstr;
7840   $sth->execute($self->custnum) or die $sth->errstr;
7841   $sth->fetchrow_arrayref->[0];
7842 }
7843
7844 =item cust_refund
7845
7846 Returns all the refunds (see L<FS::cust_refund>) for this customer.
7847
7848 =cut
7849
7850 sub cust_refund {
7851   my $self = shift;
7852   map { $_ } #return $self->num_cust_refund unless wantarray;
7853   sort { $a->_date <=> $b->_date }
7854     qsearch( 'cust_refund', { 'custnum' => $self->custnum } )
7855 }
7856
7857 =item display_custnum
7858
7859 Returns the displayed customer number for this customer: agent_custid if
7860 cust_main-default_agent_custid is set and it has a value, custnum otherwise.
7861
7862 =cut
7863
7864 sub display_custnum {
7865   my $self = shift;
7866   if ( $conf->exists('cust_main-default_agent_custid') && $self->agent_custid ){
7867     return $self->agent_custid;
7868   } else {
7869     return $self->custnum;
7870   }
7871 }
7872
7873 =item name
7874
7875 Returns a name string for this customer, either "Company (Last, First)" or
7876 "Last, First".
7877
7878 =cut
7879
7880 sub name {
7881   my $self = shift;
7882   my $name = $self->contact;
7883   $name = $self->company. " ($name)" if $self->company;
7884   $name;
7885 }
7886
7887 =item ship_name
7888
7889 Returns a name string for this (service/shipping) contact, either
7890 "Company (Last, First)" or "Last, First".
7891
7892 =cut
7893
7894 sub ship_name {
7895   my $self = shift;
7896   if ( $self->get('ship_last') ) { 
7897     my $name = $self->ship_contact;
7898     $name = $self->ship_company. " ($name)" if $self->ship_company;
7899     $name;
7900   } else {
7901     $self->name;
7902   }
7903 }
7904
7905 =item name_short
7906
7907 Returns a name string for this customer, either "Company" or "First Last".
7908
7909 =cut
7910
7911 sub name_short {
7912   my $self = shift;
7913   $self->company !~ /^\s*$/ ? $self->company : $self->contact_firstlast;
7914 }
7915
7916 =item ship_name_short
7917
7918 Returns a name string for this (service/shipping) contact, either "Company"
7919 or "First Last".
7920
7921 =cut
7922
7923 sub ship_name_short {
7924   my $self = shift;
7925   if ( $self->get('ship_last') ) { 
7926     $self->ship_company !~ /^\s*$/
7927       ? $self->ship_company
7928       : $self->ship_contact_firstlast;
7929   } else {
7930     $self->name_company_or_firstlast;
7931   }
7932 }
7933
7934 =item contact
7935
7936 Returns this customer's full (billing) contact name only, "Last, First"
7937
7938 =cut
7939
7940 sub contact {
7941   my $self = shift;
7942   $self->get('last'). ', '. $self->first;
7943 }
7944
7945 =item ship_contact
7946
7947 Returns this customer's full (shipping) contact name only, "Last, First"
7948
7949 =cut
7950
7951 sub ship_contact {
7952   my $self = shift;
7953   $self->get('ship_last')
7954     ? $self->get('ship_last'). ', '. $self->ship_first
7955     : $self->contact;
7956 }
7957
7958 =item contact_firstlast
7959
7960 Returns this customers full (billing) contact name only, "First Last".
7961
7962 =cut
7963
7964 sub contact_firstlast {
7965   my $self = shift;
7966   $self->first. ' '. $self->get('last');
7967 }
7968
7969 =item ship_contact_firstlast
7970
7971 Returns this customer's full (shipping) contact name only, "First Last".
7972
7973 =cut
7974
7975 sub ship_contact_firstlast {
7976   my $self = shift;
7977   $self->get('ship_last')
7978     ? $self->first. ' '. $self->get('ship_last')
7979     : $self->contact_firstlast;
7980 }
7981
7982 =item country_full
7983
7984 Returns this customer's full country name
7985
7986 =cut
7987
7988 sub country_full {
7989   my $self = shift;
7990   code2country($self->country);
7991 }
7992
7993 =item geocode DATA_VENDOR
7994
7995 Returns a value for the customer location as encoded by DATA_VENDOR.
7996 Currently this only makes sense for "CCH" as DATA_VENDOR.
7997
7998 =cut
7999
8000 sub geocode {
8001   my ($self, $data_vendor) = (shift, shift);  #always cch for now
8002
8003   my $geocode = $self->get('geocode');  #XXX only one data_vendor for geocode
8004   return $geocode if $geocode;
8005
8006   my $prefix = ( $conf->exists('tax-ship_address') && length($self->ship_last) )
8007                ? 'ship_'
8008                : '';
8009
8010   my($zip,$plus4) = split /-/, $self->get("${prefix}zip")
8011     if $self->country eq 'US';
8012
8013   $zip ||= '';
8014   $plus4 ||= '';
8015   #CCH specific location stuff
8016   my $extra_sql = "AND plus4lo <= '$plus4' AND plus4hi >= '$plus4'";
8017
8018   my @cust_tax_location =
8019     qsearch( {
8020                'table'     => 'cust_tax_location', 
8021                'hashref'   => { 'zip' => $zip, 'data_vendor' => $data_vendor },
8022                'extra_sql' => $extra_sql,
8023                'order_by'  => 'ORDER BY plus4hi',#overlapping with distinct ends
8024              }
8025            );
8026   $geocode = $cust_tax_location[0]->geocode
8027     if scalar(@cust_tax_location);
8028
8029   $geocode;
8030 }
8031
8032 =item cust_status
8033
8034 =item status
8035
8036 Returns a status string for this customer, currently:
8037
8038 =over 4
8039
8040 =item prospect - No packages have ever been ordered
8041
8042 =item active - One or more recurring packages is active
8043
8044 =item inactive - No active recurring packages, but otherwise unsuspended/uncancelled (the inactive status is new - previously inactive customers were mis-identified as cancelled)
8045
8046 =item suspended - All non-cancelled recurring packages are suspended
8047
8048 =item cancelled - All recurring packages are cancelled
8049
8050 =back
8051
8052 =cut
8053
8054 sub status { shift->cust_status(@_); }
8055
8056 sub cust_status {
8057   my $self = shift;
8058   for my $status (qw( prospect active inactive suspended cancelled )) {
8059     my $method = $status.'_sql';
8060     my $numnum = ( my $sql = $self->$method() ) =~ s/cust_main\.custnum/?/g;
8061     my $sth = dbh->prepare("SELECT $sql") or die dbh->errstr;
8062     $sth->execute( ($self->custnum) x $numnum )
8063       or die "Error executing 'SELECT $sql': ". $sth->errstr;
8064     return $status if $sth->fetchrow_arrayref->[0];
8065   }
8066 }
8067
8068 =item ucfirst_cust_status
8069
8070 =item ucfirst_status
8071
8072 Returns the status with the first character capitalized.
8073
8074 =cut
8075
8076 sub ucfirst_status { shift->ucfirst_cust_status(@_); }
8077
8078 sub ucfirst_cust_status {
8079   my $self = shift;
8080   ucfirst($self->cust_status);
8081 }
8082
8083 =item statuscolor
8084
8085 Returns a hex triplet color string for this customer's status.
8086
8087 =cut
8088
8089 use vars qw(%statuscolor);
8090 tie %statuscolor, 'Tie::IxHash',
8091   'prospect'  => '7e0079', #'000000', #black?  naw, purple
8092   'active'    => '00CC00', #green
8093   'inactive'  => '0000CC', #blue
8094   'suspended' => 'FF9900', #yellow
8095   'cancelled' => 'FF0000', #red
8096 ;
8097
8098 sub statuscolor { shift->cust_statuscolor(@_); }
8099
8100 sub cust_statuscolor {
8101   my $self = shift;
8102   $statuscolor{$self->cust_status};
8103 }
8104
8105 =item tickets
8106
8107 Returns an array of hashes representing the customer's RT tickets.
8108
8109 =cut
8110
8111 sub tickets {
8112   my $self = shift;
8113
8114   my $num = $conf->config('cust_main-max_tickets') || 10;
8115   my @tickets = ();
8116
8117   if ( $conf->config('ticket_system') ) {
8118     unless ( $conf->config('ticket_system-custom_priority_field') ) {
8119
8120       @tickets = @{ FS::TicketSystem->customer_tickets($self->custnum, $num) };
8121
8122     } else {
8123
8124       foreach my $priority (
8125         $conf->config('ticket_system-custom_priority_field-values'), ''
8126       ) {
8127         last if scalar(@tickets) >= $num;
8128         push @tickets, 
8129           @{ FS::TicketSystem->customer_tickets( $self->custnum,
8130                                                  $num - scalar(@tickets),
8131                                                  $priority,
8132                                                )
8133            };
8134       }
8135     }
8136   }
8137   (@tickets);
8138 }
8139
8140 # Return services representing svc_accts in customer support packages
8141 sub support_services {
8142   my $self = shift;
8143   my %packages = map { $_ => 1 } $conf->config('support_packages');
8144
8145   grep { $_->pkg_svc && $_->pkg_svc->primary_svc eq 'Y' }
8146     grep { $_->part_svc->svcdb eq 'svc_acct' }
8147     map { $_->cust_svc }
8148     grep { exists $packages{ $_->pkgpart } }
8149     $self->ncancelled_pkgs;
8150
8151 }
8152
8153 # Return a list of latitude/longitude for one of the services (if any)
8154 sub service_coordinates {
8155   my $self = shift;
8156
8157   my @svc_X = 
8158     grep { $_->latitude && $_->longitude }
8159     map { $_->svc_x }
8160     map { $_->cust_svc }
8161     $self->ncancelled_pkgs;
8162
8163   scalar(@svc_X) ? ( $svc_X[0]->latitude, $svc_X[0]->longitude ) : ()
8164 }
8165
8166 =back
8167
8168 =head1 CLASS METHODS
8169
8170 =over 4
8171
8172 =item statuses
8173
8174 Class method that returns the list of possible status strings for customers
8175 (see L<the status method|/status>).  For example:
8176
8177   @statuses = FS::cust_main->statuses();
8178
8179 =cut
8180
8181 sub statuses {
8182   #my $self = shift; #could be class...
8183   keys %statuscolor;
8184 }
8185
8186 =item prospect_sql
8187
8188 Returns an SQL expression identifying prospective cust_main records (customers
8189 with no packages ever ordered)
8190
8191 =cut
8192
8193 use vars qw($select_count_pkgs);
8194 $select_count_pkgs =
8195   "SELECT COUNT(*) FROM cust_pkg
8196     WHERE cust_pkg.custnum = cust_main.custnum";
8197
8198 sub select_count_pkgs_sql {
8199   $select_count_pkgs;
8200 }
8201
8202 sub prospect_sql { "
8203   0 = ( $select_count_pkgs )
8204 "; }
8205
8206 =item active_sql
8207
8208 Returns an SQL expression identifying active cust_main records (customers with
8209 active recurring packages).
8210
8211 =cut
8212
8213 sub active_sql { "
8214   0 < ( $select_count_pkgs AND ". FS::cust_pkg->active_sql. "
8215       )
8216 "; }
8217
8218 =item inactive_sql
8219
8220 Returns an SQL expression identifying inactive cust_main records (customers with
8221 no active recurring packages, but otherwise unsuspended/uncancelled).
8222
8223 =cut
8224
8225 sub inactive_sql { "
8226   0 = ( $select_count_pkgs AND ". FS::cust_pkg->active_sql. " )
8227   AND
8228   0 < ( $select_count_pkgs AND ". FS::cust_pkg->inactive_sql. " )
8229 "; }
8230
8231 =item susp_sql
8232 =item suspended_sql
8233
8234 Returns an SQL expression identifying suspended cust_main records.
8235
8236 =cut
8237
8238
8239 sub suspended_sql { susp_sql(@_); }
8240 sub susp_sql { "
8241     0 < ( $select_count_pkgs AND ". FS::cust_pkg->suspended_sql. " )
8242     AND
8243     0 = ( $select_count_pkgs AND ". FS::cust_pkg->active_sql. " )
8244 "; }
8245
8246 =item cancel_sql
8247 =item cancelled_sql
8248
8249 Returns an SQL expression identifying cancelled cust_main records.
8250
8251 =cut
8252
8253 sub cancelled_sql { cancel_sql(@_); }
8254 sub cancel_sql {
8255
8256   my $recurring_sql = FS::cust_pkg->recurring_sql;
8257   my $cancelled_sql = FS::cust_pkg->cancelled_sql;
8258
8259   "
8260         0 < ( $select_count_pkgs )
8261     AND 0 < ( $select_count_pkgs AND $recurring_sql AND $cancelled_sql   )
8262     AND 0 = ( $select_count_pkgs AND $recurring_sql
8263                   AND ( cust_pkg.cancel IS NULL OR cust_pkg.cancel = 0 )
8264             )
8265     AND 0 = (  $select_count_pkgs AND ". FS::cust_pkg->inactive_sql. " )
8266   ";
8267
8268 }
8269
8270 =item uncancel_sql
8271 =item uncancelled_sql
8272
8273 Returns an SQL expression identifying un-cancelled cust_main records.
8274
8275 =cut
8276
8277 sub uncancelled_sql { uncancel_sql(@_); }
8278 sub uncancel_sql { "
8279
8280   ( 0 < ( $select_count_pkgs
8281                    AND ( cust_pkg.cancel IS NULL
8282                          OR cust_pkg.cancel = 0
8283                        )
8284         )
8285     OR 0 = ( $select_count_pkgs )
8286   )
8287 "; }
8288
8289 =item balance_sql
8290
8291 Returns an SQL fragment to retreive the balance.
8292
8293 =cut
8294
8295 sub balance_sql { "
8296     ( SELECT COALESCE( SUM(charged), 0 ) FROM cust_bill
8297         WHERE cust_bill.custnum   = cust_main.custnum     )
8298   - ( SELECT COALESCE( SUM(paid),    0 ) FROM cust_pay
8299         WHERE cust_pay.custnum    = cust_main.custnum     )
8300   - ( SELECT COALESCE( SUM(amount),  0 ) FROM cust_credit
8301         WHERE cust_credit.custnum = cust_main.custnum     )
8302   + ( SELECT COALESCE( SUM(refund),  0 ) FROM cust_refund
8303         WHERE cust_refund.custnum = cust_main.custnum     )
8304 "; }
8305
8306 =item balance_date_sql START_TIME [ END_TIME [ OPTION => VALUE ... ] ]
8307
8308 Returns an SQL fragment to retreive the balance for this customer, only
8309 considering invoices with date earlier than START_TIME, and optionally not
8310 later than END_TIME (total_owed_date minus total_unapplied_credits minus
8311 total_unapplied_payments).
8312
8313 Times are specified as SQL fragments or numeric
8314 UNIX timestamps; see L<perlfunc/"time">).  Also see L<Time::Local> and
8315 L<Date::Parse> for conversion functions.  The empty string can be passed
8316 to disable that time constraint completely.
8317
8318 Available options are:
8319
8320 =over 4
8321
8322 =item unapplied_date
8323
8324 set to true to disregard unapplied credits, payments and refunds outside the specified time period - by default the time period restriction only applies to invoices (useful for reporting, probably a bad idea for event triggering)
8325
8326 =item total
8327
8328 (unused.  obsolete?)
8329 set to true to remove all customer comparison clauses, for totals
8330
8331 =item where
8332
8333 (unused.  obsolete?)
8334 WHERE clause hashref (elements "AND"ed together) (typically used with the total option)
8335
8336 =item join
8337
8338 (unused.  obsolete?)
8339 JOIN clause (typically used with the total option)
8340
8341 =back
8342
8343 =cut
8344
8345 sub balance_date_sql {
8346   my( $class, $start, $end, %opt ) = @_;
8347
8348   my $cutoff = $opt{'cutoff'};
8349
8350   my $owed         = FS::cust_bill->owed_sql($cutoff);
8351   my $unapp_refund = FS::cust_refund->unapplied_sql($cutoff);
8352   my $unapp_credit = FS::cust_credit->unapplied_sql($cutoff);
8353   my $unapp_pay    = FS::cust_pay->unapplied_sql($cutoff);
8354
8355   my $j = $opt{'join'} || '';
8356
8357   my $owed_wh   = $class->_money_table_where( 'cust_bill',   $start,$end,%opt );
8358   my $refund_wh = $class->_money_table_where( 'cust_refund', $start,$end,%opt );
8359   my $credit_wh = $class->_money_table_where( 'cust_credit', $start,$end,%opt );
8360   my $pay_wh    = $class->_money_table_where( 'cust_pay',    $start,$end,%opt );
8361
8362   "   ( SELECT COALESCE(SUM($owed),         0) FROM cust_bill   $j $owed_wh   )
8363     + ( SELECT COALESCE(SUM($unapp_refund), 0) FROM cust_refund $j $refund_wh )
8364     - ( SELECT COALESCE(SUM($unapp_credit), 0) FROM cust_credit $j $credit_wh )
8365     - ( SELECT COALESCE(SUM($unapp_pay),    0) FROM cust_pay    $j $pay_wh    )
8366   ";
8367
8368 }
8369
8370 =item unapplied_payments_date_sql START_TIME [ END_TIME ]
8371
8372 Returns an SQL fragment to retreive the total unapplied payments for this
8373 customer, only considering invoices with date earlier than START_TIME, and
8374 optionally not later than END_TIME.
8375
8376 Times are specified as SQL fragments or numeric
8377 UNIX timestamps; see L<perlfunc/"time">).  Also see L<Time::Local> and
8378 L<Date::Parse> for conversion functions.  The empty string can be passed
8379 to disable that time constraint completely.
8380
8381 Available options are:
8382
8383 =cut
8384
8385 sub unapplied_payments_date_sql {
8386   my( $class, $start, $end, %opt ) = @_;
8387
8388   my $cutoff = $opt{'cutoff'};
8389
8390   my $unapp_pay    = FS::cust_pay->unapplied_sql($cutoff);
8391
8392   my $pay_where = $class->_money_table_where( 'cust_pay', $start, $end,
8393                                                           'unapplied_date'=>1 );
8394
8395   " ( SELECT COALESCE(SUM($unapp_pay), 0) FROM cust_pay $pay_where ) ";
8396 }
8397
8398 =item _money_table_where TABLE START_TIME [ END_TIME [ OPTION => VALUE ... ] ]
8399
8400 Helper method for balance_date_sql; name (and usage) subject to change
8401 (suggestions welcome).
8402
8403 Returns a WHERE clause for the specified monetary TABLE (cust_bill,
8404 cust_refund, cust_credit or cust_pay).
8405
8406 If TABLE is "cust_bill" or the unapplied_date option is true, only
8407 considers records with date earlier than START_TIME, and optionally not
8408 later than END_TIME .
8409
8410 =cut
8411
8412 sub _money_table_where {
8413   my( $class, $table, $start, $end, %opt ) = @_;
8414
8415   my @where = ();
8416   push @where, "cust_main.custnum = $table.custnum" unless $opt{'total'};
8417   if ( $table eq 'cust_bill' || $opt{'unapplied_date'} ) {
8418     push @where, "$table._date <= $start" if defined($start) && length($start);
8419     push @where, "$table._date >  $end"   if defined($end)   && length($end);
8420   }
8421   push @where, @{$opt{'where'}} if $opt{'where'};
8422   my $where = scalar(@where) ? 'WHERE '. join(' AND ', @where ) : '';
8423
8424   $where;
8425
8426 }
8427
8428 =item search HASHREF
8429
8430 (Class method)
8431
8432 Returns a qsearch hash expression to search for parameters specified in
8433 HASHREF.  Valid parameters are
8434
8435 =over 4
8436
8437 =item agentnum
8438
8439 =item status
8440
8441 =item cancelled_pkgs
8442
8443 bool
8444
8445 =item signupdate
8446
8447 listref of start date, end date
8448
8449 =item payby
8450
8451 listref
8452
8453 =item paydate_year
8454
8455 =item paydate_month
8456
8457 =item current_balance
8458
8459 listref (list returned by FS::UI::Web::parse_lt_gt($cgi, 'current_balance'))
8460
8461 =item cust_fields
8462
8463 =item flattened_pkgs
8464
8465 bool
8466
8467 =back
8468
8469 =cut
8470
8471 sub search {
8472   my ($class, $params) = @_;
8473
8474   my $dbh = dbh;
8475
8476   my @where = ();
8477   my $orderby;
8478
8479   ##
8480   # parse agent
8481   ##
8482
8483   if ( $params->{'agentnum'} =~ /^(\d+)$/ and $1 ) {
8484     push @where,
8485       "cust_main.agentnum = $1";
8486   }
8487
8488   ##
8489   # parse status
8490   ##
8491
8492   #prospect active inactive suspended cancelled
8493   if ( grep { $params->{'status'} eq $_ } FS::cust_main->statuses() ) {
8494     my $method = $params->{'status'}. '_sql';
8495     #push @where, $class->$method();
8496     push @where, FS::cust_main->$method();
8497   }
8498   
8499   ##
8500   # parse cancelled package checkbox
8501   ##
8502
8503   my $pkgwhere = "";
8504
8505   $pkgwhere .= "AND (cancel = 0 or cancel is null)"
8506     unless $params->{'cancelled_pkgs'};
8507
8508   ##
8509   # parse without census tract checkbox
8510   ##
8511
8512   push @where, "(censustract = '' or censustract is null)"
8513     if $params->{'no_censustract'};
8514
8515   ##
8516   # dates
8517   ##
8518
8519   foreach my $field (qw( signupdate )) {
8520
8521     next unless exists($params->{$field});
8522
8523     my($beginning, $ending) = @{$params->{$field}};
8524
8525     push @where,
8526       "cust_main.$field IS NOT NULL",
8527       "cust_main.$field >= $beginning",
8528       "cust_main.$field <= $ending";
8529
8530     $orderby ||= "ORDER BY cust_main.$field";
8531
8532   }
8533
8534   ###
8535   # payby
8536   ###
8537
8538   if ( $params->{'payby'} ) {
8539  
8540     my @payby = ref( $params->{'payby'} )
8541                   ? @{ $params->{'payby'} }
8542                   :  ( $params->{'payby'} );
8543  
8544     @payby = grep /^([A-Z]{4})$/, @{ $params->{'payby'} };
8545  
8546     push @where, '( '. join(' OR ', map "cust_main.payby = '$_'", @payby). ' )'
8547       if @payby;
8548
8549   }
8550
8551   my @payby = grep /^([A-Z]{4})$/, @{ $params->{'payby'} };
8552   if ( @payby ) {
8553     push @where, '( '. join(' OR ', map "cust_main.payby = '$_'", @payby). ' )';
8554   }
8555
8556   ###
8557   # paydate_year / paydate_month
8558   ###
8559
8560   if ( $params->{'paydate_year'} =~ /^(\d{4})$/ ) {
8561     my $year = $1;
8562     $params->{'paydate_month'} =~ /^(\d\d?)$/
8563       or die "paydate_year without paydate_month?";
8564     my $month = $1;
8565
8566     push @where,
8567       'paydate IS NOT NULL',
8568       "paydate != ''",
8569       "CAST(paydate AS timestamp) < CAST('$year-$month-01' AS timestamp )"
8570 ;
8571   }
8572
8573   ###
8574   # invoice terms
8575   ###
8576
8577   if ( $params->{'invoice_terms'} =~ /^([\w ]+)$/ ) {
8578     my $terms = $1;
8579     if ( $1 eq 'NULL' ) {
8580       push @where,
8581         "( cust_main.invoice_terms IS NULL OR cust_main.invoice_terms = '' )";
8582     } else {
8583       push @where,
8584         "cust_main.invoice_terms IS NOT NULL",
8585         "cust_main.invoice_terms = '$1'";
8586     }
8587   }
8588
8589   ##
8590   # amounts
8591   ##
8592
8593   if ( $params->{'current_balance'} ) {
8594
8595     #my $balance_sql = $class->balance_sql();
8596     my $balance_sql = FS::cust_main->balance_sql();
8597
8598     my @current_balance =
8599       ref( $params->{'current_balance'} )
8600       ? @{ $params->{'current_balance'} }
8601       :  ( $params->{'current_balance'} );
8602
8603     push @where, map { s/current_balance/$balance_sql/; $_ }
8604                      @current_balance;
8605
8606   }
8607
8608   ##
8609   # custbatch
8610   ##
8611
8612   if ( $params->{'custbatch'} =~ /^([\w\/\-\:\.]+)$/ and $1 ) {
8613     push @where,
8614       "cust_main.custbatch = '$1'";
8615   }
8616
8617   ##
8618   # setup queries, subs, etc. for the search
8619   ##
8620
8621   $orderby ||= 'ORDER BY custnum';
8622
8623   # here is the agent virtualization
8624   push @where, $FS::CurrentUser::CurrentUser->agentnums_sql;
8625
8626   my $extra_sql = scalar(@where) ? ' WHERE '. join(' AND ', @where) : '';
8627
8628   my $addl_from = 'LEFT JOIN cust_pkg USING ( custnum  ) ';
8629
8630   my $count_query = "SELECT COUNT(*) FROM cust_main $extra_sql";
8631
8632   my $select = join(', ', 
8633                  'cust_main.custnum',
8634                  FS::UI::Web::cust_sql_fields($params->{'cust_fields'}),
8635                );
8636
8637   my(@extra_headers) = ();
8638   my(@extra_fields)  = ();
8639
8640   if ($params->{'flattened_pkgs'}) {
8641
8642     if ($dbh->{Driver}->{Name} eq 'Pg') {
8643
8644       $select .= ", array_to_string(array(select pkg from cust_pkg left join part_pkg using ( pkgpart ) where cust_main.custnum = cust_pkg.custnum $pkgwhere),'|') as magic";
8645
8646     }elsif ($dbh->{Driver}->{Name} =~ /^mysql/i) {
8647       $select .= ", GROUP_CONCAT(pkg SEPARATOR '|') as magic";
8648       $addl_from .= " LEFT JOIN part_pkg using ( pkgpart )";
8649     }else{
8650       warn "warning: unknown database type ". $dbh->{Driver}->{Name}. 
8651            "omitting packing information from report.";
8652     }
8653
8654     my $header_query = "SELECT COUNT(cust_pkg.custnum = cust_main.custnum) AS count FROM cust_main $addl_from $extra_sql $pkgwhere group by cust_main.custnum order by count desc limit 1";
8655
8656     my $sth = dbh->prepare($header_query) or die dbh->errstr;
8657     $sth->execute() or die $sth->errstr;
8658     my $headerrow = $sth->fetchrow_arrayref;
8659     my $headercount = $headerrow ? $headerrow->[0] : 0;
8660     while($headercount) {
8661       unshift @extra_headers, "Package ". $headercount;
8662       unshift @extra_fields, eval q!sub {my $c = shift;
8663                                          my @a = split '\|', $c->magic;
8664                                          my $p = $a[!.--$headercount. q!];
8665                                          $p;
8666                                         };!;
8667     }
8668
8669   }
8670
8671   my $sql_query = {
8672     'table'         => 'cust_main',
8673     'select'        => $select,
8674     'hashref'       => {},
8675     'extra_sql'     => $extra_sql,
8676     'order_by'      => $orderby,
8677     'count_query'   => $count_query,
8678     'extra_headers' => \@extra_headers,
8679     'extra_fields'  => \@extra_fields,
8680   };
8681
8682 }
8683
8684 =item email_search_result HASHREF
8685
8686 (Class method)
8687
8688 Emails a notice to the specified customers.
8689
8690 Valid parameters are those of the L<search> method, plus the following:
8691
8692 =over 4
8693
8694 =item from
8695
8696 From: address
8697
8698 =item subject
8699
8700 Email Subject:
8701
8702 =item html_body
8703
8704 HTML body
8705
8706 =item text_body
8707
8708 Text body
8709
8710 =item job
8711
8712 Optional job queue job for status updates.
8713
8714 =back
8715
8716 Returns an error message, or false for success.
8717
8718 If an error occurs during any email, stops the enture send and returns that
8719 error.  Presumably if you're getting SMTP errors aborting is better than 
8720 retrying everything.
8721
8722 =cut
8723
8724 sub email_search_result {
8725   my($class, $params) = @_;
8726
8727   my $from = delete $params->{from};
8728   my $subject = delete $params->{subject};
8729   my $html_body = delete $params->{html_body};
8730   my $text_body = delete $params->{text_body};
8731
8732   my $job = delete $params->{'job'};
8733
8734   $params->{'payby'} = [ split(/\0/, $params->{'payby'}) ]
8735     unless ref($params->{'payby'});
8736
8737   my $sql_query = $class->search($params);
8738
8739   my $count_query   = delete($sql_query->{'count_query'});
8740   my $count_sth = dbh->prepare($count_query)
8741     or die "Error preparing $count_query: ". dbh->errstr;
8742   $count_sth->execute
8743     or die "Error executing $count_query: ". $count_sth->errstr;
8744   my $count_arrayref = $count_sth->fetchrow_arrayref;
8745   my $num_cust = $count_arrayref->[0];
8746
8747   #my @extra_headers = @{ delete($sql_query->{'extra_headers'}) };
8748   #my @extra_fields  = @{ delete($sql_query->{'extra_fields'})  };
8749
8750
8751   my( $num, $last, $min_sec ) = (0, time, 5); #progresbar foo
8752
8753   #eventually order+limit magic to reduce memory use?
8754   foreach my $cust_main ( qsearch($sql_query) ) {
8755
8756     my $to = $cust_main->invoicing_list_emailonly_scalar;
8757     next unless $to;
8758
8759     my $error = send_email(
8760       generate_email(
8761         'from'      => $from,
8762         'to'        => $to,
8763         'subject'   => $subject,
8764         'html_body' => $html_body,
8765         'text_body' => $text_body,
8766       )
8767     );
8768     return $error if $error;
8769
8770     if ( $job ) { #progressbar foo
8771       $num++;
8772       if ( time - $min_sec > $last ) {
8773         my $error = $job->update_statustext(
8774           int( 100 * $num / $num_cust )
8775         );
8776         die $error if $error;
8777         $last = time;
8778       }
8779     }
8780
8781   }
8782
8783   return '';
8784 }
8785
8786 use Storable qw(thaw);
8787 use Data::Dumper;
8788 use MIME::Base64;
8789 sub process_email_search_result {
8790   my $job = shift;
8791   #warn "$me process_re_X $method for job $job\n" if $DEBUG;
8792
8793   my $param = thaw(decode_base64(shift));
8794   warn Dumper($param) if $DEBUG;
8795
8796   $param->{'job'} = $job;
8797
8798   $param->{'payby'} = [ split(/\0/, $param->{'payby'}) ]
8799     unless ref($param->{'payby'});
8800
8801   my $error = FS::cust_main->email_search_result( $param );
8802   die $error if $error;
8803
8804 }
8805
8806 =item fuzzy_search FUZZY_HASHREF [ HASHREF, SELECT, EXTRA_SQL, CACHE_OBJ ]
8807
8808 Performs a fuzzy (approximate) search and returns the matching FS::cust_main
8809 records.  Currently, I<first>, I<last>, I<company> and/or I<address1> may be
8810 specified (the appropriate ship_ field is also searched).
8811
8812 Additional options are the same as FS::Record::qsearch
8813
8814 =cut
8815
8816 sub fuzzy_search {
8817   my( $self, $fuzzy, $hash, @opt) = @_;
8818   #$self
8819   $hash ||= {};
8820   my @cust_main = ();
8821
8822   check_and_rebuild_fuzzyfiles();
8823   foreach my $field ( keys %$fuzzy ) {
8824
8825     my $all = $self->all_X($field);
8826     next unless scalar(@$all);
8827
8828     my %match = ();
8829     $match{$_}=1 foreach ( amatch( $fuzzy->{$field}, ['i'], @$all ) );
8830
8831     my @fcust = ();
8832     foreach ( keys %match ) {
8833       push @fcust, qsearch('cust_main', { %$hash, $field=>$_}, @opt);
8834       push @fcust, qsearch('cust_main', { %$hash, "ship_$field"=>$_}, @opt);
8835     }
8836     my %fsaw = ();
8837     push @cust_main, grep { ! $fsaw{$_->custnum}++ } @fcust;
8838   }
8839
8840   # we want the components of $fuzzy ANDed, not ORed, but still don't want dupes
8841   my %saw = ();
8842   @cust_main = grep { ++$saw{$_->custnum} == scalar(keys %$fuzzy) } @cust_main;
8843
8844   @cust_main;
8845
8846 }
8847
8848 =item masked FIELD
8849
8850 Returns a masked version of the named field
8851
8852 =cut
8853
8854 sub masked {
8855 my ($self,$field) = @_;
8856
8857 # Show last four
8858
8859 'x'x(length($self->getfield($field))-4).
8860   substr($self->getfield($field), (length($self->getfield($field))-4));
8861
8862 }
8863
8864 =back
8865
8866 =head1 SUBROUTINES
8867
8868 =over 4
8869
8870 =item smart_search OPTION => VALUE ...
8871
8872 Accepts the following options: I<search>, the string to search for.  The string
8873 will be searched for as a customer number, phone number, name or company name,
8874 as an exact, or, in some cases, a substring or fuzzy match (see the source code
8875 for the exact heuristics used); I<no_fuzzy_on_exact>, causes smart_search to
8876 skip fuzzy matching when an exact match is found.
8877
8878 Any additional options are treated as an additional qualifier on the search
8879 (i.e. I<agentnum>).
8880
8881 Returns a (possibly empty) array of FS::cust_main objects.
8882
8883 =cut
8884
8885 sub smart_search {
8886   my %options = @_;
8887
8888   #here is the agent virtualization
8889   my $agentnums_sql = $FS::CurrentUser::CurrentUser->agentnums_sql;
8890
8891   my @cust_main = ();
8892
8893   my $skip_fuzzy = delete $options{'no_fuzzy_on_exact'};
8894   my $search = delete $options{'search'};
8895   ( my $alphanum_search = $search ) =~ s/\W//g;
8896   
8897   if ( $alphanum_search =~ /^1?(\d{3})(\d{3})(\d{4})(\d*)$/ ) { #phone# search
8898
8899     #false laziness w/Record::ut_phone
8900     my $phonen = "$1-$2-$3";
8901     $phonen .= " x$4" if $4;
8902
8903     push @cust_main, qsearch( {
8904       'table'   => 'cust_main',
8905       'hashref' => { %options },
8906       'extra_sql' => ( scalar(keys %options) ? ' AND ' : ' WHERE ' ).
8907                      ' ( '.
8908                          join(' OR ', map "$_ = '$phonen'",
8909                                           qw( daytime night fax
8910                                               ship_daytime ship_night ship_fax )
8911                              ).
8912                      ' ) '.
8913                      " AND $agentnums_sql", #agent virtualization
8914     } );
8915
8916     unless ( @cust_main || $phonen =~ /x\d+$/ ) { #no exact match
8917       #try looking for matches with extensions unless one was specified
8918
8919       push @cust_main, qsearch( {
8920         'table'   => 'cust_main',
8921         'hashref' => { %options },
8922         'extra_sql' => ( scalar(keys %options) ? ' AND ' : ' WHERE ' ).
8923                        ' ( '.
8924                            join(' OR ', map "$_ LIKE '$phonen\%'",
8925                                             qw( daytime night
8926                                                 ship_daytime ship_night )
8927                                ).
8928                        ' ) '.
8929                        " AND $agentnums_sql", #agent virtualization
8930       } );
8931
8932     }
8933
8934   # custnum search (also try agent_custid), with some tweaking options if your
8935   # legacy cust "numbers" have letters
8936   } 
8937
8938   if ( $search =~ /^\s*(\d+)\s*$/
8939          || ( $conf->config('cust_main-agent_custid-format') eq 'ww?d+'
8940               && $search =~ /^\s*(\w\w?\d+)\s*$/
8941             )
8942          || ( $conf->exists('address1-search' )
8943               && $search =~ /^\s*(\d+\-?\w*)\s*$/ #i.e. 1234A or 9432-D
8944             )
8945      )
8946   {
8947
8948     my $num = $1;
8949
8950     if ( $num =~ /^(\d+)$/ && $num <= 2147483647 ) { #need a bigint custnum? wow
8951       push @cust_main, qsearch( {
8952         'table'     => 'cust_main',
8953         'hashref'   => { 'custnum' => $num, %options },
8954         'extra_sql' => " AND $agentnums_sql", #agent virtualization
8955       } );
8956     }
8957
8958     push @cust_main, qsearch( {
8959       'table'     => 'cust_main',
8960       'hashref'   => { 'agent_custid' => $num, %options },
8961       'extra_sql' => " AND $agentnums_sql", #agent virtualization
8962     } );
8963
8964     if ( $conf->exists('address1-search') ) {
8965       my $len = length($num);
8966       $num = lc($num);
8967       foreach my $prefix ( '', 'ship_' ) {
8968         push @cust_main, qsearch( {
8969           'table'     => 'cust_main',
8970           'hashref'   => { %options, },
8971           'extra_sql' => 
8972             ( keys(%options) ? ' AND ' : ' WHERE ' ).
8973             " LOWER(SUBSTRING(${prefix}address1 FROM 1 FOR $len)) = '$num' ".
8974             " AND $agentnums_sql",
8975         } );
8976       }
8977     }
8978
8979   } elsif ( $search =~ /^\s*(\S.*\S)\s+\((.+), ([^,]+)\)\s*$/ ) {
8980
8981     my($company, $last, $first) = ( $1, $2, $3 );
8982
8983     # "Company (Last, First)"
8984     #this is probably something a browser remembered,
8985     #so just do an exact search (but case-insensitive, so USPS standardization
8986     #doesn't throw a wrench in the works)
8987
8988     foreach my $prefix ( '', 'ship_' ) {
8989       push @cust_main, qsearch( {
8990         'table'     => 'cust_main',
8991         'hashref'   => { %options },
8992         'extra_sql' => 
8993           ( keys(%options) ? ' AND ' : ' WHERE ' ).
8994           join(' AND ',
8995             " LOWER(${prefix}first)   = ". dbh->quote(lc($first)),
8996             " LOWER(${prefix}last)    = ". dbh->quote(lc($last)),
8997             " LOWER(${prefix}company) = ". dbh->quote(lc($company)),
8998             $agentnums_sql,
8999           ),
9000       } );
9001     }
9002
9003   } elsif ( $search =~ /^\s*(\S.*\S)\s*$/ ) { # value search
9004                                               # try (ship_){last,company}
9005
9006     my $value = lc($1);
9007
9008     # # remove "(Last, First)" in "Company (Last, First)", otherwise the
9009     # # full strings the browser remembers won't work
9010     # $value =~ s/\([\w \,\.\-\']*\)$//; #false laziness w/Record::ut_name
9011
9012     use Lingua::EN::NameParse;
9013     my $NameParse = new Lingua::EN::NameParse(
9014              auto_clean     => 1,
9015              allow_reversed => 1,
9016     );
9017
9018     my($last, $first) = ( '', '' );
9019     #maybe disable this too and just rely on NameParse?
9020     if ( $value =~ /^(.+),\s*([^,]+)$/ ) { # Last, First
9021     
9022       ($last, $first) = ( $1, $2 );
9023     
9024     #} elsif  ( $value =~ /^(.+)\s+(.+)$/ ) {
9025     } elsif ( ! $NameParse->parse($value) ) {
9026
9027       my %name = $NameParse->components;
9028       $first = $name{'given_name_1'};
9029       $last  = $name{'surname_1'};
9030
9031     }
9032
9033     if ( $first && $last ) {
9034
9035       my($q_last, $q_first) = ( dbh->quote($last), dbh->quote($first) );
9036
9037       #exact
9038       my $sql = scalar(keys %options) ? ' AND ' : ' WHERE ';
9039       $sql .= "
9040         (     ( LOWER(last) = $q_last AND LOWER(first) = $q_first )
9041            OR ( LOWER(ship_last) = $q_last AND LOWER(ship_first) = $q_first )
9042         )";
9043
9044       push @cust_main, qsearch( {
9045         'table'     => 'cust_main',
9046         'hashref'   => \%options,
9047         'extra_sql' => "$sql AND $agentnums_sql", #agent virtualization
9048       } );
9049
9050       # or it just be something that was typed in... (try that in a sec)
9051
9052     }
9053
9054     my $q_value = dbh->quote($value);
9055
9056     #exact
9057     my $sql = scalar(keys %options) ? ' AND ' : ' WHERE ';
9058     $sql .= " (    LOWER(last)          = $q_value
9059                 OR LOWER(company)       = $q_value
9060                 OR LOWER(ship_last)     = $q_value
9061                 OR LOWER(ship_company)  = $q_value
9062             ";
9063     $sql .= "   OR LOWER(address1)      = $q_value
9064                 OR LOWER(ship_address1) = $q_value
9065             "
9066       if $conf->exists('address1-search');
9067     $sql .= " )";
9068
9069     push @cust_main, qsearch( {
9070       'table'     => 'cust_main',
9071       'hashref'   => \%options,
9072       'extra_sql' => "$sql AND $agentnums_sql", #agent virtualization
9073     } );
9074
9075     #no exact match, trying substring/fuzzy
9076     #always do substring & fuzzy (unless they're explicity config'ed off)
9077     #getting complaints searches are not returning enough
9078     unless ( @cust_main  && $skip_fuzzy || $conf->exists('disable-fuzzy') ) {
9079
9080       #still some false laziness w/search (was search/cust_main.cgi)
9081
9082       #substring
9083
9084       my @hashrefs = (
9085         { 'company'      => { op=>'ILIKE', value=>"%$value%" }, },
9086         { 'ship_company' => { op=>'ILIKE', value=>"%$value%" }, },
9087       );
9088
9089       if ( $first && $last ) {
9090
9091         push @hashrefs,
9092           { 'first'        => { op=>'ILIKE', value=>"%$first%" },
9093             'last'         => { op=>'ILIKE', value=>"%$last%" },
9094           },
9095           { 'ship_first'   => { op=>'ILIKE', value=>"%$first%" },
9096             'ship_last'    => { op=>'ILIKE', value=>"%$last%" },
9097           },
9098         ;
9099
9100       } else {
9101
9102         push @hashrefs,
9103           { 'last'         => { op=>'ILIKE', value=>"%$value%" }, },
9104           { 'ship_last'    => { op=>'ILIKE', value=>"%$value%" }, },
9105         ;
9106       }
9107
9108       if ( $conf->exists('address1-search') ) {
9109         push @hashrefs,
9110           { 'address1'      => { op=>'ILIKE', value=>"%$value%" }, },
9111           { 'ship_address1' => { op=>'ILIKE', value=>"%$value%" }, },
9112         ;
9113       }
9114
9115       foreach my $hashref ( @hashrefs ) {
9116
9117         push @cust_main, qsearch( {
9118           'table'     => 'cust_main',
9119           'hashref'   => { %$hashref,
9120                            %options,
9121                          },
9122           'extra_sql' => " AND $agentnums_sql", #agent virtualizaiton
9123         } );
9124
9125       }
9126
9127       #fuzzy
9128       my @fuzopts = (
9129         \%options,                #hashref
9130         '',                       #select
9131         " AND $agentnums_sql",    #extra_sql  #agent virtualization
9132       );
9133
9134       if ( $first && $last ) {
9135         push @cust_main, FS::cust_main->fuzzy_search(
9136           { 'last'   => $last,    #fuzzy hashref
9137             'first'  => $first }, #
9138           @fuzopts
9139         );
9140       }
9141       foreach my $field ( 'last', 'company' ) {
9142         push @cust_main,
9143           FS::cust_main->fuzzy_search( { $field => $value }, @fuzopts );
9144       }
9145       if ( $conf->exists('address1-search') ) {
9146         push @cust_main,
9147           FS::cust_main->fuzzy_search( { 'address1' => $value }, @fuzopts );
9148       }
9149
9150     }
9151
9152   }
9153
9154   #eliminate duplicates
9155   my %saw = ();
9156   @cust_main = grep { !$saw{$_->custnum}++ } @cust_main;
9157
9158   @cust_main;
9159
9160 }
9161
9162 =item email_search
9163
9164 Accepts the following options: I<email>, the email address to search for.  The
9165 email address will be searched for as an email invoice destination and as an
9166 svc_acct account.
9167
9168 #Any additional options are treated as an additional qualifier on the search
9169 #(i.e. I<agentnum>).
9170
9171 Returns a (possibly empty) array of FS::cust_main objects (but usually just
9172 none or one).
9173
9174 =cut
9175
9176 sub email_search {
9177   my %options = @_;
9178
9179   local($DEBUG) = 1;
9180
9181   my $email = delete $options{'email'};
9182
9183   #we're only being used by RT at the moment... no agent virtualization yet
9184   #my $agentnums_sql = $FS::CurrentUser::CurrentUser->agentnums_sql;
9185
9186   my @cust_main = ();
9187
9188   if ( $email =~ /([^@]+)\@([^@]+)/ ) {
9189
9190     my ( $user, $domain ) = ( $1, $2 );
9191
9192     warn "$me smart_search: searching for $user in domain $domain"
9193       if $DEBUG;
9194
9195     push @cust_main,
9196       map $_->cust_main,
9197           qsearch( {
9198                      'table'     => 'cust_main_invoice',
9199                      'hashref'   => { 'dest' => $email },
9200                    }
9201                  );
9202
9203     push @cust_main,
9204       map  $_->cust_main,
9205       grep $_,
9206       map  $_->cust_svc->cust_pkg,
9207           qsearch( {
9208                      'table'     => 'svc_acct',
9209                      'hashref'   => { 'username' => $user, },
9210                      'extra_sql' =>
9211                        'AND ( SELECT domain FROM svc_domain
9212                                 WHERE svc_acct.domsvc = svc_domain.svcnum
9213                             ) = '. dbh->quote($domain),
9214                    }
9215                  );
9216   }
9217
9218   my %saw = ();
9219   @cust_main = grep { !$saw{$_->custnum}++ } @cust_main;
9220
9221   warn "$me smart_search: found ". scalar(@cust_main). " unique customers"
9222     if $DEBUG;
9223
9224   @cust_main;
9225
9226 }
9227
9228 =item check_and_rebuild_fuzzyfiles
9229
9230 =cut
9231
9232 sub check_and_rebuild_fuzzyfiles {
9233   my $dir = $FS::UID::conf_dir. "/cache.". $FS::UID::datasrc;
9234   rebuild_fuzzyfiles() if grep { ! -e "$dir/cust_main.$_" } @fuzzyfields
9235 }
9236
9237 =item rebuild_fuzzyfiles
9238
9239 =cut
9240
9241 sub rebuild_fuzzyfiles {
9242
9243   use Fcntl qw(:flock);
9244
9245   my $dir = $FS::UID::conf_dir. "/cache.". $FS::UID::datasrc;
9246   mkdir $dir, 0700 unless -d $dir;
9247
9248   foreach my $fuzzy ( @fuzzyfields ) {
9249
9250     open(LOCK,">>$dir/cust_main.$fuzzy")
9251       or die "can't open $dir/cust_main.$fuzzy: $!";
9252     flock(LOCK,LOCK_EX)
9253       or die "can't lock $dir/cust_main.$fuzzy: $!";
9254
9255     open (CACHE,">$dir/cust_main.$fuzzy.tmp")
9256       or die "can't open $dir/cust_main.$fuzzy.tmp: $!";
9257
9258     foreach my $field ( $fuzzy, "ship_$fuzzy" ) {
9259       my $sth = dbh->prepare("SELECT $field FROM cust_main".
9260                              " WHERE $field != '' AND $field IS NOT NULL");
9261       $sth->execute or die $sth->errstr;
9262
9263       while ( my $row = $sth->fetchrow_arrayref ) {
9264         print CACHE $row->[0]. "\n";
9265       }
9266
9267     } 
9268
9269     close CACHE or die "can't close $dir/cust_main.$fuzzy.tmp: $!";
9270   
9271     rename "$dir/cust_main.$fuzzy.tmp", "$dir/cust_main.$fuzzy";
9272     close LOCK;
9273   }
9274
9275 }
9276
9277 =item all_X
9278
9279 =cut
9280
9281 sub all_X {
9282   my( $self, $field ) = @_;
9283   my $dir = $FS::UID::conf_dir. "/cache.". $FS::UID::datasrc;
9284   open(CACHE,"<$dir/cust_main.$field")
9285     or die "can't open $dir/cust_main.$field: $!";
9286   my @array = map { chomp; $_; } <CACHE>;
9287   close CACHE;
9288   \@array;
9289 }
9290
9291 =item append_fuzzyfiles FIRSTNAME LASTNAME COMPANY ADDRESS1
9292
9293 =cut
9294
9295 sub append_fuzzyfiles {
9296   #my( $first, $last, $company ) = @_;
9297
9298   &check_and_rebuild_fuzzyfiles;
9299
9300   use Fcntl qw(:flock);
9301
9302   my $dir = $FS::UID::conf_dir. "/cache.". $FS::UID::datasrc;
9303
9304   foreach my $field (@fuzzyfields) {
9305     my $value = shift;
9306
9307     if ( $value ) {
9308
9309       open(CACHE,">>$dir/cust_main.$field")
9310         or die "can't open $dir/cust_main.$field: $!";
9311       flock(CACHE,LOCK_EX)
9312         or die "can't lock $dir/cust_main.$field: $!";
9313
9314       print CACHE "$value\n";
9315
9316       flock(CACHE,LOCK_UN)
9317         or die "can't unlock $dir/cust_main.$field: $!";
9318       close CACHE;
9319     }
9320
9321   }
9322
9323   1;
9324 }
9325
9326 =item batch_charge
9327
9328 =cut
9329
9330 sub batch_charge {
9331   my $param = shift;
9332   #warn join('-',keys %$param);
9333   my $fh = $param->{filehandle};
9334   my @fields = @{$param->{fields}};
9335
9336   eval "use Text::CSV_XS;";
9337   die $@ if $@;
9338
9339   my $csv = new Text::CSV_XS;
9340   #warn $csv;
9341   #warn $fh;
9342
9343   my $imported = 0;
9344   #my $columns;
9345
9346   local $SIG{HUP} = 'IGNORE';
9347   local $SIG{INT} = 'IGNORE';
9348   local $SIG{QUIT} = 'IGNORE';
9349   local $SIG{TERM} = 'IGNORE';
9350   local $SIG{TSTP} = 'IGNORE';
9351   local $SIG{PIPE} = 'IGNORE';
9352
9353   my $oldAutoCommit = $FS::UID::AutoCommit;
9354   local $FS::UID::AutoCommit = 0;
9355   my $dbh = dbh;
9356   
9357   #while ( $columns = $csv->getline($fh) ) {
9358   my $line;
9359   while ( defined($line=<$fh>) ) {
9360
9361     $csv->parse($line) or do {
9362       $dbh->rollback if $oldAutoCommit;
9363       return "can't parse: ". $csv->error_input();
9364     };
9365
9366     my @columns = $csv->fields();
9367     #warn join('-',@columns);
9368
9369     my %row = ();
9370     foreach my $field ( @fields ) {
9371       $row{$field} = shift @columns;
9372     }
9373
9374     my $cust_main = qsearchs('cust_main', { 'custnum' => $row{'custnum'} } );
9375     unless ( $cust_main ) {
9376       $dbh->rollback if $oldAutoCommit;
9377       return "unknown custnum $row{'custnum'}";
9378     }
9379
9380     if ( $row{'amount'} > 0 ) {
9381       my $error = $cust_main->charge($row{'amount'}, $row{'pkg'});
9382       if ( $error ) {
9383         $dbh->rollback if $oldAutoCommit;
9384         return $error;
9385       }
9386       $imported++;
9387     } elsif ( $row{'amount'} < 0 ) {
9388       my $error = $cust_main->credit( sprintf( "%.2f", 0-$row{'amount'} ),
9389                                       $row{'pkg'}                         );
9390       if ( $error ) {
9391         $dbh->rollback if $oldAutoCommit;
9392         return $error;
9393       }
9394       $imported++;
9395     } else {
9396       #hmm?
9397     }
9398
9399   }
9400
9401   $dbh->commit or die $dbh->errstr if $oldAutoCommit;
9402
9403   return "Empty file!" unless $imported;
9404
9405   ''; #no error
9406
9407 }
9408
9409 =item notify CUSTOMER_OBJECT TEMPLATE_NAME OPTIONS
9410
9411 Deprecated.  Use event notification and message templates 
9412 (L<FS::msg_template>) instead.
9413
9414 Sends a templated email notification to the customer (see L<Text::Template>).
9415
9416 OPTIONS is a hash and may include
9417
9418 I<from> - the email sender (default is invoice_from)
9419
9420 I<to> - comma-separated scalar or arrayref of recipients 
9421    (default is invoicing_list)
9422
9423 I<subject> - The subject line of the sent email notification
9424    (default is "Notice from company_name")
9425
9426 I<extra_fields> - a hashref of name/value pairs which will be substituted
9427    into the template
9428
9429 The following variables are vavailable in the template.
9430
9431 I<$first> - the customer first name
9432 I<$last> - the customer last name
9433 I<$company> - the customer company
9434 I<$payby> - a description of the method of payment for the customer
9435             # would be nice to use FS::payby::shortname
9436 I<$payinfo> - the account information used to collect for this customer
9437 I<$expdate> - the expiration of the customer payment in seconds from epoch
9438
9439 =cut
9440
9441 sub notify {
9442   my ($self, $template, %options) = @_;
9443
9444   return unless $conf->exists($template);
9445
9446   my $from = $conf->config('invoice_from', $self->agentnum)
9447     if $conf->exists('invoice_from', $self->agentnum);
9448   $from = $options{from} if exists($options{from});
9449
9450   my $to = join(',', $self->invoicing_list_emailonly);
9451   $to = $options{to} if exists($options{to});
9452   
9453   my $subject = "Notice from " . $conf->config('company_name', $self->agentnum)
9454     if $conf->exists('company_name', $self->agentnum);
9455   $subject = $options{subject} if exists($options{subject});
9456
9457   my $notify_template = new Text::Template (TYPE => 'ARRAY',
9458                                             SOURCE => [ map "$_\n",
9459                                               $conf->config($template)]
9460                                            )
9461     or die "can't create new Text::Template object: Text::Template::ERROR";
9462   $notify_template->compile()
9463     or die "can't compile template: Text::Template::ERROR";
9464
9465   $FS::notify_template::_template::company_name =
9466     $conf->config('company_name', $self->agentnum);
9467   $FS::notify_template::_template::company_address =
9468     join("\n", $conf->config('company_address', $self->agentnum) ). "\n";
9469
9470   my $paydate = $self->paydate || '2037-12-31';
9471   $FS::notify_template::_template::first = $self->first;
9472   $FS::notify_template::_template::last = $self->last;
9473   $FS::notify_template::_template::company = $self->company;
9474   $FS::notify_template::_template::payinfo = $self->mask_payinfo;
9475   my $payby = $self->payby;
9476   my ($payyear,$paymonth,$payday) = split (/-/,$paydate);
9477   my $expire_time = timelocal(0,0,0,$payday,--$paymonth,$payyear);
9478
9479   #credit cards expire at the end of the month/year of their exp date
9480   if ($payby eq 'CARD' || $payby eq 'DCRD') {
9481     $FS::notify_template::_template::payby = 'credit card';
9482     ($paymonth < 11) ? $paymonth++ : ($paymonth=0, $payyear++);
9483     $expire_time = timelocal(0,0,0,$payday,$paymonth,$payyear);
9484     $expire_time--;
9485   }elsif ($payby eq 'COMP') {
9486     $FS::notify_template::_template::payby = 'complimentary account';
9487   }else{
9488     $FS::notify_template::_template::payby = 'current method';
9489   }
9490   $FS::notify_template::_template::expdate = $expire_time;
9491
9492   for (keys %{$options{extra_fields}}){
9493     no strict "refs";
9494     ${"FS::notify_template::_template::$_"} = $options{extra_fields}->{$_};
9495   }
9496
9497   send_email(from => $from,
9498              to => $to,
9499              subject => $subject,
9500              body => $notify_template->fill_in( PACKAGE =>
9501                                                 'FS::notify_template::_template'                                              ),
9502             );
9503
9504 }
9505
9506 =item generate_letter CUSTOMER_OBJECT TEMPLATE_NAME OPTIONS
9507
9508 Generates a templated notification to the customer (see L<Text::Template>).
9509
9510 OPTIONS is a hash and may include
9511
9512 I<extra_fields> - a hashref of name/value pairs which will be substituted
9513    into the template.  These values may override values mentioned below
9514    and those from the customer record.
9515
9516 The following variables are available in the template instead of or in addition
9517 to the fields of the customer record.
9518
9519 I<$payby> - a description of the method of payment for the customer
9520             # would be nice to use FS::payby::shortname
9521 I<$payinfo> - the masked account information used to collect for this customer
9522 I<$expdate> - the expiration of the customer payment method in seconds from epoch
9523 I<$returnaddress> - the return address defaults to invoice_latexreturnaddress or company_address
9524
9525 =cut
9526
9527 sub generate_letter {
9528   my ($self, $template, %options) = @_;
9529
9530   return unless $conf->exists($template);
9531
9532   my $letter_template = new Text::Template
9533                         ( TYPE       => 'ARRAY',
9534                           SOURCE     => [ map "$_\n", $conf->config($template)],
9535                           DELIMITERS => [ '[@--', '--@]' ],
9536                         )
9537     or die "can't create new Text::Template object: Text::Template::ERROR";
9538
9539   $letter_template->compile()
9540     or die "can't compile template: Text::Template::ERROR";
9541
9542   my %letter_data = map { $_ => $self->$_ } $self->fields;
9543   $letter_data{payinfo} = $self->mask_payinfo;
9544
9545   #my $paydate = $self->paydate || '2037-12-31';
9546   my $paydate = $self->paydate =~ /^\S+$/ ? $self->paydate : '2037-12-31';
9547
9548   my $payby = $self->payby;
9549   my ($payyear,$paymonth,$payday) = split (/-/,$paydate);
9550   my $expire_time = timelocal(0,0,0,$payday,--$paymonth,$payyear);
9551
9552   #credit cards expire at the end of the month/year of their exp date
9553   if ($payby eq 'CARD' || $payby eq 'DCRD') {
9554     $letter_data{payby} = 'credit card';
9555     ($paymonth < 11) ? $paymonth++ : ($paymonth=0, $payyear++);
9556     $expire_time = timelocal(0,0,0,$payday,$paymonth,$payyear);
9557     $expire_time--;
9558   }elsif ($payby eq 'COMP') {
9559     $letter_data{payby} = 'complimentary account';
9560   }else{
9561     $letter_data{payby} = 'current method';
9562   }
9563   $letter_data{expdate} = $expire_time;
9564
9565   for (keys %{$options{extra_fields}}){
9566     $letter_data{$_} = $options{extra_fields}->{$_};
9567   }
9568
9569   unless(exists($letter_data{returnaddress})){
9570     my $retadd = join("\n", $conf->config_orbase( 'invoice_latexreturnaddress',
9571                                                   $self->agent_template)
9572                      );
9573     if ( length($retadd) ) {
9574       $letter_data{returnaddress} = $retadd;
9575     } elsif ( grep /\S/, $conf->config('company_address', $self->agentnum) ) {
9576       $letter_data{returnaddress} =
9577         join( '\\*'."\n", map s/( {2,})/'~' x length($1)/eg,
9578                           $conf->config('company_address', $self->agentnum)
9579         );
9580     } else {
9581       $letter_data{returnaddress} = '~';
9582     }
9583   }
9584
9585   $letter_data{conf_dir} = "$FS::UID::conf_dir/conf.$FS::UID::datasrc";
9586
9587   $letter_data{company_name} = $conf->config('company_name', $self->agentnum);
9588
9589   my $dir = $FS::UID::conf_dir."/cache.". $FS::UID::datasrc;
9590   my $fh = new File::Temp( TEMPLATE => 'letter.'. $self->custnum. '.XXXXXXXX',
9591                            DIR      => $dir,
9592                            SUFFIX   => '.tex',
9593                            UNLINK   => 0,
9594                          ) or die "can't open temp file: $!\n";
9595
9596   $letter_template->fill_in( OUTPUT => $fh, HASH => \%letter_data );
9597   close $fh;
9598   $fh->filename =~ /^(.*).tex$/ or die "unparsable filename: ". $fh->filename;
9599   return $1;
9600 }
9601
9602 =item print_ps TEMPLATE 
9603
9604 Returns an postscript letter filled in from TEMPLATE, as a scalar.
9605
9606 =cut
9607
9608 sub print_ps {
9609   my $self = shift;
9610   my $file = $self->generate_letter(@_);
9611   FS::Misc::generate_ps($file);
9612 }
9613
9614 =item print TEMPLATE
9615
9616 Prints the filled in template.
9617
9618 TEMPLATE is the name of a L<Text::Template> to fill in and print.
9619
9620 =cut
9621
9622 sub queueable_print {
9623   my %opt = @_;
9624
9625   my $self = qsearchs('cust_main', { 'custnum' => $opt{custnum} } )
9626     or die "invalid customer number: " . $opt{custvnum};
9627
9628   my $error = $self->print( $opt{template} );
9629   die $error if $error;
9630 }
9631
9632 sub print {
9633   my ($self, $template) = (shift, shift);
9634   do_print [ $self->print_ps($template) ];
9635 }
9636
9637 #these three subs should just go away once agent stuff is all config overrides
9638
9639 sub agent_template {
9640   my $self = shift;
9641   $self->_agent_plandata('agent_templatename');
9642 }
9643
9644 sub agent_invoice_from {
9645   my $self = shift;
9646   $self->_agent_plandata('agent_invoice_from');
9647 }
9648
9649 sub _agent_plandata {
9650   my( $self, $option ) = @_;
9651
9652   #yuck.  this whole thing needs to be reconciled better with 1.9's idea of
9653   #agent-specific Conf
9654
9655   use FS::part_event::Condition;
9656   
9657   my $agentnum = $self->agentnum;
9658
9659   my $regexp = '';
9660   if ( driver_name =~ /^Pg/i ) {
9661     $regexp = '~';
9662   } elsif ( driver_name =~ /^mysql/i ) {
9663     $regexp = 'REGEXP';
9664   } else {
9665     die "don't know how to use regular expressions in ". driver_name. " databases";
9666   }
9667
9668   my $part_event_option =
9669     qsearchs({
9670       'select'    => 'part_event_option.*',
9671       'table'     => 'part_event_option',
9672       'addl_from' => q{
9673         LEFT JOIN part_event USING ( eventpart )
9674         LEFT JOIN part_event_option AS peo_agentnum
9675           ON ( part_event.eventpart = peo_agentnum.eventpart
9676                AND peo_agentnum.optionname = 'agentnum'
9677                AND peo_agentnum.optionvalue }. $regexp. q{ '(^|,)}. $agentnum. q{(,|$)'
9678              )
9679         LEFT JOIN part_event_condition
9680           ON ( part_event.eventpart = part_event_condition.eventpart
9681                AND part_event_condition.conditionname = 'cust_bill_age'
9682              )
9683         LEFT JOIN part_event_condition_option
9684           ON ( part_event_condition.eventconditionnum = part_event_condition_option.eventconditionnum
9685                AND part_event_condition_option.optionname = 'age'
9686              )
9687       },
9688       #'hashref'   => { 'optionname' => $option },
9689       #'hashref'   => { 'part_event_option.optionname' => $option },
9690       'extra_sql' =>
9691         " WHERE part_event_option.optionname = ". dbh->quote($option).
9692         " AND action = 'cust_bill_send_agent' ".
9693         " AND ( disabled IS NULL OR disabled != 'Y' ) ".
9694         " AND peo_agentnum.optionname = 'agentnum' ".
9695         " AND ( agentnum IS NULL OR agentnum = $agentnum ) ".
9696         " ORDER BY
9697            CASE WHEN part_event_condition_option.optionname IS NULL
9698            THEN -1
9699            ELSE ". FS::part_event::Condition->age2seconds_sql('part_event_condition_option.optionvalue').
9700         " END
9701           , part_event.weight".
9702         " LIMIT 1"
9703     });
9704     
9705   unless ( $part_event_option ) {
9706     return $self->agent->invoice_template || ''
9707       if $option eq 'agent_templatename';
9708     return '';
9709   }
9710
9711   $part_event_option->optionvalue;
9712
9713 }
9714
9715 =item queued_bill 'custnum' => CUSTNUM [ , OPTION => VALUE ... ]
9716
9717 Subroutine (not a method), designed to be called from the queue.
9718
9719 Takes a list of options and values.
9720
9721 Pulls up the customer record via the custnum option and calls bill_and_collect.
9722
9723 =cut
9724
9725 sub queued_bill {
9726   my (%args) = @_; #, ($time, $invoice_time, $check_freq, $resetup) = @_;
9727
9728   my $cust_main = qsearchs( 'cust_main', { custnum => $args{'custnum'} } );
9729   warn 'bill_and_collect custnum#'. $cust_main->custnum. "\n";#log custnum w/pid
9730
9731   $cust_main->bill_and_collect( %args );
9732 }
9733
9734 sub _upgrade_data { #class method
9735   my ($class, %opts) = @_;
9736
9737   my $sql = 'UPDATE h_cust_main SET paycvv = NULL WHERE paycvv IS NOT NULL';
9738   my $sth = dbh->prepare($sql) or die dbh->errstr;
9739   $sth->execute or die $sth->errstr;
9740
9741 }
9742
9743 =back
9744
9745 =head1 BUGS
9746
9747 The delete method.
9748
9749 The delete method should possibly take an FS::cust_main object reference
9750 instead of a scalar customer number.
9751
9752 Bill and collect options should probably be passed as references instead of a
9753 list.
9754
9755 There should probably be a configuration file with a list of allowed credit
9756 card types.
9757
9758 No multiple currency support (probably a larger project than just this module).
9759
9760 payinfo_masked false laziness with cust_pay.pm and cust_refund.pm
9761
9762 Birthdates rely on negative epoch values.
9763
9764 The payby for card/check batches is broken.  With mixed batching, bad
9765 things will happen.
9766
9767 B<collect> I<invoice_time> should be renamed I<time>, like B<bill>.
9768
9769 =head1 SEE ALSO
9770
9771 L<FS::Record>, L<FS::cust_pkg>, L<FS::cust_bill>, L<FS::cust_credit>
9772 L<FS::agent>, L<FS::part_referral>, L<FS::cust_main_county>,
9773 L<FS::cust_main_invoice>, L<FS::UID>, schema.html from the base documentation.
9774
9775 =cut
9776
9777 1;
9778