Fix problems with RBC batch import (RT#6967)
[freeside.git] / FS / FS / pay_batch.pm
1 package FS::pay_batch;
2
3 use strict;
4 use vars qw( @ISA $DEBUG %import_info %export_info $conf );
5 use Time::Local;
6 use Text::CSV_XS;
7 use FS::Record qw( dbh qsearch qsearchs );
8 use FS::cust_pay;
9 use FS::Conf;
10
11 @ISA = qw(FS::Record);
12
13 =head1 NAME
14
15 FS::pay_batch - Object methods for pay_batch records
16
17 =head1 SYNOPSIS
18
19   use FS::pay_batch;
20
21   $record = new FS::pay_batch \%hash;
22   $record = new FS::pay_batch { 'column' => 'value' };
23
24   $error = $record->insert;
25
26   $error = $new_record->replace($old_record);
27
28   $error = $record->delete;
29
30   $error = $record->check;
31
32 =head1 DESCRIPTION
33
34 An FS::pay_batch object represents an payment batch.  FS::pay_batch inherits
35 from FS::Record.  The following fields are currently supported:
36
37 =over 4
38
39 =item batchnum - primary key
40
41 =item payby - CARD or CHEK
42
43 =item status - O (Open), I (In-transit), or R (Resolved)
44
45 =item download - 
46
47 =item upload - 
48
49
50 =back
51
52 =head1 METHODS
53
54 =over 4
55
56 =item new HASHREF
57
58 Creates a new batch.  To add the batch to the database, see L<"insert">.
59
60 Note that this stores the hash reference, not a distinct copy of the hash it
61 points to.  You can ask the object for a copy with the I<hash> method.
62
63 =cut
64
65 # the new method can be inherited from FS::Record, if a table method is defined
66
67 sub table { 'pay_batch'; }
68
69 =item insert
70
71 Adds this record to the database.  If there is an error, returns the error,
72 otherwise returns false.
73
74 =cut
75
76 # the insert method can be inherited from FS::Record
77
78 =item delete
79
80 Delete this record from the database.
81
82 =cut
83
84 # the delete method can be inherited from FS::Record
85
86 =item replace OLD_RECORD
87
88 Replaces the OLD_RECORD with this one in the database.  If there is an error,
89 returns the error, otherwise returns false.
90
91 =cut
92
93 # the replace method can be inherited from FS::Record
94
95 =item check
96
97 Checks all fields to make sure this is a valid batch.  If there is
98 an error, returns the error, otherwise returns false.  Called by the insert
99 and replace methods.
100
101 =cut
102
103 # the check method should currently be supplied - FS::Record contains some
104 # data checking routines
105
106 sub check {
107   my $self = shift;
108
109   my $error = 
110     $self->ut_numbern('batchnum')
111     || $self->ut_enum('payby', [ 'CARD', 'CHEK' ])
112     || $self->ut_enum('status', [ 'O', 'I', 'R' ])
113   ;
114   return $error if $error;
115
116   $self->SUPER::check;
117 }
118
119 =item rebalance
120
121 =cut
122
123 sub rebalance {
124   my $self = shift;
125 }
126
127 =item set_status 
128
129 =cut
130
131 sub set_status {
132   my $self = shift;
133   $self->status(shift);
134   $self->download(time)
135     if $self->status eq 'I' && ! $self->download;
136   $self->upload(time)
137     if $self->status eq 'R' && ! $self->upload;
138   $self->replace();
139 }
140
141 # further false laziness
142
143 %import_info = %export_info = ();
144 foreach my $INC (@INC) {
145   warn "globbing $INC/FS/pay_batch/*.pm\n" if $DEBUG;
146   foreach my $file ( glob("$INC/FS/pay_batch/*.pm")) {
147     warn "attempting to load batch format from $file\n" if $DEBUG;
148     $file =~ /\/(\w+)\.pm$/;
149     next if !$1;
150     my $mod = $1;
151     my ($import, $export, $name) = 
152       eval "use FS::pay_batch::$mod; 
153            ( \\%FS::pay_batch::$mod\::import_info,
154              \\%FS::pay_batch::$mod\::export_info,
155              \$FS::pay_batch::$mod\::name)";
156     $name ||= $mod; # in case it's not defined
157     if( $@) {
158       # in FS::cdr this is a die, not a warn.  That's probably a bug.
159       warn "error using FS::pay_batch::$mod (skipping): $@\n";
160       next;
161     }
162     if(!keys(%$import)) {
163       warn "no \%import_info found in FS::pay_batch::$mod (skipping)\n";
164     }
165     else {
166       $import_info{$name} = $import;
167     }
168     if(!keys(%$export)) {
169       warn "no \%export_info found in FS::pay_batch::$mod (skipping)\n";
170     }
171     else {
172       $export_info{$name} = $export;
173     }
174   }
175 }
176
177 =item import_results OPTION => VALUE, ...
178
179 Import batch results.
180
181 Options are:
182
183 I<filehandle> - open filehandle of results file.
184
185 I<format> - "csv-td_canada_trust-merchant_pc_batch", "csv-chase_canada-E-xactBatch", "ach-spiritone", or "PAP"
186
187 =cut
188
189 sub import_results {
190   my $self = shift;
191
192   my $param = ref($_[0]) ? shift : { @_ };
193   my $fh = $param->{'filehandle'};
194   my $format = $param->{'format'};
195   my $info = $import_info{$format}
196     or die "unknown format $format";
197
198   my $filetype            = $info->{'filetype'};      # CSV or fixed
199   my @fields              = @{ $info->{'fields'}};
200   my $formatre            = $info->{'formatre'};      # for fixed
201   my @all_values;
202   my $begin_condition     = $info->{'begin_condition'};
203   my $end_condition       = $info->{'end_condition'};
204   my $end_hook            = $info->{'end_hook'};
205   my $skip_condition      = $info->{'skip_condition'};
206   my $hook                = $info->{'hook'};
207   my $approved_condition  = $info->{'approved'};
208   my $declined_condition  = $info->{'declined'};
209
210   my $csv = new Text::CSV_XS;
211
212   local $SIG{HUP} = 'IGNORE';
213   local $SIG{INT} = 'IGNORE';
214   local $SIG{QUIT} = 'IGNORE';
215   local $SIG{TERM} = 'IGNORE';
216   local $SIG{TSTP} = 'IGNORE';
217   local $SIG{PIPE} = 'IGNORE';
218
219   my $oldAutoCommit = $FS::UID::AutoCommit;
220   local $FS::UID::AutoCommit = 0;
221   my $dbh = dbh;
222
223   my $reself = $self->select_for_update;
224
225   unless ( $reself->status eq 'I' ) {
226     $dbh->rollback if $oldAutoCommit;
227     return "batchnum ". $self->batchnum. "no longer in transit";
228   }
229
230   my $error = $self->set_status('R');
231   if ( $error ) {
232     $dbh->rollback if $oldAutoCommit;
233     return $error;
234   }
235
236   my $total = 0;
237   my $line;
238
239   # Order of operations has been changed here.
240   # We now slurp everything into @all_values, then 
241   # process one line at a time.
242
243   if ($filetype eq 'XML') {
244     eval "use XML::Simple";
245     die $@ if $@;
246     my @xmlkeys = @{ $info->{'xmlkeys'} };  # for XML
247     my $xmlrow  = $info->{'xmlrow'};        # also for XML
248
249     # Do everything differently.
250     my $data = XML::Simple::XMLin($fh, KeepRoot => 1);
251     my $rows = $data;
252     # $xmlrow = [ RootKey, FirstLevelKey, SecondLevelKey... ]
253     $rows = $rows->{$_} foreach( @$xmlrow );
254     if(!defined($rows)) {
255       $dbh->rollback if $oldAutoCommit;
256       return "can't find rows in XML file";
257     }
258     $rows = [ $rows ] if ref($rows) ne 'ARRAY';
259     foreach my $row (@$rows) {
260       push @all_values, [ @{$row}{@xmlkeys}, $row ];
261     }
262   }
263   else {
264     while ( defined($line=<$fh>) ) {
265
266       next if $line =~ /^\s*$/; #skip blank lines
267
268       if ($filetype eq "CSV") {
269         $csv->parse($line) or do {
270           $dbh->rollback if $oldAutoCommit;
271           return "can't parse: ". $csv->error_input();
272         };
273         push @all_values, [ $csv->fields(), $line ];
274       }elsif ($filetype eq 'fixed'){
275         my @values = ( $line =~ /$formatre/, $line );
276         unless (@values) {
277           $dbh->rollback if $oldAutoCommit;
278           return "can't parse: ". $line;
279         };
280         push @all_values, \@values;
281       }else{
282         $dbh->rollback if $oldAutoCommit;
283         return "Unknown file type $filetype";
284       }
285     }
286   }
287
288   foreach (@all_values) {
289     my @values = @$_;
290
291     my %hash;
292     my $line = pop @values;
293     foreach my $field ( @fields ) {
294       my $value = shift @values;
295       next unless $field;
296       $hash{$field} = $value;
297     }
298
299     if ( defined($begin_condition) ) {
300       if ( &{$begin_condition}(\%hash, $line) ) {
301         undef $begin_condition;
302       }
303       else {
304         next;
305       }
306     }
307
308     if ( defined($end_condition) and &{$end_condition}(\%hash, $line) ) {
309       my $error;
310       $error = &{$end_hook}(\%hash, $total, $line) if defined($end_hook);
311       if ( $error ) {
312         $dbh->rollback if $oldAutoCommit;
313         return $error;
314       }
315       last;
316     }
317
318     if ( defined($skip_condition) and &{$skip_condition}(\%hash, $line) ) {
319       next;
320     }
321
322     my $cust_pay_batch =
323       qsearchs('cust_pay_batch', { 'paybatchnum' => $hash{'paybatchnum'}+0 } );
324     unless ( $cust_pay_batch ) {
325       return "unknown paybatchnum $hash{'paybatchnum'}\n";
326     }
327     my $custnum = $cust_pay_batch->custnum,
328     my $payby = $cust_pay_batch->payby,
329
330     my $new_cust_pay_batch = new FS::cust_pay_batch { $cust_pay_batch->hash };
331
332     &{$hook}(\%hash, $cust_pay_batch->hashref);
333
334     if ( &{$approved_condition}(\%hash) ) {
335
336       $new_cust_pay_batch->status('Approved');
337
338     } elsif ( &{$declined_condition}(\%hash) ) {
339
340       $new_cust_pay_batch->status('Declined');
341
342     }
343
344     my $error = $new_cust_pay_batch->replace($cust_pay_batch);
345     if ( $error ) {
346       $dbh->rollback if $oldAutoCommit;
347       return "error updating status of paybatchnum $hash{'paybatchnum'}: $error\n";
348     }
349
350     if ( $new_cust_pay_batch->status =~ /Approved/i ) {
351
352       my $cust_pay = new FS::cust_pay ( {
353         'custnum'  => $custnum,
354         'payby'    => $payby,
355         'paybatch' => $self->batchnum,
356         map { $_ => $hash{$_} } (qw( paid _date payinfo )),
357       } );
358       $error = $cust_pay->insert;
359       if ( $error ) {
360         $dbh->rollback if $oldAutoCommit;
361         return "error adding payment paybatchnum $hash{'paybatchnum'}: $error\n";
362       }
363       $total += $hash{'paid'};
364   
365       $cust_pay->cust_main->apply_payments;
366
367     } elsif ( $new_cust_pay_batch->status =~ /Declined/i ) {
368
369       #false laziness w/cust_main::collect
370
371       my $due_cust_event = $new_cust_pay_batch->cust_main->due_cust_event(
372         #'check_freq' => '1d', #?
373         'eventtable' => 'cust_pay_batch',
374         'objects'    => [ $new_cust_pay_batch ],
375       );
376       unless( ref($due_cust_event) ) {
377         $dbh->rollback if $oldAutoCommit;
378         return $due_cust_event;
379       }
380
381       foreach my $cust_event ( @$due_cust_event ) {
382         
383         #XXX lock event
384     
385         #re-eval event conditions (a previous event could have changed things)
386         next unless $cust_event->test_conditions;
387
388         if ( my $error = $cust_event->do_event() ) {
389           # gah, even with transactions.
390           #$dbh->commit if $oldAutoCommit; #well.
391           $dbh->rollback if $oldAutoCommit;
392           return $error;
393         }
394
395       }
396
397     }
398
399   }
400   
401   $dbh->commit or die $dbh->errstr if $oldAutoCommit;
402   '';
403
404 }
405
406 # Formerly httemplate/misc/download-batch.cgi
407 sub export_batch {
408   my $self = shift;
409   my $conf = new FS::Conf;
410   my $format = shift || $conf->config('batch-default_format')
411                or die "No batch format configured\n";
412   my $info = $export_info{$format} or die "Format not found: '$format'\n";
413   &{$info->{'init'}}($conf) if exists($info->{'init'});
414
415   my $curuser = $FS::CurrentUser::CurrentUser;
416
417   my $oldAutoCommit = $FS::UID::AutoCommit;
418   local $FS::UID::AutoCommit = 0;
419   my $dbh = dbh;  
420
421   my $first_download;
422   my $status = $self->status;
423   if ($status eq 'O') {
424     $first_download = 1;
425     my $error = $self->set_status('I');
426     die "error updating pay_batch status: $error\n" if $error;
427   } elsif ($status eq 'I' && $curuser->access_right('Reprocess batches')) {
428     $first_download = 0;
429   } else {
430     die "No pending batch.\n";
431   }
432
433   my $batch = '';
434   my $batchtotal = 0;
435   my $batchcount = 0;
436
437   my @cust_pay_batch = sort { $a->paybatchnum <=> $b->paybatchnum }
438                       qsearch('cust_pay_batch', { batchnum => $self->batchnum } );
439
440   my $h = $info->{'header'};
441   if(ref($h) eq 'CODE') {
442     $batch .= &$h($self, \@cust_pay_batch) . "\n";
443   }
444   else {
445     $batch .= $h . "\n";
446   }
447   foreach my $cust_pay_batch (@cust_pay_batch) {
448     if($first_download) {
449       my $balance = $cust_pay_batch->cust_main->balance;
450       my $error = '';
451       if($balance <= 0) { # then don't charge this customer
452         $error = $cust_pay_batch->delete;
453         undef $cust_pay_batch;
454       }
455       elsif($balance < $cust_pay_batch->amount) { # then reduce the charge to the remaining balance
456         $cust_pay_batch->amount($balance);
457         $error = $cust_pay_batch->replace;
458       }
459       # else $balance >= $cust_pay_batch->amount
460       if($error) {
461         $dbh->rollback or die $dbh->errstr if $oldAutoCommit;
462         die $error;
463       }
464     }
465     if($cust_pay_batch) { # that is, it wasn't deleted
466       $batchcount++;
467       $batchtotal += $cust_pay_batch->amount;
468       $batch .= &{$info->{'row'}}($cust_pay_batch, $self, $batchcount, $batchtotal) . "\n";
469     }
470   }
471   my $f = $info->{'footer'};
472   if(ref($f) eq 'CODE') {
473     $batch .= &$f($self, $batchcount, $batchtotal) . "\n";
474   }
475   else {
476     $batch .= $f . "\n";
477   }
478
479   if ($info->{'autopost'}) {
480     my $error = &{$info->{'autopost'}}($self, $batch);
481     if($error) {
482       $dbh->rollback or die $dbh->errstr if $oldAutoCommit;
483       die $error;
484     }
485   }
486
487   $dbh->commit or die $dbh->errstr if $oldAutoCommit;
488   return $batch;
489 }
490
491 =back
492
493 =head1 BUGS
494
495 status is somewhat redundant now that download and upload exist
496
497 =head1 SEE ALSO
498
499 L<FS::Record>, schema.html from the base documentation.
500
501 =cut
502
503 1;
504