fix included minutes for single price per minute? wtf?
[freeside.git] / FS / FS / part_pkg / voip_cdr.pm
index b522a99..df1f2cc 100644 (file)
@@ -1,10 +1,12 @@
 package FS::part_pkg::voip_cdr;
+use base qw( FS::part_pkg::recur_Common );
 
 use strict;
-use base qw( FS::part_pkg::recur_Common );
 use vars qw( $DEBUG %info );
-use Date::Format;
+use List::Util qw(first min);
 use Tie::IxHash;
+use Date::Format;
+use Text::CSV_XS;
 use FS::Conf;
 use FS::Record qw(qsearchs qsearch);
 use FS::cdr;
@@ -12,9 +14,6 @@ use FS::rate;
 use FS::rate_prefix;
 use FS::rate_detail;
 
-use List::Util qw(first min);
-
-
 $DEBUG = 0;
 
 tie my %cdr_svc_method, 'Tie::IxHash',
@@ -43,10 +42,17 @@ tie my %temporalities, 'Tie::IxHash',
 
 tie my %granularity, 'Tie::IxHash', FS::rate_detail::granularities();
 
+# previously "1" was "ignore"
+tie my %unrateable_opts, 'Tie::IxHash',
+  '' => 'Exit with a fatal error',
+  1  => 'Ignore and continue',
+  2  => 'Flag for later review',
+;
+
 %info = (
   'name' => 'VoIP rating by plan of CDR records in an internal (or external) SQL table',
   'shortname' => 'VoIP/telco CDR rating (standard)',
-  'inherit_fields' => [ 'global_Mixin' ],
+  'inherit_fields' => [ 'prorate_Mixin', 'global_Mixin' ],
   'fields' => {
     'suspend_bill' => { 'name' => 'Continue recurring billing while suspended',
                         'type' => 'checkbox',
@@ -61,10 +67,6 @@ tie my %granularity, 'Tie::IxHash', FS::rate_detail::granularities();
                                    'subscription',
                          'default' => '1',
                        },
-    'add_full_period'=> { 'name' => 'When prorating first month, also bill '.
-                                    'for one full period after that',
-                          'type' => 'checkbox',
-                        },
     'recur_method'  => { 'name' => 'Recurring fee method',
                          #'type' => 'radio',
                          #'options' => \%recur_method,
@@ -109,8 +111,9 @@ tie my %granularity, 'Tie::IxHash', FS::rate_detail::granularities();
                            'select_options' => \%granularity,
                          },
 
-    'ignore_unrateable' => { 'name' => 'Ignore calls without a rate in the rate tables.  By default, the system will throw a fatal error upon encountering unrateable calls.',
-                             'type' => 'checkbox',
+    'ignore_unrateable' => { 'name' => 'Handling of calls without a rate in the rate table',
+                             'type' => 'select',
+                             'select_options' => \%unrateable_opts,
                            },
 
     'default_prefix' => { 'name'    => 'Default prefix optionally prepended to customer DID numbers when searching for CDR records',
@@ -137,22 +140,14 @@ tie my %granularity, 'Tie::IxHash', FS::rate_detail::granularities();
                             'type' => 'checkbox',
                           },
 
-    'use_amaflags' => { 'name' => 'Do not charge for CDRs where the amaflags field is not set to "2" ("BILL"/"BILLING").',
+    'use_amaflags' => { 'name' => 'Only charge for CDRs where the amaflags field is set to "2" ("BILL"/"BILLING").',
                         'type' => 'checkbox',
                       },
 
-    'use_disposition' => { 'name' => 'Do not charge for CDRs where the disposition flag is not set to "ANSWERED".',
-                           'type' => 'checkbox',
+    'use_carrierid' => { 'name' => 'Only charge for CDRs where the Carrier ID is set to: ',
                          },
 
-    'use_disposition_taqua' => { 'name' => 'Do not charge for CDRs where the disposition is not set to "100" (Taqua).',
-                                 'type' => 'checkbox',
-                               },
-
-    'use_carrierid' => { 'name' => 'Do not charge for CDRs where the Carrier ID is not set to: ',
-                         },
-
-    'use_cdrtypenum' => { 'name' => 'Do not charge for CDRs where the CDR Type is not set to: ',
+    'use_cdrtypenum' => { 'name' => 'Only charge for CDRs where the CDR Type is set to: ',
                          },
     
     'ignore_cdrtypenum' => { 'name' => 'Do not charge for CDRs where the CDR Type is set to: ',
@@ -160,6 +155,9 @@ tie my %granularity, 'Tie::IxHash', FS::rate_detail::granularities();
     
     'ignore_disposition' => { 'name' => 'Do not charge for CDRs where the Disposition is set to any of these (comma-separated) values: ',
                          },
+    
+    'disposition_in' => { 'name' => 'Only charge for CDRs where the Disposition is set to any of these (comma-separated) values: ',
+                         },
 
     'skip_dst_prefix' => { 'name' => 'Do not charge for CDRs where the destination number starts with any of these values: ',
     },
@@ -264,21 +262,21 @@ tie my %granularity, 'Tie::IxHash', FS::rate_detail::granularities();
   },
   'fieldorder' => [qw(
                        recur_temporality
-                       recur_method cutoff_day
-                       add_full_period
+                       recur_method cutoff_day ),
+                       FS::part_pkg::prorate_Mixin::fieldorder,
+                    qw(
                        cdr_svc_method
                        rating_method ratenum intrastate_ratenum 
-                       min_charge min_included
-                              sec_granularity
+                       min_charge min_included sec_granularity
                        ignore_unrateable
                        default_prefix
                        disable_src
                        domestic_prefix international_prefix
                        disable_tollfree
-                       use_amaflags use_disposition
-                       use_disposition_taqua use_carrierid 
+                       use_amaflags
+                       use_carrierid 
                        use_cdrtypenum ignore_cdrtypenum
-                       ignore_disposition
+                       ignore_disposition disposition_in
                        skip_dcontext skip_dst_prefix 
                        skip_dstchannel_prefix skip_src_length_more 
                        noskip_src_length_accountcode_tollfree
@@ -304,11 +302,6 @@ sub price_info {
     $str;
 }
 
-sub calc_setup {
-  my($self, $cust_pkg ) = @_;
-  $self->option('setup_fee');
-}
-
 sub calc_recur {
   my $self = shift;
   my($cust_pkg, $sdate, $details, $param ) = @_;
@@ -346,7 +339,9 @@ sub calc_usage {
 
   my $spool_cdr = $cust_pkg->cust_main->spool_cdr;
 
-  my %included_min = ();
+  my %included_min = (); #region groups w/prefix rating
+
+  my $included_min = $self->option('min_included', 1) || 0; #single price rating
 
   my $charges = 0;
 
@@ -380,8 +375,6 @@ sub calc_usage {
   #for check_chargable, so we don't keep looking up options inside the loop
   my %opt_cache = ();
 
-  eval "use Text::CSV_XS;";
-  die $@ if $@;
   my $csv = new Text::CSV_XS;
 
   my($svc_table, $svc_field) = split('\.', $cdr_svc_method);
@@ -408,6 +401,7 @@ sub calc_usage {
     my %options = (
         'disable_src'    => $self->option('disable_src'),
         'default_prefix' => $self->option('default_prefix'),
+        'cdrtypenum'     => $self->option('use_cdrtypenum'),
         'status'         => '',
         'for_update'     => 1,
       );  # $last_bill, $$sdate )
@@ -431,6 +425,7 @@ sub calc_usage {
       my $seconds = '';
       my $weektime = '';
       my $regionname = '';
+      my $ratename = '';
       my $classnum = '';
       my $countrycode;
       my $number;
@@ -439,6 +434,8 @@ sub calc_usage {
       if ( $rating_method eq 'prefix' ) {
 
         my $da_rewrote = 0;
+        # this will result in those CDRs being marked as done... is that 
+        # what we want?
         if ( length($cdr->dst) && grep { $cdr->dst eq $_ } @dirass ){
           $cdr->dst('411');
           $da_rewrote = 1;
@@ -453,6 +450,8 @@ sub calc_usage {
 
           warn "not charging for CDR ($reason)\n" if $DEBUG;
           $charge = 0;
+          # this will result in those CDRs being marked as done... is that 
+          # what we want?
 
         } else {
           
@@ -514,8 +513,9 @@ sub calc_usage {
             ? $cust_pkg->part_pkg->option('accountcode_tollfree_ratenum')
             : '';
 
-          my $intrastate_ratenum = $cust_pkg->part_pkg->option('accountcode_tollfree_ratenum');
+          my $intrastate_ratenum = $cust_pkg->part_pkg->option('intrastate_ratenum');
           if ( $intrastate_ratenum && !$cdr->is_tollfree ) {
+            $ratename = 'Interstate'; #until proven otherwise
             # this is relatively easy only because:
             # -assume all numbers are valid NANP numbers NOT in a fully-qualified format
             # -disregard toll-free
@@ -532,9 +532,12 @@ sub calc_usage {
             $srcprefix = qsearchs('rate_prefix', {   'countrycode' => '1',
                                                      'npa' => $1, 
                                                  }) || '';
-            $eff_ratenum = $intrastate_ratenum if ($srcprefix && $dstprefix
+            if ($srcprefix && $dstprefix
                 && $srcprefix->state && $dstprefix->state
-                && $srcprefix->state eq $dstprefix->state);
+                && $srcprefix->state eq $dstprefix->state) {
+              $eff_ratenum = $intrastate_ratenum;
+              $ratename = 'Intrastate'; # XXX possibly just use the ratename?
+            }
           }
 
           $eff_ratenum ||= $ratenum;
@@ -620,7 +623,18 @@ sub calc_usage {
           && $granularity  # 0 is per call
           && $seconds % $granularity;
         my $minutes = $granularity ? ($seconds / 60) : 1;
-        $charge = sprintf('%.4f', ( $self->option('min_charge') * $minutes )
+
+        my $charge_min = $minutes;
+
+        $included_min -= $minutes;
+        if ( $included_min > 0 ) {
+          $charge_min = 0;
+        } else {
+           $charge_min = 0 - $included_min;
+           $included_min = 0;
+        }
+
+        $charge = sprintf('%.4f', ( $self->option('min_charge') * $charge_min )
                                   + 0.0000000001 ); #so 1.00005 rounds to 1.0001
 
         warn "Incrementing \$charges by $charge.  Now $charges\n" if $DEBUG;
@@ -650,8 +664,20 @@ sub calc_usage {
       #if ( ! $rate_detail && ! scalar(@call_details) ) {}
       if ( ! $rate_detail && $charge eq '' ) {
 
-        warn "no rate_detail found for CDR.acctid: ". $cdr->acctid.
-             "; skipping\n"
+        if ( $ignore_unrateable == 2 ) {
+          # mark the CDR as unrateable
+          my $error = $cdr->set_status_and_rated_price(
+            'failed',
+            '',
+            $cust_svc->svcnum
+          );
+          die $error if $error;
+        }
+        elsif ( $ignore_unrateable == 1 ) {
+          # warn and continue
+          warn "no rate_detail found for CDR.acctid: ". $cdr->acctid.
+               "; skipping\n"
+        } #if $ignore_unrateable
 
       } else { # there *is* a rate_detail (or call_details), proceed...
         # About this section:
@@ -760,54 +786,58 @@ sub calc_usage {
           warn "Incrementing \$charges by $charge.  Now $charges\n" if $DEBUG;
           $charges += $charge;
 
-          @call_details = (
-            $cdr->downstream_csv( 'format'         => $output_format,
-                                  'granularity'    => $rate_detail->sec_granularity, 
-                                  'seconds'        => ($use_duration ?
-                                                       $cdr->duration :
-                                                       $cdr->billsec),
-                                  'charge'         => $charge,
-                                  'pretty_dst'     => $pretty_destnum,
-                                  'dst_regionname' => $regionname,
-                                )
-          );
-        } #if(there is a rate_detail)
-
-        if ( $charge > 0 ) {
-          #just use FS::cust_bill_pkg_detail objects?
-          my $call_details;
-          my $phonenum = $svc_x->phonenum;
-
-          if ( scalar(@call_details) == 1 ) {
-            $call_details =
-              [ 'C',
-                $call_details[0],
-                $charge,
-                $classnum,
-                $phonenum,
-                $cdr->accountcode,
-                $seconds,
-                $regionname,
-              ];
-          } else { #only used for $rating_method eq 'upstream' now
-            $csv->combine(@call_details);
-            $call_details =
-              [ 'C',
-                $csv->string,
-                $charge,
-                $classnum,
-                $phonenum,
-                $cdr->accountcode,
-                $seconds,
-                $regionname,
-              ];
+          if ( !$self->sum_usage ) {
+            @call_details = (
+              $cdr->downstream_csv( 'format'         => $output_format,
+                                    'granularity'    => $rate_detail->sec_granularity, 
+                                    'seconds'        => ($use_duration ?
+                                                         $cdr->duration :
+                                                         $cdr->billsec),
+                                    'charge'         => $charge,
+                                    'pretty_dst'     => $pretty_destnum,
+                                    'dst_regionname' => $regionname,
+                                  )
+            );
           }
-          warn "  adding details on charge to invoice: [ ".
-              join(', ', @{$call_details} ). " ]"
-            if ( $DEBUG && ref($call_details) );
-          push @invoice_details_sort, [ $call_details, $cdr->calldate_unix ];
+        } #if(there is a rate_detail)
+
+        #if ( $charge > 0 ) {
+        # generate a detail record for every call; filter out $charge = 0 
+        # later.
+        my $call_details;
+        my $phonenum = $svc_x->phonenum;
+
+        if ( scalar(@call_details) == 1 ) {
+          $call_details =
+          { format      => 'C',
+            detail      => $call_details[0],
+            amount      => $charge,
+            classnum    => $classnum,
+            phonenum    => $phonenum,
+            accountcode => $cdr->accountcode,
+            startdate   => $cdr->startdate,
+            duration    => $seconds,
+            regionname  => $regionname,
+          };
+        } else { #only used for $rating_method eq 'upstream' now
+          # and for sum_ formats
+          $csv->combine(@call_details);
+          $call_details =
+          { format      => 'C',
+            detail      => $csv->string,
+            amount      => $charge,
+            classnum    => $classnum,
+            phonenum    => $phonenum,
+            accountcode => $cdr->accountcode,
+            startdate   => $cdr->startdate,
+            duration    => $seconds,
+            regionname  => $regionname,
+          };
         }
+        $call_details->{'ratename'} = $ratename;
+
+        push @invoice_details_sort, [ $call_details, $cdr->calldate_unix ];
+        #} $charge > 0
 
         # if the customer flag is on, call "downstream_csv" or something
         # like it to export the call downstream!
@@ -824,51 +854,26 @@ sub calc_usage {
       }
 
     } # $cdr
-    my @sorted_invoice_details = sort { @{$a}[1] <=> @{$b}[1] } @invoice_details_sort;
-    foreach my $sorted_call_detail ( @sorted_invoice_details ) {
-        push @$details, @{$sorted_call_detail}[0];
-    }
 
+    if ( !$self->sum_usage ) {
+      #sort them
+      my @sorted_invoice_details = 
+        sort { @{$a}[1] <=> @{$b}[1] } @invoice_details_sort;
+      foreach my $sorted_call_detail ( @sorted_invoice_details ) {
+        my $d = $sorted_call_detail->[0];
+        push @$details, $d if $d->{amount} > 0;
+      }
+    }
+    else { #$self->sum_usage
+        push @$details, $self->sum_detail($svc_x, \@invoice_details_sort);
+    }
   } # $cust_svc
 
-  unshift @$details, [ 'C',
-                       FS::cdr::invoice_header($output_format),
-                       '',
-                       '',
-                       '',
-                       '',
-                       '',
-                     ]
+  unshift @$details, { format => 'C',
+                       detail => FS::cdr::invoice_header($output_format),
+                     }
     if @$details && $rating_method ne 'upstream';
 
-#  if ( $spool_cdr && length($downstream_cdr) ) {
-#
-#    use FS::UID qw(datasrc);
-#    my $dir = '/usr/local/etc/freeside/export.'. datasrc. '/cdr';
-#    mkdir $dir, 0700 unless -d $dir;
-#    $dir .= '/'. $cust_pkg->custnum.
-#    mkdir $dir, 0700 unless -d $dir;
-#    my $filename = time2str("$dir/CDR%Y%m%d-spool.CSV", time); #XXX invoice date instead?  would require changing the order things are generated in cust_main::bill insert cust_bill first - with transactions it could be done though
-#
-#    push @{ $param->{'precommit_hooks'} },
-#         sub {
-#               #lock the downstream spool file and append the records 
-#               use Fcntl qw(:flock);
-#               use IO::File;
-#               my $spool = new IO::File ">>$filename"
-#                 or die "can't open $filename: $!\n";
-#               flock( $spool, LOCK_EX)
-#                 or die "can't lock $filename: $!\n";
-#               seek($spool, 0, 2)
-#                 or die "can't seek to end of $filename: $!\n";
-#               print $spool $downstream_cdr;
-#               flock( $spool, LOCK_UN );
-#               close $spool;
-#             };
-#
-#  } #if ( $spool_cdr && length($downstream_cdr) )
-
   $charges;
 }
 
@@ -881,11 +886,10 @@ sub check_chargable {
 
   my @opt = qw(
     use_amaflags
-    use_disposition
-    use_disposition_taqua
     use_carrierid
     use_cdrtypenum
     ignore_cdrtypenum
+    disposition_in
     ignore_disposition
     skip_dst_prefix
     skip_dcontext
@@ -903,21 +907,25 @@ sub check_chargable {
   return 'amaflags != 2'
     if $opt{'use_amaflags'} && $cdr->amaflags != 2;
 
-  return 'disposition != ANSWERED'
-    if $opt{'use_disposition'} && $cdr->disposition ne 'ANSWERED';
-
-  return "disposition != 100"
-    if $opt{'use_disposition_taqua'} && $cdr->disposition != 100;
+  return "disposition NOT IN ( $opt{'disposition_in'} )"
+    if $opt{'disposition_in'} =~ /\S/
+    && !grep { $cdr->disposition eq $_ } split(/\s*,\s*/, $opt{'disposition_in'});
   
   return "disposition IN ( $opt{'ignore_disposition'} )"
     if $opt{'ignore_disposition'} =~ /\S/
     && grep { $cdr->disposition eq $_ } split(/\s*,\s*/, $opt{'ignore_disposition'});
 
+  foreach(split(/\s*,\s*/, $opt{'skip_dst_prefix'})) {
+    return "dst starts with '$_'"
+    if length($_) && substr($cdr->dst,0,length($_)) eq $_;
+  }
+
   return "carrierid != $opt{'use_carrierid'}"
     if length($opt{'use_carrierid'})
     && $cdr->carrierid ne $opt{'use_carrierid'} #ne otherwise 0 matches ''
     && ! $flags{'da_rewrote'};
 
+  # unlike everything else, use_cdrtypenum is applied in FS::svc_x::get_cdrs.
   return "cdrtypenum != $opt{'use_cdrtypenum'}"
     if length($opt{'use_cdrtypenum'})
     && $cdr->cdrtypenum ne $opt{'use_cdrtypenum'}; #ne otherwise 0 matches ''
@@ -926,11 +934,6 @@ sub check_chargable {
     if length($opt{'ignore_cdrtypenum'})
     && $cdr->cdrtypenum eq $opt{'ignore_cdrtypenum'}; #eq otherwise 0 matches ''
 
-  foreach(split(',',$opt{'skip_dst_prefix'})) {
-    return "dst starts with '$_'"
-    if length($_) && substr($cdr->dst,0,length($_)) eq $_;
-  }
-
   return "dcontext IN ( $opt{'skip_dcontext'} )"
     if $opt{'skip_dcontext'} =~ /\S/
     && grep { $cdr->dcontext eq $_ } split(/\s*,\s*/, $opt{'skip_dcontext'});
@@ -999,5 +1002,65 @@ sub calc_units {
   $count;
 }
 
+# tells whether cust_bill_pkg_detail should return a single line for 
+# each phonenum
+sub sum_usage {
+  my $self = shift;
+  $self->option('output_format') =~ /^sum_/;
+}
+
+sub sum_detail {
+  my $self = shift;
+  my $svc_x = shift;
+  my $invoice_details = shift || [];
+  return () if !@$invoice_details;
+  my $details_by_rate = {};
+  # combine the entire set of CDRs
+  foreach ( @$invoice_details ) {
+    my $d = $_->[0];
+    my $sum = $details_by_rate->{ $d->{ratename} } ||= {
+      amount      => 0,
+      format      => 'C',
+      classnum    => '', #XXX
+      duration    => 0,
+      phonenum    => $svc_x->phonenum,
+      accountcode => '', #XXX
+      startdate   => '', #XXX
+      regionname  => '',
+      count       => 0,
+    };
+    $sum->{amount} += $d->{amount};
+    $sum->{duration} += $d->{duration};
+    $sum->{count}++;
+  }
+  my @details;
+  foreach my $ratename ( sort keys(%$details_by_rate) ) {
+    my $sum = $details_by_rate->{$ratename};
+    next if $sum->{count} == 0;
+    my $total_cdr = FS::cdr->new({
+        'billsec' => $sum->{duration},
+        'src'     => $sum->{phonenum},
+      });
+    $sum->{detail} = $total_cdr->downstream_csv(
+      format    => $self->option('output_format'),
+      seconds   => $sum->{duration},
+      charge    => sprintf('%.2f',$sum->{amount}),
+      ratename  => $ratename,
+      phonenum  => $sum->{phonenum},
+      count     => $sum->{count},
+    );
+    push @details, $sum;
+  }
+  @details;
+}
+
+# and whether cust_bill should show a detail line for the service label 
+# (separate from usage details)
+sub hide_svc_detail {
+  my $self = shift;
+  $self->option('output_format') =~ /^sum_/;
+}
+
+
 1;