option to omit $0 CDRs, RT#19917
[freeside.git] / FS / FS / part_pkg / voip_cdr.pm
index ba9e529..28d5038 100644 (file)
@@ -9,6 +9,7 @@ use Text::CSV_XS;
 use FS::Conf;
 use FS::Record qw(qsearchs qsearch);
 use FS::cdr;
+use FS::detail_format;
 #use FS::rate;
 #use FS::rate_prefix;
 #use FS::rate_detail;
@@ -19,6 +20,8 @@ tie my %cdr_svc_method, 'Tie::IxHash',
   'svc_phone.phonenum' => 'Phone numbers (svc_phone.phonenum)',
   'svc_pbx.title'      => 'PBX name (svc_pbx.title)',
   'svc_pbx.svcnum'     => 'Freeside service # (svc_pbx.svcnum)',
+  'svc_pbx.ip.src'     => 'PBX name to source IP address',
+  'svc_pbx.ip.dst'     => 'PBX name to destination IP address',
 ;
 
 tie my %rating_method, 'Tie::IxHash',
@@ -74,8 +77,9 @@ tie my %unrateable_opts, 'Tie::IxHash',
                        },
 
     'cdr_svc_method' => { 'name' => 'CDR service matching method',
-                          'type' => 'radio',
-                          'options' => \%cdr_svc_method,
+#                          'type' => 'radio',
+                          'type' => 'select',
+                          'select_options' => \%cdr_svc_method,
                         },
 
     'rating_method' => { 'name' => 'Rating method',
@@ -99,7 +103,9 @@ tie my %unrateable_opts, 'Tie::IxHash',
                      'empty_label'   => '',
                    },
 
-    'min_included' => { 'name' => 'Minutes included when using the "single price per minute" rating method or when using the "prefix" rating method ("region group" billing)',
+    'calls_included' => { 'name' => 'Number of calls included at no usage charge', },
+
+    'min_included' => { 'name' => 'Minutes included when using the "single price per minute" or "prefix" rating method',
                     },
 
     'min_charge' => { 'name' => 'Charge per minute when using "single price per minute" rating method',
@@ -223,6 +229,10 @@ tie my %unrateable_opts, 'Tie::IxHash',
                        },
     #eofalse
 
+    'usage_nozero' => { 'name' => 'Omit details for included / no-charge calls.',
+                        'type' => 'checkbox',
+                      },
+
     'bill_every_call' => { 'name' => 'Generate an invoice immediately for every call (as well any setup fee, upon first payment).  Useful for prepaid.',
                            'type' => 'checkbox',
                          },
@@ -266,6 +276,7 @@ tie my %unrateable_opts, 'Tie::IxHash',
                     qw(
                        cdr_svc_method
                        rating_method ratenum intrastate_ratenum 
+                       calls_included
                        min_charge min_included sec_granularity
                        ignore_unrateable
                        default_prefix
@@ -314,12 +325,13 @@ sub calc_recur {
 
 }
 
-sub calc_cancel {
-  my $self = shift;
-  my($cust_pkg, $sdate, $details, $param ) = @_;
-
-  $self->calc_usage(@_);
-}
+# use the default
+#sub calc_cancel {
+#  my $self = shift;
+#  my($cust_pkg, $sdate, $details, $param ) = @_;
+#
+#  $self->calc_usage(@_);
+#}
 
 #false laziness w/voip_sqlradacct calc_recur resolve it if that one ever gets used again
 
@@ -337,6 +349,7 @@ sub calc_usage {
   my $charges = 0;
 
   my $included_min = $self->option('min_included', 1) || 0; #single price rating
+  my $included_calls = $self->option('calls_included', 1) || 0;
 
   my $cdr_svc_method    = $self->option('cdr_svc_method',1)||'svc_phone.phonenum';
   my $rating_method     = $self->option('rating_method') || 'prefix';
@@ -349,11 +362,13 @@ sub calc_usage {
                                  : 'default'
                              );
 
-  my $use_duration = $self->option('use_duration');
+  my $usage_nozero      = $self->option->('usage_nozero', 1);
+
+  my $formatter = FS::detail_format->new($output_format, buffer => $details);
 
-  my $csv = new Text::CSV_XS;
+  my $use_duration = $self->option('use_duration');
 
-  my($svc_table, $svc_field) = split('\.', $cdr_svc_method);
+  my($svc_table, $svc_field, $by_ip_addr) = split('\.', $cdr_svc_method);
 
   my @cust_svc;
   if( $self->option('bill_inactive_svcs',1) ) {
@@ -382,14 +397,20 @@ sub calc_usage {
         'status'         => '',
         'for_update'     => 1,
       );  # $last_bill, $$sdate )
-    $options{'by_svcnum'} = 1 if $svc_field eq 'svcnum';
+    if ( $svc_field eq 'svcnum' ) {
+      $options{'by_svcnum'} = 1;
+    }
+    elsif ($svc_table eq 'svc_pbx' and $svc_field eq 'ip') {
+      $options{'by_ip_addr'} = $by_ip_addr;
+    }
 
-    my @invoice_details_sort;
+    #my @invoice_details_sort;
 
     #first rate any outstanding CDRs not yet rated
-    foreach my $cdr (
-      $svc_x->get_cdrs( %options )
-    ) {
+    my $cdr_search = $svc_x->psearch_cdrs(%options);
+    $cdr_search->limit(1000);
+    $cdr_search->increment(0); # because we're changing their status as we go
+    while ( my $cdr = $cdr_search->fetch ) {
 
       my $error = $cdr->rate(
         'part_pkg'                          => $self,
@@ -400,122 +421,40 @@ sub calc_usage {
       );
       die $error if $error; #??
 
+      $cdr_search->adjust(1) if $cdr->freesidestatus eq '';
+      # it was skipped without changing status, so increment the 
+      # offset so that we don't re-fetch it on refill
+
     } # $cdr
 
     #then add details to invoices & get a total
     $options{'status'} = 'rated';
-    foreach my $cdr (
-      $svc_x->get_cdrs( %options )
-    ) {
-
-      my $classnum = '';
-      my @call_details = ();
-      
-      if ( $rating_method eq 'prefix' ) {
-
-        $classnum = $cdr->rated_classnum;
-
-        unless ( $self->sum_usage ) {
-          @call_details = ($cdr->downstream_csv(
-            'format'         => $output_format,
-            'granularity'    => $cdr->rated_granularity, 
-            'seconds'        =>($use_duration ? $cdr->duration : $cdr->billsec),
-            'charge'         => $cdr->rated_price,
-            'pretty_dst'     => $cdr->rated_pretty_dst,
-            'dst_regionname' => $cdr->rated_regionname,
-          ));
-        }
-
-
-      } elsif ( $rating_method eq 'upstream_simple' ) {
-
-        $classnum = $cdr->calltypenum; #? meaningful these days?
 
-        @call_details = ($cdr->downstream_csv(
-          'format' => $output_format,
-          'charge' => $cdr->rated_price,
-        ));
-
-      } elsif ( $rating_method eq 'single_price' ) {
-
-        my $granularity = length($self->option_cacheable('sec_granularity'))
-                            ? $self->option_cacheable('sec_granularity')
-                            : 60;
-
-        @call_details = ($cdr->downstream_csv(
-          'format'      => $output_format,
-          'charge'      => $cdr->rated_price,
-          'seconds'     => ($use_duration ? $cdr->duration : $cdr->billsec),
-          'granularity' => $granularity,
-        ));
-
-      } else {
-        die "don't know how to rate CDRs using method: $rating_method\n";
+    $cdr_search = $svc_x->psearch_cdrs(%options);
+    $cdr_search->limit(1000);
+    $cdr_search->increment(0);
+    while ( my $cdr = $cdr_search->fetch ) {
+      my $error;
+      # at this point we officially Do Not Care about the rating method
+      if ( $included_calls > 0 ) {
+        $included_calls--;
+        #$charges += 0, obviously
+        #but don't set the rated price to zero--there should be a record
+        $error = $cdr->set_status('no-charge');
       }
-
-      $charges += $cdr->rated_price;
-
-      #if ( $cdr->rated_price > 0 ) {
-      # generate a detail record for every call; filter out
-      # $cdr->rated_price == 0 # later.
-      my $call_details;
-      my $phonenum = $svc_x->phonenum;
-
-      if ( scalar(@call_details) == 1 ) {
-        $call_details =
-        { format      => 'C',
-          detail      => $call_details[0],
-          amount      => $cdr->rated_price,
-          classnum    => $classnum,
-          phonenum    => $phonenum,
-          accountcode => $cdr->accountcode,
-          startdate   => $cdr->startdate,
-          duration    => $cdr->rated_seconds,
-          regionname  => $cdr->rated_regionname,
-        };
-      } else { #only used for $rating_method eq 'upstream' now
-        # and for sum_ formats
-        $csv->combine(@call_details);
-        $call_details =
-        { format      => 'C',
-          detail      => $csv->string,
-          amount      => $cdr->rated_price,
-          classnum    => $classnum,
-          phonenum    => $phonenum,
-          accountcode => $cdr->accountcode,
-          startdate   => $cdr->startdate,
-          duration    => $cdr->rated_seconds,
-          regionname  => $cdr->rated_regionname,
-        };
+      else {
+        $charges += $cdr->rated_price;
+        $error = $cdr->set_status('done');
       }
-      $call_details->{'ratename'} = $cdr->rated_ratename;
-
-      push @invoice_details_sort, [ $call_details, $cdr->calldate_unix ];
-      #} $charge > 0
-
-      my $error = $cdr->set_status('done');
-      die $error if $error; #??
-
-    }
+      die $error if $error;
+      $formatter->append($cdr) unless $usage_nozero && $cdr->rated_price == 0;
 
-    if ( !$self->sum_usage ) {
-      #sort them
-      my @sorted_invoice_details = 
-        sort { @{$a}[1] <=> @{$b}[1] } @invoice_details_sort;
-      foreach my $sorted_call_detail ( @sorted_invoice_details ) {
-        my $d = $sorted_call_detail->[0];
-        push @$details, $d if $d->{amount} > 0;
-      }
-    }
-    else { #$self->sum_usage
-        push @$details, $self->sum_detail($svc_x, \@invoice_details_sort);
-    }
-  } # $cust_svc
+      $cdr_search->adjust(1) if $cdr->freesidestatus eq 'rated';
+    } #$cdr
+  }
 
-  unshift @$details, { format => 'C',
-                       detail => FS::cdr::invoice_header($output_format),
-                     }
-    if @$details && $rating_method ne 'upstream';
+  $formatter->finish; #writes into $details
+  unshift @$details, $formatter->header if @$details;
 
   $charges;
 }
@@ -629,51 +568,6 @@ sub sum_usage {
   $self->option('output_format') =~ /^sum_/;
 }
 
-sub sum_detail {
-  my $self = shift;
-  my $svc_x = shift;
-  my $invoice_details = shift || [];
-  return () if !@$invoice_details;
-  my $details_by_rate = {};
-  # combine the entire set of CDRs
-  foreach ( @$invoice_details ) {
-    my $d = $_->[0];
-    my $sum = $details_by_rate->{ $d->{ratename} } ||= {
-      amount      => 0,
-      format      => 'C',
-      classnum    => '', #XXX
-      duration    => 0,
-      phonenum    => $svc_x->phonenum,
-      accountcode => '', #XXX
-      startdate   => '', #XXX
-      regionname  => '',
-      count       => 0,
-    };
-    $sum->{amount} += $d->{amount};
-    $sum->{duration} += $d->{duration};
-    $sum->{count}++;
-  }
-  my @details;
-  foreach my $ratename ( sort keys(%$details_by_rate) ) {
-    my $sum = $details_by_rate->{$ratename};
-    next if $sum->{count} == 0;
-    my $total_cdr = FS::cdr->new({
-        'billsec' => $sum->{duration},
-        'src'     => $sum->{phonenum},
-      });
-    $sum->{detail} = $total_cdr->downstream_csv(
-      format    => $self->option('output_format'),
-      seconds   => $sum->{duration},
-      charge    => sprintf('%.2f',$sum->{amount}),
-      ratename  => $ratename,
-      phonenum  => $sum->{phonenum},
-      count     => $sum->{count},
-    );
-    push @details, $sum;
-  }
-  @details;
-}
-
 # and whether cust_bill should show a detail line for the service label 
 # (separate from usage details)
 sub hide_svc_detail {