CDR type separation and summary formats, #15535
[freeside.git] / FS / FS / part_pkg / voip_cdr.pm
index b522a99..747965b 100644 (file)
@@ -43,10 +43,17 @@ tie my %temporalities, 'Tie::IxHash',
 
 tie my %granularity, 'Tie::IxHash', FS::rate_detail::granularities();
 
+# previously "1" was "ignore"
+tie my %unrateable_opts, 'Tie::IxHash',
+  '' => 'Exit with a fatal error',
+  1  => 'Ignore and continue',
+  2  => 'Flag for later review',
+;
+
 %info = (
   'name' => 'VoIP rating by plan of CDR records in an internal (or external) SQL table',
   'shortname' => 'VoIP/telco CDR rating (standard)',
-  'inherit_fields' => [ 'global_Mixin' ],
+  'inherit_fields' => [ 'prorate_Mixin', 'global_Mixin' ],
   'fields' => {
     'suspend_bill' => { 'name' => 'Continue recurring billing while suspended',
                         'type' => 'checkbox',
@@ -61,10 +68,6 @@ tie my %granularity, 'Tie::IxHash', FS::rate_detail::granularities();
                                    'subscription',
                          'default' => '1',
                        },
-    'add_full_period'=> { 'name' => 'When prorating first month, also bill '.
-                                    'for one full period after that',
-                          'type' => 'checkbox',
-                        },
     'recur_method'  => { 'name' => 'Recurring fee method',
                          #'type' => 'radio',
                          #'options' => \%recur_method,
@@ -109,8 +112,9 @@ tie my %granularity, 'Tie::IxHash', FS::rate_detail::granularities();
                            'select_options' => \%granularity,
                          },
 
-    'ignore_unrateable' => { 'name' => 'Ignore calls without a rate in the rate tables.  By default, the system will throw a fatal error upon encountering unrateable calls.',
-                             'type' => 'checkbox',
+    'ignore_unrateable' => { 'name' => 'Handling of calls without a rate in the rate table',
+                             'type' => 'select',
+                             'select_options' => \%unrateable_opts,
                            },
 
     'default_prefix' => { 'name'    => 'Default prefix optionally prepended to customer DID numbers when searching for CDR records',
@@ -137,22 +141,14 @@ tie my %granularity, 'Tie::IxHash', FS::rate_detail::granularities();
                             'type' => 'checkbox',
                           },
 
-    'use_amaflags' => { 'name' => 'Do not charge for CDRs where the amaflags field is not set to "2" ("BILL"/"BILLING").',
+    'use_amaflags' => { 'name' => 'Only charge for CDRs where the amaflags field is set to "2" ("BILL"/"BILLING").',
                         'type' => 'checkbox',
                       },
 
-    'use_disposition' => { 'name' => 'Do not charge for CDRs where the disposition flag is not set to "ANSWERED".',
-                           'type' => 'checkbox',
+    'use_carrierid' => { 'name' => 'Only charge for CDRs where the Carrier ID is set to: ',
                          },
 
-    'use_disposition_taqua' => { 'name' => 'Do not charge for CDRs where the disposition is not set to "100" (Taqua).',
-                                 'type' => 'checkbox',
-                               },
-
-    'use_carrierid' => { 'name' => 'Do not charge for CDRs where the Carrier ID is not set to: ',
-                         },
-
-    'use_cdrtypenum' => { 'name' => 'Do not charge for CDRs where the CDR Type is not set to: ',
+    'use_cdrtypenum' => { 'name' => 'Only charge for CDRs where the CDR Type is set to: ',
                          },
     
     'ignore_cdrtypenum' => { 'name' => 'Do not charge for CDRs where the CDR Type is set to: ',
@@ -160,6 +156,9 @@ tie my %granularity, 'Tie::IxHash', FS::rate_detail::granularities();
     
     'ignore_disposition' => { 'name' => 'Do not charge for CDRs where the Disposition is set to any of these (comma-separated) values: ',
                          },
+    
+    'disposition_in' => { 'name' => 'Only charge for CDRs where the Disposition is set to any of these (comma-separated) values: ',
+                         },
 
     'skip_dst_prefix' => { 'name' => 'Do not charge for CDRs where the destination number starts with any of these values: ',
     },
@@ -264,8 +263,9 @@ tie my %granularity, 'Tie::IxHash', FS::rate_detail::granularities();
   },
   'fieldorder' => [qw(
                        recur_temporality
-                       recur_method cutoff_day
-                       add_full_period
+                       recur_method cutoff_day ),
+                       FS::part_pkg::prorate_Mixin::fieldorder,
+                    qw(
                        cdr_svc_method
                        rating_method ratenum intrastate_ratenum 
                        min_charge min_included
@@ -275,10 +275,10 @@ tie my %granularity, 'Tie::IxHash', FS::rate_detail::granularities();
                        disable_src
                        domestic_prefix international_prefix
                        disable_tollfree
-                       use_amaflags use_disposition
-                       use_disposition_taqua use_carrierid 
+                       use_amaflags
+                       use_carrierid 
                        use_cdrtypenum ignore_cdrtypenum
-                       ignore_disposition
+                       ignore_disposition disposition_in
                        skip_dcontext skip_dst_prefix 
                        skip_dstchannel_prefix skip_src_length_more 
                        noskip_src_length_accountcode_tollfree
@@ -304,11 +304,6 @@ sub price_info {
     $str;
 }
 
-sub calc_setup {
-  my($self, $cust_pkg ) = @_;
-  $self->option('setup_fee');
-}
-
 sub calc_recur {
   my $self = shift;
   my($cust_pkg, $sdate, $details, $param ) = @_;
@@ -408,6 +403,7 @@ sub calc_usage {
     my %options = (
         'disable_src'    => $self->option('disable_src'),
         'default_prefix' => $self->option('default_prefix'),
+        'cdrtypenum'     => $self->option('use_cdrtypenum'),
         'status'         => '',
         'for_update'     => 1,
       );  # $last_bill, $$sdate )
@@ -439,6 +435,8 @@ sub calc_usage {
       if ( $rating_method eq 'prefix' ) {
 
         my $da_rewrote = 0;
+        # this will result in those CDRs being marked as done... is that 
+        # what we want?
         if ( length($cdr->dst) && grep { $cdr->dst eq $_ } @dirass ){
           $cdr->dst('411');
           $da_rewrote = 1;
@@ -453,6 +451,8 @@ sub calc_usage {
 
           warn "not charging for CDR ($reason)\n" if $DEBUG;
           $charge = 0;
+          # this will result in those CDRs being marked as done... is that 
+          # what we want?
 
         } else {
           
@@ -650,8 +650,20 @@ sub calc_usage {
       #if ( ! $rate_detail && ! scalar(@call_details) ) {}
       if ( ! $rate_detail && $charge eq '' ) {
 
-        warn "no rate_detail found for CDR.acctid: ". $cdr->acctid.
-             "; skipping\n"
+        if ( $ignore_unrateable == 2 ) {
+          # mark the CDR as unrateable
+          my $error = $cdr->set_status_and_rated_price(
+            'failed',
+            '',
+            $cust_svc->svcnum
+          );
+          die $error if $error;
+        }
+        elsif ( $ignore_unrateable == 1 ) {
+          # warn and continue
+          warn "no rate_detail found for CDR.acctid: ". $cdr->acctid.
+               "; skipping\n"
+        } #if $ignore_unrateable
 
       } else { # there *is* a rate_detail (or call_details), proceed...
         # About this section:
@@ -760,17 +772,19 @@ sub calc_usage {
           warn "Incrementing \$charges by $charge.  Now $charges\n" if $DEBUG;
           $charges += $charge;
 
-          @call_details = (
-            $cdr->downstream_csv( 'format'         => $output_format,
-                                  'granularity'    => $rate_detail->sec_granularity, 
-                                  'seconds'        => ($use_duration ?
-                                                       $cdr->duration :
-                                                       $cdr->billsec),
-                                  'charge'         => $charge,
-                                  'pretty_dst'     => $pretty_destnum,
-                                  'dst_regionname' => $regionname,
-                                )
-          );
+          if ( !$self->sum_usage ) {
+            @call_details = (
+              $cdr->downstream_csv( 'format'         => $output_format,
+                                    'granularity'    => $rate_detail->sec_granularity, 
+                                    'seconds'        => ($use_duration ?
+                                                         $cdr->duration :
+                                                         $cdr->billsec),
+                                    'charge'         => $charge,
+                                    'pretty_dst'     => $pretty_destnum,
+                                    'dst_regionname' => $regionname,
+                                  )
+            );
+          }
         } #if(there is a rate_detail)
  
 
@@ -781,31 +795,31 @@ sub calc_usage {
 
           if ( scalar(@call_details) == 1 ) {
             $call_details =
-              [ 'C',
-                $call_details[0],
-                $charge,
-                $classnum,
-                $phonenum,
-                $cdr->accountcode,
-                $seconds,
-                $regionname,
-              ];
+              { format      => 'C',
+                detail      => $call_details[0],
+                amount      => $charge,
+                classnum    => $classnum,
+                phonenum    => $phonenum,
+                accountcode => $cdr->accountcode,
+                startdate   => $cdr->startdate,
+                duration    => $seconds,
+                regionname  => $regionname,
+              };
           } else { #only used for $rating_method eq 'upstream' now
+                   # and for sum_ formats
             $csv->combine(@call_details);
             $call_details =
-              [ 'C',
-                $csv->string,
-                $charge,
-                $classnum,
-                $phonenum,
-                $cdr->accountcode,
-                $seconds,
-                $regionname,
-              ];
+              { format      => 'C',
+                detail      => $csv->string,
+                amount      => $charge,
+                classnum    => $classnum,
+                phonenum    => $phonenum,
+                accountcode => $cdr->accountcode,
+                startdate   => $cdr->startdate,
+                duration    => $seconds,
+                regionname  => $regionname,
+              };
           }
-          warn "  adding details on charge to invoice: [ ".
-              join(', ', @{$call_details} ). " ]"
-            if ( $DEBUG && ref($call_details) );
           push @invoice_details_sort, [ $call_details, $cdr->calldate_unix ];
         }
 
@@ -824,22 +838,50 @@ sub calc_usage {
       }
 
     } # $cdr
-    my @sorted_invoice_details = sort { @{$a}[1] <=> @{$b}[1] } @invoice_details_sort;
-    foreach my $sorted_call_detail ( @sorted_invoice_details ) {
+
+    if ( !$self->sum_usage ) {
+      #sort them
+      my @sorted_invoice_details = 
+        sort { @{$a}[1] <=> @{$b}[1] } @invoice_details_sort;
+      foreach my $sorted_call_detail ( @sorted_invoice_details ) {
         push @$details, @{$sorted_call_detail}[0];
+      }
     }
+    else { #$self->sum_usage
+      my $sum_detail = {
+        amount    => 0,
+        format    => 'C',
+        classnum  => '', #XXX
+        duration  => 0,
+        phonenum  => $svc_x->phonenum,
+        accountcode => '', #XXX
+        startdate => '', #XXX
+        regionnam => '',
+      };
+      # combine the entire set of CDRs
+      foreach ( @invoice_details_sort ) {
+        $sum_detail->{amount} += $_->[0]{amount};
+        $sum_detail->{duration} += $_->[0]{duration};
+      }
+      my $total_cdr = FS::cdr->new({
+          'billsec' => $sum_detail->{duration},
+          'src'     => $sum_detail->{phonenum},
+      });
+      $sum_detail->{detail} = $total_cdr->downstream_csv(
+        format    => $output_format,
+        seconds   => $sum_detail->{duration},
+        charge    => sprintf('%.2f',$sum_detail->{amount}),
+        phonenum  => $sum_detail->{phonenum},
+        count     => scalar(@invoice_details_sort),
+      );
+      push @$details, $sum_detail;
+    } #if $self->sum_usage
 
   } # $cust_svc
 
-  unshift @$details, [ 'C',
-                       FS::cdr::invoice_header($output_format),
-                       '',
-                       '',
-                       '',
-                       '',
-                       '',
-                     ]
+  unshift @$details, { format => 'C',
+                       detail => FS::cdr::invoice_header($output_format),
+                     }
     if @$details && $rating_method ne 'upstream';
 
 #  if ( $spool_cdr && length($downstream_cdr) ) {
@@ -881,11 +923,10 @@ sub check_chargable {
 
   my @opt = qw(
     use_amaflags
-    use_disposition
-    use_disposition_taqua
     use_carrierid
     use_cdrtypenum
     ignore_cdrtypenum
+    disposition_in
     ignore_disposition
     skip_dst_prefix
     skip_dcontext
@@ -903,21 +944,25 @@ sub check_chargable {
   return 'amaflags != 2'
     if $opt{'use_amaflags'} && $cdr->amaflags != 2;
 
-  return 'disposition != ANSWERED'
-    if $opt{'use_disposition'} && $cdr->disposition ne 'ANSWERED';
-
-  return "disposition != 100"
-    if $opt{'use_disposition_taqua'} && $cdr->disposition != 100;
+  return "disposition NOT IN ( $opt{'disposition_in'} )"
+    if $opt{'disposition_in'} =~ /\S/
+    && !grep { $cdr->disposition eq $_ } split(/\s*,\s*/, $opt{'disposition_in'});
   
   return "disposition IN ( $opt{'ignore_disposition'} )"
     if $opt{'ignore_disposition'} =~ /\S/
     && grep { $cdr->disposition eq $_ } split(/\s*,\s*/, $opt{'ignore_disposition'});
 
+  foreach(split(/\s*,\s*/, $opt{'skip_dst_prefix'})) {
+    return "dst starts with '$_'"
+    if length($_) && substr($cdr->dst,0,length($_)) eq $_;
+  }
+
   return "carrierid != $opt{'use_carrierid'}"
     if length($opt{'use_carrierid'})
     && $cdr->carrierid ne $opt{'use_carrierid'} #ne otherwise 0 matches ''
     && ! $flags{'da_rewrote'};
 
+  # unlike everything else, use_cdrtypenum is applied in FS::svc_x::get_cdrs.
   return "cdrtypenum != $opt{'use_cdrtypenum'}"
     if length($opt{'use_cdrtypenum'})
     && $cdr->cdrtypenum ne $opt{'use_cdrtypenum'}; #ne otherwise 0 matches ''
@@ -926,11 +971,6 @@ sub check_chargable {
     if length($opt{'ignore_cdrtypenum'})
     && $cdr->cdrtypenum eq $opt{'ignore_cdrtypenum'}; #eq otherwise 0 matches ''
 
-  foreach(split(',',$opt{'skip_dst_prefix'})) {
-    return "dst starts with '$_'"
-    if length($_) && substr($cdr->dst,0,length($_)) eq $_;
-  }
-
   return "dcontext IN ( $opt{'skip_dcontext'} )"
     if $opt{'skip_dcontext'} =~ /\S/
     && grep { $cdr->dcontext eq $_ } split(/\s*,\s*/, $opt{'skip_dcontext'});
@@ -999,5 +1039,20 @@ sub calc_units {
   $count;
 }
 
+# tells whether cust_bill_pkg_detail should return a single line for 
+# each phonenum
+sub sum_usage {
+  my $self = shift;
+  $self->option('output_format') =~ /^sum_/;
+}
+
+# and whether cust_bill should show a detail line for the service label 
+# (separate from usage details)
+sub hide_svc_detail {
+  my $self = shift;
+  $self->option('output_format') =~ /^sum_/;
+}
+
+
 1;