revert ignore_unrateable behavior change
[freeside.git] / FS / FS / part_pkg / voip_cdr.pm
index 8294bed..0299227 100644 (file)
@@ -1,27 +1,26 @@
 package FS::part_pkg::voip_cdr;
 
 use strict;
-use vars qw(@ISA $DEBUG %info);
+use base qw( FS::part_pkg::recur_Common );
+use vars qw( $DEBUG %info );
 use Date::Format;
 use Tie::IxHash;
 use FS::Conf;
 use FS::Record qw(qsearchs qsearch);
-use FS::part_pkg::recur_Common;
 use FS::cdr;
 use FS::rate;
 use FS::rate_prefix;
 use FS::rate_detail;
-use FS::part_pkg::recur_Common;
 
 use List::Util qw(first min);
 
-@ISA = qw(FS::part_pkg::recur_Common);
 
 $DEBUG = 0;
 
 tie my %cdr_svc_method, 'Tie::IxHash',
   'svc_phone.phonenum' => 'Phone numbers (svc_phone.phonenum)',
   'svc_pbx.title'      => 'PBX name (svc_pbx.title)',
+  'svc_pbx.svcnum'     => 'Freeside service # (svc_pbx.svcnum)',
 ;
 
 tie my %rating_method, 'Tie::IxHash',
@@ -44,33 +43,31 @@ tie my %temporalities, 'Tie::IxHash',
 
 tie my %granularity, 'Tie::IxHash', FS::rate_detail::granularities();
 
+# previously "1" was "ignore"
+tie my %unrateable_opts, 'Tie::IxHash',
+  '' => 'Exit with a fatal error',
+  1  => 'Ignore and continue',
+  2  => 'Flag for later review',
+;
+
 %info = (
   'name' => 'VoIP rating by plan of CDR records in an internal (or external) SQL table',
   'shortname' => 'VoIP/telco CDR rating (standard)',
+  'inherit_fields' => [ 'prorate_Mixin', 'global_Mixin' ],
   'fields' => {
-    'setup_fee'     => { 'name' => 'Setup fee for this package',
-                         'default' => 0,
-                       },
-    'recur_fee'     => { 'name' => 'Base recurring fee for this package',
-                         'default' => 0,
-                       },
-
+    'suspend_bill' => { 'name' => 'Continue recurring billing while suspended',
+                        'type' => 'checkbox',
+                      },
     #false laziness w/flat.pm
     'recur_temporality' => { 'name' => 'Charge recurring fee for period',
                              'type' => 'select',
                              'select_options' => \%temporalities,
                            },
 
-    'unused_credit' => { 'name' => 'Credit the customer for the unused portion'.
-                                   ' of service at cancellation',
-                         'type' => 'checkbox',
-                       },
-
     'cutoff_day'    => { 'name' => 'Billing Day (1 - 28) for prorating or '.
                                    'subscription',
                          'default' => '1',
                        },
-
     'recur_method'  => { 'name' => 'Recurring fee method',
                          #'type' => 'radio',
                          #'options' => \%recur_method,
@@ -94,11 +91,19 @@ tie my %granularity, 'Tie::IxHash', FS::rate_detail::granularities();
                      'select_key'   => 'ratenum',
                      'select_label' => 'ratename',
                    },
+                   
+    'intrastate_ratenum'   => { 'name' => 'Optional alternate intrastate rate plan',
+                     'type' => 'select',
+                     'select_table' => 'rate',
+                     'select_key'   => 'ratenum',
+                     'select_label' => 'ratename',
+                     'disable_empty' => 0,
+                     'empty_label'   => '',
+                   },
 
-    'min_included' => { 'name' => 'Minutes included when using "single price per minute" rating method',
+    'min_included' => { 'name' => 'Minutes included when using the "single price per minute" rating method or when using the "prefix" rating method ("region group" billing)',
                     },
 
-
     'min_charge' => { 'name' => 'Charge per minute when using "single price per minute" rating method',
                     },
 
@@ -107,8 +112,9 @@ tie my %granularity, 'Tie::IxHash', FS::rate_detail::granularities();
                            'select_options' => \%granularity,
                          },
 
-    'ignore_unrateable' => { 'name' => 'Ignore calls without a rate in the rate tables.  By default, the system will throw a fatal error upon encountering unrateable calls.',
-                             'type' => 'checkbox',
+    'ignore_unrateable' => { 'name' => 'Handling of calls without a rate in the rate table',
+                             'type' => 'select',
+                             'select_options' => \%unrateable_opts,
                            },
 
     'default_prefix' => { 'name'    => 'Default prefix optionally prepended to customer DID numbers when searching for CDR records',
@@ -135,22 +141,23 @@ tie my %granularity, 'Tie::IxHash', FS::rate_detail::granularities();
                             'type' => 'checkbox',
                           },
 
-    'use_amaflags' => { 'name' => 'Do not charge for CDRs where the amaflags field is not set to "2" ("BILL"/"BILLING").',
+    'use_amaflags' => { 'name' => 'Only charge for CDRs where the amaflags field is set to "2" ("BILL"/"BILLING").',
                         'type' => 'checkbox',
                       },
 
-    'use_disposition' => { 'name' => 'Do not charge for CDRs where the disposition flag is not set to "ANSWERED".',
-                           'type' => 'checkbox',
+    'use_carrierid' => { 'name' => 'Only charge for CDRs where the Carrier ID is set to: ',
                          },
 
-    'use_disposition_taqua' => { 'name' => 'Do not charge for CDRs where the disposition is not set to "100" (Taqua).',
-                                 'type' => 'checkbox',
-                               },
-
-    'use_carrierid' => { 'name' => 'Do not charge for CDRs where the Carrier ID is not set to: ',
+    'use_cdrtypenum' => { 'name' => 'Only charge for CDRs where the CDR Type is set to: ',
                          },
-
-    'use_cdrtypenum' => { 'name' => 'Do not charge for CDRs where the CDR Type is not set to: ',
+    
+    'ignore_cdrtypenum' => { 'name' => 'Do not charge for CDRs where the CDR Type is set to: ',
+                         },
+    
+    'ignore_disposition' => { 'name' => 'Do not charge for CDRs where the Disposition is set to any of these (comma-separated) values: ',
+                         },
+    
+    'disposition_in' => { 'name' => 'Only charge for CDRs where the Disposition is set to any of these (comma-separated) values: ',
                          },
 
     'skip_dst_prefix' => { 'name' => 'Do not charge for CDRs where the destination number starts with any of these values: ',
@@ -218,10 +225,14 @@ tie my %granularity, 'Tie::IxHash', FS::rate_detail::granularities();
                        },
     #eofalse
 
-    'bill_every_call' => { 'name' => 'Generate an invoice immediately for every call.  Useful for prepaid.',
+    'bill_every_call' => { 'name' => 'Generate an invoice immediately for every call (as well any setup fee, upon first payment).  Useful for prepaid.',
                            'type' => 'checkbox',
                          },
 
+    'bill_inactive_svcs' => { 'name' => 'Bill for all phone numbers that were active during the billing period',
+                              'type' => 'checkbox',
+                            },
+
     'count_available_phones' => { 'name' => 'Consider for tax purposes the number of lines to be svc_phones that may be provisioned rather than those that actually are.',
                            'type' => 'checkbox',
                          },
@@ -251,17 +262,23 @@ tie my %granularity, 'Tie::IxHash', FS::rate_detail::granularities();
 
   },
   'fieldorder' => [qw(
-                       setup_fee recur_fee recur_temporality unused_credit
-                       recur_method cutoff_day
+                       recur_temporality
+                       recur_method cutoff_day ),
+                       FS::part_pkg::prorate_Mixin::fieldorder,
+                    qw(
                        cdr_svc_method
-                       rating_method ratenum min_charge sec_granularity
+                       rating_method ratenum intrastate_ratenum 
+                       min_charge min_included
+                              sec_granularity
                        ignore_unrateable
                        default_prefix
                        disable_src
                        domestic_prefix international_prefix
                        disable_tollfree
-                       use_amaflags use_disposition
-                       use_disposition_taqua use_carrierid use_cdrtypenum
+                       use_amaflags
+                       use_carrierid 
+                       use_cdrtypenum ignore_cdrtypenum
+                       ignore_disposition disposition_in
                        skip_dcontext skip_dst_prefix 
                        skip_dstchannel_prefix skip_src_length_more 
                        noskip_src_length_accountcode_tollfree
@@ -273,16 +290,18 @@ tie my %granularity, 'Tie::IxHash', FS::rate_detail::granularities();
                        use_duration
                        411_rewrite
                        output_format usage_mandate summarize_usage usage_section
-                       bill_every_call
-                       count_available_phones
+                       bill_every_call bill_inactive_svcs
+                       count_available_phones suspend_bill 
                      )
                   ],
   'weight' => 40,
 );
 
-sub calc_setup {
-  my($self, $cust_pkg ) = @_;
-  $self->option('setup_fee');
+sub price_info {
+    my $self = shift;
+    my $str = $self->SUPER::price_info;
+    $str .= " plus usage" if $str;
+    $str;
 }
 
 sub calc_recur {
@@ -315,7 +334,7 @@ sub calc_usage {
   my $last_bill = $cust_pkg->get('last_bill'); #->last_bill falls back to setup
 
   return 0
-    if $self->option('recur_temporality', 1) eq 'preceding'
+    if $self->recur_temporality eq 'preceding'
     && ( $last_bill eq '' || $last_bill == 0 );
 
   my $ratenum = $cust_pkg->part_pkg->option('ratenum');
@@ -335,6 +354,8 @@ sub calc_usage {
   my $disable_tollfree  = $self->option('disable_tollfree');
   my $ignore_unrateable = $self->option('ignore_unrateable', 'Hush!');
   my $use_duration      = $self->option('use_duration');
+  my $region_group     = ($rating_method eq 'prefix' && ($self->option('min_included',1) || 0) > 0);
+  my $region_group_included_min = $region_group ? $self->option('min_included') : 0;
 
   my $output_format     = $self->option('output_format', 'Hush!')
                           || ( $rating_method eq 'upstream_simple'
@@ -360,18 +381,37 @@ sub calc_usage {
 
   my($svc_table, $svc_field) = split('\.', $cdr_svc_method);
 
-  foreach my $cust_svc (
-    grep { $_->part_svc->svcdb eq $svc_table } $cust_pkg->cust_svc
-  ) {
+  my @cust_svc;
+  if( $self->option('bill_inactive_svcs',1) ) {
+    #XXX in this mode do we need to restrict the set of CDRs by date also?
+    @cust_svc = $cust_pkg->h_cust_svc($$sdate, $last_bill);
+  }
+  else {
+    @cust_svc = $cust_pkg->cust_svc;
+  }
+  @cust_svc = grep { $_->part_svc->svcdb eq $svc_table } @cust_svc;
 
-    my $svc_x = $cust_svc->svc_x;
-    foreach my $cdr (
-      $svc_x->get_cdrs(
+  foreach my $cust_svc (@cust_svc) {
+
+    my $svc_x;
+    if( $self->option('bill_inactive_svcs',1) ) {
+      $svc_x = $cust_svc->h_svc_x($$sdate, $last_bill);
+    }
+    else {
+      $svc_x = $cust_svc->svc_x;
+    }
+    my %options = (
         'disable_src'    => $self->option('disable_src'),
         'default_prefix' => $self->option('default_prefix'),
         'status'         => '',
         'for_update'     => 1,
-      )  # $last_bill, $$sdate )
+      );  # $last_bill, $$sdate )
+    $options{'by_svcnum'} = 1 if $svc_field eq 'svcnum';
+
+    my @invoice_details_sort;
+
+    foreach my $cdr (
+      $svc_x->get_cdrs( %options )
     ) {
       if ( $DEBUG > 1 ) {
         warn "rating CDR $cdr\n".
@@ -456,7 +496,7 @@ sub calc_usage {
             }
 
           } else {
-            $countrycode = $domestic_prefix || '1';
+            $countrycode = length($domestic_prefix) ? $domestic_prefix : '1';
             $number =~ s/^$countrycode//;# if length($number) > 10;
           }
 
@@ -468,6 +508,30 @@ sub calc_usage {
           my $eff_ratenum = $cdr->is_tollfree('accountcode')
             ? $cust_pkg->part_pkg->option('accountcode_tollfree_ratenum')
             : '';
+
+          my $intrastate_ratenum = $cust_pkg->part_pkg->option('accountcode_tollfree_ratenum');
+          if ( $intrastate_ratenum && !$cdr->is_tollfree ) {
+            # this is relatively easy only because:
+            # -assume all numbers are valid NANP numbers NOT in a fully-qualified format
+            # -disregard toll-free
+            # -disregard private or unknown numbers
+            # -there is exactly one record in rate_prefix for a given NPANXX
+            # -default to interstate if we can't find one or both of the prefixes
+            my $dstprefix = $cdr->dst;
+            $dstprefix =~ /^(\d{6})/;
+            $dstprefix = qsearchs('rate_prefix', {   'countrycode' => '1', 
+                                                        'npa' => $1, 
+                                                 }) || '';
+            my $srcprefix = $cdr->src;
+            $srcprefix =~ /^(\d{6})/;
+            $srcprefix = qsearchs('rate_prefix', {   'countrycode' => '1',
+                                                     'npa' => $1, 
+                                                 }) || '';
+            $eff_ratenum = $intrastate_ratenum if ($srcprefix && $dstprefix
+                && $srcprefix->state && $dstprefix->state
+                && $srcprefix->state eq $dstprefix->state);
+          }
+
           $eff_ratenum ||= $ratenum;
           $rate = qsearchs('rate', { 'ratenum' => $eff_ratenum })
             or die "ratenum $eff_ratenum not found!";
@@ -483,6 +547,7 @@ sub calc_usage {
           $rate_detail = $rate->dest_detail({ 'countrycode' => $countrycode,
                                               'phonenum'    => $number,
                                               'weektime'    => $weektime,
+                                              'cdrtypenum'  => $cdr->cdrtypenum,
                                             });
 
           if ( $rate_detail ) {
@@ -549,10 +614,7 @@ sub calc_usage {
           if $seconds      # don't granular-ize 0 billsec calls (bills them)
           && $granularity  # 0 is per call
           && $seconds % $granularity;
-        my $minutes = $seconds / 60;
-        # XXX config?
-        #$charge = sprintf('%.2f', ( $self->option('min_charge') * $minutes )
-                                  #+ 0.00000001 ); #so 1.005 rounds to 1.01
+        my $minutes = $granularity ? ($seconds / 60) : 1;
         $charge = sprintf('%.4f', ( $self->option('min_charge') * $minutes )
                                   + 0.0000000001 ); #so 1.00005 rounds to 1.0001
 
@@ -583,8 +645,20 @@ sub calc_usage {
       #if ( ! $rate_detail && ! scalar(@call_details) ) {}
       if ( ! $rate_detail && $charge eq '' ) {
 
-        warn "no rate_detail found for CDR.acctid: ". $cdr->acctid.
-             "; skipping\n"
+        if ( $ignore_unrateable == 2 ) {
+          # mark the CDR as unrateable
+          my $error = $cdr->set_status_and_rated_price(
+            'failed',
+            '',
+            $cust_svc->svcnum
+          );
+          die $error if $error;
+        }
+        elsif ( $ignore_unrateable == 1 ) {
+          # warn and continue
+          warn "no rate_detail found for CDR.acctid: ". $cdr->acctid.
+               "; skipping\n"
+        } #if $ignore_unrateable
 
       } else { # there *is* a rate_detail (or call_details), proceed...
         # About this section:
@@ -659,18 +733,27 @@ sub calc_usage {
 
             $seconds += $charge_sec;
 
+            $region_group_included_min -= $minutes 
+                if $region_group && $rate_detail->region_group;
+
             $included_min{$regionnum}{$ratetimenum} -= $minutes;
-            if ( $included_min{$regionnum}{$ratetimenum} <= 0 ) {
+            if ( ($region_group_included_min <= 0 || !$rate_detail->region_group)
+                         && $included_min{$regionnum}{$ratetimenum} <= 0 ) {
               my $charge_min = 0 - $included_min{$regionnum}{$ratetimenum}; #XXX should preserve
                                                               #(display?) this
               $included_min{$regionnum}{$ratetimenum} = 0;
               $charge += ($rate_detail->min_charge * $charge_min); #still not rounded
             }
+            elsif( $region_group_included_min > 0 && $region_group
+                && $rate_detail->region_group ) {
+                $included_min{$regionnum}{$ratetimenum} = 0 
+            }
 
             # choose next rate_detail
             $rate_detail = $rate->dest_detail({ 'countrycode' => $countrycode,
                                                 'phonenum'    => $number,
-                                                'weektime'    => $etime })
+                                                'weektime'    => $etime,
+                                                'cdrtypenum'  => $cdr->cdrtypenum })
                     if($seconds_left);
             # we have now moved forward to $etime
             $weektime = $etime;
@@ -701,7 +784,7 @@ sub calc_usage {
         if ( $charge > 0 ) {
           #just use FS::cust_bill_pkg_detail objects?
           my $call_details;
-          my $phonenum = $cust_svc->svc_x->phonenum;
+          my $phonenum = $svc_x->phonenum;
 
           if ( scalar(@call_details) == 1 ) {
             $call_details =
@@ -710,6 +793,8 @@ sub calc_usage {
                 $charge,
                 $classnum,
                 $phonenum,
+                $cdr->accountcode,
+                $cdr->startdate,
                 $seconds,
                 $regionname,
               ];
@@ -721,6 +806,8 @@ sub calc_usage {
                 $charge,
                 $classnum,
                 $phonenum,
+                $cdr->accountcode,
+                $cdr->startdate,
                 $seconds,
                 $regionname,
               ];
@@ -728,7 +815,7 @@ sub calc_usage {
           warn "  adding details on charge to invoice: [ ".
               join(', ', @{$call_details} ). " ]"
             if ( $DEBUG && ref($call_details) );
-          push @$details, $call_details; #\@call_details,
+          push @invoice_details_sort, [ $call_details, $cdr->calldate_unix ];
         }
 
         # if the customer flag is on, call "downstream_csv" or something
@@ -746,6 +833,11 @@ sub calc_usage {
       }
 
     } # $cdr
+    my @sorted_invoice_details = sort { @{$a}[1] <=> @{$b}[1] } @invoice_details_sort;
+    foreach my $sorted_call_detail ( @sorted_invoice_details ) {
+        push @$details, @{$sorted_call_detail}[0];
+    }
 
   } # $cust_svc
 
@@ -798,10 +890,11 @@ sub check_chargable {
 
   my @opt = qw(
     use_amaflags
-    use_disposition
-    use_disposition_taqua
     use_carrierid
     use_cdrtypenum
+    ignore_cdrtypenum
+    disposition_in
+    ignore_disposition
     skip_dst_prefix
     skip_dcontext
     skip_dstchannel_prefix
@@ -818,11 +911,18 @@ sub check_chargable {
   return 'amaflags != 2'
     if $opt{'use_amaflags'} && $cdr->amaflags != 2;
 
-  return 'disposition != ANSWERED'
-    if $opt{'use_disposition'} && $cdr->disposition ne 'ANSWERED';
+  return "disposition NOT IN ( $opt{'disposition_in'} )"
+    if $opt{'disposition_in'} =~ /\S/
+    && !grep { $cdr->disposition eq $_ } split(/\s*,\s*/, $opt{'disposition_in'});
+  
+  return "disposition IN ( $opt{'ignore_disposition'} )"
+    if $opt{'ignore_disposition'} =~ /\S/
+    && grep { $cdr->disposition eq $_ } split(/\s*,\s*/, $opt{'ignore_disposition'});
 
-  return "disposition != 100"
-    if $opt{'use_disposition_taqua'} && $cdr->disposition != 100;
+  foreach(split(/\s*,\s*/, $opt{'skip_dst_prefix'})) {
+    return "dst starts with '$_'"
+    if length($_) && substr($cdr->dst,0,length($_)) eq $_;
+  }
 
   return "carrierid != $opt{'use_carrierid'}"
     if length($opt{'use_carrierid'})
@@ -832,11 +932,10 @@ sub check_chargable {
   return "cdrtypenum != $opt{'use_cdrtypenum'}"
     if length($opt{'use_cdrtypenum'})
     && $cdr->cdrtypenum ne $opt{'use_cdrtypenum'}; #ne otherwise 0 matches ''
-
-  foreach(split(',',$opt{'skip_dst_prefix'})) {
-    return "dst starts with '$_'"
-    if length($_) && substr($cdr->dst,0,length($_)) eq $_;
-  }
+  
+  return "cdrtypenum == $opt{'ignore_cdrtypenum'}"
+    if length($opt{'ignore_cdrtypenum'})
+    && $cdr->cdrtypenum eq $opt{'ignore_cdrtypenum'}; #eq otherwise 0 matches ''
 
   return "dcontext IN ( $opt{'skip_dcontext'} )"
     if $opt{'skip_dcontext'} =~ /\S/
@@ -851,7 +950,7 @@ sub check_chargable {
   return "destination less than $dst_length digits"
     if $dst_length && length($cdr->dst) < $dst_length
     && ! ( $opt{'noskip_dst_length_accountcode_tollfree'}
-            && $cdr->is_tollfree
+            && $cdr->is_tollfree('accountcode')
          );
 
   return "lastapp is $opt{'skip_lastapp'}"