FS/FS/cdr.pm

   1 package FS::cdr;
   2
   3 use strict;
   4 use vars qw( @ISA @EXPORT_OK $DEBUG $me
   5              $conf $cdr_prerate %cdr_prerate_cdrtypenums
   6            );
   7 use Exporter;
   8 use List::Util qw(first min);
   9 use Tie::IxHash;
  10 use Date::Parse;
  11 use Date::Format;
  12 use Time::Local;
  13 use List::Util qw( first min );
  14 use Text::CSV_XS;
  15 use FS::UID qw( dbh );
  16 use FS::Conf;
  17 use FS::Record qw( qsearch qsearchs );
  18 use FS::cdr_type;
  19 use FS::cdr_calltype;
  20 use FS::cdr_carrier;
  21 use FS::cdr_batch;
  22 use FS::cdr_termination;
  23 use FS::rate;
  24 use FS::rate_prefix;
  25 use FS::rate_detail;
  26
  27 @ISA = qw(FS::Record);
  28 @EXPORT_OK = qw( _cdr_date_parser_maker _cdr_min_parser_maker );
  29
  30 $DEBUG = 0;
  31 $me = '[FS::cdr]';
  32
  33 #ask FS::UID to run this stuff for us later
  34 FS::UID->install_callback( sub {
  35   $conf = new FS::Conf;
  36
  37   my @cdr_prerate_cdrtypenums;
  38   $cdr_prerate = $conf->exists('cdr-prerate');
  39   @cdr_prerate_cdrtypenums = $conf->config('cdr-prerate-cdrtypenums')
  40     if $cdr_prerate;
  41   %cdr_prerate_cdrtypenums = map { $_=>1 } @cdr_prerate_cdrtypenums;
  42 });
  43
  44 =head1 NAME
  45
  46 FS::cdr - Object methods for cdr records
  47
  48 =head1 SYNOPSIS
  49
  50   use FS::cdr;
  51
  52   $record = new FS::cdr \%hash;
  53   $record = new FS::cdr { 'column' => 'value' };
  54
  55   $error = $record->insert;
  56
  57   $error = $new_record->replace($old_record);
  58
  59   $error = $record->delete;
  60
  61   $error = $record->check;
  62
  63 =head1 DESCRIPTION
  64
  65 An FS::cdr object represents an Call Data Record, typically from a telephony
  66 system or provider of some sort.  FS::cdr inherits from FS::Record.  The
  67 following fields are currently supported:
  68
  69 =over 4
  70
  71 =item acctid - primary key
  72
  73 =item calldate - Call timestamp (SQL timestamp)
  74
  75 =item clid - Caller*ID with text
  76
  77 =item src - Caller*ID number / Source number
  78
  79 =item dst - Destination extension
  80
  81 =item dcontext - Destination context
  82
  83 =item channel - Channel used
  84
  85 =item dstchannel - Destination channel if appropriate
  86
  87 =item lastapp - Last application if appropriate
  88
  89 =item lastdata - Last application data
  90
  91 =item src_ip_addr - Source IP address (dotted quad, zero-filled)
  92
  93 =item dst_ip_addr - Destination IP address (same)
  94
  95 =item startdate - Start of call (UNIX-style integer timestamp)
  96
  97 =item answerdate - Answer time of call (UNIX-style integer timestamp)
  98
  99 =item enddate - End time of call (UNIX-style integer timestamp)
 100
 101 =item duration - Total time in system, in seconds
 102
 103 =item billsec - Total time call is up, in seconds
 104
 105 =item disposition - What happened to the call: ANSWERED, NO ANSWER, BUSY
 106
 107 =item amaflags - What flags to use: BILL, IGNORE etc, specified on a per channel basis like accountcode.
 108
 109 =cut
 110
 111   #ignore the "omit" and "documentation" AMAs??
 112   #AMA = Automated Message Accounting.
 113   #default: Sets the system default.
 114   #omit: Do not record calls.
 115   #billing: Mark the entry for billing
 116   #documentation: Mark the entry for documentation.
 117
 118 =item accountcode - CDR account number to use: account
 119
 120 =item uniqueid - Unique channel identifier (Unitel/RSLCOM Event ID)
 121
 122 =item userfield - CDR user-defined field
 123
 124 =item cdr_type - CDR type - see L<FS::cdr_type> (Usage = 1, S&E = 7, OC&C = 8)
 125
 126 =item charged_party - Service number to be billed
 127
 128 =item upstream_currency - Wholesale currency from upstream
 129
 130 =item upstream_price - Wholesale price from upstream
 131
 132 =item upstream_rateplanid - Upstream rate plan ID
 133
 134 =item rated_price - Rated (or re-rated) price
 135
 136 =item distance - km (need units field?)
 137
 138 =item islocal - Local - 1, Non Local = 0
 139
 140 =item calltypenum - Type of call - see L<FS::cdr_calltype>
 141
 142 =item description - Description (cdr_type 7&8 only) (used for cust_bill_pkg.itemdesc)
 143
 144 =item quantity - Number of items (cdr_type 7&8 only)
 145
 146 =item carrierid - Upstream Carrier ID (see L<FS::cdr_carrier>)
 147
 148 =cut
 149
 150 #Telstra =1, Optus = 2, RSL COM = 3
 151
 152 =item upstream_rateid - Upstream Rate ID
 153
 154 =item svcnum - Link to customer service (see L<FS::cust_svc>)
 155
 156 =item freesidestatus - NULL, processing-tiered, rated, done, skipped, no-charge, failed
 157
 158 =item freesiderewritestatus - NULL, done, skipped
 159
 160 =item cdrbatch
 161
 162 =back
 163
 164 =head1 METHODS
 165
 166 =over 4
 167
 168 =item new HASHREF
 169
 170 Creates a new CDR.  To add the CDR to the database, see L<"insert">.
 171
 172 Note that this stores the hash reference, not a distinct copy of the hash it
 173 points to.  You can ask the object for a copy with the I<hash> method.
 174
 175 =cut
 176
 177 # the new method can be inherited from FS::Record, if a table method is defined
 178
 179 sub table { 'cdr'; }
 180
 181 sub table_info {
 182   {
 183     'fields' => {
 184 #XXX fill in some (more) nice names
 185         #'acctid'                => '',
 186         'calldate'              => 'Call date',
 187         'clid'                  => 'Caller ID',
 188         'src'                   => 'Source',
 189         'dst'                   => 'Destination',
 190         'dcontext'              => 'Dest. context',
 191         'channel'               => 'Channel',
 192         'dstchannel'            => 'Destination channel',
 193         #'lastapp'               => '',
 194         #'lastdata'              => '',
 195         'src_ip_addr'           => 'Source IP',
 196         'dst_ip_addr'           => 'Dest. IP',
 197         'startdate'             => 'Start date',
 198         'answerdate'            => 'Answer date',
 199         'enddate'               => 'End date',
 200         'duration'              => 'Duration',
 201         'billsec'               => 'Billable seconds',
 202         'disposition'           => 'Disposition',
 203         'amaflags'              => 'AMA flags',
 204         'accountcode'           => 'Account code',
 205         #'uniqueid'              => '',
 206         'userfield'             => 'User field',
 207         #'cdrtypenum'            => '',
 208         'charged_party'         => 'Charged party',
 209         #'upstream_currency'     => '',
 210         'upstream_price'        => 'Upstream price',
 211         #'upstream_rateplanid'   => '',
 212         #'ratedetailnum'         => '',
 213         'rated_price'           => 'Rated price',
 214         #'distance'              => '',
 215         #'islocal'               => '',
 216         #'calltypenum'           => '',
 217         #'description'           => '',
 218         #'quantity'              => '',
 219         'carrierid'             => 'Carrier ID',
 220         #'upstream_rateid'       => '',
 221         'svcnum'                => 'Freeside service',
 222         'freesidestatus'        => 'Freeside status',
 223         'freesiderewritestatus' => 'Freeside rewrite status',
 224         'cdrbatch'              => 'Legacy batch',
 225         'cdrbatchnum'           => 'Batch',
 226     },
 227
 228   };
 229
 230 }
 231
 232 =item insert
 233
 234 Adds this record to the database.  If there is an error, returns the error,
 235 otherwise returns false.
 236
 237 =cut
 238
 239 # the insert method can be inherited from FS::Record
 240
 241 =item delete
 242
 243 Delete this record from the database.
 244
 245 =cut
 246
 247 # the delete method can be inherited from FS::Record
 248
 249 =item replace OLD_RECORD
 250
 251 Replaces the OLD_RECORD with this one in the database.  If there is an error,
 252 returns the error, otherwise returns false.
 253
 254 =cut
 255
 256 # the replace method can be inherited from FS::Record
 257
 258 =item check
 259
 260 Checks all fields to make sure this is a valid CDR.  If there is
 261 an error, returns the error, otherwise returns false.  Called by the insert
 262 and replace methods.
 263
 264 Note: Unlike most types of records, we don't want to "reject" a CDR and we want
 265 to process them as quickly as possible, so we allow the database to check most
 266 of the data.
 267
 268 =cut
 269
 270 sub check {
 271   my $self = shift;
 272
 273 # we don't want to "reject" a CDR like other sorts of input...
 274 #  my $error =
 275 #    $self->ut_numbern('acctid')
 276 ##    || $self->ut_('calldate')
 277 #    || $self->ut_text('clid')
 278 #    || $self->ut_text('src')
 279 #    || $self->ut_text('dst')
 280 #    || $self->ut_text('dcontext')
 281 #    || $self->ut_text('channel')
 282 #    || $self->ut_text('dstchannel')
 283 #    || $self->ut_text('lastapp')
 284 #    || $self->ut_text('lastdata')
 285 #    || $self->ut_numbern('startdate')
 286 #    || $self->ut_numbern('answerdate')
 287 #    || $self->ut_numbern('enddate')
 288 #    || $self->ut_number('duration')
 289 #    || $self->ut_number('billsec')
 290 #    || $self->ut_text('disposition')
 291 #    || $self->ut_number('amaflags')
 292 #    || $self->ut_text('accountcode')
 293 #    || $self->ut_text('uniqueid')
 294 #    || $self->ut_text('userfield')
 295 #    || $self->ut_numbern('cdrtypenum')
 296 #    || $self->ut_textn('charged_party')
 297 ##    || $self->ut_n('upstream_currency')
 298 ##    || $self->ut_n('upstream_price')
 299 #    || $self->ut_numbern('upstream_rateplanid')
 300 ##    || $self->ut_n('distance')
 301 #    || $self->ut_numbern('islocal')
 302 #    || $self->ut_numbern('calltypenum')
 303 #    || $self->ut_textn('description')
 304 #    || $self->ut_numbern('quantity')
 305 #    || $self->ut_numbern('carrierid')
 306 #    || $self->ut_numbern('upstream_rateid')
 307 #    || $self->ut_numbern('svcnum')
 308 #    || $self->ut_textn('freesidestatus')
 309 #    || $self->ut_textn('freesiderewritestatus')
 310 #  ;
 311 #  return $error if $error;
 312
 313   for my $f ( grep { $self->$_ =~ /\D/ } qw(startdate answerdate enddate)){
 314     $self->$f( str2time($self->$f) );
 315   }
 316
 317   $self->calldate( $self->startdate_sql )
 318     if !$self->calldate && $self->startdate;
 319
 320   #was just for $format eq 'taqua' but can't see the harm... add something to
 321   #disable if it becomes a problem
 322   if ( $self->duration eq '' && $self->enddate && $self->startdate ) {
 323     $self->duration( $self->enddate - $self->startdate  );
 324   }
 325   if ( $self->billsec eq '' && $self->enddate && $self->answerdate ) {
 326     $self->billsec(  $self->enddate - $self->answerdate );
 327   }
 328
 329   if ( ! $self->enddate && $self->startdate && $self->duration ) {
 330     $self->enddate( $self->startdate + $self->duration );
 331   }
 332
 333   $self->set_charged_party;
 334
 335   #check the foreign keys even?
 336   #do we want to outright *reject* the CDR?
 337   my $error =
 338        $self->ut_numbern('acctid')
 339
 340   #add a config option to turn these back on if someone needs 'em
 341   #
 342   #  #Usage = 1, S&E = 7, OC&C = 8
 343   #  || $self->ut_foreign_keyn('cdrtypenum',  'cdr_type',     'cdrtypenum' )
 344   #
 345   #  #the big list in appendix 2
 346   #  || $self->ut_foreign_keyn('calltypenum', 'cdr_calltype', 'calltypenum' )
 347   #
 348   #  # Telstra =1, Optus = 2, RSL COM = 3
 349   #  || $self->ut_foreign_keyn('carrierid', 'cdr_carrier', 'carrierid' )
 350   ;
 351   return $error if $error;
 352
 353   $self->SUPER::check;
 354 }
 355
 356 =item is_tollfree [ COLUMN ]
 357
 358 Returns true when the cdr represents a toll free number and false otherwise.
 359
 360 By default, inspects the dst field, but an optional column name can be passed
 361 to inspect other field.
 362
 363 =cut
 364
 365 sub is_tollfree {
 366   my $self = shift;
 367   my $field = scalar(@_) ? shift : 'dst';
 368   ( $self->$field() =~ /^(\+?1)?8(8|([02-7])\3)/ ) ? 1 : 0;
 369 }
 370
 371 =item set_charged_party
 372
 373 If the charged_party field is already set, does nothing.  Otherwise:
 374
 375 If the cdr-charged_party-accountcode config option is enabled, sets the
 376 charged_party to the accountcode.
 377
 378 Otherwise sets the charged_party normally: to the src field in most cases,
 379 or to the dst field if it is a toll free number.
 380
 381 =cut
 382
 383 sub set_charged_party {
 384   my $self = shift;
 385
 386   my $conf = new FS::Conf;
 387
 388   unless ( $self->charged_party ) {
 389
 390     if ( $conf->exists('cdr-charged_party-accountcode') && $self->accountcode ){
 391
 392       my $charged_party = $self->accountcode;
 393       $charged_party =~ s/^0+//
 394         if $conf->exists('cdr-charged_party-accountcode-trim_leading_0s');
 395       $self->charged_party( $charged_party );
 396
 397     } elsif ( $conf->exists('cdr-charged_party-field') ) {
 398
 399       my $field = $conf->config('cdr-charged_party-field');
 400       $self->charged_party( $self->$field() );
 401
 402     } else {
 403
 404       if ( $self->is_tollfree ) {
 405         $self->charged_party($self->dst);
 406       } else {
 407         $self->charged_party($self->src);
 408       }
 409
 410     }
 411
 412   }
 413
 414 #  my $prefix = $conf->config('cdr-charged_party-truncate_prefix');
 415 #  my $prefix_len = length($prefix);
 416 #  my $trunc_len = $conf->config('cdr-charged_party-truncate_length');
 417 #
 418 #  $self->charged_party( substr($self->charged_party, 0, $trunc_len) )
 419 #    if $prefix_len && $trunc_len
 420 #    && substr($self->charged_party, 0, $prefix_len) eq $prefix;
 421
 422 }
 423
 424 =item set_status STATUS
 425
 426 Sets the status to the provided string.  If there is an error, returns the
 427 error, otherwise returns false.
 428
 429 =cut
 430
 431 sub set_status {
 432   my($self, $status) = @_;
 433   $self->freesidestatus($status);
 434   $self->replace;
 435 }
 436
 437 =item set_status_and_rated_price STATUS RATED_PRICE [ SVCNUM [ OPTION => VALUE ... ] ]
 438
 439 Sets the status and rated price.
 440
 441 Available options are: inbound, rated_pretty_dst, rated_regionname,
 442 rated_seconds, rated_minutes, rated_granularity, rated_ratedetailnum,
 443 rated_classnum, rated_ratename.
 444
 445 If there is an error, returns the error, otherwise returns false.
 446
 447 =cut
 448
 449 sub set_status_and_rated_price {
 450   my($self, $status, $rated_price, $svcnum, %opt) = @_;
 451
 452   if ($opt{'inbound'}) {
 453
 454     my $term = $self->cdr_termination( 1 ); #1: inbound
 455     my $error;
 456     if ( $term ) {
 457       warn "replacing existing cdr status (".$self->acctid.")\n" if $term;
 458       $error = $term->delete;
 459       return $error if $error;
 460     }
 461     $term = FS::cdr_termination->new({
 462         acctid      => $self->acctid,
 463         termpart    => 1,
 464         rated_price => $rated_price,
 465         status      => $status,
 466     });
 467     $term->rated_seconds($opt{rated_seconds}) if exists($opt{rated_seconds});
 468     $term->rated_minutes($opt{rated_minutes}) if exists($opt{rated_minutes});
 469     $term->svcnum($svcnum) if $svcnum;
 470     return $term->insert;
 471
 472   } else {
 473
 474     $self->freesidestatus($status);
 475     $self->rated_price($rated_price);
 476     $self->$_($opt{$_})
 477       foreach grep exists($opt{$_}), map "rated_$_",
 478         qw( pretty_dst regionname seconds minutes granularity
 479             ratedetailnum classnum ratename );
 480     $self->svcnum($svcnum) if $svcnum;
 481     return $self->replace();
 482
 483   }
 484 }
 485
 486 =item parse_number [ OPTION => VALUE ... ]
 487
 488 Returns two scalars, the countrycode and the rest of the number.
 489
 490 Options are passed as name-value pairs.  Currently available options are:
 491
 492 =over 4
 493
 494 =item column
 495
 496 The column containing the number to be parsed.  Defaults to dst.
 497
 498 =item international_prefix
 499
 500 The digits for international dialing.  Defaults to '011'  The value '+' is
 501 always recognized.
 502
 503 =item domestic_prefix
 504
 505 The digits for domestic long distance dialing.  Defaults to '1'
 506
 507 =back
 508
 509 =cut
 510
 511 sub parse_number {
 512   my ($self, %options) = @_;
 513
 514   my $field = $options{column} || 'dst';
 515   my $intl = $options{international_prefix} || '011';
 516   my $countrycode = '';
 517   my $number = $self->$field();
 518
 519   my $to_or_from = 'concerning';
 520   $to_or_from = 'from' if $field eq 'src';
 521   $to_or_from = 'to' if $field eq 'dst';
 522   warn "parsing call $to_or_from $number\n" if $DEBUG;
 523
 524   #remove non-phone# stuff and whitespace
 525   $number =~ s/\s//g;
 526 #          my $proto = '';
 527 #          $dest =~ s/^(\w+):// and $proto = $1; #sip:
 528 #          my $siphost = '';
 529 #          $dest =~ s/\@(.*)$// and $siphost = $1; # @10.54.32.1, @sip.example.com
 530
 531   if (    $number =~ /^$intl(((\d)(\d))(\d))(\d+)$/
 532        || $number =~ /^\+(((\d)(\d))(\d))(\d+)$/
 533      )
 534   {
 535
 536     my( $three, $two, $one, $u1, $u2, $rest ) = ( $1,$2,$3,$4,$5,$6 );
 537     #first look for 1 digit country code
 538     if ( qsearch('rate_prefix', { 'countrycode' => $one } ) ) {
 539       $countrycode = $one;
 540       $number = $u1.$u2.$rest;
 541     } elsif ( qsearch('rate_prefix', { 'countrycode' => $two } ) ) { #or 2
 542       $countrycode = $two;
 543       $number = $u2.$rest;
 544     } else { #3 digit country code
 545       $countrycode = $three;
 546       $number = $rest;
 547     }
 548
 549   } else {
 550     my $domestic_prefix =
 551       exists($options{domestic_prefix}) ? $options{domestic_prefix} : '';
 552     $countrycode = length($domestic_prefix) ? $domestic_prefix : '1';
 553     $number =~ s/^$countrycode//;# if length($number) > 10;
 554   }
 555
 556   return($countrycode, $number);
 557
 558 }
 559
 560 =item rate [ OPTION => VALUE ... ]
 561
 562 Rates this CDR according and sets the status to 'rated'.
 563
 564 Available options are: part_pkg, svcnum, single_price_included_minutes, region_group, region_group_included_minutes.
 565
 566 part_pkg is required.
 567
 568 If svcnum is specified, will also associate this CDR with the specified svcnum.
 569
 570 single_price_included_minutes is requried for single_price price plans
 571 (otherwise unused/ignored).  It should be set to a scalar reference of the
 572 number of included minutes and will be decremented by the rated minutes of this
 573 CDR.
 574
 575 region_group_included_minutes is required for prefix price plans which have
 576 included minutes (otherwise unused/ignored).  It should be set to a scalar
 577 reference of the number of included minutes and will be decremented by the
 578 rated minutes of this CDR.
 579
 580 region_group_included_minutes_hashref is required for prefix price plans which
 581 have included minues (otehrwise unused/ignored).  It should be set to an empty
 582 hashref at the start of a month's rating and then preserved across CDRs.
 583
 584 =cut
 585
 586 sub rate {
 587   my( $self, %opt ) = @_;
 588   my $part_pkg = $opt{'part_pkg'} or return "No part_pkg specified";
 589
 590   if ( $DEBUG > 1 ) {
 591     warn "rating CDR $self\n".
 592          join('', map { "  $_ => ". $self->{$_}. "\n" } keys %$self );
 593   }
 594
 595   my $rating_method = $part_pkg->option_cacheable('rating_method') || 'prefix';
 596   my $method = "rate_$rating_method";
 597   $self->$method(%opt);
 598 }
 599
 600 #here?
 601 our %interval_cache = (); # for timed rates
 602
 603 sub rate_prefix {
 604   my( $self, %opt ) = @_;
 605   my $part_pkg = $opt{'part_pkg'} or return "No part_pkg specified";
 606
 607   my $da_rewrote = 0;
 608   # this will result in those CDRs being marked as done... is that
 609   # what we want?
 610   my @dirass = ();
 611   if ( $part_pkg->option_cacheable('411_rewrite') ) {
 612     my $dirass = $part_pkg->option_cacheable('411_rewrite');
 613     $dirass =~ s/\s//g;
 614     @dirass = split(',', $dirass);
 615   }
 616
 617   if ( length($self->dst) && grep { $self->dst eq $_ } @dirass ) {
 618     $self->dst('411');
 619     $da_rewrote = 1;
 620   }
 621
 622   my $reason = $part_pkg->check_chargable( $self,
 623                                            'da_rewrote'   => $da_rewrote,
 624                                          );
 625   if ( $reason ) {
 626     warn "not charging for CDR ($reason)\n" if $DEBUG;
 627     return $self->set_status_and_rated_price( 'skipped',
 628                                               0,
 629                                               $opt{'svcnum'},
 630                                             );
 631   }
 632
 633
 634   ###
 635   # look up rate details based on called station id
 636   # (or calling station id for toll free calls)
 637   ###
 638
 639   my( $to_or_from, $column );
 640   if ( $self->is_tollfree && ! $part_pkg->option_cacheable('disable_tollfree') )
 641   { #tollfree call
 642     $to_or_from = 'from';
 643     $column = 'src';
 644   } else { #regular call
 645     $to_or_from = 'to';
 646     $column = 'dst';
 647   }
 648
 649   #determine the country code
 650   my ($countrycode, $number) = $self->parse_number(
 651     column => $column,
 652     international_prefix => $part_pkg->option_cacheable('international_prefix'),
 653     domestic_prefix => $part_pkg->option_cacheable('domestic_prefix'),
 654   );
 655
 656   warn "rating call $to_or_from +$countrycode $number\n" if $DEBUG;
 657   my $pretty_dst = "+$countrycode $number";
 658   #asterisks here causes inserting the detail to barf, so:
 659   $pretty_dst =~ s/\*//g;
 660
 661   my $eff_ratenum = $self->is_tollfree('accountcode')
 662     ? $part_pkg->option_cacheable('accountcode_tollfree_ratenum')
 663     : '';
 664
 665   my $ratename = '';
 666   my $intrastate_ratenum = $part_pkg->option_cacheable('intrastate_ratenum');
 667   if ( $intrastate_ratenum && !$self->is_tollfree ) {
 668     $ratename = 'Interstate'; #until proven otherwise
 669     # this is relatively easy only because:
 670     # -assume all numbers are valid NANP numbers NOT in a fully-qualified format
 671     # -disregard toll-free
 672     # -disregard private or unknown numbers
 673     # -there is exactly one record in rate_prefix for a given NPANXX
 674     # -default to interstate if we can't find one or both of the prefixes
 675     my (undef, $dstprefix) = $self->parse_number(
 676       column => 'dst',
 677       international_prefix => $part_pkg->option_cacheable('international_prefix'),
 678       domestic_prefix => $part_pkg->option_cacheable('domestic_prefix'),
 679     );
 680     $dstprefix =~ /^(\d{6})/;
 681     $dstprefix = qsearchs('rate_prefix', {   'countrycode' => '1',
 682                                                 'npa' => $1,
 683                                          }) || '';
 684     my (undef, $srcprefix) = $self->parse_number(
 685       column => 'src',
 686       international_prefix => $part_pkg->option_cacheable('international_prefix'),
 687       domestic_prefix => $part_pkg->option_cacheable('domestic_prefix'),
 688     );
 689     $srcprefix =~ /^(\d{6})/;
 690     $srcprefix = qsearchs('rate_prefix', {   'countrycode' => '1',
 691                                              'npa' => $1,
 692                                          }) || '';
 693     if ($srcprefix && $dstprefix
 694         && $srcprefix->state && $dstprefix->state
 695         && $srcprefix->state eq $dstprefix->state) {
 696       $eff_ratenum = $intrastate_ratenum;
 697       $ratename = 'Intrastate'; # XXX possibly just use the ratename?
 698     }
 699   }
 700
 701   $eff_ratenum ||= $part_pkg->option_cacheable('ratenum');
 702   my $rate = qsearchs('rate', { 'ratenum' => $eff_ratenum })
 703     or die "ratenum $eff_ratenum not found!";
 704
 705   my @ltime = localtime($self->startdate);
 706   my $weektime = $ltime[0] +
 707                  $ltime[1]*60 +   #minutes
 708                  $ltime[2]*3600 + #hours
 709                  $ltime[6]*86400; #days since sunday
 710   # if there's no timed rate_detail for this time/region combination,
 711   # dest_detail returns the default.  There may still be a timed rate
 712   # that applies after the starttime of the call, so be careful...
 713   my $rate_detail = $rate->dest_detail({ 'countrycode' => $countrycode,
 714                                          'phonenum'    => $number,
 715                                          'weektime'    => $weektime,
 716                                          'cdrtypenum'  => $self->cdrtypenum,
 717                                       });
 718
 719   unless ( $rate_detail ) {
 720
 721     if ( $part_pkg->option_cacheable('ignore_unrateable') ) {
 722
 723       if ( $part_pkg->option_cacheable('ignore_unrateable') == 2 ) {
 724         # mark the CDR as unrateable
 725         return $self->set_status_and_rated_price(
 726           'failed',
 727           '',
 728           $opt{'svcnum'},
 729         );
 730       } elsif ( $part_pkg->option_cacheable('ignore_unrateable') == 1 ) {
 731         # warn and continue
 732         warn "no rate_detail found for CDR.acctid: ". $self->acctid.
 733              "; skipping\n";
 734         return '';
 735
 736       } else {
 737         die "unknown ignore_unrateable, pkgpart ". $part_pkg->pkgpart;
 738       }
 739
 740     } else {
 741
 742       die "FATAL: no rate_detail found in ".
 743           $rate->ratenum. ":". $rate->ratename. " rate plan ".
 744           "for +$countrycode $number (CDR acctid ". $self->acctid. "); ".
 745           "add a rate or set ignore_unrateable flag on the package def\n";
 746     }
 747
 748   }
 749
 750   my $rate_region = $rate_detail->dest_region;
 751   my $regionnum = $rate_region->regionnum;
 752   warn "  found rate for regionnum $regionnum ".
 753        "and rate detail $rate_detail\n"
 754     if $DEBUG;
 755
 756   if ( !exists($interval_cache{$regionnum}) ) {
 757     my @intervals = (
 758       sort { $a->stime <=> $b->stime }
 759         map { $_->rate_time->intervals }
 760           qsearch({ 'table'     => 'rate_detail',
 761                     'hashref'   => { 'ratenum' => $rate->ratenum },
 762                     'extra_sql' => 'AND ratetimenum IS NOT NULL',
 763                  })
 764     );
 765     $interval_cache{$regionnum} = \@intervals;
 766     warn "  cached ".scalar(@intervals)." interval(s)\n"
 767       if $DEBUG;
 768   }
 769
 770   ###
 771   # find the price and add detail to the invoice
 772   ###
 773
 774   # About this section:
 775   # We don't round _anything_ (except granularizing)
 776   # until the final $charge = sprintf("%.2f"...).
 777
 778   my $seconds_left = $part_pkg->option_cacheable('use_duration')
 779                        ? $self->duration
 780                        : $self->billsec;
 781
 782   #no, do this later so it respects (group) included minutes
 783   #  # charge for the first (conn_sec) seconds
 784   #  my $seconds = min($seconds_left, $rate_detail->conn_sec);
 785   #  $seconds_left -= $seconds;
 786   #  $weektime     += $seconds;
 787   #  my $charge = $rate_detail->conn_charge;
 788   my $seconds = 0;
 789   my $charge = 0;
 790   my $connection_charged = 0;
 791
 792   my $etime;
 793   while($seconds_left) {
 794     my $ratetimenum = $rate_detail->ratetimenum; # may be empty
 795
 796     # find the end of the current rate interval
 797     if(@{ $interval_cache{$regionnum} } == 0) {
 798       # There are no timed rates in this group, so just stay
 799       # in the default rate_detail for the entire duration.
 800       # Set an "end" of 1 past the end of the current call.
 801       $etime = $weektime + $seconds_left + 1;
 802     }
 803     elsif($ratetimenum) {
 804       # This is a timed rate, so go to the etime of this interval.
 805       # If it's followed by another timed rate, the stime of that
 806       # interval should match the etime of this one.
 807       my $interval = $rate_detail->rate_time->contains($weektime);
 808       $etime = $interval->etime;
 809     }
 810     else {
 811       # This is a default rate, so use the stime of the next
 812       # interval in the sequence.
 813       my $next_int = first { $_->stime > $weektime }
 814                       @{ $interval_cache{$regionnum} };
 815       if ($next_int) {
 816         $etime = $next_int->stime;
 817       }
 818       else {
 819         # weektime is near the end of the week, so decrement
 820         # it by a full week and use the stime of the first
 821         # interval.
 822         $weektime -= (3600*24*7);
 823         $etime = $interval_cache{$regionnum}->[0]->stime;
 824       }
 825     }
 826
 827     my $charge_sec = min($seconds_left, $etime - $weektime);
 828
 829     $seconds_left -= $charge_sec;
 830
 831     my $included_min = $opt{'region_group_included_min_hashref'} || {};
 832
 833     $included_min->{$regionnum}{$ratetimenum} = $rate_detail->min_included
 834       unless exists $included_min->{$regionnum}{$ratetimenum};
 835
 836     my $granularity = $rate_detail->sec_granularity;
 837
 838     my $minutes;
 839     if ( $granularity ) { # charge per minute
 840       # Round up to the nearest $granularity
 841       if ( $charge_sec and $charge_sec % $granularity ) {
 842         $charge_sec += $granularity - ($charge_sec % $granularity);
 843       }
 844       $minutes = $charge_sec / 60; #don't round this
 845     }
 846     else { # per call
 847       $minutes = 1;
 848       $seconds_left = 0;
 849     }
 850
 851     $seconds += $charge_sec;
 852
 853
 854     my $region_group = ($part_pkg->option_cacheable('min_included') || 0) > 0;
 855
 856     ${$opt{region_group_included_min}} -= $minutes
 857         if $region_group && $rate_detail->region_group;
 858
 859     $included_min->{$regionnum}{$ratetimenum} -= $minutes;
 860     if (
 861          $included_min->{$regionnum}{$ratetimenum} <= 0
 862          && ( ${$opt{region_group_included_min}} <= 0
 863               || ! $rate_detail->region_group
 864             )
 865        )
 866     {
 867
 868       #NOW do connection charges here... right?
 869       #my $conn_seconds = min($seconds_left, $rate_detail->conn_sec);
 870       my $conn_seconds = 0;
 871       unless ( $connection_charged++ ) { #only one connection charge
 872         $conn_seconds = min($charge_sec, $rate_detail->conn_sec);
 873         $seconds_left -= $conn_seconds;
 874         $weektime     += $conn_seconds;
 875         $charge += $rate_detail->conn_charge;
 876       }
 877
 878                            #should preserve (display?) this
 879       my $charge_min = 0 - $included_min->{$regionnum}{$ratetimenum} - ( $conn_seconds / 60 );
 880       $included_min->{$regionnum}{$ratetimenum} = 0;
 881       $charge += ($rate_detail->min_charge * $charge_min) if $charge_min > 0; #still not rounded
 882
 883     } elsif ( ${$opt{region_group_included_min}} > 0
 884               && $region_group
 885               && $rate_detail->region_group
 886            )
 887     {
 888         $included_min->{$regionnum}{$ratetimenum} = 0
 889     }
 890
 891     # choose next rate_detail
 892     $rate_detail = $rate->dest_detail({ 'countrycode' => $countrycode,
 893                                         'phonenum'    => $number,
 894                                         'weektime'    => $etime,
 895                                         'cdrtypenum'  => $self->cdrtypenum })
 896             if($seconds_left);
 897     # we have now moved forward to $etime
 898     $weektime = $etime;
 899
 900   } #while $seconds_left
 901
 902   # this is why we need regionnum/rate_region....
 903   warn "  (rate region $rate_region)\n" if $DEBUG;
 904
 905   $self->set_status_and_rated_price(
 906     'rated',
 907     sprintf('%.2f', $charge + 0.000001), # NOW round it.
 908     $opt{'svcnum'},
 909     'rated_pretty_dst'    => $pretty_dst,
 910     'rated_regionname'    => $rate_region->regionname,
 911     'rated_seconds'       => $seconds,
 912     'rated_granularity'   => $rate_detail->sec_granularity, #$granularity
 913     'rated_ratedetailnum' => $rate_detail->ratedetailnum,
 914     'rated_classnum'      => $rate_detail->classnum, #rated_ratedetailnum?
 915     'rated_ratename'      => $ratename, #not rate_detail - Intrastate/Interstate
 916   );
 917
 918 }
 919
 920 sub rate_upstream_simple {
 921   my( $self, %opt ) = @_;
 922
 923   $self->set_status_and_rated_price(
 924     'rated',
 925     sprintf('%.3f', $self->upstream_price),
 926     $opt{'svcnum'},
 927     'rated_classnum' => $self->calltypenum,
 928   );
 929 }
 930
 931 sub rate_single_price {
 932   my( $self, %opt ) = @_;
 933   my $part_pkg = $opt{'part_pkg'} or return "No part_pkg specified";
 934
 935   # a little false laziness w/abov
 936   # $rate_detail = new FS::rate_detail({sec_granularity => ... }) ?
 937
 938   my $granularity = length($part_pkg->option_cacheable('sec_granularity'))
 939                       ? $part_pkg->option_cacheable('sec_granularity')
 940                       : 60;
 941
 942   my $seconds = $part_pkg->option_cacheable('use_duration')
 943                   ? $self->duration
 944                   : $self->billsec;
 945
 946   $seconds += $granularity - ( $seconds % $granularity )
 947     if $seconds      # don't granular-ize 0 billsec calls (bills them)
 948     && $granularity  # 0 is per call
 949     && $seconds % $granularity;
 950   my $minutes = $granularity ? ($seconds / 60) : 1;
 951
 952   my $charge_min = $minutes;
 953
 954   ${$opt{single_price_included_min}} -= $minutes;
 955   if ( ${$opt{single_price_included_min}} > 0 ) {
 956     $charge_min = 0;
 957   } else {
 958      $charge_min = 0 - ${$opt{single_price_included_min}};
 959      ${$opt{single_price_included_min}} = 0;
 960   }
 961
 962   my $charge =
 963     sprintf('%.4f', ( $part_pkg->option_cacheable('min_charge') * $charge_min )
 964                     + 0.0000000001 ); #so 1.00005 rounds to 1.0001
 965
 966   $self->set_status_and_rated_price(
 967     'rated',
 968     $charge,
 969     $opt{'svcnum'},
 970     'rated_granularity' => $granularity,
 971     'rated_seconds'     => $seconds,
 972   );
 973
 974 }
 975
 976 =item cdr_termination [ TERMPART ]
 977
 978 =cut
 979
 980 sub cdr_termination {
 981   my $self = shift;
 982
 983   if ( scalar(@_) && $_[0] ) {
 984     my $termpart = shift;
 985
 986     qsearchs('cdr_termination', { acctid   => $self->acctid,
 987                                   termpart => $termpart,
 988                                 }
 989             );
 990
 991   } else {
 992
 993     qsearch('cdr_termination', { acctid => $self->acctid, } );
 994
 995   }
 996
 997 }
 998
 999 =item calldate_unix
1000
1001 Parses the calldate in SQL string format and returns a UNIX timestamp.
1002
1003 =cut
1004
1005 sub calldate_unix {
1006   str2time(shift->calldate);
1007 }
1008
1009 =item startdate_sql
1010
1011 Parses the startdate in UNIX timestamp format and returns a string in SQL
1012 format.
1013
1014 =cut
1015
1016 sub startdate_sql {
1017   my($sec,$min,$hour,$mday,$mon,$year) = localtime(shift->startdate);
1018   $mon++;
1019   $year += 1900;
1020   "$year-$mon-$mday $hour:$min:$sec";
1021 }
1022
1023 =item cdr_carrier
1024
1025 Returns the FS::cdr_carrier object associated with this CDR, or false if no
1026 carrierid is defined.
1027
1028 =cut
1029
1030 my %carrier_cache = ();
1031
1032 sub cdr_carrier {
1033   my $self = shift;
1034   return '' unless $self->carrierid;
1035   $carrier_cache{$self->carrierid} ||=
1036     qsearchs('cdr_carrier', { 'carrierid' => $self->carrierid } );
1037 }
1038
1039 =item carriername
1040
1041 Returns the carrier name (see L<FS::cdr_carrier>), or the empty string if
1042 no FS::cdr_carrier object is assocated with this CDR.
1043
1044 =cut
1045
1046 sub carriername {
1047   my $self = shift;
1048   my $cdr_carrier = $self->cdr_carrier;
1049   $cdr_carrier ? $cdr_carrier->carriername : '';
1050 }
1051
1052 =item cdr_calltype
1053
1054 Returns the FS::cdr_calltype object associated with this CDR, or false if no
1055 calltypenum is defined.
1056
1057 =cut
1058
1059 my %calltype_cache = ();
1060
1061 sub cdr_calltype {
1062   my $self = shift;
1063   return '' unless $self->calltypenum;
1064   $calltype_cache{$self->calltypenum} ||=
1065     qsearchs('cdr_calltype', { 'calltypenum' => $self->calltypenum } );
1066 }
1067
1068 =item calltypename
1069
1070 Returns the call type name (see L<FS::cdr_calltype>), or the empty string if
1071 no FS::cdr_calltype object is assocated with this CDR.
1072
1073 =cut
1074
1075 sub calltypename {
1076   my $self = shift;
1077   my $cdr_calltype = $self->cdr_calltype;
1078   $cdr_calltype ? $cdr_calltype->calltypename : '';
1079 }
1080
1081 =item downstream_csv [ OPTION => VALUE, ... ]
1082
1083 =cut
1084
1085 my %export_names = (
1086   'simple'  => {
1087     'name'           => 'Simple',
1088     'invoice_header' => "Date,Time,Name,Destination,Duration,Price",
1089   },
1090   'simple2' => {
1091     'name'           => 'Simple with source',
1092     'invoice_header' => "Date,Time,Called From,Destination,Duration,Price",
1093                        #"Date,Time,Name,Called From,Destination,Duration,Price",
1094   },
1095   'accountcode_simple' => {
1096     'name'           => 'Simple with accountcode',
1097     'invoice_header' => "Date,Time,Called From,Account,Duration,Price",
1098   },
1099   'basic' => {
1100     'name'           => 'Basic',
1101     'invoice_header' => "Date/Time,Called Number,Min/Sec,Price",
1102   },
1103   'default' => {
1104     'name'           => 'Default',
1105     'invoice_header' => 'Date,Time,Number,Destination,Duration,Price',
1106   },
1107   'source_default' => {
1108     'name'           => 'Default with source',
1109     'invoice_header' => 'Caller,Date,Time,Number,Destination,Duration,Price',
1110   },
1111   'accountcode_default' => {
1112     'name'           => 'Default plus accountcode',
1113     'invoice_header' => 'Date,Time,Account,Number,Destination,Duration,Price',
1114   },
1115   'description_default' => {
1116     'name'           => 'Default with description field as destination',
1117     'invoice_header' => 'Caller,Date,Time,Number,Destination,Duration,Price',
1118   },
1119   'sum_duration' => {
1120     'name'           => 'Summary, one line per service',
1121     'invoice_header' => 'Caller,Rate,Calls,Minutes,Price',
1122   },
1123   'sum_count' => {
1124     'name'           => 'Number of calls, one line per service',
1125     'invoice_header' => 'Caller,Rate,Messages,Price',
1126   },
1127   'sum_duration_prefix' => {
1128     'name'           => 'Summary, one line per destination prefix',
1129     'invoice_header' => 'Caller,Rate,Calls,Minutes,Price',
1130   },
1131 );
1132
1133 my %export_formats = ();
1134 sub export_formats {
1135   #my $self = shift;
1136
1137   return %export_formats if keys %export_formats;
1138
1139   my $conf = new FS::Conf;
1140   my $date_format = $conf->config('date_format') || '%m/%d/%Y';
1141
1142   # call duration in the largest units that accurately reflect the  granularity
1143   my $duration_sub = sub {
1144     my($cdr, %opt) = @_;
1145     my $sec = $opt{seconds} || $cdr->billsec;
1146     if ( defined $opt{granularity} &&
1147          $opt{granularity} == 0 ) { #per call
1148       return '1 call';
1149     }
1150     elsif ( defined $opt{granularity} && $opt{granularity} == 60 ) {#full minutes
1151       my $min = int($sec/60);
1152       $min++ if $sec%60;
1153       return $min.'m';
1154     }
1155     else { #anything else
1156       return sprintf("%dm %ds", $sec/60, $sec%60);
1157     }
1158   };
1159
1160   my $price_sub = sub {
1161     my ($cdr, %opt) = @_;
1162     my $price;
1163     if ( defined($opt{charge}) ) {
1164       $price = $opt{charge};
1165     }
1166     elsif ( $opt{inbound} ) {
1167       my $term = $cdr->cdr_termination(1); # 1 = inbound
1168       $price = $term->rated_price if defined $term;
1169     }
1170     else {
1171       $price = $cdr->rated_price;
1172     }
1173     length($price) ? ($opt{money_char} . $price) : '';
1174   };
1175
1176   %export_formats = (
1177     'simple' => [
1178       sub { time2str($date_format, shift->calldate_unix ) },   #DATE
1179       sub { time2str('%r', shift->calldate_unix ) },   #TIME
1180       'userfield',                                     #USER
1181       'dst',                                           #NUMBER_DIALED
1182       $duration_sub,                                   #DURATION
1183       #sub { sprintf('%.3f', shift->upstream_price ) }, #PRICE
1184       $price_sub,
1185     ],
1186     'simple2' => [
1187       sub { time2str($date_format, shift->calldate_unix ) },   #DATE
1188       sub { time2str('%r', shift->calldate_unix ) },   #TIME
1189       #'userfield',                                     #USER
1190       'src',                                           #called from
1191       'dst',                                           #NUMBER_DIALED
1192       $duration_sub,                                   #DURATION
1193       #sub { sprintf('%.3f', shift->upstream_price ) }, #PRICE
1194       $price_sub,
1195     ],
1196     'accountcode_simple' => [
1197       sub { time2str($date_format, shift->calldate_unix ) },   #DATE
1198       sub { time2str('%r', shift->calldate_unix ) },   #TIME
1199       'src',                                           #called from
1200       'accountcode',                                   #NUMBER_DIALED
1201       $duration_sub,                                   #DURATION
1202       $price_sub,
1203     ],
1204     'sum_duration' => [
1205       # for summary formats, the CDR is a fictitious object containing the
1206       # total billsec and the phone number of the service
1207       'src',
1208       sub { my($cdr, %opt) = @_; $opt{ratename} },
1209       sub { my($cdr, %opt) = @_; $opt{count} },
1210       sub { my($cdr, %opt) = @_; int($opt{seconds}/60).'m' },
1211       $price_sub,
1212     ],
1213     'sum_count' => [
1214       'src',
1215       sub { my($cdr, %opt) = @_; $opt{ratename} },
1216       sub { my($cdr, %opt) = @_; $opt{count} },
1217       $price_sub,
1218     ],
1219     'basic' => [
1220       sub { time2str('%d %b - %I:%M %p', shift->calldate_unix) },
1221       'dst',
1222       $duration_sub,
1223       $price_sub,
1224     ],
1225     'default' => [
1226
1227       #DATE
1228       sub { time2str($date_format, shift->calldate_unix ) },
1229             # #time2str("%Y %b %d - %r", $cdr->calldate_unix ),
1230
1231       #TIME
1232       sub { time2str('%r', shift->calldate_unix ) },
1233             # time2str("%c", $cdr->calldate_unix),  #XXX this should probably be a config option dropdown so they can select US vs- rest of world dates or whatnot
1234
1235       #DEST ("Number")
1236       sub { my($cdr, %opt) = @_; $opt{pretty_dst} || $cdr->dst; },
1237
1238       #REGIONNAME ("Destination")
1239       sub { my($cdr, %opt) = @_; $opt{dst_regionname}; },
1240
1241       #DURATION
1242       $duration_sub,
1243
1244       #PRICE
1245       $price_sub,
1246     ],
1247   );
1248   $export_formats{'source_default'} = [ 'src', @{ $export_formats{'default'} }, ];
1249   $export_formats{'accountcode_default'} =
1250     [ @{ $export_formats{'default'} }[0,1],
1251       'accountcode',
1252       @{ $export_formats{'default'} }[2..5],
1253     ];
1254   my @default = @{ $export_formats{'default'} };
1255   $export_formats{'description_default'} =
1256     [ 'src', @default[0..2],
1257       sub { my($cdr, %opt) = @_; $cdr->description },
1258       @default[4,5] ];
1259
1260   return %export_formats;
1261 }
1262
1263 =item downstream_csv OPTION => VALUE ...
1264
1265 Returns a string of formatted call details for display on an invoice.
1266
1267 Options:
1268
1269 format
1270
1271 charge - override the 'rated_price' field of the CDR
1272
1273 seconds - override the 'billsec' field of the CDR
1274
1275 count - number of usage events included in this record, for summary formats
1276
1277 ratename - name of the rate table used to rate this call
1278
1279 granularity
1280
1281 =cut
1282
1283 sub downstream_csv {
1284   my( $self, %opt ) = @_;
1285
1286   my $format = $opt{'format'};
1287   my %formats = $self->export_formats;
1288   return "Unknown format $format" unless exists $formats{$format};
1289
1290   #my $conf = new FS::Conf;
1291   #$opt{'money_char'} ||= $conf->config('money_char') || '$';
1292   $opt{'money_char'} ||= FS::Conf->new->config('money_char') || '$';
1293
1294   my $csv = new Text::CSV_XS;
1295
1296   my @columns =
1297     map {
1298           ref($_) ? &{$_}($self, %opt) : $self->$_();
1299         }
1300     @{ $formats{$format} };
1301
1302   return @columns if defined $opt{'keeparray'};
1303
1304   my $status = $csv->combine(@columns);
1305   die "FS::CDR: error combining ". $csv->error_input(). "into downstream CSV"
1306     unless $status;
1307
1308   $csv->string;
1309
1310 }
1311
1312 =back
1313
1314 =head1 CLASS METHODS
1315
1316 =over 4
1317
1318 =item invoice_formats
1319
1320 Returns an ordered list of key value pairs containing invoice format names
1321 as keys (for use with part_pkg::voip_cdr) and "pretty" format names as values.
1322
1323 =cut
1324
1325 # in the future, load this dynamically from detail_format classes
1326
1327 sub invoice_formats {
1328   map { ($_ => $export_names{$_}->{'name'}) }
1329     grep { $export_names{$_}->{'invoice_header'} }
1330     keys %export_names;
1331 }
1332
1333 =item invoice_header FORMAT
1334
1335 Returns a scalar containing the CSV column header for invoice format FORMAT.
1336
1337 =cut
1338
1339 sub invoice_header {
1340   my $format = shift;
1341   $export_names{$format}->{'invoice_header'};
1342 }
1343
1344 =item clear_status
1345
1346 Clears cdr and any associated cdr_termination statuses - used for
1347 CDR reprocessing.
1348
1349 =cut
1350
1351 sub clear_status {
1352   my $self = shift;
1353   my %opt = @_;
1354
1355   local $SIG{HUP} = 'IGNORE';
1356   local $SIG{INT} = 'IGNORE';
1357   local $SIG{QUIT} = 'IGNORE';
1358   local $SIG{TERM} = 'IGNORE';
1359   local $SIG{TSTP} = 'IGNORE';
1360   local $SIG{PIPE} = 'IGNORE';
1361
1362   my $oldAutoCommit = $FS::UID::AutoCommit;
1363   local $FS::UID::AutoCommit = 0;
1364   my $dbh = dbh;
1365
1366   if ( $cdr_prerate && $cdr_prerate_cdrtypenums{$self->cdrtypenum}
1367        && $self->rated_ratedetailnum #avoid putting old CDRs back in "rated"
1368        && $self->freesidestatus eq 'done'
1369        && ! $opt{'rerate'}
1370      )
1371   { #special case
1372     $self->freesidestatus('rated');
1373   } else {
1374     $self->freesidestatus('');
1375   }
1376
1377   my $error = $self->replace;
1378   if ( $error ) {
1379     $dbh->rollback if $oldAutoCommit;
1380     return $error;
1381   }
1382
1383   foreach my $cdr_termination ( $self->cdr_termination ) {
1384       #$cdr_termination->status('');
1385       #$error = $cdr_termination->replace;
1386       $error = $cdr_termination->delete;
1387       if ( $error ) {
1388         $dbh->rollback if $oldAutoCommit;
1389         return $error;
1390       }
1391   }
1392
1393   $dbh->commit or die $dbh->errstr if $oldAutoCommit;
1394
1395   '';
1396 }
1397
1398 =item import_formats
1399
1400 Returns an ordered list of key value pairs containing import format names
1401 as keys (for use with batch_import) and "pretty" format names as values.
1402
1403 =cut
1404
1405 #false laziness w/part_pkg & part_export
1406
1407 my %cdr_info;
1408 foreach my $INC ( @INC ) {
1409   warn "globbing $INC/FS/cdr/*.pm\n" if $DEBUG;
1410   foreach my $file ( glob("$INC/FS/cdr/*.pm") ) {
1411     warn "attempting to load CDR format info from $file\n" if $DEBUG;
1412     $file =~ /\/(\w+)\.pm$/ or do {
1413       warn "unrecognized file in $INC/FS/cdr/: $file\n";
1414       next;
1415     };
1416     my $mod = $1;
1417     my $info = eval "use FS::cdr::$mod; ".
1418                     "\\%FS::cdr::$mod\::info;";
1419     if ( $@ ) {
1420       die "error using FS::cdr::$mod (skipping): $@\n" if $@;
1421       next;
1422     }
1423     unless ( keys %$info ) {
1424       warn "no %info hash found in FS::cdr::$mod, skipping\n";
1425       next;
1426     }
1427     warn "got CDR format info from FS::cdr::$mod: $info\n" if $DEBUG;
1428     if ( exists($info->{'disabled'}) && $info->{'disabled'} ) {
1429       warn "skipping disabled CDR format FS::cdr::$mod" if $DEBUG;
1430       next;
1431     }
1432     $cdr_info{$mod} = $info;
1433   }
1434 }
1435
1436 tie my %import_formats, 'Tie::IxHash',
1437   map  { $_ => $cdr_info{$_}->{'name'} }
1438   sort { $cdr_info{$a}->{'weight'} <=> $cdr_info{$b}->{'weight'} }
1439   grep { exists($cdr_info{$_}->{'import_fields'}) }
1440   keys %cdr_info;
1441
1442 sub import_formats {
1443   %import_formats;
1444 }
1445
1446 sub _cdr_min_parser_maker {
1447   my $field = shift;
1448   my @fields = ref($field) ? @$field : ($field);
1449   @fields = qw( billsec duration ) unless scalar(@fields) && $fields[0];
1450   return sub {
1451     my( $cdr, $min ) = @_;
1452     my $sec = eval { _cdr_min_parse($min) };
1453     die "error parsing seconds for @fields from $min minutes: $@\n" if $@;
1454     $cdr->$_($sec) foreach @fields;
1455   };
1456 }
1457
1458 sub _cdr_min_parse {
1459   my $min = shift;
1460   sprintf('%.0f', $min * 60 );
1461 }
1462
1463 sub _cdr_date_parser_maker {
1464   my $field = shift;
1465   my %options = @_;
1466   my @fields = ref($field) ? @$field : ($field);
1467   return sub {
1468     my( $cdr, $datestring ) = @_;
1469     my $unixdate = eval { _cdr_date_parse($datestring, %options) };
1470     die "error parsing date for @fields from $datestring: $@\n" if $@;
1471     $cdr->$_($unixdate) foreach @fields;
1472   };
1473 }
1474
1475 sub _cdr_date_parse {
1476   my $date = shift;
1477   my %options = @_;
1478
1479   return '' unless length($date); #that's okay, it becomes NULL
1480   return '' if $date eq 'NA'; #sansay
1481
1482   if ( $date =~ /^([a-z]{3})\s+([a-z]{3})\s+(\d{1,2})\s+(\d{1,2}):(\d{1,2}):(\d{1,2})\s+(\d{4})$/i && $7 > 1970 ) {
1483     my $time = str2time($date);
1484     return $time if $time > 100000; #just in case
1485   }
1486
1487   my($year, $mon, $day, $hour, $min, $sec);
1488
1489   #$date =~ /^\s*(\d{4})[\-\/]\(\d{1,2})[\-\/](\d{1,2})\s+(\d{1,2}):(\d{1,2}):(\d{1,2})\s*$/
1490   #taqua  #2007-10-31 08:57:24.113000000
1491
1492   if ( $date =~ /^\s*(\d{4})\D(\d{1,2})\D(\d{1,2})\D+(\d{1,2})\D(\d{1,2})\D(\d{1,2})(\D|$)/ ) {
1493     ($year, $mon, $day, $hour, $min, $sec) = ( $1, $2, $3, $4, $5, $6 );
1494   } elsif ( $date  =~ /^\s*(\d{1,2})\D(\d{1,2})\D(\d{4})\s+(\d{1,2})\D(\d{1,2})(?:\D(\d{1,2}))?(\D|$)/ ) {
1495     # 8/26/2010 12:20:01
1496     # optionally without seconds
1497     ($mon, $day, $year, $hour, $min, $sec) = ( $1, $2, $3, $4, $5, $6 );
1498     $sec = 0 if !defined($sec);
1499   } elsif ( $date  =~ /^\s*(\d{4})(\d{2})(\d{2})(\d{2})(\d{2})(\d+\.\d+)(\D|$)/ ) {
1500     # broadsoft: 20081223201938.314
1501     ($year, $mon, $day, $hour, $min, $sec) = ( $1, $2, $3, $4, $5, $6 );
1502   } elsif ( $date  =~ /^\s*(\d{4})(\d{2})(\d{2})(\d{2})(\d{2})(\d{2})\d+(\D|$)/ ) {
1503     # Taqua OM:  20050422203450943
1504     ($year, $mon, $day, $hour, $min, $sec) = ( $1, $2, $3, $4, $5, $6 );
1505   } elsif ( $date  =~ /^\s*(\d{4})(\d{2})(\d{2})(\d{2})(\d{2})(\d{2})$/ ) {
1506     # WIP: 20100329121420
1507     ($year, $mon, $day, $hour, $min, $sec) = ( $1, $2, $3, $4, $5, $6 );
1508   } elsif ( $date =~ /^(\d{4})-(\d{2})-(\d{2})T(\d{2}):(\d{2}):(\d{2})Z$/) {
1509     # Telos
1510     ($year, $mon, $day, $hour, $min, $sec) = ( $1, $2, $3, $4, $5, $6 );
1511     $options{gmt} = 1;
1512   } else {
1513      die "unparsable date: $date"; #maybe we shouldn't die...
1514   }
1515
1516   return '' if ( $year == 1900 || $year == 1970 ) && $mon == 1 && $day == 1
1517             && $hour == 0 && $min == 0 && $sec == 0;
1518
1519   if ($options{gmt}) {
1520     timegm($sec, $min, $hour, $day, $mon-1, $year);
1521   } else {
1522     timelocal($sec, $min, $hour, $day, $mon-1, $year);
1523   }
1524 }
1525
1526 =item batch_import HASHREF
1527
1528 Imports CDR records.  Available options are:
1529
1530 =over 4
1531
1532 =item file
1533
1534 Filename
1535
1536 =item format
1537
1538 =item params
1539
1540 Hash reference of preset fields, typically cdrbatch
1541
1542 =item empty_ok
1543
1544 Set true to prevent throwing an error on empty imports
1545
1546 =back
1547
1548 =cut
1549
1550 my %import_options = (
1551   'table'         => 'cdr',
1552
1553   'batch_keycol'  => 'cdrbatchnum',
1554   'batch_table'   => 'cdr_batch',
1555   'batch_namecol' => 'cdrbatch',
1556
1557   'formats' => { map { $_ => $cdr_info{$_}->{'import_fields'}; }
1558                      keys %cdr_info
1559                },
1560
1561                           #drop the || 'csv' to allow auto xls for csv types?
1562   'format_types' => { map { $_ => lc($cdr_info{$_}->{'type'} || 'csv'); }
1563                           keys %cdr_info
1564                     },
1565
1566   'format_headers' => { map { $_ => ( $cdr_info{$_}->{'header'} || 0 ); }
1567                             keys %cdr_info
1568                       },
1569
1570   'format_sep_chars' => { map { $_ => $cdr_info{$_}->{'sep_char'}; }
1571                               keys %cdr_info
1572                         },
1573
1574   'format_fixedlength_formats' =>
1575     { map { $_ => $cdr_info{$_}->{'fixedlength_format'}; }
1576           keys %cdr_info
1577     },
1578
1579   'format_xml_formats' =>
1580     { map { $_ => $cdr_info{$_}->{'xml_format'}; }
1581           keys %cdr_info
1582     },
1583
1584   'format_asn_formats' =>
1585     { map { $_ => $cdr_info{$_}->{'asn_format'}; }
1586           keys %cdr_info
1587     },
1588
1589   'format_row_callbacks' => { map { $_ => $cdr_info{$_}->{'row_callback'}; }
1590                                   keys %cdr_info
1591                             },
1592 );
1593
1594 sub _import_options {
1595   \%import_options;
1596 }
1597
1598 sub batch_import {
1599   my $opt = shift;
1600
1601   my $iopt = _import_options;
1602   $opt->{$_} = $iopt->{$_} foreach keys %$iopt;
1603
1604   if ( defined $opt->{'cdrtypenum'} ) {
1605         $opt->{'preinsert_callback'} = sub {
1606                 my($record,$param) = (shift,shift);
1607                 $record->cdrtypenum($opt->{'cdrtypenum'});
1608                 '';
1609         };
1610   }
1611
1612   FS::Record::batch_import( $opt );
1613
1614 }
1615
1616 =item process_batch_import
1617
1618 =cut
1619
1620 sub process_batch_import {
1621   my $job = shift;
1622
1623   my $opt = _import_options;
1624 #  $opt->{'params'} = [ 'format', 'cdrbatch' ];
1625
1626   FS::Record::process_batch_import( $job, $opt, @_ );
1627
1628 }
1629 #  if ( $format eq 'simple' ) { #should be a callback or opt in FS::cdr::simple
1630 #    @columns = map { s/^ +//; $_; } @columns;
1631 #  }
1632
1633 # _ upgrade_data
1634 #
1635 # Used by FS::Upgrade to migrate to a new database.
1636
1637 sub _upgrade_data {
1638   my ($class, %opts) = @_;
1639
1640   warn "$me upgrading $class\n" if $DEBUG;
1641
1642   my $sth = dbh->prepare(
1643     'SELECT DISTINCT(cdrbatch) FROM cdr WHERE cdrbatch IS NOT NULL'
1644   ) or die dbh->errstr;
1645
1646   $sth->execute or die $sth->errstr;
1647
1648   my %cdrbatchnum = ();
1649   while (my $row = $sth->fetchrow_arrayref) {
1650
1651     my $cdr_batch = qsearchs( 'cdr_batch', { 'cdrbatch' => $row->[0] } );
1652     unless ( $cdr_batch ) {
1653       $cdr_batch = new FS::cdr_batch { 'cdrbatch' => $row->[0] };
1654       my $error = $cdr_batch->insert;
1655       die $error if $error;
1656     }
1657
1658     $cdrbatchnum{$row->[0]} = $cdr_batch->cdrbatchnum;
1659   }
1660
1661   $sth = dbh->prepare('UPDATE cdr SET cdrbatch = NULL, cdrbatchnum = ? WHERE cdrbatch IS NOT NULL AND cdrbatch = ?') or die dbh->errstr;
1662
1663   foreach my $cdrbatch (keys %cdrbatchnum) {
1664     $sth->execute($cdrbatchnum{$cdrbatch}, $cdrbatch) or die $sth->errstr;
1665   }
1666
1667 }
1668
1669 =item ip_addr_sql FIELD RANGE
1670
1671 Returns an SQL condition to search for CDRs with an IP address
1672 within RANGE.  FIELD is either 'src_ip_addr' or 'dst_ip_addr'.  RANGE
1673 should be in the form "a.b.c.d-e.f.g.h' (dotted quads), where any of
1674 the leftmost octets of the second address can be omitted if they're
1675 the same as the first address.
1676
1677 =cut
1678
1679 sub ip_addr_sql {
1680   my $class = shift;
1681   my ($field, $range) = @_;
1682   $range =~ /^[\d\.-]+$/ or die "bad ip address range '$range'";
1683   my @r = split('-', $range);
1684   my @saddr = split('\.', $r[0] || '');
1685   my @eaddr = split('\.', $r[1] || '');
1686   unshift @eaddr, (undef) x (4 - scalar @eaddr);
1687   for(0..3) {
1688     $eaddr[$_] = $saddr[$_] if !defined $eaddr[$_];
1689   }
1690   "$field >= '".sprintf('%03d.%03d.%03d.%03d', @saddr) . "' AND ".
1691   "$field <= '".sprintf('%03d.%03d.%03d.%03d', @eaddr) . "'";
1692 }
1693
1694 =back
1695
1696 =head1 BUGS
1697
1698 =head1 SEE ALSO
1699
1700 L<FS::Record>, schema.html from the base documentation.
1701
1702 =cut
1703
1704 1;
1705