FS/bin/freeside-cdr-a2billing-import

   1 #!/usr/bin/perl
   2
   3 use strict;
   4 use vars qw( $DEBUG );
   5 use Date::Parse 'str2time';
   6 use Date::Format 'time2str';
   7 use FS::UID qw(adminsuidsetup dbh);
   8 use FS::cdr;
   9 use DBI;
  10 use Getopt::Std;
  11
  12 my %opt;
  13 getopts('H:U:P:D:T:s:e:c:', \%opt);
  14 my $user = shift or die &usage;
  15
  16 my $dsn = 'dbi:mysql';
  17 $dsn .= ":database=$opt{D}" if $opt{D};
  18 $dsn .= ":host=$opt{H}" if $opt{H};
  19
  20 my $mysql = DBI->connect($dsn, $opt{U}, $opt{P})
  21   or die $DBI::errstr;
  22
  23 my ($start, $end) = ('', '');
  24 if ( $opt{s} ) {
  25   $start = str2time($opt{s}) or die "can't parse start date $opt{s}\n";
  26   $start = time2str('%Y-%m-%d', $start);
  27 }
  28 if ( $opt{e} ) {
  29   $end = str2time($opt{e}) or die "can't parse end date $opt{e}\n";
  30   $end = time2str('%Y-%m-%d', $end);
  31 }
  32
  33 adminsuidsetup $user;
  34
  35 my $fsdbh = FS::UID::dbh;
  36
  37 # check for existence of freesidestatus
  38 my $table = $opt{T} || 'cc_call';
  39 my $status = $mysql->selectall_arrayref("SHOW COLUMNS FROM $table WHERE Field = 'freesidestatus'");
  40 if( ! @$status ) {
  41   print "Adding freesidestatus column...\n";
  42   $mysql->do("ALTER TABLE $table ADD COLUMN freesidestatus varchar(32)")
  43     or die $mysql->errstr;
  44 }
  45 else {
  46   print "freesidestatus column present\n";
  47 }
  48
  49 # Fields:
  50 # id - primary key, sequential
  51 # session_id - Local/<digits>-<digits> or SIP/<digits>-<digits>
  52 # uniqueid - a decimal number, seems to be close to the unix timestamp
  53 # card_id - probably the equipment port, 1 - 10
  54 # nasipaddress - we don't care
  55 # starttime, stoptime - timestamps
  56 # sessiontime - duration, seconds
  57 # calledstation - dst
  58 # sessionbill - upstream_price
  59 # id_tariffgroup - null, 0, 1
  60 # id_tariffplan - null, 0, 3, 4, 5, 6, 7, 8, 9
  61 # id_ratecard - larger numbers
  62 # (all of the id_* fields are foreign keys: cc_tariffgroup, cc_ratecard, etc.)
  63 # id_trunk - we don't care
  64 # sipiax - probably don't care
  65 # src - src.  Usually a phone number, but not always.
  66 # id_did - always null
  67 # buycost - wholesale price? correlated with sessionbill
  68 # id_card_package_offer - no idea
  69 # real_sessiontime - close to sessiontime, except when it's null
  70 # (When sessiontime = 0, real_sessiontime is either 0 or null, and
  71 # sessionbill is 0.  When sessiontime > 0, but real_sessiontime is null,
  72 # sessionbill is 0.  So real_sessiontime seems to be the billable time, and
  73 # is null when the call is non-billable.)
  74 # dnid - sometimes equals calledstation, or calledstation without the leading
  75 # "1".  But not always.
  76 # terminatecauseid - integer, 0 - 7
  77 # destination - seems to be the NPA or NPA+NXX sometimes, or "0".
  78
  79 # terminatecauseid values:
  80 my %disposition = (
  81   0 => '',
  82   1 => 'ANSWER', #the only one that's billable
  83   2 => 'BUSY',
  84   3 => 'NOANSWER',
  85   4 => 'CANCEL',
  86   5 => 'CONGESTION',
  87   6 => 'CHANUNAVAIL',
  88   7 => 'DONTCALL',
  89   8 => 'TORTURE', #???
  90   9 => 'INVALIDARGS',
  91 );
  92
  93 my @cols = (
  94   'cc_call.id as id', 'cc_card.username as username',
  95   qw( sessionid
  96       starttime stoptime sessiontime real_sessiontime
  97       terminatecauseid
  98       calledstation src
  99       id_tariffplan id_ratecard sessionbill
 100     )
 101 );
 102
 103 my $sql = 'SELECT '.join(',', @cols). " FROM $table".
 104   ' WHERE freesidestatus IS NULL' .
 105   ($start && " AND starttime >= '$start'") .
 106   ($end   && " AND starttime <  '$end'") ;
 107 my $sth = $mysql->prepare($sql);
 108 $sth->execute;
 109 print "Importing ".$sth->rows." records...\n";
 110
 111 my $cdr_batch = new FS::cdr_batch({
 112     'cdrbatch' => 'mysql-import-'. time2str('%Y/%m/%d-%T',time),
 113   });
 114 my $error = $cdr_batch->insert;
 115 die $error if $error;
 116 my $cdrbatchnum = $cdr_batch->cdrbatchnum;
 117 my $imports = 0;
 118 my $updates = 0;
 119
 120 my $row;
 121 while ( $row = $sth->fetchrow_hashref ) {
 122   $row->{calledstation} =~ s/^1//;
 123   $row->{src} =~ s/^1//;
 124   my $cdr = FS::cdr->new ({
 125     uniqueid            => $row->{sessionid},
 126     cdrbatchnum         => $cdrbatchnum,
 127     startdate           => time2str($row->{starttime}),
 128     enddate             => time2str($row->{stoptime}),
 129     duration            => $row->{sessiontime},
 130     billsec             => $row->{real_sessiontime},
 131     dst                 => $row->{calledstation},
 132     src                 => $row->{src},
 133     charged_party       => $row->{username},
 134     upstream_rateplanid => $row->{id_tariffplan},
 135     upstream_rateid     => $row->{id_ratecard}, # I think?
 136     upstream_price      => $row->{sessionbill},
 137   });
 138   $cdr->cdrtypenum($opt{c}) if $opt{c};
 139
 140   my $error = $cdr->insert;
 141   if($error) {
 142     print "failed import: $error\n";
 143   } else {
 144     $imports++;
 145     my $updated = $mysql->do(
 146                     "UPDATE $table SET freesidestatus = 'done' WHERE id = ?",
 147                     undef,
 148                     $row->{'id'}
 149                   );
 150     $updates += $updated;
 151     print "failed to set status: ".$mysql->errstr."\n" unless $updated;
 152   }
 153 }
 154 print "Done.\nImported $imports CDRs, marked $updates as done in source database.\n";
 155 $mysql->disconnect;
 156
 157 sub usage {
 158   "Usage:
 159   freeside-cdr-a2billing-import
 160       [ -H host ]
 161       -D database
 162       -U user
 163       -P password
 164       [ -s start ] [ -e end ] [ -c cdrtypenum ]
 165       freesideuser
 166 ";
 167 }
 168
 169 =head1 NAME
 170
 171 freeside-cdr-a2billing-import - Download CDRs from an A2Billing MySQL database
 172
 173 =head1 SYNOPSIS
 174
 175   freeside-cdr-a2billing-import [ -H host ] -D database -U user -P password
 176     [ -T tablename ]
 177     [ -s start ] [ -e end ] [ -c cdrtypenum ]
 178     freesideuser
 179
 180 -H: database hostname
 181
 182 -D: database name
 183
 184 -U: database username
 185
 186 -P: database password
 187
 188 -T: table to import, defaults to cc_call
 189
 190 -s: start date, e.g. 4/20/2015
 191
 192 -e: end date, e.g. 12/25/2015
 193
 194 -c: cdrtypenum to set, defaults to none
 195
 196 freesideuser: freeside username
 197
 198 =head1 DESCRIPTION
 199
 200 =head1 BUGS
 201
 202 =head1 SEE ALSO
 203
 204 L<FS::cdr>
 205
 206 =cut
 207
 208 1;