FS/bin/freeside-cdr-asterisk_sql

   1 #!/usr/bin/perl
   2
   3 use strict;
   4 use vars qw( $DEBUG );
   5 use Date::Parse 'str2time';
   6 use Date::Format 'time2str';
   7 use FS::UID qw(adminsuidsetup dbh);
   8 use FS::Log;
   9 use FS::cdr;
  10 use FS::DBI;
  11 use Getopt::Std;
  12
  13 $DEBUG = 0;
  14
  15 my %opt;
  16 getopts('e:H:U:P:D:T:V:Q', \%opt);
  17 my $user = shift or die &usage;
  18
  19 my $engine = $opt{e} || 'mysql';
  20
  21 my $dsn = "dbi:$engine";
  22 $dsn .= ":database=$opt{D}"; # if $opt{D};
  23 $dsn .= ";host=$opt{H}" if $opt{H};
  24
  25 adminsuidsetup $user;
  26
  27 my $log = FS::Log->new( 'freeside-cdr-asterisk_sql' );
  28
  29 my $dbi = FS::DBI->connect($dsn, $opt{U}, $opt{P}) ;
  30
  31 if ( $dbi ) {
  32   log_msg( info => "Established connection to CDR database at dsn($dsn)" );
  33 } else {
  34   log_and_die( error =>
  35     sprintf 'Fatal error connecting to CDR database at dsn(%s): %s',
  36       $dsn,
  37       $FS::DBI::errstr
  38   );
  39 }
  40
  41 my $fsdbh = FS::UID::dbh;
  42
  43 my $table = $opt{T} || 'cdr';
  44
  45 # check for existence of freesidestatus
  46 if ( $engine =~ /^mysql/ ) {
  47   my $status = $dbi->selectall_arrayref("SHOW COLUMNS FROM $table WHERE Field = 'freesidestatus'");
  48   if( ! @$status ) {
  49     log_msg( warn => "Adding freesidestatus column" );
  50     $dbi->do("ALTER TABLE $table ADD COLUMN freesidestatus varchar(32)")
  51       or log_and_die( error => $dbi->errstr );
  52   } else {
  53     log_msg( info => "freesidestatus column present" );
  54   }
  55 }
  56
  57 my @cols = ();
  58 if ( $opt{V} >= 12 ) {
  59
  60   push @cols, qw( id )
  61     unless $opt{Q};
  62
  63   push @cols, qw( start answer );
  64
  65   if ( $engine =~ /^Pg/ ) {
  66     push @cols, "'end'";
  67   } else {
  68     push @cols, "end";
  69   }
  70
  71 } else {
  72   push @cols, qw( calldate );
  73 }
  74
  75 push @cols,  qw(
  76   clid src dst dcontext channel lastapp lastdata duration
  77   billsec disposition amaflags accountcode userfield
  78 );
  79
  80 # check for existence of uniqueid
  81 if ( $engine =~ /^mysql/ ) {
  82   my $status = $dbi->selectall_arrayref("SHOW COLUMNS FROM $table WHERE Field = 'uniqueid'");
  83   if( @$status ) {
  84     push @cols, 'uniqueid';
  85   }
  86 } else {
  87   #assume there's a uniqueid
  88   push @cols, 'uniqueid';
  89 }
  90
  91 my $sql =
  92   'SELECT '.join(',', @cols). " FROM $table WHERE freesidestatus IS NULL";
  93 my $sth = $dbi->prepare($sql);
  94 $sth->execute
  95   or log_and_die( error => $sth->errstr );
  96
  97 log_msg( info => sprintf 'Importing %s records', $sth->rows );
  98
  99 my $cdr_batch = new FS::cdr_batch({
 100     'cdrbatch' => 'sql-import-'. time2str('%Y/%m/%d-%T',time),
 101   });
 102 if ( my $error = $cdr_batch->insert ) {
 103   log_and_die( error => $error );
 104 } else {
 105   log_msg( info =>
 106       sprintf 'cdrbatch %s %s',
 107         $cdr_batch->cdrbatch,
 108         $cdr_batch->cdrbatchnum
 109   );
 110 }
 111
 112 my $cdrbatchnum = $cdr_batch->cdrbatchnum;
 113
 114 my $imports = 0;
 115 my $updates = 0;
 116
 117 while ( my $row = $sth->fetchrow_hashref ) {
 118
 119   my $cdr = FS::cdr->new($row);
 120
 121   if ( $opt{V} >= 12 ) {
 122     $cdr->calldate($cdr->start);
 123     $cdr->startdate(str2time($cdr->start));
 124     $cdr->answerdate(str2time($cdr->answer));
 125     $cdr->enddate(str2time($cdr->end));
 126     $cdr->cdrid($cdr->id);
 127   } else {
 128     $cdr->startdate(str2time($cdr->calldate));
 129   }
 130
 131   $cdr->cdrbatchnum($cdrbatchnum);
 132
 133   $cdr->amaflags('') unless $cdr->amaflags =~ /^(\d+)$/;
 134
 135   if ( my $error = $cdr->insert ) {
 136     log_and_die( error =>
 137       sprintf 'Fatal failure to import uniqueid(%s) from table(%s): %s',
 138         $row->{'uniqueid'},
 139         $table,
 140         $error
 141     );
 142   } else {
 143
 144     $imports++;
 145
 146     my $usql = "UPDATE $table SET freesidestatus = 'done' WHERE ";
 147     my @args = ();
 148     if ( $opt{V} >= 12 ) {
 149       if ( $row->{'id'} ) {
 150         $usql .= ' id = '. $row->{'id'};
 151         @args = ( undef );
 152       } else {
 153         $usql .= ' uniqueid = ?';
 154         @args = ( undef, $row->{'uniqueid'} );
 155       }
 156     } else {
 157       $usql .= ' calldate = ? AND src = ? AND dst = ?';
 158       @args = ( undef, $row->{'calldate'}, $row->{'src'}, $row->{'dst'}, );
 159     }
 160
 161     if ( $dbi->do($usql, @args) ) {
 162       $updates++;
 163     } else {
 164       log_and_die( error =>
 165         sprintf 'Fatal failure set status(done) uniqueid(%s) table(%s): %s',
 166           $row->{'uniqueid'},
 167           $table,
 168           $dbi->errstr
 169       );
 170     }
 171
 172   }
 173
 174 }
 175
 176 log_and_warn(
 177   info => "Done.\nImported $imports CDRs, marked $updates CDRs as done"
 178 );
 179
 180 $dbi->disconnect;
 181
 182 sub log_and_die {
 183   my ( $level, $message ) = @_;
 184   $log->$level( $message );
 185   die "[$level] $message\n";
 186 }
 187
 188 sub log_msg {
 189   my ( $level, $message ) = @_;
 190   $log->$level( $message );
 191   warn "[$level] $message\n"
 192     if $opt{v};
 193 }
 194
 195 sub log_and_warn {
 196   my ( $level, $message ) = @_;
 197   $log->$level( $message );
 198   warn "$message\n";
 199 }
 200
 201
 202 sub usage {
 203   "Usage: \n  freeside-cdr-asterisk_sql\n\t-e mysql|Pg|... [ -H host ]\n\t-D database\n\t[ -T table ]\n\t[ -V asterisk_version]\n\t-U user\n\t-P password\n\tfreesideuser\n";
 204 }
 205
 206 =head1 NAME
 207
 208 freeside-cdr-asterisk_sql - Import CDRs from an Asterisk SQL database
 209
 210 =head1 SYNOPSIS
 211
 212   freeside-cdr-asterisk_sql -e mysql|Pg|... [ -H host ] -D database [ -T table ][ -V asterisk_version ] -U user -P password freesideuser
 213
 214 =head1 DESCRIPTION
 215
 216 Imports CDR records from an Asterisk SQL database.
 217
 218 -H: hostname
 219
 220 -e: Database engine (default mysql)
 221
 222 -D: database name
 223
 224 -T: table name (default cdr)
 225
 226 -U: username
 227
 228 -P: password
 229
 230 -V: Asterisk version.  Values of 12 or higher have a new database schema which no longer includes calldate.  Currently defaults to 11, but may default to 12+ or be required in a future, so best to always specify the version.
 231
 232 -Q: Use uniqueid field instead of id (Asterisk v12 only).  Less efficient, but useful if the field is missing.
 233
 234 =cut
 235
 236 1;