FS/bin/freeside-cdr-sftp_and_import

   1 #!/usr/bin/perl
   2
   3 use strict;
   4 use Getopt::Std;
   5 use Net::SFTP::Foreign::Compat;
   6 use Net::FTP;
   7 use FS::UID qw(adminsuidsetup datasrc);
   8 use FS::cdr;
   9
  10 ###
  11 # parse command line
  12 ###
  13
  14 use vars qw( $opt_m $opt_p $opt_r $opt_e $opt_d $opt_v );
  15 getopts('m:p:r:e:d:v');
  16
  17 $opt_e ||= 'csv';
  18 #$opt_e = ".$opt_e" unless $opt_e =~ /^\./;
  19 $opt_e =~ s/^\.//;
  20
  21 $opt_p ||= '';
  22
  23 my $user = shift or die &usage;
  24 adminsuidsetup $user;
  25
  26 # %%%FREESIDE_CACHE%%%
  27 my $cachedir = '/usr/local/etc/freeside/cache.'. datasrc. '/cdrs';
  28 mkdir $cachedir unless -d $cachedir;
  29
  30 my $format = shift or die &usage;
  31
  32 use vars qw( $servername );
  33 $servername = shift or die &usage;
  34
  35 ###
  36 # get the file list
  37 ###
  38
  39 warn "Retrieving directory listing\n" if $opt_v;
  40
  41 $opt_m = 'sftp' if !defined($opt_m);
  42 $opt_m = lc($opt_m);
  43
  44 my $ls;
  45
  46 if($opt_m eq 'ftp') {
  47   my $ls_ftp = ftp();
  48
  49   $ls = [ grep { /^$opt_p.*\.$opt_e$/i } $ls_ftp->ls ];
  50 }
  51 elsif($opt_m eq 'sftp') {
  52   my $ls_sftp = sftp();
  53
  54   $ls_sftp->setcwd($opt_r) or die "can't chdir to $opt_r\n"
  55     if $opt_r;
  56
  57   $ls = $ls_sftp->ls('.', wanted => qr/^$opt_p.*\.$opt_e$/i,
  58                           names_only => 1 );
  59 }
  60 else {
  61   die "Method '$opt_m' not supported; must be ftp or sftp\n";
  62 }
  63
  64 ###
  65 # import each file
  66 ###
  67
  68 foreach my $filename ( @$ls ) {
  69
  70   warn "Downloading $filename\n" if $opt_v;
  71
  72   #get the file
  73   if($opt_m eq 'ftp') {
  74     my $ftp = ftp();
  75     $ftp->get($filename, "$cachedir/$filename")
  76       or die "Can't get $filename: ". $ftp->message . "\n";
  77   }
  78   else {
  79     my $sftp = sftp();
  80     $sftp->get($filename, "$cachedir/$filename")
  81       or die "Can't get $filename: ". $sftp->error . "\n";
  82   }
  83
  84   warn "Processing $filename\n" if $opt_v;
  85
  86   my $error = FS::cdr::batch_import( {
  87     'file'            => "$cachedir/$filename",
  88     'format'          => $format,
  89     'batch_namevalue' => $filename,
  90     'empty_ok'        => 1,
  91   } );
  92   die $error if $error;
  93
  94   if ( $opt_d ) {
  95     if($opt_m eq 'ftp') {
  96       my $ftp = ftp();
  97       $ftp->rename($filename, "$opt_d/$filename")
  98         or die "Can't move $filename to $opt_d: ".$ftp->message . "\n";
  99     }
 100     else {
 101       my $sftp = sftp();
 102       $sftp->rename($filename, "$opt_d/$filename")
 103         or die "can't move $filename to $opt_d: ". $sftp->error . "\n";
 104     }
 105   }
 106
 107   unlink "$cachedir/$filename";
 108
 109 }
 110
 111 ###
 112 # subs
 113 ###
 114
 115 sub usage {
 116   "Usage: \n  cdr.import user format servername\n";
 117 }
 118
 119 use vars qw( $sftp $ftp );
 120
 121 sub ftp {
 122   return $ftp if $ftp && $ftp->pwd;
 123
 124   my ($hostname, $user) = reverse split('@', $servername);
 125   my ($user, $pass) = split(':', $user);
 126
 127   my $ftp = Net::FTP->new($hostname) or die "FTP connection to '$hostname' failed.";
 128   $ftp->login($user, $pass) or die "FTP login failed: ".$ftp->message;
 129   $ftp->cwd($opt_r) or die "can't chdir to $opt_r\n" if $opt_r;
 130   return $ftp;
 131 }
 132
 133 sub sftp {
 134
 135   #reuse connections
 136   return $sftp if $sftp && $sftp->cwd;
 137
 138   my %sftp = ( host => $servername );
 139
 140   $sftp = Net::SFTP::Foreign->new(%sftp);
 141   $sftp->error and die "SFTP connection failed: ". $sftp->error;
 142
 143   $sftp;
 144 }
 145
 146 =head1 NAME
 147
 148 cdr.sftp_and_import - Download CDR files from a remote server via SFTP
 149
 150 =head1 SYNOPSIS
 151
 152   cdr.sftp_and_import [ -m method ][ -p prefix ] [ -e extension ] [ -r remotefolder ] [ -d donefolder ] [ -v ] user format [sftpuser@]servername
 153
 154 =head1 DESCRIPTION
 155
 156 Command line tool to download CDR files from a remote server via SFTP or FTP and then
 157 import them into the database.
 158
 159 -m: transfer method (sftp or ftp), defaults to sftp
 160
 161 -p: file prefix, if specified
 162
 163 -e: file extension, defaults to .csv
 164
 165 -r: if specified, changes into this remote folder before starting
 166
 167 -d: if specified, moves files to the specified folder when done
 168
 169 -v: verbose
 170
 171 user: freeside username
 172
 173 format: CDR format name
 174
 175 [sftpuser@]servername: remote server
 176 (or ftpuser:ftppass@servername)
 177
 178 =head1 BUGS
 179
 180 =head1 SEE ALSO
 181
 182 L<FS::cdr>
 183
 184 =cut
 185
 186 1;
 187