FS/bin/freeside-cdr-sftp_and_import

   1 #!/usr/bin/perl
   2
   3 use strict;
   4 use Getopt::Std;
   5 use Net::SFTP::Foreign::Compat;
   6 use Net::FTP;
   7 use FS::UID qw(adminsuidsetup datasrc);
   8 use FS::cdr;
   9
  10 ###
  11 # parse command line
  12 ###
  13
  14 use vars qw( $opt_m $opt_p $opt_r $opt_e $opt_d $opt_v $opt_P $opt_a );
  15 getopts('m:p:r:e:d:v:P:a');
  16
  17 $opt_e ||= 'csv';
  18 #$opt_e = ".$opt_e" unless $opt_e =~ /^\./;
  19 $opt_e =~ s/^\.//;
  20
  21 $opt_p ||= '';
  22
  23 my %options = ();
  24
  25 my $user = shift or die &usage;
  26 adminsuidsetup $user;
  27
  28 # %%%FREESIDE_CACHE%%%
  29 my $cachedir = '%%%FREESIDE_CACHE%%%/cache.'. datasrc. '/cdrs';
  30 mkdir $cachedir unless -d $cachedir;
  31
  32 my $format = shift or die &usage;
  33
  34 use vars qw( $servername );
  35 $servername = shift or die &usage;
  36
  37 ###
  38 # get the file list
  39 ###
  40
  41 warn "Retrieving directory listing\n" if $opt_v;
  42
  43 $opt_m = 'sftp' if !defined($opt_m);
  44 $opt_m = lc($opt_m);
  45
  46 my $ls;
  47
  48 if($opt_m eq 'ftp') {
  49   $options{'Port'}    = $opt_P if $opt_P;
  50   $options{'Debug'}   = $opt_v if $opt_v;
  51   $options{'Passive'} = $opt_a if $opt_a;
  52
  53   my $ls_ftp = ftp();
  54
  55   $ls = [ grep { /^$opt_p.*\.$opt_e$/i } $ls_ftp->ls ];
  56 }
  57 elsif($opt_m eq 'sftp') {
  58   $options{'port'}    = $opt_P if $opt_P;
  59   $options{'debug'}   = $opt_v if $opt_v;
  60
  61   my $ls_sftp = sftp();
  62
  63   $ls_sftp->setcwd($opt_r) or die "can't chdir to $opt_r\n"
  64     if $opt_r;
  65
  66   $ls = $ls_sftp->ls('.', wanted => qr/^$opt_p.*\.$opt_e$/i,
  67                           names_only => 1 );
  68 }
  69 else {
  70   die "Method '$opt_m' not supported; must be ftp or sftp\n";
  71 }
  72
  73 ###
  74 # import each file
  75 ###
  76
  77 foreach my $filename ( @$ls ) {
  78
  79   warn "Downloading $filename\n" if $opt_v;
  80
  81   #get the file
  82   if($opt_m eq 'ftp') {
  83     my $ftp = ftp();
  84     $ftp->get($filename, "$cachedir/$filename")
  85       or die "Can't get $filename: ". $ftp->message . "\n";
  86   }
  87   else {
  88     my $sftp = sftp();
  89     $sftp->get($filename, "$cachedir/$filename")
  90       or die "Can't get $filename: ". $sftp->error . "\n";
  91   }
  92
  93   warn "Processing $filename\n" if $opt_v;
  94
  95   my $error = FS::cdr::batch_import( {
  96     'file'            => "$cachedir/$filename",
  97     'format'          => $format,
  98     'batch_namevalue' => $filename,
  99     'empty_ok'        => 1,
 100   } );
 101   die $error if $error;
 102
 103   if ( $opt_d ) {
 104     if($opt_m eq 'ftp') {
 105       my $ftp = ftp();
 106       $ftp->rename($filename, "$opt_d/$filename")
 107         or die "Can't move $filename to $opt_d: ".$ftp->message . "\n";
 108     }
 109     else {
 110       my $sftp = sftp();
 111       $sftp->rename($filename, "$opt_d/$filename")
 112         or die "can't move $filename to $opt_d: ". $sftp->error . "\n";
 113     }
 114   }
 115
 116   unlink "$cachedir/$filename";
 117
 118 }
 119
 120 ###
 121 # subs
 122 ###
 123
 124 sub usage {
 125   "Usage: \n  cdr.import user format servername\n";
 126 }
 127
 128 use vars qw( $sftp $ftp );
 129
 130 sub ftp {
 131   return $ftp if $ftp && $ftp->pwd;
 132
 133   my ($hostname, $user) = reverse split('@', $servername);
 134   my ($user, $pass) = split(':', $user);
 135
 136   my $ftp = Net::FTP->new($hostname, %options)
 137     or die "FTP connection to '$hostname' failed.";
 138   $ftp->login($user, $pass) or die "FTP login failed: ".$ftp->message;
 139   $ftp->cwd($opt_r) or die "can't chdir to $opt_r\n" if $opt_r;
 140   return $ftp;
 141 }
 142
 143 sub sftp {
 144
 145   #reuse connections
 146   return $sftp if $sftp && $sftp->cwd;
 147
 148   my %sftp = ( host => $servername );
 149
 150   $sftp = Net::SFTP::Foreign->new(%sftp);
 151   $sftp->error and die "SFTP connection failed: ". $sftp->error;
 152
 153   $sftp;
 154 }
 155
 156 =head1 NAME
 157
 158 cdr.sftp_and_import - Download CDR files from a remote server via SFTP
 159
 160 =head1 SYNOPSIS
 161
 162   cdr.sftp_and_import [ -m method ] [ -p prefix ] [ -e extension ]
 163     [ -r remotefolder ] [ -d donefolder ] [ -v level ] [ -P port ]
 164     [ -a ] user format [sftpuser@]servername
 165
 166 =head1 DESCRIPTION
 167
 168 Command line tool to download CDR files from a remote server via SFTP
 169 or FTP and then import them into the database.
 170
 171 -m: transfer method (sftp or ftp), defaults to sftp
 172
 173 -p: file prefix, if specified
 174
 175 -e: file extension, defaults to .csv
 176
 177 -r: if specified, changes into this remote folder before starting
 178
 179 -d: if specified, moves files to the specified folder when done
 180
 181 -P: if specified, sets the port to use
 182
 183 -a: use ftp passive mode
 184
 185 -v: set verbosity level; this script only has one level, but it will
 186     be passed as the 'debug' argument to the transport method
 187
 188 user: freeside username
 189
 190 format: CDR format name
 191
 192 [sftpuser@]servername: remote server
 193 (or ftpuser:ftppass@servername)
 194
 195 =head1 BUGS
 196
 197 =head1 SEE ALSO
 198
 199 L<FS::cdr>
 200
 201 =cut
 202
 203 1;
 204