changes to support eWay third-party payment, #10208
[freeside.git] / FS / FS / ClientAPI / MyAccount.pm
index 395450b..ecabe31 100644 (file)
@@ -1,17 +1,21 @@
 package FS::ClientAPI::MyAccount;
 
+use 5.008; #require 5.8+ for Time::Local 1.05+
 use strict;
-use vars qw($cache);
-use subs qw(_cache);
+use vars qw( $cache $DEBUG $me );
+use subs qw( _cache _provision );
+use Data::Dumper;
 use Digest::MD5 qw(md5_hex);
 use Date::Format;
 use Business::CreditCard;
 use Time::Duration;
+use Time::Local qw(timelocal_nocheck);
 use FS::UI::Web::small_custview qw(small_custview); #less doh
 use FS::UI::Web;
-use FS::UI::bytecount;
+use FS::UI::bytecount qw( display_bytecount );
 use FS::Conf;
-use FS::Record qw(qsearch qsearchs);
+#use FS::UID qw(dbh);
+use FS::Record qw(qsearch qsearchs dbh);
 use FS::Msgcat qw(gettext);
 use FS::Misc qw(card_types);
 use FS::ClientAPI_SessionCache;
@@ -27,14 +31,13 @@ use FS::cust_pkg;
 use FS::payby;
 use FS::acct_rt_transaction;
 use HTML::Entities;
+use FS::TicketSystem;
+use Text::CSV_XS;
+use IO::Scalar;
+use Spreadsheet::WriteExcel;
 
-#false laziness with FS::cust_main
-BEGIN {
-  eval "use Time::Local;";
-  die "Time::Local minimum version 1.05 required with Perl versions before 5.6"
-    if $] < 5.006 && !defined($Time::Local::VERSION);
-  eval "use Time::Local qw(timelocal_nocheck);";
-}
+$DEBUG = 0;
+$me = '[FS::ClientAPI::MyAccount]';
 
 use vars qw( @cust_main_editable_fields );
 @cust_main_editable_fields = qw(
@@ -46,14 +49,97 @@ use vars qw( @cust_main_editable_fields );
   ss paytype paystate stateid stateid_state
 );
 
-use subs qw(_provision);
-
 sub _cache {
   $cache ||= new FS::ClientAPI_SessionCache( {
                'namespace' => 'FS::ClientAPI::MyAccount',
              } );
 }
 
+sub skin_info {
+  my $p = shift;
+
+  my($context, $session, $custnum) = _custoragent_session_custnum($p);
+  #return { 'error' => $session } if $context eq 'error';
+
+  my $agentnum = '';
+  if ( $context eq 'customer' ) {
+
+    my $sth = dbh->prepare('SELECT agentnum FROM cust_main WHERE custnum = ?')
+      or die dbh->errstr;
+
+    $sth->execute($custnum) or die $sth->errstr;
+
+    $agentnum = $sth->fetchrow_arrayref->[0]
+      or die "no agentnum for custnum $custnum";
+
+  #} elsif ( $context eq 'agent' ) {
+  } elsif ( $p->{'agentnum'} =~ /^(\d+)$/ ) {
+    $agentnum = $1;
+  }
+
+  my $conf = new FS::Conf;
+
+  #false laziness w/Signup.pm
+
+  my $skin_info_cache_agent = _cache->get("skin_info_cache_agent$agentnum");
+
+  if ( $skin_info_cache_agent ) {
+
+    warn "$me loading cached skin info for agentnum $agentnum\n"
+      if $DEBUG > 1;
+
+  } else {
+
+    warn "$me populating skin info cache for agentnum $agentnum\n"
+      if $DEBUG > 1;
+
+    $skin_info_cache_agent = {
+      'agentnum' => $agentnum,
+      ( map { $_ => scalar( $conf->config($_, $agentnum) ) }
+        qw( company_name ) ),
+      ( map { $_ => scalar( $conf->config("selfservice-$_", $agentnum ) ) }
+        qw( body_bgcolor box_bgcolor
+            text_color link_color vlink_color hlink_color alink_color
+            font title_color title_align title_size menu_bgcolor menu_fontsize
+          )
+      ),
+      ( map { $_ => $conf->exists("selfservice-$_", $agentnum ) }
+        qw( menu_skipblanks menu_skipheadings menu_nounderline )
+      ),
+      ( map { $_ => scalar($conf->config_binary("selfservice-$_", $agentnum)) }
+        qw( title_left_image title_right_image
+            menu_top_image menu_body_image menu_bottom_image
+          )
+      ),
+      'logo' => scalar($conf->config_binary('logo.png', $agentnum )),
+      ( map { $_ => join("\n", $conf->config("selfservice-$_", $agentnum ) ) }
+        qw( head body_header body_footer company_address ) ),
+    };
+
+    _cache->set("skin_info_cache_agent$agentnum", $skin_info_cache_agent);
+
+  }
+
+  #{ %$skin_info_cache_agent };
+  $skin_info_cache_agent;
+
+}
+
+sub login_info {
+  my $p = shift;
+
+  my $conf = new FS::Conf;
+
+  my %info = (
+    %{ skin_info($p) },
+    'phone_login'  => $conf->exists('selfservice_server-phone_login'),
+    'single_domain'=> scalar($conf->config('selfservice_server-single_domain')),
+  );
+
+  return \%info;
+
+}
+
 #false laziness w/FS::ClientAPI::passwd::passwd
 sub login {
   my $p = shift;
@@ -88,11 +174,13 @@ sub login {
                            );
     return { error => 'User not found.' } unless $svc_acct;
 
-    my $pkg_svc = $svc_acct->cust_svc->pkg_svc;
-    return { error => 'Only primary user may log in.' } 
-      if $conf->exists('selfservice_server-primary_only')
-        && ( ! $pkg_svc || $pkg_svc->primary_svc ne 'Y' );
+    if($conf->exists('selfservice_server-login_svcpart')) {
+       my @svcpart = $conf->config('selfservice_server-login_svcpart');
+       my $svcpart = $svc_acct->cust_svc->svcpart;
+       return { error => 'Invalid user.' } 
+           unless grep($_ eq $svcpart, @svcpart);
+    }
+
     return { error => 'Incorrect password.' }
       unless $svc_acct->check_password($p->{'password'});
 
@@ -104,12 +192,28 @@ sub login {
     'svcnum' => $svc_x->svcnum,
   };
 
-  my $cust_pkg = $svc_x->cust_svc->cust_pkg;
+  my $cust_svc = $svc_x->cust_svc;
+  my $cust_pkg = $cust_svc->cust_pkg;
   if ( $cust_pkg ) {
     my $cust_main = $cust_pkg->cust_main;
     $session->{'custnum'} = $cust_main->custnum;
+    if ( $conf->exists('pkg-balances') ) {
+      my @cust_pkg = grep { $_->part_pkg->freq !~ /^(0|$)/ }
+                          $cust_main->ncancelled_pkgs;
+      $session->{'pkgnum'} = $cust_pkg->pkgnum
+        if scalar(@cust_pkg) > 1;
+    }
   }
 
+  #my $pkg_svc = $svc_acct->cust_svc->pkg_svc;
+  #return { error => 'Only primary user may log in.' } 
+  #  if $conf->exists('selfservice_server-primary_only')
+  #    && ( ! $pkg_svc || $pkg_svc->primary_svc ne 'Y' );
+  my $part_pkg = $cust_pkg->part_pkg;
+  return { error => 'Only primary user may log in.' }
+    if $conf->exists('selfservice_server-primary_only')
+       && $cust_svc->svcpart != $part_pkg->svcpart([qw( svc_acct svc_phone )]);
+
   my $session_id;
   do {
     $session_id = md5_hex(md5_hex(time(). {}. rand(). $$))
@@ -127,12 +231,76 @@ sub logout {
   my $p = shift;
   if ( $p->{'session_id'} ) {
     _cache->remove($p->{'session_id'});
-    return { 'error' => '' };
+    return { %{ skin_info($p) }, 'error' => '' };
   } else {
-    return { 'error' => "Can't resume session" }; #better error message
+    return { %{ skin_info($p) }, 'error' => "Can't resume session" }; #better error message
   }
 }
 
+sub payment_gateway {
+  # internal use only
+  # takes a cust_main and a cust_payby entry, returns the payment_gateway
+  my $conf = new FS::Conf;
+  my $cust_main = shift;
+  my $cust_payby = shift;
+  my $gatewaynum = $conf->config('selfservice-payment_gateway');
+  if ( $gatewaynum ) {
+    my $pg = qsearchs('payment_gateway', { gatewaynum => $gatewaynum });
+    die "configured gatewaynum $gatewaynum not found!" if !$pg;
+    return $pg;
+  }
+  else {
+    return '' if ! FS::payby->realtime($cust_payby);
+    my $pg = $cust_main->agent->payment_gateway(
+      'method'  => FS::payby->payby2bop($cust_payby),
+      'nofatal' => 1
+    );
+    return $pg;
+  }
+}
+
+sub access_info {
+  my $p = shift;
+
+  my $conf = new FS::Conf;
+
+  my $info = skin_info($p);
+
+  use vars qw( $cust_paybys ); #cache for performance
+  unless ( $cust_paybys ) {
+
+    my %cust_paybys = map { $_ => 1 }
+                      map { FS::payby->payby2payment($_) }
+                          $conf->config('signup_server-payby');
+
+    $cust_paybys = [ keys %cust_paybys ];
+
+  }
+  $info->{'cust_paybys'} = $cust_paybys;
+
+  my($context, $session, $custnum) = _custoragent_session_custnum($p);
+  return { 'error' => $session } if $context eq 'error';
+
+  my $cust_main = qsearchs('cust_main', { 'custnum' => $custnum } )
+    or return { 'error' => "unknown custnum $custnum" };
+
+  $info->{'hide_payment_fields'} = [ 
+    map { 
+      my $pg = payment_gateway($cust_main, $_);
+      $pg && $pg->gateway_namespace eq 'Business::OnlineThirdPartyPayment';
+    } @{ $info->{cust_paybys} }
+  ];
+
+  $info->{'self_suspend_reason'} = 
+      $conf->config('selfservice-self_suspend_reason', $cust_main->agentnum);
+
+  return { %$info,
+           'custnum'       => $custnum,
+           'access_pkgnum' => $session->{'pkgnum'},
+           'access_svcnum' => $session->{'svcnum'},
+         };
+}
+
 sub customer_info {
   my $p = shift;
 
@@ -155,21 +323,30 @@ sub customer_info {
     my $cust_main = qsearchs('cust_main', $search )
       or return { 'error' => "unknown custnum $custnum" };
 
-    $return{balance} = $cust_main->balance;
+    if ( $session->{'pkgnum'} ) { 
+      $return{balance} = $cust_main->balance_pkgnum( $session->{'pkgnum'} );
+    } else {
+      $return{balance} = $cust_main->balance;
+    }
 
     $return{tickets} = [ ($cust_main->tickets) ];
 
-    my @open = map {
-                     {
-                       invnum => $_->invnum,
-                       date   => time2str("%b %o, %Y", $_->_date),
-                       owed   => $_->owed,
-                     };
-                   } $cust_main->open_cust_bill;
-    $return{open_invoices} = \@open;
+    unless ( $session->{'pkgnum'} ) {
+      my @open = map {
+                       {
+                         invnum => $_->invnum,
+                         date   => time2str("%b %o, %Y", $_->_date),
+                         owed   => $_->owed,
+                       };
+                     } $cust_main->open_cust_bill;
+      $return{open_invoices} = \@open;
+    }
 
     $return{small_custview} =
-      small_custview( $cust_main, $conf->config('countrydefault') );
+      small_custview( $cust_main,
+                      scalar($conf->config('countrydefault')),
+                      ( $session->{'pkgnum'} ? 1 : 0 ), #nobalance
+                    );
 
     $return{name} = $cust_main->first. ' '. $cust_main->get('last');
 
@@ -208,6 +385,11 @@ sub customer_info {
       $return{support_services} = \@support_services;
     }
 
+    if ( $conf->config('prepayment_discounts-credit_type') ) {
+      #need to eval?
+      $return{discount_terms_hash} = { $cust_main->discount_terms_hash };
+    }
+
   } elsif ( $session->{'svcnum'} ) { #no customer record
 
     my $svc_acct = qsearchs('svc_acct', { 'svcnum' => $session->{'svcnum'} } )
@@ -261,7 +443,8 @@ sub edit_info {
 
     $new->set( 'payby' => $p->{'auto'} ? 'CARD' : 'DCRD' );
 
-  }elsif ( $payby =~ /^(CHEK|DCHK)$/ ) {
+  } elsif ( $payby =~ /^(CHEK|DCHK)$/ ) {
+
     my $payinfo;
     $p->{'payinfo1'} =~ /^([\dx]+)$/
       or return { 'error' => "illegal account number ". $p->{'payinfo1'} };
@@ -271,15 +454,15 @@ sub edit_info {
     my $payinfo2 = $1;
     $payinfo = $payinfo1. '@'. $payinfo2;
 
-    if ( $payinfo eq $cust_main->paymask ) {
-      $new->payinfo($cust_main->payinfo);
-    } else {
-      $new->payinfo($payinfo);
-    }
+    $new->payinfo( ($payinfo eq $cust_main->paymask)
+                     ? $cust_main->payinfo
+                     : $payinfo
+                 );
 
     $new->set( 'payby' => $p->{'auto'} ? 'CHEK' : 'DCHK' );
 
-  }elsif ( $payby =~ /^(BILL)$/ ) {
+  } elsif ( $payby =~ /^(BILL)$/ ) {
+    #no-op
   } elsif ( $payby ) {  #notyet ready
     return { 'error' => "unknown payby $payby" };
   }
@@ -309,15 +492,21 @@ sub payment_info {
   #generic
   ##
 
+  my $conf = new FS::Conf;
   use vars qw($payment_info); #cache for performance
   unless ( $payment_info ) {
 
-    my $conf = new FS::Conf;
     my %states = map { $_->state => 1 }
                    qsearch('cust_main_county', {
                      'country' => $conf->config('countrydefault') || 'US'
                    } );
 
+    my %cust_paybys = map { $_ => 1 }
+                      map { FS::payby->payby2payment($_) }
+                          $conf->config('signup_server-payby');
+
+    my @cust_paybys = keys %cust_paybys;
+
     $payment_info = {
 
       #list all counties/states/countries
@@ -333,6 +522,7 @@ sub payment_info {
       'paytypes' => [ @FS::cust_main::paytypes ],
 
       'paybys' => [ $conf->config('signup_server-payby') ],
+      'cust_paybys' => \@cust_paybys,
 
       'stateid_label' => FS::Msgcat::_gettext('stateid'),
       'stateid_state_label' => FS::Msgcat::_gettext('stateid_state'),
@@ -340,6 +530,8 @@ sub payment_info {
       'show_ss'  => $conf->exists('show_ss'),
       'show_stateid' => $conf->exists('show_stateid'),
       'show_paystate' => $conf->exists('show_bankstate'),
+
+      'save_unchecked' => $conf->exists('selfservice-save_unchecked'),
     };
 
   }
@@ -355,7 +547,14 @@ sub payment_info {
   my $cust_main = qsearchs('cust_main', { 'custnum' => $custnum } )
     or return { 'error' => "unknown custnum $custnum" };
 
-  $return{balance} = $cust_main->balance;
+  $return{'hide_payment_fields'} = [
+    map { 
+      my $pg = payment_gateway($cust_main, $_);
+      $pg && $pg->gateway_namespace eq 'Business::OnlineThirdPartyPayment';
+    } @{ $return{cust_paybys} }
+  ];
+
+  $return{balance} = $cust_main->balance; #XXX pkg-balances?
 
   $return{payname} = $cust_main->payname
                      || ( $cust_main->first. ' '. $cust_main->get('last') );
@@ -382,6 +581,11 @@ sub payment_info {
 
   }
 
+  if ( $conf->config('prepayment_discounts-credit_type') ) {
+    #need to eval?
+    $return{discount_terms_hash} = { $cust_main->discount_terms_hash };
+  }
+
   #doubleclick protection
   my $_date = time;
   $return{paybatch} = "webui-MyAccount-$_date-$$-". rand() * 2**32;
@@ -408,6 +612,15 @@ sub process_payment {
   my $cust_main = qsearchs('cust_main', { 'custnum' => $custnum } )
     or return { 'error' => "unknown custnum $custnum" };
 
+  $p->{'amount'} =~ /^\s*(\d+(\.\d{2})?)\s*$/
+    or return { 'error' => gettext('illegal_amount') };
+  my $amount = $1;
+  return { error => 'Amount must be greater than 0' } unless $amount > 0;
+
+  $p->{'discount_term'} =~ /^\s*(\d*)\s*$/
+    or return { 'error' => gettext('illegal_discount_term'). ': '. $p->{'discount_term'} };
+  my $discount_term = $1;
+
   $p->{'payname'} =~ /^([\w \,\.\-\']+)$/
     or return { 'error' => gettext('illegal_name'). " payname: ". $p->{'payname'} };
   my $payname = $1;
@@ -416,6 +629,7 @@ sub process_payment {
     or return { 'error' => gettext('illegal_text'). " paybatch: ". $p->{'paybatch'} };
   my $paybatch = $1;
 
+  $p->{'payby'} ||= 'CARD';
   $p->{'payby'} =~ /^([A-Z]{4})$/
     or return { 'error' => "illegal_payby " . $p->{'payby'} };
   my $payby = $1;
@@ -440,6 +654,8 @@ sub process_payment {
    
     $payinfo = $p->{'payinfo'};
 
+    #more intelligent mathing will be needed here if you change
+    #card_masking_method and don't remove existing paymasks
     $payinfo = $cust_main->payinfo
       if $cust_main->paymask eq $payinfo;
 
@@ -451,7 +667,7 @@ sub process_payment {
     validate($payinfo)
       or return { 'error' => gettext('invalid_card') }; # . ": ". $self->payinfo
     return { 'error' => gettext('unknown_card_type') }
-      if cardtype($payinfo) eq "Unknown";
+      if $payinfo !~ /^99\d{14}$/ && cardtype($payinfo) eq "Unknown";
 
     if ( length($p->{'paycvv'}) && $p->{'paycvv'} !~ /^\s*$/ ) {
       if ( cardtype($payinfo) eq 'American Express card' ) {
@@ -470,17 +686,21 @@ sub process_payment {
   }
 
   my %payby2fields = (
-    'CARD' => [ qw( paystart_month paystart_year payissue address1 address2 city state zip payip ) ],
+    'CARD' => [ qw( paystart_month paystart_year payissue payip
+                    address1 address2 city state zip country    ) ],
     'CHEK' => [ qw( ss paytype paystate stateid stateid_state payip ) ],
   );
 
-  my $error = $cust_main->realtime_bop( $FS::payby::payby2bop{$payby}, $p->{'amount'},
+  my $error = $cust_main->realtime_bop( $FS::payby::payby2bop{$payby}, $amount,
     'quiet'    => 1,
     'payinfo'  => $payinfo,
     'paydate'  => $p->{'year'}. '-'. $p->{'month'}. '-01',
     'payname'  => $payname,
-    'paybatch' => $paybatch,
+    'paybatch' => $paybatch, #this doesn't actually do anything
     'paycvv'   => $paycvv,
+    'pkgnum'   => $session->{'pkgnum'},
+    'discount_term' => $discount_term,
+    'selfservice' => 1,
     map { $_ => $p->{$_} } @{ $payby2fields{$payby} }
   );
   return { 'error' => $error } if $error;
@@ -492,25 +712,73 @@ sub process_payment {
     if ($payby eq 'CARD' || $payby eq 'DCRD') {
       $new->set( $_ => $p->{$_} )
         foreach qw( payname paystart_month paystart_year payissue payip
-                    address1 address2 city state zip payinfo );
+                    address1 address2 city state zip country );
       $new->set( 'payby' => $p->{'auto'} ? 'CARD' : 'DCRD' );
     } elsif ($payby eq 'CHEK' || $payby eq 'DCHK') {
       $new->set( $_ => $p->{$_} )
         foreach qw( payname payip paytype paystate
                     stateid stateid_state );
-      $new->set( 'payinfo' => $payinfo );
       $new->set( 'payby' => $p->{'auto'} ? 'CHEK' : 'DCHK' );
     }
+    $new->set( 'payinfo' => $cust_main->card_token || $payinfo );
     $new->set( 'paydate' => $p->{'year'}. '-'. $p->{'month'}. '-01' );
     my $error = $new->replace($cust_main);
-    return { 'error' => $error } if $error;
-    $cust_main = $new;
+    if ( $error ) {
+      #no, this causes customers to process their payments again
+      #return { 'error' => $error };
+      #XXX just warn verosely for now so i can figure out how these happen in
+      # the first place, eventually should redirect them to the "change
+      #address" page but indicate the payment did process??
+      delete($p->{'payinfo'}); #don't want to log this!
+      warn "WARNING: error changing customer info when processing payment (not returning to customer as a processing error): $error\n".
+           "NEW: ". Dumper($new)."\n".
+           "OLD: ". Dumper($cust_main)."\n".
+           "PACKET: ". Dumper($p)."\n";
+    #} else {
+      #not needed...
+      #$cust_main = $new;
+    }
   }
 
   return { 'error' => '' };
 
 }
 
+sub realtime_collect {
+  my $p = shift;
+
+  my $session = _cache->get($p->{'session_id'})
+    or return { 'error' => "Can't resume session" }; #better error message
+
+  my $custnum = $session->{'custnum'};
+
+  my $cust_main = qsearchs('cust_main', { 'custnum' => $custnum } )
+    or return { 'error' => "unknown custnum $custnum" };
+
+  my $amount;
+  if ( $p->{'amount'} ) {
+    $amount = $p->{'amount'};
+  }
+  elsif ( $session->{'pkgnum'} ) {
+    $amount = $cust_main->balance_pkgnum( $session->{'pkgnum'} );
+  }
+  else {
+    $amount = $cust_main->balance;
+  }
+
+  my $error = $cust_main->realtime_collect(
+    'method'     => $p->{'method'},
+    'amount'     => $amount,
+    'pkgnum'     => $session->{'pkgnum'},
+    'session_id' => $p->{'session_id'},
+    'apply'      => 1,
+    'selfservice'=> 1,
+  );
+  return { 'error' => $error } unless ref( $error );
+
+  return { 'error' => '', amount => $amount, %$error };
+}
+
 sub process_payment_order_pkg {
   my $p = shift;
 
@@ -520,6 +788,15 @@ sub process_payment_order_pkg {
   order_pkg($p);
 }
 
+sub process_payment_order_renew {
+  my $p = shift;
+
+  my $hr = process_payment($p);
+  return $hr if $hr->{'error'};
+
+  order_renew($p);
+}
+
 sub process_prepay {
 
   my $p = shift;
@@ -577,7 +854,7 @@ sub invoice {
   return { 'error'        => '',
            'invnum'       => $invnum,
            'invoice_text' => join('', $cust_bill->print_text ),
-           'invoice_html' => $cust_bill->print_html,
+           'invoice_html' => $cust_bill->print_html( { unsquelch_cdr => 1 } ),
          };
 
 }
@@ -588,7 +865,14 @@ sub invoice_logo {
   #sessioning for this?  how do we get the session id to the backend invoice
   # template so it can add it to the link, blah
 
-  my $templatename = $p->{'templatename'};
+  my $agentnum = '';
+  if ( $p->{'invnum'} ) {
+    my $cust_bill = qsearchs('cust_bill', { 'invnum' => $p->{'invnum'} } )
+      or return { 'error' => 'unknown invnum' };
+    $agentnum = $cust_bill->cust_main->agentnum;
+  }
+
+  my $templatename = $p->{'template'} || $p->{'templatename'};
 
   #false laziness-ish w/view/cust_bill-logo.cgi
 
@@ -602,7 +886,7 @@ sub invoice_logo {
   my $filename = "logo$templatename.png";
 
   return { 'error'        => '',
-           'logo'         => $conf->config_binary($filename),
+           'logo'         => $conf->config_binary($filename, $agentnum),
            'content_type' => 'image/png', #should allow gif, jpg too
          };
 }
@@ -623,6 +907,7 @@ sub list_invoices {
   return  { 'error'       => '',
             'invoices'    =>  [ map { { 'invnum' => $_->invnum,
                                         '_date'  => $_->_date,
+                                       'date'   => time2str("%b %o, %Y", $_->_date),
                                       }
                                     } @cust_bill
                               ]
@@ -658,9 +943,43 @@ sub list_pkgs {
   my $cust_main = qsearchs('cust_main', $search )
     or return { 'error' => "unknown custnum $custnum" };
 
-  #return { 'cust_pkg' => [ map { $_->hashref } $cust_main->ncancelled_pkgs ] };
-
   my $conf = new FS::Conf;
+  
+# the duplication below is necessary:
+# 1. to maintain the current buggy behaviour wrt the cust_pkg and part_pkg
+# hashes overwriting each other (setup and no_auto fields). Fixing that is a
+# non-backwards-compatible change breaking the software of anyone using the API
+# instead of the stock selfservice
+# 2. to return cancelled packages as well - for wholesale and non-wholesale
+  if( $conf->exists('selfservice_server-view-wholesale') ) {
+    return { 'svcnum'   => $session->{'svcnum'},
+           'custnum'  => $custnum,
+           'cust_pkg' => [ map {
+                          { $_->hash,
+                            part_pkg => [ map $_->hashref, $_->part_pkg ],
+                            part_svc =>
+                              [ map $_->hashref, $_->available_part_svc ],
+                            cust_svc => 
+                              [ map { my $ref = { $_->hash,
+                                                  label => [ $_->label ],
+                                                };
+                                      $ref->{_password} = $_->svc_x->_password
+                                        if $context eq 'agent'
+                                        && $conf->exists('agent-showpasswords')
+                                        && $_->part_svc->svcdb eq 'svc_acct';
+                                      $ref;
+                                    } $_->cust_svc
+                              ],
+                          };
+                        } $cust_main->cust_pkg
+                  ],
+    'small_custview' =>
+      small_custview( $cust_main, $conf->config('countrydefault') ),
+    'wholesale_view' => 1,
+    'login_svcpart' => [ $conf->config('selfservice_server-login_svcpart') ],
+    'date_format' => $conf->config('date_format') || '%m/%d/%Y',
+      };
+  }
 
   { 'svcnum'   => $session->{'svcnum'},
     'custnum'  => $custnum,
@@ -705,41 +1024,69 @@ sub list_svcs {
   foreach my $cust_pkg ( $p->{'ncancelled'} 
                          ? $cust_main->ncancelled_pkgs
                          : $cust_main->unsuspended_pkgs ) {
+    next if $session->{'pkgnum'} && $cust_pkg->pkgnum != $session->{'pkgnum'};
     push @cust_svc, @{[ $cust_pkg->cust_svc ]}; #@{[ ]} to force array context
   }
-  @cust_svc = grep { $_->part_svc->svcdb eq $p->{'svcdb'} } @cust_svc
-    if $p->{'svcdb'};
+  if ( $p->{'svcdb'} ) {
+    my $svcdb = ref($p->{'svcdb'}) eq 'HASH'
+                  ? $p->{'svcdb'}
+                  : ref($p->{'svcdb'}) eq 'ARRAY'
+                    ? { map { $_=>1 } @{ $p->{'svcdb'} } }
+                    : { $p->{'svcdb'} => 1 };
+    @cust_svc = grep $svcdb->{ $_->part_svc->svcdb }, @cust_svc
+  }
 
   #@svc_x = sort { $a->domain cmp $b->domain || $a->username cmp $b->username }
   #              @svc_x;
 
   { 
-    #no#'svcnum'   => $session->{'svcnum'},
+    'svcnum'   => $session->{'svcnum'},
     'custnum'  => $custnum,
-    'svcs'     => [ map { 
-                          my $svc_x = $_->svc_x;
-                          my($label, $value) = $_->label;
-                          my $part_pkg = $svc_x->cust_svc->cust_pkg->part_pkg;
-
-                          { 'svcnum'    => $_->svcnum,
-                            'label'     => $label,
-                            'value'     => $value,
-                            'username'  => $svc_x->username,
-                            'email'     => $svc_x->email,
-                            'seconds'   => $svc_x->seconds,
-                            'upbytes'   => FS::UI::bytecount::display_bytecount($svc_x->upbytes),
-                            'downbytes' => FS::UI::bytecount::display_bytecount($svc_x->downbytes),
-                            'totalbytes'=> FS::UI::bytecount::display_bytecount($svc_x->totalbytes),
-                            'recharge_amount' => $part_pkg->option('recharge_amount', 1),
-                            'recharge_seconds' => $part_pkg->option('recharge_seconds', 1),
-                            'recharge_upbytes' => FS::UI::bytecount::display_bytecount($part_pkg->option('recharge_upbytes', 1)),
-                            'recharge_downbytes' => FS::UI::bytecount::display_bytecount($part_pkg->option('recharge_downbytes', 1)),
-                            'recharge_totalbytes' => FS::UI::bytecount::display_bytecount($part_pkg->option('recharge_totalbytes', 1)),
-                            # more...
-                          };
-                        }
-                        @cust_svc
-                  ],
+    'svcs'     => [
+      map { 
+            my $svc_x = $_->svc_x;
+            my($label, $value) = $_->label;
+            my $svcdb = $_->part_svc->svcdb;
+            my $part_pkg = $_->cust_pkg->part_pkg;
+
+            my %hash = (
+              'svcnum' => $_->svcnum,
+              'svcdb'  => $svcdb,
+              'label'  => $label,
+              'value'  => $value,
+            );
+
+            if ( $svcdb eq 'svc_acct' ) {
+              %hash = (
+                %hash,
+                'username'   => $svc_x->username,
+                'email'      => $svc_x->email,
+                'seconds'    => $svc_x->seconds,
+                'upbytes'    => display_bytecount($svc_x->upbytes),
+                'downbytes'  => display_bytecount($svc_x->downbytes),
+                'totalbytes' => display_bytecount($svc_x->totalbytes),
+
+                'recharge_amount'  => $part_pkg->option('recharge_amount',1),
+                'recharge_seconds' => $part_pkg->option('recharge_seconds',1),
+                'recharge_upbytes'    =>
+                  display_bytecount($part_pkg->option('recharge_upbytes',1)),
+                'recharge_downbytes'  =>
+                  display_bytecount($part_pkg->option('recharge_downbytes',1)),
+                'recharge_totalbytes' =>
+                  display_bytecount($part_pkg->option('recharge_totalbytes',1)),
+                # more...
+              );
+
+            } elsif ( $svcdb eq 'svc_phone' ) {
+              %hash = (
+                %hash,
+              );
+            }
+
+            \%hash;
+          }
+          @cust_svc
+    ],
   };
 
 }
@@ -749,9 +1096,8 @@ sub _list_svc_usage {
   my @usage = ();
   foreach my $part_export ( 
     map { qsearch ( 'part_export', { 'exporttype' => $_ } ) }
-    qw (sqlradius sqlradius_withdomain')
+    qw( sqlradius sqlradius_withdomain )
   ) {
-
     push @usage, @ { $part_export->usage_sessions($begin, $end, $svc_acct) };
   }
   (@usage);
@@ -784,29 +1130,50 @@ sub list_support_usage {
   _usage_details(\&_list_support_usage, @_);
 }
 
+sub _list_cdr_usage {
+  my($svc_phone, $begin, $end) = @_;
+  map [ $_->downstream_csv('format' => 'default') ], #XXX config for format
+      $svc_phone->get_cdrs( 'begin'=>$begin, 'end'=>$end, );
+}
+
+sub list_cdr_usage {
+  my $p = shift;
+  _usage_details( \&_list_cdr_usage, $p,
+                  'svcdb' => 'svc_phone',
+                );
+}
+
 sub _usage_details {
-  my ($callback, $p) = (shift,shift);
+  my($callback, $p, %opt) = @_;
 
   my($context, $session, $custnum) = _custoragent_session_custnum($p);
   return { 'error' => $session } if $context eq 'error';
 
   my $search = { 'svcnum' => $p->{'svcnum'} };
   $search->{'agentnum'} = $session->{'agentnum'} if $context eq 'agent';
-  my $svc_acct = qsearchs ( 'svc_acct', $search );
+
+  my $svcdb = $opt{'svcdb'} || 'svc_acct';
+
+  my $svc_x = qsearchs( $svcdb, $search );
   return { 'error' => 'No service selected in list_svc_usage' } 
-    unless $svc_acct;
+    unless $svc_x;
 
-  my $freq   = $svc_acct->cust_svc->cust_pkg->part_pkg->freq;
-  my $start  = $svc_acct->cust_svc->cust_pkg->setup;
-  #my $end    = $svc_acct->cust_svc->cust_pkg->bill; # or time?
-  my $end    = time;
+  my $header = $svcdb eq 'svc_phone'
+                 ? [ split(',', FS::cdr::invoice_header('default') ) ]  #XXX
+                 : [];
 
-  unless($p->{beginning}){
-    $p->{beginning} = $svc_acct->cust_svc->cust_pkg->last_bill;
-    $p->{ending} = $end;
+  my $cust_pkg = $svc_x->cust_svc->cust_pkg;
+  my $freq     = $cust_pkg->part_pkg->freq;
+  my $start    = $cust_pkg->setup;
+  #my $end      = $cust_pkg->bill; # or time?
+  my $end      = time;
+
+  unless ( $p->{beginning} ) {
+    $p->{beginning} = $cust_pkg->last_bill;
+    $p->{ending}    = $end;
   }
 
-  my (@usage) = &$callback($svc_acct,$p->{beginning},$p->{ending});
+  my (@usage) = &$callback($svc_x, $p->{beginning}, $p->{ending});
 
   #kinda false laziness with FS::cust_main::bill, but perhaps
   #we should really change this bit to DateTime and DateTime::Duration
@@ -849,6 +1216,7 @@ sub _usage_details {
     'ending'    => $p->{ending},
     'previous'  => ($previous > $start) ? $previous : $start,
     'next'      => ($next < $end) ? $next : $end,
+    'header'    => $header,
     'usage'     => \@usage,
   };
 }
@@ -892,7 +1260,9 @@ sub order_pkg {
     my %fields = (
       'svc_acct'     => [ qw( username domsvc _password sec_phrase popnum ) ],
       'svc_domain'   => [ qw( domain ) ],
+      'svc_phone'    => [ qw( phonenum pin sip_password phone_name ) ],
       'svc_external' => [ qw( id title ) ],
+      'svc_pbx'      => [ qw( id name ) ],
     );
   
     my $svc_x = "FS::$svcdb"->new( {
@@ -949,7 +1319,9 @@ sub order_pkg {
     $cust_pkg->reexport;
   }
 
-  return { error => '', pkgnum => $cust_pkg->pkgnum };
+  my $svcnum = $svc[0] ? $svc[0]->svcnum : '';
+
+  return { error=>'', pkgnum=>$cust_pkg->pkgnum, svcnum=>$svcnum };
 
 }
 
@@ -1056,7 +1428,7 @@ sub _do_bop_realtime {
 
     my $bill_error =    $cust_main->bill
                      || $cust_main->apply_payments_and_credits
-                     || $cust_main->collect('realtime' => 1);
+                     || $cust_main->realtime_collect('selfservice' => 1);
 
     if (    $cust_main->balance > $old_balance
          && $cust_main->balance > 0
@@ -1076,6 +1448,103 @@ sub _do_bop_realtime {
     '';
 }
 
+sub renew_info {
+  my $p = shift;
+
+  my($context, $session, $custnum) = _custoragent_session_custnum($p);
+  return { 'error' => $session } if $context eq 'error';
+
+  my $cust_main = qsearchs('cust_main', { 'custnum' => $custnum } )
+    or return { 'error' => "unknown custnum $custnum" };
+
+  my @cust_pkg = sort { $a->bill <=> $b->bill }
+                 grep { $_->part_pkg->freq ne '0' }
+                 $cust_main->ncancelled_pkgs;
+
+  #return { 'error' => 'No active packages to renew.' } unless @cust_pkg;
+
+  my $total = $cust_main->balance;
+
+  my @array = map {
+                    my $bill = $_->bill;
+                    $total += $_->part_pkg->base_recur($_, \$bill);
+                    my $renew_date = $_->part_pkg->add_freq($_->bill);
+                    {
+                      'pkgnum'             => $_->pkgnum,
+                      'amount'             => sprintf('%.2f', $total),
+                      'bill_date'          => $_->bill,
+                      'bill_date_pretty'   => time2str('%x', $_->bill),
+                      'renew_date'         => $renew_date,
+                      'renew_date_pretty'  => time2str('%x', $renew_date),
+                      'expire_date'        => $_->expire,
+                      'expire_date_pretty' => time2str('%x', $_->expire),
+                    };
+                  }
+                  @cust_pkg;
+
+  return { 'dates' => \@array };
+
+}
+
+sub payment_info_renew_info {
+  my $p = shift;
+  my $renew_info   = renew_info($p);
+  my $payment_info = payment_info($p);
+  return { %$renew_info,
+           %$payment_info,
+         };
+}
+
+sub order_renew {
+  my $p = shift;
+
+  my($context, $session, $custnum) = _custoragent_session_custnum($p);
+  return { 'error' => $session } if $context eq 'error';
+
+  my $cust_main = qsearchs('cust_main', { 'custnum' => $custnum } )
+    or return { 'error' => "unknown custnum $custnum" };
+
+  my $date = $p->{'date'};
+
+  my $now = time;
+
+  #freeside-daily -n -d $date fs_daily $custnum
+  $cust_main->bill_and_collect( 'time'         => $date,
+                                'invoice_time' => $now,
+                                'actual_time'  => $now,
+                                'check_freq'   => '1d',
+                              );
+
+  return { 'error' => '' };
+
+}
+
+sub suspend_pkg {
+  my $p = shift;
+  my $session = _cache->get($p->{'session_id'})
+    or return { 'error' => "Can't resume session" }; #better error message
+
+  my $custnum = $session->{'custnum'};
+
+  my $cust_main = qsearchs('cust_main', { 'custnum' => $custnum } )
+    or return { 'error' => "unknown custnum $custnum" };
+
+  my $conf = new FS::Conf;
+  my $reasonnum = 
+    $conf->config('selfservice-self_suspend_reason', $cust_main->agentnum)
+      or return { 'error' => 'Permission denied' };
+
+  my $pkgnum = $p->{'pkgnum'};
+
+  my $cust_pkg = qsearchs('cust_pkg', { 'custnum' => $custnum,
+                                        'pkgnum'  => $pkgnum,   } )
+    or return { 'error' => "unknown pkgnum $pkgnum" };
+
+  my $error = $cust_pkg->suspend(reason => $reasonnum);
+  return { 'error' => $error };
+
+}
+
 sub cancel_pkg {
   my $p = shift;
   my $session = _cache->get($p->{'session_id'})
@@ -1092,13 +1561,29 @@ sub cancel_pkg {
                                         'pkgnum'  => $pkgnum,   } )
     or return { 'error' => "unknown pkgnum $pkgnum" };
 
-  my $error = $cust_pkg->cancel( 'quiet'=>1 );
+  my $error = $cust_pkg->cancel('quiet' => 1);
   return { 'error' => $error };
 
 }
 
+sub provision_phone {
+ my $p = shift;
+ my @bulkdid = @{$p->{'bulkdid'}};
+ unless (scalar(@bulkdid)) {
+    return _provision( 'FS::svc_phone',
+                 [qw(phonenum countrycode)],
+                 [qw(phonenum countrycode)],
+                 $p,
+                 @_
+               );
+ }
+#XXX: finish bulk orders
+}
+
 sub provision_acct {
   my $p = shift;
+  warn "provision_acct called\n"
+    if $DEBUG;
 
   return { 'error' => gettext('passwords_dont_match') }
     if $p->{'_password'} ne $p->{'_password2'};
@@ -1112,6 +1597,8 @@ sub provision_acct {
       unless ($domains{$p->{'domsvc'}});
   }
 
+  warn "provision_acct calling _provision\n"
+    if $DEBUG;
   _provision( 'FS::svc_acct',
               [qw(username _password domsvc)],
               [qw(username _password domsvc)],
@@ -1133,6 +1620,8 @@ sub provision_external {
 
 sub _provision {
   my( $class, $fields, $return_fields, $p ) = splice(@_, 0, 4);
+  warn "_provision called for $class\n"
+    if $DEBUG;
 
   my($context, $session, $custnum) = _custoragent_session_custnum($p);
   return { 'error' => $session } if $context eq 'error';
@@ -1144,27 +1633,42 @@ sub _provision {
 
   my $pkgnum = $p->{'pkgnum'};
 
+  warn "searching for custnum $custnum pkgnum $pkgnum\n"
+    if $DEBUG;
   my $cust_pkg = qsearchs('cust_pkg', { 'custnum' => $custnum,
                                         'pkgnum'  => $pkgnum,
                                                                } )
     or return { 'error' => "unknown pkgnum $pkgnum" };
 
+  warn "searching for svcpart ". $p->{'svcpart'}. "\n"
+    if $DEBUG;
   my $part_svc = qsearchs('part_svc', { 'svcpart' => $p->{'svcpart'} } )
     or return { 'error' => "unknown svcpart $p->{'svcpart'}" };
 
+  warn "creating $class record\n"
+    if $DEBUG;
   my $svc_x = $class->new( {
     'pkgnum'  => $p->{'pkgnum'},
     'svcpart' => $p->{'svcpart'},
     map { $_ => $p->{$_} } @$fields
   } );
+  warn "inserting $class record\n"
+    if $DEBUG;
   my $error = $svc_x->insert;
-  $svc_x = qsearchs($svc_x->table, { 'svcnum' => $svc_x->svcnum })
-    unless $error;
 
-  return { 'svc'   => $part_svc->svc,
-           'error' => $error,
-           map { $_ => $svc_x->get($_) } @$return_fields
-         };
+  unless ( $error ) {
+    warn "finding inserted record for svcnum ". $svc_x->svcnum. "\n"
+      if $DEBUG;
+    $svc_x = qsearchs($svc_x->table, { 'svcnum' => $svc_x->svcnum })
+  }
+
+  my $return = { 'svc'   => $part_svc->svc,
+                 'error' => $error,
+                 map { $_ => $svc_x->get($_) } @$return_fields
+               };
+  warn "_provision returning ". Dumper($return). "\n"
+    if $DEBUG;
+  return $return;
 
 }
 
@@ -1284,6 +1788,177 @@ sub myaccount_passwd {
 
 }
 
+sub create_ticket {
+  my $p = shift;
+  my($context, $session, $custnum) = _custoragent_session_custnum($p);
+  return { 'error' => $session } if $context eq 'error';
+
+  warn "$me create_ticket: initializing ticket system\n" if $DEBUG;
+  FS::TicketSystem->init();
+
+  my $conf = new FS::Conf;
+  my $queue = $p->{'queue'}
+              || $conf->config('ticket_system-selfservice_queueid')
+              || $conf->config('ticket_system-default_queueid');
+
+  warn "$me create_ticket: creating ticket\n" if $DEBUG;
+  my $err_or_ticket = FS::TicketSystem->create_ticket(
+    '', #create RT session based on FS CurrentUser (fs_selfservice)
+    'queue'   => $queue,
+    'custnum' => $custnum,
+    'svcnum'  => $session->{'svcnum'},
+    map { $_ => $p->{$_} } qw( requestor cc subject message mime_type )
+  );
+
+  if ( ref($err_or_ticket) ) {
+    warn "$me create_ticket: sucessful: ". $err_or_ticket->id. "\n"
+      if $DEBUG;
+    return { 'error'     => '',
+             'ticket_id' => $err_or_ticket->id,
+           };
+  } else {
+    warn "$me create_ticket: unsucessful: $err_or_ticket\n"
+      if $DEBUG;
+    return { 'error' => $err_or_ticket };
+  }
+
+
+}
+
+sub did_report {
+  my $p = shift;
+  my($context, $session, $custnum) = _custoragent_session_custnum($p);
+  return { 'error' => $session } if $context eq 'error';
+  return { error => 'requested format not implemented' } 
+    unless ($p->{'format'} eq 'csv' || $p->{'format'} eq 'xls');
+
+  my $conf = new FS::Conf;
+  my $age_threshold = 0;
+  $age_threshold = time() - $conf->config('selfservice-recent-did-age')
+    if ($p->{'recentonly'} && $conf->exists('selfservice-recent-did-age'));
+
+  my $search = { 'custnum' => $custnum };
+  $search->{'agentnum'} = $session->{'agentnum'} if $context eq 'agent';
+  my $cust_main = qsearchs('cust_main', $search )
+    or return { 'error' => "unknown custnum $custnum" };
+
+# does it make more sense to just run one sql query for this instead of all the
+# insanity below? would increase performance greately for large data sets?
+  my @svc_phone = ();
+  foreach my $cust_pkg ( $cust_main->ncancelled_pkgs ) {
+       my @part_svc = $cust_pkg->part_svc;
+       foreach my $part_svc ( @part_svc ) {
+           if($part_svc->svcdb eq 'svc_phone'){
+               my @cust_pkg_svc = @{$part_svc->cust_pkg_svc};
+               foreach my $cust_pkg_svc ( @cust_pkg_svc ) {
+                   push @svc_phone, $cust_pkg_svc->svc_x
+                       if $cust_pkg_svc->date_inserted >= $age_threshold;
+               }
+           }
+       }
+  }
+
+  my $csv;
+  my $xls;
+  my($xls_r,$xls_c) = (0,0);
+  my $xls_workbook;
+  my $content = '';
+  my @fields = qw( countrycode phonenum pin sip_password phone_name );
+  if($p->{'format'} eq 'csv') {
+    $csv = new Text::CSV_XS { 'always_quote' => 1,
+                                'eol'          => "\n",
+                               };
+    return { 'error' => 'Unable to create CSV' } unless $csv->combine(@fields);
+    $content .= $csv->string;
+  }
+  elsif($p->{'format'} eq 'xls') {
+    my $XLS1 = new IO::Scalar \$content;
+    $xls_workbook = Spreadsheet::WriteExcel->new($XLS1) 
+       or return { 'error' => "Error opening .xls file: $!" };
+    $xls = $xls_workbook->add_worksheet('DIDs');
+    foreach ( @fields ) {
+       $xls->write(0,$xls_c++,$_);
+    }
+    $xls_r++;
+  }
+
+  foreach my $svc_phone ( @svc_phone ) {
+    my @cols = map { $svc_phone->$_ } @fields;
+    if($p->{'format'} eq 'csv') {
+       return { 'error' => 'Unable to create CSV' } 
+           unless $csv->combine(@cols);
+       $content .= $csv->string;
+    }
+    elsif($p->{'format'} eq 'xls') {
+       $xls_c = 0;
+       foreach ( @cols ) {
+           $xls->write($xls_r,$xls_c++,$_);
+       }
+       $xls_r++;
+    }
+  }
+
+  $xls_workbook->close() if $p->{'format'} eq 'xls';
+  
+  { content => $content, format => $p->{'format'}, };
+}
+
+sub get_ticket {
+  my $p = shift;
+  my($context, $session, $custnum) = _custoragent_session_custnum($p);
+  return { 'error' => $session } if $context eq 'error';
+
+  warn "$me get_ticket: initializing ticket system\n" if $DEBUG;
+  FS::TicketSystem->init();
+
+  if(length($p->{'reply'})) {
+# currently this allows anyone to correspond on any ticket as fs_selfservice
+# probably bad...
+      my @err_or_res = FS::TicketSystem->correspond_ticket(
+       '', #create RT session based on FS CurrentUser (fs_selfservice)
+       'ticket_id' => $p->{'ticket_id'},
+       'content' => $p->{'reply'},
+      );
+    
+    return { 'error' => 'unable to reply to ticket' } 
+       unless ( $err_or_res[0] != 0 && defined $err_or_res[2] );
+  }
+
+  warn "$me get_ticket: getting ticket\n" if $DEBUG;
+  my $err_or_ticket = FS::TicketSystem->get_ticket(
+    '', #create RT session based on FS CurrentUser (fs_selfservice)
+    'ticket_id' => $p->{'ticket_id'},
+  );
+
+  if ( ref($err_or_ticket) ) {
+
+# since we're bypassing the RT security/permissions model by always using
+# fs_selfservice as the RT user (as opposed to a requestor, which we
+# can't do since we want all tickets linked to a cust), we check below whether
+# the requested ticket was actually linked to this customer
+    my @custs = @{$err_or_ticket->{'custs'}};
+    my @txns = @{$err_or_ticket->{'txns'}};
+
+    return { 'error' => 'no customer' } unless ( $custnum && scalar(@custs) );
+
+    return { 'error' => 'invalid ticket requested' } 
+       unless grep($_ eq $custnum, @custs);
+
+    warn "$me get_ticket: sucessful: \n"
+      if $DEBUG;
+    return { 'error'     => '',
+             'transactions' => \@txns,
+            'ticket_id' => $p->{'ticket_id'},
+           };
+  } else {
+    warn "$me create_ticket: unsucessful: $err_or_ticket\n"
+      if $DEBUG;
+    return { 'error' => $err_or_ticket };
+  }
+}
+
+
 #--
 
 sub _custoragent_session_custnum {
@@ -1308,6 +1983,7 @@ sub _custoragent_session_custnum {
     $custnum = $p->{'custnum'};
 
   } else {
+    $context = 'error';
     return ( 'error' => "Can't resume session" ); #better error message
   }