really don't verify certificates if asked, deb 8 style
[freeside.git] / FS / FS / Template_Mixin.pm
1 package FS::Template_Mixin;
2
3 use strict;
4 use vars qw( $DEBUG $me
5              $money_char
6              $date_format
7            );
8              # but NOT $conf
9 use vars qw( $invoice_lines @buf ); #yuck
10 use List::Util qw(sum); #can't import first, it conflicts with cust_main.first
11 use Date::Format;
12 use Date::Language;
13 use Text::Template 1.20;
14 use File::Temp 0.14;
15 use Archive::Zip qw( :ERROR_CODES :CONSTANTS );
16 use IO::Scalar;
17 use HTML::Entities;
18 use Cwd;
19 use FS::UID;
20 use FS::Misc qw( send_email );
21 use FS::Record qw( qsearch qsearchs );
22 use FS::Conf;
23 use FS::Misc qw( generate_ps generate_pdf );
24 use FS::pkg_category;
25 use FS::pkg_class;
26 use FS::invoice_mode;
27 use FS::L10N;
28
29 $DEBUG = 0;
30 $me = '[FS::Template_Mixin]';
31 FS::UID->install_callback( sub { 
32   my $conf = new FS::Conf; #global
33   $money_char  = $conf->config('money_char')  || '$';  
34   $date_format = $conf->config('date_format') || '%x'; #/YY
35 } );
36
37 =item conf [ MODE ]
38
39 Returns a configuration handle (L<FS::Conf>) set to the customer's locale.
40
41 If the "mode" pseudo-field is set on the object, the configuration handle
42 will be an L<FS::invoice_conf> for that invoice mode (and the customer's
43 locale).
44
45 =cut
46
47 sub conf {
48   my $self = shift;
49   my $mode = $self->get('mode');
50   if ($self->{_conf} and !defined($mode)) {
51     return $self->{_conf};
52   }
53
54   my $cust_main = $self->cust_main;
55   my $locale = $cust_main ? $cust_main->locale : '';
56   my $conf;
57   if ( $mode ) {
58     if ( ref $mode and $mode->isa('FS::invoice_mode') ) {
59       $mode = $mode->modenum;
60     } elsif ( $mode =~ /\D/ ) {
61       die "invalid invoice mode $mode";
62     }
63     $conf = qsearchs('invoice_conf', { modenum => $mode, locale => $locale });
64     if (!$conf) {
65       $conf = qsearchs('invoice_conf', { modenum => $mode, locale => '' });
66       # it doesn't have a locale, but system conf still might
67       $conf->set('locale' => $locale) if $conf;
68     }
69   }
70   # if $mode is unspecified, or if there is no invoice_conf matching this mode
71   # and locale, then use the system config only (but with the locale)
72   $conf ||= FS::Conf->new({ 'locale' => $locale });
73   # cache it
74   return $self->{_conf} = $conf;
75 }
76
77 =item print_text OPTIONS
78
79 Returns an text invoice, as a list of lines.
80
81 Options can be passed as a hash.
82
83 I<time>, if specified, is used to control the printing of overdue messages.  The
84 default is now.  It isn't the date of the invoice; that's the `_date' field.
85 It is specified as a UNIX timestamp; see L<perlfunc/"time">.  Also see
86 L<Time::Local> and L<Date::Parse> for conversion functions.
87
88 I<template>, if specified, is the name of a suffix for alternate invoices.
89
90 I<notice_name>, if specified, overrides "Invoice" as the name of the sent document (templates from 10/2009 or newer required)
91
92 =cut
93
94 sub print_text {
95   my $self = shift;
96   my %params;
97   if ( ref($_[0]) ) {
98     %params = %{ shift() };
99   } else {
100     %params = @_;
101   }
102
103   $params{'format'} = 'template'; # for some reason
104
105   $self->print_generic( %params );
106 }
107
108 =item print_latex HASHREF
109
110 Internal method - returns a filename of a filled-in LaTeX template for this
111 invoice (Note: add ".tex" to get the actual filename), and a filename of
112 an associated logo (with the .eps extension included).
113
114 See print_ps and print_pdf for methods that return PostScript and PDF output.
115
116 Options can be passed as a hash.
117
118 I<time>, if specified, is used to control the printing of overdue messages.  The
119 default is now.  It isn't the date of the invoice; that's the `_date' field.
120 It is specified as a UNIX timestamp; see L<perlfunc/"time">.  Also see
121 L<Time::Local> and L<Date::Parse> for conversion functions.
122
123 I<template>, if specified, is the name of a suffix for alternate invoices.  
124 This is strongly deprecated; see L<FS::invoice_conf> for the right way to
125 customize invoice templates for different purposes.
126
127 I<notice_name>, if specified, overrides "Invoice" as the name of the sent document (templates from 10/2009 or newer required)
128
129 =cut
130
131 sub print_latex {
132   my $self = shift;
133   my %params;
134
135   if ( ref($_[0]) ) {
136     %params = %{ shift() };
137   } else {
138     %params = @_;
139   }
140
141   $params{'format'} = 'latex';
142   my $conf = $self->conf;
143
144   # this needs to go away
145   my $template = $params{'template'};
146   # and this especially
147   $template ||= $self->_agent_template
148     if $self->can('_agent_template');
149
150   my $pkey = $self->primary_key;
151   my $tmp_template = $self->table. '.'. $self->$pkey. '.XXXXXXXX';
152
153   my $dir = $FS::UID::conf_dir. "/cache.". $FS::UID::datasrc;
154   my $lh = new File::Temp(
155     TEMPLATE => $tmp_template,
156     DIR      => $dir,
157     SUFFIX   => '.eps',
158     UNLINK   => 0,
159   ) or die "can't open temp file: $!\n";
160
161   my $agentnum = $self->agentnum;
162
163   if ( $template && $conf->exists("logo_${template}.eps", $agentnum) ) {
164     print $lh $conf->config_binary("logo_${template}.eps", $agentnum)
165       or die "can't write temp file: $!\n";
166   } else {
167     print $lh $conf->config_binary('logo.eps', $agentnum)
168       or die "can't write temp file: $!\n";
169   }
170   close $lh;
171   $params{'logo_file'} = $lh->filename;
172
173   if( $conf->exists('invoice-barcode') 
174         && $self->can('invoice_barcode')
175         && $self->invnum ) { # don't try to barcode statements
176       my $png_file = $self->invoice_barcode($dir);
177       my $eps_file = $png_file;
178       $eps_file =~ s/\.png$/.eps/g;
179       $png_file =~ /(barcode.*png)/;
180       $png_file = $1;
181       $eps_file =~ /(barcode.*eps)/;
182       $eps_file = $1;
183
184       my $curr_dir = cwd();
185       chdir($dir); 
186       # after painfuly long experimentation, it was determined that sam2p won't
187       # accept : and other chars in the path, no matter how hard I tried to
188       # escape them, hence the chdir (and chdir back, just to be safe)
189       system('sam2p', '-j:quiet', $png_file, 'EPS:', $eps_file ) == 0
190         or die "sam2p failed: $!\n";
191       unlink($png_file);
192       chdir($curr_dir);
193
194       $params{'barcode_file'} = $eps_file;
195   }
196
197   my @filled_in = $self->print_generic( %params );
198   
199   my $fh = new File::Temp( TEMPLATE => $tmp_template,
200                            DIR      => $dir,
201                            SUFFIX   => '.tex',
202                            UNLINK   => 0,
203                          ) or die "can't open temp file: $!\n";
204   binmode($fh, ':utf8'); # language support
205   print $fh join('', @filled_in );
206   close $fh;
207
208   $fh->filename =~ /^(.*).tex$/ or die "unparsable filename: ". $fh->filename;
209   return ($1, $params{'logo_file'}, $params{'barcode_file'});
210
211 }
212
213 sub agentnum {
214   my $self = shift;
215   my $cust_main = $self->cust_main;
216   $cust_main ? $cust_main->agentnum : $self->prospect_main->agentnum;
217 }
218
219 =item print_generic OPTION => VALUE ...
220
221 Internal method - returns a filled-in template for this invoice as a scalar.
222
223 See print_ps and print_pdf for methods that return PostScript and PDF output.
224
225 Required options
226
227 =over 4
228
229 =item format
230
231 The B<format> option is required and should be set to html, latex (print and PDF) or template (plaintext).
232
233 =back
234
235 Additional options
236
237 =over 4
238
239 =item notice_name
240
241 Overrides "Invoice" as the name of the sent document.
242
243 =item today
244
245 Used to control the printing of overdue messages.  The
246 default is now.  It isn't the date of the invoice; that's the `_date' field.
247 It is specified as a UNIX timestamp; see L<perlfunc/"time">.  Also see
248 L<Time::Local> and L<Date::Parse> for conversion functions.
249
250 =item logo_file
251
252 Logo file (path to temporary EPS file on the local filesystem)
253
254 =item cid
255
256 CID for inline (emailed) images (logo)
257
258 =item locale
259
260 Override customer's locale
261
262 =item unsquelch_cdr
263
264 Overrides any per customer cdr squelching when true
265
266 =item no_number
267
268 Supress the (invoice, quotation, statement, etc.) number
269
270 =item no_date
271
272 Supress the date
273
274 =item no_coupon
275
276 Supress the payment coupon
277
278 =item barcode_file
279
280 Barcode file (path to temporary EPS file on the local filesystem)
281
282 =item barcode_img
283
284 Flag indicating the barcode image should be a link (normal HTML dipaly)
285
286 =item barcode_cid
287
288 Barcode CID for inline (emailed) images
289
290 =item preref_callback
291
292 Coderef run for each line item, code should return HTML to be displayed
293 before that line item (quotations only)
294
295 =item template
296
297 Dprecated.  Used as a suffix for a configuration template.  Please 
298 don't use this, it deprecated in favor of more flexible alternatives.
299
300 =back
301
302 =cut
303
304 #what's with all the sprintf('%10.2f')'s in here?  will it cause any
305 # (alignment in text invoice?) problems to change them all to '%.2f' ?
306 # yes: fixed width/plain text printing will be borked
307 sub print_generic {
308   my( $self, %params ) = @_;
309   my $conf = $self->conf;
310
311   my $today = $params{today} ? $params{today} : time;
312   warn "$me print_generic called on $self with suffix $params{template}\n"
313     if $DEBUG;
314
315   my $format = $params{format};
316   die "Unknown format: $format"
317     unless $format =~ /^(latex|html|template)$/;
318
319   my $cust_main = $self->cust_main || $self->prospect_main;
320
321   my $locale = $params{'locale'} || $cust_main->locale;
322
323   my %delimiters = ( 'latex'    => [ '[@--', '--@]' ],
324                      'html'     => [ '<%=', '%>' ],
325                      'template' => [ '{', '}' ],
326                    );
327
328   warn "$me print_generic creating template\n"
329     if $DEBUG > 1;
330
331   # set the notice name here, and nowhere else.
332   my $notice_name =  $params{notice_name}
333                   || $conf->config('notice_name')
334                   || $self->notice_name;
335
336   #create the template
337   my $template = $params{template} ? $params{template} : $self->_agent_template;
338   my $templatefile = $self->template_conf. $format;
339   $templatefile .= "_$template"
340     if length($template) && $conf->exists($templatefile."_$template");
341
342   # the base template
343   my @invoice_template = map "$_\n", $conf->config($templatefile)
344     or die "cannot load config data $templatefile";
345
346   if ( $format eq 'latex' && grep { /^%%Detail/ } @invoice_template ) {
347     #change this to a die when the old code is removed
348     # it's been almost ten years, changing it to a die
349     die "old-style invoice template $templatefile; ".
350          "patch with conf/invoice_latex.diff or use new conf/invoice_latex*\n";
351          #$old_latex = 'true';
352          #@invoice_template = _translate_old_latex_format(@invoice_template);
353   } 
354
355   warn "$me print_generic creating T:T object\n"
356     if $DEBUG > 1;
357
358   my $text_template = new Text::Template(
359     TYPE => 'ARRAY',
360     SOURCE => \@invoice_template,
361     DELIMITERS => $delimiters{$format},
362   );
363
364   warn "$me print_generic compiling T:T object\n"
365     if $DEBUG > 1;
366
367   $text_template->compile()
368     or die "Can't compile $templatefile: $Text::Template::ERROR\n";
369
370
371   # additional substitution could possibly cause breakage in existing templates
372   my %convert_maps = ( 
373     'latex' => {
374                  'notes'         => sub { map "$_", @_ },
375                  'footer'        => sub { map "$_", @_ },
376                  'smallfooter'   => sub { map "$_", @_ },
377                  'returnaddress' => sub { map "$_", @_ },
378                  'coupon'        => sub { map "$_", @_ },
379                  'summary'       => sub { map "$_", @_ },
380                },
381     'html'  => {
382                  'notes' =>
383                    sub {
384                      map { 
385                        s/%%(.*)$/<!-- $1 -->/g;
386                        s/\\section\*\{\\textsc\{(.)(.*)\}\}/<p><b><font size="+1">$1<\/font>\U$2<\/b>/g;
387                        s/\\begin\{enumerate\}/<ol>/g;
388                        s/\\item /  <li>/g;
389                        s/\\end\{enumerate\}/<\/ol>/g;
390                        s/\\textbf\{(.*)\}/<b>$1<\/b>/g;
391                        s/\\\\\*/<br>/g;
392                        s/\\dollar ?/\$/g;
393                        s/\\#/#/g;
394                        s/~/&nbsp;/g;
395                        $_;
396                      }  @_
397                    },
398                  'footer' =>
399                    sub { map { s/~/&nbsp;/g; s/\\\\\*?\s*$/<BR>/; $_; } @_ },
400                  'smallfooter' =>
401                    sub { map { s/~/&nbsp;/g; s/\\\\\*?\s*$/<BR>/; $_; } @_ },
402                  'returnaddress' =>
403                    sub {
404                      map { 
405                        s/~/&nbsp;/g;
406                        s/\\\\\*?\s*$/<BR>/;
407                        s/\\hyphenation\{[\w\s\-]+}//;
408                        s/\\([&])/$1/g;
409                        $_;
410                      }  @_
411                    },
412                  'coupon'        => sub { "" },
413                  'summary'       => sub { "" },
414                },
415     'template' => {
416                  'notes' =>
417                    sub {
418                      map { 
419                        s/%%.*$//g;
420                        s/\\section\*\{\\textsc\{(.*)\}\}/\U$1/g;
421                        s/\\begin\{enumerate\}//g;
422                        s/\\item /  * /g;
423                        s/\\end\{enumerate\}//g;
424                        s/\\textbf\{(.*)\}/$1/g;
425                        s/\\\\\*/ /;
426                        s/\\dollar ?/\$/g;
427                        $_;
428                      }  @_
429                    },
430                  'footer' =>
431                    sub { map { s/~/ /g; s/\\\\\*?\s*$/\n/; $_; } @_ },
432                  'smallfooter' =>
433                    sub { map { s/~/ /g; s/\\\\\*?\s*$/\n/; $_; } @_ },
434                  'returnaddress' =>
435                    sub {
436                      map { 
437                        s/~/ /g;
438                        s/\\\\\*?\s*$/\n/;             # dubious
439                        s/\\hyphenation\{[\w\s\-]+}//;
440                        $_;
441                      }  @_
442                    },
443                  'coupon'        => sub { "" },
444                  'summary'       => sub { "" },
445                },
446   );
447
448
449   # hashes for differing output formats
450   my %nbsps = ( 'latex'    => '~',
451                 'html'     => '',    # '&nbps;' would be nice
452                 'template' => '',    # not used
453               );
454   my $nbsp = $nbsps{$format};
455
456   my %escape_functions = ( 'latex'    => \&_latex_escape,
457                            'html'     => \&_html_escape_nbsp,#\&encode_entities,
458                            'template' => sub { shift },
459                          );
460   my $escape_function = $escape_functions{$format};
461   my $escape_function_nonbsp = ($format eq 'html')
462                                  ? \&_html_escape : $escape_function;
463
464   my %newline_tokens = (  'latex'     => '\\\\',
465                           'html'      => '<br>',
466                           'template'  => "\n",
467                         );
468   my $newline_token = $newline_tokens{$format};
469
470   warn "$me generating template variables\n"
471     if $DEBUG > 1;
472
473   # generate template variables
474   my $returnaddress;
475
476   if (
477          defined( $conf->config_orbase( "invoice_${format}returnaddress",
478                                         $template
479                                       )
480                 )
481        && length( $conf->config_orbase( "invoice_${format}returnaddress",
482                                         $template
483                                       )
484                 )
485   ) {
486
487     $returnaddress = join("\n",
488       $conf->config_orbase("invoice_${format}returnaddress", $template)
489     );
490
491   } elsif ( grep /\S/,
492             $conf->config_orbase('invoice_latexreturnaddress', $template) ) {
493
494     my $convert_map = $convert_maps{$format}{'returnaddress'};
495     $returnaddress =
496       join( "\n",
497             &$convert_map( $conf->config_orbase( "invoice_latexreturnaddress",
498                                                  $template
499                                                )
500                          )
501           );
502   } elsif ( grep /\S/, $conf->config('company_address', $cust_main->agentnum) ) {
503
504     my $convert_map = $convert_maps{$format}{'returnaddress'};
505     $returnaddress = join( "\n", &$convert_map(
506                                    map { s/( {2,})/'~' x length($1)/eg;
507                                          s/$/\\\\\*/;
508                                          $_
509                                        }
510                                      ( $conf->config('company_name', $cust_main->agentnum),
511                                        $conf->config('company_address', $cust_main->agentnum),
512                                      )
513                                  )
514                      );
515
516   } else {
517
518     my $warning = "Couldn't find a return address; ".
519                   "do you need to set the company_address configuration value?";
520     warn "$warning\n";
521     $returnaddress = $nbsp;
522     #$returnaddress = $warning;
523
524   }
525
526   warn "$me generating invoice data\n"
527     if $DEBUG > 1;
528
529   my $agentnum = $cust_main->agentnum;
530
531   my %invoice_data = (
532
533     #invoice from info
534     'company_name'    => scalar( $conf->config('company_name', $agentnum) ),
535     'company_address' => join("\n", $conf->config('company_address', $agentnum) ). "\n",
536     'company_phonenum'=> scalar( $conf->config('company_phonenum', $agentnum) ),
537     'returnaddress'   => $returnaddress,
538     'agent'           => &$escape_function($cust_main->agent->agent),
539
540     #invoice/quotation info
541     'no_number'       => $params{'no_number'},
542     'invnum'          => ( $params{'no_number'} ? '' : $self->invnum ),
543     'quotationnum'    => $self->quotationnum,
544     'no_date'         => $params{'no_date'},
545     '_date'           => ( $params{'no_date'} ? '' : $self->_date ),
546       # workaround for inconsistent behavior in the early plain text 
547       # templates; see RT#28271
548     'date'            => ( $params{'no_date'}
549                              ? ''
550                              : ($format eq 'template'
551                                ? $self->_date
552                                : $self->time2str_local('long', $self->_date, $format)
553                                )
554                          ),
555     'today'           => $self->time2str_local('long', $today, $format),
556     'terms'           => $self->terms,
557     'template'        => $template, #params{'template'},
558     'notice_name'     => $notice_name, # escape?
559     'current_charges' => sprintf("%.2f", $self->charged),
560     'duedate'         => $self->due_date2str('rdate'), #date_format?
561
562     #customer info
563     'custnum'         => $cust_main->display_custnum,
564     'prospectnum'     => $cust_main->prospectnum,
565     'agent_custid'    => &$escape_function($cust_main->agent_custid),
566     ( map { $_ => &$escape_function($cust_main->$_()) }
567         qw( company address1 address2 city state zip fax )
568     ),
569     'payname'         => &$escape_function( $cust_main->invoice_attn
570                                              || $cust_main->contact_firstlast ),
571
572     #global config
573     'ship_enable'     => $cust_main->invoice_ship_address || $conf->exists('invoice-ship_address'),
574     'unitprices'      => $conf->exists('invoice-unitprice'),
575     'smallernotes'    => $conf->exists('invoice-smallernotes'),
576     'smallerfooter'   => $conf->exists('invoice-smallerfooter'),
577     'balance_due_below_line' => $conf->exists('balance_due_below_line'),
578    
579     #layout info -- would be fancy to calc some of this and bury the template
580     #               here in the code
581     'topmargin'             => scalar($conf->config('invoice_latextopmargin', $agentnum)),
582     'headsep'               => scalar($conf->config('invoice_latexheadsep', $agentnum)),
583     'textheight'            => scalar($conf->config('invoice_latextextheight', $agentnum)),
584     'extracouponspace'      => scalar($conf->config('invoice_latexextracouponspace', $agentnum)),
585     'couponfootsep'         => scalar($conf->config('invoice_latexcouponfootsep', $agentnum)),
586     'verticalreturnaddress' => $conf->exists('invoice_latexverticalreturnaddress', $agentnum),
587     'addresssep'            => scalar($conf->config('invoice_latexaddresssep', $agentnum)),
588     'amountenclosedsep'     => scalar($conf->config('invoice_latexcouponamountenclosedsep', $agentnum)),
589     'coupontoaddresssep'    => scalar($conf->config('invoice_latexcoupontoaddresssep', $agentnum)),
590     'addcompanytoaddress'   => $conf->exists('invoice_latexcouponaddcompanytoaddress', $agentnum),
591
592     # better hang on to conf_dir for a while (for old templates)
593     'conf_dir'        => "$FS::UID::conf_dir/conf.$FS::UID::datasrc",
594
595     #these are only used when doing paged plaintext
596     'page'            => 1,
597     'total_pages'     => 1,
598
599   );
600  
601   #localization
602   $invoice_data{'emt'} = sub { &$escape_function($self->mt(@_)) };
603   # prototype here to silence warnings
604   $invoice_data{'time2str'} = sub ($;$$) { $self->time2str_local(@_, $format) };
605
606   my $min_sdate = 999999999999;
607   my $max_edate = 0;
608   foreach my $cust_bill_pkg ( $self->cust_bill_pkg ) {
609     next unless $cust_bill_pkg->pkgnum > 0;
610     $min_sdate = $cust_bill_pkg->sdate
611       if length($cust_bill_pkg->sdate) && $cust_bill_pkg->sdate < $min_sdate;
612     $max_edate = $cust_bill_pkg->edate
613       if length($cust_bill_pkg->edate) && $cust_bill_pkg->edate > $max_edate;
614   }
615
616   $invoice_data{'bill_period'} = '';
617   $invoice_data{'bill_period'} =
618       $self->time2str_local('%e %h', $min_sdate, $format) 
619       . " to " .
620       $self->time2str_local('%e %h', $max_edate, $format)
621     if ($max_edate != 0 && $min_sdate != 999999999999);
622
623   $invoice_data{finance_section} = '';
624   if ( $conf->config('finance_pkgclass') ) {
625     my $pkg_class =
626       qsearchs('pkg_class', { classnum => $conf->config('finance_pkgclass') });
627     $invoice_data{finance_section} = $pkg_class->categoryname;
628   } 
629   $invoice_data{finance_amount} = '0.00';
630   $invoice_data{finance_section} ||= 'Finance Charges'; #avoid config confusion
631
632   my $countrydefault = $conf->config('countrydefault') || 'US';
633   foreach ( qw( address1 address2 city state zip country fax) ){
634     my $method = 'ship_'.$_;
635     $invoice_data{"ship_$_"} = $escape_function->($cust_main->$method);
636   }
637   if ( length($cust_main->ship_company) ) {
638     $invoice_data{'ship_company'} = $escape_function->($cust_main->ship_company);
639   } else {
640     $invoice_data{'ship_company'} = $escape_function->($cust_main->company);
641   }
642   $invoice_data{'ship_contact'} = $escape_function->($cust_main->contact);
643   $invoice_data{'ship_country'} = ''
644     if ( $invoice_data{'ship_country'} eq $countrydefault );
645   
646   $invoice_data{'cid'} = $params{'cid'}
647     if $params{'cid'};
648
649   if ( $cust_main->country eq $countrydefault ) {
650     $invoice_data{'country'} = '';
651   } else {
652     $invoice_data{'country'} = &$escape_function($cust_main->bill_country_full);
653   }
654
655   my @address = ();
656   $invoice_data{'address'} = \@address;
657   push @address,
658     $invoice_data{'payname'}.
659       ( $cust_main->po_number
660           ? " (P.O. #". $cust_main->po_number. ")"
661           : ''
662       )
663   ;
664   push @address, $cust_main->company
665     if $cust_main->company;
666   push @address, $cust_main->address1;
667   push @address, $cust_main->address2
668     if $cust_main->address2;
669   push @address,
670     $cust_main->city. ", ". $cust_main->state. "  ".  $cust_main->zip;
671   push @address, $invoice_data{'country'}
672     if $invoice_data{'country'};
673   push @address, ''
674     while (scalar(@address) < 5);
675
676   $invoice_data{'logo_file'} = $params{'logo_file'}
677     if $params{'logo_file'};
678   $invoice_data{'barcode_file'} = $params{'barcode_file'}
679     if $params{'barcode_file'};
680   $invoice_data{'barcode_img'} = $params{'barcode_img'}
681     if $params{'barcode_img'};
682   $invoice_data{'barcode_cid'} = $params{'barcode_cid'}
683     if $params{'barcode_cid'};
684
685   my( $pr_total, @pr_cust_bill ) = $self->previous; #previous balance
686 #  my( $cr_total, @cr_cust_credit ) = $self->cust_credit; #credits
687   #my $balance_due = $self->owed + $pr_total - $cr_total;
688   my $balance_due = $self->owed;
689   if ( $self->enable_previous ) {
690     $balance_due += $pr_total;
691   }
692   # otherwise the previous balance is not shown, so including it in the
693   # balance due is just confusing
694
695   # the sum of amount owed on all invoices
696   # (this is used in the summary & on the payment coupon)
697   $invoice_data{'balance'} = sprintf("%.2f", $balance_due);
698
699   # flag telling this invoice to have a first-page summary
700   my $summarypage = '';
701
702   if ( $self->custnum && $self->invnum ) {
703     # XXX should be an FS::cust_bill method to set the defaults, instead
704     # of checking the type here
705
706     # info from customer's last invoice before this one, for some 
707     # summary formats
708     $invoice_data{'last_bill'} = {};
709  
710     my $last_bill = $self->previous_bill;
711     if ( $last_bill ) {
712
713       # "balance_date_range" unfortunately is unsuitable for this, since it
714       # cares about application dates.  We want to know the sum of all 
715       # _top-level transactions_ dated before the last invoice.
716       #
717       # still do this for the "Previous Balance" line of the summary block
718       my @sql =
719         map "$_ WHERE _date <= ? AND custnum = ?", (
720           "SELECT      COALESCE( SUM(charged), 0 ) FROM cust_bill",
721           "SELECT -1 * COALESCE( SUM(amount),  0 ) FROM cust_credit",
722           "SELECT -1 * COALESCE( SUM(paid),    0 ) FROM cust_pay",
723           "SELECT      COALESCE( SUM(refund),  0 ) FROM cust_refund",
724         );
725
726       # the customer's current balance immediately after generating the last 
727       # bill
728
729       my $last_bill_balance = $last_bill->charged;
730       foreach (@sql) {
731         my $delta = FS::Record->scalar_sql(
732           $_,
733           $last_bill->_date - 1,
734           $self->custnum,
735         );
736         $last_bill_balance += $delta;
737       }
738
739       $last_bill_balance = sprintf("%.2f", $last_bill_balance);
740
741       warn sprintf("LAST BILL: INVNUM %d, DATE %s, BALANCE %.2f\n\n",
742         $last_bill->invnum,
743         $self->time2str_local('%D', $last_bill->_date),
744         $last_bill_balance
745       ) if $DEBUG > 0;
746       # ("true_previous_balance" is a terrible name, but at least it's no
747       # longer stored in the database)
748       $invoice_data{'true_previous_balance'} = $last_bill_balance;
749
750       # Now, get all applications of credits/payments dated on or after the
751       # previous bill, to invoices before the current bill. (The
752       # credit/payment date restriction prevents these from intersecting
753       # the "Previous Balance" set.)
754       # These are "adjustments". The past due balance will be shown as
755       # Previous Balance - Adjustments.
756       my $adjustments = 0;
757       @sql = map {
758         "SELECT COALESCE(SUM(y.amount),0) FROM $_ JOIN cust_bill USING (invnum)
759          WHERE cust_bill._date < ?
760            AND x._date >= ?
761            AND cust_bill.custnum = ?"
762         } "cust_credit AS x JOIN cust_credit_bill y USING (crednum)",
763           "cust_pay    AS x JOIN cust_bill_pay    y USING (paynum)"
764       ;
765       foreach (@sql) {
766         my $delta = FS::Record->scalar_sql(
767           $_,
768           $self->_date,
769           $last_bill->_date,
770           $self->custnum,
771         );
772         $adjustments += $delta;
773       }
774       $invoice_data{'balance_adjustments'} = sprintf("%.2f", $adjustments);
775
776       warn sprintf("BALANCE ADJUSTMENTS: %.2f\n\n",
777                    $invoice_data{'balance_adjustments'}
778       ) if $DEBUG > 0;
779
780       # the sum of amount owed on all previous invoices
781       # ($pr_total is used elsewhere but not as $previous_balance)
782       $invoice_data{'previous_balance'} = sprintf("%.2f", $pr_total);
783
784       $invoice_data{'last_bill'}{'_date'} = $last_bill->_date; #unformatted
785       my (@payments, @credits);
786       # for formats that itemize previous payments
787       foreach my $cust_pay ( qsearch('cust_pay', {
788                               'custnum' => $self->custnum,
789                               '_date'   => { op => '>=',
790                                              value => $last_bill->_date }
791                              } ) )
792       {
793         next if $cust_pay->_date > $self->_date;
794         push @payments, {
795             '_date'       => $cust_pay->_date,
796             'date'        => $self->time2str_local('long', $cust_pay->_date, $format),
797             'payinfo'     => $cust_pay->payby_payinfo_pretty,
798             'amount'      => sprintf('%.2f', $cust_pay->paid),
799         };
800         # not concerned about applications
801       }
802       foreach my $cust_credit ( qsearch('cust_credit', {
803                               'custnum' => $self->custnum,
804                               '_date'   => { op => '>=',
805                                              value => $last_bill->_date }
806                              } ) )
807       {
808         next if $cust_credit->_date > $self->_date;
809         push @credits, {
810             '_date'       => $cust_credit->_date,
811             'date'        => $self->time2str_local('long', $cust_credit->_date, $format),
812             'creditreason'=> $cust_credit->reason,
813             'amount'      => sprintf('%.2f', $cust_credit->amount),
814         };
815       }
816       $invoice_data{'previous_payments'} = \@payments;
817       $invoice_data{'previous_credits'}  = \@credits;
818     } else {
819       # there is no $last_bill
820       $invoice_data{'true_previous_balance'} =
821       $invoice_data{'balance_adjustments'}   =
822       $invoice_data{'previous_balance'}      = '0.00';
823       $invoice_data{'previous_payments'} = [];
824       $invoice_data{'previous_credits'} = [];
825     }
826  
827     if ( $conf->exists('invoice_usesummary', $agentnum) ) {
828       $invoice_data{'summarypage'} = $summarypage = 1;
829     }
830
831   } # if this is an invoice
832
833   warn "$me substituting variables in notes, footer, smallfooter\n"
834     if $DEBUG > 1;
835
836   my $tc = $self->template_conf;
837   my @include = ( [ $tc,        'notes' ],
838                   [ 'invoice_', 'footer' ],
839                   [ 'invoice_', 'smallfooter', ],
840                   [ 'invoice_', 'watermark' ],
841                 );
842   push @include, [ $tc,        'coupon', ]
843     unless $params{'no_coupon'};
844
845   foreach my $i (@include) {
846
847     # load the configuration for this sub-template
848
849     my($base, $include) = @$i;
850
851     my $inc_file = $conf->key_orbase("$base$format$include", $template);
852
853     my @inc_src = $conf->config($inc_file, $agentnum);
854     if (!@inc_src) {
855       my $converter = $convert_maps{$format}{$include};
856       if ( $converter ) {
857         # then attempt to convert LaTeX to the requested format
858         $inc_file = $conf->key_orbase($base.'latex'.$include, $template);
859         @inc_src = &$converter( $conf->config($inc_file, $agentnum) );
860         foreach (@inc_src) {
861           # this isn't included in the convert_maps
862           my ($open, $close) = @{ $delimiters{$format} };
863           s/\[\@--/$open/g;
864           s/--\@\]/$close/g;
865         }
866       }
867     } # else @inc_src is empty and that's fine
868
869     # make a Text::Template out of it
870
871     my $inc_tt = new Text::Template (
872       TYPE       => 'ARRAY',
873       SOURCE     => [ map "$_\n", @inc_src ],
874       DELIMITERS => $delimiters{$format},
875     ) or die "Can't create new Text::Template object: $Text::Template::ERROR";
876
877     unless ( $inc_tt->compile() ) {
878       my $error = "Can't compile $inc_file template: $Text::Template::ERROR\n";
879       warn $error. "Template:\n". join('', map "$_\n", @inc_src);
880       die $error;
881     }
882
883     # fill in variables
884
885     $invoice_data{$include} = $inc_tt->fill_in( HASH => \%invoice_data );
886
887     $invoice_data{$include} =~ s/\n+$//
888       if ($format eq 'latex');
889   }
890
891 # if (well, probably when) we still need PO numbers in the brave new world of
892 # 4.x, then we'll have to add them back as their own customer fields
893 #  # let invoices use either of these as needed
894 #  $invoice_data{'po_num'} = ($cust_main->payby eq 'BILL') 
895 #    ? $cust_main->payinfo : '';
896 #  $invoice_data{'po_line'} = 
897 #    (  $cust_main->payby eq 'BILL' && $cust_main->payinfo )
898 #      ? &$escape_function($self->mt("Purchase Order #").$cust_main->payinfo)
899 #      : $nbsp;
900
901   my %money_chars = ( 'latex'    => '',
902                       'html'     => $conf->config('money_char') || '$',
903                       'template' => '',
904                     );
905   my $money_char = $money_chars{$format};
906
907   # extremely dubious
908   my %other_money_chars = ( 'latex'    => '\dollar ',#XXX should be a config too
909                             'html'     => $conf->config('money_char') || '$',
910                             'template' => '',
911                           );
912   my $other_money_char = $other_money_chars{$format};
913   $invoice_data{'dollar'} = $other_money_char;
914
915   my %minus_signs = ( 'latex'    => '$-$',
916                       'html'     => '&minus;',
917                       'template' => '- ' );
918   my $minus = $minus_signs{$format};
919
920   my @detail_items = ();
921   my @total_items = ();
922   my @buf = ();
923   my @sections = ();
924
925   $invoice_data{'detail_items'} = \@detail_items;
926   $invoice_data{'total_items'} = \@total_items;
927   $invoice_data{'buf'} = \@buf;
928   $invoice_data{'sections'} = \@sections;
929
930   warn "$me generating sections\n"
931     if $DEBUG > 1;
932
933   my $unsquelched = $params{unsquelch_cdr} || $cust_main->squelch_cdr ne 'Y';
934   my $multisection = $self->has_sections;
935   $conf->exists($tc.'sections', $cust_main->agentnum) ||
936                      $conf->exists($tc.'sections_by_location', $cust_main->agentnum);
937   $invoice_data{'multisection'} = $multisection;
938   my $late_sections;
939   my $extra_sections = [];
940   my $extra_lines = ();
941
942   # default section ('Charges')
943   my $default_section = { 'description' => '',
944                           'subtotal'    => '', 
945                           'no_subtotal' => 1,
946                         };
947
948   # Previous Charges section
949   # subtotal is the first return value from $self->previous
950   my $previous_section;
951   # if the invoice has major sections, or if we're summarizing previous 
952   # charges with a single line, or if we've been specifically told to put them
953   # in a section, create a section for previous charges:
954   if ( $multisection or
955        $conf->exists('previous_balance-summary_only') or
956        $conf->exists('previous_balance-section') ) {
957     
958     $previous_section =  { 'description' => $self->mt('Previous Charges'),
959                            'subtotal'    => $other_money_char.
960                                             sprintf('%.2f', $pr_total),
961                            'summarized'  => '', #why? $summarypage ? 'Y' : '',
962                          };
963     $previous_section->{posttotal} = '0 / 30 / 60 / 90 days overdue '. 
964       join(' / ', map { $cust_main->balance_date_range(@$_) }
965                   $self->_prior_month30s
966           )
967       if $conf->exists('invoice_include_aging');
968
969   } else {
970     # otherwise put them in the main section
971     $previous_section = $default_section;
972   }
973
974   my $adjust_section = {
975     'description'    => $self->mt('Credits, Payments, and Adjustments'),
976     'adjust_section' => 1,
977     'subtotal'       => 0,   # adjusted below
978   };
979   my $adjust_weight = _pkg_category($adjust_section->{description})
980                         ? _pkg_category($adjust_section->{description})->weight
981                         : 0;
982   $adjust_section->{'summarized'} = ''; #why? $summarypage && !$adjust_weight ? 'Y' : '';
983   # Note: 'sort_weight' here is actually a flag telling whether there is an
984   # explicit package category for the adjust section. If so, certain behavior
985   # happens.
986   $adjust_section->{'sort_weight'} = $adjust_weight;
987
988
989   if ( $multisection ) {
990     ($extra_sections, $extra_lines) =
991       $self->_items_extra_usage_sections($escape_function_nonbsp, $format)
992       if $conf->exists('usage_class_as_a_section', $cust_main->agentnum)
993       && $self->can('_items_extra_usage_sections');
994
995     push @$extra_sections, $adjust_section if $adjust_section->{sort_weight};
996
997     push @detail_items, @$extra_lines if $extra_lines;
998
999     # the code is written so that both methods can be used together, but
1000     # we haven't yet changed the template to take advantage of that, so for 
1001     # now, treat them as mutually exclusive.
1002     my %section_method = ( by_category => 1 );
1003     if ( $conf->config($tc.'sections_method') eq 'location' ) {
1004       %section_method = ( by_location => 1 );
1005     }
1006     my ($early, $late) =
1007       $self->_items_sections( 'summary' => $summarypage,
1008                               'escape'  => $escape_function_nonbsp,
1009                               'extra_sections' => $extra_sections,
1010                               'format'  => $format,
1011                               %section_method
1012                             );
1013     push @sections, @$early;
1014     $late_sections = $late;
1015
1016     if (    $conf->exists('svc_phone_sections')
1017          && $self->can('_items_svc_phone_sections')
1018        )
1019     {
1020       my ($phone_sections, $phone_lines) =
1021         $self->_items_svc_phone_sections($escape_function_nonbsp, $format);
1022       push @{$late_sections}, @$phone_sections;
1023       push @detail_items, @$phone_lines;
1024     }
1025     if ( $conf->exists('voip-cust_accountcode_cdr')
1026          && $cust_main->accountcode_cdr
1027          && $self->can('_items_accountcode_cdr')
1028        )
1029     {
1030       my ($accountcode_section, $accountcode_lines) =
1031         $self->_items_accountcode_cdr($escape_function_nonbsp,$format);
1032       if ( scalar(@$accountcode_lines) ) {
1033           push @{$late_sections}, $accountcode_section;
1034           push @detail_items, @$accountcode_lines;
1035       }
1036     }
1037   } else {# not multisection
1038     # make a default section
1039     push @sections, $default_section;
1040     # and calculate the finance charge total, since it won't get done otherwise.
1041     # and the default section total
1042     # XXX possibly finance_pkgclass should not be used in this manner?
1043     my @finance_charges;
1044     my @charges;
1045     foreach my $cust_bill_pkg ( $self->cust_bill_pkg ) {
1046       if ( $invoice_data{finance_section} and 
1047         grep { $_->section eq $invoice_data{finance_section} }
1048            $cust_bill_pkg->cust_bill_pkg_display ) {
1049         # I think these are always setup fees, but just to be sure...
1050         push @finance_charges, $cust_bill_pkg->recur + $cust_bill_pkg->setup;
1051       } else {
1052         push @charges, $cust_bill_pkg->recur + $cust_bill_pkg->setup;
1053       }
1054     }
1055     $invoice_data{finance_amount} = 
1056       sprintf('%.2f', sum( @finance_charges ) || 0);
1057     $default_section->{subtotal} = $other_money_char.
1058                                     sprintf('%.2f', sum( @charges ) || 0);
1059   }
1060
1061   # start setting up summary subtotals
1062   my @summary_subtotals;
1063   my $method = $conf->config('summary_subtotals_method');
1064   if ( $method and $method ne $conf->config($tc.'sections_method') ) {
1065     # then re-section them by the correct method
1066     my %section_method = ( by_category => 1 );
1067     if ( $conf->config('summary_subtotals_method') eq 'location' ) {
1068       %section_method = ( by_location => 1 );
1069     }
1070     my ($early, $late) =
1071       $self->_items_sections( 'summary' => $summarypage,
1072                               'escape'  => $escape_function_nonbsp,
1073                               'extra_sections' => $extra_sections,
1074                               'format'  => $format,
1075                               %section_method
1076                             );
1077     foreach ( @$early ) {
1078       next if $_->{subtotal} == 0;
1079       $_->{subtotal} = $other_money_char.sprintf('%.2f', $_->{subtotal});
1080       push @summary_subtotals, $_;
1081     }
1082   } else {
1083     # subtotal sectioning is the same as for the actual invoice sections
1084     @summary_subtotals = @sections;
1085   }
1086
1087   # Hereafter, push sections to both @sections and @summary_subtotals
1088   # if they belong in both places (e.g. tax section).  Late sections are
1089   # never in @summary_subtotals.
1090
1091   # previous invoice balances in the Previous Charges section if there
1092   # is one, otherwise in the main detail section
1093   # (except if summary_only is enabled, don't show them at all)
1094   if ( $self->can('_items_previous') &&
1095        $self->enable_previous &&
1096        ! $conf->exists('previous_balance-summary_only') ) {
1097
1098     warn "$me adding previous balances\n"
1099       if $DEBUG > 1;
1100
1101     foreach my $line_item ( $self->_items_previous ) {
1102
1103       my $detail = {
1104         ref             => $line_item->{'pkgnum'},
1105         pkgpart         => $line_item->{'pkgpart'},
1106         #quantity        => 1, # not really correct
1107         section         => $previous_section, # which might be $default_section
1108         description     => &$escape_function($line_item->{'description'}),
1109         ext_description => [ map { &$escape_function($_) } 
1110                              @{ $line_item->{'ext_description'} || [] }
1111                            ],
1112         amount          => $money_char . $line_item->{'amount'},
1113         product_code    => $line_item->{'pkgpart'} || 'N/A',
1114       };
1115
1116       push @detail_items, $detail;
1117       push @buf, [ $detail->{'description'},
1118                    $money_char. sprintf("%10.2f", $line_item->{'amount'}),
1119                  ];
1120     }
1121
1122   }
1123
1124   if ( @pr_cust_bill && $self->enable_previous ) {
1125     push @buf, ['','-----------'];
1126     push @buf, [ $self->mt('Total Previous Balance'),
1127                  $money_char. sprintf("%10.2f", $pr_total) ];
1128     push @buf, ['',''];
1129   }
1130  
1131   if ( $conf->exists('svc_phone-did-summary') && $self->can('_did_summary') ) {
1132       warn "$me adding DID summary\n"
1133         if $DEBUG > 1;
1134
1135       my ($didsummary,$minutes) = $self->_did_summary;
1136       my $didsummary_desc = 'DID Activity Summary (since last invoice)';
1137       push @detail_items, 
1138        { 'description' => $didsummary_desc,
1139            'ext_description' => [ $didsummary, $minutes ],
1140        };
1141   }
1142
1143   foreach my $section (@sections, @$late_sections) {
1144
1145     # begin some normalization
1146     $section->{'subtotal'} = $section->{'amount'}
1147       if $multisection
1148          && !exists($section->{subtotal})
1149          && exists($section->{amount});
1150
1151     $invoice_data{finance_amount} = sprintf('%.2f', $section->{'subtotal'} )
1152       if ( $invoice_data{finance_section} &&
1153            $section->{'description'} eq $invoice_data{finance_section} );
1154
1155     $section->{'subtotal'} = $other_money_char.
1156                              sprintf('%.2f', $section->{'subtotal'})
1157       if $multisection;
1158
1159     # continue some normalization
1160     $section->{'amount'}   = $section->{'subtotal'}
1161       if $multisection;
1162
1163
1164     if ( $section->{'description'} ) {
1165       push @buf, ( [ &$escape_function($section->{'description'}), '' ],
1166                    [ '', '' ],
1167                  );
1168     }
1169
1170     warn "$me   setting options\n"
1171       if $DEBUG > 1;
1172
1173     my %options = ();
1174     $options{'section'} = $section if $multisection;
1175     $options{'format'} = $format;
1176     $options{'escape_function'} = $escape_function;
1177     $options{'no_usage'} = 1 unless $unsquelched;
1178     $options{'unsquelched'} = $unsquelched;
1179     $options{'summary_page'} = $summarypage;
1180     $options{'skip_usage'} =
1181       scalar(@$extra_sections) && !grep{$section == $_} @$extra_sections;
1182     $options{'preref_callback'} = $params{'preref_callback'};
1183
1184     warn "$me   searching for line items\n"
1185       if $DEBUG > 1;
1186
1187     foreach my $line_item ( $self->_items_pkg(%options),
1188                             $self->_items_fee(%options) ) {
1189
1190       warn "$me     adding line item ".
1191            join(', ', map "$_=>".$line_item->{$_}, keys %$line_item). "\n"
1192         if $DEBUG > 1;
1193
1194       push @buf, ( [ $line_item->{'description'},
1195                      $money_char. sprintf("%10.2f", $line_item->{'amount'}),
1196                    ],
1197                    map { [ " ". $_, '' ] } @{$line_item->{'ext_description'}},
1198                  );
1199
1200       $line_item->{'ref'} = $line_item->{'pkgnum'};
1201       $line_item->{'product_code'} = $line_item->{'pkgpart'} || 'N/A'; # mt()?
1202       $line_item->{'section'} = $section;
1203       $line_item->{'description'} = &$escape_function($line_item->{'description'});
1204       $line_item->{'amount'} = $money_char.$line_item->{'amount'};
1205
1206       if ( length($line_item->{'unit_amount'}) ) {
1207         $line_item->{'unit_amount'} = $money_char.$line_item->{'unit_amount'};
1208       }
1209       $line_item->{'ext_description'} ||= [];
1210  
1211       push @detail_items, $line_item;
1212     }
1213
1214     if ( $section->{'description'} ) {
1215       push @buf, ( ['','-----------'],
1216                    [ $section->{'description'}. ' sub-total',
1217                       $section->{'subtotal'} # already formatted this 
1218                    ],
1219                    [ '', '' ],
1220                    [ '', '' ],
1221                  );
1222     }
1223   
1224   }
1225
1226   $invoice_data{current_less_finance} =
1227     sprintf('%.2f', $self->charged - $invoice_data{finance_amount} );
1228
1229   # if there's anything in the Previous Charges section, prepend it to the list
1230   if ( $pr_total and $previous_section ne $default_section ) {
1231     unshift @sections, $previous_section;
1232     # but not @summary_subtotals
1233   }
1234
1235   warn "$me adding taxes\n"
1236     if $DEBUG > 1;
1237
1238   # create a tax section if we don't yet have one
1239   my $tax_description = 'Taxes, Surcharges, and Fees';
1240   my $tax_section =
1241     List::Util::first { $_->{description} eq $tax_description } @sections;
1242   if (!$tax_section) {
1243     $tax_section = { 'description' => $tax_description };
1244   }
1245   $tax_section->{tax_section} = 1; # mark this section as containing taxes
1246   # if this is an existing tax section, we're merging the tax items into it.
1247   # grab the taxtotal that's already there, strip the money symbol if any
1248   my $taxtotal = $tax_section->{'subtotal'} || 0;
1249   $taxtotal =~ s/^\Q$other_money_char\E//;
1250
1251   # this does nothing
1252   #my $tax_weight = _pkg_category($tax_section->{description})
1253   #                      ? _pkg_category($tax_section->{description})->weight
1254   #                      : 0;
1255   #$tax_section->{'summarized'} = ''; #why? $summarypage && !$tax_weight ? 'Y' : '';
1256   #$tax_section->{'sort_weight'} = $tax_weight;
1257
1258   my @items_tax = $self->_items_tax;
1259   push @sections, $tax_section if $multisection and @items_tax > 0;
1260
1261   foreach my $tax ( @items_tax ) {
1262
1263     $taxtotal += $tax->{'amount'};
1264
1265     my $description = &$escape_function( $tax->{'description'} );
1266     my $amount      = sprintf( '%.2f', $tax->{'amount'} );
1267
1268     if ( $multisection ) {
1269
1270       push @detail_items, {
1271         ext_description => [],
1272         ref          => '',
1273         quantity     => '',
1274         description  => $description,
1275         amount       => $money_char. $amount,
1276         product_code => '',
1277         section      => $tax_section,
1278       };
1279
1280     } else {
1281
1282       push @total_items, {
1283         'total_item'   => $description,
1284         'total_amount' => $other_money_char. $amount,
1285       };
1286
1287     }
1288
1289     push @buf,[ $description,
1290                 $money_char. $amount,
1291               ];
1292
1293   }
1294  
1295   if ( @items_tax ) {
1296     my $total = {};
1297     $total->{'total_item'} = $self->mt('Sub-total');
1298     $total->{'total_amount'} =
1299       $other_money_char. sprintf('%.2f', $self->charged - $taxtotal );
1300
1301     if ( $multisection ) {
1302       if ( $taxtotal > 0 ) {
1303         # there are taxes, so prepare the section to be displayed.
1304         # $taxtotal already includes any line items that were already in the
1305         # section (fees, taxes that are charged as packages for some reason).
1306         # also set 'summarized' to false so that this isn't a summary-only
1307         # section.
1308         $tax_section->{'subtotal'} = $other_money_char.
1309                                      sprintf('%.2f', $taxtotal);
1310         $tax_section->{'pretotal'} = 'New charges sub-total '.
1311                                      $total->{'total_amount'};
1312         $tax_section->{'description'} = $self->mt($tax_description);
1313         $tax_section->{'summarized'} = '';
1314
1315         # append it if it's not already there
1316         if ( !grep $tax_section, @sections ) {
1317           push @sections, $tax_section;
1318           push @summary_subtotals, $tax_section;
1319         }
1320       }
1321
1322     } else {
1323       unshift @total_items, $total;
1324     }
1325   }
1326   $invoice_data{'taxtotal'} = sprintf('%.2f', $taxtotal);
1327
1328   ###
1329   # Totals
1330   ###
1331
1332   my %embolden_functions = (
1333     'latex'    => sub { return '\textbf{'. shift(). '}' },
1334     'html'     => sub { return '<b>'. shift(). '</b>' },
1335     'template' => sub { shift },
1336   );
1337   my $embolden_function = $embolden_functions{$format};
1338
1339   if ( $multisection ) {
1340
1341     if ( $adjust_section->{'sort_weight'} ) {
1342       $adjust_section->{'posttotal'} = $self->mt('Balance Forward').' '.
1343         $other_money_char.  sprintf("%.2f", ($self->billing_balance || 0) );
1344     } else{
1345       $adjust_section->{'pretotal'} = $self->mt('New charges total').' '.
1346         $other_money_char.  sprintf('%.2f', $self->charged );
1347     }
1348
1349   }
1350   
1351   if ( $self->can('_items_total') ) { # should always be true now
1352
1353     # even for multisection, need plain text version
1354
1355     my @new_total_items = $self->_items_total;
1356
1357     push @buf,['','-----------'];
1358
1359     foreach ( @new_total_items ) {
1360       my ($item, $amount) = ($_->{'total_item'}, $_->{'total_amount'});
1361       $_->{'total_item'}   = &$embolden_function( $item );
1362       $_->{'total_amount'} = &$embolden_function( $other_money_char.$amount );
1363       # but if it's multisection, don't append to @total_items. the adjust
1364       # section has all this stuff
1365       push @total_items, $_ if !$multisection;
1366       push @buf, [ $item, $money_char.sprintf('%10.2f',$amount) ];
1367     }
1368
1369     push @buf, [ '', '' ];
1370
1371     # if we're showing previous invoices, also show previous
1372     # credits and payments 
1373     if ( $self->enable_previous 
1374           and $self->can('_items_credits')
1375           and $self->can('_items_payments') )
1376       {
1377     
1378       # credits
1379       my $credittotal = 0;
1380       foreach my $credit (
1381         $self->_items_credits( 'template' => $template, 'trim_len' => 40 )
1382       ) {
1383
1384         my $total;
1385         $total->{'total_item'} = &$escape_function($credit->{'description'});
1386         $credittotal += $credit->{'amount'};
1387         $total->{'total_amount'} = $minus.$other_money_char.$credit->{'amount'};
1388         if ( $multisection ) {
1389           push @detail_items, {
1390             ext_description => [],
1391             ref          => '',
1392             quantity     => '',
1393             description  => &$escape_function($credit->{'description'}),
1394             amount       => $money_char . $credit->{'amount'},
1395             product_code => '',
1396             section      => $adjust_section,
1397           };
1398         } else {
1399           push @total_items, $total;
1400         }
1401
1402       }
1403       $invoice_data{'credittotal'} = sprintf('%.2f', $credittotal);
1404
1405       #credits (again)
1406       foreach my $credit (
1407         $self->_items_credits( 'template' => $template, 'trim_len'=>32 )
1408       ) {
1409         push @buf, [ $credit->{'description'}, $money_char.$credit->{'amount'} ];
1410       }
1411
1412       # payments
1413       my $paymenttotal = 0;
1414       foreach my $payment (
1415         $self->_items_payments( 'template' => $template )
1416       ) {
1417         my $total = {};
1418         $total->{'total_item'} = &$escape_function($payment->{'description'});
1419         $paymenttotal += $payment->{'amount'};
1420         $total->{'total_amount'} = $minus.$other_money_char.$payment->{'amount'};
1421         if ( $multisection ) {
1422           push @detail_items, {
1423             ext_description => [],
1424             ref          => '',
1425             quantity     => '',
1426             description  => &$escape_function($payment->{'description'}),
1427             amount       => $money_char . $payment->{'amount'},
1428             product_code => '',
1429             section      => $adjust_section,
1430           };
1431         }else{
1432           push @total_items, $total;
1433         }
1434         push @buf, [ $payment->{'description'},
1435                      $money_char. sprintf("%10.2f", $payment->{'amount'}),
1436                    ];
1437       }
1438       $invoice_data{'paymenttotal'} = sprintf('%.2f', $paymenttotal);
1439     
1440       if ( $multisection ) {
1441         $adjust_section->{'subtotal'} = $other_money_char.
1442                                         sprintf('%.2f', $credittotal + $paymenttotal);
1443
1444         #why this? because {sort_weight} forces the adjust_section to appear
1445         #in @extra_sections instead of @sections. obviously.
1446         push @sections, $adjust_section
1447           unless $adjust_section->{sort_weight};
1448         # do not summarize; adjustments there are shown according to 
1449         # different rules
1450       }
1451
1452       # create Balance Due message
1453       { 
1454         my $total;
1455         $total->{'total_item'} = &$embolden_function($self->balance_due_msg);
1456         $total->{'total_amount'} =
1457           &$embolden_function(
1458             $other_money_char. sprintf('%.2f', #why? $summarypage 
1459                                                #  ? $self->charged +
1460                                                #    $self->billing_balance
1461                                                #  :
1462                                                    $self->owed + $pr_total
1463                                       )
1464           );
1465         if ( $multisection && !$adjust_section->{sort_weight} ) {
1466           $adjust_section->{'posttotal'} = $total->{'total_item'}. ' '.
1467                                            $total->{'total_amount'};
1468         } else {
1469           push @total_items, $total;
1470         }
1471         push @buf,['','-----------'];
1472         push @buf,[$self->balance_due_msg, $money_char. 
1473           sprintf("%10.2f", $balance_due ) ];
1474       }
1475
1476       if ( $conf->exists('previous_balance-show_credit')
1477           and $cust_main->balance < 0 ) {
1478         my $credit_total = {
1479           'total_item'    => &$embolden_function($self->credit_balance_msg),
1480           'total_amount'  => &$embolden_function(
1481             $other_money_char. sprintf('%.2f', -$cust_main->balance)
1482           ),
1483         };
1484         if ( $multisection ) {
1485           $adjust_section->{'posttotal'} .= $newline_token .
1486             $credit_total->{'total_item'} . ' ' . $credit_total->{'total_amount'};
1487         }
1488         else {
1489           push @total_items, $credit_total;
1490         }
1491         push @buf,['','-----------'];
1492         push @buf,[$self->credit_balance_msg, $money_char. 
1493           sprintf("%10.2f", -$cust_main->balance ) ];
1494       }
1495     }
1496
1497   } #end of default total adding ! can('_items_total')
1498
1499   if ( $multisection ) {
1500     if (    $conf->exists('svc_phone_sections')
1501          && $self->can('_items_svc_phone_sections')
1502        )
1503     {
1504       my $total;
1505       $total->{'total_item'} = &$embolden_function($self->balance_due_msg);
1506       $total->{'total_amount'} =
1507         &$embolden_function(
1508           $other_money_char. sprintf('%.2f', $self->owed + $pr_total)
1509         );
1510       my $last_section = pop @sections;
1511       $last_section->{'posttotal'} = $total->{'total_item'}. ' '.
1512                                      $total->{'total_amount'};
1513       push @sections, $last_section;
1514     }
1515     push @sections, @$late_sections
1516       if $unsquelched;
1517   }
1518
1519   # make a discounts-available section, even without multisection
1520   if ( $conf->exists('discount-show_available') 
1521        and my @discounts_avail = $self->_items_discounts_avail ) {
1522     my $discount_section = {
1523       'description' => $self->mt('Discounts Available'),
1524       'subtotal'    => '',
1525       'no_subtotal' => 1,
1526     };
1527
1528     push @sections, $discount_section; # do not summarize
1529     push @detail_items, map { +{
1530         'ref'         => '', #should this be something else?
1531         'section'     => $discount_section,
1532         'description' => &$escape_function( $_->{description} ),
1533         'amount'      => $money_char . &$escape_function( $_->{amount} ),
1534         'ext_description' => [ &$escape_function($_->{ext_description}) || () ],
1535     } } @discounts_avail;
1536   }
1537
1538   # not adding any more sections after this
1539   $invoice_data{summary_subtotals} = \@summary_subtotals;
1540
1541   # usage subtotals
1542   if ( $conf->exists('usage_class_summary')
1543        and $self->can('_items_usage_class_summary') ) {
1544     my @usage_subtotals = $self->_items_usage_class_summary(escape => $escape_function, 'money_char' => $other_money_char);
1545     if ( @usage_subtotals ) {
1546       unshift @sections, $usage_subtotals[0]->{section}; # do not summarize
1547       unshift @detail_items, @usage_subtotals;
1548     }
1549   }
1550
1551   # invoice history "section" (not really a section)
1552   # not to be included in any subtotals, completely independent of 
1553   # everything...
1554   if ( $conf->exists('previous_invoice_history') and $cust_main->isa('FS::cust_main') ) {
1555     my %history;
1556     my %monthorder;
1557     foreach my $cust_bill ( $cust_main->cust_bill ) {
1558       # XXX hardcoded format, and currently only 'charged'; add other fields
1559       # if they become necessary
1560       my $date = $self->time2str_local('%b %Y', $cust_bill->_date);
1561       $history{$date} ||= 0;
1562       $history{$date} += $cust_bill->charged;
1563       # just so we have a numeric sort key
1564       $monthorder{$date} ||= $cust_bill->_date;
1565     }
1566     my @sorted_months = sort { $monthorder{$a} <=> $monthorder{$b} }
1567                         keys %history;
1568     my @sorted_amounts = map { sprintf('%.2f', $history{$_}) } @sorted_months;
1569     $invoice_data{monthly_history} = [ \@sorted_months, \@sorted_amounts ];
1570   }
1571
1572   # service locations: another option for template customization
1573   my %location_info;
1574   foreach my $item (@detail_items) {
1575     if ( $item->{locationnum} ) {
1576       $location_info{ $item->{locationnum} } ||= {
1577         FS::cust_location->by_key( $item->{locationnum} )->location_hash
1578       };
1579     }
1580   }
1581   $invoice_data{location_info} = \%location_info;
1582
1583   # debugging hook: call this with 'diag' => 1 to just get a hash of 
1584   # the invoice variables
1585   return \%invoice_data if ( $params{'diag'} );
1586
1587   # All sections and items are built; now fill in templates.
1588   my @includelist = ();
1589   push @includelist, 'summary' if $summarypage;
1590   foreach my $include ( @includelist ) {
1591
1592     my $inc_file = $conf->key_orbase("invoice_${format}$include", $template);
1593     my @inc_src;
1594
1595     if ( length( $conf->config($inc_file, $agentnum) ) ) {
1596
1597       @inc_src = $conf->config($inc_file, $agentnum);
1598
1599     } else {
1600
1601       $inc_file = $conf->key_orbase("invoice_latex$include", $template);
1602
1603       my $convert_map = $convert_maps{$format}{$include};
1604
1605       @inc_src = map { s/\[\@--/$delimiters{$format}[0]/g;
1606                        s/--\@\]/$delimiters{$format}[1]/g;
1607                        $_;
1608                      } 
1609                  &$convert_map( $conf->config($inc_file, $agentnum) );
1610
1611     }
1612
1613     my $inc_tt = new Text::Template (
1614       TYPE       => 'ARRAY',
1615       SOURCE     => [ map "$_\n", @inc_src ],
1616       DELIMITERS => $delimiters{$format},
1617     ) or die "Can't create new Text::Template object: $Text::Template::ERROR";
1618
1619     unless ( $inc_tt->compile() ) {
1620       my $error = "Can't compile $inc_file template: $Text::Template::ERROR\n";
1621       warn $error. "Template:\n". join('', map "$_\n", @inc_src);
1622       die $error;
1623     }
1624
1625     $invoice_data{$include} = $inc_tt->fill_in( HASH => \%invoice_data );
1626
1627     $invoice_data{$include} =~ s/\n+$//
1628       if ($format eq 'latex');
1629   }
1630
1631   $invoice_lines = 0;
1632   my $wasfunc = 0;
1633   foreach ( grep /invoice_lines\(\d*\)/, @invoice_template ) { #kludgy
1634     /invoice_lines\((\d*)\)/;
1635     $invoice_lines += $1 || scalar(@buf);
1636     $wasfunc=1;
1637   }
1638   die "no invoice_lines() functions in template?"
1639     if ( $format eq 'template' && !$wasfunc );
1640
1641   if ($format eq 'template') {
1642
1643     if ( $invoice_lines ) {
1644       $invoice_data{'total_pages'} = int( scalar(@buf) / $invoice_lines );
1645       $invoice_data{'total_pages'}++
1646         if scalar(@buf) % $invoice_lines;
1647     }
1648
1649     #setup subroutine for the template
1650     $invoice_data{invoice_lines} = sub {
1651       my $lines = shift || scalar(@buf);
1652       map { 
1653         scalar(@buf)
1654           ? shift @buf
1655           : [ '', '' ];
1656       }
1657       ( 1 .. $lines );
1658     };
1659
1660     my $lines;
1661     my @collect;
1662     while (@buf) {
1663       push @collect, split("\n",
1664         $text_template->fill_in( HASH => \%invoice_data )
1665       );
1666       $invoice_data{'page'}++;
1667     }
1668     map "$_\n", @collect;
1669
1670   } else { # this is where we actually create the invoice
1671
1672     if ( $params{no_addresses} ) {
1673       delete $invoice_data{$_} foreach qw(
1674         payname company address1 address2 city state zip country
1675       );
1676       $invoice_data{returnaddress} = '~';
1677     }
1678
1679     warn "filling in template for invoice ". $self->invnum. "\n"
1680       if $DEBUG;
1681     warn join("\n", map " $_ => ". $invoice_data{$_}, keys %invoice_data). "\n"
1682       if $DEBUG > 1;
1683
1684     $text_template->fill_in(HASH => \%invoice_data);
1685   }
1686 }
1687
1688 sub notice_name { '('.shift->table.')'; }
1689
1690 # this is not supposed to happen
1691 sub template_conf { warn "bare FS::Template_Mixin::template_conf";
1692   'invoice_';
1693 }
1694
1695 # helper routine for generating date ranges
1696 sub _prior_month30s {
1697   my $self = shift;
1698   my @ranges = (
1699    [ 1,       2592000 ], # 0-30 days ago
1700    [ 2592000, 5184000 ], # 30-60 days ago
1701    [ 5184000, 7776000 ], # 60-90 days ago
1702    [ 7776000, 0       ], # 90+   days ago
1703   );
1704
1705   map { [ $_->[0] ? $self->_date - $_->[0] - 1 : '',
1706           $_->[1] ? $self->_date - $_->[1] - 1 : '',
1707       ] }
1708   @ranges;
1709 }
1710
1711 =item print_ps HASHREF | [ TIME [ , TEMPLATE ] ]
1712
1713 Returns an postscript invoice, as a scalar.
1714
1715 Options can be passed as a hashref (recommended) or as a list of time, template
1716 and then any key/value pairs for any other options.
1717
1718 I<time> an optional value used to control the printing of overdue messages.  The
1719 default is now.  It isn't the date of the invoice; that's the `_date' field.
1720 It is specified as a UNIX timestamp; see L<perlfunc/"time">.  Also see
1721 L<Time::Local> and L<Date::Parse> for conversion functions.
1722
1723 I<notice_name>, if specified, overrides "Invoice" as the name of the sent document (templates from 10/2009 or newer required)
1724
1725 =cut
1726
1727 sub print_ps {
1728   my $self = shift;
1729
1730   my ($file, $logofile, $barcodefile) = $self->print_latex(@_);
1731   my $ps = generate_ps($file);
1732   unlink($logofile);
1733   unlink($barcodefile) if $barcodefile;
1734
1735   $ps;
1736 }
1737
1738 =item print_pdf HASHREF | [ TIME [ , TEMPLATE ] ]
1739
1740 Returns an PDF invoice, as a scalar.
1741
1742 Options can be passed as a hashref (recommended) or as a list of time, template
1743 and then any key/value pairs for any other options.
1744
1745 I<time> an optional value used to control the printing of overdue messages.  The
1746 default is now.  It isn't the date of the invoice; that's the `_date' field.
1747 It is specified as a UNIX timestamp; see L<perlfunc/"time">.  Also see
1748 L<Time::Local> and L<Date::Parse> for conversion functions.
1749
1750 I<template>, if specified, is the name of a suffix for alternate invoices.
1751
1752 I<notice_name>, if specified, overrides "Invoice" as the name of the sent document (templates from 10/2009 or newer required)
1753
1754 =cut
1755
1756 sub print_pdf {
1757   my $self = shift;
1758
1759   my ($file, $logofile, $barcodefile) = $self->print_latex(@_);
1760   my $pdf = generate_pdf($file);
1761   unlink($logofile);
1762   unlink($barcodefile) if $barcodefile;
1763
1764   $pdf;
1765 }
1766
1767 =item print_html HASHREF | [ TIME [ , TEMPLATE [ , CID ] ] ]
1768
1769 Returns an HTML invoice, as a scalar.
1770
1771 I<time> an optional value used to control the printing of overdue messages.  The
1772 default is now.  It isn't the date of the invoice; that's the `_date' field.
1773 It is specified as a UNIX timestamp; see L<perlfunc/"time">.  Also see
1774 L<Time::Local> and L<Date::Parse> for conversion functions.
1775
1776 I<template>, if specified, is the name of a suffix for alternate invoices.
1777
1778 I<notice_name>, if specified, overrides "Invoice" as the name of the sent document (templates from 10/2009 or newer required)
1779
1780 I<cid> is a MIME Content-ID used to create a "cid:" URL for the logo image, used
1781 when emailing the invoice as part of a multipart/related MIME email.
1782
1783 =cut
1784
1785 sub print_html {
1786   my $self = shift;
1787   my %params;
1788   if ( ref($_[0]) ) {
1789     %params = %{ shift() }; 
1790   } else {
1791     %params = @_;
1792   }
1793   $params{'format'} = 'html';
1794   
1795   $self->print_generic( %params );
1796 }
1797
1798 # quick subroutine for print_latex
1799 #
1800 # There are ten characters that LaTeX treats as special characters, which
1801 # means that they do not simply typeset themselves: 
1802 #      # $ % & ~ _ ^ \ { }
1803 #
1804 # TeX ignores blanks following an escaped character; if you want a blank (as
1805 # in "10% of ..."), you have to "escape" the blank as well ("10\%\ of ..."). 
1806
1807 sub _latex_escape {
1808   my $value = shift;
1809   $value =~ s/([#\$%&~_\^{}])( )?/"\\$1". ( ( defined($2) && length($2) ) ? "\\$2" : '' )/ge;
1810   $value =~ s/([<>])/\$$1\$/g;
1811   $value;
1812 }
1813
1814 sub _html_escape {
1815   my $value = shift;
1816   encode_entities($value);
1817   $value;
1818 }
1819
1820 sub _html_escape_nbsp {
1821   my $value = _html_escape(shift);
1822   $value =~ s/ +/&nbsp;/g;
1823   $value;
1824 }
1825
1826 #utility methods for print_*
1827
1828 sub _translate_old_latex_format {
1829   warn "_translate_old_latex_format called\n"
1830     if $DEBUG; 
1831
1832   my @template = ();
1833   while ( @_ ) {
1834     my $line = shift;
1835   
1836     if ( $line =~ /^%%Detail\s*$/ ) {
1837   
1838       push @template, q![@--!,
1839                       q!  foreach my $_tr_line (@detail_items) {!,
1840                       q!    if ( scalar ($_tr_item->{'ext_description'} ) ) {!,
1841                       q!      $_tr_line->{'description'} .= !, 
1842                       q!        "\\tabularnewline\n~~".!,
1843                       q!        join( "\\tabularnewline\n~~",!,
1844                       q!          @{$_tr_line->{'ext_description'}}!,
1845                       q!        );!,
1846                       q!    }!;
1847
1848       while ( ( my $line_item_line = shift )
1849               !~ /^%%EndDetail\s*$/                            ) {
1850         $line_item_line =~ s/'/\\'/g;    # nice LTS
1851         $line_item_line =~ s/\\/\\\\/g;  # escape quotes and backslashes
1852         $line_item_line =~ s/\$(\w+)/'. \$_tr_line->{$1}. '/g;
1853         push @template, "    \$OUT .= '$line_item_line';";
1854       }
1855
1856       push @template, '}',
1857                       '--@]';
1858       #' doh, gvim
1859     } elsif ( $line =~ /^%%TotalDetails\s*$/ ) {
1860
1861       push @template, '[@--',
1862                       '  foreach my $_tr_line (@total_items) {';
1863
1864       while ( ( my $total_item_line = shift )
1865               !~ /^%%EndTotalDetails\s*$/                      ) {
1866         $total_item_line =~ s/'/\\'/g;    # nice LTS
1867         $total_item_line =~ s/\\/\\\\/g;  # escape quotes and backslashes
1868         $total_item_line =~ s/\$(\w+)/'. \$_tr_line->{$1}. '/g;
1869         push @template, "    \$OUT .= '$total_item_line';";
1870       }
1871
1872       push @template, '}',
1873                       '--@]';
1874
1875     } else {
1876       $line =~ s/\$(\w+)/[\@-- \$$1 --\@]/g;
1877       push @template, $line;  
1878     }
1879   
1880   }
1881
1882   if ($DEBUG) {
1883     warn "$_\n" foreach @template;
1884   }
1885
1886   (@template);
1887 }
1888
1889 =item terms
1890
1891 =cut
1892
1893 sub terms {
1894   my $self = shift;
1895   my $conf = $self->conf;
1896
1897   #check for an invoice-specific override
1898   return $self->invoice_terms if $self->invoice_terms;
1899   
1900   #check for a customer- specific override
1901   my $cust_main = $self->cust_main;
1902   return $cust_main->invoice_terms if $cust_main && $cust_main->invoice_terms;
1903
1904   my $agentnum = '';
1905   if ( $cust_main ) {
1906     $agentnum = $cust_main->agentnum;
1907   } elsif ( my $prospect_main = $self->prospect_main ) {
1908     $agentnum = $prospect_main->agentnum;
1909   }
1910
1911   #use configured default
1912   $conf->config('invoice_default_terms', $agentnum) || '';
1913 }
1914
1915 =item due_date
1916
1917 =cut
1918
1919 sub due_date {
1920   my $self = shift;
1921   my $duedate = '';
1922   if ( $self->terms =~ /^\s*Net\s*(\d+)\s*$/ ) {
1923     $duedate = $self->_date() + ( $1 * 86400 );
1924   }
1925   $duedate;
1926 }
1927
1928 =item due_date2str
1929
1930 =cut
1931
1932 sub due_date2str {
1933   my $self = shift;
1934   $self->due_date ? $self->time2str_local(shift, $self->due_date) : '';
1935 }
1936
1937 =item balance_due_msg
1938
1939 =cut
1940
1941 sub balance_due_msg {
1942   my $self = shift;
1943   my $msg = $self->mt('Balance Due');
1944   return $msg unless $self->terms; # huh?
1945   if ( !$self->conf->exists('invoice_show_prior_due_date')
1946        or $self->conf->exists('invoice_sections') ) {
1947     # if enabled, the due date is shown with Total New Charges (see 
1948     # _items_total) and not here
1949     # (yes, or if invoice_sections is enabled; this is just for compatibility)
1950     if ( $self->due_date ) {
1951       $msg .= ' - ' . $self->mt('Please pay by'). ' '.
1952         $self->due_date2str('short');
1953     } elsif ( $self->terms ) {
1954       $msg .= ' - '. $self->mt($self->terms);
1955     }
1956   }
1957   $msg;
1958 }
1959
1960 =item balance_due_date
1961
1962 =cut
1963
1964 sub balance_due_date {
1965   my $self = shift;
1966   my $conf = $self->conf;
1967   my $duedate = '';
1968   my $terms = $self->terms;
1969   if ( $terms =~ /^\s*Net\s*(\d+)\s*$/ ) {
1970     $duedate = $self->time2str_local('rdate', $self->_date + ($1*86400) );
1971   }
1972   $duedate;
1973 }
1974
1975 sub credit_balance_msg { 
1976   my $self = shift;
1977   $self->mt('Credit Balance Remaining')
1978 }
1979
1980 =item _date_pretty
1981
1982 Returns a string with the date, for example: "3/20/2008", localized for the
1983 customer.  Use _date_pretty_unlocalized for non-end-customer display use.
1984
1985 =cut
1986
1987 sub _date_pretty {
1988   my $self = shift;
1989   $self->time2str_local('short', $self->_date);
1990 }
1991
1992 =item _date_pretty_unlocalized
1993
1994 Returns a string with the date, for example: "3/20/2008", in the format
1995 configured for the back-office.  Use _date_pretty for end-customer display use.
1996
1997 =cut
1998
1999 sub _date_pretty_unlocalized {
2000   my $self = shift;
2001   time2str($date_format, $self->_date);
2002 }
2003
2004 =item email HASHREF
2005
2006 Emails this template.
2007
2008 Options are passed as a hashref.  Available options:
2009
2010 =over 4
2011
2012 =item from
2013
2014 If specified, overrides the default From: address.
2015
2016 =item notice_name
2017
2018 If specified, overrides the name of the sent document ("Invoice" or "Quotation")
2019
2020 =item template
2021
2022 (Deprecated) If specified, is the name of a suffix for alternate template files.
2023
2024 =back
2025
2026 Options accepted by generate_email can also be used.
2027
2028 =cut
2029
2030 sub email {
2031   my $self = shift;
2032   my $opt = shift || {};
2033   if ($opt and !ref($opt)) {
2034     die ref($self). '->email called with positional parameters';
2035   }
2036
2037   return if $self->hide;
2038
2039   my $error = send_email(
2040     $self->generate_email(
2041       'subject'     => $self->email_subject($opt->{template}),
2042       %$opt, # template, etc.
2043     )
2044   );
2045
2046   die "can't email: $error\n" if $error;
2047 }
2048
2049 =item generate_email OPTION => VALUE ...
2050
2051 Options:
2052
2053 =over 4
2054
2055 =item from
2056
2057 sender address, required
2058
2059 =item template
2060
2061 alternate template name, optional
2062
2063 =item subject
2064
2065 email subject, optional
2066
2067 =item notice_name
2068
2069 notice name instead of "Invoice", optional
2070
2071 =back
2072
2073 Returns an argument list to be passed to L<FS::Misc::send_email>.
2074
2075 =cut
2076
2077 use MIME::Entity;
2078
2079 sub generate_email {
2080
2081   my $self = shift;
2082   my %args = @_;
2083   my $conf = $self->conf;
2084
2085   my $me = '[FS::Template_Mixin::generate_email]';
2086
2087   my %return = (
2088     'from'      => $args{'from'},
2089     'subject'   => ($args{'subject'} || $self->email_subject),
2090     'custnum'   => $self->custnum,
2091     'msgtype'   => 'invoice',
2092   );
2093
2094   $args{'unsquelch_cdr'} = $conf->exists('voip-cdr_email');
2095
2096   my $cust_main = $self->cust_main;
2097
2098   if (ref($args{'to'}) eq 'ARRAY') {
2099     $return{'to'} = $args{'to'};
2100   } elsif ( $cust_main ) {
2101     $return{'to'} = [ $cust_main->invoicing_list_emailonly ];
2102   }
2103
2104   my $tc = $self->template_conf;
2105
2106   my @text; # array of lines
2107   my $html; # a big string
2108   my @related_parts; # will contain the text/HTML alternative, and images
2109   my $related; # will contain the multipart/related object
2110
2111   if ( $conf->exists($tc. 'email_pdf') ) {
2112     if ( my $msgnum = $conf->config($tc.'email_pdf_msgnum') ) {
2113
2114       warn "$me using '${tc}email_pdf_msgnum' in multipart message"
2115         if $DEBUG;
2116
2117       my $msg_template = FS::msg_template->by_key($msgnum)
2118         or die "${tc}email_pdf_msgnum $msgnum not found\n";
2119       my $cust_msg = $msg_template->prepare(
2120         cust_main => $self->cust_main,
2121         object    => $self,
2122         msgtype   => 'invoice',
2123       );
2124
2125       # XXX hack to make this work in the new cust_msg era; consider replacing
2126       # with cust_bill_send_with_notice events.
2127       my @parts = $cust_msg->parts;
2128       foreach my $part (@parts) { # will only have two parts, normally
2129         if ( $part->mime_type eq 'text/plain' ) {
2130           @text = @{ $part->body };
2131         } elsif ( $part->mime_type eq 'text/html' ) {
2132           $html = $part->bodyhandle->as_string;
2133         }
2134       }
2135
2136     } elsif ( my @note = $conf->config($tc.'email_pdf_note') ) {
2137
2138       warn "$me using '${tc}email_pdf_note' in multipart message"
2139         if $DEBUG;
2140       @text = $conf->config($tc.'email_pdf_note');
2141       $html = join('<BR>', @text);
2142   
2143     } # else use the plain text invoice
2144   }
2145
2146   if (!@text) {
2147
2148     if ( $conf->config($tc.'template') ) {
2149
2150       warn "$me generating plain text invoice"
2151         if $DEBUG;
2152
2153       # 'print_text' argument is no longer used
2154       @text = $self->print_text(\%args);
2155
2156     } else {
2157
2158       warn "$me no plain text version exists; sending empty message body"
2159         if $DEBUG;
2160
2161     }
2162
2163   }
2164
2165   my $text_part = build MIME::Entity (
2166     'Type'        => 'text/plain',
2167     'Encoding'    => 'quoted-printable',
2168     'Charset'     => 'UTF-8',
2169     #'Encoding'    => '7bit',
2170     'Data'        => \@text,
2171     'Disposition' => 'inline',
2172   );
2173
2174   if (!$html) {
2175
2176     if ( $conf->exists($tc.'html') ) {
2177       warn "$me generating HTML invoice"
2178         if $DEBUG;
2179
2180       $args{'from'} =~ /\@([\w\.\-]+)/;
2181       my $from = $1 || 'example.com';
2182       my $content_id = join('.', rand()*(2**32), $$, time). "\@$from";
2183
2184       my $logo;
2185       my $agentnum = $cust_main ? $cust_main->agentnum
2186                                 : $self->prospect_main->agentnum;
2187       if ( defined($args{'template'}) && length($args{'template'})
2188            && $conf->exists( 'logo_'. $args{'template'}. '.png', $agentnum )
2189          )
2190       {
2191         $logo = 'logo_'. $args{'template'}. '.png';
2192       } else {
2193         $logo = "logo.png";
2194       }
2195       my $image_data = $conf->config_binary( $logo, $agentnum);
2196
2197       push @related_parts, build MIME::Entity
2198         'Type'       => 'image/png',
2199         'Encoding'   => 'base64',
2200         'Data'       => $image_data,
2201         'Filename'   => 'logo.png',
2202         'Content-ID' => "<$content_id>",
2203       ;
2204    
2205       if ( ref($self) eq 'FS::cust_bill' && $conf->exists('invoice-barcode') ) {
2206         my $barcode_content_id = join('.', rand()*(2**32), $$, time). "\@$from";
2207         push @related_parts, build MIME::Entity
2208           'Type'       => 'image/png',
2209           'Encoding'   => 'base64',
2210           'Data'       => $self->invoice_barcode(0),
2211           'Filename'   => 'barcode.png',
2212           'Content-ID' => "<$barcode_content_id>",
2213         ;
2214         $args{'barcode_cid'} = $barcode_content_id;
2215       }
2216
2217       $html = $self->print_html({ 'cid'=>$content_id, %args });
2218     }
2219
2220   }
2221
2222   if ( $html ) {
2223
2224     warn "$me creating HTML/text multipart message"
2225       if $DEBUG;
2226
2227     $return{'nobody'} = 1;
2228
2229     my $alternative = build MIME::Entity
2230       'Type'        => 'multipart/alternative',
2231       #'Encoding'    => '7bit',
2232       'Disposition' => 'inline'
2233     ;
2234
2235     if ( @text ) {
2236       $alternative->add_part($text_part);
2237     }
2238
2239     $alternative->attach(
2240       'Type'        => 'text/html',
2241       'Encoding'    => 'quoted-printable',
2242       'Data'        => [ '<html>',
2243                          '  <head>',
2244                          '    <title>',
2245                          '      '. encode_entities($return{'subject'}), 
2246                          '    </title>',
2247                          '  </head>',
2248                          '  <body bgcolor="#e8e8e8">',
2249                          $html,
2250                          '  </body>',
2251                          '</html>',
2252                        ],
2253       'Disposition' => 'inline',
2254       #'Filename'    => 'invoice.pdf',
2255     );
2256
2257     unshift @related_parts, $alternative;
2258
2259     $related = build MIME::Entity 'Type'     => 'multipart/related',
2260                                   'Encoding' => '7bit';
2261
2262     #false laziness w/Misc::send_email
2263     $related->head->replace('Content-type',
2264       $related->mime_type.
2265       '; boundary="'. $related->head->multipart_boundary. '"'.
2266       '; type=multipart/alternative'
2267     );
2268
2269     $related->add_part($_) foreach @related_parts;
2270
2271   }
2272
2273   my @otherparts = ();
2274   if ( ref($self) eq 'FS::cust_bill' && $cust_main->email_csv_cdr ) {
2275
2276     if ( $conf->config('voip-cdr_email_attach') eq 'zip' ) {
2277
2278       my $data = join('', map "$_\n",
2279                    $self->call_details(prepend_billed_number=>1)
2280                  );
2281
2282       my $zip = new Archive::Zip;
2283       my $file = $zip->addString( $data, 'usage-'.$self->invnum.'.csv' );
2284       $file->desiredCompressionMethod( COMPRESSION_DEFLATED );
2285
2286       my $zipdata = '';
2287       my $SH = IO::Scalar->new(\$zipdata);
2288       my $status = $zip->writeToFileHandle($SH);
2289       die "Error zipping CDR attachment: $!" unless $status == AZ_OK;
2290
2291       push @otherparts, build MIME::Entity
2292         'Type'        => 'application/zip',
2293         'Encoding'    => 'base64',
2294         'Data'        => $zipdata,
2295         'Disposition' => 'attachment',
2296         'Filename'    => 'usage-'. $self->invnum. '.zip',
2297       ;
2298
2299     } else { # } elsif ( $conf->config('voip-cdr_email_attach') eq 'csv' ) {
2300  
2301       push @otherparts, build MIME::Entity
2302         'Type'        => 'text/csv',
2303         'Encoding'    => '7bit',
2304         'Data'        => [ map { "$_\n" }
2305                              $self->call_details('prepend_billed_number' => 1)
2306                          ],
2307         'Disposition' => 'attachment',
2308         'Filename'    => 'usage-'. $self->invnum. '.csv',
2309       ;
2310
2311     }
2312
2313   }
2314
2315   if ( $conf->exists($tc.'email_pdf') ) {
2316
2317     #attaching pdf too:
2318     # multipart/mixed
2319     #   multipart/related
2320     #     multipart/alternative
2321     #       text/plain
2322     #       text/html
2323     #     image/png
2324     #   application/pdf
2325
2326     my $pdf = build MIME::Entity $self->mimebuild_pdf(\%args);
2327     push @otherparts, $pdf;
2328   }
2329
2330   if (@otherparts) {
2331     $return{'content-type'} = 'multipart/mixed'; # of the outer container
2332     if ( $html ) {
2333       $return{'mimeparts'} = [ $related, @otherparts ];
2334       $return{'type'} = 'multipart/related'; # of the first part
2335     } else {
2336       $return{'mimeparts'} = [ $text_part, @otherparts ];
2337       $return{'type'} = 'text/plain';
2338     }
2339   } elsif ( $html ) { # no PDF or CSV, strip the outer container
2340     $return{'mimeparts'} = \@related_parts;
2341     $return{'content-type'} = 'multipart/related';
2342     $return{'type'} = 'multipart/alternative';
2343   } else { # no HTML either
2344     $return{'body'} = \@text;
2345     $return{'content-type'} = 'text/plain';
2346   }
2347
2348   %return;
2349
2350 }
2351
2352 =item mimebuild_pdf
2353
2354 Returns a list suitable for passing to MIME::Entity->build(), representing
2355 this invoice as PDF attachment.
2356
2357 =cut
2358
2359 sub mimebuild_pdf {
2360   my $self = shift;
2361   (
2362     'Type'        => 'application/pdf',
2363     'Encoding'    => 'base64',
2364     'Data'        => [ $self->print_pdf(@_) ],
2365     'Disposition' => 'attachment',
2366     'Filename'    => 'invoice-'. $self->invnum. '.pdf',
2367   );
2368 }
2369
2370 =item postal_mail_fsinc
2371
2372 Sends this invoice to the Freeside Internet Services, Inc. print and mail
2373 service.
2374
2375 =cut
2376
2377 use CAM::PDF;
2378 use IO::Socket::SSL;
2379 use LWP::UserAgent;
2380 use HTTP::Request::Common qw( POST );
2381 use Cpanel::JSON::XS;
2382 use MIME::Base64;
2383 sub postal_mail_fsinc {
2384   my ( $self, %opt ) = @_;
2385
2386   my $url = 'https://ws.freeside.biz/print';
2387
2388   my $cust_main = $self->cust_main;
2389   my $agentnum = $cust_main->agentnum;
2390   my $bill_location = $cust_main->bill_location;
2391
2392   die "Extra charges for international mailing; contact support\@freeside.biz to enable\n"
2393     if $bill_location->country ne 'US';
2394
2395   my $conf = new FS::Conf;
2396
2397   my @company_address = $conf->config('company_address', $agentnum);
2398   my ( $company_address1, $company_address2, $company_city, $company_state, $company_zip );
2399   if ( $company_address[2] =~ /^\s*(\S.*\S)\s*[\s,](\w\w),?\s*(\d{5}(-\d{4})?)\s*$/ ) {
2400     $company_address1 = $company_address[0];
2401     $company_address2 = $company_address[1];
2402     $company_city  = $1;
2403     $company_state = $2;
2404     $company_zip   = $3;
2405   } elsif ( $company_address[1] =~ /^\s*(\S.*\S)\s*[\s,](\w\w),?\s*(\d{5}(-\d{4})?)\s*$/ ) {
2406     $company_address1 = $company_address[0];
2407     $company_address2 = '';
2408     $company_city  = $1;
2409     $company_state = $2;
2410     $company_zip   = $3;
2411   } else {
2412     die "Unparsable company_address; contact support\@freeside.biz\n";
2413   }
2414   $company_city =~ s/,$//;
2415
2416   my $file = $self->print_pdf(%opt, 'no_addresses' => 1);
2417   my $pages = CAM::PDF->new($file)->numPages;
2418
2419   my $ua = LWP::UserAgent->new(
2420     'ssl_opts' => { 
2421       verify_hostname => 0,
2422       SSL_verify_mode => IO::Socket::SSL::SSL_VERIFY_NONE,
2423     }
2424   );
2425   my $response = $ua->request( POST $url, [
2426     'support-key'      => scalar($conf->config('support-key')),
2427     'file'             => encode_base64($file),
2428     'pages'            => $pages,
2429
2430     #from:
2431     'company_name'     => scalar( $conf->config('company_name', $agentnum) ),
2432     'company_address1' => $company_address1,
2433     'company_address2' => $company_address2,
2434     'company_city'     => $company_city,
2435     'company_state'    => $company_state,
2436     'company_zip'      => $company_zip,
2437     'company_country'  => 'US',
2438     'company_phonenum' => scalar($conf->config('company_phonenum', $agentnum)),
2439     'company_email'    => scalar($conf->config('invoice_from', $agentnum)),
2440
2441     #to:
2442     'name'             => $cust_main->invoice_attn
2443                             || $cust_main->contact_firstlast,
2444     'company'          => $cust_main->company,
2445     'address1'         => $bill_location->address1,
2446     'address2'         => $bill_location->address2,
2447     'city'             => $bill_location->city,
2448     'state'            => $bill_location->state,
2449     'zip'              => $bill_location->zip,
2450     'country'          => $bill_location->country,
2451   ]);
2452
2453   die "Print connection error: ". $response->message. "\n"
2454     unless $response->is_success;
2455
2456   local $@;
2457   my $content = eval { decode_json($response->content) };
2458   die "Print JSON error : $@\n" if $@;
2459
2460   die $content->{error}."\n"
2461     if $content->{error};
2462
2463   #TODO: store this so we can query for a status later
2464   warn "Invoice printed, ID ". $content->{id}. "\n";
2465
2466   $content->{id};
2467
2468 }
2469
2470 =item _items_sections OPTIONS
2471
2472 Generate section information for all items appearing on this invoice.
2473 This will only be called for multi-section invoices.
2474
2475 For each line item (L<FS::cust_bill_pkg> record), this will fetch all 
2476 related display records (L<FS::cust_bill_pkg_display>) and organize 
2477 them into two groups ("early" and "late" according to whether they come 
2478 before or after the total), then into sections.  A subtotal is calculated 
2479 for each section.
2480
2481 Section descriptions are returned in sort weight order.  Each consists 
2482 of a hash containing:
2483
2484 description: the package category name, escaped
2485 subtotal: the total charges in that section
2486 tax_section: a flag indicating that the section contains only tax charges
2487 summarized: same as tax_section, for some reason
2488 sort_weight: the package category's sort weight
2489
2490 If 'condense' is set on the display record, it also contains everything 
2491 returned from C<_condense_section()>, i.e. C<_condensed_foo_generator>
2492 coderefs to generate parts of the invoice.  This is not advised.
2493
2494 The method returns two arrayrefs, one of "early" sections and one of "late"
2495 sections.
2496
2497 OPTIONS may include:
2498
2499 by_location: a flag to divide the invoice into sections by location.  
2500 Each section hash will have a 'location' element containing a hashref of 
2501 the location fields (see L<FS::cust_location>).  The section description
2502 will be the location label, but the template can use any of the location 
2503 fields to create a suitable label.
2504
2505 by_category: a flag to divide the invoice into sections using display 
2506 records (see L<FS::cust_bill_pkg_display>).  This is the "traditional" 
2507 behavior.  Each section hash will have a 'category' element containing
2508 the section name from the display record (which probably equals the 
2509 category name of the package, but may not in some cases).
2510
2511 summary: a flag indicating that this is a summary-format invoice.
2512 Turning this on has the following effects:
2513 - Ignores display items with the 'summary' flag.
2514 - Places all sections in the "early" group even if they have post_total.
2515 - Creates sections for all non-disabled package categories, even if they 
2516 have no charges on this invoice, as well as a section with no name.
2517
2518 escape: an escape function to use for section titles.
2519
2520 extra_sections: an arrayref of additional sections to return after the 
2521 sorted list.  If there are any of these, section subtotals exclude 
2522 usage charges.
2523
2524 format: 'latex', 'html', or 'template' (i.e. text).  Not used, but 
2525 passed through to C<_condense_section()>.
2526
2527 =cut
2528
2529 use vars qw(%pkg_category_cache);
2530 sub _items_sections {
2531   my $self = shift;
2532   my %opt = @_;
2533   
2534   my $escape = $opt{escape};
2535   my @extra_sections = @{ $opt{extra_sections} || [] };
2536
2537   # $subtotal{$locationnum}{$categoryname} = amount.
2538   # if we're not using by_location, $locationnum is undef.
2539   # if we're not using by_category, you guessed it, $categoryname is undef.
2540   # if we're not using either one, we shouldn't be here in the first place...
2541   my %subtotal = ();
2542   my %late_subtotal = ();
2543   my %not_tax = ();
2544
2545   # About tax items + multisection invoices:
2546   # If either invoice_*summary option is enabled, AND there is a 
2547   # package category with the name of the tax, then there will be 
2548   # a display record assigning the tax item to that category.
2549   #
2550   # However, the taxes are always placed in the "Taxes, Surcharges,
2551   # and Fees" section regardless of that.  The only effect of the 
2552   # display record is to create a subtotal for the summary page.
2553
2554   # cache these
2555   my $pkg_hash = $self->cust_pkg_hash;
2556
2557   foreach my $cust_bill_pkg ( $self->cust_bill_pkg )
2558   {
2559
2560       my $usage = $cust_bill_pkg->usage;
2561
2562       my $locationnum;
2563       if ( $opt{by_location} ) {
2564         if ( $cust_bill_pkg->pkgnum ) {
2565           $locationnum = $pkg_hash->{ $cust_bill_pkg->pkgnum }->locationnum;
2566         } else {
2567           $locationnum = '';
2568         }
2569       } else {
2570         $locationnum = undef;
2571       }
2572
2573       # as in _items_cust_pkg, if a line item has no display records,
2574       # cust_bill_pkg_display() returns a default record for it
2575
2576       foreach my $display ($cust_bill_pkg->cust_bill_pkg_display) {
2577         next if ( $display->summary && $opt{summary} );
2578
2579         my $section = $display->section;
2580         my $type    = $display->type;
2581         # Set $section = undef if we're sectioning by location and this
2582         # line item _has_ a location (i.e. isn't a fee).
2583         $section = undef if $locationnum;
2584
2585         # set this flag if the section is not tax-only
2586         $not_tax{$locationnum}{$section} = 1
2587           if $cust_bill_pkg->pkgnum  or $cust_bill_pkg->feepart;
2588
2589         # there's actually a very important piece of logic buried in here:
2590         # incrementing $late_subtotal{$section} CREATES 
2591         # $late_subtotal{$section}.  keys(%late_subtotal) is later used 
2592         # to define the list of late sections, and likewise keys(%subtotal).
2593         # When _items_cust_bill_pkg is called to generate line items for 
2594         # real, it will be called with 'section' => $section for each 
2595         # of these.
2596         if ( $display->post_total && !$opt{summary} ) {
2597           if (! $type || $type eq 'S') {
2598             $late_subtotal{$locationnum}{$section} += $cust_bill_pkg->setup
2599               if $cust_bill_pkg->setup != 0
2600               || $cust_bill_pkg->setup_show_zero;
2601           }
2602
2603           if (! $type) {
2604             $late_subtotal{$locationnum}{$section} += $cust_bill_pkg->recur
2605               if $cust_bill_pkg->recur != 0
2606               || $cust_bill_pkg->recur_show_zero;
2607           }
2608
2609           if ($type && $type eq 'R') {
2610             $late_subtotal{$locationnum}{$section} += $cust_bill_pkg->recur - $usage
2611               if $cust_bill_pkg->recur != 0
2612               || $cust_bill_pkg->recur_show_zero;
2613           }
2614           
2615           if ($type && $type eq 'U') {
2616             $late_subtotal{$locationnum}{$section} += $usage
2617               unless scalar(@extra_sections);
2618           }
2619
2620         } else { # it's a pre-total (normal) section
2621
2622           # skip tax items unless they're explicitly included in a section
2623           next if $cust_bill_pkg->pkgnum == 0 and
2624                   ! $cust_bill_pkg->feepart   and
2625                   ! $section;
2626
2627           if ( $type eq 'S' ) {
2628             $subtotal{$locationnum}{$section} += $cust_bill_pkg->setup
2629               if $cust_bill_pkg->setup != 0
2630               || $cust_bill_pkg->setup_show_zero;
2631           } elsif ( $type eq 'R' ) {
2632             $subtotal{$locationnum}{$section} += $cust_bill_pkg->recur - $usage
2633               if $cust_bill_pkg->recur != 0
2634               || $cust_bill_pkg->recur_show_zero;
2635           } elsif ( $type eq 'U' ) {
2636             $subtotal{$locationnum}{$section} += $usage
2637               unless scalar(@extra_sections);
2638           } elsif ( !$type ) {
2639             $subtotal{$locationnum}{$section} += $cust_bill_pkg->setup
2640                                                + $cust_bill_pkg->recur;
2641           }
2642
2643         }
2644
2645       }
2646
2647   }
2648
2649   %pkg_category_cache = ();
2650
2651   # summary invoices need subtotals for all non-disabled package categories,
2652   # even if they're zero
2653   # but currently assume that there are no location sections, or at least
2654   # that the summary page doesn't care about them
2655   if ( $opt{summary} ) {
2656     foreach my $category (qsearch('pkg_category', {disabled => ''})) {
2657       $subtotal{''}{$category->categoryname} ||= 0;
2658     }
2659     $subtotal{''}{''} ||= 0;
2660   }
2661
2662   my @sections;
2663   foreach my $post_total (0,1) {
2664     my @these;
2665     my $s = $post_total ? \%late_subtotal : \%subtotal;
2666     foreach my $locationnum (keys %$s) {
2667       foreach my $sectionname (keys %{ $s->{$locationnum} }) {
2668         my $section = {
2669                         'subtotal'    => $s->{$locationnum}{$sectionname},
2670                         'sort_weight' => 0,
2671                       };
2672         if ( $locationnum ) {
2673           $section->{'locationnum'} = $locationnum;
2674           my $location = FS::cust_location->by_key($locationnum);
2675           $section->{'description'} = &{ $escape }($location->location_label);
2676           # Better ideas? This will roughly group them by proximity, 
2677           # which alpha sorting on any of the address fields won't.
2678           # Sorting by locationnum is meaningless.
2679           # We have to sort on _something_ or the order may change 
2680           # randomly from one invoice to the next, which will confuse
2681           # people.
2682           $section->{'sort_weight'} = sprintf('%012s',$location->zip) .
2683                                       $locationnum;
2684           $section->{'location'} = {
2685             label_prefix => &{ $escape }($location->label_prefix),
2686             map { $_ => &{ $escape }($location->get($_)) }
2687               $location->fields
2688           };
2689         } else {
2690           $section->{'category'} = $sectionname;
2691           $section->{'description'} = &{ $escape }($sectionname);
2692           if ( _pkg_category($sectionname) ) {
2693             $section->{'sort_weight'} = _pkg_category($sectionname)->weight;
2694             if ( _pkg_category($sectionname)->condense ) {
2695               $section = { %$section, $self->_condense_section($opt{format}) };
2696             }
2697           }
2698         }
2699         if ( !$post_total and !$not_tax{$locationnum}{$sectionname} ) {
2700           # then it's a tax-only section
2701           $section->{'summarized'} = 'Y';
2702           $section->{'tax_section'} = 'Y';
2703         }
2704         push @these, $section;
2705       } # foreach $sectionname
2706     } #foreach $locationnum
2707     push @these, @extra_sections if $post_total == 0;
2708     # need an alpha sort for location sections, because postal codes can 
2709     # be non-numeric
2710     $sections[ $post_total ] = [ sort {
2711       $opt{'by_location'} ? 
2712         ($a->{sort_weight} cmp $b->{sort_weight}) :
2713         ($a->{sort_weight} <=> $b->{sort_weight})
2714       } @these ];
2715   } #foreach $post_total
2716
2717   return @sections; # early, late
2718 }
2719
2720 #helper subs for above
2721
2722 sub cust_pkg_hash {
2723   my $self = shift;
2724   $self->{cust_pkg} ||= { map { $_->pkgnum => $_ } $self->cust_pkg };
2725 }
2726
2727 sub _pkg_category {
2728   my $categoryname = shift;
2729   $pkg_category_cache{$categoryname} ||=
2730     qsearchs( 'pkg_category', { 'categoryname' => $categoryname } );
2731 }
2732
2733 my %condensed_format = (
2734   'label' => [ qw( Description Qty Amount ) ],
2735   'fields' => [
2736                 sub { shift->{description} },
2737                 sub { shift->{quantity} },
2738                 sub { my($href, %opt) = @_;
2739                       ($opt{dollar} || ''). $href->{amount};
2740                     },
2741               ],
2742   'align'  => [ qw( l r r ) ],
2743   'span'   => [ qw( 5 1 1 ) ],            # unitprices?
2744   'width'  => [ qw( 10.7cm 1.4cm 1.6cm ) ],   # don't like this
2745 );
2746
2747 sub _condense_section {
2748   my ( $self, $format ) = ( shift, shift );
2749   ( 'condensed' => 1,
2750     map { my $method = "_condensed_$_"; $_ => $self->$method($format) }
2751       qw( description_generator
2752           header_generator
2753           total_generator
2754           total_line_generator
2755         )
2756   );
2757 }
2758
2759 sub _condensed_generator_defaults {
2760   my ( $self, $format ) = ( shift, shift );
2761   return ( \%condensed_format, ' ', ' ', ' ', sub { shift } );
2762 }
2763
2764 my %html_align = (
2765   'c' => 'center',
2766   'l' => 'left',
2767   'r' => 'right',
2768 );
2769
2770 sub _condensed_header_generator {
2771   my ( $self, $format ) = ( shift, shift );
2772
2773   my ( $f, $prefix, $suffix, $separator, $column ) =
2774     _condensed_generator_defaults($format);
2775
2776   if ($format eq 'latex') {
2777     $prefix = "\\hline\n\\rule{0pt}{2.5ex}\n\\makebox[1.4cm]{}&\n";
2778     $suffix = "\\\\\n\\hline";
2779     $separator = "&\n";
2780     $column =
2781       sub { my ($d,$a,$s,$w) = @_;
2782             return "\\multicolumn{$s}{$a}{\\makebox[$w][$a]{\\textbf{$d}}}";
2783           };
2784   } elsif ( $format eq 'html' ) {
2785     $prefix = '<th></th>';
2786     $suffix = '';
2787     $separator = '';
2788     $column =
2789       sub { my ($d,$a,$s,$w) = @_;
2790             return qq!<th align="$html_align{$a}">$d</th>!;
2791       };
2792   }
2793
2794   sub {
2795     my @args = @_;
2796     my @result = ();
2797
2798     foreach  (my $i = 0; $f->{label}->[$i]; $i++) {
2799       push @result,
2800         &{$column}( map { $f->{$_}->[$i] } qw(label align span width) );
2801     }
2802
2803     $prefix. join($separator, @result). $suffix;
2804   };
2805
2806 }
2807
2808 sub _condensed_description_generator {
2809   my ( $self, $format ) = ( shift, shift );
2810
2811   my ( $f, $prefix, $suffix, $separator, $column ) =
2812     _condensed_generator_defaults($format);
2813
2814   my $money_char = '$';
2815   if ($format eq 'latex') {
2816     $prefix = "\\hline\n\\multicolumn{1}{c}{\\rule{0pt}{2.5ex}~} &\n";
2817     $suffix = '\\\\';
2818     $separator = " & \n";
2819     $column =
2820       sub { my ($d,$a,$s,$w) = @_;
2821             return "\\multicolumn{$s}{$a}{\\makebox[$w][$a]{\\textbf{$d}}}";
2822           };
2823     $money_char = '\\dollar';
2824   }elsif ( $format eq 'html' ) {
2825     $prefix = '"><td align="center"></td>';
2826     $suffix = '';
2827     $separator = '';
2828     $column =
2829       sub { my ($d,$a,$s,$w) = @_;
2830             return qq!<td align="$html_align{$a}">$d</td>!;
2831       };
2832     #$money_char = $conf->config('money_char') || '$';
2833     $money_char = '';  # this is madness
2834   }
2835
2836   sub {
2837     #my @args = @_;
2838     my $href = shift;
2839     my @result = ();
2840
2841     foreach  (my $i = 0; $f->{label}->[$i]; $i++) {
2842       my $dollar = '';
2843       $dollar = $money_char if $i == scalar(@{$f->{label}})-1;
2844       push @result,
2845         &{$column}( &{$f->{fields}->[$i]}($href, 'dollar' => $dollar),
2846                     map { $f->{$_}->[$i] } qw(align span width)
2847                   );
2848     }
2849
2850     $prefix. join( $separator, @result ). $suffix;
2851   };
2852
2853 }
2854
2855 sub _condensed_total_generator {
2856   my ( $self, $format ) = ( shift, shift );
2857
2858   my ( $f, $prefix, $suffix, $separator, $column ) =
2859     _condensed_generator_defaults($format);
2860   my $style = '';
2861
2862   if ($format eq 'latex') {
2863     $prefix = "& ";
2864     $suffix = "\\\\\n";
2865     $separator = " & \n";
2866     $column =
2867       sub { my ($d,$a,$s,$w) = @_;
2868             return "\\multicolumn{$s}{$a}{\\makebox[$w][$a]{$d}}";
2869           };
2870   }elsif ( $format eq 'html' ) {
2871     $prefix = '';
2872     $suffix = '';
2873     $separator = '';
2874     $style = 'border-top: 3px solid #000000;border-bottom: 3px solid #000000;';
2875     $column =
2876       sub { my ($d,$a,$s,$w) = @_;
2877             return qq!<td align="$html_align{$a}" style="$style">$d</td>!;
2878       };
2879   }
2880
2881
2882   sub {
2883     my @args = @_;
2884     my @result = ();
2885
2886     #  my $r = &{$f->{fields}->[$i]}(@args);
2887     #  $r .= ' Total' unless $i;
2888
2889     foreach  (my $i = 0; $f->{label}->[$i]; $i++) {
2890       push @result,
2891         &{$column}( &{$f->{fields}->[$i]}(@args). ($i ? '' : ' Total'),
2892                     map { $f->{$_}->[$i] } qw(align span width)
2893                   );
2894     }
2895
2896     $prefix. join( $separator, @result ). $suffix;
2897   };
2898
2899 }
2900
2901 =item total_line_generator FORMAT
2902
2903 Returns a coderef used for generation of invoice total line items for this
2904 usage_class.  FORMAT is either html or latex
2905
2906 =cut
2907
2908 # should not be used: will have issues with hash element names (description vs
2909 # total_item and amount vs total_amount -- another array of functions?
2910
2911 sub _condensed_total_line_generator {
2912   my ( $self, $format ) = ( shift, shift );
2913
2914   my ( $f, $prefix, $suffix, $separator, $column ) =
2915     _condensed_generator_defaults($format);
2916   my $style = '';
2917
2918   if ($format eq 'latex') {
2919     $prefix = "& ";
2920     $suffix = "\\\\\n";
2921     $separator = " & \n";
2922     $column =
2923       sub { my ($d,$a,$s,$w) = @_;
2924             return "\\multicolumn{$s}{$a}{\\makebox[$w][$a]{$d}}";
2925           };
2926   }elsif ( $format eq 'html' ) {
2927     $prefix = '';
2928     $suffix = '';
2929     $separator = '';
2930     $style = 'border-top: 3px solid #000000;border-bottom: 3px solid #000000;';
2931     $column =
2932       sub { my ($d,$a,$s,$w) = @_;
2933             return qq!<td align="$html_align{$a}" style="$style">$d</td>!;
2934       };
2935   }
2936
2937
2938   sub {
2939     my @args = @_;
2940     my @result = ();
2941
2942     foreach  (my $i = 0; $f->{label}->[$i]; $i++) {
2943       push @result,
2944         &{$column}( &{$f->{fields}->[$i]}(@args),
2945                     map { $f->{$_}->[$i] } qw(align span width)
2946                   );
2947     }
2948
2949     $prefix. join( $separator, @result ). $suffix;
2950   };
2951
2952 }
2953
2954 =item _items_pkg [ OPTIONS ]
2955
2956 Return line item hashes for each package item on this invoice. Nearly 
2957 equivalent to 
2958
2959 $self->_items_cust_bill_pkg([ $self->cust_bill_pkg ])
2960
2961 OPTIONS are passed through to _items_cust_bill_pkg, and should include
2962 'format' and 'escape_function' at minimum.
2963
2964 To produce items for a specific invoice section, OPTIONS should include
2965 'section', a hashref containing 'category' and/or 'locationnum' keys.
2966
2967 'section' may also contain a key named 'condensed'. If this is present
2968 and has a true value, _items_pkg will try to merge identical items into items
2969 with 'quantity' equal to the number of items (not the sum of their separate
2970 quantities, for some reason).
2971
2972 =cut
2973
2974 sub _items_nontax {
2975   my $self = shift;
2976   # The order of these is important.  Bundled line items will be merged into
2977   # the most recent non-hidden item, so it needs to be the one with:
2978   # - the same pkgnum
2979   # - the same start date
2980   # - no pkgpart_override
2981   #
2982   # So: sort by pkgnum,
2983   # then by sdate
2984   # then sort the base line item before any overrides
2985   # then sort hidden before non-hidden add-ons
2986   # then sort by override pkgpart (for consistency)
2987   sort { $a->pkgnum <=> $b->pkgnum        or
2988          $a->sdate  <=> $b->sdate         or
2989          ($a->pkgpart_override ? 0 : -1)  or
2990          ($b->pkgpart_override ? 0 : 1)   or
2991          $b->hidden cmp $a->hidden        or
2992          $a->pkgpart_override <=> $b->pkgpart_override
2993        }
2994   # and of course exclude taxes and fees
2995   grep { $_->pkgnum > 0 } $self->cust_bill_pkg;
2996 }
2997
2998 sub _items_fee {
2999   my $self = shift;
3000   my %options = @_;
3001   my @cust_bill_pkg = grep { $_->feepart } $self->cust_bill_pkg;
3002   my $escape_function = $options{escape_function};
3003
3004   my @items;
3005   foreach my $cust_bill_pkg (@cust_bill_pkg) {
3006     # cache this, so we don't look it up again in every section
3007     my $part_fee = $cust_bill_pkg->get('part_fee')
3008        || $cust_bill_pkg->part_fee;
3009     $cust_bill_pkg->set('part_fee', $part_fee);
3010     if (!$part_fee) {
3011       #die "fee definition not found for line item #".$cust_bill_pkg->billpkgnum."\n"; # might make more sense
3012       warn "fee definition not found for line item #".$cust_bill_pkg->billpkgnum."\n";
3013       next;
3014     }
3015     if ( exists($options{section}) and exists($options{section}{category}) )
3016     {
3017       my $categoryname = $options{section}{category};
3018       # then filter for items that have that section
3019       if ( $part_fee->categoryname ne $categoryname ) {
3020         warn "skipping fee '".$part_fee->itemdesc."'--not in section $categoryname\n" if $DEBUG;
3021         next;
3022       }
3023     } # otherwise include them all in the main section
3024     # XXX what to do when sectioning by location?
3025     
3026     my @ext_desc;
3027     my %base_invnums; # invnum => invoice date
3028     foreach ($cust_bill_pkg->cust_bill_pkg_fee) {
3029       if ($_->base_invnum) {
3030         my $base_bill = FS::cust_bill->by_key($_->base_invnum);
3031         my $base_date = $self->time2str_local('short', $base_bill->_date)
3032           if $base_bill;
3033         $base_invnums{$_->base_invnum} = $base_date || '';
3034       }
3035     }
3036     foreach (sort keys(%base_invnums)) {
3037       next if $_ == $self->invnum;
3038       # per convention, we must escape ext_description lines
3039       push @ext_desc,
3040         &{$escape_function}(
3041           $self->mt('from invoice #[_1] on [_2]', $_, $base_invnums{$_})
3042         );
3043     }
3044     my $desc = $part_fee->itemdesc_locale($self->cust_main->locale);
3045     # but not escape the base description line
3046
3047     push @items,
3048       { feepart     => $cust_bill_pkg->feepart,
3049         amount      => sprintf('%.2f', $cust_bill_pkg->setup + $cust_bill_pkg->recur),
3050         description => $desc,
3051         ext_description => \@ext_desc
3052         # sdate/edate?
3053       };
3054   }
3055   @items;
3056 }
3057
3058 sub _items_pkg {
3059   my $self = shift;
3060   my %options = @_;
3061
3062   warn "$me _items_pkg searching for all package line items\n"
3063     if $DEBUG > 1;
3064
3065   my @cust_bill_pkg = $self->_items_nontax;
3066
3067   warn "$me _items_pkg filtering line items\n"
3068     if $DEBUG > 1;
3069   my @items = $self->_items_cust_bill_pkg(\@cust_bill_pkg, @_);
3070
3071   if ($options{section} && $options{section}->{condensed}) {
3072
3073     warn "$me _items_pkg condensing section\n"
3074       if $DEBUG > 1;
3075
3076     my %itemshash = ();
3077     local $Storable::canonical = 1;
3078     foreach ( @items ) {
3079       my $item = { %$_ };
3080       delete $item->{ref};
3081       delete $item->{ext_description};
3082       my $key = freeze($item);
3083       $itemshash{$key} ||= 0;
3084       $itemshash{$key} ++; # += $item->{quantity};
3085     }
3086     @items = sort { $a->{description} cmp $b->{description} }
3087              map { my $i = thaw($_);
3088                    $i->{quantity} = $itemshash{$_};
3089                    $i->{amount} =
3090                      sprintf( "%.2f", $i->{quantity} * $i->{amount} );#unit_amount
3091                    $i;
3092                  }
3093              keys %itemshash;
3094   }
3095
3096   warn "$me _items_pkg returning ". scalar(@items). " items\n"
3097     if $DEBUG > 1;
3098
3099   @items;
3100 }
3101
3102 sub _taxsort {
3103   return 0 unless $a->itemdesc cmp $b->itemdesc;
3104   return -1 if $b->itemdesc eq 'Tax';
3105   return 1 if $a->itemdesc eq 'Tax';
3106   return -1 if $b->itemdesc eq 'Other surcharges';
3107   return 1 if $a->itemdesc eq 'Other surcharges';
3108   $a->itemdesc cmp $b->itemdesc;
3109 }
3110
3111 sub _items_tax {
3112   my $self = shift;
3113   my @cust_bill_pkg = sort _taxsort grep { ! $_->pkgnum and ! $_->feepart } 
3114     $self->cust_bill_pkg;
3115   my @items = $self->_items_cust_bill_pkg(\@cust_bill_pkg, @_);
3116
3117   if ( $self->conf->exists('always_show_tax') ) {
3118     my $itemdesc = $self->conf->config('always_show_tax') || 'Tax';
3119     if (0 == grep { $_->{description} eq $itemdesc } @items) {
3120       push @items,
3121         { 'description' => $itemdesc,
3122           'amount'      => 0.00 };
3123     }
3124   }
3125   @items;
3126 }
3127
3128 =item _items_cust_bill_pkg CUST_BILL_PKGS OPTIONS
3129
3130 Takes an arrayref of L<FS::cust_bill_pkg> objects, and returns a
3131 list of hashrefs describing the line items they generate on the invoice.
3132
3133 OPTIONS may include:
3134
3135 format: the invoice format.
3136
3137 escape_function: the function used to escape strings.
3138
3139 DEPRECATED? (expensive, mostly unused?)
3140 format_function: the function used to format CDRs.
3141
3142 section: a hashref containing 'category' and/or 'locationnum'; if this 
3143 is present, only returns line items that belong to that category and/or
3144 location (whichever is defined).
3145
3146 multisection: a flag indicating that this is a multisection invoice,
3147 which does something complicated.
3148
3149 Returns a list of hashrefs, each of which may contain:
3150
3151 pkgnum, description, amount, unit_amount, quantity, pkgpart, _is_setup, and 
3152 ext_description, which is an arrayref of detail lines to show below 
3153 the package line.
3154
3155 =cut
3156
3157 sub _items_cust_bill_pkg {
3158   my $self = shift;
3159   my $conf = $self->conf;
3160   my $cust_bill_pkgs = shift;
3161   my %opt = @_;
3162
3163   my $format = $opt{format} || '';
3164   my $escape_function = $opt{escape_function} || sub { shift };
3165   my $format_function = $opt{format_function} || '';
3166   my $no_usage = $opt{no_usage} || '';
3167   my $unsquelched = $opt{unsquelched} || ''; #unused
3168   my ($section, $locationnum, $category);
3169   if ( $opt{section} ) {
3170     $category = $opt{section}->{category};
3171     $locationnum = $opt{section}->{locationnum};
3172   }
3173   my $summary_page = $opt{summary_page} || ''; #unused
3174   my $multisection = defined($category) || defined($locationnum);
3175   # this variable is the value of the config setting, not whether it applies
3176   # to this particular line item.
3177   my $discount_show_always = $conf->exists('discount-show-always');
3178
3179   my $maxlength = $conf->config('cust_bill-latex_lineitem_maxlength') || 40;
3180
3181   my $cust_main = $self->cust_main;#for per-agent cust_bill-line_item-ate_style
3182
3183   # for location labels: use default location on the invoice date
3184   my $default_locationnum;
3185   if ( $self->custnum ) {
3186     my $h_cust_main;
3187     my @h_search = FS::h_cust_main->sql_h_search($self->_date);
3188     $h_cust_main = qsearchs({
3189         'table'     => 'h_cust_main',
3190         'hashref'   => { custnum => $self->custnum },
3191         'extra_sql' => $h_search[1],
3192         'addl_from' => $h_search[3],
3193     }) || $cust_main;
3194     $default_locationnum = $h_cust_main->ship_locationnum;
3195   } elsif ( $self->prospectnum ) {
3196     my $cust_location = qsearchs('cust_location',
3197       { prospectnum => $self->prospectnum,
3198         disabled => '' });
3199     $default_locationnum = $cust_location->locationnum if $cust_location;
3200   }
3201
3202   my @b = (); # accumulator for the line item hashes that we'll return
3203   my ($s, $r, $u, $d) = ( undef, undef, undef, undef );
3204             # the 'current' line item hashes for setup, recur, usage, discount
3205   foreach my $cust_bill_pkg ( @$cust_bill_pkgs )
3206   {
3207     # if the current line item is waiting to go out, and the one we're about
3208     # to start is not bundled, then push out the current one and start a new
3209     # one.
3210     if ( $d ) {
3211       $d->{amount} = $d->{setup_amount} + $d->{recur_amount};
3212     }
3213     foreach ( $s, $r, ($opt{skip_usage} ? () : $u ), $d ) {
3214       if ( $_ && !$cust_bill_pkg->hidden ) {
3215         $_->{amount}      = sprintf( "%.2f", $_->{amount} );
3216         $_->{amount}      =~ s/^\-0\.00$/0.00/;
3217         if (exists($_->{unit_amount})) {
3218           $_->{unit_amount} = sprintf( "%.2f", $_->{unit_amount} );
3219         }
3220         push @b, { %$_ };
3221         # we already decided to create this display line; don't reconsider it
3222         # now.
3223         #  if $_->{amount} != 0
3224         #  || $discount_show_always
3225         #  || ( ! $_->{_is_setup} && $_->{recur_show_zero} )
3226         #  || (   $_->{_is_setup} && $_->{setup_show_zero} )
3227         ;
3228         $_ = undef;
3229       }
3230     }
3231
3232     if ( $locationnum ) {
3233       # this is a location section; skip packages that aren't at this
3234       # service location.
3235       next if $cust_bill_pkg->pkgnum == 0; # skips fees...
3236       next if $self->cust_pkg_hash->{ $cust_bill_pkg->pkgnum }->locationnum 
3237               != $locationnum;
3238     }
3239
3240     # Consider display records for this item to determine if it belongs
3241     # in this section.  Note that if there are no display records, there
3242     # will be a default pseudo-record that includes all charge types 
3243     # and has no section name.
3244     my @cust_bill_pkg_display = $cust_bill_pkg->can('cust_bill_pkg_display')
3245                                   ? $cust_bill_pkg->cust_bill_pkg_display
3246                                   : ( $cust_bill_pkg );
3247
3248     warn "$me _items_cust_bill_pkg considering cust_bill_pkg ".
3249          $cust_bill_pkg->billpkgnum. ", pkgnum ". $cust_bill_pkg->pkgnum. "\n"
3250       if $DEBUG > 1;
3251
3252     if ( defined($category) ) {
3253       # then this is a package category section; process all display records
3254       # that belong to this section.
3255       @cust_bill_pkg_display = grep { $_->section eq $category }
3256                                 @cust_bill_pkg_display;
3257     } else {
3258       # otherwise, process all display records that aren't usage summaries
3259       # (I don't think there should be usage summaries if you aren't using 
3260       # category sections, but this is the historical behavior)
3261       @cust_bill_pkg_display = grep { !$_->summary }
3262                                 @cust_bill_pkg_display;
3263     }
3264
3265     my $classname = ''; # package class name, will fill in later
3266
3267     foreach my $display (@cust_bill_pkg_display) {
3268
3269       warn "$me _items_cust_bill_pkg considering cust_bill_pkg_display ".
3270            $display->billpkgdisplaynum. "\n"
3271         if $DEBUG > 1;
3272
3273       my $type = $display->type;
3274
3275       my $desc = $cust_bill_pkg->desc( $cust_main ? $cust_main->locale : '' );
3276       $desc = substr($desc, 0, $maxlength). '...'
3277         if $format eq 'latex' && length($desc) > $maxlength;
3278
3279       my %details_opt = ( 'format'          => $format,
3280                           'escape_function' => $escape_function,
3281                           'format_function' => $format_function,
3282                           'no_usage'        => $opt{'no_usage'},
3283                         );
3284
3285       if ( $cust_bill_pkg->pkgnum > 0 ) {
3286         # a "normal" package line item (not a quotation, not a fee, not a tax)
3287
3288         warn "$me _items_cust_bill_pkg cust_bill_pkg is non-tax\n"
3289           if $DEBUG > 1;
3290  
3291         my $cust_pkg = $cust_bill_pkg->cust_pkg;
3292         my $part_pkg = $cust_pkg->part_pkg;
3293
3294         # which pkgpart to show for display purposes?
3295         my $pkgpart = $cust_bill_pkg->pkgpart_override || $cust_pkg->pkgpart;
3296
3297         # start/end dates for invoice formats that do nonstandard 
3298         # things with them
3299         my %item_dates = ();
3300         %item_dates = map { $_ => $cust_bill_pkg->$_ } ('sdate', 'edate')
3301           unless $part_pkg->option('disable_line_item_date_ranges',1);
3302
3303         # not normally used, but pass this to the template anyway
3304         $classname = $part_pkg->classname;
3305
3306         if (    (!$type || $type eq 'S')
3307              && (    $cust_bill_pkg->setup != 0
3308                   || $cust_bill_pkg->setup_show_zero
3309                   || ($discount_show_always and $cust_bill_pkg->unitsetup > 0)
3310                 )
3311            )
3312          {
3313
3314           warn "$me _items_cust_bill_pkg adding setup\n"
3315             if $DEBUG > 1;
3316
3317           # append the word 'Setup' to the setup line if there's going to be
3318           # a recur line for the same package (i.e. not a one-time charge) 
3319           my $description = $desc;
3320           $description .= ' Setup'
3321             if $cust_bill_pkg->recur != 0
3322             || ($discount_show_always and $cust_bill_pkg->unitrecur > 0)
3323             || $cust_bill_pkg->recur_show_zero;
3324
3325           $description .= $cust_bill_pkg->time_period_pretty( $part_pkg,
3326                                                               $self->agentnum )
3327             if $part_pkg->is_prepaid #for prepaid, "display the validity period
3328                                      # triggered by the recurring charge freq
3329                                      # (RT#26274)
3330             && $cust_bill_pkg->recur == 0
3331             && ! $cust_bill_pkg->recur_show_zero;
3332
3333           my @d = ();
3334           my $svc_label;
3335
3336           # always pass the svc_label through to the template, even if 
3337           # not displaying it as an ext_description
3338           my @svc_labels = map &{$escape_function}($_),
3339                       $cust_pkg->h_labels_short($self->_date, undef, 'I');
3340
3341           $svc_label = $svc_labels[0];
3342
3343           unless ( $cust_pkg->part_pkg->hide_svc_detail
3344                 || $cust_bill_pkg->hidden )
3345           {
3346
3347             push @d, @svc_labels
3348               unless $cust_bill_pkg->pkgpart_override; #don't redisplay services
3349             # show the location label if it's not the customer's default
3350             # location, and we're not grouping items by location already
3351             if ( $cust_pkg->locationnum != $default_locationnum
3352                   and !defined($locationnum) ) {
3353               my $loc = $cust_pkg->location_label;
3354               $loc = substr($loc, 0, $maxlength). '...'
3355                 if $format eq 'latex' && length($loc) > $maxlength;
3356               push @d, &{$escape_function}($loc);
3357             }
3358
3359           } #unless hiding service details
3360
3361           push @d, $cust_bill_pkg->details(%details_opt)
3362             if $cust_bill_pkg->recur == 0;
3363
3364           if ( $cust_bill_pkg->hidden ) {
3365             $s->{amount}      += $cust_bill_pkg->setup;
3366             $s->{unit_amount} += $cust_bill_pkg->unitsetup;
3367             push @{ $s->{ext_description} }, @d;
3368           } else {
3369             $s = {
3370               _is_setup       => 1,
3371               description     => $description,
3372               pkgpart         => $pkgpart,
3373               pkgnum          => $cust_bill_pkg->pkgnum,
3374               amount          => $cust_bill_pkg->setup,
3375               setup_show_zero => $cust_bill_pkg->setup_show_zero,
3376               unit_amount     => $cust_bill_pkg->unitsetup,
3377               quantity        => $cust_bill_pkg->quantity,
3378               ext_description => \@d,
3379               svc_label       => ($svc_label || ''),
3380               locationnum     => $cust_pkg->locationnum, # sure, why not?
3381             };
3382           };
3383
3384         }
3385
3386         # should we show a recur line?
3387         # if type eq 'S', then NO, because we've been told not to.
3388         # otherwise, show the recur line if:
3389         # - there's a recurring charge
3390         # - or recur_show_zero is on
3391         # - or there's a positive unitrecur (so it's been discounted to zero)
3392         #   and discount-show-always is on
3393         if (    ( !$type || $type eq 'R' || $type eq 'U' )
3394              && (
3395                      $cust_bill_pkg->recur != 0
3396                   || !defined($s)
3397                   || ($discount_show_always and $cust_bill_pkg->unitrecur > 0)
3398                   || $cust_bill_pkg->recur_show_zero
3399                 )
3400            )
3401         {
3402
3403           warn "$me _items_cust_bill_pkg adding recur/usage\n"
3404             if $DEBUG > 1;
3405
3406           my $is_summary = $display->summary;
3407           my $description = $desc;
3408           if ( $type eq 'U' and defined($r) ) {
3409             # don't just show the same description as the recur line
3410             $description = $self->mt('Usage charges');
3411           }
3412
3413           my $part_pkg = $cust_pkg->part_pkg;
3414
3415           $description .= $cust_bill_pkg->time_period_pretty( $part_pkg,
3416                                                               $self->agentnum );
3417
3418           my @d = ();
3419           my @seconds = (); # for display of usage info
3420           my $svc_label = '';
3421
3422           #at least until cust_bill_pkg has "past" ranges in addition to
3423           #the "future" sdate/edate ones... see #3032
3424           my @dates = ( $self->_date );
3425           my $prev = $cust_bill_pkg->previous_cust_bill_pkg;
3426           push @dates, $prev->sdate if $prev;
3427           push @dates, undef if !$prev;
3428
3429           my @svc_labels = map &{$escape_function}($_),
3430                       $cust_pkg->h_labels_short(@dates, 'I');
3431           $svc_label = $svc_labels[0];
3432
3433           # show service labels, unless...
3434                     # the package is set not to display them
3435           unless ( $part_pkg->hide_svc_detail
3436                     # or this is a tax-like line item
3437                 || $cust_bill_pkg->itemdesc
3438                     # or this is a hidden (bundled) line item
3439                 || $cust_bill_pkg->hidden
3440                     # or this is a usage summary line
3441                 || $is_summary && $type && $type eq 'U'
3442                     # or this is a usage line and there's a recurring line
3443                     # for the package in the same section (which will 
3444                     # have service labels already)
3445                 || ($type eq 'U' and defined($r))
3446               )
3447           {
3448
3449             warn "$me _items_cust_bill_pkg adding service details\n"
3450               if $DEBUG > 1;
3451
3452             push @d, @svc_labels
3453               unless $cust_bill_pkg->pkgpart_override; #don't redisplay services
3454             warn "$me _items_cust_bill_pkg done adding service details\n"
3455               if $DEBUG > 1;
3456
3457             # show the location label if it's not the customer's default
3458             # location, and we're not grouping items by location already
3459             if ( $cust_pkg->locationnum != $default_locationnum
3460                   and !defined($locationnum) ) {
3461               my $loc = $cust_pkg->location_label;
3462               $loc = substr($loc, 0, $maxlength). '...'
3463                 if $format eq 'latex' && length($loc) > $maxlength;
3464               push @d, &{$escape_function}($loc);
3465             }
3466
3467             # Display of seconds_since_sqlradacct:
3468             # On the invoice, when processing @detail_items, look for a field
3469             # named 'seconds'.  This will contain total seconds for each 
3470             # service, in the same order as @ext_description.  For services 
3471             # that don't support this it will show undef.
3472             if ( $conf->exists('svc_acct-usage_seconds') 
3473                  and ! $cust_bill_pkg->pkgpart_override ) {
3474               foreach my $cust_svc ( 
3475                   $cust_pkg->h_cust_svc(@dates, 'I') 
3476                 ) {
3477
3478                 # eval because not having any part_export_usage exports 
3479                 # is a fatal error, last_bill/_date because that's how 
3480                 # sqlradius_hour billing does it
3481                 my $sec = eval {
3482                   $cust_svc->seconds_since_sqlradacct($dates[1] || 0, $dates[0]);
3483                 };
3484                 push @seconds, $sec;
3485               }
3486             } #if svc_acct-usage_seconds
3487
3488           } # if we are showing service labels
3489
3490           unless ( $is_summary ) {
3491             warn "$me _items_cust_bill_pkg adding details\n"
3492               if $DEBUG > 1;
3493
3494             #instead of omitting details entirely in this case (unwanted side
3495             # effects), just omit CDRs
3496             $details_opt{'no_usage'} = 1
3497               if $type && $type eq 'R';
3498
3499             push @d, $cust_bill_pkg->details(%details_opt);
3500           }
3501
3502           warn "$me _items_cust_bill_pkg calculating amount\n"
3503             if $DEBUG > 1;
3504   
3505           my $amount = 0;
3506           if (!$type) {
3507             $amount = $cust_bill_pkg->recur;
3508           } elsif ($type eq 'R') {
3509             $amount = $cust_bill_pkg->recur - $cust_bill_pkg->usage;
3510           } elsif ($type eq 'U') {
3511             $amount = $cust_bill_pkg->usage;
3512           }
3513   
3514           if ( !$type || $type eq 'R' ) {
3515
3516             warn "$me _items_cust_bill_pkg adding recur\n"
3517               if $DEBUG > 1;
3518
3519             my $unit_amount =
3520               ( $cust_bill_pkg->unitrecur > 0 ) ? $cust_bill_pkg->unitrecur
3521                                                 : $amount;
3522
3523             if ( $cust_bill_pkg->hidden ) {
3524               $r->{amount}      += $amount;
3525               $r->{unit_amount} += $unit_amount;
3526               push @{ $r->{ext_description} }, @d;
3527             } else {
3528               $r = {
3529                 description     => $description,
3530                 pkgpart         => $pkgpart,
3531                 pkgnum          => $cust_bill_pkg->pkgnum,
3532                 amount          => $amount,
3533                 recur_show_zero => $cust_bill_pkg->recur_show_zero,
3534                 unit_amount     => $unit_amount,
3535                 quantity        => $cust_bill_pkg->quantity,
3536                 %item_dates,
3537                 ext_description => \@d,
3538                 svc_label       => ($svc_label || ''),
3539                 locationnum     => $cust_pkg->locationnum,
3540               };
3541               $r->{'seconds'} = \@seconds if grep {defined $_} @seconds;
3542             }
3543
3544           } else {  # $type eq 'U'
3545
3546             warn "$me _items_cust_bill_pkg adding usage\n"
3547               if $DEBUG > 1;
3548
3549             if ( $cust_bill_pkg->hidden and defined($u) ) {
3550               # if this is a hidden package and there's already a usage
3551               # line for the bundle, add this package's total amount and
3552               # usage details to it
3553               $u->{amount}      += $amount;
3554               push @{ $u->{ext_description} }, @d;
3555             } elsif ( $amount ) {
3556               # create a new usage line
3557               $u = {
3558                 description     => $description,
3559                 pkgpart         => $pkgpart,
3560                 pkgnum          => $cust_bill_pkg->pkgnum,
3561                 amount          => $amount,
3562                 usage_item      => 1,
3563                 recur_show_zero => $cust_bill_pkg->recur_show_zero,
3564                 %item_dates,
3565                 ext_description => \@d,
3566                 locationnum     => $cust_pkg->locationnum,
3567               };
3568             } # else this has no usage, so don't create a usage section
3569           }
3570
3571         } # recurring or usage with recurring charge
3572
3573       } else { # taxes and fees
3574
3575         warn "$me _items_cust_bill_pkg cust_bill_pkg is tax\n"
3576           if $DEBUG > 1;
3577
3578         # items of this kind should normally not have sdate/edate.
3579         push @b, {
3580           'description' => $desc,
3581           'amount'      => sprintf('%.2f', $cust_bill_pkg->setup 
3582                                            + $cust_bill_pkg->recur)
3583         };
3584
3585       } # if package line item / other line item
3586
3587       # decide whether to show active discounts here
3588       if (
3589           # case 1: we are showing a single line for the package
3590           ( !$type )
3591           # case 2: we are showing a setup line for a package that has
3592           # no base recurring fee
3593           or ( $type eq 'S' and $cust_bill_pkg->unitrecur == 0 )
3594           # case 3: we are showing a recur line for a package that has 
3595           # a base recurring fee
3596           or ( $type eq 'R' and $cust_bill_pkg->unitrecur > 0 )
3597       ) {
3598
3599         my $item_discount = $cust_bill_pkg->_item_discount;
3600         if ( $item_discount ) {
3601           # $item_discount->{amount} is negative
3602
3603           if ( $d and $cust_bill_pkg->hidden ) {
3604             $d->{setup_amount} += $item_discount->{setup_amount};
3605             $d->{recur_amount} += $item_discount->{recur_amount};
3606           } else {
3607             $d = $item_discount;
3608             $_ = &{$escape_function}($_) foreach @{ $d->{ext_description} };
3609           }
3610
3611           # update the active line (before the discount) to show the 
3612           # original price (whether this is a hidden line or not)
3613
3614           $s->{amount} -= $item_discount->{setup_amount} if $s;
3615           $r->{amount} -= $item_discount->{recur_amount} if $r;
3616
3617         } # if there are any discounts
3618       } # if this is an appropriate place to show discounts
3619
3620     } # foreach $display
3621
3622   }
3623
3624   # discount amount is internally split up
3625   if ( $d ) {
3626     $d->{amount} = $d->{setup_amount} + $d->{recur_amount};
3627   }
3628
3629   foreach ( $s, $r, ($opt{skip_usage} ? () : $u ), $d ) {
3630     if ( $_  ) {
3631       $_->{amount}      = sprintf( "%.2f", $_->{amount} ),
3632         if exists($_->{amount});
3633       $_->{amount}      =~ s/^\-0\.00$/0.00/;
3634       if (exists($_->{unit_amount})) {
3635         $_->{unit_amount} = sprintf( "%.2f", $_->{unit_amount} );
3636       }
3637
3638       push @b, { %$_ };
3639       #if $_->{amount} != 0
3640       #  || $discount_show_always
3641       #  || ( ! $_->{_is_setup} && $_->{recur_show_zero} )
3642       #  || (   $_->{_is_setup} && $_->{setup_show_zero} )
3643     }
3644   }
3645
3646   warn "$me _items_cust_bill_pkg done considering cust_bill_pkgs\n"
3647     if $DEBUG > 1;
3648
3649   @b;
3650
3651 }
3652
3653 =item _items_discounts_avail
3654
3655 Returns an array of line item hashrefs representing available term discounts
3656 for this invoice.  This makes the same assumptions that apply to term 
3657 discounts in general: that the package is billed monthly, at a flat rate, 
3658 with no usage charges.  A prorated first month will be handled, as will 
3659 a setup fee if the discount is allowed to apply to setup fees.
3660
3661 =cut
3662
3663 sub _items_discounts_avail {
3664   my $self = shift;
3665
3666   #maybe move this method from cust_bill when quotations support discount_plans 
3667   return () unless $self->can('discount_plans');
3668   my %plans = $self->discount_plans;
3669
3670   my $list_pkgnums = 0; # if any packages are not eligible for all discounts
3671   $list_pkgnums = grep { $_->list_pkgnums } values %plans;
3672
3673   map {
3674     my $months = $_;
3675     my $plan = $plans{$months};
3676
3677     my $term_total = sprintf('%.2f', $plan->discounted_total);
3678     my $percent = sprintf('%.0f', 
3679                           100 * (1 - $term_total / $plan->base_total) );
3680     my $permonth = sprintf('%.2f', $term_total / $months);
3681     my $detail = $self->mt('discount on item'). ' '.
3682                  join(', ', map { "#$_" } $plan->pkgnums)
3683       if $list_pkgnums;
3684
3685     # discounts for non-integer months don't work anyway
3686     $months = sprintf("%d", $months);
3687
3688     +{
3689       description => $self->mt('Save [_1]% by paying for [_2] months',
3690                                 $percent, $months),
3691       amount      => $self->mt('[_1] ([_2] per month)', 
3692                                 $term_total, $money_char.$permonth),
3693       ext_description => ($detail || ''),
3694     }
3695   } #map
3696   sort { $b <=> $a } keys %plans;
3697
3698 }
3699
3700 1;