fix invoice_email_pdf_msgnum template inclusion, #41502, from #21654
[freeside.git] / FS / FS / Template_Mixin.pm
1 package FS::Template_Mixin;
2
3 use strict;
4 use vars qw( $DEBUG $me
5              $money_char
6              $date_format
7            );
8              # but NOT $conf
9 use vars qw( $invoice_lines @buf ); #yuck
10 use List::Util qw(sum); #can't import first, it conflicts with cust_main.first
11 use Date::Format;
12 use Date::Language;
13 use Text::Template 1.20;
14 use File::Temp 0.14;
15 use Archive::Zip qw( :ERROR_CODES :CONSTANTS );
16 use IO::Scalar;
17 use HTML::Entities;
18 use Cwd;
19 use FS::UID;
20 use FS::Misc qw( send_email );
21 use FS::Record qw( qsearch qsearchs );
22 use FS::Conf;
23 use FS::Misc qw( generate_ps generate_pdf );
24 use FS::pkg_category;
25 use FS::pkg_class;
26 use FS::invoice_mode;
27 use FS::L10N;
28
29 $DEBUG = 0;
30 $me = '[FS::Template_Mixin]';
31 FS::UID->install_callback( sub { 
32   my $conf = new FS::Conf; #global
33   $money_char  = $conf->config('money_char')  || '$';  
34   $date_format = $conf->config('date_format') || '%x'; #/YY
35 } );
36
37 =item conf [ MODE ]
38
39 Returns a configuration handle (L<FS::Conf>) set to the customer's locale.
40
41 If the "mode" pseudo-field is set on the object, the configuration handle
42 will be an L<FS::invoice_conf> for that invoice mode (and the customer's
43 locale).
44
45 =cut
46
47 sub conf {
48   my $self = shift;
49   my $mode = $self->get('mode');
50   if ($self->{_conf} and !defined($mode)) {
51     return $self->{_conf};
52   }
53
54   my $cust_main = $self->cust_main;
55   my $locale = $cust_main ? $cust_main->locale : '';
56   my $conf;
57   if ( $mode ) {
58     if ( ref $mode and $mode->isa('FS::invoice_mode') ) {
59       $mode = $mode->modenum;
60     } elsif ( $mode =~ /\D/ ) {
61       die "invalid invoice mode $mode";
62     }
63     $conf = qsearchs('invoice_conf', { modenum => $mode, locale => $locale });
64     if (!$conf) {
65       $conf = qsearchs('invoice_conf', { modenum => $mode, locale => '' });
66       # it doesn't have a locale, but system conf still might
67       $conf->set('locale' => $locale) if $conf;
68     }
69   }
70   # if $mode is unspecified, or if there is no invoice_conf matching this mode
71   # and locale, then use the system config only (but with the locale)
72   $conf ||= FS::Conf->new({ 'locale' => $locale });
73   # cache it
74   return $self->{_conf} = $conf;
75 }
76
77 =item print_text OPTIONS
78
79 Returns an text invoice, as a list of lines.
80
81 Options can be passed as a hash.
82
83 I<time>, if specified, is used to control the printing of overdue messages.  The
84 default is now.  It isn't the date of the invoice; that's the `_date' field.
85 It is specified as a UNIX timestamp; see L<perlfunc/"time">.  Also see
86 L<Time::Local> and L<Date::Parse> for conversion functions.
87
88 I<template>, if specified, is the name of a suffix for alternate invoices.
89
90 I<notice_name>, if specified, overrides "Invoice" as the name of the sent document (templates from 10/2009 or newer required)
91
92 =cut
93
94 sub print_text {
95   my $self = shift;
96   my %params;
97   if ( ref($_[0]) ) {
98     %params = %{ shift() };
99   } else {
100     %params = @_;
101   }
102
103   $params{'format'} = 'template'; # for some reason
104
105   $self->print_generic( %params );
106 }
107
108 =item print_latex HASHREF
109
110 Internal method - returns a filename of a filled-in LaTeX template for this
111 invoice (Note: add ".tex" to get the actual filename), and a filename of
112 an associated logo (with the .eps extension included).
113
114 See print_ps and print_pdf for methods that return PostScript and PDF output.
115
116 Options can be passed as a hash.
117
118 I<time>, if specified, is used to control the printing of overdue messages.  The
119 default is now.  It isn't the date of the invoice; that's the `_date' field.
120 It is specified as a UNIX timestamp; see L<perlfunc/"time">.  Also see
121 L<Time::Local> and L<Date::Parse> for conversion functions.
122
123 I<template>, if specified, is the name of a suffix for alternate invoices.  
124 This is strongly deprecated; see L<FS::invoice_conf> for the right way to
125 customize invoice templates for different purposes.
126
127 I<notice_name>, if specified, overrides "Invoice" as the name of the sent document (templates from 10/2009 or newer required)
128
129 =cut
130
131 sub print_latex {
132   my $self = shift;
133   my %params;
134
135   if ( ref($_[0]) ) {
136     %params = %{ shift() };
137   } else {
138     %params = @_;
139   }
140
141   $params{'format'} = 'latex';
142   my $conf = $self->conf;
143
144   # this needs to go away
145   my $template = $params{'template'};
146   # and this especially
147   $template ||= $self->_agent_template
148     if $self->can('_agent_template');
149
150   my $pkey = $self->primary_key;
151   my $tmp_template = $self->table. '.'. $self->$pkey. '.XXXXXXXX';
152
153   my $dir = $FS::UID::conf_dir. "/cache.". $FS::UID::datasrc;
154   my $lh = new File::Temp(
155     TEMPLATE => $tmp_template,
156     DIR      => $dir,
157     SUFFIX   => '.eps',
158     UNLINK   => 0,
159   ) or die "can't open temp file: $!\n";
160
161   my $agentnum = $self->agentnum;
162
163   if ( $template && $conf->exists("logo_${template}.eps", $agentnum) ) {
164     print $lh $conf->config_binary("logo_${template}.eps", $agentnum)
165       or die "can't write temp file: $!\n";
166   } else {
167     print $lh $conf->config_binary('logo.eps', $agentnum)
168       or die "can't write temp file: $!\n";
169   }
170   close $lh;
171   $params{'logo_file'} = $lh->filename;
172
173   if( $conf->exists('invoice-barcode') 
174         && $self->can('invoice_barcode')
175         && $self->invnum ) { # don't try to barcode statements
176       my $png_file = $self->invoice_barcode($dir);
177       my $eps_file = $png_file;
178       $eps_file =~ s/\.png$/.eps/g;
179       $png_file =~ /(barcode.*png)/;
180       $png_file = $1;
181       $eps_file =~ /(barcode.*eps)/;
182       $eps_file = $1;
183
184       my $curr_dir = cwd();
185       chdir($dir); 
186       # after painfuly long experimentation, it was determined that sam2p won't
187       # accept : and other chars in the path, no matter how hard I tried to
188       # escape them, hence the chdir (and chdir back, just to be safe)
189       system('sam2p', '-j:quiet', $png_file, 'EPS:', $eps_file ) == 0
190         or die "sam2p failed: $!\n";
191       unlink($png_file);
192       chdir($curr_dir);
193
194       $params{'barcode_file'} = $eps_file;
195   }
196
197   my @filled_in = $self->print_generic( %params );
198   
199   my $fh = new File::Temp( TEMPLATE => $tmp_template,
200                            DIR      => $dir,
201                            SUFFIX   => '.tex',
202                            UNLINK   => 0,
203                          ) or die "can't open temp file: $!\n";
204   binmode($fh, ':utf8'); # language support
205   print $fh join('', @filled_in );
206   close $fh;
207
208   $fh->filename =~ /^(.*).tex$/ or die "unparsable filename: ". $fh->filename;
209   return ($1, $params{'logo_file'}, $params{'barcode_file'});
210
211 }
212
213 sub agentnum {
214   my $self = shift;
215   my $cust_main = $self->cust_main;
216   $cust_main ? $cust_main->agentnum : $self->prospect_main->agentnum;
217 }
218
219 =item print_generic OPTION => VALUE ...
220
221 Internal method - returns a filled-in template for this invoice as a scalar.
222
223 See print_ps and print_pdf for methods that return PostScript and PDF output.
224
225 Required options
226
227 =over 4
228
229 =item format
230
231 The B<format> option is required and should be set to html, latex (print and PDF) or template (plaintext).
232
233 =back
234
235 Additional options
236
237 =over 4
238
239 =item notice_name
240
241 Overrides "Invoice" as the name of the sent document.
242
243 =item today
244
245 Used to control the printing of overdue messages.  The
246 default is now.  It isn't the date of the invoice; that's the `_date' field.
247 It is specified as a UNIX timestamp; see L<perlfunc/"time">.  Also see
248 L<Time::Local> and L<Date::Parse> for conversion functions.
249
250 =item logo_file
251
252 Logo file (path to temporary EPS file on the local filesystem)
253
254 =item cid
255
256 CID for inline (emailed) images (logo)
257
258 =item locale
259
260 Override customer's locale
261
262 =item unsquelch_cdr
263
264 Overrides any per customer cdr squelching when true
265
266 =item no_number
267
268 Supress the (invoice, quotation, statement, etc.) number
269
270 =item no_date
271
272 Supress the date
273
274 =item no_coupon
275
276 Supress the payment coupon
277
278 =item barcode_file
279
280 Barcode file (path to temporary EPS file on the local filesystem)
281
282 =item barcode_img
283
284 Flag indicating the barcode image should be a link (normal HTML dipaly)
285
286 =item barcode_cid
287
288 Barcode CID for inline (emailed) images
289
290 =item preref_callback
291
292 Coderef run for each line item, code should return HTML to be displayed
293 before that line item (quotations only)
294
295 =item template
296
297 Dprecated.  Used as a suffix for a configuration template.  Please 
298 don't use this, it deprecated in favor of more flexible alternatives.
299
300 =back
301
302 =cut
303
304 #what's with all the sprintf('%10.2f')'s in here?  will it cause any
305 # (alignment in text invoice?) problems to change them all to '%.2f' ?
306 # yes: fixed width/plain text printing will be borked
307 sub print_generic {
308   my( $self, %params ) = @_;
309   my $conf = $self->conf;
310
311   my $today = $params{today} ? $params{today} : time;
312   warn "$me print_generic called on $self with suffix $params{template}\n"
313     if $DEBUG;
314
315   my $format = $params{format};
316   die "Unknown format: $format"
317     unless $format =~ /^(latex|html|template)$/;
318
319   my $cust_main = $self->cust_main || $self->prospect_main;
320
321   my $locale = $params{'locale'} || $cust_main->locale;
322
323   my %delimiters = ( 'latex'    => [ '[@--', '--@]' ],
324                      'html'     => [ '<%=', '%>' ],
325                      'template' => [ '{', '}' ],
326                    );
327
328   warn "$me print_generic creating template\n"
329     if $DEBUG > 1;
330
331   # set the notice name here, and nowhere else.
332   my $notice_name =  $params{notice_name}
333                   || $conf->config('notice_name')
334                   || $self->notice_name;
335
336   #create the template
337   my $template = $params{template} ? $params{template} : $self->_agent_template;
338   my $templatefile = $self->template_conf. $format;
339   $templatefile .= "_$template"
340     if length($template) && $conf->exists($templatefile."_$template");
341
342   # the base template
343   my @invoice_template = map "$_\n", $conf->config($templatefile)
344     or die "cannot load config data $templatefile";
345
346   if ( $format eq 'latex' && grep { /^%%Detail/ } @invoice_template ) {
347     #change this to a die when the old code is removed
348     # it's been almost ten years, changing it to a die
349     die "old-style invoice template $templatefile; ".
350          "patch with conf/invoice_latex.diff or use new conf/invoice_latex*\n";
351          #$old_latex = 'true';
352          #@invoice_template = _translate_old_latex_format(@invoice_template);
353   } 
354
355   warn "$me print_generic creating T:T object\n"
356     if $DEBUG > 1;
357
358   my $text_template = new Text::Template(
359     TYPE => 'ARRAY',
360     SOURCE => \@invoice_template,
361     DELIMITERS => $delimiters{$format},
362   );
363
364   warn "$me print_generic compiling T:T object\n"
365     if $DEBUG > 1;
366
367   $text_template->compile()
368     or die "Can't compile $templatefile: $Text::Template::ERROR\n";
369
370
371   # additional substitution could possibly cause breakage in existing templates
372   my %convert_maps = ( 
373     'latex' => {
374                  'notes'         => sub { map "$_", @_ },
375                  'footer'        => sub { map "$_", @_ },
376                  'smallfooter'   => sub { map "$_", @_ },
377                  'returnaddress' => sub { map "$_", @_ },
378                  'coupon'        => sub { map "$_", @_ },
379                  'summary'       => sub { map "$_", @_ },
380                },
381     'html'  => {
382                  'notes' =>
383                    sub {
384                      map { 
385                        s/%%(.*)$/<!-- $1 -->/g;
386                        s/\\section\*\{\\textsc\{(.)(.*)\}\}/<p><b><font size="+1">$1<\/font>\U$2<\/b>/g;
387                        s/\\begin\{enumerate\}/<ol>/g;
388                        s/\\item /  <li>/g;
389                        s/\\end\{enumerate\}/<\/ol>/g;
390                        s/\\textbf\{(.*)\}/<b>$1<\/b>/g;
391                        s/\\\\\*/<br>/g;
392                        s/\\dollar ?/\$/g;
393                        s/\\#/#/g;
394                        s/~/&nbsp;/g;
395                        $_;
396                      }  @_
397                    },
398                  'footer' =>
399                    sub { map { s/~/&nbsp;/g; s/\\\\\*?\s*$/<BR>/; $_; } @_ },
400                  'smallfooter' =>
401                    sub { map { s/~/&nbsp;/g; s/\\\\\*?\s*$/<BR>/; $_; } @_ },
402                  'returnaddress' =>
403                    sub {
404                      map { 
405                        s/~/&nbsp;/g;
406                        s/\\\\\*?\s*$/<BR>/;
407                        s/\\hyphenation\{[\w\s\-]+}//;
408                        s/\\([&])/$1/g;
409                        $_;
410                      }  @_
411                    },
412                  'coupon'        => sub { "" },
413                  'summary'       => sub { "" },
414                },
415     'template' => {
416                  'notes' =>
417                    sub {
418                      map { 
419                        s/%%.*$//g;
420                        s/\\section\*\{\\textsc\{(.*)\}\}/\U$1/g;
421                        s/\\begin\{enumerate\}//g;
422                        s/\\item /  * /g;
423                        s/\\end\{enumerate\}//g;
424                        s/\\textbf\{(.*)\}/$1/g;
425                        s/\\\\\*/ /;
426                        s/\\dollar ?/\$/g;
427                        $_;
428                      }  @_
429                    },
430                  'footer' =>
431                    sub { map { s/~/ /g; s/\\\\\*?\s*$/\n/; $_; } @_ },
432                  'smallfooter' =>
433                    sub { map { s/~/ /g; s/\\\\\*?\s*$/\n/; $_; } @_ },
434                  'returnaddress' =>
435                    sub {
436                      map { 
437                        s/~/ /g;
438                        s/\\\\\*?\s*$/\n/;             # dubious
439                        s/\\hyphenation\{[\w\s\-]+}//;
440                        $_;
441                      }  @_
442                    },
443                  'coupon'        => sub { "" },
444                  'summary'       => sub { "" },
445                },
446   );
447
448
449   # hashes for differing output formats
450   my %nbsps = ( 'latex'    => '~',
451                 'html'     => '',    # '&nbps;' would be nice
452                 'template' => '',    # not used
453               );
454   my $nbsp = $nbsps{$format};
455
456   my %escape_functions = ( 'latex'    => \&_latex_escape,
457                            'html'     => \&_html_escape_nbsp,#\&encode_entities,
458                            'template' => sub { shift },
459                          );
460   my $escape_function = $escape_functions{$format};
461   my $escape_function_nonbsp = ($format eq 'html')
462                                  ? \&_html_escape : $escape_function;
463
464   my %newline_tokens = (  'latex'     => '\\\\',
465                           'html'      => '<br>',
466                           'template'  => "\n",
467                         );
468   my $newline_token = $newline_tokens{$format};
469
470   warn "$me generating template variables\n"
471     if $DEBUG > 1;
472
473   # generate template variables
474   my $returnaddress;
475
476   if (
477          defined( $conf->config_orbase( "invoice_${format}returnaddress",
478                                         $template
479                                       )
480                 )
481        && length( $conf->config_orbase( "invoice_${format}returnaddress",
482                                         $template
483                                       )
484                 )
485   ) {
486
487     $returnaddress = join("\n",
488       $conf->config_orbase("invoice_${format}returnaddress", $template)
489     );
490
491   } elsif ( grep /\S/,
492             $conf->config_orbase('invoice_latexreturnaddress', $template) ) {
493
494     my $convert_map = $convert_maps{$format}{'returnaddress'};
495     $returnaddress =
496       join( "\n",
497             &$convert_map( $conf->config_orbase( "invoice_latexreturnaddress",
498                                                  $template
499                                                )
500                          )
501           );
502   } elsif ( grep /\S/, $conf->config('company_address', $cust_main->agentnum) ) {
503
504     my $convert_map = $convert_maps{$format}{'returnaddress'};
505     $returnaddress = join( "\n", &$convert_map(
506                                    map { s/( {2,})/'~' x length($1)/eg;
507                                          s/$/\\\\\*/;
508                                          $_
509                                        }
510                                      ( $conf->config('company_name', $cust_main->agentnum),
511                                        $conf->config('company_address', $cust_main->agentnum),
512                                      )
513                                  )
514                      );
515
516   } else {
517
518     my $warning = "Couldn't find a return address; ".
519                   "do you need to set the company_address configuration value?";
520     warn "$warning\n";
521     $returnaddress = $nbsp;
522     #$returnaddress = $warning;
523
524   }
525
526   warn "$me generating invoice data\n"
527     if $DEBUG > 1;
528
529   my $agentnum = $cust_main->agentnum;
530
531   my %invoice_data = (
532
533     #invoice from info
534     'company_name'    => scalar( $conf->config('company_name', $agentnum) ),
535     'company_address' => join("\n", $conf->config('company_address', $agentnum) ). "\n",
536     'company_phonenum'=> scalar( $conf->config('company_phonenum', $agentnum) ),
537     'returnaddress'   => $returnaddress,
538     'agent'           => &$escape_function($cust_main->agent->agent),
539
540     #invoice/quotation info
541     'no_number'       => $params{'no_number'},
542     'invnum'          => ( $params{'no_number'} ? '' : $self->invnum ),
543     'quotationnum'    => $self->quotationnum,
544     'no_date'         => $params{'no_date'},
545     '_date'           => ( $params{'no_date'} ? '' : $self->_date ),
546       # workaround for inconsistent behavior in the early plain text 
547       # templates; see RT#28271
548     'date'            => ( $params{'no_date'}
549                              ? ''
550                              : ($format eq 'template'
551                                ? $self->_date
552                                : $self->time2str_local('long', $self->_date, $format)
553                                )
554                          ),
555     'today'           => $self->time2str_local('long', $today, $format),
556     'terms'           => $self->terms,
557     'template'        => $template, #params{'template'},
558     'notice_name'     => $notice_name, # escape?
559     'current_charges' => sprintf("%.2f", $self->charged),
560     'duedate'         => $self->due_date2str('rdate'), #date_format?
561
562     #customer info
563     'custnum'         => $cust_main->display_custnum,
564     'prospectnum'     => $cust_main->prospectnum,
565     'agent_custid'    => &$escape_function($cust_main->agent_custid),
566     ( map { $_ => &$escape_function($cust_main->$_()) }
567         qw( company address1 address2 city state zip fax )
568     ),
569     'payname'         => &$escape_function( $cust_main->invoice_attn
570                                              || $cust_main->contact_firstlast ),
571
572     #global config
573     'ship_enable'     => $cust_main->invoice_ship_address || $conf->exists('invoice-ship_address'),
574     'unitprices'      => $conf->exists('invoice-unitprice'),
575     'smallernotes'    => $conf->exists('invoice-smallernotes'),
576     'smallerfooter'   => $conf->exists('invoice-smallerfooter'),
577     'balance_due_below_line' => $conf->exists('balance_due_below_line'),
578    
579     #layout info -- would be fancy to calc some of this and bury the template
580     #               here in the code
581     'topmargin'             => scalar($conf->config('invoice_latextopmargin', $agentnum)),
582     'headsep'               => scalar($conf->config('invoice_latexheadsep', $agentnum)),
583     'textheight'            => scalar($conf->config('invoice_latextextheight', $agentnum)),
584     'extracouponspace'      => scalar($conf->config('invoice_latexextracouponspace', $agentnum)),
585     'couponfootsep'         => scalar($conf->config('invoice_latexcouponfootsep', $agentnum)),
586     'verticalreturnaddress' => $conf->exists('invoice_latexverticalreturnaddress', $agentnum),
587     'addresssep'            => scalar($conf->config('invoice_latexaddresssep', $agentnum)),
588     'amountenclosedsep'     => scalar($conf->config('invoice_latexcouponamountenclosedsep', $agentnum)),
589     'coupontoaddresssep'    => scalar($conf->config('invoice_latexcoupontoaddresssep', $agentnum)),
590     'addcompanytoaddress'   => $conf->exists('invoice_latexcouponaddcompanytoaddress', $agentnum),
591
592     # better hang on to conf_dir for a while (for old templates)
593     'conf_dir'        => "$FS::UID::conf_dir/conf.$FS::UID::datasrc",
594
595     #these are only used when doing paged plaintext
596     'page'            => 1,
597     'total_pages'     => 1,
598
599   );
600  
601   #localization
602   $invoice_data{'emt'} = sub { &$escape_function($self->mt(@_)) };
603   # prototype here to silence warnings
604   $invoice_data{'time2str'} = sub ($;$$) { $self->time2str_local(@_, $format) };
605
606   my $min_sdate = 999999999999;
607   my $max_edate = 0;
608   foreach my $cust_bill_pkg ( $self->cust_bill_pkg ) {
609     next unless $cust_bill_pkg->pkgnum > 0;
610     $min_sdate = $cust_bill_pkg->sdate
611       if length($cust_bill_pkg->sdate) && $cust_bill_pkg->sdate < $min_sdate;
612     $max_edate = $cust_bill_pkg->edate
613       if length($cust_bill_pkg->edate) && $cust_bill_pkg->edate > $max_edate;
614   }
615
616   $invoice_data{'bill_period'} = '';
617   $invoice_data{'bill_period'} =
618       $self->time2str_local('%e %h', $min_sdate, $format) 
619       . " to " .
620       $self->time2str_local('%e %h', $max_edate, $format)
621     if ($max_edate != 0 && $min_sdate != 999999999999);
622
623   $invoice_data{finance_section} = '';
624   if ( $conf->config('finance_pkgclass') ) {
625     my $pkg_class =
626       qsearchs('pkg_class', { classnum => $conf->config('finance_pkgclass') });
627     $invoice_data{finance_section} = $pkg_class->categoryname;
628   } 
629   $invoice_data{finance_amount} = '0.00';
630   $invoice_data{finance_section} ||= 'Finance Charges'; #avoid config confusion
631
632   my $countrydefault = $conf->config('countrydefault') || 'US';
633   foreach ( qw( address1 address2 city state zip country fax) ){
634     my $method = 'ship_'.$_;
635     $invoice_data{"ship_$_"} = $escape_function->($cust_main->$method);
636   }
637   if ( length($cust_main->ship_company) ) {
638     $invoice_data{'ship_company'} = $escape_function->($cust_main->ship_company);
639   } else {
640     $invoice_data{'ship_company'} = $escape_function->($cust_main->company);
641   }
642   $invoice_data{'ship_contact'} = $escape_function->($cust_main->contact);
643   $invoice_data{'ship_country'} = ''
644     if ( $invoice_data{'ship_country'} eq $countrydefault );
645   
646   $invoice_data{'cid'} = $params{'cid'}
647     if $params{'cid'};
648
649   if ( $cust_main->country eq $countrydefault ) {
650     $invoice_data{'country'} = '';
651   } else {
652     $invoice_data{'country'} = &$escape_function($cust_main->bill_country_full);
653   }
654
655   my @address = ();
656   $invoice_data{'address'} = \@address;
657   push @address,
658     $invoice_data{'payname'}.
659       ( $cust_main->po_number
660           ? " (P.O. #". $cust_main->po_number. ")"
661           : ''
662       )
663   ;
664   push @address, $cust_main->company
665     if $cust_main->company;
666   push @address, $cust_main->address1;
667   push @address, $cust_main->address2
668     if $cust_main->address2;
669   push @address,
670     $cust_main->city. ", ". $cust_main->state. "  ".  $cust_main->zip;
671   push @address, $invoice_data{'country'}
672     if $invoice_data{'country'};
673   push @address, ''
674     while (scalar(@address) < 5);
675
676   $invoice_data{'logo_file'} = $params{'logo_file'}
677     if $params{'logo_file'};
678   $invoice_data{'barcode_file'} = $params{'barcode_file'}
679     if $params{'barcode_file'};
680   $invoice_data{'barcode_img'} = $params{'barcode_img'}
681     if $params{'barcode_img'};
682   $invoice_data{'barcode_cid'} = $params{'barcode_cid'}
683     if $params{'barcode_cid'};
684
685   my( $pr_total, @pr_cust_bill ) = $self->previous; #previous balance
686 #  my( $cr_total, @cr_cust_credit ) = $self->cust_credit; #credits
687   #my $balance_due = $self->owed + $pr_total - $cr_total;
688   my $balance_due = $self->owed;
689   if ( $self->enable_previous ) {
690     $balance_due += $pr_total;
691   }
692   # otherwise the previous balance is not shown, so including it in the
693   # balance due is just confusing
694
695   # the sum of amount owed on all invoices
696   # (this is used in the summary & on the payment coupon)
697   $invoice_data{'balance'} = sprintf("%.2f", $balance_due);
698
699   # flag telling this invoice to have a first-page summary
700   my $summarypage = '';
701
702   if ( $self->custnum && $self->invnum ) {
703     # XXX should be an FS::cust_bill method to set the defaults, instead
704     # of checking the type here
705
706     # info from customer's last invoice before this one, for some 
707     # summary formats
708     $invoice_data{'last_bill'} = {};
709  
710     my $last_bill = $self->previous_bill;
711     if ( $last_bill ) {
712
713       # "balance_date_range" unfortunately is unsuitable for this, since it
714       # cares about application dates.  We want to know the sum of all 
715       # _top-level transactions_ dated before the last invoice.
716       #
717       # still do this for the "Previous Balance" line of the summary block
718       my @sql =
719         map "$_ WHERE _date <= ? AND custnum = ?", (
720           "SELECT      COALESCE( SUM(charged), 0 ) FROM cust_bill",
721           "SELECT -1 * COALESCE( SUM(amount),  0 ) FROM cust_credit",
722           "SELECT -1 * COALESCE( SUM(paid),    0 ) FROM cust_pay",
723           "SELECT      COALESCE( SUM(refund),  0 ) FROM cust_refund",
724         );
725
726       # the customer's current balance immediately after generating the last 
727       # bill
728
729       my $last_bill_balance = $last_bill->charged;
730       foreach (@sql) {
731         my $delta = FS::Record->scalar_sql(
732           $_,
733           $last_bill->_date - 1,
734           $self->custnum,
735         );
736         $last_bill_balance += $delta;
737       }
738
739       $last_bill_balance = sprintf("%.2f", $last_bill_balance);
740
741       warn sprintf("LAST BILL: INVNUM %d, DATE %s, BALANCE %.2f\n\n",
742         $last_bill->invnum,
743         $self->time2str_local('%D', $last_bill->_date),
744         $last_bill_balance
745       ) if $DEBUG > 0;
746       # ("true_previous_balance" is a terrible name, but at least it's no
747       # longer stored in the database)
748       $invoice_data{'true_previous_balance'} = $last_bill_balance;
749
750       # Now, get all applications of credits/payments dated on or after the
751       # previous bill, to invoices before the current bill. (The
752       # credit/payment date restriction prevents these from intersecting
753       # the "Previous Balance" set.)
754       # These are "adjustments". The past due balance will be shown as
755       # Previous Balance - Adjustments.
756       my $adjustments = 0;
757       @sql = map {
758         "SELECT COALESCE(SUM(y.amount),0) FROM $_ JOIN cust_bill USING (invnum)
759          WHERE cust_bill._date < ?
760            AND x._date >= ?
761            AND cust_bill.custnum = ?"
762         } "cust_credit AS x JOIN cust_credit_bill y USING (crednum)",
763           "cust_pay    AS x JOIN cust_bill_pay    y USING (paynum)"
764       ;
765       foreach (@sql) {
766         my $delta = FS::Record->scalar_sql(
767           $_,
768           $self->_date,
769           $last_bill->_date,
770           $self->custnum,
771         );
772         $adjustments += $delta;
773       }
774       $invoice_data{'balance_adjustments'} = sprintf("%.2f", $adjustments);
775
776       warn sprintf("BALANCE ADJUSTMENTS: %.2f\n\n",
777                    $invoice_data{'balance_adjustments'}
778       ) if $DEBUG > 0;
779
780       # the sum of amount owed on all previous invoices
781       # ($pr_total is used elsewhere but not as $previous_balance)
782       $invoice_data{'previous_balance'} = sprintf("%.2f", $pr_total);
783
784       $invoice_data{'last_bill'}{'_date'} = $last_bill->_date; #unformatted
785       my (@payments, @credits);
786       # for formats that itemize previous payments
787       foreach my $cust_pay ( qsearch('cust_pay', {
788                               'custnum' => $self->custnum,
789                               '_date'   => { op => '>=',
790                                              value => $last_bill->_date }
791                              } ) )
792       {
793         next if $cust_pay->_date > $self->_date;
794         push @payments, {
795             '_date'       => $cust_pay->_date,
796             'date'        => $self->time2str_local('long', $cust_pay->_date, $format),
797             'payinfo'     => $cust_pay->payby_payinfo_pretty,
798             'amount'      => sprintf('%.2f', $cust_pay->paid),
799         };
800         # not concerned about applications
801       }
802       foreach my $cust_credit ( qsearch('cust_credit', {
803                               'custnum' => $self->custnum,
804                               '_date'   => { op => '>=',
805                                              value => $last_bill->_date }
806                              } ) )
807       {
808         next if $cust_credit->_date > $self->_date;
809         push @credits, {
810             '_date'       => $cust_credit->_date,
811             'date'        => $self->time2str_local('long', $cust_credit->_date, $format),
812             'creditreason'=> $cust_credit->reason,
813             'amount'      => sprintf('%.2f', $cust_credit->amount),
814         };
815       }
816       $invoice_data{'previous_payments'} = \@payments;
817       $invoice_data{'previous_credits'}  = \@credits;
818     } else {
819       # there is no $last_bill
820       $invoice_data{'true_previous_balance'} =
821       $invoice_data{'balance_adjustments'}   =
822       $invoice_data{'previous_balance'}      = '0.00';
823       $invoice_data{'previous_payments'} = [];
824       $invoice_data{'previous_credits'} = [];
825     }
826  
827     if ( $conf->exists('invoice_usesummary', $agentnum) ) {
828       $invoice_data{'summarypage'} = $summarypage = 1;
829     }
830
831   } # if this is an invoice
832
833   warn "$me substituting variables in notes, footer, smallfooter\n"
834     if $DEBUG > 1;
835
836   my $tc = $self->template_conf;
837   my @include = ( [ $tc,        'notes' ],
838                   [ 'invoice_', 'footer' ],
839                   [ 'invoice_', 'smallfooter', ],
840                   [ 'invoice_', 'watermark' ],
841                 );
842   push @include, [ $tc,        'coupon', ]
843     unless $params{'no_coupon'};
844
845   foreach my $i (@include) {
846
847     # load the configuration for this sub-template
848
849     my($base, $include) = @$i;
850
851     my $inc_file = $conf->key_orbase("$base$format$include", $template);
852
853     my @inc_src = $conf->config($inc_file, $agentnum);
854     if (!@inc_src) {
855       my $converter = $convert_maps{$format}{$include};
856       if ( $converter ) {
857         # then attempt to convert LaTeX to the requested format
858         $inc_file = $conf->key_orbase($base.'latex'.$include, $template);
859         @inc_src = &$converter( $conf->config($inc_file, $agentnum) );
860         foreach (@inc_src) {
861           # this isn't included in the convert_maps
862           my ($open, $close) = @{ $delimiters{$format} };
863           s/\[\@--/$open/g;
864           s/--\@\]/$close/g;
865         }
866       }
867     } # else @inc_src is empty and that's fine
868
869     # make a Text::Template out of it
870
871     my $inc_tt = new Text::Template (
872       TYPE       => 'ARRAY',
873       SOURCE     => [ map "$_\n", @inc_src ],
874       DELIMITERS => $delimiters{$format},
875     ) or die "Can't create new Text::Template object: $Text::Template::ERROR";
876
877     unless ( $inc_tt->compile() ) {
878       my $error = "Can't compile $inc_file template: $Text::Template::ERROR\n";
879       warn $error. "Template:\n". join('', map "$_\n", @inc_src);
880       die $error;
881     }
882
883     # fill in variables
884
885     $invoice_data{$include} = $inc_tt->fill_in( HASH => \%invoice_data );
886
887     $invoice_data{$include} =~ s/\n+$//
888       if ($format eq 'latex');
889   }
890
891 # if (well, probably when) we still need PO numbers in the brave new world of
892 # 4.x, then we'll have to add them back as their own customer fields
893 #  # let invoices use either of these as needed
894 #  $invoice_data{'po_num'} = ($cust_main->payby eq 'BILL') 
895 #    ? $cust_main->payinfo : '';
896 #  $invoice_data{'po_line'} = 
897 #    (  $cust_main->payby eq 'BILL' && $cust_main->payinfo )
898 #      ? &$escape_function($self->mt("Purchase Order #").$cust_main->payinfo)
899 #      : $nbsp;
900
901   my %money_chars = ( 'latex'    => '',
902                       'html'     => $conf->config('money_char') || '$',
903                       'template' => '',
904                     );
905   my $money_char = $money_chars{$format};
906
907   # extremely dubious
908   my %other_money_chars = ( 'latex'    => '\dollar ',#XXX should be a config too
909                             'html'     => $conf->config('money_char') || '$',
910                             'template' => '',
911                           );
912   my $other_money_char = $other_money_chars{$format};
913   $invoice_data{'dollar'} = $other_money_char;
914
915   my %minus_signs = ( 'latex'    => '$-$',
916                       'html'     => '&minus;',
917                       'template' => '- ' );
918   my $minus = $minus_signs{$format};
919
920   my @detail_items = ();
921   my @total_items = ();
922   my @buf = ();
923   my @sections = ();
924
925   $invoice_data{'detail_items'} = \@detail_items;
926   $invoice_data{'total_items'} = \@total_items;
927   $invoice_data{'buf'} = \@buf;
928   $invoice_data{'sections'} = \@sections;
929
930   warn "$me generating sections\n"
931     if $DEBUG > 1;
932
933   my $unsquelched = $params{unsquelch_cdr} || $cust_main->squelch_cdr ne 'Y';
934   my $multisection = $self->has_sections;
935   $conf->exists($tc.'sections', $cust_main->agentnum) ||
936                      $conf->exists($tc.'sections_by_location', $cust_main->agentnum);
937   $invoice_data{'multisection'} = $multisection;
938   my $late_sections;
939   my $extra_sections = [];
940   my $extra_lines = ();
941
942   # default section ('Charges')
943   my $default_section = { 'description' => '',
944                           'subtotal'    => '', 
945                           'no_subtotal' => 1,
946                         };
947
948   # Previous Charges section
949   # subtotal is the first return value from $self->previous
950   my $previous_section;
951   # if the invoice has major sections, or if we're summarizing previous 
952   # charges with a single line, or if we've been specifically told to put them
953   # in a section, create a section for previous charges:
954   if ( $multisection or
955        $conf->exists('previous_balance-summary_only') or
956        $conf->exists('previous_balance-section') ) {
957     
958     $previous_section =  { 'description' => $self->mt('Previous Charges'),
959                            'subtotal'    => $other_money_char.
960                                             sprintf('%.2f', $pr_total),
961                            'summarized'  => '', #why? $summarypage ? 'Y' : '',
962                          };
963     $previous_section->{posttotal} = '0 / 30 / 60 / 90 days overdue '. 
964       join(' / ', map { $cust_main->balance_date_range(@$_) }
965                   $self->_prior_month30s
966           )
967       if $conf->exists('invoice_include_aging');
968
969   } else {
970     # otherwise put them in the main section
971     $previous_section = $default_section;
972   }
973
974   my $adjust_section = {
975     'description'    => $self->mt('Credits, Payments, and Adjustments'),
976     'adjust_section' => 1,
977     'subtotal'       => 0,   # adjusted below
978   };
979   my $adjust_weight = _pkg_category($adjust_section->{description})
980                         ? _pkg_category($adjust_section->{description})->weight
981                         : 0;
982   $adjust_section->{'summarized'} = ''; #why? $summarypage && !$adjust_weight ? 'Y' : '';
983   # Note: 'sort_weight' here is actually a flag telling whether there is an
984   # explicit package category for the adjust section. If so, certain behavior
985   # happens.
986   $adjust_section->{'sort_weight'} = $adjust_weight;
987
988
989   if ( $multisection ) {
990     ($extra_sections, $extra_lines) =
991       $self->_items_extra_usage_sections($escape_function_nonbsp, $format)
992       if $conf->exists('usage_class_as_a_section', $cust_main->agentnum)
993       && $self->can('_items_extra_usage_sections');
994
995     push @$extra_sections, $adjust_section if $adjust_section->{sort_weight};
996
997     push @detail_items, @$extra_lines if $extra_lines;
998
999     # the code is written so that both methods can be used together, but
1000     # we haven't yet changed the template to take advantage of that, so for 
1001     # now, treat them as mutually exclusive.
1002     my %section_method = ( by_category => 1 );
1003     if ( $conf->config($tc.'sections_method') eq 'location' ) {
1004       %section_method = ( by_location => 1 );
1005     }
1006     my ($early, $late) =
1007       $self->_items_sections( 'summary' => $summarypage,
1008                               'escape'  => $escape_function_nonbsp,
1009                               'extra_sections' => $extra_sections,
1010                               'format'  => $format,
1011                               %section_method
1012                             );
1013     push @sections, @$early;
1014     $late_sections = $late;
1015
1016     if (    $conf->exists('svc_phone_sections')
1017          && $self->can('_items_svc_phone_sections')
1018        )
1019     {
1020       my ($phone_sections, $phone_lines) =
1021         $self->_items_svc_phone_sections($escape_function_nonbsp, $format);
1022       push @{$late_sections}, @$phone_sections;
1023       push @detail_items, @$phone_lines;
1024     }
1025     if ( $conf->exists('voip-cust_accountcode_cdr')
1026          && $cust_main->accountcode_cdr
1027          && $self->can('_items_accountcode_cdr')
1028        )
1029     {
1030       my ($accountcode_section, $accountcode_lines) =
1031         $self->_items_accountcode_cdr($escape_function_nonbsp,$format);
1032       if ( scalar(@$accountcode_lines) ) {
1033           push @{$late_sections}, $accountcode_section;
1034           push @detail_items, @$accountcode_lines;
1035       }
1036     }
1037   } else {# not multisection
1038     # make a default section
1039     push @sections, $default_section;
1040     # and calculate the finance charge total, since it won't get done otherwise.
1041     # and the default section total
1042     # XXX possibly finance_pkgclass should not be used in this manner?
1043     my @finance_charges;
1044     my @charges;
1045     foreach my $cust_bill_pkg ( $self->cust_bill_pkg ) {
1046       if ( $invoice_data{finance_section} and 
1047         grep { $_->section eq $invoice_data{finance_section} }
1048            $cust_bill_pkg->cust_bill_pkg_display ) {
1049         # I think these are always setup fees, but just to be sure...
1050         push @finance_charges, $cust_bill_pkg->recur + $cust_bill_pkg->setup;
1051       } else {
1052         push @charges, $cust_bill_pkg->recur + $cust_bill_pkg->setup;
1053       }
1054     }
1055     $invoice_data{finance_amount} = 
1056       sprintf('%.2f', sum( @finance_charges ) || 0);
1057     $default_section->{subtotal} = $other_money_char.
1058                                     sprintf('%.2f', sum( @charges ) || 0);
1059   }
1060
1061   # start setting up summary subtotals
1062   my @summary_subtotals;
1063   my $method = $conf->config('summary_subtotals_method');
1064   if ( $method and $method ne $conf->config($tc.'sections_method') ) {
1065     # then re-section them by the correct method
1066     my %section_method = ( by_category => 1 );
1067     if ( $conf->config('summary_subtotals_method') eq 'location' ) {
1068       %section_method = ( by_location => 1 );
1069     }
1070     my ($early, $late) =
1071       $self->_items_sections( 'summary' => $summarypage,
1072                               'escape'  => $escape_function_nonbsp,
1073                               'extra_sections' => $extra_sections,
1074                               'format'  => $format,
1075                               %section_method
1076                             );
1077     foreach ( @$early ) {
1078       next if $_->{subtotal} == 0;
1079       $_->{subtotal} = $other_money_char.sprintf('%.2f', $_->{subtotal});
1080       push @summary_subtotals, $_;
1081     }
1082   } else {
1083     # subtotal sectioning is the same as for the actual invoice sections
1084     @summary_subtotals = @sections;
1085   }
1086
1087   # Hereafter, push sections to both @sections and @summary_subtotals
1088   # if they belong in both places (e.g. tax section).  Late sections are
1089   # never in @summary_subtotals.
1090
1091   # previous invoice balances in the Previous Charges section if there
1092   # is one, otherwise in the main detail section
1093   # (except if summary_only is enabled, don't show them at all)
1094   if ( $self->can('_items_previous') &&
1095        $self->enable_previous &&
1096        ! $conf->exists('previous_balance-summary_only') ) {
1097
1098     warn "$me adding previous balances\n"
1099       if $DEBUG > 1;
1100
1101     foreach my $line_item ( $self->_items_previous ) {
1102
1103       my $detail = {
1104         ref             => $line_item->{'pkgnum'},
1105         pkgpart         => $line_item->{'pkgpart'},
1106         #quantity        => 1, # not really correct
1107         section         => $previous_section, # which might be $default_section
1108         description     => &$escape_function($line_item->{'description'}),
1109         ext_description => [ map { &$escape_function($_) } 
1110                              @{ $line_item->{'ext_description'} || [] }
1111                            ],
1112         amount          => $money_char . $line_item->{'amount'},
1113         product_code    => $line_item->{'pkgpart'} || 'N/A',
1114       };
1115
1116       push @detail_items, $detail;
1117       push @buf, [ $detail->{'description'},
1118                    $money_char. sprintf("%10.2f", $line_item->{'amount'}),
1119                  ];
1120     }
1121
1122   }
1123
1124   if ( @pr_cust_bill && $self->enable_previous ) {
1125     push @buf, ['','-----------'];
1126     push @buf, [ $self->mt('Total Previous Balance'),
1127                  $money_char. sprintf("%10.2f", $pr_total) ];
1128     push @buf, ['',''];
1129   }
1130  
1131   if ( $conf->exists('svc_phone-did-summary') && $self->can('_did_summary') ) {
1132       warn "$me adding DID summary\n"
1133         if $DEBUG > 1;
1134
1135       my ($didsummary,$minutes) = $self->_did_summary;
1136       my $didsummary_desc = 'DID Activity Summary (since last invoice)';
1137       push @detail_items, 
1138        { 'description' => $didsummary_desc,
1139            'ext_description' => [ $didsummary, $minutes ],
1140        };
1141   }
1142
1143   foreach my $section (@sections, @$late_sections) {
1144
1145     # begin some normalization
1146     $section->{'subtotal'} = $section->{'amount'}
1147       if $multisection
1148          && !exists($section->{subtotal})
1149          && exists($section->{amount});
1150
1151     $invoice_data{finance_amount} = sprintf('%.2f', $section->{'subtotal'} )
1152       if ( $invoice_data{finance_section} &&
1153            $section->{'description'} eq $invoice_data{finance_section} );
1154
1155     $section->{'subtotal'} = $other_money_char.
1156                              sprintf('%.2f', $section->{'subtotal'})
1157       if $multisection;
1158
1159     # continue some normalization
1160     $section->{'amount'}   = $section->{'subtotal'}
1161       if $multisection;
1162
1163
1164     if ( $section->{'description'} ) {
1165       push @buf, ( [ &$escape_function($section->{'description'}), '' ],
1166                    [ '', '' ],
1167                  );
1168     }
1169
1170     warn "$me   setting options\n"
1171       if $DEBUG > 1;
1172
1173     my %options = ();
1174     $options{'section'} = $section if $multisection;
1175     $options{'format'} = $format;
1176     $options{'escape_function'} = $escape_function;
1177     $options{'no_usage'} = 1 unless $unsquelched;
1178     $options{'unsquelched'} = $unsquelched;
1179     $options{'summary_page'} = $summarypage;
1180     $options{'skip_usage'} =
1181       scalar(@$extra_sections) && !grep{$section == $_} @$extra_sections;
1182     $options{'preref_callback'} = $params{'preref_callback'};
1183
1184     warn "$me   searching for line items\n"
1185       if $DEBUG > 1;
1186
1187     foreach my $line_item ( $self->_items_pkg(%options),
1188                             $self->_items_fee(%options) ) {
1189
1190       warn "$me     adding line item ".
1191            join(', ', map "$_=>".$line_item->{$_}, keys %$line_item). "\n"
1192         if $DEBUG > 1;
1193
1194       push @buf, ( [ $line_item->{'description'},
1195                      $money_char. sprintf("%10.2f", $line_item->{'amount'}),
1196                    ],
1197                    map { [ " ". $_, '' ] } @{$line_item->{'ext_description'}},
1198                  );
1199
1200       $line_item->{'ref'} = $line_item->{'pkgnum'};
1201       $line_item->{'product_code'} = $line_item->{'pkgpart'} || 'N/A'; # mt()?
1202       $line_item->{'section'} = $section;
1203       $line_item->{'description'} = &$escape_function($line_item->{'description'});
1204       $line_item->{'amount'} = $money_char.$line_item->{'amount'};
1205
1206       if ( length($line_item->{'unit_amount'}) ) {
1207         $line_item->{'unit_amount'} = $money_char.$line_item->{'unit_amount'};
1208       }
1209       $line_item->{'ext_description'} ||= [];
1210  
1211       push @detail_items, $line_item;
1212     }
1213
1214     if ( $section->{'description'} ) {
1215       push @buf, ( ['','-----------'],
1216                    [ $section->{'description'}. ' sub-total',
1217                       $section->{'subtotal'} # already formatted this 
1218                    ],
1219                    [ '', '' ],
1220                    [ '', '' ],
1221                  );
1222     }
1223   
1224   }
1225
1226   $invoice_data{current_less_finance} =
1227     sprintf('%.2f', $self->charged - $invoice_data{finance_amount} );
1228
1229   # if there's anything in the Previous Charges section, prepend it to the list
1230   if ( $pr_total and $previous_section ne $default_section ) {
1231     unshift @sections, $previous_section;
1232     # but not @summary_subtotals
1233   }
1234
1235   warn "$me adding taxes\n"
1236     if $DEBUG > 1;
1237
1238   # create a tax section if we don't yet have one
1239   my $tax_description = 'Taxes, Surcharges, and Fees';
1240   my $tax_section =
1241     List::Util::first { $_->{description} eq $tax_description } @sections;
1242   if (!$tax_section) {
1243     $tax_section = { 'description' => $tax_description };
1244   }
1245   $tax_section->{tax_section} = 1; # mark this section as containing taxes
1246   # if this is an existing tax section, we're merging the tax items into it.
1247   # grab the taxtotal that's already there, strip the money symbol if any
1248   my $taxtotal = $tax_section->{'subtotal'} || 0;
1249   $taxtotal =~ s/^\Q$other_money_char\E//;
1250
1251   # this does nothing
1252   #my $tax_weight = _pkg_category($tax_section->{description})
1253   #                      ? _pkg_category($tax_section->{description})->weight
1254   #                      : 0;
1255   #$tax_section->{'summarized'} = ''; #why? $summarypage && !$tax_weight ? 'Y' : '';
1256   #$tax_section->{'sort_weight'} = $tax_weight;
1257
1258   my @items_tax = $self->_items_tax;
1259   push @sections, $tax_section if $multisection and @items_tax > 0;
1260
1261   foreach my $tax ( @items_tax ) {
1262
1263     $taxtotal += $tax->{'amount'};
1264
1265     my $description = &$escape_function( $tax->{'description'} );
1266     my $amount      = sprintf( '%.2f', $tax->{'amount'} );
1267
1268     if ( $multisection ) {
1269
1270       push @detail_items, {
1271         ext_description => [],
1272         ref          => '',
1273         quantity     => '',
1274         description  => $description,
1275         amount       => $money_char. $amount,
1276         product_code => '',
1277         section      => $tax_section,
1278       };
1279
1280     } else {
1281
1282       push @total_items, {
1283         'total_item'   => $description,
1284         'total_amount' => $other_money_char. $amount,
1285       };
1286
1287     }
1288
1289     push @buf,[ $description,
1290                 $money_char. $amount,
1291               ];
1292
1293   }
1294  
1295   if ( @items_tax ) {
1296     my $total = {};
1297     $total->{'total_item'} = $self->mt('Sub-total');
1298     $total->{'total_amount'} =
1299       $other_money_char. sprintf('%.2f', $self->charged - $taxtotal );
1300
1301     if ( $multisection ) {
1302       if ( $taxtotal > 0 ) {
1303         # there are taxes, so prepare the section to be displayed.
1304         # $taxtotal already includes any line items that were already in the
1305         # section (fees, taxes that are charged as packages for some reason).
1306         # also set 'summarized' to false so that this isn't a summary-only
1307         # section.
1308         $tax_section->{'subtotal'} = $other_money_char.
1309                                      sprintf('%.2f', $taxtotal);
1310         $tax_section->{'pretotal'} = 'New charges sub-total '.
1311                                      $total->{'total_amount'};
1312         $tax_section->{'description'} = $self->mt($tax_description);
1313         $tax_section->{'summarized'} = '';
1314
1315         # append it if it's not already there
1316         if ( !grep $tax_section, @sections ) {
1317           push @sections, $tax_section;
1318           push @summary_subtotals, $tax_section;
1319         }
1320       }
1321
1322     } else {
1323       unshift @total_items, $total;
1324     }
1325   }
1326   $invoice_data{'taxtotal'} = sprintf('%.2f', $taxtotal);
1327
1328   ###
1329   # Totals
1330   ###
1331
1332   my %embolden_functions = (
1333     'latex'    => sub { return '\textbf{'. shift(). '}' },
1334     'html'     => sub { return '<b>'. shift(). '</b>' },
1335     'template' => sub { shift },
1336   );
1337   my $embolden_function = $embolden_functions{$format};
1338
1339   if ( $multisection ) {
1340
1341     if ( $adjust_section->{'sort_weight'} ) {
1342       $adjust_section->{'posttotal'} = $self->mt('Balance Forward').' '.
1343         $other_money_char.  sprintf("%.2f", ($self->billing_balance || 0) );
1344     } else{
1345       $adjust_section->{'pretotal'} = $self->mt('New charges total').' '.
1346         $other_money_char.  sprintf('%.2f', $self->charged );
1347     }
1348
1349   }
1350   
1351   if ( $self->can('_items_total') ) { # should always be true now
1352
1353     # even for multisection, need plain text version
1354
1355     my @new_total_items = $self->_items_total;
1356
1357     push @buf,['','-----------'];
1358
1359     foreach ( @new_total_items ) {
1360       my ($item, $amount) = ($_->{'total_item'}, $_->{'total_amount'});
1361       $_->{'total_item'}   = &$embolden_function( $item );
1362       $_->{'total_amount'} = &$embolden_function( $other_money_char.$amount );
1363       # but if it's multisection, don't append to @total_items. the adjust
1364       # section has all this stuff
1365       push @total_items, $_ if !$multisection;
1366       push @buf, [ $item, $money_char.sprintf('%10.2f',$amount) ];
1367     }
1368
1369     push @buf, [ '', '' ];
1370
1371     # if we're showing previous invoices, also show previous
1372     # credits and payments 
1373     if ( $self->enable_previous 
1374           and $self->can('_items_credits')
1375           and $self->can('_items_payments') )
1376       {
1377     
1378       # credits
1379       my $credittotal = 0;
1380       foreach my $credit (
1381         $self->_items_credits( 'template' => $template, 'trim_len' => 40 )
1382       ) {
1383
1384         my $total;
1385         $total->{'total_item'} = &$escape_function($credit->{'description'});
1386         $credittotal += $credit->{'amount'};
1387         $total->{'total_amount'} = $minus.$other_money_char.$credit->{'amount'};
1388         if ( $multisection ) {
1389           push @detail_items, {
1390             ext_description => [],
1391             ref          => '',
1392             quantity     => '',
1393             description  => &$escape_function($credit->{'description'}),
1394             amount       => $money_char . $credit->{'amount'},
1395             product_code => '',
1396             section      => $adjust_section,
1397           };
1398         } else {
1399           push @total_items, $total;
1400         }
1401
1402       }
1403       $invoice_data{'credittotal'} = sprintf('%.2f', $credittotal);
1404
1405       #credits (again)
1406       foreach my $credit (
1407         $self->_items_credits( 'template' => $template, 'trim_len'=>32 )
1408       ) {
1409         push @buf, [ $credit->{'description'}, $money_char.$credit->{'amount'} ];
1410       }
1411
1412       # payments
1413       my $paymenttotal = 0;
1414       foreach my $payment (
1415         $self->_items_payments( 'template' => $template )
1416       ) {
1417         my $total = {};
1418         $total->{'total_item'} = &$escape_function($payment->{'description'});
1419         $paymenttotal += $payment->{'amount'};
1420         $total->{'total_amount'} = $minus.$other_money_char.$payment->{'amount'};
1421         if ( $multisection ) {
1422           push @detail_items, {
1423             ext_description => [],
1424             ref          => '',
1425             quantity     => '',
1426             description  => &$escape_function($payment->{'description'}),
1427             amount       => $money_char . $payment->{'amount'},
1428             product_code => '',
1429             section      => $adjust_section,
1430           };
1431         }else{
1432           push @total_items, $total;
1433         }
1434         push @buf, [ $payment->{'description'},
1435                      $money_char. sprintf("%10.2f", $payment->{'amount'}),
1436                    ];
1437       }
1438       $invoice_data{'paymenttotal'} = sprintf('%.2f', $paymenttotal);
1439     
1440       if ( $multisection ) {
1441         $adjust_section->{'subtotal'} = $other_money_char.
1442                                         sprintf('%.2f', $credittotal + $paymenttotal);
1443
1444         #why this? because {sort_weight} forces the adjust_section to appear
1445         #in @extra_sections instead of @sections. obviously.
1446         push @sections, $adjust_section
1447           unless $adjust_section->{sort_weight};
1448         # do not summarize; adjustments there are shown according to 
1449         # different rules
1450       }
1451
1452       # create Balance Due message
1453       { 
1454         my $total;
1455         $total->{'total_item'} = &$embolden_function($self->balance_due_msg);
1456         $total->{'total_amount'} =
1457           &$embolden_function(
1458             $other_money_char. sprintf('%.2f', #why? $summarypage 
1459                                                #  ? $self->charged +
1460                                                #    $self->billing_balance
1461                                                #  :
1462                                                    $self->owed + $pr_total
1463                                       )
1464           );
1465         if ( $multisection && !$adjust_section->{sort_weight} ) {
1466           $adjust_section->{'posttotal'} = $total->{'total_item'}. ' '.
1467                                            $total->{'total_amount'};
1468         } else {
1469           push @total_items, $total;
1470         }
1471         push @buf,['','-----------'];
1472         push @buf,[$self->balance_due_msg, $money_char. 
1473           sprintf("%10.2f", $balance_due ) ];
1474       }
1475
1476       if ( $conf->exists('previous_balance-show_credit')
1477           and $cust_main->balance < 0 ) {
1478         my $credit_total = {
1479           'total_item'    => &$embolden_function($self->credit_balance_msg),
1480           'total_amount'  => &$embolden_function(
1481             $other_money_char. sprintf('%.2f', -$cust_main->balance)
1482           ),
1483         };
1484         if ( $multisection ) {
1485           $adjust_section->{'posttotal'} .= $newline_token .
1486             $credit_total->{'total_item'} . ' ' . $credit_total->{'total_amount'};
1487         }
1488         else {
1489           push @total_items, $credit_total;
1490         }
1491         push @buf,['','-----------'];
1492         push @buf,[$self->credit_balance_msg, $money_char. 
1493           sprintf("%10.2f", -$cust_main->balance ) ];
1494       }
1495     }
1496
1497   } #end of default total adding ! can('_items_total')
1498
1499   if ( $multisection ) {
1500     if (    $conf->exists('svc_phone_sections')
1501          && $self->can('_items_svc_phone_sections')
1502        )
1503     {
1504       my $total;
1505       $total->{'total_item'} = &$embolden_function($self->balance_due_msg);
1506       $total->{'total_amount'} =
1507         &$embolden_function(
1508           $other_money_char. sprintf('%.2f', $self->owed + $pr_total)
1509         );
1510       my $last_section = pop @sections;
1511       $last_section->{'posttotal'} = $total->{'total_item'}. ' '.
1512                                      $total->{'total_amount'};
1513       push @sections, $last_section;
1514     }
1515     push @sections, @$late_sections
1516       if $unsquelched;
1517   }
1518
1519   # make a discounts-available section, even without multisection
1520   if ( $conf->exists('discount-show_available') 
1521        and my @discounts_avail = $self->_items_discounts_avail ) {
1522     my $discount_section = {
1523       'description' => $self->mt('Discounts Available'),
1524       'subtotal'    => '',
1525       'no_subtotal' => 1,
1526     };
1527
1528     push @sections, $discount_section; # do not summarize
1529     push @detail_items, map { +{
1530         'ref'         => '', #should this be something else?
1531         'section'     => $discount_section,
1532         'description' => &$escape_function( $_->{description} ),
1533         'amount'      => $money_char . &$escape_function( $_->{amount} ),
1534         'ext_description' => [ &$escape_function($_->{ext_description}) || () ],
1535     } } @discounts_avail;
1536   }
1537
1538   # not adding any more sections after this
1539   $invoice_data{summary_subtotals} = \@summary_subtotals;
1540
1541   # usage subtotals
1542   if ( $conf->exists('usage_class_summary')
1543        and $self->can('_items_usage_class_summary') ) {
1544     my @usage_subtotals = $self->_items_usage_class_summary(escape => $escape_function, 'money_char' => $other_money_char);
1545     if ( @usage_subtotals ) {
1546       unshift @sections, $usage_subtotals[0]->{section}; # do not summarize
1547       unshift @detail_items, @usage_subtotals;
1548     }
1549   }
1550
1551   # invoice history "section" (not really a section)
1552   # not to be included in any subtotals, completely independent of 
1553   # everything...
1554   if ( $conf->exists('previous_invoice_history') and $cust_main->isa('FS::cust_main') ) {
1555     my %history;
1556     my %monthorder;
1557     foreach my $cust_bill ( $cust_main->cust_bill ) {
1558       # XXX hardcoded format, and currently only 'charged'; add other fields
1559       # if they become necessary
1560       my $date = $self->time2str_local('%b %Y', $cust_bill->_date);
1561       $history{$date} ||= 0;
1562       $history{$date} += $cust_bill->charged;
1563       # just so we have a numeric sort key
1564       $monthorder{$date} ||= $cust_bill->_date;
1565     }
1566     my @sorted_months = sort { $monthorder{$a} <=> $monthorder{$b} }
1567                         keys %history;
1568     my @sorted_amounts = map { sprintf('%.2f', $history{$_}) } @sorted_months;
1569     $invoice_data{monthly_history} = [ \@sorted_months, \@sorted_amounts ];
1570   }
1571
1572   # service locations: another option for template customization
1573   my %location_info;
1574   foreach my $item (@detail_items) {
1575     if ( $item->{locationnum} ) {
1576       $location_info{ $item->{locationnum} } ||= {
1577         FS::cust_location->by_key( $item->{locationnum} )->location_hash
1578       };
1579     }
1580   }
1581   $invoice_data{location_info} = \%location_info;
1582
1583   # debugging hook: call this with 'diag' => 1 to just get a hash of 
1584   # the invoice variables
1585   return \%invoice_data if ( $params{'diag'} );
1586
1587   # All sections and items are built; now fill in templates.
1588   my @includelist = ();
1589   push @includelist, 'summary' if $summarypage;
1590   foreach my $include ( @includelist ) {
1591
1592     my $inc_file = $conf->key_orbase("invoice_${format}$include", $template);
1593     my @inc_src;
1594
1595     if ( length( $conf->config($inc_file, $agentnum) ) ) {
1596
1597       @inc_src = $conf->config($inc_file, $agentnum);
1598
1599     } else {
1600
1601       $inc_file = $conf->key_orbase("invoice_latex$include", $template);
1602
1603       my $convert_map = $convert_maps{$format}{$include};
1604
1605       @inc_src = map { s/\[\@--/$delimiters{$format}[0]/g;
1606                        s/--\@\]/$delimiters{$format}[1]/g;
1607                        $_;
1608                      } 
1609                  &$convert_map( $conf->config($inc_file, $agentnum) );
1610
1611     }
1612
1613     my $inc_tt = new Text::Template (
1614       TYPE       => 'ARRAY',
1615       SOURCE     => [ map "$_\n", @inc_src ],
1616       DELIMITERS => $delimiters{$format},
1617     ) or die "Can't create new Text::Template object: $Text::Template::ERROR";
1618
1619     unless ( $inc_tt->compile() ) {
1620       my $error = "Can't compile $inc_file template: $Text::Template::ERROR\n";
1621       warn $error. "Template:\n". join('', map "$_\n", @inc_src);
1622       die $error;
1623     }
1624
1625     $invoice_data{$include} = $inc_tt->fill_in( HASH => \%invoice_data );
1626
1627     $invoice_data{$include} =~ s/\n+$//
1628       if ($format eq 'latex');
1629   }
1630
1631   $invoice_lines = 0;
1632   my $wasfunc = 0;
1633   foreach ( grep /invoice_lines\(\d*\)/, @invoice_template ) { #kludgy
1634     /invoice_lines\((\d*)\)/;
1635     $invoice_lines += $1 || scalar(@buf);
1636     $wasfunc=1;
1637   }
1638   die "no invoice_lines() functions in template?"
1639     if ( $format eq 'template' && !$wasfunc );
1640
1641   if ($format eq 'template') {
1642
1643     if ( $invoice_lines ) {
1644       $invoice_data{'total_pages'} = int( scalar(@buf) / $invoice_lines );
1645       $invoice_data{'total_pages'}++
1646         if scalar(@buf) % $invoice_lines;
1647     }
1648
1649     #setup subroutine for the template
1650     $invoice_data{invoice_lines} = sub {
1651       my $lines = shift || scalar(@buf);
1652       map { 
1653         scalar(@buf)
1654           ? shift @buf
1655           : [ '', '' ];
1656       }
1657       ( 1 .. $lines );
1658     };
1659
1660     my $lines;
1661     my @collect;
1662     while (@buf) {
1663       push @collect, split("\n",
1664         $text_template->fill_in( HASH => \%invoice_data )
1665       );
1666       $invoice_data{'page'}++;
1667     }
1668     map "$_\n", @collect;
1669
1670   } else { # this is where we actually create the invoice
1671
1672     if ( $params{no_addresses} ) {
1673       delete $invoice_data{$_} foreach qw(
1674         payname company address1 address2 city state zip country
1675       );
1676       $invoice_data{returnaddress} = '~';
1677     }
1678
1679     warn "filling in template for invoice ". $self->invnum. "\n"
1680       if $DEBUG;
1681     warn join("\n", map " $_ => ". $invoice_data{$_}, keys %invoice_data). "\n"
1682       if $DEBUG > 1;
1683
1684     $text_template->fill_in(HASH => \%invoice_data);
1685   }
1686 }
1687
1688 sub notice_name { '('.shift->table.')'; }
1689
1690 # this is not supposed to happen
1691 sub template_conf { warn "bare FS::Template_Mixin::template_conf";
1692   'invoice_';
1693 }
1694
1695 # helper routine for generating date ranges
1696 sub _prior_month30s {
1697   my $self = shift;
1698   my @ranges = (
1699    [ 1,       2592000 ], # 0-30 days ago
1700    [ 2592000, 5184000 ], # 30-60 days ago
1701    [ 5184000, 7776000 ], # 60-90 days ago
1702    [ 7776000, 0       ], # 90+   days ago
1703   );
1704
1705   map { [ $_->[0] ? $self->_date - $_->[0] - 1 : '',
1706           $_->[1] ? $self->_date - $_->[1] - 1 : '',
1707       ] }
1708   @ranges;
1709 }
1710
1711 =item print_ps HASHREF | [ TIME [ , TEMPLATE ] ]
1712
1713 Returns an postscript invoice, as a scalar.
1714
1715 Options can be passed as a hashref (recommended) or as a list of time, template
1716 and then any key/value pairs for any other options.
1717
1718 I<time> an optional value used to control the printing of overdue messages.  The
1719 default is now.  It isn't the date of the invoice; that's the `_date' field.
1720 It is specified as a UNIX timestamp; see L<perlfunc/"time">.  Also see
1721 L<Time::Local> and L<Date::Parse> for conversion functions.
1722
1723 I<notice_name>, if specified, overrides "Invoice" as the name of the sent document (templates from 10/2009 or newer required)
1724
1725 =cut
1726
1727 sub print_ps {
1728   my $self = shift;
1729
1730   my ($file, $logofile, $barcodefile) = $self->print_latex(@_);
1731   my $ps = generate_ps($file);
1732   unlink($logofile);
1733   unlink($barcodefile) if $barcodefile;
1734
1735   $ps;
1736 }
1737
1738 =item print_pdf HASHREF | [ TIME [ , TEMPLATE ] ]
1739
1740 Returns an PDF invoice, as a scalar.
1741
1742 Options can be passed as a hashref (recommended) or as a list of time, template
1743 and then any key/value pairs for any other options.
1744
1745 I<time> an optional value used to control the printing of overdue messages.  The
1746 default is now.  It isn't the date of the invoice; that's the `_date' field.
1747 It is specified as a UNIX timestamp; see L<perlfunc/"time">.  Also see
1748 L<Time::Local> and L<Date::Parse> for conversion functions.
1749
1750 I<template>, if specified, is the name of a suffix for alternate invoices.
1751
1752 I<notice_name>, if specified, overrides "Invoice" as the name of the sent document (templates from 10/2009 or newer required)
1753
1754 =cut
1755
1756 sub print_pdf {
1757   my $self = shift;
1758
1759   my ($file, $logofile, $barcodefile) = $self->print_latex(@_);
1760   my $pdf = generate_pdf($file);
1761   unlink($logofile);
1762   unlink($barcodefile) if $barcodefile;
1763
1764   $pdf;
1765 }
1766
1767 =item print_html HASHREF | [ TIME [ , TEMPLATE [ , CID ] ] ]
1768
1769 Returns an HTML invoice, as a scalar.
1770
1771 I<time> an optional value used to control the printing of overdue messages.  The
1772 default is now.  It isn't the date of the invoice; that's the `_date' field.
1773 It is specified as a UNIX timestamp; see L<perlfunc/"time">.  Also see
1774 L<Time::Local> and L<Date::Parse> for conversion functions.
1775
1776 I<template>, if specified, is the name of a suffix for alternate invoices.
1777
1778 I<notice_name>, if specified, overrides "Invoice" as the name of the sent document (templates from 10/2009 or newer required)
1779
1780 I<cid> is a MIME Content-ID used to create a "cid:" URL for the logo image, used
1781 when emailing the invoice as part of a multipart/related MIME email.
1782
1783 =cut
1784
1785 sub print_html {
1786   my $self = shift;
1787   my %params;
1788   if ( ref($_[0]) ) {
1789     %params = %{ shift() }; 
1790   } else {
1791     %params = @_;
1792   }
1793   $params{'format'} = 'html';
1794   
1795   $self->print_generic( %params );
1796 }
1797
1798 # quick subroutine for print_latex
1799 #
1800 # There are ten characters that LaTeX treats as special characters, which
1801 # means that they do not simply typeset themselves: 
1802 #      # $ % & ~ _ ^ \ { }
1803 #
1804 # TeX ignores blanks following an escaped character; if you want a blank (as
1805 # in "10% of ..."), you have to "escape" the blank as well ("10\%\ of ..."). 
1806
1807 sub _latex_escape {
1808   my $value = shift;
1809   $value =~ s/([#\$%&~_\^{}])( )?/"\\$1". ( ( defined($2) && length($2) ) ? "\\$2" : '' )/ge;
1810   $value =~ s/([<>])/\$$1\$/g;
1811   $value;
1812 }
1813
1814 sub _html_escape {
1815   my $value = shift;
1816   encode_entities($value);
1817   $value;
1818 }
1819
1820 sub _html_escape_nbsp {
1821   my $value = _html_escape(shift);
1822   $value =~ s/ +/&nbsp;/g;
1823   $value;
1824 }
1825
1826 #utility methods for print_*
1827
1828 sub _translate_old_latex_format {
1829   warn "_translate_old_latex_format called\n"
1830     if $DEBUG; 
1831
1832   my @template = ();
1833   while ( @_ ) {
1834     my $line = shift;
1835   
1836     if ( $line =~ /^%%Detail\s*$/ ) {
1837   
1838       push @template, q![@--!,
1839                       q!  foreach my $_tr_line (@detail_items) {!,
1840                       q!    if ( scalar ($_tr_item->{'ext_description'} ) ) {!,
1841                       q!      $_tr_line->{'description'} .= !, 
1842                       q!        "\\tabularnewline\n~~".!,
1843                       q!        join( "\\tabularnewline\n~~",!,
1844                       q!          @{$_tr_line->{'ext_description'}}!,
1845                       q!        );!,
1846                       q!    }!;
1847
1848       while ( ( my $line_item_line = shift )
1849               !~ /^%%EndDetail\s*$/                            ) {
1850         $line_item_line =~ s/'/\\'/g;    # nice LTS
1851         $line_item_line =~ s/\\/\\\\/g;  # escape quotes and backslashes
1852         $line_item_line =~ s/\$(\w+)/'. \$_tr_line->{$1}. '/g;
1853         push @template, "    \$OUT .= '$line_item_line';";
1854       }
1855
1856       push @template, '}',
1857                       '--@]';
1858       #' doh, gvim
1859     } elsif ( $line =~ /^%%TotalDetails\s*$/ ) {
1860
1861       push @template, '[@--',
1862                       '  foreach my $_tr_line (@total_items) {';
1863
1864       while ( ( my $total_item_line = shift )
1865               !~ /^%%EndTotalDetails\s*$/                      ) {
1866         $total_item_line =~ s/'/\\'/g;    # nice LTS
1867         $total_item_line =~ s/\\/\\\\/g;  # escape quotes and backslashes
1868         $total_item_line =~ s/\$(\w+)/'. \$_tr_line->{$1}. '/g;
1869         push @template, "    \$OUT .= '$total_item_line';";
1870       }
1871
1872       push @template, '}',
1873                       '--@]';
1874
1875     } else {
1876       $line =~ s/\$(\w+)/[\@-- \$$1 --\@]/g;
1877       push @template, $line;  
1878     }
1879   
1880   }
1881
1882   if ($DEBUG) {
1883     warn "$_\n" foreach @template;
1884   }
1885
1886   (@template);
1887 }
1888
1889 =item terms
1890
1891 =cut
1892
1893 sub terms {
1894   my $self = shift;
1895   my $conf = $self->conf;
1896
1897   #check for an invoice-specific override
1898   return $self->invoice_terms if $self->invoice_terms;
1899   
1900   #check for a customer- specific override
1901   my $cust_main = $self->cust_main;
1902   return $cust_main->invoice_terms if $cust_main && $cust_main->invoice_terms;
1903
1904   my $agentnum = '';
1905   if ( $cust_main ) {
1906     $agentnum = $cust_main->agentnum;
1907   } elsif ( my $prospect_main = $self->prospect_main ) {
1908     $agentnum = $prospect_main->agentnum;
1909   }
1910
1911   #use configured default
1912   $conf->config('invoice_default_terms', $agentnum) || '';
1913 }
1914
1915 =item due_date
1916
1917 =cut
1918
1919 sub due_date {
1920   my $self = shift;
1921   my $duedate = '';
1922   if ( $self->terms =~ /^\s*Net\s*(\d+)\s*$/ ) {
1923     $duedate = $self->_date() + ( $1 * 86400 );
1924   }
1925   $duedate;
1926 }
1927
1928 =item due_date2str
1929
1930 =cut
1931
1932 sub due_date2str {
1933   my $self = shift;
1934   $self->due_date ? $self->time2str_local(shift, $self->due_date) : '';
1935 }
1936
1937 =item balance_due_msg
1938
1939 =cut
1940
1941 sub balance_due_msg {
1942   my $self = shift;
1943   my $msg = $self->mt('Balance Due');
1944   return $msg unless $self->terms; # huh?
1945   if ( !$self->conf->exists('invoice_show_prior_due_date')
1946        or $self->conf->exists('invoice_sections') ) {
1947     # if enabled, the due date is shown with Total New Charges (see 
1948     # _items_total) and not here
1949     # (yes, or if invoice_sections is enabled; this is just for compatibility)
1950     if ( $self->due_date ) {
1951       $msg .= ' - ' . $self->mt('Please pay by'). ' '.
1952         $self->due_date2str('short');
1953     } elsif ( $self->terms ) {
1954       $msg .= ' - '. $self->mt($self->terms);
1955     }
1956   }
1957   $msg;
1958 }
1959
1960 =item balance_due_date
1961
1962 =cut
1963
1964 sub balance_due_date {
1965   my $self = shift;
1966   my $conf = $self->conf;
1967   my $duedate = '';
1968   my $terms = $self->terms;
1969   if ( $terms =~ /^\s*Net\s*(\d+)\s*$/ ) {
1970     $duedate = $self->time2str_local('rdate', $self->_date + ($1*86400) );
1971   }
1972   $duedate;
1973 }
1974
1975 sub credit_balance_msg { 
1976   my $self = shift;
1977   $self->mt('Credit Balance Remaining')
1978 }
1979
1980 =item _date_pretty
1981
1982 Returns a string with the date, for example: "3/20/2008", localized for the
1983 customer.  Use _date_pretty_unlocalized for non-end-customer display use.
1984
1985 =cut
1986
1987 sub _date_pretty {
1988   my $self = shift;
1989   $self->time2str_local('short', $self->_date);
1990 }
1991
1992 =item _date_pretty_unlocalized
1993
1994 Returns a string with the date, for example: "3/20/2008", in the format
1995 configured for the back-office.  Use _date_pretty for end-customer display use.
1996
1997 =cut
1998
1999 sub _date_pretty_unlocalized {
2000   my $self = shift;
2001   time2str($date_format, $self->_date);
2002 }
2003
2004 =item email HASHREF
2005
2006 Emails this template.
2007
2008 Options are passed as a hashref.  Available options:
2009
2010 =over 4
2011
2012 =item from
2013
2014 If specified, overrides the default From: address.
2015
2016 =item notice_name
2017
2018 If specified, overrides the name of the sent document ("Invoice" or "Quotation")
2019
2020 =item template
2021
2022 (Deprecated) If specified, is the name of a suffix for alternate template files.
2023
2024 =back
2025
2026 Options accepted by generate_email can also be used.
2027
2028 =cut
2029
2030 sub email {
2031   my $self = shift;
2032   my $opt = shift || {};
2033   if ($opt and !ref($opt)) {
2034     die ref($self). '->email called with positional parameters';
2035   }
2036
2037   return if $self->hide;
2038
2039   my $error = send_email(
2040     $self->generate_email(
2041       'subject'     => $self->email_subject($opt->{template}),
2042       %$opt, # template, etc.
2043     )
2044   );
2045
2046   die "can't email: $error\n" if $error;
2047 }
2048
2049 =item generate_email OPTION => VALUE ...
2050
2051 Options:
2052
2053 =over 4
2054
2055 =item from
2056
2057 sender address, required
2058
2059 =item template
2060
2061 alternate template name, optional
2062
2063 =item subject
2064
2065 email subject, optional
2066
2067 =item notice_name
2068
2069 notice name instead of "Invoice", optional
2070
2071 =back
2072
2073 Returns an argument list to be passed to L<FS::Misc::send_email>.
2074
2075 =cut
2076
2077 use MIME::Entity;
2078
2079 sub generate_email {
2080
2081   my $self = shift;
2082   my %args = @_;
2083   my $conf = $self->conf;
2084
2085   my $me = '[FS::Template_Mixin::generate_email]';
2086
2087   my %return = (
2088     'from'      => $args{'from'},
2089     'subject'   => ($args{'subject'} || $self->email_subject),
2090     'custnum'   => $self->custnum,
2091     'msgtype'   => 'invoice',
2092   );
2093
2094   $args{'unsquelch_cdr'} = $conf->exists('voip-cdr_email');
2095
2096   my $cust_main = $self->cust_main;
2097
2098   if (ref($args{'to'}) eq 'ARRAY') {
2099     $return{'to'} = $args{'to'};
2100   } elsif ( $cust_main ) {
2101     $return{'to'} = [ $cust_main->invoicing_list_emailonly ];
2102   }
2103
2104   my $tc = $self->template_conf;
2105
2106   my @text; # array of lines
2107   my $html; # a big string
2108   my @related_parts; # will contain the text/HTML alternative, and images
2109   my $related; # will contain the multipart/related object
2110
2111   if ( $conf->exists($tc. 'email_pdf') ) {
2112     if ( my $msgnum = $conf->config($tc.'email_pdf_msgnum') ) {
2113
2114       warn "$me using '${tc}email_pdf_msgnum' in multipart message"
2115         if $DEBUG;
2116
2117       my $msg_template = FS::msg_template->by_key($msgnum)
2118         or die "${tc}email_pdf_msgnum $msgnum not found\n";
2119       my $cust_msg = $msg_template->prepare(
2120         cust_main => $self->cust_main,
2121         object    => $self,
2122         msgtype   => 'invoice',
2123       );
2124
2125       # XXX hack to make this work in the new cust_msg era; consider replacing
2126       # with cust_bill_send_with_notice events.
2127       my @parts = $cust_msg->parts;
2128       foreach my $part (@parts) { # will only have two parts, normally
2129         if ( $part->mime_type eq 'text/plain' ) {
2130           @text = @{ $part->body };
2131         } elsif ( $part->mime_type eq 'text/html' ) {
2132           $html = $part->bodyhandle->as_string;
2133         }
2134       }
2135
2136     } elsif ( my @note = $conf->config($tc.'email_pdf_note') ) {
2137
2138       warn "$me using '${tc}email_pdf_note' in multipart message"
2139         if $DEBUG;
2140       @text = $conf->config($tc.'email_pdf_note');
2141       $html = join('<BR>', @text);
2142   
2143     } # else use the plain text invoice
2144   }
2145
2146   if (!@text) {
2147
2148     if ( $conf->config($tc.'template') ) {
2149
2150       warn "$me generating plain text invoice"
2151         if $DEBUG;
2152
2153       # 'print_text' argument is no longer used
2154       @text = $self->print_text(\%args);
2155
2156     } else {
2157
2158       warn "$me no plain text version exists; sending empty message body"
2159         if $DEBUG;
2160
2161     }
2162
2163   }
2164
2165   my $text_part = build MIME::Entity (
2166     'Type'        => 'text/plain',
2167     'Encoding'    => 'quoted-printable',
2168     'Charset'     => 'UTF-8',
2169     #'Encoding'    => '7bit',
2170     'Data'        => \@text,
2171     'Disposition' => 'inline',
2172   );
2173
2174   if (!$html) {
2175
2176     if ( $conf->exists($tc.'html') ) {
2177       warn "$me generating HTML invoice"
2178         if $DEBUG;
2179
2180       $args{'from'} =~ /\@([\w\.\-]+)/;
2181       my $from = $1 || 'example.com';
2182       my $content_id = join('.', rand()*(2**32), $$, time). "\@$from";
2183
2184       my $logo;
2185       my $agentnum = $cust_main ? $cust_main->agentnum
2186                                 : $self->prospect_main->agentnum;
2187       if ( defined($args{'template'}) && length($args{'template'})
2188            && $conf->exists( 'logo_'. $args{'template'}. '.png', $agentnum )
2189          )
2190       {
2191         $logo = 'logo_'. $args{'template'}. '.png';
2192       } else {
2193         $logo = "logo.png";
2194       }
2195       my $image_data = $conf->config_binary( $logo, $agentnum);
2196
2197       push @related_parts, build MIME::Entity
2198         'Type'       => 'image/png',
2199         'Encoding'   => 'base64',
2200         'Data'       => $image_data,
2201         'Filename'   => 'logo.png',
2202         'Content-ID' => "<$content_id>",
2203       ;
2204    
2205       if ( ref($self) eq 'FS::cust_bill' && $conf->exists('invoice-barcode') ) {
2206         my $barcode_content_id = join('.', rand()*(2**32), $$, time). "\@$from";
2207         push @related_parts, build MIME::Entity
2208           'Type'       => 'image/png',
2209           'Encoding'   => 'base64',
2210           'Data'       => $self->invoice_barcode(0),
2211           'Filename'   => 'barcode.png',
2212           'Content-ID' => "<$barcode_content_id>",
2213         ;
2214         $args{'barcode_cid'} = $barcode_content_id;
2215       }
2216
2217       $html = $self->print_html({ 'cid'=>$content_id, %args });
2218     }
2219
2220   }
2221
2222   if ( $html ) {
2223
2224     warn "$me creating HTML/text multipart message"
2225       if $DEBUG;
2226
2227     $return{'nobody'} = 1;
2228
2229     my $alternative = build MIME::Entity
2230       'Type'        => 'multipart/alternative',
2231       #'Encoding'    => '7bit',
2232       'Disposition' => 'inline'
2233     ;
2234
2235     if ( @text ) {
2236       $alternative->add_part($text_part);
2237     }
2238
2239     $alternative->attach(
2240       'Type'        => 'text/html',
2241       'Encoding'    => 'quoted-printable',
2242       'Data'        => [ '<html>',
2243                          '  <head>',
2244                          '    <title>',
2245                          '      '. encode_entities($return{'subject'}), 
2246                          '    </title>',
2247                          '  </head>',
2248                          '  <body bgcolor="#e8e8e8">',
2249                          $html,
2250                          '  </body>',
2251                          '</html>',
2252                        ],
2253       'Disposition' => 'inline',
2254       #'Filename'    => 'invoice.pdf',
2255     );
2256
2257     unshift @related_parts, $alternative;
2258
2259     $related = build MIME::Entity 'Type'     => 'multipart/related',
2260                                   'Encoding' => '7bit';
2261
2262     #false laziness w/Misc::send_email
2263     $related->head->replace('Content-type',
2264       $related->mime_type.
2265       '; boundary="'. $related->head->multipart_boundary. '"'.
2266       '; type=multipart/alternative'
2267     );
2268
2269     $related->add_part($_) foreach @related_parts;
2270
2271   }
2272
2273   my @otherparts = ();
2274   if ( ref($self) eq 'FS::cust_bill' && $cust_main->email_csv_cdr ) {
2275
2276     if ( $conf->config('voip-cdr_email_attach') eq 'zip' ) {
2277
2278       my $data = join('', map "$_\n",
2279                    $self->call_details(prepend_billed_number=>1)
2280                  );
2281
2282       my $zip = new Archive::Zip;
2283       my $file = $zip->addString( $data, 'usage-'.$self->invnum.'.csv' );
2284       $file->desiredCompressionMethod( COMPRESSION_DEFLATED );
2285
2286       my $zipdata = '';
2287       my $SH = IO::Scalar->new(\$zipdata);
2288       my $status = $zip->writeToFileHandle($SH);
2289       die "Error zipping CDR attachment: $!" unless $status == AZ_OK;
2290
2291       push @otherparts, build MIME::Entity
2292         'Type'        => 'application/zip',
2293         'Encoding'    => 'base64',
2294         'Data'        => $zipdata,
2295         'Disposition' => 'attachment',
2296         'Filename'    => 'usage-'. $self->invnum. '.zip',
2297       ;
2298
2299     } else { # } elsif ( $conf->config('voip-cdr_email_attach') eq 'csv' ) {
2300  
2301       push @otherparts, build MIME::Entity
2302         'Type'        => 'text/csv',
2303         'Encoding'    => '7bit',
2304         'Data'        => [ map { "$_\n" }
2305                              $self->call_details('prepend_billed_number' => 1)
2306                          ],
2307         'Disposition' => 'attachment',
2308         'Filename'    => 'usage-'. $self->invnum. '.csv',
2309       ;
2310
2311     }
2312
2313   }
2314
2315   if ( $conf->exists($tc.'email_pdf') ) {
2316
2317     #attaching pdf too:
2318     # multipart/mixed
2319     #   multipart/related
2320     #     multipart/alternative
2321     #       text/plain
2322     #       text/html
2323     #     image/png
2324     #   application/pdf
2325
2326     my $pdf = build MIME::Entity $self->mimebuild_pdf(\%args);
2327     push @otherparts, $pdf;
2328   }
2329
2330   if (@otherparts) {
2331     $return{'content-type'} = 'multipart/mixed'; # of the outer container
2332     if ( $html ) {
2333       $return{'mimeparts'} = [ $related, @otherparts ];
2334       $return{'type'} = 'multipart/related'; # of the first part
2335     } else {
2336       $return{'mimeparts'} = [ $text_part, @otherparts ];
2337       $return{'type'} = 'text/plain';
2338     }
2339   } elsif ( $html ) { # no PDF or CSV, strip the outer container
2340     $return{'mimeparts'} = \@related_parts;
2341     $return{'content-type'} = 'multipart/related';
2342     $return{'type'} = 'multipart/alternative';
2343   } else { # no HTML either
2344     $return{'body'} = \@text;
2345     $return{'content-type'} = 'text/plain';
2346   }
2347
2348   %return;
2349
2350 }
2351
2352 =item mimebuild_pdf
2353
2354 Returns a list suitable for passing to MIME::Entity->build(), representing
2355 this invoice as PDF attachment.
2356
2357 =cut
2358
2359 sub mimebuild_pdf {
2360   my $self = shift;
2361   (
2362     'Type'        => 'application/pdf',
2363     'Encoding'    => 'base64',
2364     'Data'        => [ $self->print_pdf(@_) ],
2365     'Disposition' => 'attachment',
2366     'Filename'    => 'invoice-'. $self->invnum. '.pdf',
2367   );
2368 }
2369
2370 =item postal_mail_fsinc
2371
2372 Sends this invoice to the Freeside Internet Services, Inc. print and mail
2373 service.
2374
2375 =cut
2376
2377 use CAM::PDF;
2378 use LWP::UserAgent;
2379 use HTTP::Request::Common qw( POST );
2380 use Cpanel::JSON::XS;
2381 use MIME::Base64;
2382 sub postal_mail_fsinc {
2383   my ( $self, %opt ) = @_;
2384
2385   my $url = 'https://ws.freeside.biz/print';
2386
2387   my $cust_main = $self->cust_main;
2388   my $agentnum = $cust_main->agentnum;
2389   my $bill_location = $cust_main->bill_location;
2390
2391   die "Extra charges for international mailing; contact support\@freeside.biz to enable\n"
2392     if $bill_location->country ne 'US';
2393
2394   my $conf = new FS::Conf;
2395
2396   my @company_address = $conf->config('company_address', $agentnum);
2397   my ( $company_address1, $company_address2, $company_city, $company_state, $company_zip );
2398   if ( $company_address[2] =~ /^\s*(\S.*\S)\s*[\s,](\w\w),?\s*(\d{5}(-\d{4})?)\s*$/ ) {
2399     $company_address1 = $company_address[0];
2400     $company_address2 = $company_address[1];
2401     $company_city  = $1;
2402     $company_state = $2;
2403     $company_zip   = $3;
2404   } elsif ( $company_address[1] =~ /^\s*(\S.*\S)\s*[\s,](\w\w),?\s*(\d{5}(-\d{4})?)\s*$/ ) {
2405     $company_address1 = $company_address[0];
2406     $company_address2 = '';
2407     $company_city  = $1;
2408     $company_state = $2;
2409     $company_zip   = $3;
2410   } else {
2411     die "Unparsable company_address; contact support\@freeside.biz\n";
2412   }
2413   $company_city =~ s/,$//;
2414
2415   my $file = $self->print_pdf(%opt, 'no_addresses' => 1);
2416   my $pages = CAM::PDF->new($file)->numPages;
2417
2418   my $ua = LWP::UserAgent->new( 'ssl_opts' => { 'verify_hostname'=>0 });
2419   my $response = $ua->request( POST $url, [
2420     'support-key'      => scalar($conf->config('support-key')),
2421     'file'             => encode_base64($file),
2422     'pages'            => $pages,
2423
2424     #from:
2425     'company_name'     => scalar( $conf->config('company_name', $agentnum) ),
2426     'company_address1' => $company_address1,
2427     'company_address2' => $company_address2,
2428     'company_city'     => $company_city,
2429     'company_state'    => $company_state,
2430     'company_zip'      => $company_zip,
2431     'company_country'  => 'US',
2432     'company_phonenum' => scalar($conf->config('company_phonenum', $agentnum)),
2433     'company_email'    => scalar($conf->config('invoice_from', $agentnum)),
2434
2435     #to:
2436     'name'             => $cust_main->invoice_attn
2437                             || $cust_main->contact_firstlast,
2438     'company'          => $cust_main->company,
2439     'address1'         => $bill_location->address1,
2440     'address2'         => $bill_location->address2,
2441     'city'             => $bill_location->city,
2442     'state'            => $bill_location->state,
2443     'zip'              => $bill_location->zip,
2444     'country'          => $bill_location->country,
2445   ]);
2446
2447   die "Print connection error: ". $response->message. "\n"
2448     unless $response->is_success;
2449
2450   local $@;
2451   my $content = eval { decode_json($response->content) };
2452   die "Print JSON error : $@\n" if $@;
2453
2454   die $content->{error}."\n"
2455     if $content->{error};
2456
2457   #TODO: store this so we can query for a status later
2458   warn "Invoice printed, ID ". $content->{id}. "\n";
2459
2460   $content->{id};
2461
2462 }
2463
2464 =item _items_sections OPTIONS
2465
2466 Generate section information for all items appearing on this invoice.
2467 This will only be called for multi-section invoices.
2468
2469 For each line item (L<FS::cust_bill_pkg> record), this will fetch all 
2470 related display records (L<FS::cust_bill_pkg_display>) and organize 
2471 them into two groups ("early" and "late" according to whether they come 
2472 before or after the total), then into sections.  A subtotal is calculated 
2473 for each section.
2474
2475 Section descriptions are returned in sort weight order.  Each consists 
2476 of a hash containing:
2477
2478 description: the package category name, escaped
2479 subtotal: the total charges in that section
2480 tax_section: a flag indicating that the section contains only tax charges
2481 summarized: same as tax_section, for some reason
2482 sort_weight: the package category's sort weight
2483
2484 If 'condense' is set on the display record, it also contains everything 
2485 returned from C<_condense_section()>, i.e. C<_condensed_foo_generator>
2486 coderefs to generate parts of the invoice.  This is not advised.
2487
2488 The method returns two arrayrefs, one of "early" sections and one of "late"
2489 sections.
2490
2491 OPTIONS may include:
2492
2493 by_location: a flag to divide the invoice into sections by location.  
2494 Each section hash will have a 'location' element containing a hashref of 
2495 the location fields (see L<FS::cust_location>).  The section description
2496 will be the location label, but the template can use any of the location 
2497 fields to create a suitable label.
2498
2499 by_category: a flag to divide the invoice into sections using display 
2500 records (see L<FS::cust_bill_pkg_display>).  This is the "traditional" 
2501 behavior.  Each section hash will have a 'category' element containing
2502 the section name from the display record (which probably equals the 
2503 category name of the package, but may not in some cases).
2504
2505 summary: a flag indicating that this is a summary-format invoice.
2506 Turning this on has the following effects:
2507 - Ignores display items with the 'summary' flag.
2508 - Places all sections in the "early" group even if they have post_total.
2509 - Creates sections for all non-disabled package categories, even if they 
2510 have no charges on this invoice, as well as a section with no name.
2511
2512 escape: an escape function to use for section titles.
2513
2514 extra_sections: an arrayref of additional sections to return after the 
2515 sorted list.  If there are any of these, section subtotals exclude 
2516 usage charges.
2517
2518 format: 'latex', 'html', or 'template' (i.e. text).  Not used, but 
2519 passed through to C<_condense_section()>.
2520
2521 =cut
2522
2523 use vars qw(%pkg_category_cache);
2524 sub _items_sections {
2525   my $self = shift;
2526   my %opt = @_;
2527   
2528   my $escape = $opt{escape};
2529   my @extra_sections = @{ $opt{extra_sections} || [] };
2530
2531   # $subtotal{$locationnum}{$categoryname} = amount.
2532   # if we're not using by_location, $locationnum is undef.
2533   # if we're not using by_category, you guessed it, $categoryname is undef.
2534   # if we're not using either one, we shouldn't be here in the first place...
2535   my %subtotal = ();
2536   my %late_subtotal = ();
2537   my %not_tax = ();
2538
2539   # About tax items + multisection invoices:
2540   # If either invoice_*summary option is enabled, AND there is a 
2541   # package category with the name of the tax, then there will be 
2542   # a display record assigning the tax item to that category.
2543   #
2544   # However, the taxes are always placed in the "Taxes, Surcharges,
2545   # and Fees" section regardless of that.  The only effect of the 
2546   # display record is to create a subtotal for the summary page.
2547
2548   # cache these
2549   my $pkg_hash = $self->cust_pkg_hash;
2550
2551   foreach my $cust_bill_pkg ( $self->cust_bill_pkg )
2552   {
2553
2554       my $usage = $cust_bill_pkg->usage;
2555
2556       my $locationnum;
2557       if ( $opt{by_location} ) {
2558         if ( $cust_bill_pkg->pkgnum ) {
2559           $locationnum = $pkg_hash->{ $cust_bill_pkg->pkgnum }->locationnum;
2560         } else {
2561           $locationnum = '';
2562         }
2563       } else {
2564         $locationnum = undef;
2565       }
2566
2567       # as in _items_cust_pkg, if a line item has no display records,
2568       # cust_bill_pkg_display() returns a default record for it
2569
2570       foreach my $display ($cust_bill_pkg->cust_bill_pkg_display) {
2571         next if ( $display->summary && $opt{summary} );
2572
2573         my $section = $display->section;
2574         my $type    = $display->type;
2575         # Set $section = undef if we're sectioning by location and this
2576         # line item _has_ a location (i.e. isn't a fee).
2577         $section = undef if $locationnum;
2578
2579         # set this flag if the section is not tax-only
2580         $not_tax{$locationnum}{$section} = 1
2581           if $cust_bill_pkg->pkgnum  or $cust_bill_pkg->feepart;
2582
2583         # there's actually a very important piece of logic buried in here:
2584         # incrementing $late_subtotal{$section} CREATES 
2585         # $late_subtotal{$section}.  keys(%late_subtotal) is later used 
2586         # to define the list of late sections, and likewise keys(%subtotal).
2587         # When _items_cust_bill_pkg is called to generate line items for 
2588         # real, it will be called with 'section' => $section for each 
2589         # of these.
2590         if ( $display->post_total && !$opt{summary} ) {
2591           if (! $type || $type eq 'S') {
2592             $late_subtotal{$locationnum}{$section} += $cust_bill_pkg->setup
2593               if $cust_bill_pkg->setup != 0
2594               || $cust_bill_pkg->setup_show_zero;
2595           }
2596
2597           if (! $type) {
2598             $late_subtotal{$locationnum}{$section} += $cust_bill_pkg->recur
2599               if $cust_bill_pkg->recur != 0
2600               || $cust_bill_pkg->recur_show_zero;
2601           }
2602
2603           if ($type && $type eq 'R') {
2604             $late_subtotal{$locationnum}{$section} += $cust_bill_pkg->recur - $usage
2605               if $cust_bill_pkg->recur != 0
2606               || $cust_bill_pkg->recur_show_zero;
2607           }
2608           
2609           if ($type && $type eq 'U') {
2610             $late_subtotal{$locationnum}{$section} += $usage
2611               unless scalar(@extra_sections);
2612           }
2613
2614         } else { # it's a pre-total (normal) section
2615
2616           # skip tax items unless they're explicitly included in a section
2617           next if $cust_bill_pkg->pkgnum == 0 and
2618                   ! $cust_bill_pkg->feepart   and
2619                   ! $section;
2620
2621           if ( $type eq 'S' ) {
2622             $subtotal{$locationnum}{$section} += $cust_bill_pkg->setup
2623               if $cust_bill_pkg->setup != 0
2624               || $cust_bill_pkg->setup_show_zero;
2625           } elsif ( $type eq 'R' ) {
2626             $subtotal{$locationnum}{$section} += $cust_bill_pkg->recur - $usage
2627               if $cust_bill_pkg->recur != 0
2628               || $cust_bill_pkg->recur_show_zero;
2629           } elsif ( $type eq 'U' ) {
2630             $subtotal{$locationnum}{$section} += $usage
2631               unless scalar(@extra_sections);
2632           } elsif ( !$type ) {
2633             $subtotal{$locationnum}{$section} += $cust_bill_pkg->setup
2634                                                + $cust_bill_pkg->recur;
2635           }
2636
2637         }
2638
2639       }
2640
2641   }
2642
2643   %pkg_category_cache = ();
2644
2645   # summary invoices need subtotals for all non-disabled package categories,
2646   # even if they're zero
2647   # but currently assume that there are no location sections, or at least
2648   # that the summary page doesn't care about them
2649   if ( $opt{summary} ) {
2650     foreach my $category (qsearch('pkg_category', {disabled => ''})) {
2651       $subtotal{''}{$category->categoryname} ||= 0;
2652     }
2653     $subtotal{''}{''} ||= 0;
2654   }
2655
2656   my @sections;
2657   foreach my $post_total (0,1) {
2658     my @these;
2659     my $s = $post_total ? \%late_subtotal : \%subtotal;
2660     foreach my $locationnum (keys %$s) {
2661       foreach my $sectionname (keys %{ $s->{$locationnum} }) {
2662         my $section = {
2663                         'subtotal'    => $s->{$locationnum}{$sectionname},
2664                         'sort_weight' => 0,
2665                       };
2666         if ( $locationnum ) {
2667           $section->{'locationnum'} = $locationnum;
2668           my $location = FS::cust_location->by_key($locationnum);
2669           $section->{'description'} = &{ $escape }($location->location_label);
2670           # Better ideas? This will roughly group them by proximity, 
2671           # which alpha sorting on any of the address fields won't.
2672           # Sorting by locationnum is meaningless.
2673           # We have to sort on _something_ or the order may change 
2674           # randomly from one invoice to the next, which will confuse
2675           # people.
2676           $section->{'sort_weight'} = sprintf('%012s',$location->zip) .
2677                                       $locationnum;
2678           $section->{'location'} = {
2679             label_prefix => &{ $escape }($location->label_prefix),
2680             map { $_ => &{ $escape }($location->get($_)) }
2681               $location->fields
2682           };
2683         } else {
2684           $section->{'category'} = $sectionname;
2685           $section->{'description'} = &{ $escape }($sectionname);
2686           if ( _pkg_category($sectionname) ) {
2687             $section->{'sort_weight'} = _pkg_category($sectionname)->weight;
2688             if ( _pkg_category($sectionname)->condense ) {
2689               $section = { %$section, $self->_condense_section($opt{format}) };
2690             }
2691           }
2692         }
2693         if ( !$post_total and !$not_tax{$locationnum}{$sectionname} ) {
2694           # then it's a tax-only section
2695           $section->{'summarized'} = 'Y';
2696           $section->{'tax_section'} = 'Y';
2697         }
2698         push @these, $section;
2699       } # foreach $sectionname
2700     } #foreach $locationnum
2701     push @these, @extra_sections if $post_total == 0;
2702     # need an alpha sort for location sections, because postal codes can 
2703     # be non-numeric
2704     $sections[ $post_total ] = [ sort {
2705       $opt{'by_location'} ? 
2706         ($a->{sort_weight} cmp $b->{sort_weight}) :
2707         ($a->{sort_weight} <=> $b->{sort_weight})
2708       } @these ];
2709   } #foreach $post_total
2710
2711   return @sections; # early, late
2712 }
2713
2714 #helper subs for above
2715
2716 sub cust_pkg_hash {
2717   my $self = shift;
2718   $self->{cust_pkg} ||= { map { $_->pkgnum => $_ } $self->cust_pkg };
2719 }
2720
2721 sub _pkg_category {
2722   my $categoryname = shift;
2723   $pkg_category_cache{$categoryname} ||=
2724     qsearchs( 'pkg_category', { 'categoryname' => $categoryname } );
2725 }
2726
2727 my %condensed_format = (
2728   'label' => [ qw( Description Qty Amount ) ],
2729   'fields' => [
2730                 sub { shift->{description} },
2731                 sub { shift->{quantity} },
2732                 sub { my($href, %opt) = @_;
2733                       ($opt{dollar} || ''). $href->{amount};
2734                     },
2735               ],
2736   'align'  => [ qw( l r r ) ],
2737   'span'   => [ qw( 5 1 1 ) ],            # unitprices?
2738   'width'  => [ qw( 10.7cm 1.4cm 1.6cm ) ],   # don't like this
2739 );
2740
2741 sub _condense_section {
2742   my ( $self, $format ) = ( shift, shift );
2743   ( 'condensed' => 1,
2744     map { my $method = "_condensed_$_"; $_ => $self->$method($format) }
2745       qw( description_generator
2746           header_generator
2747           total_generator
2748           total_line_generator
2749         )
2750   );
2751 }
2752
2753 sub _condensed_generator_defaults {
2754   my ( $self, $format ) = ( shift, shift );
2755   return ( \%condensed_format, ' ', ' ', ' ', sub { shift } );
2756 }
2757
2758 my %html_align = (
2759   'c' => 'center',
2760   'l' => 'left',
2761   'r' => 'right',
2762 );
2763
2764 sub _condensed_header_generator {
2765   my ( $self, $format ) = ( shift, shift );
2766
2767   my ( $f, $prefix, $suffix, $separator, $column ) =
2768     _condensed_generator_defaults($format);
2769
2770   if ($format eq 'latex') {
2771     $prefix = "\\hline\n\\rule{0pt}{2.5ex}\n\\makebox[1.4cm]{}&\n";
2772     $suffix = "\\\\\n\\hline";
2773     $separator = "&\n";
2774     $column =
2775       sub { my ($d,$a,$s,$w) = @_;
2776             return "\\multicolumn{$s}{$a}{\\makebox[$w][$a]{\\textbf{$d}}}";
2777           };
2778   } elsif ( $format eq 'html' ) {
2779     $prefix = '<th></th>';
2780     $suffix = '';
2781     $separator = '';
2782     $column =
2783       sub { my ($d,$a,$s,$w) = @_;
2784             return qq!<th align="$html_align{$a}">$d</th>!;
2785       };
2786   }
2787
2788   sub {
2789     my @args = @_;
2790     my @result = ();
2791
2792     foreach  (my $i = 0; $f->{label}->[$i]; $i++) {
2793       push @result,
2794         &{$column}( map { $f->{$_}->[$i] } qw(label align span width) );
2795     }
2796
2797     $prefix. join($separator, @result). $suffix;
2798   };
2799
2800 }
2801
2802 sub _condensed_description_generator {
2803   my ( $self, $format ) = ( shift, shift );
2804
2805   my ( $f, $prefix, $suffix, $separator, $column ) =
2806     _condensed_generator_defaults($format);
2807
2808   my $money_char = '$';
2809   if ($format eq 'latex') {
2810     $prefix = "\\hline\n\\multicolumn{1}{c}{\\rule{0pt}{2.5ex}~} &\n";
2811     $suffix = '\\\\';
2812     $separator = " & \n";
2813     $column =
2814       sub { my ($d,$a,$s,$w) = @_;
2815             return "\\multicolumn{$s}{$a}{\\makebox[$w][$a]{\\textbf{$d}}}";
2816           };
2817     $money_char = '\\dollar';
2818   }elsif ( $format eq 'html' ) {
2819     $prefix = '"><td align="center"></td>';
2820     $suffix = '';
2821     $separator = '';
2822     $column =
2823       sub { my ($d,$a,$s,$w) = @_;
2824             return qq!<td align="$html_align{$a}">$d</td>!;
2825       };
2826     #$money_char = $conf->config('money_char') || '$';
2827     $money_char = '';  # this is madness
2828   }
2829
2830   sub {
2831     #my @args = @_;
2832     my $href = shift;
2833     my @result = ();
2834
2835     foreach  (my $i = 0; $f->{label}->[$i]; $i++) {
2836       my $dollar = '';
2837       $dollar = $money_char if $i == scalar(@{$f->{label}})-1;
2838       push @result,
2839         &{$column}( &{$f->{fields}->[$i]}($href, 'dollar' => $dollar),
2840                     map { $f->{$_}->[$i] } qw(align span width)
2841                   );
2842     }
2843
2844     $prefix. join( $separator, @result ). $suffix;
2845   };
2846
2847 }
2848
2849 sub _condensed_total_generator {
2850   my ( $self, $format ) = ( shift, shift );
2851
2852   my ( $f, $prefix, $suffix, $separator, $column ) =
2853     _condensed_generator_defaults($format);
2854   my $style = '';
2855
2856   if ($format eq 'latex') {
2857     $prefix = "& ";
2858     $suffix = "\\\\\n";
2859     $separator = " & \n";
2860     $column =
2861       sub { my ($d,$a,$s,$w) = @_;
2862             return "\\multicolumn{$s}{$a}{\\makebox[$w][$a]{$d}}";
2863           };
2864   }elsif ( $format eq 'html' ) {
2865     $prefix = '';
2866     $suffix = '';
2867     $separator = '';
2868     $style = 'border-top: 3px solid #000000;border-bottom: 3px solid #000000;';
2869     $column =
2870       sub { my ($d,$a,$s,$w) = @_;
2871             return qq!<td align="$html_align{$a}" style="$style">$d</td>!;
2872       };
2873   }
2874
2875
2876   sub {
2877     my @args = @_;
2878     my @result = ();
2879
2880     #  my $r = &{$f->{fields}->[$i]}(@args);
2881     #  $r .= ' Total' unless $i;
2882
2883     foreach  (my $i = 0; $f->{label}->[$i]; $i++) {
2884       push @result,
2885         &{$column}( &{$f->{fields}->[$i]}(@args). ($i ? '' : ' Total'),
2886                     map { $f->{$_}->[$i] } qw(align span width)
2887                   );
2888     }
2889
2890     $prefix. join( $separator, @result ). $suffix;
2891   };
2892
2893 }
2894
2895 =item total_line_generator FORMAT
2896
2897 Returns a coderef used for generation of invoice total line items for this
2898 usage_class.  FORMAT is either html or latex
2899
2900 =cut
2901
2902 # should not be used: will have issues with hash element names (description vs
2903 # total_item and amount vs total_amount -- another array of functions?
2904
2905 sub _condensed_total_line_generator {
2906   my ( $self, $format ) = ( shift, shift );
2907
2908   my ( $f, $prefix, $suffix, $separator, $column ) =
2909     _condensed_generator_defaults($format);
2910   my $style = '';
2911
2912   if ($format eq 'latex') {
2913     $prefix = "& ";
2914     $suffix = "\\\\\n";
2915     $separator = " & \n";
2916     $column =
2917       sub { my ($d,$a,$s,$w) = @_;
2918             return "\\multicolumn{$s}{$a}{\\makebox[$w][$a]{$d}}";
2919           };
2920   }elsif ( $format eq 'html' ) {
2921     $prefix = '';
2922     $suffix = '';
2923     $separator = '';
2924     $style = 'border-top: 3px solid #000000;border-bottom: 3px solid #000000;';
2925     $column =
2926       sub { my ($d,$a,$s,$w) = @_;
2927             return qq!<td align="$html_align{$a}" style="$style">$d</td>!;
2928       };
2929   }
2930
2931
2932   sub {
2933     my @args = @_;
2934     my @result = ();
2935
2936     foreach  (my $i = 0; $f->{label}->[$i]; $i++) {
2937       push @result,
2938         &{$column}( &{$f->{fields}->[$i]}(@args),
2939                     map { $f->{$_}->[$i] } qw(align span width)
2940                   );
2941     }
2942
2943     $prefix. join( $separator, @result ). $suffix;
2944   };
2945
2946 }
2947
2948 =item _items_pkg [ OPTIONS ]
2949
2950 Return line item hashes for each package item on this invoice. Nearly 
2951 equivalent to 
2952
2953 $self->_items_cust_bill_pkg([ $self->cust_bill_pkg ])
2954
2955 OPTIONS are passed through to _items_cust_bill_pkg, and should include
2956 'format' and 'escape_function' at minimum.
2957
2958 To produce items for a specific invoice section, OPTIONS should include
2959 'section', a hashref containing 'category' and/or 'locationnum' keys.
2960
2961 'section' may also contain a key named 'condensed'. If this is present
2962 and has a true value, _items_pkg will try to merge identical items into items
2963 with 'quantity' equal to the number of items (not the sum of their separate
2964 quantities, for some reason).
2965
2966 =cut
2967
2968 sub _items_nontax {
2969   my $self = shift;
2970   # The order of these is important.  Bundled line items will be merged into
2971   # the most recent non-hidden item, so it needs to be the one with:
2972   # - the same pkgnum
2973   # - the same start date
2974   # - no pkgpart_override
2975   #
2976   # So: sort by pkgnum,
2977   # then by sdate
2978   # then sort the base line item before any overrides
2979   # then sort hidden before non-hidden add-ons
2980   # then sort by override pkgpart (for consistency)
2981   sort { $a->pkgnum <=> $b->pkgnum        or
2982          $a->sdate  <=> $b->sdate         or
2983          ($a->pkgpart_override ? 0 : -1)  or
2984          ($b->pkgpart_override ? 0 : 1)   or
2985          $b->hidden cmp $a->hidden        or
2986          $a->pkgpart_override <=> $b->pkgpart_override
2987        }
2988   # and of course exclude taxes and fees
2989   grep { $_->pkgnum > 0 } $self->cust_bill_pkg;
2990 }
2991
2992 sub _items_fee {
2993   my $self = shift;
2994   my %options = @_;
2995   my @cust_bill_pkg = grep { $_->feepart } $self->cust_bill_pkg;
2996   my $escape_function = $options{escape_function};
2997
2998   my @items;
2999   foreach my $cust_bill_pkg (@cust_bill_pkg) {
3000     # cache this, so we don't look it up again in every section
3001     my $part_fee = $cust_bill_pkg->get('part_fee')
3002        || $cust_bill_pkg->part_fee;
3003     $cust_bill_pkg->set('part_fee', $part_fee);
3004     if (!$part_fee) {
3005       #die "fee definition not found for line item #".$cust_bill_pkg->billpkgnum."\n"; # might make more sense
3006       warn "fee definition not found for line item #".$cust_bill_pkg->billpkgnum."\n";
3007       next;
3008     }
3009     if ( exists($options{section}) and exists($options{section}{category}) )
3010     {
3011       my $categoryname = $options{section}{category};
3012       # then filter for items that have that section
3013       if ( $part_fee->categoryname ne $categoryname ) {
3014         warn "skipping fee '".$part_fee->itemdesc."'--not in section $categoryname\n" if $DEBUG;
3015         next;
3016       }
3017     } # otherwise include them all in the main section
3018     # XXX what to do when sectioning by location?
3019     
3020     my @ext_desc;
3021     my %base_invnums; # invnum => invoice date
3022     foreach ($cust_bill_pkg->cust_bill_pkg_fee) {
3023       if ($_->base_invnum) {
3024         my $base_bill = FS::cust_bill->by_key($_->base_invnum);
3025         my $base_date = $self->time2str_local('short', $base_bill->_date)
3026           if $base_bill;
3027         $base_invnums{$_->base_invnum} = $base_date || '';
3028       }
3029     }
3030     foreach (sort keys(%base_invnums)) {
3031       next if $_ == $self->invnum;
3032       # per convention, we must escape ext_description lines
3033       push @ext_desc,
3034         &{$escape_function}(
3035           $self->mt('from invoice #[_1] on [_2]', $_, $base_invnums{$_})
3036         );
3037     }
3038     my $desc = $part_fee->itemdesc_locale($self->cust_main->locale);
3039     # but not escape the base description line
3040
3041     push @items,
3042       { feepart     => $cust_bill_pkg->feepart,
3043         amount      => sprintf('%.2f', $cust_bill_pkg->setup + $cust_bill_pkg->recur),
3044         description => $desc,
3045         ext_description => \@ext_desc
3046         # sdate/edate?
3047       };
3048   }
3049   @items;
3050 }
3051
3052 sub _items_pkg {
3053   my $self = shift;
3054   my %options = @_;
3055
3056   warn "$me _items_pkg searching for all package line items\n"
3057     if $DEBUG > 1;
3058
3059   my @cust_bill_pkg = $self->_items_nontax;
3060
3061   warn "$me _items_pkg filtering line items\n"
3062     if $DEBUG > 1;
3063   my @items = $self->_items_cust_bill_pkg(\@cust_bill_pkg, @_);
3064
3065   if ($options{section} && $options{section}->{condensed}) {
3066
3067     warn "$me _items_pkg condensing section\n"
3068       if $DEBUG > 1;
3069
3070     my %itemshash = ();
3071     local $Storable::canonical = 1;
3072     foreach ( @items ) {
3073       my $item = { %$_ };
3074       delete $item->{ref};
3075       delete $item->{ext_description};
3076       my $key = freeze($item);
3077       $itemshash{$key} ||= 0;
3078       $itemshash{$key} ++; # += $item->{quantity};
3079     }
3080     @items = sort { $a->{description} cmp $b->{description} }
3081              map { my $i = thaw($_);
3082                    $i->{quantity} = $itemshash{$_};
3083                    $i->{amount} =
3084                      sprintf( "%.2f", $i->{quantity} * $i->{amount} );#unit_amount
3085                    $i;
3086                  }
3087              keys %itemshash;
3088   }
3089
3090   warn "$me _items_pkg returning ". scalar(@items). " items\n"
3091     if $DEBUG > 1;
3092
3093   @items;
3094 }
3095
3096 sub _taxsort {
3097   return 0 unless $a->itemdesc cmp $b->itemdesc;
3098   return -1 if $b->itemdesc eq 'Tax';
3099   return 1 if $a->itemdesc eq 'Tax';
3100   return -1 if $b->itemdesc eq 'Other surcharges';
3101   return 1 if $a->itemdesc eq 'Other surcharges';
3102   $a->itemdesc cmp $b->itemdesc;
3103 }
3104
3105 sub _items_tax {
3106   my $self = shift;
3107   my @cust_bill_pkg = sort _taxsort grep { ! $_->pkgnum and ! $_->feepart } 
3108     $self->cust_bill_pkg;
3109   my @items = $self->_items_cust_bill_pkg(\@cust_bill_pkg, @_);
3110
3111   if ( $self->conf->exists('always_show_tax') ) {
3112     my $itemdesc = $self->conf->config('always_show_tax') || 'Tax';
3113     if (0 == grep { $_->{description} eq $itemdesc } @items) {
3114       push @items,
3115         { 'description' => $itemdesc,
3116           'amount'      => 0.00 };
3117     }
3118   }
3119   @items;
3120 }
3121
3122 =item _items_cust_bill_pkg CUST_BILL_PKGS OPTIONS
3123
3124 Takes an arrayref of L<FS::cust_bill_pkg> objects, and returns a
3125 list of hashrefs describing the line items they generate on the invoice.
3126
3127 OPTIONS may include:
3128
3129 format: the invoice format.
3130
3131 escape_function: the function used to escape strings.
3132
3133 DEPRECATED? (expensive, mostly unused?)
3134 format_function: the function used to format CDRs.
3135
3136 section: a hashref containing 'category' and/or 'locationnum'; if this 
3137 is present, only returns line items that belong to that category and/or
3138 location (whichever is defined).
3139
3140 multisection: a flag indicating that this is a multisection invoice,
3141 which does something complicated.
3142
3143 Returns a list of hashrefs, each of which may contain:
3144
3145 pkgnum, description, amount, unit_amount, quantity, pkgpart, _is_setup, and 
3146 ext_description, which is an arrayref of detail lines to show below 
3147 the package line.
3148
3149 =cut
3150
3151 sub _items_cust_bill_pkg {
3152   my $self = shift;
3153   my $conf = $self->conf;
3154   my $cust_bill_pkgs = shift;
3155   my %opt = @_;
3156
3157   my $format = $opt{format} || '';
3158   my $escape_function = $opt{escape_function} || sub { shift };
3159   my $format_function = $opt{format_function} || '';
3160   my $no_usage = $opt{no_usage} || '';
3161   my $unsquelched = $opt{unsquelched} || ''; #unused
3162   my ($section, $locationnum, $category);
3163   if ( $opt{section} ) {
3164     $category = $opt{section}->{category};
3165     $locationnum = $opt{section}->{locationnum};
3166   }
3167   my $summary_page = $opt{summary_page} || ''; #unused
3168   my $multisection = defined($category) || defined($locationnum);
3169   # this variable is the value of the config setting, not whether it applies
3170   # to this particular line item.
3171   my $discount_show_always = $conf->exists('discount-show-always');
3172
3173   my $maxlength = $conf->config('cust_bill-latex_lineitem_maxlength') || 40;
3174
3175   my $cust_main = $self->cust_main;#for per-agent cust_bill-line_item-ate_style
3176
3177   # for location labels: use default location on the invoice date
3178   my $default_locationnum;
3179   if ( $self->custnum ) {
3180     my $h_cust_main;
3181     my @h_search = FS::h_cust_main->sql_h_search($self->_date);
3182     $h_cust_main = qsearchs({
3183         'table'     => 'h_cust_main',
3184         'hashref'   => { custnum => $self->custnum },
3185         'extra_sql' => $h_search[1],
3186         'addl_from' => $h_search[3],
3187     }) || $cust_main;
3188     $default_locationnum = $h_cust_main->ship_locationnum;
3189   } elsif ( $self->prospectnum ) {
3190     my $cust_location = qsearchs('cust_location',
3191       { prospectnum => $self->prospectnum,
3192         disabled => '' });
3193     $default_locationnum = $cust_location->locationnum if $cust_location;
3194   }
3195
3196   my @b = (); # accumulator for the line item hashes that we'll return
3197   my ($s, $r, $u, $d) = ( undef, undef, undef, undef );
3198             # the 'current' line item hashes for setup, recur, usage, discount
3199   foreach my $cust_bill_pkg ( @$cust_bill_pkgs )
3200   {
3201     # if the current line item is waiting to go out, and the one we're about
3202     # to start is not bundled, then push out the current one and start a new
3203     # one.
3204     if ( $d ) {
3205       $d->{amount} = $d->{setup_amount} + $d->{recur_amount};
3206     }
3207     foreach ( $s, $r, ($opt{skip_usage} ? () : $u ), $d ) {
3208       if ( $_ && !$cust_bill_pkg->hidden ) {
3209         $_->{amount}      = sprintf( "%.2f", $_->{amount} );
3210         $_->{amount}      =~ s/^\-0\.00$/0.00/;
3211         if (exists($_->{unit_amount})) {
3212           $_->{unit_amount} = sprintf( "%.2f", $_->{unit_amount} );
3213         }
3214         push @b, { %$_ };
3215         # we already decided to create this display line; don't reconsider it
3216         # now.
3217         #  if $_->{amount} != 0
3218         #  || $discount_show_always
3219         #  || ( ! $_->{_is_setup} && $_->{recur_show_zero} )
3220         #  || (   $_->{_is_setup} && $_->{setup_show_zero} )
3221         ;
3222         $_ = undef;
3223       }
3224     }
3225
3226     if ( $locationnum ) {
3227       # this is a location section; skip packages that aren't at this
3228       # service location.
3229       next if $cust_bill_pkg->pkgnum == 0; # skips fees...
3230       next if $self->cust_pkg_hash->{ $cust_bill_pkg->pkgnum }->locationnum 
3231               != $locationnum;
3232     }
3233
3234     # Consider display records for this item to determine if it belongs
3235     # in this section.  Note that if there are no display records, there
3236     # will be a default pseudo-record that includes all charge types 
3237     # and has no section name.
3238     my @cust_bill_pkg_display = $cust_bill_pkg->can('cust_bill_pkg_display')
3239                                   ? $cust_bill_pkg->cust_bill_pkg_display
3240                                   : ( $cust_bill_pkg );
3241
3242     warn "$me _items_cust_bill_pkg considering cust_bill_pkg ".
3243          $cust_bill_pkg->billpkgnum. ", pkgnum ". $cust_bill_pkg->pkgnum. "\n"
3244       if $DEBUG > 1;
3245
3246     if ( defined($category) ) {
3247       # then this is a package category section; process all display records
3248       # that belong to this section.
3249       @cust_bill_pkg_display = grep { $_->section eq $category }
3250                                 @cust_bill_pkg_display;
3251     } else {
3252       # otherwise, process all display records that aren't usage summaries
3253       # (I don't think there should be usage summaries if you aren't using 
3254       # category sections, but this is the historical behavior)
3255       @cust_bill_pkg_display = grep { !$_->summary }
3256                                 @cust_bill_pkg_display;
3257     }
3258
3259     my $classname = ''; # package class name, will fill in later
3260
3261     foreach my $display (@cust_bill_pkg_display) {
3262
3263       warn "$me _items_cust_bill_pkg considering cust_bill_pkg_display ".
3264            $display->billpkgdisplaynum. "\n"
3265         if $DEBUG > 1;
3266
3267       my $type = $display->type;
3268
3269       my $desc = $cust_bill_pkg->desc( $cust_main ? $cust_main->locale : '' );
3270       $desc = substr($desc, 0, $maxlength). '...'
3271         if $format eq 'latex' && length($desc) > $maxlength;
3272
3273       my %details_opt = ( 'format'          => $format,
3274                           'escape_function' => $escape_function,
3275                           'format_function' => $format_function,
3276                           'no_usage'        => $opt{'no_usage'},
3277                         );
3278
3279       if ( $cust_bill_pkg->pkgnum > 0 ) {
3280         # a "normal" package line item (not a quotation, not a fee, not a tax)
3281
3282         warn "$me _items_cust_bill_pkg cust_bill_pkg is non-tax\n"
3283           if $DEBUG > 1;
3284  
3285         my $cust_pkg = $cust_bill_pkg->cust_pkg;
3286         my $part_pkg = $cust_pkg->part_pkg;
3287
3288         # which pkgpart to show for display purposes?
3289         my $pkgpart = $cust_bill_pkg->pkgpart_override || $cust_pkg->pkgpart;
3290
3291         # start/end dates for invoice formats that do nonstandard 
3292         # things with them
3293         my %item_dates = ();
3294         %item_dates = map { $_ => $cust_bill_pkg->$_ } ('sdate', 'edate')
3295           unless $part_pkg->option('disable_line_item_date_ranges',1);
3296
3297         # not normally used, but pass this to the template anyway
3298         $classname = $part_pkg->classname;
3299
3300         if (    (!$type || $type eq 'S')
3301              && (    $cust_bill_pkg->setup != 0
3302                   || $cust_bill_pkg->setup_show_zero
3303                   || ($discount_show_always and $cust_bill_pkg->unitsetup > 0)
3304                 )
3305            )
3306          {
3307
3308           warn "$me _items_cust_bill_pkg adding setup\n"
3309             if $DEBUG > 1;
3310
3311           # append the word 'Setup' to the setup line if there's going to be
3312           # a recur line for the same package (i.e. not a one-time charge) 
3313           my $description = $desc;
3314           $description .= ' Setup'
3315             if $cust_bill_pkg->recur != 0
3316             || ($discount_show_always and $cust_bill_pkg->unitrecur > 0)
3317             || $cust_bill_pkg->recur_show_zero;
3318
3319           $description .= $cust_bill_pkg->time_period_pretty( $part_pkg,
3320                                                               $self->agentnum )
3321             if $part_pkg->is_prepaid #for prepaid, "display the validity period
3322                                      # triggered by the recurring charge freq
3323                                      # (RT#26274)
3324             && $cust_bill_pkg->recur == 0
3325             && ! $cust_bill_pkg->recur_show_zero;
3326
3327           my @d = ();
3328           my $svc_label;
3329
3330           # always pass the svc_label through to the template, even if 
3331           # not displaying it as an ext_description
3332           my @svc_labels = map &{$escape_function}($_),
3333                       $cust_pkg->h_labels_short($self->_date, undef, 'I');
3334
3335           $svc_label = $svc_labels[0];
3336
3337           unless ( $cust_pkg->part_pkg->hide_svc_detail
3338                 || $cust_bill_pkg->hidden )
3339           {
3340
3341             push @d, @svc_labels
3342               unless $cust_bill_pkg->pkgpart_override; #don't redisplay services
3343             # show the location label if it's not the customer's default
3344             # location, and we're not grouping items by location already
3345             if ( $cust_pkg->locationnum != $default_locationnum
3346                   and !defined($locationnum) ) {
3347               my $loc = $cust_pkg->location_label;
3348               $loc = substr($loc, 0, $maxlength). '...'
3349                 if $format eq 'latex' && length($loc) > $maxlength;
3350               push @d, &{$escape_function}($loc);
3351             }
3352
3353           } #unless hiding service details
3354
3355           push @d, $cust_bill_pkg->details(%details_opt)
3356             if $cust_bill_pkg->recur == 0;
3357
3358           if ( $cust_bill_pkg->hidden ) {
3359             $s->{amount}      += $cust_bill_pkg->setup;
3360             $s->{unit_amount} += $cust_bill_pkg->unitsetup;
3361             push @{ $s->{ext_description} }, @d;
3362           } else {
3363             $s = {
3364               _is_setup       => 1,
3365               description     => $description,
3366               pkgpart         => $pkgpart,
3367               pkgnum          => $cust_bill_pkg->pkgnum,
3368               amount          => $cust_bill_pkg->setup,
3369               setup_show_zero => $cust_bill_pkg->setup_show_zero,
3370               unit_amount     => $cust_bill_pkg->unitsetup,
3371               quantity        => $cust_bill_pkg->quantity,
3372               ext_description => \@d,
3373               svc_label       => ($svc_label || ''),
3374               locationnum     => $cust_pkg->locationnum, # sure, why not?
3375             };
3376           };
3377
3378         }
3379
3380         # should we show a recur line?
3381         # if type eq 'S', then NO, because we've been told not to.
3382         # otherwise, show the recur line if:
3383         # - there's a recurring charge
3384         # - or recur_show_zero is on
3385         # - or there's a positive unitrecur (so it's been discounted to zero)
3386         #   and discount-show-always is on
3387         if (    ( !$type || $type eq 'R' || $type eq 'U' )
3388              && (
3389                      $cust_bill_pkg->recur != 0
3390                   || !defined($s)
3391                   || ($discount_show_always and $cust_bill_pkg->unitrecur > 0)
3392                   || $cust_bill_pkg->recur_show_zero
3393                 )
3394            )
3395         {
3396
3397           warn "$me _items_cust_bill_pkg adding recur/usage\n"
3398             if $DEBUG > 1;
3399
3400           my $is_summary = $display->summary;
3401           my $description = $desc;
3402           if ( $type eq 'U' and defined($r) ) {
3403             # don't just show the same description as the recur line
3404             $description = $self->mt('Usage charges');
3405           }
3406
3407           my $part_pkg = $cust_pkg->part_pkg;
3408
3409           $description .= $cust_bill_pkg->time_period_pretty( $part_pkg,
3410                                                               $self->agentnum );
3411
3412           my @d = ();
3413           my @seconds = (); # for display of usage info
3414           my $svc_label = '';
3415
3416           #at least until cust_bill_pkg has "past" ranges in addition to
3417           #the "future" sdate/edate ones... see #3032
3418           my @dates = ( $self->_date );
3419           my $prev = $cust_bill_pkg->previous_cust_bill_pkg;
3420           push @dates, $prev->sdate if $prev;
3421           push @dates, undef if !$prev;
3422
3423           my @svc_labels = map &{$escape_function}($_),
3424                       $cust_pkg->h_labels_short(@dates, 'I');
3425           $svc_label = $svc_labels[0];
3426
3427           # show service labels, unless...
3428                     # the package is set not to display them
3429           unless ( $part_pkg->hide_svc_detail
3430                     # or this is a tax-like line item
3431                 || $cust_bill_pkg->itemdesc
3432                     # or this is a hidden (bundled) line item
3433                 || $cust_bill_pkg->hidden
3434                     # or this is a usage summary line
3435                 || $is_summary && $type && $type eq 'U'
3436                     # or this is a usage line and there's a recurring line
3437                     # for the package in the same section (which will 
3438                     # have service labels already)
3439                 || ($type eq 'U' and defined($r))
3440               )
3441           {
3442
3443             warn "$me _items_cust_bill_pkg adding service details\n"
3444               if $DEBUG > 1;
3445
3446             push @d, @svc_labels
3447               unless $cust_bill_pkg->pkgpart_override; #don't redisplay services
3448             warn "$me _items_cust_bill_pkg done adding service details\n"
3449               if $DEBUG > 1;
3450
3451             # show the location label if it's not the customer's default
3452             # location, and we're not grouping items by location already
3453             if ( $cust_pkg->locationnum != $default_locationnum
3454                   and !defined($locationnum) ) {
3455               my $loc = $cust_pkg->location_label;
3456               $loc = substr($loc, 0, $maxlength). '...'
3457                 if $format eq 'latex' && length($loc) > $maxlength;
3458               push @d, &{$escape_function}($loc);
3459             }
3460
3461             # Display of seconds_since_sqlradacct:
3462             # On the invoice, when processing @detail_items, look for a field
3463             # named 'seconds'.  This will contain total seconds for each 
3464             # service, in the same order as @ext_description.  For services 
3465             # that don't support this it will show undef.
3466             if ( $conf->exists('svc_acct-usage_seconds') 
3467                  and ! $cust_bill_pkg->pkgpart_override ) {
3468               foreach my $cust_svc ( 
3469                   $cust_pkg->h_cust_svc(@dates, 'I') 
3470                 ) {
3471
3472                 # eval because not having any part_export_usage exports 
3473                 # is a fatal error, last_bill/_date because that's how 
3474                 # sqlradius_hour billing does it
3475                 my $sec = eval {
3476                   $cust_svc->seconds_since_sqlradacct($dates[1] || 0, $dates[0]);
3477                 };
3478                 push @seconds, $sec;
3479               }
3480             } #if svc_acct-usage_seconds
3481
3482           } # if we are showing service labels
3483
3484           unless ( $is_summary ) {
3485             warn "$me _items_cust_bill_pkg adding details\n"
3486               if $DEBUG > 1;
3487
3488             #instead of omitting details entirely in this case (unwanted side
3489             # effects), just omit CDRs
3490             $details_opt{'no_usage'} = 1
3491               if $type && $type eq 'R';
3492
3493             push @d, $cust_bill_pkg->details(%details_opt);
3494           }
3495
3496           warn "$me _items_cust_bill_pkg calculating amount\n"
3497             if $DEBUG > 1;
3498   
3499           my $amount = 0;
3500           if (!$type) {
3501             $amount = $cust_bill_pkg->recur;
3502           } elsif ($type eq 'R') {
3503             $amount = $cust_bill_pkg->recur - $cust_bill_pkg->usage;
3504           } elsif ($type eq 'U') {
3505             $amount = $cust_bill_pkg->usage;
3506           }
3507   
3508           if ( !$type || $type eq 'R' ) {
3509
3510             warn "$me _items_cust_bill_pkg adding recur\n"
3511               if $DEBUG > 1;
3512
3513             my $unit_amount =
3514               ( $cust_bill_pkg->unitrecur > 0 ) ? $cust_bill_pkg->unitrecur
3515                                                 : $amount;
3516
3517             if ( $cust_bill_pkg->hidden ) {
3518               $r->{amount}      += $amount;
3519               $r->{unit_amount} += $unit_amount;
3520               push @{ $r->{ext_description} }, @d;
3521             } else {
3522               $r = {
3523                 description     => $description,
3524                 pkgpart         => $pkgpart,
3525                 pkgnum          => $cust_bill_pkg->pkgnum,
3526                 amount          => $amount,
3527                 recur_show_zero => $cust_bill_pkg->recur_show_zero,
3528                 unit_amount     => $unit_amount,
3529                 quantity        => $cust_bill_pkg->quantity,
3530                 %item_dates,
3531                 ext_description => \@d,
3532                 svc_label       => ($svc_label || ''),
3533                 locationnum     => $cust_pkg->locationnum,
3534               };
3535               $r->{'seconds'} = \@seconds if grep {defined $_} @seconds;
3536             }
3537
3538           } else {  # $type eq 'U'
3539
3540             warn "$me _items_cust_bill_pkg adding usage\n"
3541               if $DEBUG > 1;
3542
3543             if ( $cust_bill_pkg->hidden and defined($u) ) {
3544               # if this is a hidden package and there's already a usage
3545               # line for the bundle, add this package's total amount and
3546               # usage details to it
3547               $u->{amount}      += $amount;
3548               push @{ $u->{ext_description} }, @d;
3549             } elsif ( $amount ) {
3550               # create a new usage line
3551               $u = {
3552                 description     => $description,
3553                 pkgpart         => $pkgpart,
3554                 pkgnum          => $cust_bill_pkg->pkgnum,
3555                 amount          => $amount,
3556                 usage_item      => 1,
3557                 recur_show_zero => $cust_bill_pkg->recur_show_zero,
3558                 %item_dates,
3559                 ext_description => \@d,
3560                 locationnum     => $cust_pkg->locationnum,
3561               };
3562             } # else this has no usage, so don't create a usage section
3563           }
3564
3565         } # recurring or usage with recurring charge
3566
3567       } else { # taxes and fees
3568
3569         warn "$me _items_cust_bill_pkg cust_bill_pkg is tax\n"
3570           if $DEBUG > 1;
3571
3572         # items of this kind should normally not have sdate/edate.
3573         push @b, {
3574           'description' => $desc,
3575           'amount'      => sprintf('%.2f', $cust_bill_pkg->setup 
3576                                            + $cust_bill_pkg->recur)
3577         };
3578
3579       } # if package line item / other line item
3580
3581       # decide whether to show active discounts here
3582       if (
3583           # case 1: we are showing a single line for the package
3584           ( !$type )
3585           # case 2: we are showing a setup line for a package that has
3586           # no base recurring fee
3587           or ( $type eq 'S' and $cust_bill_pkg->unitrecur == 0 )
3588           # case 3: we are showing a recur line for a package that has 
3589           # a base recurring fee
3590           or ( $type eq 'R' and $cust_bill_pkg->unitrecur > 0 )
3591       ) {
3592
3593         my $item_discount = $cust_bill_pkg->_item_discount;
3594         if ( $item_discount ) {
3595           # $item_discount->{amount} is negative
3596
3597           if ( $d and $cust_bill_pkg->hidden ) {
3598             $d->{setup_amount} += $item_discount->{setup_amount};
3599             $d->{recur_amount} += $item_discount->{recur_amount};
3600           } else {
3601             $d = $item_discount;
3602             $_ = &{$escape_function}($_) foreach @{ $d->{ext_description} };
3603           }
3604
3605           # update the active line (before the discount) to show the 
3606           # original price (whether this is a hidden line or not)
3607
3608           $s->{amount} -= $item_discount->{setup_amount} if $s;
3609           $r->{amount} -= $item_discount->{recur_amount} if $r;
3610
3611         } # if there are any discounts
3612       } # if this is an appropriate place to show discounts
3613
3614     } # foreach $display
3615
3616   }
3617
3618   # discount amount is internally split up
3619   if ( $d ) {
3620     $d->{amount} = $d->{setup_amount} + $d->{recur_amount};
3621   }
3622
3623   foreach ( $s, $r, ($opt{skip_usage} ? () : $u ), $d ) {
3624     if ( $_  ) {
3625       $_->{amount}      = sprintf( "%.2f", $_->{amount} ),
3626         if exists($_->{amount});
3627       $_->{amount}      =~ s/^\-0\.00$/0.00/;
3628       if (exists($_->{unit_amount})) {
3629         $_->{unit_amount} = sprintf( "%.2f", $_->{unit_amount} );
3630       }
3631
3632       push @b, { %$_ };
3633       #if $_->{amount} != 0
3634       #  || $discount_show_always
3635       #  || ( ! $_->{_is_setup} && $_->{recur_show_zero} )
3636       #  || (   $_->{_is_setup} && $_->{setup_show_zero} )
3637     }
3638   }
3639
3640   warn "$me _items_cust_bill_pkg done considering cust_bill_pkgs\n"
3641     if $DEBUG > 1;
3642
3643   @b;
3644
3645 }
3646
3647 =item _items_discounts_avail
3648
3649 Returns an array of line item hashrefs representing available term discounts
3650 for this invoice.  This makes the same assumptions that apply to term 
3651 discounts in general: that the package is billed monthly, at a flat rate, 
3652 with no usage charges.  A prorated first month will be handled, as will 
3653 a setup fee if the discount is allowed to apply to setup fees.
3654
3655 =cut
3656
3657 sub _items_discounts_avail {
3658   my $self = shift;
3659
3660   #maybe move this method from cust_bill when quotations support discount_plans 
3661   return () unless $self->can('discount_plans');
3662   my %plans = $self->discount_plans;
3663
3664   my $list_pkgnums = 0; # if any packages are not eligible for all discounts
3665   $list_pkgnums = grep { $_->list_pkgnums } values %plans;
3666
3667   map {
3668     my $months = $_;
3669     my $plan = $plans{$months};
3670
3671     my $term_total = sprintf('%.2f', $plan->discounted_total);
3672     my $percent = sprintf('%.0f', 
3673                           100 * (1 - $term_total / $plan->base_total) );
3674     my $permonth = sprintf('%.2f', $term_total / $months);
3675     my $detail = $self->mt('discount on item'). ' '.
3676                  join(', ', map { "#$_" } $plan->pkgnums)
3677       if $list_pkgnums;
3678
3679     # discounts for non-integer months don't work anyway
3680     $months = sprintf("%d", $months);
3681
3682     +{
3683       description => $self->mt('Save [_1]% by paying for [_2] months',
3684                                 $percent, $months),
3685       amount      => $self->mt('[_1] ([_2] per month)', 
3686                                 $term_total, $money_char.$permonth),
3687       ext_description => ($detail || ''),
3688     }
3689   } #map
3690   sort { $b <=> $a } keys %plans;
3691
3692 }
3693
3694 1;