optimize invoice display with sections, RT#80177
[freeside.git] / FS / FS / Template_Mixin.pm
1 package FS::Template_Mixin;
2
3 use strict;
4 use vars qw( $DEBUG $me
5              $money_char
6              $date_format
7            );
8              # but NOT $conf
9 use vars qw( $invoice_lines @buf ); #yuck
10 use List::Util qw(sum); #can't import first, it conflicts with cust_main.first
11 use Date::Format;
12 use Date::Language;
13 use Time::Local qw( timelocal );
14 use Text::Template 1.20;
15 use File::Temp 0.14;
16 use Archive::Zip qw( :ERROR_CODES :CONSTANTS );
17 use IO::Scalar;
18 use HTML::Entities;
19 use Cwd;
20 use FS::UID;
21 use FS::Misc qw( send_email );
22 use FS::Record qw( qsearch qsearchs dbh );
23 use FS::Conf;
24 use FS::Misc qw( generate_ps generate_pdf );
25 use FS::pkg_category;
26 use FS::pkg_class;
27 use FS::invoice_mode;
28 use FS::L10N;
29
30 $DEBUG = 0;
31 $me = '[FS::Template_Mixin]';
32 FS::UID->install_callback( sub { 
33   my $conf = new FS::Conf; #global
34   $money_char  = $conf->config('money_char')  || '$';  
35   $date_format = $conf->config('date_format') || '%x'; #/YY
36 } );
37
38 =item conf [ MODE ]
39
40 Returns a configuration handle (L<FS::Conf>) set to the customer's locale.
41
42 If the "mode" pseudo-field is set on the object, the configuration handle
43 will be an L<FS::invoice_conf> for that invoice mode (and the customer's
44 locale).
45
46 =cut
47
48 sub conf {
49   my $self = shift;
50   my $mode = $self->get('mode');
51   if ($self->{_conf} and !defined($mode)) {
52     return $self->{_conf};
53   }
54
55   my $cust_main = $self->cust_main;
56   my $locale = $cust_main ? $cust_main->locale : '';
57   my $conf;
58   if ( $mode ) {
59     if ( ref $mode and $mode->isa('FS::invoice_mode') ) {
60       $mode = $mode->modenum;
61     } elsif ( $mode =~ /\D/ ) {
62       die "invalid invoice mode $mode";
63     }
64     $conf = qsearchs('invoice_conf', { modenum => $mode, locale => $locale });
65     if (!$conf) {
66       $conf = qsearchs('invoice_conf', { modenum => $mode, locale => '' });
67       # it doesn't have a locale, but system conf still might
68       $conf->set('locale' => $locale) if $conf;
69     }
70   }
71   # if $mode is unspecified, or if there is no invoice_conf matching this mode
72   # and locale, then use the system config only (but with the locale)
73   $conf ||= FS::Conf->new({ 'locale' => $locale });
74   # cache it
75   return $self->{_conf} = $conf;
76 }
77
78 =item print_text OPTIONS
79
80 Returns an text invoice, as a list of lines.
81
82 Options can be passed as a hash.
83
84 I<time>, if specified, is used to control the printing of overdue messages.  The
85 default is now.  It isn't the date of the invoice; that's the `_date' field.
86 It is specified as a UNIX timestamp; see L<perlfunc/"time">.  Also see
87 L<Time::Local> and L<Date::Parse> for conversion functions.
88
89 I<template>, if specified, is the name of a suffix for alternate invoices.
90
91 I<notice_name>, if specified, overrides "Invoice" as the name of the sent document (templates from 10/2009 or newer required)
92
93 =cut
94
95 sub print_text {
96   my $self = shift;
97   my %params;
98   if ( ref($_[0]) ) {
99     %params = %{ shift() };
100   } else {
101     %params = @_;
102   }
103
104   $params{'format'} = 'template'; # for some reason
105
106   $self->print_generic( %params );
107 }
108
109 =item print_latex HASHREF
110
111 Internal method - returns a filename of a filled-in LaTeX template for this
112 invoice (Note: add ".tex" to get the actual filename), and a filename of
113 an associated logo (with the .eps extension included).
114
115 See print_ps and print_pdf for methods that return PostScript and PDF output.
116
117 Options can be passed as a hash.
118
119 I<time>, if specified, is used to control the printing of overdue messages.  The
120 default is now.  It isn't the date of the invoice; that's the `_date' field.
121 It is specified as a UNIX timestamp; see L<perlfunc/"time">.  Also see
122 L<Time::Local> and L<Date::Parse> for conversion functions.
123
124 I<template>, if specified, is the name of a suffix for alternate invoices.  
125 This is strongly deprecated; see L<FS::invoice_conf> for the right way to
126 customize invoice templates for different purposes.
127
128 I<notice_name>, if specified, overrides "Invoice" as the name of the sent document (templates from 10/2009 or newer required)
129
130 =cut
131
132 sub print_latex {
133   my $self = shift;
134   my %params;
135
136   if ( ref($_[0]) ) {
137     %params = %{ shift() };
138   } else {
139     %params = @_;
140   }
141
142   $params{'format'} = 'latex';
143   my $conf = $self->conf;
144
145   # this needs to go away
146   my $template = $params{'template'};
147   # and this especially
148   $template ||= $self->_agent_template
149     if $self->can('_agent_template');
150
151   #the new way
152   $self->set('mode', $params{mode})
153     if $params{mode};
154
155   my $pkey = $self->primary_key;
156   my $tmp_template = $self->table. '.'. $self->$pkey. '.XXXXXXXX';
157
158   my $dir = $FS::UID::conf_dir. "/cache.". $FS::UID::datasrc;
159   my $lh = new File::Temp(
160     TEMPLATE => $tmp_template,
161     DIR      => $dir,
162     SUFFIX   => '.eps',
163     UNLINK   => 0,
164   ) or die "can't open temp file: $!\n";
165
166   my $agentnum = $self->agentnum;
167
168   if ( $template && $conf->exists("logo_${template}.eps", $agentnum) ) {
169     print $lh $conf->config_binary("logo_${template}.eps", $agentnum)
170       or die "can't write temp file: $!\n";
171   } else {
172     print $lh $conf->config_binary('logo.eps', $agentnum)
173       or die "can't write temp file: $!\n";
174   }
175   close $lh;
176   $params{'logo_file'} = $lh->filename;
177
178   if( $conf->exists('invoice-barcode') 
179         && $self->can('invoice_barcode')
180         && $self->invnum ) { # don't try to barcode statements
181       my $png_file = $self->invoice_barcode($dir);
182       my $eps_file = $png_file;
183       $eps_file =~ s/\.png$/.eps/g;
184       $png_file =~ /(barcode.*png)/;
185       $png_file = $1;
186       $eps_file =~ /(barcode.*eps)/;
187       $eps_file = $1;
188
189       my $curr_dir = cwd();
190       chdir($dir); 
191       # after painfuly long experimentation, it was determined that sam2p won't
192       # accept : and other chars in the path, no matter how hard I tried to
193       # escape them, hence the chdir (and chdir back, just to be safe)
194       system('sam2p', '-j:quiet', $png_file, 'EPS:', $eps_file ) == 0
195         or die "sam2p failed: $!\n";
196       unlink($png_file);
197       chdir($curr_dir);
198
199       $params{'barcode_file'} = $eps_file;
200   }
201
202   my @filled_in = $self->print_generic( %params );
203   
204   my $fh = new File::Temp( TEMPLATE => $tmp_template,
205                            DIR      => $dir,
206                            SUFFIX   => '.tex',
207                            UNLINK   => 0,
208                          ) or die "can't open temp file: $!\n";
209   binmode($fh, ':utf8'); # language support
210   print $fh join('', @filled_in );
211   close $fh;
212
213   $fh->filename =~ /^(.*).tex$/ or die "unparsable filename: ". $fh->filename;
214   return ($1, $params{'logo_file'}, $params{'barcode_file'});
215
216 }
217
218 sub agentnum {
219   my $self = shift;
220   my $cust_main = $self->cust_main;
221   $cust_main ? $cust_main->agentnum : $self->prospect_main->agentnum;
222 }
223
224 =item print_generic OPTION => VALUE ...
225
226 Internal method - returns a filled-in template for this invoice as a scalar.
227
228 See print_ps and print_pdf for methods that return PostScript and PDF output.
229
230 Required options
231
232 =over 4
233
234 =item format
235
236 The B<format> option is required and should be set to html, latex (print and PDF) or template (plaintext).
237
238 =back
239
240 Additional options
241
242 =over 4
243
244 =item notice_name
245
246 Overrides "Invoice" as the name of the sent document.
247
248 =item today
249
250 Used to control the printing of overdue messages.  The
251 default is now.  It isn't the date of the invoice; that's the `_date' field.
252 It is specified as a UNIX timestamp; see L<perlfunc/"time">.  Also see
253 L<Time::Local> and L<Date::Parse> for conversion functions.
254
255 =item logo_file
256
257 Logo file (path to temporary EPS file on the local filesystem)
258
259 =item cid
260
261 CID for inline (emailed) images (logo)
262
263 =item locale
264
265 Override customer's locale
266
267 =item unsquelch_cdr
268
269 Overrides any per customer cdr squelching when true
270
271 =item no_number
272
273 Supress the (invoice, quotation, statement, etc.) number
274
275 =item no_date
276
277 Supress the date
278
279 =item no_coupon
280
281 Supress the payment coupon
282
283 =item barcode_file
284
285 Barcode file (path to temporary EPS file on the local filesystem)
286
287 =item barcode_img
288
289 Flag indicating the barcode image should be a link (normal HTML dipaly)
290
291 =item barcode_cid
292
293 Barcode CID for inline (emailed) images
294
295 =item preref_callback
296
297 Coderef run for each line item, code should return HTML to be displayed
298 before that line item (quotations only)
299
300 =item template
301
302 Deprecated.  Used as a suffix for a configuration template.  Please 
303 don't use this, it deprecated in favor of more flexible alternatives.
304
305 =back
306
307 =cut
308
309 #what's with all the sprintf('%10.2f')'s in here?  will it cause any
310 # (alignment in text invoice?) problems to change them all to '%.2f' ?
311 # yes: fixed width/plain text printing will be borked
312 sub print_generic {
313   my( $self, %params ) = @_;
314   my $conf = $self->conf;
315
316   my $today = $params{today} ? $params{today} : time;
317   warn "$me print_generic called on $self with suffix $params{template}\n"
318     if $DEBUG;
319
320   my $format = $params{format};
321   die "Unknown format: $format"
322     unless $format =~ /^(latex|html|template)$/;
323
324   my $cust_main = $self->cust_main || $self->prospect_main;
325
326   my $locale = $params{'locale'} || $cust_main->locale;
327
328   my %delimiters = ( 'latex'    => [ '[@--', '--@]' ],
329                      'html'     => [ '<%=', '%>' ],
330                      'template' => [ '{', '}' ],
331                    );
332
333   warn "$me print_generic creating template\n"
334     if $DEBUG > 1;
335
336   # set the notice name here, and nowhere else.
337   my $notice_name =  $params{notice_name}
338                   || $conf->config('notice_name')
339                   || $self->notice_name;
340
341   #create the template
342   my $template = $params{template} ? $params{template} : $self->_agent_template;
343   my $templatefile = $self->template_conf. $format;
344   $templatefile .= "_$template"
345     if length($template) && $conf->exists($templatefile."_$template");
346
347   # the base template
348   my @invoice_template = map "$_\n", $conf->config($templatefile)
349     or die "cannot load config data $templatefile";
350
351   if ( $format eq 'latex' && grep { /^%%Detail/ } @invoice_template ) {
352     #change this to a die when the old code is removed
353     # it's been almost ten years, changing it to a die
354     die "old-style invoice template $templatefile; ".
355          "patch with conf/invoice_latex.diff or use new conf/invoice_latex*\n";
356          #$old_latex = 'true';
357          #@invoice_template = _translate_old_latex_format(@invoice_template);
358   } 
359
360   warn "$me print_generic creating T:T object\n"
361     if $DEBUG > 1;
362
363   my $text_template = new Text::Template(
364     TYPE => 'ARRAY',
365     SOURCE => \@invoice_template,
366     DELIMITERS => $delimiters{$format},
367   );
368
369   warn "$me print_generic compiling T:T object\n"
370     if $DEBUG > 1;
371
372   $text_template->compile()
373     or die "Can't compile $templatefile: $Text::Template::ERROR\n";
374
375
376   # additional substitution could possibly cause breakage in existing templates
377   my %convert_maps = ( 
378     'latex' => {
379                  'notes'         => sub { map "$_", @_ },
380                  'footer'        => sub { map "$_", @_ },
381                  'smallfooter'   => sub { map "$_", @_ },
382                  'returnaddress' => sub { map "$_", @_ },
383                  'coupon'        => sub { map "$_", @_ },
384                  'summary'       => sub { map "$_", @_ },
385                },
386     'html'  => {
387                  'notes' =>
388                    sub {
389                      map { 
390                        s/%%(.*)$/<!-- $1 -->/g;
391                        s/\\section\*\{\\textsc\{(.)(.*)\}\}/<p><b><font size="+1">$1<\/font>\U$2<\/b>/g;
392                        s/\\begin\{enumerate\}/<ol>/g;
393                        s/\\item /  <li>/g;
394                        s/\\end\{enumerate\}/<\/ol>/g;
395                        s/\\textbf\{(.*)\}/<b>$1<\/b>/g;
396                        s/\\\\\*/<br>/g;
397                        s/\\dollar ?/\$/g;
398                        s/\\#/#/g;
399                        s/~/&nbsp;/g;
400                        $_;
401                      }  @_
402                    },
403                  'footer' =>
404                    sub { map { s/~/&nbsp;/g; s/\\\\\*?\s*$/<BR>/; $_; } @_ },
405                  'smallfooter' =>
406                    sub { map { s/~/&nbsp;/g; s/\\\\\*?\s*$/<BR>/; $_; } @_ },
407                  'returnaddress' =>
408                    sub {
409                      map { 
410                        s/~/&nbsp;/g;
411                        s/\\\\\*?\s*$/<BR>/;
412                        s/\\hyphenation\{[\w\s\-]+}//;
413                        s/\\([&])/$1/g;
414                        $_;
415                      }  @_
416                    },
417                  'coupon'        => sub { "" },
418                  'summary'       => sub { "" },
419                },
420     'template' => {
421                  'notes' =>
422                    sub {
423                      map { 
424                        s/%%.*$//g;
425                        s/\\section\*\{\\textsc\{(.*)\}\}/\U$1/g;
426                        s/\\begin\{enumerate\}//g;
427                        s/\\item /  * /g;
428                        s/\\end\{enumerate\}//g;
429                        s/\\textbf\{(.*)\}/$1/g;
430                        s/\\\\\*/ /;
431                        s/\\dollar ?/\$/g;
432                        $_;
433                      }  @_
434                    },
435                  'footer' =>
436                    sub { map { s/~/ /g; s/\\\\\*?\s*$/\n/; $_; } @_ },
437                  'smallfooter' =>
438                    sub { map { s/~/ /g; s/\\\\\*?\s*$/\n/; $_; } @_ },
439                  'returnaddress' =>
440                    sub {
441                      map { 
442                        s/~/ /g;
443                        s/\\\\\*?\s*$/\n/;             # dubious
444                        s/\\hyphenation\{[\w\s\-]+}//;
445                        $_;
446                      }  @_
447                    },
448                  'coupon'        => sub { "" },
449                  'summary'       => sub { "" },
450                },
451   );
452
453
454   # hashes for differing output formats
455   my %nbsps = ( 'latex'    => '~',
456                 'html'     => '',    # '&nbps;' would be nice
457                 'template' => '',    # not used
458               );
459   my $nbsp = $nbsps{$format};
460
461   my %escape_functions = ( 'latex'    => \&_latex_escape,
462                            'html'     => \&_html_escape_nbsp,#\&encode_entities,
463                            'template' => sub { shift },
464                          );
465   my $escape_function = $escape_functions{$format};
466   my $escape_function_nonbsp = ($format eq 'html')
467                                  ? \&_html_escape : $escape_function;
468
469   my %newline_tokens = (  'latex'     => '\\\\',
470                           'html'      => '<br>',
471                           'template'  => "\n",
472                         );
473   my $newline_token = $newline_tokens{$format};
474
475   warn "$me generating template variables\n"
476     if $DEBUG > 1;
477
478   # generate template variables
479   my $returnaddress;
480
481   if (
482          defined( $conf->config_orbase( "invoice_${format}returnaddress",
483                                         $template
484                                       )
485                 )
486        && length( $conf->config_orbase( "invoice_${format}returnaddress",
487                                         $template
488                                       )
489                 )
490   ) {
491
492     $returnaddress = join("\n",
493       $conf->config_orbase("invoice_${format}returnaddress", $template)
494     );
495
496   } elsif ( grep /\S/,
497             $conf->config_orbase('invoice_latexreturnaddress', $template) ) {
498
499     my $convert_map = $convert_maps{$format}{'returnaddress'};
500     $returnaddress =
501       join( "\n",
502             &$convert_map( $conf->config_orbase( "invoice_latexreturnaddress",
503                                                  $template
504                                                )
505                          )
506           );
507   } elsif ( grep /\S/, $conf->config('company_address', $cust_main->agentnum) ) {
508
509     my $convert_map = $convert_maps{$format}{'returnaddress'};
510     $returnaddress = join( "\n", &$convert_map(
511                                    map { s/( {2,})/'~' x length($1)/eg;
512                                          s/$/\\\\\*/;
513                                          $_
514                                        }
515                                      ( $conf->config('company_name', $cust_main->agentnum),
516                                        $conf->config('company_address', $cust_main->agentnum),
517                                      )
518                                  )
519                      );
520
521   } else {
522
523     my $warning = "Couldn't find a return address; ".
524                   "do you need to set the company_address configuration value?";
525     warn "$warning\n";
526     $returnaddress = $nbsp;
527     #$returnaddress = $warning;
528
529   }
530
531   warn "$me generating invoice data\n"
532     if $DEBUG > 1;
533
534   my $agentnum = $cust_main->agentnum;
535
536   my %invoice_data = (
537
538     #invoice from info
539     'company_name'    => scalar( $conf->config('company_name', $agentnum) ),
540     'company_address' => join("\n", $conf->config('company_address', $agentnum) ). "\n",
541     'company_phonenum'=> scalar( $conf->config('company_phonenum', $agentnum) ),
542     'returnaddress'   => $returnaddress,
543     'agent'           => &$escape_function($cust_main->agent->agent),
544
545     #invoice/quotation info
546     'no_number'       => $params{'no_number'},
547     'invnum'          => ( $params{'no_number'} ? '' : $self->invnum ),
548     'quotationnum'    => $self->quotationnum,
549     'no_date'         => $params{'no_date'},
550     '_date'           => ( $params{'no_date'} ? '' : $self->_date ),
551       # workaround for inconsistent behavior in the early plain text 
552       # templates; see RT#28271
553     'date'            => ( $params{'no_date'}
554                              ? ''
555                              : ($format eq 'template'
556                                ? $self->_date
557                                : $self->time2str_local('long', $self->_date, $format)
558                                )
559                          ),
560     'today'           => $self->time2str_local('long', $today, $format),
561     'terms'           => $self->terms,
562     'template'        => $template, #params{'template'},
563     'notice_name'     => $notice_name, # escape?
564     'current_charges' => sprintf("%.2f", $self->charged),
565     'duedate'         => $self->due_date2str('rdate'), #date_format?
566     'duedate_long'    => $self->due_date2str('long'),
567
568     #customer info
569     'custnum'         => $cust_main->display_custnum,
570     'prospectnum'     => $cust_main->prospectnum,
571     'agent_custid'    => &$escape_function($cust_main->agent_custid),
572     ( map { $_ => &$escape_function($cust_main->$_()) }
573         qw( company address1 address2 city state zip fax )
574     ),
575     'payname'         => &$escape_function( $cust_main->invoice_attn
576                                              || $cust_main->contact_firstlast ),
577
578     #global config
579     'ship_enable'     => $cust_main->invoice_ship_address || $conf->exists('invoice-ship_address'),
580     'unitprices'      => $conf->exists('invoice-unitprice'),
581     'smallernotes'    => $conf->exists('invoice-smallernotes'),
582     'smallerfooter'   => $conf->exists('invoice-smallerfooter'),
583     'balance_due_below_line' => $conf->exists('balance_due_below_line'),
584    
585     #layout info -- would be fancy to calc some of this and bury the template
586     #               here in the code
587     'topmargin'             => scalar($conf->config('invoice_latextopmargin', $agentnum)),
588     'headsep'               => scalar($conf->config('invoice_latexheadsep', $agentnum)),
589     'textheight'            => scalar($conf->config('invoice_latextextheight', $agentnum)),
590     'extracouponspace'      => scalar($conf->config('invoice_latexextracouponspace', $agentnum)),
591     'couponfootsep'         => scalar($conf->config('invoice_latexcouponfootsep', $agentnum)),
592     'verticalreturnaddress' => $conf->exists('invoice_latexverticalreturnaddress', $agentnum),
593     'addresssep'            => scalar($conf->config('invoice_latexaddresssep', $agentnum)),
594     'amountenclosedsep'     => scalar($conf->config('invoice_latexcouponamountenclosedsep', $agentnum)),
595     'coupontoaddresssep'    => scalar($conf->config('invoice_latexcoupontoaddresssep', $agentnum)),
596     'addcompanytoaddress'   => $conf->exists('invoice_latexcouponaddcompanytoaddress', $agentnum),
597
598     # better hang on to conf_dir for a while (for old templates)
599     'conf_dir'        => "$FS::UID::conf_dir/conf.$FS::UID::datasrc",
600
601     #these are only used when doing paged plaintext
602     'page'            => 1,
603     'total_pages'     => 1,
604
605   );
606
607   #quotations have $name
608   $invoice_data{'name'} = $invoice_data{'payname'};
609  
610   #localization
611   $invoice_data{'emt'} = sub { &$escape_function($self->mt(@_)) };
612   # prototype here to silence warnings
613   $invoice_data{'time2str'} = sub ($;$$) { $self->time2str_local(@_, $format) };
614
615   my $min_sdate = 999999999999;
616   my $max_edate = 0;
617   foreach my $cust_bill_pkg ( $self->cust_bill_pkg ) {
618     next unless $cust_bill_pkg->pkgnum > 0;
619     $min_sdate = $cust_bill_pkg->sdate
620       if length($cust_bill_pkg->sdate) && $cust_bill_pkg->sdate < $min_sdate;
621     $max_edate = $cust_bill_pkg->edate
622       if length($cust_bill_pkg->edate) && $cust_bill_pkg->edate > $max_edate;
623   }
624
625   $invoice_data{'bill_period'} = '';
626   $invoice_data{'bill_period'} =
627       $self->time2str_local('%e %h', $min_sdate, $format) 
628       . " to " .
629       $self->time2str_local('%e %h', $max_edate, $format)
630     if ($max_edate != 0 && $min_sdate != 999999999999);
631
632   $invoice_data{finance_section} = '';
633   if ( $conf->config('finance_pkgclass') ) {
634     my $pkg_class =
635       qsearchs('pkg_class', { classnum => $conf->config('finance_pkgclass') });
636     $invoice_data{finance_section} = $pkg_class->categoryname;
637   } 
638   $invoice_data{finance_amount} = '0.00';
639   $invoice_data{finance_section} ||= 'Finance Charges'; #avoid config confusion
640
641   my $countrydefault = $conf->config('countrydefault') || 'US';
642   foreach ( qw( address1 address2 city state zip country fax) ){
643     my $method = 'ship_'.$_;
644     $invoice_data{"ship_$_"} = $escape_function->($cust_main->$method);
645   }
646   if ( length($cust_main->ship_company) ) {
647     $invoice_data{'ship_company'} = $escape_function->($cust_main->ship_company);
648   } else {
649     $invoice_data{'ship_company'} = $escape_function->($cust_main->company);
650   }
651   $invoice_data{'ship_contact'} = $escape_function->($cust_main->contact);
652   $invoice_data{'ship_country'} = ''
653     if ( $invoice_data{'ship_country'} eq $countrydefault );
654   
655   $invoice_data{'cid'} = $params{'cid'}
656     if $params{'cid'};
657
658   if ( $cust_main->bill_locationnum
659        && $cust_main->bill_location->country ne $countrydefault ) {
660     $invoice_data{'country'} = &$escape_function($cust_main->bill_country_full);
661   } else {
662     $invoice_data{'country'} = '';
663   }
664
665   my @address = ();
666   $invoice_data{'address'} = \@address;
667   push @address,
668     $invoice_data{'payname'}.
669       ( $cust_main->po_number
670           ? " (P.O. #". $cust_main->po_number. ")"
671           : ''
672       )
673   ;
674   push @address, $cust_main->company
675     if $cust_main->company;
676   push @address, $cust_main->address1;
677   push @address, $cust_main->address2
678     if $cust_main->address2;
679   push @address,
680     $cust_main->city. ", ". $cust_main->state. "  ".  $cust_main->zip;
681   push @address, $invoice_data{'country'}
682     if $invoice_data{'country'};
683   push @address, ''
684     while (scalar(@address) < 5);
685
686   $invoice_data{'logo_file'} = $params{'logo_file'}
687     if $params{'logo_file'};
688   $invoice_data{'barcode_file'} = $params{'barcode_file'}
689     if $params{'barcode_file'};
690   $invoice_data{'barcode_img'} = $params{'barcode_img'}
691     if $params{'barcode_img'};
692   $invoice_data{'barcode_cid'} = $params{'barcode_cid'}
693     if $params{'barcode_cid'};
694
695   my( $pr_total, @pr_cust_bill ) = $self->previous; #previous balance
696 #  my( $cr_total, @cr_cust_credit ) = $self->cust_credit; #credits
697   #my $balance_due = $self->owed + $pr_total - $cr_total;
698   my $balance_due = $self->owed;
699   if ( $self->enable_previous ) {
700     $balance_due += $pr_total;
701   }
702   # otherwise the previous balance is not shown, so including it in the
703   # balance due is just confusing
704
705   # the sum of amount owed on all invoices
706   # (this is used in the summary & on the payment coupon)
707   $invoice_data{'balance'} = sprintf("%.2f", $balance_due);
708
709   # flag telling this invoice to have a first-page summary
710   my $summarypage = '';
711
712   if ( $self->custnum && $self->invnum ) {
713     # XXX should be an FS::cust_bill method to set the defaults, instead
714     # of checking the type here
715
716     # info from customer's last invoice before this one, for some 
717     # summary formats
718     $invoice_data{'last_bill'} = {};
719  
720     my $last_bill = $self->previous_bill;
721     if ( $last_bill ) {
722
723       # "balance_date_range" unfortunately is unsuitable for this, since it
724       # cares about application dates.  We want to know the sum of all 
725       # _top-level transactions_ dated before the last invoice.
726       #
727       # still do this for the "Previous Balance" line of the summary block
728       my @sql =
729         map "$_ WHERE _date <= ? AND custnum = ?", (
730           "SELECT      COALESCE( SUM(charged), 0 ) FROM cust_bill",
731           "SELECT -1 * COALESCE( SUM(amount),  0 ) FROM cust_credit",
732           "SELECT -1 * COALESCE( SUM(paid),    0 ) FROM cust_pay",
733           "SELECT      COALESCE( SUM(refund),  0 ) FROM cust_refund",
734         );
735
736       # the customer's current balance immediately after generating the last 
737       # bill
738
739       my $last_bill_balance = $last_bill->charged;
740       foreach (@sql) {
741         my $delta = FS::Record->scalar_sql(
742           $_,
743           $last_bill->_date - 1,
744           $self->custnum,
745         );
746         $last_bill_balance += $delta;
747       }
748
749       $last_bill_balance = sprintf("%.2f", $last_bill_balance);
750
751       warn sprintf("LAST BILL: INVNUM %d, DATE %s, BALANCE %.2f\n\n",
752         $last_bill->invnum,
753         $self->time2str_local('%D', $last_bill->_date),
754         $last_bill_balance
755       ) if $DEBUG > 0;
756       # ("true_previous_balance" is a terrible name, but at least it's no
757       # longer stored in the database)
758       $invoice_data{'true_previous_balance'} = $last_bill_balance;
759
760       # Now, get all applications of credits/payments dated on or after the
761       # previous bill, to invoices before the current bill. (The
762       # credit/payment date restriction prevents these from intersecting
763       # the "Previous Balance" set.)
764       # These are "adjustments". The past due balance will be shown as
765       # Previous Balance - Adjustments.
766       my $adjustments = 0;
767       @sql = map {
768         "SELECT COALESCE(SUM(y.amount),0) FROM $_ JOIN cust_bill USING (invnum)
769          WHERE cust_bill._date < ?
770            AND x._date >= ?
771            AND cust_bill.custnum = ?"
772         } "cust_credit AS x JOIN cust_credit_bill y USING (crednum)",
773           "cust_pay    AS x JOIN cust_bill_pay    y USING (paynum)"
774       ;
775       foreach (@sql) {
776         my $delta = FS::Record->scalar_sql(
777           $_,
778           $self->_date,
779           $last_bill->_date,
780           $self->custnum,
781         );
782         $adjustments += $delta;
783       }
784       $invoice_data{'balance_adjustments'} = sprintf("%.2f", $adjustments);
785
786       warn sprintf("BALANCE ADJUSTMENTS: %.2f\n\n",
787                    $invoice_data{'balance_adjustments'}
788       ) if $DEBUG > 0;
789
790       # the sum of amount owed on all previous invoices
791       # ($pr_total is used elsewhere but not as $previous_balance)
792       $invoice_data{'previous_balance'} = sprintf("%.2f", $pr_total);
793
794       $invoice_data{'last_bill'}{'_date'} = $last_bill->_date; #unformatted
795       my (@payments, @credits);
796       # for formats that itemize previous payments
797       foreach my $cust_pay ( qsearch('cust_pay', {
798                               'custnum' => $self->custnum,
799                               '_date'   => { op => '>=',
800                                              value => $last_bill->_date }
801                              } ) )
802       {
803         next if $cust_pay->_date > $self->_date;
804         push @payments, {
805             '_date'       => $cust_pay->_date,
806             'date'        => $self->time2str_local('long', $cust_pay->_date, $format),
807             'payinfo'     => $cust_pay->payby_payinfo_pretty,
808             'amount'      => sprintf('%.2f', $cust_pay->paid),
809         };
810         # not concerned about applications
811       }
812       foreach my $cust_credit ( qsearch('cust_credit', {
813                               'custnum' => $self->custnum,
814                               '_date'   => { op => '>=',
815                                              value => $last_bill->_date }
816                              } ) )
817       {
818         next if $cust_credit->_date > $self->_date;
819         push @credits, {
820             '_date'       => $cust_credit->_date,
821             'date'        => $self->time2str_local('long', $cust_credit->_date, $format),
822             'creditreason'=> $cust_credit->reason,
823             'amount'      => sprintf('%.2f', $cust_credit->amount),
824         };
825       }
826       $invoice_data{'previous_payments'} = \@payments;
827       $invoice_data{'previous_credits'}  = \@credits;
828     } else {
829       # there is no $last_bill
830       $invoice_data{'true_previous_balance'} =
831       $invoice_data{'balance_adjustments'}   =
832       $invoice_data{'previous_balance'}      = '0.00';
833       $invoice_data{'previous_payments'} = [];
834       $invoice_data{'previous_credits'} = [];
835     }
836  
837     if ( $conf->config_bool('invoice_usesummary', $agentnum) ) {
838       $invoice_data{'summarypage'} = $summarypage = 1;
839     }
840
841   } # if this is an invoice
842
843   warn "$me substituting variables in notes, footer, smallfooter\n"
844     if $DEBUG > 1;
845
846   my $tc = $self->template_conf;
847   my @include = ( [ $tc,        'notes' ],
848                   [ 'invoice_', 'footer' ],
849                   [ 'invoice_', 'smallfooter', ],
850                   [ 'invoice_', 'watermark' ],
851                 );
852   push @include, [ $tc,        'coupon', ]
853     unless $params{'no_coupon'};
854
855   foreach my $i (@include) {
856
857     # load the configuration for this sub-template
858
859     my($base, $include) = @$i;
860
861     my $inc_file = $conf->key_orbase("$base$format$include", $template);
862
863     my @inc_src = $conf->config($inc_file, $agentnum);
864     if (!@inc_src) {
865       my $converter = $convert_maps{$format}{$include};
866       if ( $converter ) {
867         # then attempt to convert LaTeX to the requested format
868         $inc_file = $conf->key_orbase($base.'latex'.$include, $template);
869         @inc_src = &$converter( $conf->config($inc_file, $agentnum) );
870         foreach (@inc_src) {
871           # this isn't included in the convert_maps
872           my ($open, $close) = @{ $delimiters{$format} };
873           s/\[\@--/$open/g;
874           s/--\@\]/$close/g;
875         }
876       }
877     } # else @inc_src is empty and that's fine
878
879     # make a Text::Template out of it
880
881     my $inc_tt = new Text::Template (
882       TYPE       => 'ARRAY',
883       SOURCE     => [ map "$_\n", @inc_src ],
884       DELIMITERS => $delimiters{$format},
885     ) or die "Can't create new Text::Template object: $Text::Template::ERROR";
886
887     unless ( $inc_tt->compile() ) {
888       my $error = "Can't compile $inc_file template: $Text::Template::ERROR\n";
889       warn $error. "Template:\n". join('', map "$_\n", @inc_src);
890       die $error;
891     }
892
893     # fill in variables
894
895     $invoice_data{$include} = $inc_tt->fill_in( HASH => \%invoice_data );
896
897     $invoice_data{$include} =~ s/\n+$//
898       if ($format eq 'latex');
899   }
900
901 # if (well, probably when) we still need PO numbers in the brave new world of
902 # 4.x, then we'll have to add them back as their own customer fields
903 #  # let invoices use either of these as needed
904 #  $invoice_data{'po_num'} = ($cust_main->payby eq 'BILL') 
905 #    ? $cust_main->payinfo : '';
906 #  $invoice_data{'po_line'} = 
907 #    (  $cust_main->payby eq 'BILL' && $cust_main->payinfo )
908 #      ? &$escape_function($self->mt("Purchase Order #").$cust_main->payinfo)
909 #      : $nbsp;
910
911   my %money_chars = ( 'latex'    => '',
912                       'html'     => $conf->config('money_char') || '$',
913                       'template' => '',
914                     );
915   my $money_char = $money_chars{$format};
916
917   # extremely dubious
918   my %other_money_chars = ( 'latex'    => '\dollar ',#XXX should be a config too
919                             'html'     => $conf->config('money_char') || '$',
920                             'template' => '',
921                           );
922   my $other_money_char = $other_money_chars{$format};
923   $invoice_data{'dollar'} = $other_money_char;
924
925   my %minus_signs = ( 'latex'    => '$-$',
926                       'html'     => '&minus;',
927                       'template' => '- ' );
928   my $minus = $minus_signs{$format};
929
930   my @detail_items = ();
931   my @total_items = ();
932   my @buf = ();
933   my @sections = ();
934
935   $invoice_data{'detail_items'} = \@detail_items;
936   $invoice_data{'total_items'} = \@total_items;
937   $invoice_data{'buf'} = \@buf;
938   $invoice_data{'sections'} = \@sections;
939
940   warn "$me generating sections\n"
941     if $DEBUG > 1;
942
943   my $unsquelched = $params{unsquelch_cdr} || $cust_main->squelch_cdr ne 'Y';
944   my $multisection = $self->has_sections;
945   $invoice_data{'multisection'} = $multisection;
946   my $late_sections;
947   my $extra_sections = [];
948   my $extra_lines = ();
949
950   # default section ('Charges')
951   my $default_section = { 'description' => '',
952                           'subtotal'    => '', 
953                           'no_subtotal' => 1,
954                         };
955
956   # Previous Charges section
957   # subtotal is the first return value from $self->previous
958   my $previous_section;
959   # if the invoice has major sections, or if we're summarizing previous 
960   # charges with a single line, or if we've been specifically told to put them
961   # in a section, create a section for previous charges:
962   if ( $multisection or
963        $conf->exists('previous_balance-summary_only') or
964        $conf->exists('previous_balance-section') ) {
965     
966     $previous_section =  { 'description' => $self->mt('Previous Charges'),
967                            'subtotal'    => $other_money_char.
968                                             sprintf('%.2f', $pr_total),
969                            'summarized'  => '', #why? $summarypage ? 'Y' : '',
970                          };
971     $previous_section->{posttotal} = '0 / 30 / 60 / 90 days overdue '. 
972       join(' / ', map { $cust_main->balance_date_range(@$_) }
973                   $self->_prior_month30s
974           )
975       if $conf->exists('invoice_include_aging');
976
977   } else {
978     # otherwise put them in the main section
979     $previous_section = $default_section;
980   }
981
982   my $adjust_section = {
983     'description'    => $self->mt('Credits, Payments, and Adjustments'),
984     'adjust_section' => 1,
985     'subtotal'       => 0,   # adjusted below
986   };
987   my $adjust_weight = _pkg_category($adjust_section->{description})
988                         ? _pkg_category($adjust_section->{description})->weight
989                         : 0;
990   $adjust_section->{'summarized'} = ''; #why? $summarypage && !$adjust_weight ? 'Y' : '';
991   # Note: 'sort_weight' here is actually a flag telling whether there is an
992   # explicit package category for the adjust section. If so, certain behavior
993   # happens.
994   $adjust_section->{'sort_weight'} = $adjust_weight;
995
996
997   if ( $multisection ) {
998     ($extra_sections, $extra_lines) =
999       $self->_items_extra_usage_sections($escape_function_nonbsp, $format)
1000       if $conf->exists('usage_class_as_a_section', $cust_main->agentnum)
1001       && $self->can('_items_extra_usage_sections');
1002
1003     push @$extra_sections, $adjust_section if $adjust_section->{sort_weight};
1004
1005     push @detail_items, @$extra_lines if $extra_lines;
1006
1007     # the code is written so that both methods can be used together, but
1008     # we haven't yet changed the template to take advantage of that, so for 
1009     # now, treat them as mutually exclusive.
1010     my %section_method = ( by_category => 1 );
1011     if ( $conf->config($tc.'sections_method') eq 'location' ) {
1012       %section_method = ( by_location => 1 );
1013     }
1014     my ($early, $late) =
1015       $self->_items_sections( 'summary' => $summarypage,
1016                               'escape'  => $escape_function_nonbsp,
1017                               'extra_sections' => $extra_sections,
1018                               'format'  => $format,
1019                               %section_method
1020                             );
1021     push @sections, @$early;
1022     $late_sections = $late;
1023
1024     if (    $conf->exists('svc_phone_sections')
1025          && $self->can('_items_svc_phone_sections')
1026        )
1027     {
1028       my ($phone_sections, $phone_lines) =
1029         $self->_items_svc_phone_sections($escape_function_nonbsp, $format);
1030       push @{$late_sections}, @$phone_sections;
1031       push @detail_items, @$phone_lines;
1032     }
1033     if ( $conf->exists('voip-cust_accountcode_cdr')
1034          && $cust_main->accountcode_cdr
1035          && $self->can('_items_accountcode_cdr')
1036        )
1037     {
1038       my ($accountcode_section, $accountcode_lines) =
1039         $self->_items_accountcode_cdr($escape_function_nonbsp,$format);
1040       if ( scalar(@$accountcode_lines) ) {
1041           push @{$late_sections}, $accountcode_section;
1042           push @detail_items, @$accountcode_lines;
1043       }
1044     }
1045   } else {# not multisection
1046     # make a default section
1047     push @sections, $default_section;
1048     # and calculate the finance charge total, since it won't get done otherwise.
1049     # and the default section total
1050     # XXX possibly finance_pkgclass should not be used in this manner?
1051     my @finance_charges;
1052     my @charges;
1053     foreach my $cust_bill_pkg ( $self->cust_bill_pkg ) {
1054       if ( $invoice_data{finance_section} and 
1055         grep { $_->section eq $invoice_data{finance_section} }
1056            $cust_bill_pkg->cust_bill_pkg_display ) {
1057         # I think these are always setup fees, but just to be sure...
1058         push @finance_charges, $cust_bill_pkg->recur + $cust_bill_pkg->setup;
1059       } else {
1060         push @charges, $cust_bill_pkg->recur + $cust_bill_pkg->setup;
1061       }
1062     }
1063     $invoice_data{finance_amount} = 
1064       sprintf('%.2f', sum( @finance_charges ) || 0);
1065     $default_section->{subtotal} = $other_money_char.
1066                                     sprintf('%.2f', sum( @charges ) || 0);
1067   }
1068
1069   # start setting up summary subtotals
1070   my @summary_subtotals;
1071   my $method = $conf->config('summary_subtotals_method');
1072   if ( $method and $method ne $conf->config($tc.'sections_method') ) {
1073     # then re-section them by the correct method
1074     my %section_method = ( by_category => 1 );
1075     if ( $conf->config('summary_subtotals_method') eq 'location' ) {
1076       %section_method = ( by_location => 1 );
1077     }
1078     my ($early, $late) =
1079       $self->_items_sections( 'summary' => $summarypage,
1080                               'escape'  => $escape_function_nonbsp,
1081                               'extra_sections' => $extra_sections,
1082                               'format'  => $format,
1083                               %section_method
1084                             );
1085     foreach ( @$early ) {
1086       next if $_->{subtotal} == 0;
1087       $_->{subtotal} = $other_money_char.sprintf('%.2f', $_->{subtotal});
1088       push @summary_subtotals, $_;
1089     }
1090   } else {
1091     # subtotal sectioning is the same as for the actual invoice sections
1092     @summary_subtotals = @sections;
1093   }
1094
1095   # Hereafter, push sections to both @sections and @summary_subtotals
1096   # if they belong in both places (e.g. tax section).  Late sections are
1097   # never in @summary_subtotals.
1098
1099   # previous invoice balances in the Previous Charges section if there
1100   # is one, otherwise in the main detail section
1101   # (except if summary_only is enabled, don't show them at all)
1102   if ( $self->can('_items_previous') &&
1103        $self->enable_previous &&
1104        ! $conf->exists('previous_balance-summary_only') ) {
1105
1106     warn "$me adding previous balances\n"
1107       if $DEBUG > 1;
1108
1109     foreach my $line_item ( $self->_items_previous ) {
1110
1111       my $detail = {
1112         ref             => $line_item->{'pkgnum'},
1113         pkgpart         => $line_item->{'pkgpart'},
1114         #quantity        => 1, # not really correct
1115         section         => $previous_section, # which might be $default_section
1116         description     => &$escape_function($line_item->{'description'}),
1117         ext_description => [ map { &$escape_function($_) } 
1118                              @{ $line_item->{'ext_description'} || [] }
1119                            ],
1120         amount          => $money_char . $line_item->{'amount'},
1121         product_code    => $line_item->{'pkgpart'} || 'N/A',
1122       };
1123
1124       push @detail_items, $detail;
1125       push @buf, [ $detail->{'description'},
1126                    $money_char. sprintf("%10.2f", $line_item->{'amount'}),
1127                  ];
1128     }
1129
1130   }
1131
1132   if ( @pr_cust_bill && $self->enable_previous ) {
1133     push @buf, ['','-----------'];
1134     push @buf, [ $self->mt('Total Previous Balance'),
1135                  $money_char. sprintf("%10.2f", $pr_total) ];
1136     push @buf, ['',''];
1137   }
1138  
1139   if ( $conf->exists('svc_phone-did-summary') && $self->can('_did_summary') ) {
1140       warn "$me adding DID summary\n"
1141         if $DEBUG > 1;
1142
1143       my ($didsummary,$minutes) = $self->_did_summary;
1144       my $didsummary_desc = 'DID Activity Summary (since last invoice)';
1145       push @detail_items, 
1146        { 'description' => $didsummary_desc,
1147            'ext_description' => [ $didsummary, $minutes ],
1148        };
1149   }
1150
1151   foreach my $section (@sections, @$late_sections) {
1152
1153     # begin some normalization
1154     $section->{'subtotal'} = $section->{'amount'}
1155       if $multisection
1156          && !exists($section->{subtotal})
1157          && exists($section->{amount});
1158
1159     $invoice_data{finance_amount} = sprintf('%.2f', $section->{'subtotal'} )
1160       if ( $invoice_data{finance_section} &&
1161            $section->{'description'} eq $invoice_data{finance_section} );
1162
1163     if ( $multisection ) {
1164
1165       if ( ref($section->{'subtotal'}) ) {
1166
1167         $section->{'subtotal'} =
1168           sprintf("$other_money_char%.2f to $other_money_char%.2f",
1169                     $section->{'subtotal'}[0],
1170                     $section->{'subtotal'}[1]
1171                  );
1172
1173       } else {
1174
1175         $section->{'subtotal'} = $other_money_char.
1176                                  sprintf('%.2f', $section->{'subtotal'})
1177
1178       }
1179
1180       # continue some normalization
1181       $section->{'amount'}   = $section->{'subtotal'}
1182
1183     }
1184
1185     if ( $section->{'description'} ) {
1186       push @buf, ( [ &$escape_function($section->{'description'}), '' ],
1187                    [ '', '' ],
1188                  );
1189     }
1190
1191     warn "$me   setting options\n"
1192       if $DEBUG > 1;
1193
1194     my %options = ();
1195     $options{'section'} = $section if $multisection;
1196     $options{'section_with_taxes'} = 1
1197       if $conf->config_bool('invoice_sections_with_taxes', $cust_main->agentnum);
1198     $options{'format'} = $format;
1199     $options{'escape_function'} = $escape_function;
1200     $options{'no_usage'} = 1 unless $unsquelched;
1201     $options{'unsquelched'} = $unsquelched;
1202     $options{'summary_page'} = $summarypage;
1203     $options{'skip_usage'} =
1204       scalar(@$extra_sections) && !grep{$section == $_} @$extra_sections;
1205     $options{'preref_callback'} = $params{'preref_callback'};
1206     $options{'disable_line_item_date_ranges'} =
1207       $conf->exists('disable_line_item_date_ranges');
1208
1209     warn "$me   searching for line items\n"
1210       if $DEBUG > 1;
1211
1212     my %section_tax_lines;
1213     my %seen_tax_lines;
1214
1215     foreach my $line_item ( $self->_items_pkg(%options),
1216                             $self->_items_fee(%options) ) {
1217
1218       warn "$me     adding line item ".
1219            join(', ', map "$_=>".$line_item->{$_}, keys %$line_item). "\n"
1220         if $DEBUG > 1;
1221
1222       push @buf, ( [ $line_item->{'description'},
1223                      $money_char. sprintf("%10.2f", $line_item->{'amount'}),
1224                    ],
1225                    map { [ " ". $_, '' ] } @{$line_item->{'ext_description'}},
1226                  );
1227
1228       $line_item->{'ref'} = $line_item->{'pkgnum'};
1229       $line_item->{'product_code'} = $line_item->{'pkgpart'} || 'N/A'; # mt()?
1230       $line_item->{'section'} = $section;
1231       $line_item->{'description'} = &$escape_function($line_item->{'description'});
1232       $line_item->{'amount'} = $money_char.$line_item->{'amount'};
1233
1234       if ( length($line_item->{'unit_amount'}) ) {
1235         $line_item->{'unit_amount'} = $money_char.$line_item->{'unit_amount'};
1236       }
1237       $line_item->{'ext_description'} ||= [];
1238
1239       if ( $options{section_with_taxes} && ref $line_item->{pkg_tax} ) {
1240         for my $line_tax ( @{$ line_item->{pkg_tax} } ) {
1241
1242           # It is rarely possible for the same tax record to be presented here
1243           # multiple times.  See cust_bill_pkg::_pkg_tax_list for more info
1244           next if $seen_tax_lines{ $line_tax->{billpkgtaxlocationnum} };
1245           $seen_tax_lines{ $line_tax->{billpkgtaxlocationnum} } = 1;
1246
1247           $section_tax_lines{ $line_tax->{taxname} } += $line_tax->{amount};
1248         }
1249       }
1250
1251       push @detail_items, $line_item;
1252     }
1253
1254     # If conf flag invoice_sections_with_taxes:
1255     # - Add @detail_items for taxes into each section
1256     # - Update section subtotal to include taxes
1257     if ( $options{section_with_taxes} && %section_tax_lines ) {
1258       for my $taxname ( keys %section_tax_lines ) {
1259
1260         push @detail_items, {
1261           section => $section,
1262           amount  => sprintf($money_char."%.2f",$section_tax_lines{$taxname}),
1263           description => &$escape_function($taxname),
1264         };
1265
1266         # Append taxes to total.  If line format resembles "$5.00 to $12.00"
1267         # append to the second value.
1268
1269         if ($section->{subtotal} =~ /to/) {
1270           my @subtotal = split /\s/, $section->{subtotal};
1271           $subtotal[2] =~ s/[^\d\.]//g;
1272           $subtotal[2] = sprintf(
1273             $money_char."%.2f",
1274             ( $subtotal[2] + $section_tax_lines{$taxname} )
1275           );
1276           $section->{subtotal} = join ' ', @subtotal;
1277         } else {
1278           $section->{subtotal} =~ s/[^\d\.]//g;
1279           $section->{subtotal} = sprintf(
1280             $money_char . "%.2f",
1281             ( $section->{subtotal} + $section_tax_lines{$taxname} )
1282           );
1283         }
1284
1285       }
1286     }
1287
1288     if ( $section->{'description'} ) {
1289       push @buf, ( ['','-----------'],
1290                    [ $section->{'description'}. ' sub-total',
1291                       $section->{'subtotal'} # already formatted this 
1292                    ],
1293                    [ '', '' ],
1294                    [ '', '' ],
1295                  );
1296     }
1297   
1298   }
1299
1300   $invoice_data{current_less_finance} =
1301     sprintf('%.2f', $self->charged - $invoice_data{finance_amount} );
1302
1303   # if there's anything in the Previous Charges section, prepend it to the list
1304   if ( $pr_total and $previous_section ne $default_section ) {
1305     unshift @sections, $previous_section;
1306     # but not @summary_subtotals
1307   }
1308
1309   warn "$me adding taxes\n"
1310     if $DEBUG > 1;
1311
1312   # create a tax section if we don't yet have one
1313   my @items_tax = $self->_items_tax;
1314   my $tax_description = 'Taxes, Surcharges, and Fees';
1315   my $tax_section =
1316     List::Util::first { $_->{description} eq $tax_description } @sections;
1317   if (!$tax_section) {
1318     $tax_section = { 'description' => $tax_description };
1319     push @sections, $tax_section if $multisection and @items_tax > 0;
1320   }
1321   $tax_section->{tax_section} = 1; # mark this section as containing taxes
1322   # if this is an existing tax section, we're merging the tax items into it.
1323   # grab the taxtotal that's already there, strip the money symbol if any
1324   my $taxtotal = $tax_section->{'subtotal'} || 0;
1325   $taxtotal =~ s/^\Q$other_money_char\E//;
1326
1327   # this does nothing
1328   #my $tax_weight = _pkg_category($tax_section->{description})
1329   #                      ? _pkg_category($tax_section->{description})->weight
1330   #                      : 0;
1331   #$tax_section->{'summarized'} = ''; #why? $summarypage && !$tax_weight ? 'Y' : '';
1332   #$tax_section->{'sort_weight'} = $tax_weight;
1333
1334   foreach my $tax ( @items_tax ) {
1335
1336     $taxtotal += $tax->{'amount'};
1337
1338     my $description = &$escape_function( $tax->{'description'} );
1339     my $amount      = sprintf( '%.2f', $tax->{'amount'} );
1340
1341     if ( $multisection ) {
1342
1343       push @detail_items, {
1344         ext_description => [],
1345         ref          => '',
1346         quantity     => '',
1347         description  => $description,
1348         amount       => $money_char. $amount,
1349         product_code => '',
1350         section      => $tax_section,
1351       };
1352
1353     } else {
1354
1355       push @total_items, {
1356         'total_item'   => $description,
1357         'total_amount' => $other_money_char. $amount,
1358       };
1359
1360     }
1361
1362     push @buf,[ $description,
1363                 $money_char. $amount,
1364               ];
1365
1366   }
1367  
1368   if ( @items_tax ) {
1369     my $total = {};
1370     $total->{'total_item'} = $self->mt('Sub-total');
1371     $total->{'total_amount'} =
1372       $other_money_char. sprintf('%.2f', $self->charged - $taxtotal );
1373
1374     if ( $multisection ) {
1375       if ( $taxtotal > 0 ) {
1376         # there are taxes, so prepare the section to be displayed.
1377         # $taxtotal already includes any line items that were already in the
1378         # section (fees, taxes that are charged as packages for some reason).
1379         # also set 'summarized' to false so that this isn't a summary-only
1380         # section.
1381         $tax_section->{'subtotal'} = $other_money_char.
1382                                      sprintf('%.2f', $taxtotal);
1383         $tax_section->{'pretotal'} = 'New charges sub-total '.
1384                                      $total->{'total_amount'};
1385         $tax_section->{'description'} = $self->mt($tax_description);
1386         $tax_section->{'summarized'} = '';
1387
1388         if ( $conf->config_bool('invoice_sections_with_taxes', $cust_main->agentnum) ) {
1389
1390           # remove tax section if taxes are itemized within other sections
1391           @sections = grep{ $_ ne $tax_section } @sections;
1392
1393         } elsif ( !grep $tax_section, @sections ) {
1394
1395           # append it if it's not already there
1396           push @sections, $tax_section;
1397           push @summary_subtotals, $tax_section;
1398
1399         }
1400
1401       }
1402
1403     } else {
1404       unshift @total_items, $total;
1405     }
1406   }
1407   $invoice_data{'taxtotal'} = sprintf('%.2f', $taxtotal);
1408
1409   ###
1410   # Totals
1411   ###
1412
1413   my %embolden_functions = (
1414     'latex'    => sub { return '\textbf{'. shift(). '}' },
1415     'html'     => sub { return '<b>'. shift(). '</b>' },
1416     'template' => sub { shift },
1417   );
1418   my $embolden_function = $embolden_functions{$format};
1419
1420   if ( $multisection ) {
1421
1422     if ( $adjust_section->{'sort_weight'} ) {
1423       $adjust_section->{'posttotal'} = $self->mt('Balance Forward').' '.
1424         $other_money_char.  sprintf("%.2f", ($self->billing_balance || 0) );
1425     } else{
1426       $adjust_section->{'pretotal'} = $self->mt('New charges total').' '.
1427         $other_money_char.  sprintf('%.2f', $self->charged );
1428     }
1429
1430   }
1431   
1432   if ( $self->can('_items_total') ) { # should always be true now
1433
1434     # even for multisection, need plain text version
1435
1436     my @new_total_items = $self->_items_total;
1437
1438     push @buf,['','-----------'];
1439
1440     foreach ( @new_total_items ) {
1441       my ($item, $amount) = ($_->{'total_item'}, $_->{'total_amount'});
1442       $_->{'total_item'}   = &$embolden_function( $item );
1443
1444       if ( ref($amount) ) {
1445         $_->{'total_amount'} = &$embolden_function(
1446                                  $other_money_char.$amount->[0]. ' to '.
1447                                  $other_money_char.$amount->[1]
1448                                );
1449       } else {
1450       $_->{'total_amount'} = &$embolden_function( $other_money_char.$amount );
1451       }
1452
1453       # but if it's multisection, don't append to @total_items. the adjust
1454       # section has all this stuff
1455       push @total_items, $_ if !$multisection;
1456       push @buf, [ $item, $money_char.sprintf('%10.2f',$amount) ];
1457     }
1458
1459     push @buf, [ '', '' ];
1460
1461     # if we're showing previous invoices, also show previous
1462     # credits and payments 
1463     if ( $self->enable_previous 
1464           and $self->can('_items_credits')
1465           and $self->can('_items_payments') )
1466       {
1467     
1468       # credits
1469       my $credittotal = 0;
1470       foreach my $credit (
1471         $self->_items_credits( 'template' => $template, 'trim_len' => 40 )
1472       ) {
1473
1474         my $total;
1475         $total->{'total_item'} = &$escape_function($credit->{'description'});
1476         $credittotal += $credit->{'amount'};
1477         $total->{'total_amount'} = $minus.$other_money_char.$credit->{'amount'};
1478         if ( $multisection ) {
1479           push @detail_items, {
1480             ext_description => [],
1481             ref          => '',
1482             quantity     => '',
1483             description  => &$escape_function($credit->{'description'}),
1484             amount       => $money_char . $credit->{'amount'},
1485             product_code => '',
1486             section      => $adjust_section,
1487           };
1488         } else {
1489           push @total_items, $total;
1490         }
1491
1492       }
1493       $invoice_data{'credittotal'} = sprintf('%.2f', $credittotal);
1494
1495       #credits (again)
1496       foreach my $credit (
1497         $self->_items_credits( 'template' => $template, 'trim_len'=>32 )
1498       ) {
1499         push @buf, [ $credit->{'description'}, $money_char.$credit->{'amount'} ];
1500       }
1501
1502       # payments
1503       my $paymenttotal = 0;
1504       foreach my $payment (
1505         $self->_items_payments( 'template' => $template )
1506       ) {
1507         my $total = {};
1508         $total->{'total_item'} = &$escape_function($payment->{'description'});
1509         $paymenttotal += $payment->{'amount'};
1510         $total->{'total_amount'} = $minus.$other_money_char.$payment->{'amount'};
1511         if ( $multisection ) {
1512           push @detail_items, {
1513             ext_description => [],
1514             ref          => '',
1515             quantity     => '',
1516             description  => &$escape_function($payment->{'description'}),
1517             amount       => $money_char . $payment->{'amount'},
1518             product_code => '',
1519             section      => $adjust_section,
1520           };
1521         }else{
1522           push @total_items, $total;
1523         }
1524         push @buf, [ $payment->{'description'},
1525                      $money_char. sprintf("%10.2f", $payment->{'amount'}),
1526                    ];
1527       }
1528       $invoice_data{'paymenttotal'} = sprintf('%.2f', $paymenttotal);
1529     
1530       if ( $multisection ) {
1531         $adjust_section->{'subtotal'} = $other_money_char.
1532                                         sprintf('%.2f', $credittotal + $paymenttotal);
1533
1534         #why this? because {sort_weight} forces the adjust_section to appear
1535         #in @extra_sections instead of @sections. obviously.
1536         push @sections, $adjust_section
1537           unless $adjust_section->{sort_weight};
1538         # do not summarize; adjustments there are shown according to 
1539         # different rules
1540       }
1541
1542       # create Balance Due message
1543       { 
1544         my $total;
1545         $total->{'total_item'} = &$embolden_function($self->balance_due_msg);
1546         $total->{'total_amount'} =
1547           &$embolden_function(
1548             $other_money_char. sprintf('%.2f', #why? $summarypage 
1549                                                #  ? $self->charged +
1550                                                #    $self->billing_balance
1551                                                #  :
1552                                                    $self->owed + $pr_total
1553                                       )
1554           );
1555         if ( $multisection && !$adjust_section->{sort_weight} ) {
1556           $adjust_section->{'posttotal'} = $total->{'total_item'}. ' '.
1557                                            $total->{'total_amount'};
1558         } else {
1559           push @total_items, $total;
1560         }
1561         push @buf,['','-----------'];
1562         push @buf,[$self->balance_due_msg, $money_char. 
1563           sprintf("%10.2f", $balance_due ) ];
1564       }
1565
1566       if ( $conf->exists('previous_balance-show_credit')
1567           and $cust_main->balance < 0 ) {
1568         my $credit_total = {
1569           'total_item'    => &$embolden_function($self->credit_balance_msg),
1570           'total_amount'  => &$embolden_function(
1571             $other_money_char. sprintf('%.2f', -$cust_main->balance)
1572           ),
1573         };
1574         if ( $multisection ) {
1575           $adjust_section->{'posttotal'} .= $newline_token .
1576             $credit_total->{'total_item'} . ' ' . $credit_total->{'total_amount'};
1577         }
1578         else {
1579           push @total_items, $credit_total;
1580         }
1581         push @buf,['','-----------'];
1582         push @buf,[$self->credit_balance_msg, $money_char. 
1583           sprintf("%10.2f", -$cust_main->balance ) ];
1584       }
1585     }
1586
1587   } #end of default total adding ! can('_items_total')
1588
1589   if ( $multisection ) {
1590     if (    $conf->exists('svc_phone_sections')
1591          && $self->can('_items_svc_phone_sections')
1592        )
1593     {
1594       my $total;
1595       $total->{'total_item'} = &$embolden_function($self->balance_due_msg);
1596       $total->{'total_amount'} =
1597         &$embolden_function(
1598           $other_money_char. sprintf('%.2f', $self->owed + $pr_total)
1599         );
1600       my $last_section = pop @sections;
1601       $last_section->{'posttotal'} = $total->{'total_item'}. ' '.
1602                                      $total->{'total_amount'};
1603       push @sections, $last_section;
1604     }
1605     push @sections, @$late_sections
1606       if $unsquelched;
1607   }
1608
1609   # make a discounts-available section, even without multisection
1610   if ( $conf->exists('discount-show_available') 
1611        and my @discounts_avail = $self->_items_discounts_avail ) {
1612     my $discount_section = {
1613       'description' => $self->mt('Discounts Available'),
1614       'subtotal'    => '',
1615       'no_subtotal' => 1,
1616     };
1617
1618     push @sections, $discount_section; # do not summarize
1619     push @detail_items, map { +{
1620         'ref'         => '', #should this be something else?
1621         'section'     => $discount_section,
1622         'description' => &$escape_function( $_->{description} ),
1623         'amount'      => $money_char . &$escape_function( $_->{amount} ),
1624         'ext_description' => [ &$escape_function($_->{ext_description}) || () ],
1625     } } @discounts_avail;
1626   }
1627
1628   # not adding any more sections after this
1629   $invoice_data{summary_subtotals} = \@summary_subtotals;
1630
1631   # usage subtotals
1632   if ( $conf->exists('usage_class_summary')
1633        and $self->can('_items_usage_class_summary') ) {
1634     my @usage_subtotals = $self->_items_usage_class_summary(escape => $escape_function, 'money_char' => $other_money_char);
1635     if ( @usage_subtotals ) {
1636       unshift @sections, $usage_subtotals[0]->{section}; # do not summarize
1637       unshift @detail_items, @usage_subtotals;
1638     }
1639   }
1640
1641   # invoice history "section" (not really a section)
1642   # not to be included in any subtotals, completely independent of 
1643   # everything...
1644   if ( $conf->exists('previous_invoice_history') and $cust_main->isa('FS::cust_main') ) {
1645     my %history;
1646     my %monthorder;
1647     foreach my $cust_bill ( $cust_main->cust_bill ) {
1648       # XXX hardcoded format, and currently only 'charged'; add other fields
1649       # if they become necessary
1650       my $date = $self->time2str_local('%b %Y', $cust_bill->_date);
1651       $history{$date} ||= 0;
1652       $history{$date} += $cust_bill->charged;
1653       # just so we have a numeric sort key
1654       $monthorder{$date} ||= $cust_bill->_date;
1655     }
1656     my @sorted_months = sort { $monthorder{$a} <=> $monthorder{$b} }
1657                         keys %history;
1658     my @sorted_amounts = map { sprintf('%.2f', $history{$_}) } @sorted_months;
1659     $invoice_data{monthly_history} = [ \@sorted_months, \@sorted_amounts ];
1660   }
1661
1662   # service locations: another option for template customization
1663   my %location_info;
1664   foreach my $item (@detail_items) {
1665     if ( $item->{locationnum} ) {
1666       $location_info{ $item->{locationnum} } ||= {
1667         FS::cust_location->by_key( $item->{locationnum} )->location_hash
1668       };
1669     }
1670   }
1671   $invoice_data{location_info} = \%location_info;
1672
1673   # debugging hook: call this with 'diag' => 1 to just get a hash of 
1674   # the invoice variables
1675   return \%invoice_data if ( $params{'diag'} );
1676
1677   # All sections and items are built; now fill in templates.
1678   my @includelist = ();
1679   push @includelist, 'summary' if $summarypage;
1680   foreach my $include ( @includelist ) {
1681
1682     my $inc_file = $conf->key_orbase("invoice_${format}$include", $template);
1683     my @inc_src;
1684
1685     if ( length( $conf->config($inc_file, $agentnum) ) ) {
1686
1687       @inc_src = $conf->config($inc_file, $agentnum);
1688
1689     } else {
1690
1691       $inc_file = $conf->key_orbase("invoice_latex$include", $template);
1692
1693       my $convert_map = $convert_maps{$format}{$include};
1694
1695       @inc_src = map { s/\[\@--/$delimiters{$format}[0]/g;
1696                        s/--\@\]/$delimiters{$format}[1]/g;
1697                        $_;
1698                      } 
1699                  &$convert_map( $conf->config($inc_file, $agentnum) );
1700
1701     }
1702
1703     my $inc_tt = new Text::Template (
1704       TYPE       => 'ARRAY',
1705       SOURCE     => [ map "$_\n", @inc_src ],
1706       DELIMITERS => $delimiters{$format},
1707     ) or die "Can't create new Text::Template object: $Text::Template::ERROR";
1708
1709     unless ( $inc_tt->compile() ) {
1710       my $error = "Can't compile $inc_file template: $Text::Template::ERROR\n";
1711       warn $error. "Template:\n". join('', map "$_\n", @inc_src);
1712       die $error;
1713     }
1714
1715     $invoice_data{$include} = $inc_tt->fill_in( HASH => \%invoice_data );
1716
1717     $invoice_data{$include} =~ s/\n+$//
1718       if ($format eq 'latex');
1719   }
1720
1721   $invoice_lines = 0;
1722   my $wasfunc = 0;
1723   foreach ( grep /invoice_lines\(\d*\)/, @invoice_template ) { #kludgy
1724     /invoice_lines\((\d*)\)/;
1725     $invoice_lines += $1 || scalar(@buf);
1726     $wasfunc=1;
1727   }
1728   die "no invoice_lines() functions in template?"
1729     if ( $format eq 'template' && !$wasfunc );
1730
1731   if ( $invoice_lines ) {
1732     $invoice_data{'total_pages'} = int( scalar(@buf) / $invoice_lines );
1733     $invoice_data{'total_pages'}++
1734       if scalar(@buf) % $invoice_lines;
1735   }
1736
1737   #setup subroutine for the template
1738   $invoice_data{invoice_lines} = sub {
1739     my $lines = shift || scalar(@buf);
1740     map { 
1741       scalar(@buf)
1742         ? shift @buf
1743         : [ '', '' ];
1744     }
1745     ( 1 .. $lines );
1746   };
1747
1748   if ($format eq 'template') {
1749
1750     my $lines;
1751     my @collect;
1752     while (@buf) {
1753       push @collect, split("\n",
1754         $text_template->fill_in( HASH => \%invoice_data )
1755       );
1756       $invoice_data{'page'}++;
1757     }
1758     map "$_\n", @collect;
1759
1760   } else { # this is where we actually create the invoice
1761
1762     if ( $params{no_addresses} ) {
1763       delete $invoice_data{$_} foreach qw(
1764         payname company address1 address2 city state zip country
1765       );
1766       $invoice_data{returnaddress} = '~';
1767     }
1768
1769     warn "filling in template for invoice ". $self->invnum. "\n"
1770       if $DEBUG;
1771     warn join("\n", map " $_ => ". $invoice_data{$_}, keys %invoice_data). "\n"
1772       if $DEBUG > 1;
1773
1774     $text_template->fill_in(HASH => \%invoice_data);
1775   }
1776 }
1777
1778 sub notice_name { '('.shift->table.')'; }
1779
1780 # this is not supposed to happen
1781 sub template_conf { warn "bare FS::Template_Mixin::template_conf";
1782   'invoice_';
1783 }
1784
1785 # helper routine for generating date ranges
1786 sub _prior_month30s {
1787   my $self = shift;
1788   my @ranges = (
1789    [ 1,       2592000 ], # 0-30 days ago
1790    [ 2592000, 5184000 ], # 30-60 days ago
1791    [ 5184000, 7776000 ], # 60-90 days ago
1792    [ 7776000, 0       ], # 90+   days ago
1793   );
1794
1795   map { [ $_->[0] ? $self->_date - $_->[0] - 1 : '',
1796           $_->[1] ? $self->_date - $_->[1] - 1 : '',
1797       ] }
1798   @ranges;
1799 }
1800
1801 =item print_ps HASHREF | [ TIME [ , TEMPLATE ] ]
1802
1803 Returns an postscript invoice, as a scalar.
1804
1805 Options can be passed as a hashref (recommended) or as a list of time, template
1806 and then any key/value pairs for any other options.
1807
1808 I<time> an optional value used to control the printing of overdue messages.  The
1809 default is now.  It isn't the date of the invoice; that's the `_date' field.
1810 It is specified as a UNIX timestamp; see L<perlfunc/"time">.  Also see
1811 L<Time::Local> and L<Date::Parse> for conversion functions.
1812
1813 I<notice_name>, if specified, overrides "Invoice" as the name of the sent document (templates from 10/2009 or newer required)
1814
1815 =cut
1816
1817 sub print_ps {
1818   my $self = shift;
1819
1820   my ($file, $logofile, $barcodefile) = $self->print_latex(@_);
1821   my $ps = generate_ps($file);
1822   unlink($logofile);
1823   unlink($barcodefile) if $barcodefile;
1824
1825   $ps;
1826 }
1827
1828 =item print_pdf HASHREF | [ TIME [ , TEMPLATE ] ]
1829
1830 Returns an PDF invoice, as a scalar.
1831
1832 Options can be passed as a hashref (recommended) or as a list of time, template
1833 and then any key/value pairs for any other options.
1834
1835 I<time> an optional value used to control the printing of overdue messages.  The
1836 default is now.  It isn't the date of the invoice; that's the `_date' field.
1837 It is specified as a UNIX timestamp; see L<perlfunc/"time">.  Also see
1838 L<Time::Local> and L<Date::Parse> for conversion functions.
1839
1840 I<template>, if specified, is the name of a suffix for alternate invoices.
1841
1842 I<notice_name>, if specified, overrides "Invoice" as the name of the sent document (templates from 10/2009 or newer required)
1843
1844 =cut
1845
1846 sub print_pdf {
1847   my $self = shift;
1848
1849   my ($file, $logofile, $barcodefile) = $self->print_latex(@_);
1850   my $pdf = generate_pdf($file);
1851   unlink($logofile);
1852   unlink($barcodefile) if $barcodefile;
1853
1854   $pdf;
1855 }
1856
1857 =item print_html HASHREF | [ TIME [ , TEMPLATE [ , CID ] ] ]
1858
1859 Returns an HTML invoice, as a scalar.
1860
1861 I<time> an optional value used to control the printing of overdue messages.  The
1862 default is now.  It isn't the date of the invoice; that's the `_date' field.
1863 It is specified as a UNIX timestamp; see L<perlfunc/"time">.  Also see
1864 L<Time::Local> and L<Date::Parse> for conversion functions.
1865
1866 I<template>, if specified, is the name of a suffix for alternate invoices.
1867
1868 I<notice_name>, if specified, overrides "Invoice" as the name of the sent document (templates from 10/2009 or newer required)
1869
1870 I<cid> is a MIME Content-ID used to create a "cid:" URL for the logo image, used
1871 when emailing the invoice as part of a multipart/related MIME email.
1872
1873 =cut
1874
1875 sub print_html {
1876   my $self = shift;
1877   my %params;
1878   if ( ref($_[0]) ) {
1879     %params = %{ shift() }; 
1880   } else {
1881     %params = @_;
1882   }
1883   $params{'format'} = 'html';
1884   
1885   $self->print_generic( %params );
1886 }
1887
1888 # quick subroutine for print_latex
1889 #
1890 # There are ten characters that LaTeX treats as special characters, which
1891 # means that they do not simply typeset themselves: 
1892 #      # $ % & ~ _ ^ \ { }
1893 #
1894 # TeX ignores blanks following an escaped character; if you want a blank (as
1895 # in "10% of ..."), you have to "escape" the blank as well ("10\%\ of ..."). 
1896
1897 sub _latex_escape {
1898   my $value = shift;
1899   $value =~ s/([#\$%&~_\^{}])( )?/"\\$1". ( ( defined($2) && length($2) ) ? "\\$2" : '' )/ge;
1900   $value =~ s/([<>])/\$$1\$/g;
1901   $value;
1902 }
1903
1904 sub _html_escape {
1905   my $value = shift;
1906   encode_entities($value);
1907   $value;
1908 }
1909
1910 sub _html_escape_nbsp {
1911   my $value = _html_escape(shift);
1912   $value =~ s/ +/&nbsp;/g;
1913   $value;
1914 }
1915
1916 #utility methods for print_*
1917
1918 sub _translate_old_latex_format {
1919   warn "_translate_old_latex_format called\n"
1920     if $DEBUG; 
1921
1922   my @template = ();
1923   while ( @_ ) {
1924     my $line = shift;
1925   
1926     if ( $line =~ /^%%Detail\s*$/ ) {
1927   
1928       push @template, q![@--!,
1929                       q!  foreach my $_tr_line (@detail_items) {!,
1930                       q!    if ( scalar ($_tr_item->{'ext_description'} ) ) {!,
1931                       q!      $_tr_line->{'description'} .= !, 
1932                       q!        "\\tabularnewline\n~~".!,
1933                       q!        join( "\\tabularnewline\n~~",!,
1934                       q!          @{$_tr_line->{'ext_description'}}!,
1935                       q!        );!,
1936                       q!    }!;
1937
1938       while ( ( my $line_item_line = shift )
1939               !~ /^%%EndDetail\s*$/                            ) {
1940         $line_item_line =~ s/'/\\'/g;    # nice LTS
1941         $line_item_line =~ s/\\/\\\\/g;  # escape quotes and backslashes
1942         $line_item_line =~ s/\$(\w+)/'. \$_tr_line->{$1}. '/g;
1943         push @template, "    \$OUT .= '$line_item_line';";
1944       }
1945
1946       push @template, '}',
1947                       '--@]';
1948       #' doh, gvim
1949     } elsif ( $line =~ /^%%TotalDetails\s*$/ ) {
1950
1951       push @template, '[@--',
1952                       '  foreach my $_tr_line (@total_items) {';
1953
1954       while ( ( my $total_item_line = shift )
1955               !~ /^%%EndTotalDetails\s*$/                      ) {
1956         $total_item_line =~ s/'/\\'/g;    # nice LTS
1957         $total_item_line =~ s/\\/\\\\/g;  # escape quotes and backslashes
1958         $total_item_line =~ s/\$(\w+)/'. \$_tr_line->{$1}. '/g;
1959         push @template, "    \$OUT .= '$total_item_line';";
1960       }
1961
1962       push @template, '}',
1963                       '--@]';
1964
1965     } else {
1966       $line =~ s/\$(\w+)/[\@-- \$$1 --\@]/g;
1967       push @template, $line;  
1968     }
1969   
1970   }
1971
1972   if ($DEBUG) {
1973     warn "$_\n" foreach @template;
1974   }
1975
1976   (@template);
1977 }
1978
1979 =item terms
1980
1981 =cut
1982
1983 sub terms {
1984   my $self = shift;
1985   my $conf = $self->conf;
1986
1987   #check for an invoice-specific override
1988   return $self->invoice_terms if $self->invoice_terms;
1989   
1990   #check for a customer- specific override
1991   my $cust_main = $self->cust_main;
1992   return $cust_main->invoice_terms if $cust_main && $cust_main->invoice_terms;
1993
1994   my $agentnum = '';
1995   if ( $cust_main ) {
1996     $agentnum = $cust_main->agentnum;
1997   } elsif ( my $prospect_main = $self->prospect_main ) {
1998     $agentnum = $prospect_main->agentnum;
1999   }
2000
2001   #use configured default
2002   $conf->config('invoice_default_terms', $agentnum) || '';
2003 }
2004
2005 =item due_date
2006
2007 =cut
2008
2009 sub due_date {
2010   my $self = shift;
2011   my $duedate = '';
2012   if ( $self->terms =~ /^\s*Net\s*(\d+)\s*$/ ) {
2013     $duedate = $self->_date() + ( $1 * 86400 );
2014   } elsif ( $self->terms =~ /^End of Month$/ ) {
2015     my ($mon,$year) = (localtime($self->_date) )[4,5];
2016     $mon++;
2017     until ( $mon < 12 ) { $mon -= 12; $year++; }
2018     my $nextmonth_first = timelocal(0,0,0,1,$mon,$year);
2019     $duedate = $nextmonth_first - 86400;
2020   }
2021   $duedate;
2022 }
2023
2024 =item due_date2str
2025
2026 =cut
2027
2028 sub due_date2str {
2029   my $self = shift;
2030   $self->due_date ? $self->time2str_local(shift, $self->due_date) : '';
2031 }
2032
2033 =item balance_due_msg
2034
2035 =cut
2036
2037 sub balance_due_msg {
2038   my $self = shift;
2039   my $msg = $self->mt('Balance Due');
2040   return $msg unless $self->terms; # huh?
2041   if ( !$self->conf->exists('invoice_show_prior_due_date')
2042        || $self->has_sections ) {
2043     # if enabled, the due date is shown with Total New Charges (see 
2044     # _items_total) and not here
2045     # (yes, or if invoice_sections is enabled; this is just for compatibility)
2046     if ( $self->due_date ) {
2047       my $please_pay_by =
2048         $self->conf->config('invoice_pay_by_msg', $self->agentnum)
2049         || 'Please pay by [_1]';
2050       $msg .= ' - ' . $self->mt($please_pay_by, $self->due_date2str('short')).
2051               ' '
2052        unless $self->conf->config_bool('invoice_omit_due_date',$self->agentnum);
2053     } elsif ( $self->terms ) {
2054       $msg .= ' - '. $self->mt($self->terms);
2055     }
2056   }
2057   $msg;
2058 }
2059
2060 =item balance_due_date
2061
2062 =cut
2063
2064 sub balance_due_date {
2065   my $self = shift;
2066   my $conf = $self->conf;
2067   my $duedate = '';
2068   my $terms = $self->terms;
2069   if ( $terms =~ /^\s*Net\s*(\d+)\s*$/ ) {
2070     $duedate = $self->time2str_local('rdate', $self->_date + ($1*86400) );
2071   }
2072   $duedate;
2073 }
2074
2075 sub credit_balance_msg { 
2076   my $self = shift;
2077   $self->mt('Credit Balance Remaining')
2078 }
2079
2080 =item _date_pretty
2081
2082 Returns a string with the date, for example: "3/20/2008", localized for the
2083 customer.  Use _date_pretty_unlocalized for non-end-customer display use.
2084
2085 =cut
2086
2087 sub _date_pretty {
2088   my $self = shift;
2089   $self->time2str_local('short', $self->_date);
2090 }
2091
2092 =item _date_pretty_unlocalized
2093
2094 Returns a string with the date, for example: "3/20/2008", in the format
2095 configured for the back-office.  Use _date_pretty for end-customer display use.
2096
2097 =cut
2098
2099 sub _date_pretty_unlocalized {
2100   my $self = shift;
2101   time2str($date_format, $self->_date);
2102 }
2103
2104 =item email HASHREF
2105
2106 Emails this template.
2107
2108 Options are passed as a hashref.  Available options:
2109
2110 =over 4
2111
2112 =item from
2113
2114 If specified, overrides the default From: address.
2115
2116 =item notice_name
2117
2118 If specified, overrides the name of the sent document ("Invoice" or "Quotation")
2119
2120 =item template
2121
2122 (Deprecated) If specified, is the name of a suffix for alternate template files.
2123
2124 =back
2125
2126 Options accepted by generate_email can also be used.
2127
2128 =cut
2129
2130 sub email {
2131   my $self = shift;
2132   my $opt = shift || {};
2133   if ($opt and !ref($opt)) {
2134     die ref($self). '->email called with positional parameters';
2135   }
2136
2137   return if $self->hide;
2138
2139   my $error = send_email(
2140     $self->generate_email(
2141       'subject'     => $self->email_subject($opt->{template}),
2142       %$opt, # template, etc.
2143     )
2144   );
2145
2146   die "can't email: $error\n" if $error;
2147 }
2148
2149 =item generate_email OPTION => VALUE ...
2150
2151 Options:
2152
2153 =over 4
2154
2155 =item from
2156
2157 sender address, required
2158
2159 =item template
2160
2161 alternate template name, optional
2162
2163 =item subject
2164
2165 email subject, optional
2166
2167 =item notice_name
2168
2169 notice name instead of "Invoice", optional
2170
2171 =back
2172
2173 Returns an argument list to be passed to L<FS::Misc::send_email>.
2174
2175 =cut
2176
2177 use MIME::Entity;
2178 use Encode;
2179
2180 sub generate_email {
2181
2182   my $self = shift;
2183   my %args = @_;
2184   my $conf = $self->conf;
2185
2186   my $me = '[FS::Template_Mixin::generate_email]';
2187
2188   my %return = (
2189     'from'      => $args{'from'},
2190     'subject'   => ($args{'subject'} || $self->email_subject),
2191     'custnum'   => $self->custnum,
2192     'msgtype'   => 'invoice',
2193   );
2194
2195   $args{'unsquelch_cdr'} = $conf->exists('voip-cdr_email');
2196
2197   my $cust_main = $self->cust_main;
2198
2199   if (ref($args{'to'}) eq 'ARRAY') {
2200     $return{'to'} = $args{'to'};
2201   } elsif ( $cust_main ) {
2202     $return{'to'} = [ $cust_main->invoicing_list_emailonly ];
2203   }
2204
2205   my $tc = $self->template_conf;
2206
2207   my @text; # array of lines
2208   my $html; # a big string
2209   my @related_parts; # will contain the text/HTML alternative, and images
2210   my $related; # will contain the multipart/related object
2211
2212   if ( $conf->exists($tc. 'email_pdf') ) {
2213     if ( my $msgnum = $conf->config($tc.'email_pdf_msgnum') ) {
2214
2215       warn "$me using '${tc}email_pdf_msgnum' in multipart message"
2216         if $DEBUG;
2217
2218       my $msg_template = FS::msg_template->by_key($msgnum)
2219         or die "${tc}email_pdf_msgnum $msgnum not found\n";
2220       my $cust_msg = $msg_template->prepare(
2221         cust_main => $self->cust_main,
2222         object    => $self,
2223         msgtype   => 'invoice',
2224       );
2225
2226       # XXX hack to make this work in the new cust_msg era; consider replacing
2227       # with cust_bill_send_with_notice events.
2228       my @parts = $cust_msg->parts;
2229       foreach my $part (@parts) { # will only have two parts, normally
2230         if ( $part->mime_type eq 'text/plain' ) {
2231           @text = @{ $part->body };
2232         } elsif ( $part->mime_type eq 'text/html' ) {
2233           $html = $part->bodyhandle->as_string;
2234         }
2235       }
2236
2237     } elsif ( my @note = $conf->config($tc.'email_pdf_note') ) {
2238
2239       warn "$me using '${tc}email_pdf_note' in multipart message"
2240         if $DEBUG;
2241       @text = $conf->config($tc.'email_pdf_note');
2242       $html = join('<BR>', @text);
2243   
2244     } # else use the plain text invoice
2245   }
2246
2247   if (!@text) {
2248
2249     if ( $conf->config($tc.'template') ) {
2250
2251       warn "$me generating plain text invoice"
2252         if $DEBUG;
2253
2254       # 'print_text' argument is no longer used
2255       @text = map Encode::encode_utf8($_), $self->print_text(\%args);
2256
2257     } else {
2258
2259       warn "$me no plain text version exists; sending empty message body"
2260         if $DEBUG;
2261
2262     }
2263
2264   }
2265
2266   my $text_part = build MIME::Entity (
2267     'Type'        => 'text/plain',
2268     'Encoding'    => 'quoted-printable',
2269     'Charset'     => 'UTF-8',
2270     #'Encoding'    => '7bit',
2271     'Data'        => \@text,
2272     'Disposition' => 'inline',
2273   );
2274
2275   if (!$html) {
2276
2277     if ( $conf->exists($tc.'html') ) {
2278       warn "$me generating HTML invoice"
2279         if $DEBUG;
2280
2281       $args{'from'} =~ /\@([\w\.\-]+)/;
2282       my $from = $1 || 'example.com';
2283       my $content_id = join('.', rand()*(2**32), $$, time). "\@$from";
2284
2285       my $logo;
2286       my $agentnum = $cust_main ? $cust_main->agentnum
2287                                 : $self->prospect_main->agentnum;
2288       if ( defined($args{'template'}) && length($args{'template'})
2289            && $conf->exists( 'logo_'. $args{'template'}. '.png', $agentnum )
2290          )
2291       {
2292         $logo = 'logo_'. $args{'template'}. '.png';
2293       } else {
2294         $logo = "logo.png";
2295       }
2296       my $image_data = $conf->config_binary( $logo, $agentnum);
2297
2298       push @related_parts, build MIME::Entity
2299         'Type'       => 'image/png',
2300         'Encoding'   => 'base64',
2301         'Data'       => $image_data,
2302         'Filename'   => 'logo.png',
2303         'Content-ID' => "<$content_id>",
2304       ;
2305    
2306       if ( ref($self) eq 'FS::cust_bill' && $conf->exists('invoice-barcode') ) {
2307         my $barcode_content_id = join('.', rand()*(2**32), $$, time). "\@$from";
2308         push @related_parts, build MIME::Entity
2309           'Type'       => 'image/png',
2310           'Encoding'   => 'base64',
2311           'Data'       => $self->invoice_barcode(0),
2312           'Filename'   => 'barcode.png',
2313           'Content-ID' => "<$barcode_content_id>",
2314         ;
2315         $args{'barcode_cid'} = $barcode_content_id;
2316       }
2317
2318       $html = $self->print_html({ 'cid'=>$content_id, %args });
2319     }
2320
2321   }
2322
2323   if ( $html ) {
2324
2325     warn "$me creating HTML/text multipart message"
2326       if $DEBUG;
2327
2328     $return{'nobody'} = 1;
2329
2330     my $alternative = build MIME::Entity
2331       'Type'        => 'multipart/alternative',
2332       #'Encoding'    => '7bit',
2333       'Disposition' => 'inline'
2334     ;
2335
2336     if ( @text ) {
2337       $alternative->add_part($text_part);
2338     }
2339
2340     $alternative->attach(
2341       'Type'        => 'text/html',
2342       'Encoding'    => 'quoted-printable',
2343       'Data'        => [ '<html>',
2344                          '  <head>',
2345                          '    <title>',
2346                          '      '. encode_entities($return{'subject'}), 
2347                          '    </title>',
2348                          '  </head>',
2349                          '  <body bgcolor="#e8e8e8">',
2350                          Encode::encode_utf8($html),
2351                          '  </body>',
2352                          '</html>',
2353                        ],
2354       'Disposition' => 'inline',
2355       #'Filename'    => 'invoice.pdf',
2356     );
2357
2358     unshift @related_parts, $alternative;
2359
2360     $related = build MIME::Entity 'Type'     => 'multipart/related',
2361                                   'Encoding' => '7bit';
2362
2363     #false laziness w/Misc::send_email
2364     $related->head->replace('Content-type',
2365       $related->mime_type.
2366       '; boundary="'. $related->head->multipart_boundary. '"'.
2367       '; type=multipart/alternative'
2368     );
2369
2370     $related->add_part($_) foreach @related_parts;
2371
2372   }
2373
2374   my @otherparts = ();
2375   if ( ref($self) eq 'FS::cust_bill' && $cust_main->email_csv_cdr ) {
2376
2377     if ( $conf->config('voip-cdr_email_attach') eq 'zip' ) {
2378
2379       my $data = join('', map "$_\n",
2380                    $self->call_details(prepend_billed_number=>1)
2381                  );
2382
2383       my $zip = new Archive::Zip;
2384       my $file = $zip->addString( $data, 'usage-'.$self->invnum.'.csv' );
2385       $file->desiredCompressionMethod( COMPRESSION_DEFLATED );
2386
2387       my $zipdata = '';
2388       my $SH = IO::Scalar->new(\$zipdata);
2389       my $status = $zip->writeToFileHandle($SH);
2390       die "Error zipping CDR attachment: $!" unless $status == AZ_OK;
2391
2392       push @otherparts, build MIME::Entity
2393         'Type'        => 'application/zip',
2394         'Encoding'    => 'base64',
2395         'Data'        => $zipdata,
2396         'Disposition' => 'attachment',
2397         'Filename'    => 'usage-'. $self->invnum. '.zip',
2398       ;
2399
2400     } else { # } elsif ( $conf->config('voip-cdr_email_attach') eq 'csv' ) {
2401  
2402       push @otherparts, build MIME::Entity
2403         'Type'        => 'text/csv',
2404         'Encoding'    => '7bit',
2405         'Data'        => [ map { "$_\n" }
2406                              $self->call_details('prepend_billed_number' => 1)
2407                          ],
2408         'Disposition' => 'attachment',
2409         'Filename'    => 'usage-'. $self->invnum. '.csv',
2410       ;
2411
2412     }
2413
2414   }
2415
2416   if ( $conf->exists($tc.'email_pdf') ) {
2417
2418     #attaching pdf too:
2419     # multipart/mixed
2420     #   multipart/related
2421     #     multipart/alternative
2422     #       text/plain
2423     #       text/html
2424     #     image/png
2425     #   application/pdf
2426
2427     my $pdf = build MIME::Entity $self->mimebuild_pdf(\%args);
2428     push @otherparts, $pdf;
2429   }
2430
2431   if (@otherparts) {
2432     $return{'content-type'} = 'multipart/mixed'; # of the outer container
2433     if ( $html ) {
2434       $return{'mimeparts'} = [ $related, @otherparts ];
2435       $return{'type'} = 'multipart/related'; # of the first part
2436     } else {
2437       $return{'mimeparts'} = [ $text_part, @otherparts ];
2438       $return{'type'} = 'text/plain';
2439     }
2440   } elsif ( $html ) { # no PDF or CSV, strip the outer container
2441     $return{'mimeparts'} = \@related_parts;
2442     $return{'content-type'} = 'multipart/related';
2443     $return{'type'} = 'multipart/alternative';
2444   } else { # no HTML either
2445     $return{'body'} = \@text;
2446     $return{'content-type'} = 'text/plain';
2447   }
2448
2449   %return;
2450
2451 }
2452
2453 =item mimebuild_pdf
2454
2455 Returns a list suitable for passing to MIME::Entity->build(), representing
2456 this quotation or invoice as PDF attachment.
2457
2458 =cut
2459
2460 sub mimebuild_pdf {
2461   my $self = shift;
2462   (
2463     'Type'        => 'application/pdf',
2464     'Encoding'    => 'base64',
2465     'Data'        => [ $self->print_pdf(@_) ],
2466     'Disposition' => 'attachment',
2467     'Filename'    => $self->pdf_filename,
2468   );
2469 }
2470
2471 =item postal_mail_fsinc
2472
2473 Sends this invoice to the Freeside Internet Services, Inc. print and mail
2474 service.
2475
2476 =cut
2477
2478 use CAM::PDF;
2479 use IO::Socket::SSL;
2480 use LWP::UserAgent;
2481 use HTTP::Request::Common qw( POST );
2482 use Cpanel::JSON::XS;
2483 use MIME::Base64;
2484 sub postal_mail_fsinc {
2485   my ( $self, %opt ) = @_;
2486
2487   my $url = 'https://ws.freeside.biz/print';
2488
2489   my $cust_main = $self->cust_main;
2490   my $agentnum = $cust_main->agentnum;
2491   my $bill_location = $cust_main->bill_location;
2492
2493   die "Extra charges for international mailing; contact support\@freeside.biz to enable\n"
2494     if $bill_location->country ne 'US';
2495
2496   my $conf = new FS::Conf;
2497
2498   my @company_address = $conf->config('company_address', $agentnum);
2499   my ( $company_address1, $company_address2, $company_city, $company_state, $company_zip );
2500   if ( $company_address[2] =~ /^\s*(\S.*\S)\s*[\s,](\w\w),?\s*(\d{5}(-\d{4})?)\s*$/ ) {
2501     $company_address1 = $company_address[0];
2502     $company_address2 = $company_address[1];
2503     $company_city  = $1;
2504     $company_state = $2;
2505     $company_zip   = $3;
2506   } elsif ( $company_address[1] =~ /^\s*(\S.*\S)\s*[\s,](\w\w),?\s*(\d{5}(-\d{4})?)\s*$/ ) {
2507     $company_address1 = $company_address[0];
2508     $company_address2 = '';
2509     $company_city  = $1;
2510     $company_state = $2;
2511     $company_zip   = $3;
2512   } else {
2513     die "Unparsable company_address; contact support\@freeside.biz\n";
2514   }
2515   $company_city =~ s/,$//;
2516
2517   my $file = $self->print_pdf(%opt, 'no_addresses' => 1);
2518   my $pages = CAM::PDF->new($file)->numPages;
2519
2520   my $ua = LWP::UserAgent->new(
2521     'ssl_opts' => { 
2522       verify_hostname => 0,
2523       SSL_verify_mode => IO::Socket::SSL::SSL_VERIFY_NONE,
2524       SSL_version     => 'SSLv3',
2525     }
2526   );
2527   my $response = $ua->request( POST $url, [
2528     'support-key'      => scalar($conf->config('support-key')),
2529     'file'             => encode_base64($file),
2530     'pages'            => $pages,
2531
2532     #from:
2533     'company_name'     => scalar( $conf->config('company_name', $agentnum) ),
2534     'company_address1' => $company_address1,
2535     'company_address2' => $company_address2,
2536     'company_city'     => $company_city,
2537     'company_state'    => $company_state,
2538     'company_zip'      => $company_zip,
2539     'company_country'  => 'US',
2540     'company_phonenum' => scalar($conf->config('company_phonenum', $agentnum)),
2541     'company_email'    => scalar($conf->config('invoice_from', $agentnum)),
2542
2543     #to:
2544     'name'             => $cust_main->invoice_attn
2545                             || $cust_main->contact_firstlast,
2546     'company'          => $cust_main->company,
2547     'address1'         => $bill_location->address1,
2548     'address2'         => $bill_location->address2,
2549     'city'             => $bill_location->city,
2550     'state'            => $bill_location->state,
2551     'zip'              => $bill_location->zip,
2552     'country'          => $bill_location->country,
2553   ]);
2554
2555   die "Print connection error: ". $response->message.
2556       ' ('. $response->as_string. ")\n"
2557     unless $response->is_success;
2558
2559   local $@;
2560   my $content = eval { decode_json($response->content) };
2561   die "Print JSON error : $@\n" if $@;
2562
2563   die $content->{error}."\n"
2564     if $content->{error};
2565
2566   #TODO: store this so we can query for a status later
2567   warn "Invoice printed, ID ". $content->{id}. "\n";
2568
2569   $content->{id};
2570
2571 }
2572
2573 =item _items_sections OPTIONS
2574
2575 Generate section information for all items appearing on this invoice.
2576 This will only be called for multi-section invoices.
2577
2578 For each line item (L<FS::cust_bill_pkg> record), this will fetch all 
2579 related display records (L<FS::cust_bill_pkg_display>) and organize 
2580 them into two groups ("early" and "late" according to whether they come 
2581 before or after the total), then into sections.  A subtotal is calculated 
2582 for each section.
2583
2584 Section descriptions are returned in sort weight order.  Each consists 
2585 of a hash containing:
2586
2587 description: the package category name, escaped
2588 subtotal: the total charges in that section
2589 tax_section: a flag indicating that the section contains only tax charges
2590 summarized: same as tax_section, for some reason
2591 sort_weight: the package category's sort weight
2592
2593 If 'condense' is set on the display record, it also contains everything 
2594 returned from C<_condense_section()>, i.e. C<_condensed_foo_generator>
2595 coderefs to generate parts of the invoice.  This is not advised.
2596
2597 The method returns two arrayrefs, one of "early" sections and one of "late"
2598 sections.
2599
2600 OPTIONS may include:
2601
2602 by_location: a flag to divide the invoice into sections by location.  
2603 Each section hash will have a 'location' element containing a hashref of 
2604 the location fields (see L<FS::cust_location>).  The section description
2605 will be the location label, but the template can use any of the location 
2606 fields to create a suitable label.
2607
2608 by_category: a flag to divide the invoice into sections using display 
2609 records (see L<FS::cust_bill_pkg_display>).  This is the "traditional" 
2610 behavior.  Each section hash will have a 'category' element containing
2611 the section name from the display record (which probably equals the 
2612 category name of the package, but may not in some cases).
2613
2614 summary: a flag indicating that this is a summary-format invoice.
2615 Turning this on has the following effects:
2616 - Ignores display items with the 'summary' flag.
2617 - Places all sections in the "early" group even if they have post_total.
2618 - Creates sections for all non-disabled package categories, even if they 
2619 have no charges on this invoice, as well as a section with no name.
2620
2621 escape: an escape function to use for section titles.
2622
2623 extra_sections: an arrayref of additional sections to return after the 
2624 sorted list.  If there are any of these, section subtotals exclude 
2625 usage charges.
2626
2627 format: 'latex', 'html', or 'template' (i.e. text).  Not used, but 
2628 passed through to C<_condense_section()>.
2629
2630 =cut
2631
2632 use vars qw(%pkg_category_cache);
2633 sub _items_sections {
2634   my $self = shift;
2635   my %opt = @_;
2636   
2637   my $escape = $opt{escape};
2638   my @extra_sections = @{ $opt{extra_sections} || [] };
2639
2640   # $subtotal{$locationnum}{$categoryname} = amount.
2641   # if we're not using by_location, $locationnum is undef.
2642   # if we're not using by_category, you guessed it, $categoryname is undef.
2643   # if we're not using either one, we shouldn't be here in the first place...
2644   my %subtotal = ();
2645   my %late_subtotal = ();
2646   my %not_tax = ();
2647
2648   # About tax items + multisection invoices:
2649   # If either invoice_*summary option is enabled, AND there is a 
2650   # package category with the name of the tax, then there will be 
2651   # a display record assigning the tax item to that category.
2652   #
2653   # However, the taxes are always placed in the "Taxes, Surcharges,
2654   # and Fees" section regardless of that.  The only effect of the 
2655   # display record is to create a subtotal for the summary page.
2656
2657   # cache these
2658   my $pkg_hash = $self->cust_pkg_hash;
2659
2660   foreach my $cust_bill_pkg ( $self->cust_bill_pkg )
2661   {
2662
2663       my $usage = $cust_bill_pkg->usage;
2664
2665       my $locationnum;
2666       if ( $opt{by_location} ) {
2667         if ( $cust_bill_pkg->pkgnum ) {
2668           $locationnum = $pkg_hash->{ $cust_bill_pkg->pkgnum }->locationnum;
2669         } else {
2670           $locationnum = '';
2671         }
2672       } else {
2673         $locationnum = undef;
2674       }
2675
2676       # as in _items_cust_pkg, if a line item has no display records,
2677       # cust_bill_pkg_display() returns a default record for it
2678
2679       foreach my $display ($cust_bill_pkg->cust_bill_pkg_display) {
2680         next if ( $display->summary && $opt{summary} );
2681
2682         #my $section = $display->section;
2683         #false laziness with the method, but for efficiency inside this loop
2684         my $section = $display->get('section');
2685         if ( !$section && !$cust_bill_pkg->hidden ) {
2686           $section = $cust_bill_pkg->get('categoryname'); #cust_bill->cust_bill_pkg added it (XXX quotations / quotation_section)
2687         }
2688
2689         my $type    = $display->type;
2690         # Set $section = undef if we're sectioning by location and this
2691         # line item _has_ a location (i.e. isn't a fee).
2692         $section = undef if $locationnum;
2693
2694         # set this flag if the section is not tax-only
2695         $not_tax{$locationnum}{$section} = 1
2696           if $cust_bill_pkg->pkgnum  or $cust_bill_pkg->feepart;
2697
2698         # there's actually a very important piece of logic buried in here:
2699         # incrementing $late_subtotal{$section} CREATES 
2700         # $late_subtotal{$section}.  keys(%late_subtotal) is later used 
2701         # to define the list of late sections, and likewise keys(%subtotal).
2702         # When _items_cust_bill_pkg is called to generate line items for 
2703         # real, it will be called with 'section' => $section for each 
2704         # of these.
2705         if ( $display->post_total && !$opt{summary} ) {
2706           if (! $type || $type eq 'S') {
2707             $late_subtotal{$locationnum}{$section} += $cust_bill_pkg->setup
2708               if $cust_bill_pkg->setup != 0
2709               || $cust_bill_pkg->setup_show_zero;
2710           }
2711
2712           if (! $type) {
2713             $late_subtotal{$locationnum}{$section} += $cust_bill_pkg->recur
2714               if $cust_bill_pkg->recur != 0
2715               || $cust_bill_pkg->recur_show_zero;
2716           }
2717
2718           if ($type && $type eq 'R') {
2719             $late_subtotal{$locationnum}{$section} += $cust_bill_pkg->recur - $usage
2720               if $cust_bill_pkg->recur != 0
2721               || $cust_bill_pkg->recur_show_zero;
2722           }
2723           
2724           if ($type && $type eq 'U') {
2725             $late_subtotal{$locationnum}{$section} += $usage
2726               unless scalar(@extra_sections);
2727           }
2728
2729         } else { # it's a pre-total (normal) section
2730
2731           # skip tax items unless they're explicitly included in a section
2732           next if $cust_bill_pkg->pkgnum == 0 and
2733                   ! $cust_bill_pkg->feepart   and
2734                   ! $section;
2735
2736           if ( $type eq 'S' ) {
2737             $subtotal{$locationnum}{$section} += $cust_bill_pkg->setup
2738               if $cust_bill_pkg->setup != 0
2739               || $cust_bill_pkg->setup_show_zero;
2740           } elsif ( $type eq 'R' ) {
2741             $subtotal{$locationnum}{$section} += $cust_bill_pkg->recur - $usage
2742               if $cust_bill_pkg->recur != 0
2743               || $cust_bill_pkg->recur_show_zero;
2744           } elsif ( $type eq 'U' ) {
2745             $subtotal{$locationnum}{$section} += $usage
2746               unless scalar(@extra_sections);
2747           } elsif ( !$type ) {
2748             $subtotal{$locationnum}{$section} += $cust_bill_pkg->setup
2749                                                + $cust_bill_pkg->recur;
2750           }
2751
2752         }
2753
2754       }
2755
2756   }
2757
2758   %pkg_category_cache = ();
2759
2760   # summary invoices need subtotals for all non-disabled package categories,
2761   # even if they're zero
2762   # but currently assume that there are no location sections, or at least
2763   # that the summary page doesn't care about them
2764   if ( $opt{summary} ) {
2765     foreach my $category (qsearch('pkg_category', {disabled => ''})) {
2766       $subtotal{''}{$category->categoryname} ||= 0;
2767     }
2768     $subtotal{''}{''} ||= 0;
2769   }
2770
2771   my @sections;
2772   foreach my $post_total (0,1) {
2773     my @these;
2774     my $s = $post_total ? \%late_subtotal : \%subtotal;
2775     foreach my $locationnum (keys %$s) {
2776       foreach my $sectionname (keys %{ $s->{$locationnum} }) {
2777         my $section = {
2778                         'subtotal'    => $s->{$locationnum}{$sectionname},
2779                         'sort_weight' => 0,
2780                       };
2781         if ( $locationnum ) {
2782           $section->{'locationnum'} = $locationnum;
2783           my $location = FS::cust_location->by_key($locationnum);
2784           $section->{'description'} = &{ $escape }($location->location_label);
2785           # Better ideas? This will roughly group them by proximity, 
2786           # which alpha sorting on any of the address fields won't.
2787           # Sorting by locationnum is meaningless.
2788           # We have to sort on _something_ or the order may change 
2789           # randomly from one invoice to the next, which will confuse
2790           # people.
2791           $section->{'sort_weight'} = sprintf('%012s',$location->zip) .
2792                                       $locationnum;
2793           $section->{'location'} = {
2794             label_prefix => &{ $escape }($location->label_prefix),
2795             map { $_ => &{ $escape }($location->get($_)) }
2796               $location->fields
2797           };
2798         } else {
2799           $section->{'category'} = $sectionname;
2800           $section->{'description'} = &{ $escape }($sectionname);
2801           if ( _pkg_category($sectionname) ) {
2802             $section->{'sort_weight'} = _pkg_category($sectionname)->weight;
2803             if ( _pkg_category($sectionname)->condense ) {
2804               $section = { %$section, $self->_condense_section($opt{format}) };
2805             }
2806           }
2807         }
2808         if ( !$post_total and !$not_tax{$locationnum}{$sectionname} ) {
2809           # then it's a tax-only section
2810           $section->{'summarized'} = 'Y';
2811           $section->{'tax_section'} = 'Y';
2812         }
2813         push @these, $section;
2814       } # foreach $sectionname
2815     } #foreach $locationnum
2816     push @these, @extra_sections if $post_total == 0;
2817     # need an alpha sort for location sections, because postal codes can 
2818     # be non-numeric
2819     $sections[ $post_total ] = [ sort {
2820       $opt{'by_location'} ? 
2821         ($a->{sort_weight} cmp $b->{sort_weight}) :
2822         ($a->{sort_weight} <=> $b->{sort_weight})
2823       } @these ];
2824   } #foreach $post_total
2825
2826   return @sections; # early, late
2827 }
2828
2829 #helper subs for above
2830
2831 sub cust_pkg_hash {
2832   my $self = shift;
2833   $self->{cust_pkg} ||= { map { $_->pkgnum => $_ } $self->cust_pkg };
2834 }
2835
2836 sub _pkg_category {
2837   my $categoryname = shift;
2838   $pkg_category_cache{$categoryname} ||=
2839     qsearchs( 'pkg_category', { 'categoryname' => $categoryname } );
2840 }
2841
2842 my %condensed_format = (
2843   'label' => [ qw( Description Qty Amount ) ],
2844   'fields' => [
2845                 sub { shift->{description} },
2846                 sub { shift->{quantity} },
2847                 sub { my($href, %opt) = @_;
2848                       ($opt{dollar} || ''). $href->{amount};
2849                     },
2850               ],
2851   'align'  => [ qw( l r r ) ],
2852   'span'   => [ qw( 5 1 1 ) ],            # unitprices?
2853   'width'  => [ qw( 10.7cm 1.4cm 1.6cm ) ],   # don't like this
2854 );
2855
2856 sub _condense_section {
2857   my ( $self, $format ) = ( shift, shift );
2858   ( 'condensed' => 1,
2859     map { my $method = "_condensed_$_"; $_ => $self->$method($format) }
2860       qw( description_generator
2861           header_generator
2862           total_generator
2863           total_line_generator
2864         )
2865   );
2866 }
2867
2868 sub _condensed_generator_defaults {
2869   my ( $self, $format ) = ( shift, shift );
2870   return ( \%condensed_format, ' ', ' ', ' ', sub { shift } );
2871 }
2872
2873 my %html_align = (
2874   'c' => 'center',
2875   'l' => 'left',
2876   'r' => 'right',
2877 );
2878
2879 sub _condensed_header_generator {
2880   my ( $self, $format ) = ( shift, shift );
2881
2882   my ( $f, $prefix, $suffix, $separator, $column ) =
2883     _condensed_generator_defaults($format);
2884
2885   if ($format eq 'latex') {
2886     $prefix = "\\hline\n\\rule{0pt}{2.5ex}\n\\makebox[1.4cm]{}&\n";
2887     $suffix = "\\\\\n\\hline";
2888     $separator = "&\n";
2889     $column =
2890       sub { my ($d,$a,$s,$w) = @_;
2891             return "\\multicolumn{$s}{$a}{\\makebox[$w][$a]{\\textbf{$d}}}";
2892           };
2893   } elsif ( $format eq 'html' ) {
2894     $prefix = '<th></th>';
2895     $suffix = '';
2896     $separator = '';
2897     $column =
2898       sub { my ($d,$a,$s,$w) = @_;
2899             return qq!<th align="$html_align{$a}">$d</th>!;
2900       };
2901   }
2902
2903   sub {
2904     my @args = @_;
2905     my @result = ();
2906
2907     foreach  (my $i = 0; $f->{label}->[$i]; $i++) {
2908       push @result,
2909         &{$column}( map { $f->{$_}->[$i] } qw(label align span width) );
2910     }
2911
2912     $prefix. join($separator, @result). $suffix;
2913   };
2914
2915 }
2916
2917 sub _condensed_description_generator {
2918   my ( $self, $format ) = ( shift, shift );
2919
2920   my ( $f, $prefix, $suffix, $separator, $column ) =
2921     _condensed_generator_defaults($format);
2922
2923   my $money_char = '$';
2924   if ($format eq 'latex') {
2925     $prefix = "\\hline\n\\multicolumn{1}{c}{\\rule{0pt}{2.5ex}~} &\n";
2926     $suffix = '\\\\';
2927     $separator = " & \n";
2928     $column =
2929       sub { my ($d,$a,$s,$w) = @_;
2930             return "\\multicolumn{$s}{$a}{\\makebox[$w][$a]{\\textbf{$d}}}";
2931           };
2932     $money_char = '\\dollar';
2933   }elsif ( $format eq 'html' ) {
2934     $prefix = '"><td align="center"></td>';
2935     $suffix = '';
2936     $separator = '';
2937     $column =
2938       sub { my ($d,$a,$s,$w) = @_;
2939             return qq!<td align="$html_align{$a}">$d</td>!;
2940       };
2941     #$money_char = $conf->config('money_char') || '$';
2942     $money_char = '';  # this is madness
2943   }
2944
2945   sub {
2946     #my @args = @_;
2947     my $href = shift;
2948     my @result = ();
2949
2950     foreach  (my $i = 0; $f->{label}->[$i]; $i++) {
2951       my $dollar = '';
2952       $dollar = $money_char if $i == scalar(@{$f->{label}})-1;
2953       push @result,
2954         &{$column}( &{$f->{fields}->[$i]}($href, 'dollar' => $dollar),
2955                     map { $f->{$_}->[$i] } qw(align span width)
2956                   );
2957     }
2958
2959     $prefix. join( $separator, @result ). $suffix;
2960   };
2961
2962 }
2963
2964 sub _condensed_total_generator {
2965   my ( $self, $format ) = ( shift, shift );
2966
2967   my ( $f, $prefix, $suffix, $separator, $column ) =
2968     _condensed_generator_defaults($format);
2969   my $style = '';
2970
2971   if ($format eq 'latex') {
2972     $prefix = "& ";
2973     $suffix = "\\\\\n";
2974     $separator = " & \n";
2975     $column =
2976       sub { my ($d,$a,$s,$w) = @_;
2977             return "\\multicolumn{$s}{$a}{\\makebox[$w][$a]{$d}}";
2978           };
2979   }elsif ( $format eq 'html' ) {
2980     $prefix = '';
2981     $suffix = '';
2982     $separator = '';
2983     $style = 'border-top: 3px solid #000000;border-bottom: 3px solid #000000;';
2984     $column =
2985       sub { my ($d,$a,$s,$w) = @_;
2986             return qq!<td align="$html_align{$a}" style="$style">$d</td>!;
2987       };
2988   }
2989
2990
2991   sub {
2992     my @args = @_;
2993     my @result = ();
2994
2995     #  my $r = &{$f->{fields}->[$i]}(@args);
2996     #  $r .= ' Total' unless $i;
2997
2998     foreach  (my $i = 0; $f->{label}->[$i]; $i++) {
2999       push @result,
3000         &{$column}( &{$f->{fields}->[$i]}(@args). ($i ? '' : ' Total'),
3001                     map { $f->{$_}->[$i] } qw(align span width)
3002                   );
3003     }
3004
3005     $prefix. join( $separator, @result ). $suffix;
3006   };
3007
3008 }
3009
3010 =item total_line_generator FORMAT
3011
3012 Returns a coderef used for generation of invoice total line items for this
3013 usage_class.  FORMAT is either html or latex
3014
3015 =cut
3016
3017 # should not be used: will have issues with hash element names (description vs
3018 # total_item and amount vs total_amount -- another array of functions?
3019
3020 sub _condensed_total_line_generator {
3021   my ( $self, $format ) = ( shift, shift );
3022
3023   my ( $f, $prefix, $suffix, $separator, $column ) =
3024     _condensed_generator_defaults($format);
3025   my $style = '';
3026
3027   if ($format eq 'latex') {
3028     $prefix = "& ";
3029     $suffix = "\\\\\n";
3030     $separator = " & \n";
3031     $column =
3032       sub { my ($d,$a,$s,$w) = @_;
3033             return "\\multicolumn{$s}{$a}{\\makebox[$w][$a]{$d}}";
3034           };
3035   }elsif ( $format eq 'html' ) {
3036     $prefix = '';
3037     $suffix = '';
3038     $separator = '';
3039     $style = 'border-top: 3px solid #000000;border-bottom: 3px solid #000000;';
3040     $column =
3041       sub { my ($d,$a,$s,$w) = @_;
3042             return qq!<td align="$html_align{$a}" style="$style">$d</td>!;
3043       };
3044   }
3045
3046
3047   sub {
3048     my @args = @_;
3049     my @result = ();
3050
3051     foreach  (my $i = 0; $f->{label}->[$i]; $i++) {
3052       push @result,
3053         &{$column}( &{$f->{fields}->[$i]}(@args),
3054                     map { $f->{$_}->[$i] } qw(align span width)
3055                   );
3056     }
3057
3058     $prefix. join( $separator, @result ). $suffix;
3059   };
3060
3061 }
3062
3063 =item _items_pkg [ OPTIONS ]
3064
3065 Return line item hashes for each package item on this invoice. Nearly 
3066 equivalent to 
3067
3068 $self->_items_cust_bill_pkg([ $self->cust_bill_pkg ])
3069
3070 OPTIONS are passed through to _items_cust_bill_pkg, and should include
3071 'format' and 'escape_function' at minimum.
3072
3073 To produce items for a specific invoice section, OPTIONS should include
3074 'section', a hashref containing 'category' and/or 'locationnum' keys.
3075
3076 'section' may also contain a key named 'condensed'. If this is present
3077 and has a true value, _items_pkg will try to merge identical items into items
3078 with 'quantity' equal to the number of items (not the sum of their separate
3079 quantities, for some reason).
3080
3081 =cut
3082
3083 sub _items_nontax {
3084   my $self = shift;
3085   # The order of these is important.  Bundled line items will be merged into
3086   # the most recent non-hidden item, so it needs to be the one with:
3087   # - the same pkgnum
3088   # - the same start date
3089   # - no pkgpart_override
3090   #
3091   # So: sort by pkgnum,
3092   # then by sdate
3093   # then sort the base line item before any overrides
3094   # then sort hidden before non-hidden add-ons
3095   # then sort by override pkgpart (for consistency)
3096   sort { $a->pkgnum <=> $b->pkgnum        or
3097          $a->sdate  <=> $b->sdate         or
3098          ($a->pkgpart_override ? 0 : -1)  or
3099          ($b->pkgpart_override ? 0 : 1)   or
3100          $b->hidden cmp $a->hidden        or
3101          $a->pkgpart_override <=> $b->pkgpart_override
3102        }
3103   # and of course exclude taxes and fees
3104   grep { $_->pkgnum > 0 } $self->cust_bill_pkg;
3105 }
3106
3107 sub _items_fee {
3108   my $self = shift;
3109   my %options = @_;
3110   my @cust_bill_pkg = grep { $_->feepart } $self->cust_bill_pkg;
3111   my $escape_function = $options{escape_function};
3112
3113   my $locale = $self->cust_main->locale;
3114
3115   my @items;
3116   foreach my $cust_bill_pkg (@cust_bill_pkg) {
3117     # cache this, so we don't look it up again in every section
3118     my $part_fee = $cust_bill_pkg->get('part_fee')
3119        || $cust_bill_pkg->part_fee;
3120     $cust_bill_pkg->set('part_fee', $part_fee);
3121     if (!$part_fee) {
3122       #die "fee definition not found for line item #".$cust_bill_pkg->billpkgnum."\n"; # might make more sense
3123       warn "fee definition not found for line item #".$cust_bill_pkg->billpkgnum."\n";
3124       next;
3125     }
3126     if ( exists($options{section}) and exists($options{section}{category}) )
3127     {
3128       my $categoryname = $options{section}{category};
3129       # then filter for items that have that section
3130       if ( $part_fee->categoryname ne $categoryname ) {
3131         warn "skipping fee '".$part_fee->itemdesc."'--not in section $categoryname\n" if $DEBUG;
3132         next;
3133       }
3134     } # otherwise include them all in the main section
3135     # XXX what to do when sectioning by location?
3136     
3137     my @ext_desc;
3138     my %base_invnums; # invnum => invoice date
3139     foreach ($cust_bill_pkg->cust_bill_pkg_fee) {
3140       if ($_->base_invnum) {
3141         my $base_bill = FS::cust_bill->by_key($_->base_invnum);
3142         my $base_date = $self->time2str_local('short', $base_bill->_date)
3143           if $base_bill;
3144         $base_invnums{$_->base_invnum} = $base_date || '';
3145       }
3146     }
3147     foreach (sort keys(%base_invnums)) {
3148       next if $_ == $self->invnum;
3149       # per convention, we must escape ext_description lines
3150       push @ext_desc,
3151         &{$escape_function}(
3152           $self->mt('from invoice #[_1] on [_2]', $_, $base_invnums{$_})
3153         );
3154     }
3155     my $desc = $part_fee->itemdesc_locale($locale);
3156     # but not escape the base description line
3157
3158     my @pkg_tax = $cust_bill_pkg->_pkg_tax_list
3159       if $options{section_with_taxes};
3160
3161     push @items,
3162       { feepart     => $cust_bill_pkg->feepart,
3163         amount      => sprintf('%.2f', $cust_bill_pkg->setup + $cust_bill_pkg->recur),
3164         description => $desc,
3165         pkg_tax     => \@pkg_tax,
3166         ext_description => \@ext_desc
3167         # sdate/edate?
3168       };
3169   }
3170   @items;
3171 }
3172
3173 sub _items_pkg {
3174   my $self = shift;
3175   my %options = @_;
3176
3177   warn "$me _items_pkg searching for all package line items\n"
3178     if $DEBUG > 1;
3179
3180   my @cust_bill_pkg = $self->_items_nontax;
3181
3182   warn "$me _items_pkg filtering line items\n"
3183     if $DEBUG > 1;
3184   my @items = $self->_items_cust_bill_pkg(\@cust_bill_pkg, @_);
3185
3186   if ($options{section} && $options{section}->{condensed}) {
3187
3188     warn "$me _items_pkg condensing section\n"
3189       if $DEBUG > 1;
3190
3191     my %itemshash = ();
3192     local $Storable::canonical = 1;
3193     foreach ( @items ) {
3194       my $item = { %$_ };
3195       delete $item->{ref};
3196       delete $item->{ext_description};
3197       my $key = freeze($item);
3198       $itemshash{$key} ||= 0;
3199       $itemshash{$key} ++; # += $item->{quantity};
3200     }
3201     @items = sort { $a->{description} cmp $b->{description} }
3202              map { my $i = thaw($_);
3203                    $i->{quantity} = $itemshash{$_};
3204                    $i->{amount} =
3205                      sprintf( "%.2f", $i->{quantity} * $i->{amount} );#unit_amount
3206                    $i;
3207                  }
3208              keys %itemshash;
3209   }
3210
3211   warn "$me _items_pkg returning ". scalar(@items). " items\n"
3212     if $DEBUG > 1;
3213
3214   @items;
3215 }
3216
3217 sub _taxsort {
3218   return 0 unless $a->itemdesc cmp $b->itemdesc;
3219   return -1 if $b->itemdesc eq 'Tax';
3220   return 1 if $a->itemdesc eq 'Tax';
3221   return -1 if $b->itemdesc eq 'Other surcharges';
3222   return 1 if $a->itemdesc eq 'Other surcharges';
3223   $a->itemdesc cmp $b->itemdesc;
3224 }
3225
3226 sub _items_tax {
3227   my $self = shift;
3228   my @cust_bill_pkg = sort _taxsort grep { ! $_->pkgnum and ! $_->feepart } 
3229     $self->cust_bill_pkg;
3230   my @items = $self->_items_cust_bill_pkg(\@cust_bill_pkg, @_);
3231
3232   if ( $self->conf->exists('always_show_tax') ) {
3233     my $itemdesc = $self->conf->config('always_show_tax') || 'Tax';
3234     if (0 == grep { $_->{description} eq $itemdesc } @items) {
3235       push @items,
3236         { 'description' => $itemdesc,
3237           'amount'      => 0.00 };
3238     }
3239   }
3240   @items;
3241 }
3242
3243 =item _items_cust_bill_pkg CUST_BILL_PKGS OPTIONS
3244
3245 Takes an arrayref of L<FS::cust_bill_pkg> objects, and returns a
3246 list of hashrefs describing the line items they generate on the invoice.
3247
3248 OPTIONS may include:
3249
3250 format: the invoice format.
3251
3252 escape_function: the function used to escape strings.
3253
3254 DEPRECATED? (expensive, mostly unused?)
3255 format_function: the function used to format CDRs.
3256
3257 section: a hashref containing 'category' and/or 'locationnum'; if this 
3258 is present, only returns line items that belong to that category and/or
3259 location (whichever is defined).
3260
3261 multisection: a flag indicating that this is a multisection invoice,
3262 which does something complicated.
3263
3264 section_with_taxes:  Look up and include applied taxes for each record
3265
3266 Returns a list of hashrefs, each of which may contain:
3267
3268 pkgnum, description, amount, unit_amount, quantity, pkgpart, _is_setup, and 
3269 ext_description, which is an arrayref of detail lines to show below 
3270 the package line.
3271
3272 =cut
3273
3274 sub _items_cust_bill_pkg {
3275   my $self = shift;
3276   my $conf = $self->conf;
3277   my $cust_bill_pkgs = shift;
3278   my %opt = @_;
3279
3280   my $format = $opt{format} || '';
3281   my $escape_function = $opt{escape_function} || sub { shift };
3282   my $format_function = $opt{format_function} || '';
3283   my $no_usage = $opt{no_usage} || '';
3284   my $unsquelched = $opt{unsquelched} || ''; #unused
3285   my ($section, $locationnum, $category);
3286   if ( $opt{section} ) {
3287     $category = $opt{section}->{category};
3288     $locationnum = $opt{section}->{locationnum};
3289   }
3290   my $summary_page = $opt{summary_page} || ''; #unused
3291   my $multisection = defined($category) || defined($locationnum);
3292   # this variable is the value of the config setting, not whether it applies
3293   # to this particular line item.
3294   my $discount_show_always = $conf->exists('discount-show-always');
3295
3296   my $maxlength = $conf->config('cust_bill-latex_lineitem_maxlength') || 40;
3297
3298   my $cust_main = $self->cust_main;#for per-agent cust_bill-line_item-ate_style
3299
3300   my $agentnum = $self->agentnum;
3301
3302   # for location labels: use default location on the invoice date
3303   my $default_locationnum;
3304   if ( $conf->exists('invoice-all_pkg_addresses') ) {
3305     $default_locationnum = 0; # treat them all as non-default
3306   } elsif ( $self->custnum ) {
3307     my $h_cust_main;
3308     my @h_search = FS::h_cust_main->sql_h_search($self->_date);
3309     $h_cust_main = qsearchs({
3310         'table'     => 'h_cust_main',
3311         'hashref'   => { custnum => $self->custnum },
3312         'extra_sql' => $h_search[1],
3313         'addl_from' => $h_search[3],
3314     }) || $cust_main;
3315     $default_locationnum = $h_cust_main->ship_locationnum;
3316   } elsif ( $self->prospectnum ) {
3317     my $cust_location = qsearchs('cust_location',
3318       { prospectnum => $self->prospectnum,
3319         disabled => '' });
3320     $default_locationnum = $cust_location->locationnum if $cust_location;
3321   }
3322
3323   my @b = (); # accumulator for the line item hashes that we'll return
3324   my ($s, $r, $u, $d) = ( undef, undef, undef, undef );
3325             # the 'current' line item hashes for setup, recur, usage, discount
3326   foreach my $cust_bill_pkg ( @$cust_bill_pkgs )
3327   {
3328     # if the current line item is waiting to go out, and the one we're about
3329     # to start is not bundled, then push out the current one and start a new
3330     # one.
3331     if ( $d ) {
3332       $d->{amount} = $d->{setup_amount} + $d->{recur_amount};
3333     }
3334     foreach ( $s, $r, ($opt{skip_usage} ? () : $u ), $d ) {
3335       if ( $_ && !$cust_bill_pkg->hidden ) {
3336         $_->{amount}      = sprintf( "%.2f", $_->{amount} );
3337         $_->{amount}      =~ s/^\-0\.00$/0.00/;
3338         if (exists($_->{unit_amount})) {
3339           $_->{unit_amount} = sprintf( "%.2f", $_->{unit_amount} );
3340         }
3341         push @b, { %$_ };
3342         # we already decided to create this display line; don't reconsider it
3343         # now.
3344         #  if $_->{amount} != 0
3345         #  || $discount_show_always
3346         #  || ( ! $_->{_is_setup} && $_->{recur_show_zero} )
3347         #  || (   $_->{_is_setup} && $_->{setup_show_zero} )
3348         ;
3349         $_ = undef;
3350       }
3351     }
3352
3353     if ( $locationnum ) {
3354       # this is a location section; skip packages that aren't at this
3355       # service location.
3356       next if $cust_bill_pkg->pkgnum == 0; # skips fees...
3357       next if $self->cust_pkg_hash->{ $cust_bill_pkg->pkgnum }->locationnum 
3358               != $locationnum;
3359     }
3360
3361     # Consider display records for this item to determine if it belongs
3362     # in this section.  Note that if there are no display records, there
3363     # will be a default pseudo-record that includes all charge types 
3364     # and has no section name.
3365     my @cust_bill_pkg_display = $cust_bill_pkg->can('cust_bill_pkg_display')
3366                                   ? $cust_bill_pkg->cust_bill_pkg_display
3367                                   : ( $cust_bill_pkg );
3368
3369     warn "$me _items_cust_bill_pkg considering cust_bill_pkg ".
3370          $cust_bill_pkg->billpkgnum. ", pkgnum ". $cust_bill_pkg->pkgnum. "\n"
3371       if $DEBUG > 1;
3372
3373     if ( defined($category) ) {
3374       # then this is a package category section; process all display records
3375       # that belong to this section.
3376       @cust_bill_pkg_display = grep { $_->section eq $category }
3377                                 @cust_bill_pkg_display;
3378     } else {
3379       # otherwise, process all display records that aren't usage summaries
3380       # (I don't think there should be usage summaries if you aren't using 
3381       # category sections, but this is the historical behavior)
3382       @cust_bill_pkg_display = grep { !$_->summary }
3383                                 @cust_bill_pkg_display;
3384     }
3385
3386     my $classname = ''; # package class name, will fill in later
3387
3388     foreach my $display (@cust_bill_pkg_display) {
3389
3390       warn "$me _items_cust_bill_pkg considering cust_bill_pkg_display ".
3391            $display->billpkgdisplaynum. "\n"
3392         if $DEBUG > 1;
3393
3394       my $type = $display->type;
3395
3396       my $desc = $cust_bill_pkg->desc( $cust_main ? $cust_main->locale : '' );
3397       $desc = substr($desc, 0, $maxlength). '...'
3398         if $format eq 'latex' && length($desc) > $maxlength;
3399
3400       my %details_opt = ( 'format'          => $format,
3401                           'escape_function' => $escape_function,
3402                           'format_function' => $format_function,
3403                           'no_usage'        => $opt{'no_usage'},
3404                         );
3405
3406       if ( $cust_bill_pkg->pkgnum > 0 ) {
3407         # a "normal" package line item (not a quotation, not a fee, not a tax)
3408
3409         warn "$me _items_cust_bill_pkg cust_bill_pkg is non-tax\n"
3410           if $DEBUG > 1;
3411  
3412         my $cust_pkg = $cust_bill_pkg->cust_pkg;
3413         my $part_pkg = $cust_pkg->part_pkg;
3414
3415         # which pkgpart to show for display purposes?
3416         my $pkgpart = $cust_bill_pkg->pkgpart_override || $cust_pkg->pkgpart;
3417
3418         # start/end dates for invoice formats that do nonstandard 
3419         # things with them
3420         my %item_dates = ();
3421         %item_dates = map { $_ => $cust_bill_pkg->$_ } ('sdate', 'edate')
3422           unless $part_pkg->option('disable_line_item_date_ranges',1);
3423
3424         # not normally used, but pass this to the template anyway
3425         $classname = $part_pkg->classname;
3426
3427         my @pkg_tax = $cust_bill_pkg->_pkg_tax_list
3428           if $self->conf->exists('invoice_sections_with_taxes');
3429
3430         if (    (!$type || $type eq 'S')
3431              && (    $cust_bill_pkg->setup != 0
3432                   || $cust_bill_pkg->setup_show_zero
3433                   || ($discount_show_always and $cust_bill_pkg->unitsetup > 0)
3434                 )
3435            )
3436          {
3437
3438           warn "$me _items_cust_bill_pkg adding setup\n"
3439             if $DEBUG > 1;
3440
3441           # append the word 'Setup' to the setup line if there's going to be
3442           # a recur line for the same package (i.e. not a one-time charge) 
3443           # XXX localization
3444           my $description = $desc;
3445           $description .= ' Setup'
3446             if $cust_bill_pkg->recur != 0
3447             || ($discount_show_always and $cust_bill_pkg->unitrecur > 0)
3448             || $cust_bill_pkg->recur_show_zero;
3449
3450           my $disable_date_ranges =
3451                $opt{disable_line_item_date_ranges}
3452             || $part_pkg->option('disable_line_item_date_ranges', 1);
3453
3454           $description .= $cust_bill_pkg->time_period_pretty(
3455                             $part_pkg,
3456                             $agentnum,
3457                             disable_date_ranges => $disable_date_ranges,
3458                           )
3459             if $part_pkg->is_prepaid #for prepaid, "display the validity period
3460                                      # triggered by the recurring charge freq
3461                                      # (RT#26274)
3462             && $cust_bill_pkg->recur == 0
3463             && ! $cust_bill_pkg->recur_show_zero;
3464
3465           my @d = ();
3466           my $svc_label;
3467
3468           # always pass the svc_label through to the template, even if 
3469           # not displaying it as an ext_description
3470           my @svc_labels = map &{$escape_function}($_),
3471             $cust_pkg->h_labels_short($self->_date,
3472                                       undef,
3473                                       'I',
3474                                       $self->conf->{locale},
3475                                      );
3476           $svc_label = $svc_labels[0];
3477
3478           unless ( $cust_pkg->part_pkg->hide_svc_detail
3479                 || $cust_bill_pkg->hidden )
3480           {
3481
3482             push @d, @svc_labels
3483               unless $cust_bill_pkg->pkgpart_override; #don't redisplay services
3484             # show the location label if it's not the customer's default
3485             # location, and we're not grouping items by location already
3486             if ( $cust_pkg->locationnum != $default_locationnum
3487                   and !defined($locationnum) ) {
3488               my $loc = $cust_pkg->location_label;
3489               $loc = substr($loc, 0, $maxlength). '...'
3490                 if $format eq 'latex' && length($loc) > $maxlength;
3491               push @d, &{$escape_function}($loc);
3492             }
3493
3494           } #unless hiding service details
3495
3496           push @d, $cust_bill_pkg->details(%details_opt)
3497             if $cust_bill_pkg->recur == 0;
3498
3499           if ( $cust_bill_pkg->hidden ) {
3500             $s->{amount}      += $cust_bill_pkg->setup;
3501             $s->{unit_amount} += $cust_bill_pkg->unitsetup;
3502             push @{ $s->{ext_description} }, @d;
3503           } else {
3504             $s = {
3505               billpkgnum      => $cust_bill_pkg->billpkgnum,
3506               _is_setup       => 1,
3507               description     => $description,
3508               pkgpart         => $pkgpart,
3509               pkgnum          => $cust_bill_pkg->pkgnum,
3510               amount          => $cust_bill_pkg->setup,
3511               setup_show_zero => $cust_bill_pkg->setup_show_zero,
3512               unit_amount     => $cust_bill_pkg->unitsetup,
3513               quantity        => $cust_bill_pkg->quantity,
3514               ext_description => \@d,
3515               svc_label       => ($svc_label || ''),
3516               locationnum     => $cust_pkg->locationnum, # sure, why not?
3517               pkg_tax         => \@pkg_tax,
3518             };
3519           };
3520
3521         }
3522
3523         # should we show a recur line?
3524         # if type eq 'S', then NO, because we've been told not to.
3525         # otherwise, show the recur line if:
3526         # - there's a recurring charge
3527         # - or recur_show_zero is on
3528         # - or there's a positive unitrecur (so it's been discounted to zero)
3529         #   and discount-show-always is on
3530         if (    ( !$type || $type eq 'R' || $type eq 'U' )
3531              && (
3532                      $cust_bill_pkg->recur != 0
3533                   || !defined($s)
3534                   || ($discount_show_always and $cust_bill_pkg->unitrecur > 0)
3535                   || $cust_bill_pkg->recur_show_zero
3536                 )
3537            )
3538         {
3539
3540           warn "$me _items_cust_bill_pkg adding recur/usage\n"
3541             if $DEBUG > 1;
3542
3543           my $is_summary = $display->summary;
3544           my $description = $desc;
3545           if ( $type eq 'U' and defined($r) ) {
3546             # don't just show the same description as the recur line
3547             $description = $self->mt('Usage charges');
3548           }
3549
3550           my $disable_date_ranges =
3551                $opt{disable_line_item_date_ranges}
3552             || $part_pkg->option('disable_line_item_date_ranges', 1);
3553
3554           $description .= $cust_bill_pkg->time_period_pretty(
3555                                     $part_pkg,
3556                                     $agentnum,
3557                                     disable_date_ranges => $disable_date_ranges,
3558                           );
3559
3560           my @d = ();
3561           my @seconds = (); # for display of usage info
3562           my $svc_label = '';
3563
3564           #at least until cust_bill_pkg has "past" ranges in addition to
3565           #the "future" sdate/edate ones... see #3032
3566           my @dates = ( $self->_date );
3567           my $prev = $cust_bill_pkg->previous_cust_bill_pkg;
3568           push @dates, $prev->sdate if $prev;
3569           push @dates, undef if !$prev;
3570
3571           my @svc_labels = map &{$escape_function}($_),
3572             $cust_pkg->h_labels_short(@dates,
3573                                       'I',
3574                                       $self->conf->{locale});
3575           $svc_label = $svc_labels[0];
3576
3577           # show service labels, unless...
3578                     # the package is set not to display them
3579           unless ( $part_pkg->hide_svc_detail
3580                     # or this is a tax-like line item
3581                 || $cust_bill_pkg->itemdesc
3582                     # or this is a hidden (bundled) line item
3583                 || $cust_bill_pkg->hidden
3584                     # or this is a usage summary line
3585                 || $is_summary && $type && $type eq 'U'
3586                     # or this is a usage line and there's a recurring line
3587                     # for the package in the same section (which will 
3588                     # have service labels already)
3589                 || ($type eq 'U' and defined($r))
3590               )
3591           {
3592
3593             warn "$me _items_cust_bill_pkg adding service details\n"
3594               if $DEBUG > 1;
3595
3596             push @d, @svc_labels
3597               unless $cust_bill_pkg->pkgpart_override; #don't redisplay services
3598             warn "$me _items_cust_bill_pkg done adding service details\n"
3599               if $DEBUG > 1;
3600
3601             # show the location label if it's not the customer's default
3602             # location, and we're not grouping items by location already
3603             if ( $cust_pkg->locationnum != $default_locationnum
3604                   and !defined($locationnum) ) {
3605               my $loc = $cust_pkg->location_label;
3606               $loc = substr($loc, 0, $maxlength). '...'
3607                 if $format eq 'latex' && length($loc) > $maxlength;
3608               push @d, &{$escape_function}($loc);
3609             }
3610
3611             # Display of seconds_since_sqlradacct:
3612             # On the invoice, when processing @detail_items, look for a field
3613             # named 'seconds'.  This will contain total seconds for each 
3614             # service, in the same order as @ext_description.  For services 
3615             # that don't support this it will show undef.
3616             if ( $conf->exists('svc_acct-usage_seconds') 
3617                  and ! $cust_bill_pkg->pkgpart_override ) {
3618               foreach my $cust_svc ( 
3619                   $cust_pkg->h_cust_svc(@dates, 'I') 
3620                 ) {
3621
3622                 # eval because not having any part_export_usage exports 
3623                 # is a fatal error, last_bill/_date because that's how 
3624                 # sqlradius_hour billing does it
3625                 my $sec = eval {
3626                   $cust_svc->seconds_since_sqlradacct($dates[1] || 0, $dates[0]);
3627                 };
3628                 push @seconds, $sec;
3629               }
3630             } #if svc_acct-usage_seconds
3631
3632           } # if we are showing service labels
3633
3634           unless ( $is_summary ) {
3635             warn "$me _items_cust_bill_pkg adding details\n"
3636               if $DEBUG > 1;
3637
3638             #instead of omitting details entirely in this case (unwanted side
3639             # effects), just omit CDRs
3640             $details_opt{'no_usage'} = 1
3641               if $type && $type eq 'R';
3642
3643             push @d, $cust_bill_pkg->details(%details_opt);
3644           }
3645
3646           warn "$me _items_cust_bill_pkg calculating amount\n"
3647             if $DEBUG > 1;
3648   
3649           my $amount = 0;
3650           if (!$type) {
3651             $amount = $cust_bill_pkg->recur;
3652           } elsif ($type eq 'R') {
3653             $amount = $cust_bill_pkg->recur - $cust_bill_pkg->usage;
3654           } elsif ($type eq 'U') {
3655             $amount = $cust_bill_pkg->usage;
3656           }
3657   
3658           if ( !$type || $type eq 'R' ) {
3659
3660             warn "$me _items_cust_bill_pkg adding recur\n"
3661               if $DEBUG > 1;
3662
3663             my $unit_amount =
3664               ( $cust_bill_pkg->unitrecur > 0 ) ? $cust_bill_pkg->unitrecur
3665                                                 : $amount;
3666
3667             if ( $cust_bill_pkg->hidden ) {
3668               $r->{amount}      += $amount;
3669               $r->{unit_amount} += $unit_amount;
3670               push @{ $r->{ext_description} }, @d;
3671             } else {
3672               $r = {
3673                 billpkgnum      => $cust_bill_pkg->billpkgnum,
3674                 description     => $description,
3675                 pkgpart         => $pkgpart,
3676                 pkgnum          => $cust_bill_pkg->pkgnum,
3677                 amount          => $amount,
3678                 recur_show_zero => $cust_bill_pkg->recur_show_zero,
3679                 unit_amount     => $unit_amount,
3680                 quantity        => $cust_bill_pkg->quantity,
3681                 %item_dates,
3682                 ext_description => \@d,
3683                 svc_label       => ($svc_label || ''),
3684                 locationnum     => $cust_pkg->locationnum,
3685                 pkg_tax         => \@pkg_tax,
3686               };
3687               $r->{'seconds'} = \@seconds if grep {defined $_} @seconds;
3688             }
3689
3690           } else {  # $type eq 'U'
3691
3692             warn "$me _items_cust_bill_pkg adding usage\n"
3693               if $DEBUG > 1;
3694
3695             if ( $cust_bill_pkg->hidden and defined($u) ) {
3696               # if this is a hidden package and there's already a usage
3697               # line for the bundle, add this package's total amount and
3698               # usage details to it
3699               $u->{amount}      += $amount;
3700               push @{ $u->{ext_description} }, @d;
3701             } elsif ( $amount ) {
3702               # create a new usage line
3703               $u = {
3704                 billpkgnum      => $cust_bill_pkg->billpkgnum,
3705                 description     => $description,
3706                 pkgpart         => $pkgpart,
3707                 pkgnum          => $cust_bill_pkg->pkgnum,
3708                 amount          => $amount,
3709                 usage_item      => 1,
3710                 recur_show_zero => $cust_bill_pkg->recur_show_zero,
3711                 %item_dates,
3712                 ext_description => \@d,
3713                 locationnum     => $cust_pkg->locationnum,
3714                 pkg_tax         => \@pkg_tax,
3715               };
3716             } # else this has no usage, so don't create a usage section
3717           }
3718
3719         } # recurring or usage with recurring charge
3720
3721       } else { # taxes and fees
3722
3723         warn "$me _items_cust_bill_pkg cust_bill_pkg is tax\n"
3724           if $DEBUG > 1;
3725
3726         # items of this kind should normally not have sdate/edate.
3727         push @b, {
3728           'description' => $desc,
3729           'amount'      => sprintf('%.2f', $cust_bill_pkg->setup 
3730                                            + $cust_bill_pkg->recur)
3731         };
3732
3733       } # if package line item / other line item
3734
3735       # decide whether to show active discounts here
3736       if (
3737           # case 1: we are showing a single line for the package
3738           ( !$type )
3739           # case 2: we are showing a setup line for a package that has
3740           # no base recurring fee
3741           or ( $type eq 'S' and $cust_bill_pkg->unitrecur == 0 )
3742           # case 3: we are showing a recur line for a package that has 
3743           # a base recurring fee
3744           or ( $type eq 'R' and $cust_bill_pkg->unitrecur > 0 )
3745       ) {
3746
3747         my $item_discount = $cust_bill_pkg->_item_discount;
3748         if ( $item_discount ) {
3749           # $item_discount->{amount} is negative
3750
3751           if ( $d and $cust_bill_pkg->hidden ) {
3752             $d->{setup_amount} += $item_discount->{setup_amount};
3753             $d->{recur_amount} += $item_discount->{recur_amount};
3754           } else {
3755             $d = $item_discount;
3756             $_ = &{$escape_function}($_) foreach @{ $d->{ext_description} };
3757           }
3758
3759           # update the active line (before the discount) to show the 
3760           # original price (whether this is a hidden line or not)
3761
3762           $s->{amount} -= $item_discount->{setup_amount} if $s;
3763           $r->{amount} -= $item_discount->{recur_amount} if $r;
3764
3765         } # if there are any discounts
3766       } # if this is an appropriate place to show discounts
3767
3768     } # foreach $display
3769
3770   }
3771
3772   # discount amount is internally split up
3773   if ( $d ) {
3774     $d->{amount} = $d->{setup_amount} + $d->{recur_amount};
3775   }
3776
3777   foreach ( $s, $r, ($opt{skip_usage} ? () : $u ), $d ) {
3778     if ( $_  ) {
3779       $_->{amount}      = sprintf( "%.2f", $_->{amount} ),
3780         if exists($_->{amount});
3781       $_->{amount}      =~ s/^\-0\.00$/0.00/;
3782       if (exists($_->{unit_amount})) {
3783         $_->{unit_amount} = sprintf( "%.2f", $_->{unit_amount} );
3784       }
3785
3786       push @b, { %$_ };
3787       #if $_->{amount} != 0
3788       #  || $discount_show_always
3789       #  || ( ! $_->{_is_setup} && $_->{recur_show_zero} )
3790       #  || (   $_->{_is_setup} && $_->{setup_show_zero} )
3791     }
3792   }
3793
3794   warn "$me _items_cust_bill_pkg done considering cust_bill_pkgs\n"
3795     if $DEBUG > 1;
3796
3797   @b;
3798
3799 }
3800
3801 =item _items_discounts_avail
3802
3803 Returns an array of line item hashrefs representing available term discounts
3804 for this invoice.  This makes the same assumptions that apply to term 
3805 discounts in general: that the package is billed monthly, at a flat rate, 
3806 with no usage charges.  A prorated first month will be handled, as will 
3807 a setup fee if the discount is allowed to apply to setup fees.
3808
3809 =cut
3810
3811 sub _items_discounts_avail {
3812   my $self = shift;
3813
3814   #maybe move this method from cust_bill when quotations support discount_plans 
3815   return () unless $self->can('discount_plans');
3816   my %plans = $self->discount_plans;
3817
3818   my $list_pkgnums = 0; # if any packages are not eligible for all discounts
3819   $list_pkgnums = grep { $_->list_pkgnums } values %plans;
3820
3821   map {
3822     my $months = $_;
3823     my $plan = $plans{$months};
3824
3825     my $term_total = sprintf('%.2f', $plan->discounted_total);
3826     my $percent = sprintf('%.0f', 
3827                           100 * (1 - $term_total / $plan->base_total) );
3828     my $permonth = sprintf('%.2f', $term_total / $months);
3829     my $detail = $self->mt('discount on item'). ' '.
3830                  join(', ', map { "#$_" } $plan->pkgnums)
3831       if $list_pkgnums;
3832
3833     # discounts for non-integer months don't work anyway
3834     $months = sprintf("%d", $months);
3835
3836     +{
3837       description => $self->mt('Save [_1]% by paying for [_2] months',
3838                                 $percent, $months),
3839       amount      => $self->mt('[_1] ([_2] per month)', 
3840                                 $term_total, $money_char.$permonth),
3841       ext_description => ($detail || ''),
3842     }
3843   } #map
3844   sort { $b <=> $a } keys %plans;
3845
3846 }
3847
3848 =item has_sections AGENTNUM
3849
3850 Return true if invoice_sections should be enabled for this bill.
3851  (Inherited by both cust_bill and cust_bill_void)
3852
3853 Determination:
3854 * False if not an invoice
3855 * True always if conf invoice_sections is enabled
3856 * True always if sections_by_location is enabled
3857 * True if conf invoice_sections_multilocation > 1,
3858   and location_count >= invoice_sections_multilocation
3859 * Else, False
3860
3861 =cut
3862
3863 sub has_sections {
3864   my ($self, $agentnum) = @_;
3865
3866   return 0 unless $self->invnum > 0;
3867
3868   $agentnum ||= $self->agentnum;
3869   return 1 if $self->conf->config_bool('invoice_sections', $agentnum);
3870   return 1 if $self->conf->exists('sections_by_location', $agentnum);
3871
3872   my $location_min = $self->conf->config(
3873     'invoice_sections_multilocation', $agentnum,
3874   );
3875
3876   return 1
3877     if $location_min
3878     && $self->location_count >= $location_min;
3879
3880   0;
3881 }
3882
3883
3884 =item location_count
3885
3886 Return the number of locations billed on this invoice
3887
3888 =cut
3889
3890 sub location_count {
3891   my ($self) = @_;
3892   return 0 unless $self->invnum;
3893
3894   # SELECT COUNT( DISTINCT cust_pkg.locationnum )
3895   # FROM cust_bill_pkg
3896   # LEFT JOIN cust_pkg USING (pkgnum)
3897   # WHERE invnum = 278
3898   #   AND cust_bill_pkg.pkgnum > 0
3899
3900   my $result = qsearchs({
3901     select    => 'COUNT(DISTINCT cust_pkg.locationnum) as location_count',
3902     table     => 'cust_bill_pkg',
3903     addl_from => 'LEFT JOIN cust_pkg USING (pkgnum)',
3904     extra_sql => 'WHERE invnum = '.dbh->quote( $self->invnum )
3905                . '  AND cust_bill_pkg.pkgnum > 0'
3906   });
3907   ref $result ? $result->location_count : 0;
3908 }
3909
3910 1;