restore masked card info on batched payment report, RT#78166
[freeside.git] / FS / FS / Template_Mixin.pm
1 package FS::Template_Mixin;
2
3 use strict;
4 use vars qw( $DEBUG $me
5              $money_char
6              $date_format
7            );
8              # but NOT $conf
9 use vars qw( $invoice_lines @buf ); #yuck
10 use List::Util qw(sum); #can't import first, it conflicts with cust_main.first
11 use Date::Format;
12 use Date::Language;
13 use Time::Local qw( timelocal );
14 use Text::Template 1.20;
15 use File::Temp 0.14;
16 use Archive::Zip qw( :ERROR_CODES :CONSTANTS );
17 use IO::Scalar;
18 use HTML::Entities;
19 use Cwd;
20 use FS::UID;
21 use FS::Misc qw( send_email );
22 use FS::Record qw( qsearch qsearchs dbh );
23 use FS::Conf;
24 use FS::Misc qw( generate_ps generate_pdf );
25 use FS::pkg_category;
26 use FS::pkg_class;
27 use FS::invoice_mode;
28 use FS::L10N;
29
30 $DEBUG = 0;
31 $me = '[FS::Template_Mixin]';
32 FS::UID->install_callback( sub { 
33   my $conf = new FS::Conf; #global
34   $money_char  = $conf->config('money_char')  || '$';  
35   $date_format = $conf->config('date_format') || '%x'; #/YY
36 } );
37
38 =item conf [ MODE ]
39
40 Returns a configuration handle (L<FS::Conf>) set to the customer's locale.
41
42 If the "mode" pseudo-field is set on the object, the configuration handle
43 will be an L<FS::invoice_conf> for that invoice mode (and the customer's
44 locale).
45
46 =cut
47
48 sub conf {
49   my $self = shift;
50   my $mode = $self->get('mode');
51   if ($self->{_conf} and !defined($mode)) {
52     return $self->{_conf};
53   }
54
55   my $cust_main = $self->cust_main;
56   my $locale = $cust_main ? $cust_main->locale : '';
57   my $conf;
58   if ( $mode ) {
59     if ( ref $mode and $mode->isa('FS::invoice_mode') ) {
60       $mode = $mode->modenum;
61     } elsif ( $mode =~ /\D/ ) {
62       die "invalid invoice mode $mode";
63     }
64     $conf = qsearchs('invoice_conf', { modenum => $mode, locale => $locale });
65     if (!$conf) {
66       $conf = qsearchs('invoice_conf', { modenum => $mode, locale => '' });
67       # it doesn't have a locale, but system conf still might
68       $conf->set('locale' => $locale) if $conf;
69     }
70   }
71   # if $mode is unspecified, or if there is no invoice_conf matching this mode
72   # and locale, then use the system config only (but with the locale)
73   $conf ||= FS::Conf->new({ 'locale' => $locale });
74   # cache it
75   return $self->{_conf} = $conf;
76 }
77
78 =item print_text OPTIONS
79
80 Returns an text invoice, as a list of lines.
81
82 Options can be passed as a hash.
83
84 I<time>, if specified, is used to control the printing of overdue messages.  The
85 default is now.  It isn't the date of the invoice; that's the `_date' field.
86 It is specified as a UNIX timestamp; see L<perlfunc/"time">.  Also see
87 L<Time::Local> and L<Date::Parse> for conversion functions.
88
89 I<template>, if specified, is the name of a suffix for alternate invoices.
90
91 I<notice_name>, if specified, overrides "Invoice" as the name of the sent document (templates from 10/2009 or newer required)
92
93 =cut
94
95 sub print_text {
96   my $self = shift;
97   my %params;
98   if ( ref($_[0]) ) {
99     %params = %{ shift() };
100   } else {
101     %params = @_;
102   }
103
104   $params{'format'} = 'template'; # for some reason
105
106   $self->print_generic( %params );
107 }
108
109 =item print_latex HASHREF
110
111 Internal method - returns a filename of a filled-in LaTeX template for this
112 invoice (Note: add ".tex" to get the actual filename), and a filename of
113 an associated logo (with the .eps extension included).
114
115 See print_ps and print_pdf for methods that return PostScript and PDF output.
116
117 Options can be passed as a hash.
118
119 I<time>, if specified, is used to control the printing of overdue messages.  The
120 default is now.  It isn't the date of the invoice; that's the `_date' field.
121 It is specified as a UNIX timestamp; see L<perlfunc/"time">.  Also see
122 L<Time::Local> and L<Date::Parse> for conversion functions.
123
124 I<template>, if specified, is the name of a suffix for alternate invoices.  
125 This is strongly deprecated; see L<FS::invoice_conf> for the right way to
126 customize invoice templates for different purposes.
127
128 I<notice_name>, if specified, overrides "Invoice" as the name of the sent document (templates from 10/2009 or newer required)
129
130 =cut
131
132 sub print_latex {
133   my $self = shift;
134   my %params;
135
136   if ( ref($_[0]) ) {
137     %params = %{ shift() };
138   } else {
139     %params = @_;
140   }
141
142   $params{'format'} = 'latex';
143   my $conf = $self->conf;
144
145   # this needs to go away
146   my $template = $params{'template'};
147   # and this especially
148   $template ||= $self->_agent_template
149     if $self->can('_agent_template');
150
151   #the new way
152   $self->set('mode', $params{mode})
153     if $params{mode};
154
155   my $pkey = $self->primary_key;
156   my $tmp_template = $self->table. '.'. $self->$pkey. '.XXXXXXXX';
157
158   my $dir = $FS::UID::conf_dir. "/cache.". $FS::UID::datasrc;
159   my $lh = new File::Temp(
160     TEMPLATE => $tmp_template,
161     DIR      => $dir,
162     SUFFIX   => '.eps',
163     UNLINK   => 0,
164   ) or die "can't open temp file: $!\n";
165
166   my $agentnum = $self->agentnum;
167
168   if ( $template && $conf->exists("logo_${template}.eps", $agentnum) ) {
169     print $lh $conf->config_binary("logo_${template}.eps", $agentnum)
170       or die "can't write temp file: $!\n";
171   } else {
172     print $lh $conf->config_binary('logo.eps', $agentnum)
173       or die "can't write temp file: $!\n";
174   }
175   close $lh;
176   $params{'logo_file'} = $lh->filename;
177
178   if( $conf->exists('invoice-barcode') 
179         && $self->can('invoice_barcode')
180         && $self->invnum ) { # don't try to barcode statements
181       my $png_file = $self->invoice_barcode($dir);
182       my $eps_file = $png_file;
183       $eps_file =~ s/\.png$/.eps/g;
184       $png_file =~ /(barcode.*png)/;
185       $png_file = $1;
186       $eps_file =~ /(barcode.*eps)/;
187       $eps_file = $1;
188
189       my $curr_dir = cwd();
190       chdir($dir); 
191       # after painfuly long experimentation, it was determined that sam2p won't
192       # accept : and other chars in the path, no matter how hard I tried to
193       # escape them, hence the chdir (and chdir back, just to be safe)
194       system('sam2p', '-j:quiet', $png_file, 'EPS:', $eps_file ) == 0
195         or die "sam2p failed: $!\n";
196       unlink($png_file);
197       chdir($curr_dir);
198
199       $params{'barcode_file'} = $eps_file;
200   }
201
202   my @filled_in = $self->print_generic( %params );
203   
204   my $fh = new File::Temp( TEMPLATE => $tmp_template,
205                            DIR      => $dir,
206                            SUFFIX   => '.tex',
207                            UNLINK   => 0,
208                          ) or die "can't open temp file: $!\n";
209   binmode($fh, ':utf8'); # language support
210   print $fh join('', @filled_in );
211   close $fh;
212
213   $fh->filename =~ /^(.*).tex$/ or die "unparsable filename: ". $fh->filename;
214   return ($1, $params{'logo_file'}, $params{'barcode_file'});
215
216 }
217
218 sub agentnum {
219   my $self = shift;
220   my $cust_main = $self->cust_main;
221   $cust_main ? $cust_main->agentnum : $self->prospect_main->agentnum;
222 }
223
224 =item print_generic OPTION => VALUE ...
225
226 Internal method - returns a filled-in template for this invoice as a scalar.
227
228 See print_ps and print_pdf for methods that return PostScript and PDF output.
229
230 Required options
231
232 =over 4
233
234 =item format
235
236 The B<format> option is required and should be set to html, latex (print and PDF) or template (plaintext).
237
238 =back
239
240 Additional options
241
242 =over 4
243
244 =item notice_name
245
246 Overrides "Invoice" as the name of the sent document.
247
248 =item today
249
250 Used to control the printing of overdue messages.  The
251 default is now.  It isn't the date of the invoice; that's the `_date' field.
252 It is specified as a UNIX timestamp; see L<perlfunc/"time">.  Also see
253 L<Time::Local> and L<Date::Parse> for conversion functions.
254
255 =item logo_file
256
257 Logo file (path to temporary EPS file on the local filesystem)
258
259 =item cid
260
261 CID for inline (emailed) images (logo)
262
263 =item locale
264
265 Override customer's locale
266
267 =item unsquelch_cdr
268
269 Overrides any per customer cdr squelching when true
270
271 =item no_number
272
273 Supress the (invoice, quotation, statement, etc.) number
274
275 =item no_date
276
277 Supress the date
278
279 =item no_coupon
280
281 Supress the payment coupon
282
283 =item barcode_file
284
285 Barcode file (path to temporary EPS file on the local filesystem)
286
287 =item barcode_img
288
289 Flag indicating the barcode image should be a link (normal HTML dipaly)
290
291 =item barcode_cid
292
293 Barcode CID for inline (emailed) images
294
295 =item preref_callback
296
297 Coderef run for each line item, code should return HTML to be displayed
298 before that line item (quotations only)
299
300 =item template
301
302 Deprecated.  Used as a suffix for a configuration template.  Please 
303 don't use this, it deprecated in favor of more flexible alternatives.
304
305 =back
306
307 =cut
308
309 #what's with all the sprintf('%10.2f')'s in here?  will it cause any
310 # (alignment in text invoice?) problems to change them all to '%.2f' ?
311 # yes: fixed width/plain text printing will be borked
312 sub print_generic {
313   my( $self, %params ) = @_;
314   my $conf = $self->conf;
315
316   my $today = $params{today} ? $params{today} : time;
317   warn "$me print_generic called on $self with suffix $params{template}\n"
318     if $DEBUG;
319
320   my $format = $params{format};
321   die "Unknown format: $format"
322     unless $format =~ /^(latex|html|template)$/;
323
324   my $cust_main = $self->cust_main || $self->prospect_main;
325
326   my $locale = $params{'locale'} || $cust_main->locale;
327
328   my %delimiters = ( 'latex'    => [ '[@--', '--@]' ],
329                      'html'     => [ '<%=', '%>' ],
330                      'template' => [ '{', '}' ],
331                    );
332
333   warn "$me print_generic creating template\n"
334     if $DEBUG > 1;
335
336   # set the notice name here, and nowhere else.
337   my $notice_name =  $params{notice_name}
338                   || $conf->config('notice_name')
339                   || $self->notice_name;
340
341   #create the template
342   my $template = $params{template} ? $params{template} : $self->_agent_template;
343   my $templatefile = $self->template_conf. $format;
344   $templatefile .= "_$template"
345     if length($template) && $conf->exists($templatefile."_$template");
346
347   # the base template
348   my @invoice_template = map "$_\n", $conf->config($templatefile)
349     or die "cannot load config data $templatefile";
350
351   if ( $format eq 'latex' && grep { /^%%Detail/ } @invoice_template ) {
352     #change this to a die when the old code is removed
353     # it's been almost ten years, changing it to a die
354     die "old-style invoice template $templatefile; ".
355          "patch with conf/invoice_latex.diff or use new conf/invoice_latex*\n";
356          #$old_latex = 'true';
357          #@invoice_template = _translate_old_latex_format(@invoice_template);
358   } 
359
360   warn "$me print_generic creating T:T object\n"
361     if $DEBUG > 1;
362
363   my $text_template = new Text::Template(
364     TYPE => 'ARRAY',
365     SOURCE => \@invoice_template,
366     DELIMITERS => $delimiters{$format},
367   );
368
369   warn "$me print_generic compiling T:T object\n"
370     if $DEBUG > 1;
371
372   $text_template->compile()
373     or die "Can't compile $templatefile: $Text::Template::ERROR\n";
374
375
376   # additional substitution could possibly cause breakage in existing templates
377   my %convert_maps = ( 
378     'latex' => {
379                  'notes'         => sub { map "$_", @_ },
380                  'footer'        => sub { map "$_", @_ },
381                  'smallfooter'   => sub { map "$_", @_ },
382                  'returnaddress' => sub { map "$_", @_ },
383                  'coupon'        => sub { map "$_", @_ },
384                  'summary'       => sub { map "$_", @_ },
385                },
386     'html'  => {
387                  'notes' =>
388                    sub {
389                      map { 
390                        s/%%(.*)$/<!-- $1 -->/g;
391                        s/\\section\*\{\\textsc\{(.)(.*)\}\}/<p><b><font size="+1">$1<\/font>\U$2<\/b>/g;
392                        s/\\begin\{enumerate\}/<ol>/g;
393                        s/\\item /  <li>/g;
394                        s/\\end\{enumerate\}/<\/ol>/g;
395                        s/\\textbf\{(.*)\}/<b>$1<\/b>/g;
396                        s/\\\\\*/<br>/g;
397                        s/\\dollar ?/\$/g;
398                        s/\\#/#/g;
399                        s/~/&nbsp;/g;
400                        $_;
401                      }  @_
402                    },
403                  'footer' =>
404                    sub { map { s/~/&nbsp;/g; s/\\\\\*?\s*$/<BR>/; $_; } @_ },
405                  'smallfooter' =>
406                    sub { map { s/~/&nbsp;/g; s/\\\\\*?\s*$/<BR>/; $_; } @_ },
407                  'returnaddress' =>
408                    sub {
409                      map { 
410                        s/~/&nbsp;/g;
411                        s/\\\\\*?\s*$/<BR>/;
412                        s/\\hyphenation\{[\w\s\-]+}//;
413                        s/\\([&])/$1/g;
414                        $_;
415                      }  @_
416                    },
417                  'coupon'        => sub { "" },
418                  'summary'       => sub { "" },
419                },
420     'template' => {
421                  'notes' =>
422                    sub {
423                      map { 
424                        s/%%.*$//g;
425                        s/\\section\*\{\\textsc\{(.*)\}\}/\U$1/g;
426                        s/\\begin\{enumerate\}//g;
427                        s/\\item /  * /g;
428                        s/\\end\{enumerate\}//g;
429                        s/\\textbf\{(.*)\}/$1/g;
430                        s/\\\\\*/ /;
431                        s/\\dollar ?/\$/g;
432                        $_;
433                      }  @_
434                    },
435                  'footer' =>
436                    sub { map { s/~/ /g; s/\\\\\*?\s*$/\n/; $_; } @_ },
437                  'smallfooter' =>
438                    sub { map { s/~/ /g; s/\\\\\*?\s*$/\n/; $_; } @_ },
439                  'returnaddress' =>
440                    sub {
441                      map { 
442                        s/~/ /g;
443                        s/\\\\\*?\s*$/\n/;             # dubious
444                        s/\\hyphenation\{[\w\s\-]+}//;
445                        $_;
446                      }  @_
447                    },
448                  'coupon'        => sub { "" },
449                  'summary'       => sub { "" },
450                },
451   );
452
453
454   # hashes for differing output formats
455   my %nbsps = ( 'latex'    => '~',
456                 'html'     => '',    # '&nbps;' would be nice
457                 'template' => '',    # not used
458               );
459   my $nbsp = $nbsps{$format};
460
461   my %escape_functions = ( 'latex'    => \&_latex_escape,
462                            'html'     => \&_html_escape_nbsp,#\&encode_entities,
463                            'template' => sub { shift },
464                          );
465   my $escape_function = $escape_functions{$format};
466   my $escape_function_nonbsp = ($format eq 'html')
467                                  ? \&_html_escape : $escape_function;
468
469   my %newline_tokens = (  'latex'     => '\\\\',
470                           'html'      => '<br>',
471                           'template'  => "\n",
472                         );
473   my $newline_token = $newline_tokens{$format};
474
475   warn "$me generating template variables\n"
476     if $DEBUG > 1;
477
478   # generate template variables
479   my $returnaddress;
480
481   if (
482          defined( $conf->config_orbase( "invoice_${format}returnaddress",
483                                         $template
484                                       )
485                 )
486        && length( $conf->config_orbase( "invoice_${format}returnaddress",
487                                         $template
488                                       )
489                 )
490   ) {
491
492     $returnaddress = join("\n",
493       $conf->config_orbase("invoice_${format}returnaddress", $template)
494     );
495
496   } elsif ( grep /\S/,
497             $conf->config_orbase('invoice_latexreturnaddress', $template) ) {
498
499     my $convert_map = $convert_maps{$format}{'returnaddress'};
500     $returnaddress =
501       join( "\n",
502             &$convert_map( $conf->config_orbase( "invoice_latexreturnaddress",
503                                                  $template
504                                                )
505                          )
506           );
507   } elsif ( grep /\S/, $conf->config('company_address', $cust_main->agentnum) ) {
508
509     my $convert_map = $convert_maps{$format}{'returnaddress'};
510     $returnaddress = join( "\n", &$convert_map(
511                                    map { s/( {2,})/'~' x length($1)/eg;
512                                          s/$/\\\\\*/;
513                                          $_
514                                        }
515                                      ( $conf->config('company_name', $cust_main->agentnum),
516                                        $conf->config('company_address', $cust_main->agentnum),
517                                      )
518                                  )
519                      );
520
521   } else {
522
523     my $warning = "Couldn't find a return address; ".
524                   "do you need to set the company_address configuration value?";
525     warn "$warning\n";
526     $returnaddress = $nbsp;
527     #$returnaddress = $warning;
528
529   }
530
531   warn "$me generating invoice data\n"
532     if $DEBUG > 1;
533
534   my $agentnum = $cust_main->agentnum;
535
536   my %invoice_data = (
537
538     #invoice from info
539     'company_name'    => scalar( $conf->config('company_name', $agentnum) ),
540     'company_address' => join("\n", $conf->config('company_address', $agentnum) ). "\n",
541     'company_phonenum'=> scalar( $conf->config('company_phonenum', $agentnum) ),
542     'returnaddress'   => $returnaddress,
543     'agent'           => &$escape_function($cust_main->agent->agent),
544
545     #invoice/quotation info
546     'no_number'       => $params{'no_number'},
547     'invnum'          => ( $params{'no_number'} ? '' : $self->invnum ),
548     'quotationnum'    => $self->quotationnum,
549     'no_date'         => $params{'no_date'},
550     '_date'           => ( $params{'no_date'} ? '' : $self->_date ),
551       # workaround for inconsistent behavior in the early plain text 
552       # templates; see RT#28271
553     'date'            => ( $params{'no_date'}
554                              ? ''
555                              : ($format eq 'template'
556                                ? $self->_date
557                                : $self->time2str_local('long', $self->_date, $format)
558                                )
559                          ),
560     'today'           => $self->time2str_local('long', $today, $format),
561     'terms'           => $self->terms,
562     'template'        => $template, #params{'template'},
563     'notice_name'     => $notice_name, # escape?
564     'current_charges' => sprintf("%.2f", $self->charged),
565     'duedate'         => $self->due_date2str('rdate'), #date_format?
566     'duedate_long'    => $self->due_date2str('long'),
567
568     #customer info
569     'custnum'         => $cust_main->display_custnum,
570     'prospectnum'     => $cust_main->prospectnum,
571     'agent_custid'    => &$escape_function($cust_main->agent_custid),
572     ( map { $_ => &$escape_function($cust_main->$_()) }
573         qw( company address1 address2 city state zip fax )
574     ),
575     'payname'         => &$escape_function( $cust_main->invoice_attn
576                                              || $cust_main->contact_firstlast ),
577
578     #global config
579     'ship_enable'     => $cust_main->invoice_ship_address || $conf->exists('invoice-ship_address'),
580     'unitprices'      => $conf->exists('invoice-unitprice'),
581     'smallernotes'    => $conf->exists('invoice-smallernotes'),
582     'smallerfooter'   => $conf->exists('invoice-smallerfooter'),
583     'balance_due_below_line' => $conf->exists('balance_due_below_line'),
584    
585     #layout info -- would be fancy to calc some of this and bury the template
586     #               here in the code
587     'topmargin'             => scalar($conf->config('invoice_latextopmargin', $agentnum)),
588     'headsep'               => scalar($conf->config('invoice_latexheadsep', $agentnum)),
589     'textheight'            => scalar($conf->config('invoice_latextextheight', $agentnum)),
590     'extracouponspace'      => scalar($conf->config('invoice_latexextracouponspace', $agentnum)),
591     'couponfootsep'         => scalar($conf->config('invoice_latexcouponfootsep', $agentnum)),
592     'verticalreturnaddress' => $conf->exists('invoice_latexverticalreturnaddress', $agentnum),
593     'addresssep'            => scalar($conf->config('invoice_latexaddresssep', $agentnum)),
594     'amountenclosedsep'     => scalar($conf->config('invoice_latexcouponamountenclosedsep', $agentnum)),
595     'coupontoaddresssep'    => scalar($conf->config('invoice_latexcoupontoaddresssep', $agentnum)),
596     'addcompanytoaddress'   => $conf->exists('invoice_latexcouponaddcompanytoaddress', $agentnum),
597
598     # better hang on to conf_dir for a while (for old templates)
599     'conf_dir'        => "$FS::UID::conf_dir/conf.$FS::UID::datasrc",
600
601     #these are only used when doing paged plaintext
602     'page'            => 1,
603     'total_pages'     => 1,
604
605   );
606
607   #quotations have $name
608   $invoice_data{'name'} = $invoice_data{'payname'};
609  
610   #localization
611   $invoice_data{'emt'} = sub { &$escape_function($self->mt(@_)) };
612   # prototype here to silence warnings
613   $invoice_data{'time2str'} = sub ($;$$) { $self->time2str_local(@_, $format) };
614
615   my $min_sdate = 999999999999;
616   my $max_edate = 0;
617   foreach my $cust_bill_pkg ( $self->cust_bill_pkg ) {
618     next unless $cust_bill_pkg->pkgnum > 0;
619     $min_sdate = $cust_bill_pkg->sdate
620       if length($cust_bill_pkg->sdate) && $cust_bill_pkg->sdate < $min_sdate;
621     $max_edate = $cust_bill_pkg->edate
622       if length($cust_bill_pkg->edate) && $cust_bill_pkg->edate > $max_edate;
623   }
624
625   $invoice_data{'bill_period'} = '';
626   $invoice_data{'bill_period'} =
627       $self->time2str_local('%e %h', $min_sdate, $format) 
628       . " to " .
629       $self->time2str_local('%e %h', $max_edate, $format)
630     if ($max_edate != 0 && $min_sdate != 999999999999);
631
632   $invoice_data{finance_section} = '';
633   if ( $conf->config('finance_pkgclass') ) {
634     my $pkg_class =
635       qsearchs('pkg_class', { classnum => $conf->config('finance_pkgclass') });
636     $invoice_data{finance_section} = $pkg_class->categoryname;
637   } 
638   $invoice_data{finance_amount} = '0.00';
639   $invoice_data{finance_section} ||= 'Finance Charges'; #avoid config confusion
640
641   my $countrydefault = $conf->config('countrydefault') || 'US';
642   foreach ( qw( address1 address2 city state zip country fax) ){
643     my $method = 'ship_'.$_;
644     $invoice_data{"ship_$_"} = $escape_function->($cust_main->$method);
645   }
646   if ( length($cust_main->ship_company) ) {
647     $invoice_data{'ship_company'} = $escape_function->($cust_main->ship_company);
648   } else {
649     $invoice_data{'ship_company'} = $escape_function->($cust_main->company);
650   }
651   $invoice_data{'ship_contact'} = $escape_function->($cust_main->contact);
652   $invoice_data{'ship_country'} = ''
653     if ( $invoice_data{'ship_country'} eq $countrydefault );
654   
655   $invoice_data{'cid'} = $params{'cid'}
656     if $params{'cid'};
657
658   if ( $cust_main->bill_locationnum
659        && $cust_main->bill_location->country ne $countrydefault ) {
660     $invoice_data{'country'} = &$escape_function($cust_main->bill_country_full);
661   } else {
662     $invoice_data{'country'} = '';
663   }
664
665   my @address = ();
666   $invoice_data{'address'} = \@address;
667   push @address,
668     $invoice_data{'payname'}.
669       ( $cust_main->po_number
670           ? " (P.O. #". $cust_main->po_number. ")"
671           : ''
672       )
673   ;
674   push @address, $cust_main->company
675     if $cust_main->company;
676   push @address, $cust_main->address1;
677   push @address, $cust_main->address2
678     if $cust_main->address2;
679   push @address,
680     $cust_main->city. ", ". $cust_main->state. "  ".  $cust_main->zip;
681   push @address, $invoice_data{'country'}
682     if $invoice_data{'country'};
683   push @address, ''
684     while (scalar(@address) < 5);
685
686   $invoice_data{'logo_file'} = $params{'logo_file'}
687     if $params{'logo_file'};
688   $invoice_data{'barcode_file'} = $params{'barcode_file'}
689     if $params{'barcode_file'};
690   $invoice_data{'barcode_img'} = $params{'barcode_img'}
691     if $params{'barcode_img'};
692   $invoice_data{'barcode_cid'} = $params{'barcode_cid'}
693     if $params{'barcode_cid'};
694
695   my( $pr_total, @pr_cust_bill ) = $self->previous; #previous balance
696 #  my( $cr_total, @cr_cust_credit ) = $self->cust_credit; #credits
697   #my $balance_due = $self->owed + $pr_total - $cr_total;
698   my $balance_due = $self->owed;
699   if ( $self->enable_previous ) {
700     $balance_due += $pr_total;
701   }
702   # otherwise the previous balance is not shown, so including it in the
703   # balance due is just confusing
704
705   # the sum of amount owed on all invoices
706   # (this is used in the summary & on the payment coupon)
707   $invoice_data{'balance'} = sprintf("%.2f", $balance_due);
708
709   # flag telling this invoice to have a first-page summary
710   my $summarypage = '';
711
712   if ( $self->custnum && $self->invnum ) {
713     # XXX should be an FS::cust_bill method to set the defaults, instead
714     # of checking the type here
715
716     # info from customer's last invoice before this one, for some 
717     # summary formats
718     $invoice_data{'last_bill'} = {};
719  
720     my $last_bill = $self->previous_bill;
721     if ( $last_bill ) {
722
723       # "balance_date_range" unfortunately is unsuitable for this, since it
724       # cares about application dates.  We want to know the sum of all 
725       # _top-level transactions_ dated before the last invoice.
726       #
727       # still do this for the "Previous Balance" line of the summary block
728       my @sql =
729         map "$_ WHERE _date <= ? AND custnum = ?", (
730           "SELECT      COALESCE( SUM(charged), 0 ) FROM cust_bill",
731           "SELECT -1 * COALESCE( SUM(amount),  0 ) FROM cust_credit",
732           "SELECT -1 * COALESCE( SUM(paid),    0 ) FROM cust_pay",
733           "SELECT      COALESCE( SUM(refund),  0 ) FROM cust_refund",
734         );
735
736       # the customer's current balance immediately after generating the last 
737       # bill
738
739       my $last_bill_balance = $last_bill->charged;
740       foreach (@sql) {
741         my $delta = FS::Record->scalar_sql(
742           $_,
743           $last_bill->_date - 1,
744           $self->custnum,
745         );
746         $last_bill_balance += $delta;
747       }
748
749       $last_bill_balance = sprintf("%.2f", $last_bill_balance);
750
751       warn sprintf("LAST BILL: INVNUM %d, DATE %s, BALANCE %.2f\n\n",
752         $last_bill->invnum,
753         $self->time2str_local('%D', $last_bill->_date),
754         $last_bill_balance
755       ) if $DEBUG > 0;
756       # ("true_previous_balance" is a terrible name, but at least it's no
757       # longer stored in the database)
758       $invoice_data{'true_previous_balance'} = $last_bill_balance;
759
760       # Now, get all applications of credits/payments dated on or after the
761       # previous bill, to invoices before the current bill. (The
762       # credit/payment date restriction prevents these from intersecting
763       # the "Previous Balance" set.)
764       # These are "adjustments". The past due balance will be shown as
765       # Previous Balance - Adjustments.
766       my $adjustments = 0;
767       @sql = map {
768         "SELECT COALESCE(SUM(y.amount),0) FROM $_ JOIN cust_bill USING (invnum)
769          WHERE cust_bill._date < ?
770            AND x._date >= ?
771            AND cust_bill.custnum = ?"
772         } "cust_credit AS x JOIN cust_credit_bill y USING (crednum)",
773           "cust_pay    AS x JOIN cust_bill_pay    y USING (paynum)"
774       ;
775       foreach (@sql) {
776         my $delta = FS::Record->scalar_sql(
777           $_,
778           $self->_date,
779           $last_bill->_date,
780           $self->custnum,
781         );
782         $adjustments += $delta;
783       }
784       $invoice_data{'balance_adjustments'} = sprintf("%.2f", $adjustments);
785
786       warn sprintf("BALANCE ADJUSTMENTS: %.2f\n\n",
787                    $invoice_data{'balance_adjustments'}
788       ) if $DEBUG > 0;
789
790       # the sum of amount owed on all previous invoices
791       # ($pr_total is used elsewhere but not as $previous_balance)
792       $invoice_data{'previous_balance'} = sprintf("%.2f", $pr_total);
793
794       $invoice_data{'last_bill'}{'_date'} = $last_bill->_date; #unformatted
795       my (@payments, @credits);
796       # for formats that itemize previous payments
797       foreach my $cust_pay ( qsearch('cust_pay', {
798                               'custnum' => $self->custnum,
799                               '_date'   => { op => '>=',
800                                              value => $last_bill->_date }
801                              } ) )
802       {
803         next if $cust_pay->_date > $self->_date;
804         push @payments, {
805             '_date'       => $cust_pay->_date,
806             'date'        => $self->time2str_local('long', $cust_pay->_date, $format),
807             'payinfo'     => $cust_pay->payby_payinfo_pretty,
808             'amount'      => sprintf('%.2f', $cust_pay->paid),
809         };
810         # not concerned about applications
811       }
812       foreach my $cust_credit ( qsearch('cust_credit', {
813                               'custnum' => $self->custnum,
814                               '_date'   => { op => '>=',
815                                              value => $last_bill->_date }
816                              } ) )
817       {
818         next if $cust_credit->_date > $self->_date;
819         push @credits, {
820             '_date'       => $cust_credit->_date,
821             'date'        => $self->time2str_local('long', $cust_credit->_date, $format),
822             'creditreason'=> $cust_credit->reason,
823             'amount'      => sprintf('%.2f', $cust_credit->amount),
824         };
825       }
826       $invoice_data{'previous_payments'} = \@payments;
827       $invoice_data{'previous_credits'}  = \@credits;
828     } else {
829       # there is no $last_bill
830       $invoice_data{'true_previous_balance'} =
831       $invoice_data{'balance_adjustments'}   =
832       $invoice_data{'previous_balance'}      = '0.00';
833       $invoice_data{'previous_payments'} = [];
834       $invoice_data{'previous_credits'} = [];
835     }
836  
837     if ( $conf->config_bool('invoice_usesummary', $agentnum) ) {
838       $invoice_data{'summarypage'} = $summarypage = 1;
839     }
840
841   } # if this is an invoice
842
843   warn "$me substituting variables in notes, footer, smallfooter\n"
844     if $DEBUG > 1;
845
846   my $tc = $self->template_conf;
847   my @include = ( [ $tc,        'notes' ],
848                   [ 'invoice_', 'footer' ],
849                   [ 'invoice_', 'smallfooter', ],
850                   [ 'invoice_', 'watermark' ],
851                 );
852   push @include, [ $tc,        'coupon', ]
853     unless $params{'no_coupon'};
854
855   foreach my $i (@include) {
856
857     # load the configuration for this sub-template
858
859     my($base, $include) = @$i;
860
861     my $inc_file = $conf->key_orbase("$base$format$include", $template);
862
863     my @inc_src = $conf->config($inc_file, $agentnum);
864     if (!@inc_src) {
865       my $converter = $convert_maps{$format}{$include};
866       if ( $converter ) {
867         # then attempt to convert LaTeX to the requested format
868         $inc_file = $conf->key_orbase($base.'latex'.$include, $template);
869         @inc_src = &$converter( $conf->config($inc_file, $agentnum) );
870         foreach (@inc_src) {
871           # this isn't included in the convert_maps
872           my ($open, $close) = @{ $delimiters{$format} };
873           s/\[\@--/$open/g;
874           s/--\@\]/$close/g;
875         }
876       }
877     } # else @inc_src is empty and that's fine
878
879     # make a Text::Template out of it
880
881     my $inc_tt = new Text::Template (
882       TYPE       => 'ARRAY',
883       SOURCE     => [ map "$_\n", @inc_src ],
884       DELIMITERS => $delimiters{$format},
885     ) or die "Can't create new Text::Template object: $Text::Template::ERROR";
886
887     unless ( $inc_tt->compile() ) {
888       my $error = "Can't compile $inc_file template: $Text::Template::ERROR\n";
889       warn $error. "Template:\n". join('', map "$_\n", @inc_src);
890       die $error;
891     }
892
893     # fill in variables
894
895     $invoice_data{$include} = $inc_tt->fill_in( HASH => \%invoice_data );
896
897     $invoice_data{$include} =~ s/\n+$//
898       if ($format eq 'latex');
899   }
900
901 # if (well, probably when) we still need PO numbers in the brave new world of
902 # 4.x, then we'll have to add them back as their own customer fields
903 #  # let invoices use either of these as needed
904 #  $invoice_data{'po_num'} = ($cust_main->payby eq 'BILL') 
905 #    ? $cust_main->payinfo : '';
906 #  $invoice_data{'po_line'} = 
907 #    (  $cust_main->payby eq 'BILL' && $cust_main->payinfo )
908 #      ? &$escape_function($self->mt("Purchase Order #").$cust_main->payinfo)
909 #      : $nbsp;
910
911   my %money_chars = ( 'latex'    => '',
912                       'html'     => $conf->config('money_char') || '$',
913                       'template' => '',
914                     );
915   my $money_char = $money_chars{$format};
916
917   # extremely dubious
918   my %other_money_chars = ( 'latex'    => '\dollar ',#XXX should be a config too
919                             'html'     => $conf->config('money_char') || '$',
920                             'template' => '',
921                           );
922   my $other_money_char = $other_money_chars{$format};
923   $invoice_data{'dollar'} = $other_money_char;
924
925   my %minus_signs = ( 'latex'    => '$-$',
926                       'html'     => '&minus;',
927                       'template' => '- ' );
928   my $minus = $minus_signs{$format};
929
930   my @detail_items = ();
931   my @total_items = ();
932   my @buf = ();
933   my @sections = ();
934
935   $invoice_data{'detail_items'} = \@detail_items;
936   $invoice_data{'total_items'} = \@total_items;
937   $invoice_data{'buf'} = \@buf;
938   $invoice_data{'sections'} = \@sections;
939
940   warn "$me generating sections\n"
941     if $DEBUG > 1;
942
943   my $unsquelched = $params{unsquelch_cdr} || $cust_main->squelch_cdr ne 'Y';
944   my $multisection = $self->has_sections;
945   $invoice_data{'multisection'} = $multisection;
946   my $late_sections;
947   my $extra_sections = [];
948   my $extra_lines = ();
949
950   # default section ('Charges')
951   my $default_section = { 'description' => '',
952                           'subtotal'    => '', 
953                           'no_subtotal' => 1,
954                         };
955
956   # Previous Charges section
957   # subtotal is the first return value from $self->previous
958   my $previous_section;
959   # if the invoice has major sections, or if we're summarizing previous 
960   # charges with a single line, or if we've been specifically told to put them
961   # in a section, create a section for previous charges:
962   if ( $multisection or
963        $conf->exists('previous_balance-summary_only') or
964        $conf->exists('previous_balance-section') ) {
965     
966     $previous_section =  { 'description' => $self->mt('Previous Charges'),
967                            'subtotal'    => $other_money_char.
968                                             sprintf('%.2f', $pr_total),
969                            'summarized'  => '', #why? $summarypage ? 'Y' : '',
970                          };
971     $previous_section->{posttotal} = '0 / 30 / 60 / 90 days overdue '. 
972       join(' / ', map { $cust_main->balance_date_range(@$_) }
973                   $self->_prior_month30s
974           )
975       if $conf->exists('invoice_include_aging');
976
977   } else {
978     # otherwise put them in the main section
979     $previous_section = $default_section;
980   }
981
982   my $adjust_section = {
983     'description'    => $self->mt('Credits, Payments, and Adjustments'),
984     'adjust_section' => 1,
985     'subtotal'       => 0,   # adjusted below
986   };
987   my $adjust_weight = _pkg_category($adjust_section->{description})
988                         ? _pkg_category($adjust_section->{description})->weight
989                         : 0;
990   $adjust_section->{'summarized'} = ''; #why? $summarypage && !$adjust_weight ? 'Y' : '';
991   # Note: 'sort_weight' here is actually a flag telling whether there is an
992   # explicit package category for the adjust section. If so, certain behavior
993   # happens.
994   $adjust_section->{'sort_weight'} = $adjust_weight;
995
996
997   if ( $multisection ) {
998     ($extra_sections, $extra_lines) =
999       $self->_items_extra_usage_sections($escape_function_nonbsp, $format)
1000       if $conf->exists('usage_class_as_a_section', $cust_main->agentnum)
1001       && $self->can('_items_extra_usage_sections');
1002
1003     push @$extra_sections, $adjust_section if $adjust_section->{sort_weight};
1004
1005     push @detail_items, @$extra_lines if $extra_lines;
1006
1007     # the code is written so that both methods can be used together, but
1008     # we haven't yet changed the template to take advantage of that, so for 
1009     # now, treat them as mutually exclusive.
1010     my %section_method = ( by_category => 1 );
1011     if ( $conf->config($tc.'sections_method') eq 'location' ) {
1012       %section_method = ( by_location => 1 );
1013     }
1014     my ($early, $late) =
1015       $self->_items_sections( 'summary' => $summarypage,
1016                               'escape'  => $escape_function_nonbsp,
1017                               'extra_sections' => $extra_sections,
1018                               'format'  => $format,
1019                               %section_method
1020                             );
1021     push @sections, @$early;
1022     $late_sections = $late;
1023
1024     if (    $conf->exists('svc_phone_sections')
1025          && $self->can('_items_svc_phone_sections')
1026        )
1027     {
1028       my ($phone_sections, $phone_lines) =
1029         $self->_items_svc_phone_sections($escape_function_nonbsp, $format);
1030       push @{$late_sections}, @$phone_sections;
1031       push @detail_items, @$phone_lines;
1032     }
1033     if ( $conf->exists('voip-cust_accountcode_cdr')
1034          && $cust_main->accountcode_cdr
1035          && $self->can('_items_accountcode_cdr')
1036        )
1037     {
1038       my ($accountcode_section, $accountcode_lines) =
1039         $self->_items_accountcode_cdr($escape_function_nonbsp,$format);
1040       if ( scalar(@$accountcode_lines) ) {
1041           push @{$late_sections}, $accountcode_section;
1042           push @detail_items, @$accountcode_lines;
1043       }
1044     }
1045   } else {# not multisection
1046     # make a default section
1047     push @sections, $default_section;
1048     # and calculate the finance charge total, since it won't get done otherwise.
1049     # and the default section total
1050     # XXX possibly finance_pkgclass should not be used in this manner?
1051     my @finance_charges;
1052     my @charges;
1053     foreach my $cust_bill_pkg ( $self->cust_bill_pkg ) {
1054       if ( $invoice_data{finance_section} and 
1055         grep { $_->section eq $invoice_data{finance_section} }
1056            $cust_bill_pkg->cust_bill_pkg_display ) {
1057         # I think these are always setup fees, but just to be sure...
1058         push @finance_charges, $cust_bill_pkg->recur + $cust_bill_pkg->setup;
1059       } else {
1060         push @charges, $cust_bill_pkg->recur + $cust_bill_pkg->setup;
1061       }
1062     }
1063     $invoice_data{finance_amount} = 
1064       sprintf('%.2f', sum( @finance_charges ) || 0);
1065     $default_section->{subtotal} = $other_money_char.
1066                                     sprintf('%.2f', sum( @charges ) || 0);
1067   }
1068
1069   # start setting up summary subtotals
1070   my @summary_subtotals;
1071   my $method = $conf->config('summary_subtotals_method');
1072   if ( $method and $method ne $conf->config($tc.'sections_method') ) {
1073     # then re-section them by the correct method
1074     my %section_method = ( by_category => 1 );
1075     if ( $conf->config('summary_subtotals_method') eq 'location' ) {
1076       %section_method = ( by_location => 1 );
1077     }
1078     my ($early, $late) =
1079       $self->_items_sections( 'summary' => $summarypage,
1080                               'escape'  => $escape_function_nonbsp,
1081                               'extra_sections' => $extra_sections,
1082                               'format'  => $format,
1083                               %section_method
1084                             );
1085     foreach ( @$early ) {
1086       next if $_->{subtotal} == 0;
1087       $_->{subtotal} = $other_money_char.sprintf('%.2f', $_->{subtotal});
1088       push @summary_subtotals, $_;
1089     }
1090   } else {
1091     # subtotal sectioning is the same as for the actual invoice sections
1092     @summary_subtotals = grep $_->{subtotal}, @sections;
1093   }
1094
1095   # Hereafter, push sections to both @sections and @summary_subtotals
1096   # if they belong in both places (e.g. tax section).  Late sections are
1097   # never in @summary_subtotals.
1098
1099   # previous invoice balances in the Previous Charges section if there
1100   # is one, otherwise in the main detail section
1101   # (except if summary_only is enabled, don't show them at all)
1102   if ( $self->can('_items_previous') &&
1103        $self->enable_previous &&
1104        ! $conf->exists('previous_balance-summary_only') ) {
1105
1106     warn "$me adding previous balances\n"
1107       if $DEBUG > 1;
1108
1109     foreach my $line_item ( $self->_items_previous ) {
1110
1111       my $detail = {
1112         ref             => $line_item->{'pkgnum'},
1113         pkgpart         => $line_item->{'pkgpart'},
1114         #quantity        => 1, # not really correct
1115         section         => $previous_section, # which might be $default_section
1116         description     => &$escape_function($line_item->{'description'}),
1117         ext_description => [ map { &$escape_function($_) } 
1118                              @{ $line_item->{'ext_description'} || [] }
1119                            ],
1120         amount          => $money_char . $line_item->{'amount'},
1121         product_code    => $line_item->{'pkgpart'} || 'N/A',
1122       };
1123
1124       push @detail_items, $detail;
1125       push @buf, [ $detail->{'description'},
1126                    $money_char. sprintf("%10.2f", $line_item->{'amount'}),
1127                  ];
1128     }
1129
1130   }
1131
1132   if ( @pr_cust_bill && $self->enable_previous ) {
1133     push @buf, ['','-----------'];
1134     push @buf, [ $self->mt('Total Previous Balance'),
1135                  $money_char. sprintf("%10.2f", $pr_total) ];
1136     push @buf, ['',''];
1137   }
1138  
1139   if ( $conf->exists('svc_phone-did-summary') && $self->can('_did_summary') ) {
1140       warn "$me adding DID summary\n"
1141         if $DEBUG > 1;
1142
1143       my ($didsummary,$minutes) = $self->_did_summary;
1144       my $didsummary_desc = 'DID Activity Summary (since last invoice)';
1145       push @detail_items, 
1146        { 'description' => $didsummary_desc,
1147            'ext_description' => [ $didsummary, $minutes ],
1148        };
1149   }
1150
1151   foreach my $section (@sections, @$late_sections) {
1152
1153     # begin some normalization
1154     $section->{'subtotal'} = $section->{'amount'}
1155       if $multisection
1156          && !exists($section->{subtotal})
1157          && exists($section->{amount});
1158
1159     $invoice_data{finance_amount} = sprintf('%.2f', $section->{'subtotal'} )
1160       if ( $invoice_data{finance_section} &&
1161            $section->{'description'} eq $invoice_data{finance_section} );
1162
1163     if ( $multisection ) {
1164
1165       if ( ref($section->{'subtotal'}) ) {
1166
1167         $section->{'subtotal'} =
1168           sprintf("$other_money_char%.2f to $other_money_char%.2f",
1169                     $section->{'subtotal'}[0],
1170                     $section->{'subtotal'}[1]
1171                  );
1172
1173       } else {
1174
1175         $section->{'subtotal'} = $other_money_char.
1176                                  sprintf('%.2f', $section->{'subtotal'})
1177
1178       }
1179
1180       # continue some normalization
1181       $section->{'amount'}   = $section->{'subtotal'}
1182
1183     }
1184
1185     if ( $section->{'description'} ) {
1186       push @buf, ( [ &$escape_function($section->{'description'}), '' ],
1187                    [ '', '' ],
1188                  );
1189     }
1190
1191     warn "$me   setting options\n"
1192       if $DEBUG > 1;
1193
1194     my %options = ();
1195     $options{'section'} = $section if $multisection;
1196     $options{'section_with_taxes'} = 1
1197       if $multisection
1198       && $conf->config_bool('invoice_sections_with_taxes', $cust_main->agentnum);
1199     $options{'format'} = $format;
1200     $options{'escape_function'} = $escape_function;
1201     $options{'no_usage'} = 1 unless $unsquelched;
1202     $options{'unsquelched'} = $unsquelched;
1203     $options{'summary_page'} = $summarypage;
1204     $options{'skip_usage'} =
1205       scalar(@$extra_sections) && !grep{$section == $_} @$extra_sections;
1206     $options{'preref_callback'} = $params{'preref_callback'};
1207     $options{'disable_line_item_date_ranges'} =
1208       $conf->exists('disable_line_item_date_ranges');
1209
1210     warn "$me   searching for line items\n"
1211       if $DEBUG > 1;
1212
1213     my %section_tax_lines;
1214     my %seen_tax_lines;
1215
1216     foreach my $line_item ( $self->_items_pkg(%options),
1217                             $self->_items_fee(%options) ) {
1218
1219       warn "$me     adding line item ".
1220            join(', ', map "$_=>".$line_item->{$_}, keys %$line_item). "\n"
1221         if $DEBUG > 1;
1222
1223       push @buf, ( [ $line_item->{'description'},
1224                      $money_char. sprintf("%10.2f", $line_item->{'amount'}),
1225                    ],
1226                    map { [ " ". $_, '' ] } @{$line_item->{'ext_description'}},
1227                  );
1228
1229       $line_item->{'ref'} = $line_item->{'pkgnum'};
1230       $line_item->{'product_code'} = $line_item->{'pkgpart'} || 'N/A'; # mt()?
1231       $line_item->{'section'} = $section;
1232       $line_item->{'description'} = &$escape_function($line_item->{'description'});
1233       $line_item->{'amount'} = $money_char.$line_item->{'amount'};
1234
1235       if ( length($line_item->{'unit_amount'}) ) {
1236         $line_item->{'unit_amount'} = $money_char.$line_item->{'unit_amount'};
1237       }
1238       $line_item->{'ext_description'} ||= [];
1239
1240       if ( $options{section_with_taxes} && ref $line_item->{pkg_tax} ) {
1241         for my $line_tax ( @{$ line_item->{pkg_tax} } ) {
1242
1243           # It is rarely possible for the same tax record to be presented here
1244           # multiple times.  See cust_bill_pkg::_pkg_tax_list for more info
1245           next if $seen_tax_lines{ $line_tax->{billpkgtaxlocationnum} };
1246           $seen_tax_lines{ $line_tax->{billpkgtaxlocationnum} } = 1;
1247
1248           $section_tax_lines{ $line_tax->{taxname} } += $line_tax->{amount};
1249         }
1250       }
1251
1252       push @detail_items, $line_item;
1253     }
1254
1255     # If conf flag invoice_sections_with_taxes:
1256     # - Add @detail_items for taxes into each section
1257     # - Update section subtotal to include taxes
1258     if ( $options{section_with_taxes} && %section_tax_lines ) {
1259       for my $taxname ( keys %section_tax_lines ) {
1260
1261         push @detail_items, {
1262           section => $section,
1263           amount  => sprintf($money_char."%.2f",$section_tax_lines{$taxname}),
1264           description => &$escape_function($taxname),
1265         };
1266
1267         # Append taxes to total.  If line format resembles "$5.00 to $12.00"
1268         # append to the second value.
1269
1270         if ($section->{subtotal} =~ /to/) {
1271           my @subtotal = split /\s/, $section->{subtotal};
1272           $subtotal[2] =~ s/[^\d\.]//g;
1273           $subtotal[2] = sprintf(
1274             $money_char."%.2f",
1275             ( $subtotal[2] + $section_tax_lines{$taxname} )
1276           );
1277           $section->{subtotal} = join ' ', @subtotal;
1278         } else {
1279           $section->{subtotal} =~ s/[^\d\.]//g;
1280           $section->{subtotal} = sprintf(
1281             $money_char . "%.2f",
1282             ( $section->{subtotal} + $section_tax_lines{$taxname} )
1283           );
1284         }
1285
1286       }
1287     }
1288
1289     if ( $section->{'description'} ) {
1290       push @buf, ( ['','-----------'],
1291                    [ $section->{'description'}. ' sub-total',
1292                       $section->{'subtotal'} # already formatted this 
1293                    ],
1294                    [ '', '' ],
1295                    [ '', '' ],
1296                  );
1297     }
1298   
1299   }
1300
1301   $invoice_data{current_less_finance} =
1302     sprintf('%.2f', $self->charged - $invoice_data{finance_amount} );
1303
1304   # if there's anything in the Previous Charges section, prepend it to the list
1305   if ( $pr_total and $previous_section ne $default_section ) {
1306     unshift @sections, $previous_section;
1307     # but not @summary_subtotals
1308   }
1309
1310   warn "$me adding taxes\n"
1311     if $DEBUG > 1;
1312
1313   # create a tax section if we don't yet have one
1314   my @items_tax = $self->_items_tax;
1315   my $tax_description = 'Taxes, Surcharges, and Fees';
1316   my $tax_section =
1317     List::Util::first { $_->{description} eq $tax_description } @sections;
1318   if (!$tax_section) {
1319     $tax_section = { 'description' => $tax_description };
1320     push @sections, $tax_section if $multisection and @items_tax > 0;
1321   }
1322   $tax_section->{tax_section} = 1; # mark this section as containing taxes
1323   # if this is an existing tax section, we're merging the tax items into it.
1324   # grab the taxtotal that's already there, strip the money symbol if any
1325   my $taxtotal = $tax_section->{'subtotal'} || 0;
1326   $taxtotal =~ s/^\Q$other_money_char\E//;
1327
1328   # this does nothing
1329   #my $tax_weight = _pkg_category($tax_section->{description})
1330   #                      ? _pkg_category($tax_section->{description})->weight
1331   #                      : 0;
1332   #$tax_section->{'summarized'} = ''; #why? $summarypage && !$tax_weight ? 'Y' : '';
1333   #$tax_section->{'sort_weight'} = $tax_weight;
1334
1335   foreach my $tax ( @items_tax ) {
1336
1337     $taxtotal += $tax->{'amount'};
1338
1339     my $description = &$escape_function( $tax->{'description'} );
1340     my $amount      = sprintf( '%.2f', $tax->{'amount'} );
1341
1342     if ( $multisection ) {
1343
1344       push @detail_items, {
1345         ext_description => [],
1346         ref          => '',
1347         quantity     => '',
1348         description  => $description,
1349         amount       => $money_char. $amount,
1350         product_code => '',
1351         section      => $tax_section,
1352       };
1353
1354     } else {
1355
1356       push @total_items, {
1357         'total_item'   => $description,
1358         'total_amount' => $other_money_char. $amount,
1359       };
1360
1361     }
1362
1363     push @buf,[ $description,
1364                 $money_char. $amount,
1365               ];
1366
1367   }
1368  
1369   if ( @items_tax ) {
1370     my $total = {};
1371     $total->{'total_item'} = $self->mt('Sub-total');
1372     $total->{'total_amount'} =
1373       $other_money_char. sprintf('%.2f', $self->charged - $taxtotal );
1374
1375     if ( $multisection ) {
1376       if ( $taxtotal > 0 ) {
1377         # there are taxes, so prepare the section to be displayed.
1378         # $taxtotal already includes any line items that were already in the
1379         # section (fees, taxes that are charged as packages for some reason).
1380         # also set 'summarized' to false so that this isn't a summary-only
1381         # section.
1382         $tax_section->{'subtotal'} = $other_money_char.
1383                                      sprintf('%.2f', $taxtotal);
1384         $tax_section->{'pretotal'} = 'New charges sub-total '.
1385                                      $total->{'total_amount'};
1386         $tax_section->{'description'} = $self->mt($tax_description);
1387         $tax_section->{'summarized'} = '';
1388
1389         if ( $conf->config_bool('invoice_sections_with_taxes', $cust_main->agentnum) ) {
1390
1391           # remove tax section if taxes are itemized within other sections
1392           @sections = grep{ $_ ne $tax_section } @sections;
1393
1394         } elsif ( !grep $tax_section, @sections ) {
1395
1396           # append it if it's not already there
1397           push @sections, $tax_section;
1398           push @summary_subtotals, $tax_section;
1399
1400         }
1401
1402       }
1403
1404     } else {
1405       unshift @total_items, $total;
1406     }
1407   }
1408   $invoice_data{'taxtotal'} = sprintf('%.2f', $taxtotal);
1409
1410   ###
1411   # Totals
1412   ###
1413
1414   my %embolden_functions = (
1415     'latex'    => sub { return '\textbf{'. shift(). '}' },
1416     'html'     => sub { return '<b>'. shift(). '</b>' },
1417     'template' => sub { shift },
1418   );
1419   my $embolden_function = $embolden_functions{$format};
1420
1421   if ( $multisection ) {
1422
1423     if ( $adjust_section->{'sort_weight'} ) {
1424       $adjust_section->{'posttotal'} = $self->mt('Balance Forward').' '.
1425         $other_money_char.  sprintf("%.2f", ($self->billing_balance || 0) );
1426     } else{
1427       $adjust_section->{'pretotal'} = $self->mt('New charges total').' '.
1428         $other_money_char.  sprintf('%.2f', $self->charged );
1429     }
1430
1431   }
1432   
1433   if ( $self->can('_items_total') ) { # should always be true now
1434
1435     # even for multisection, need plain text version
1436
1437     my @new_total_items = $self->_items_total;
1438
1439     push @buf,['','-----------'];
1440
1441     foreach ( @new_total_items ) {
1442       my ($item, $amount) = ($_->{'total_item'}, $_->{'total_amount'});
1443       $_->{'total_item'}   = &$embolden_function( $item );
1444
1445       if ( ref($amount) ) {
1446         $_->{'total_amount'} = &$embolden_function(
1447                                  $other_money_char.$amount->[0]. ' to '.
1448                                  $other_money_char.$amount->[1]
1449                                );
1450       } else {
1451       $_->{'total_amount'} = &$embolden_function( $other_money_char.$amount );
1452       }
1453
1454       # but if it's multisection, don't append to @total_items. the adjust
1455       # section has all this stuff
1456       push @total_items, $_ if !$multisection;
1457       push @buf, [ $item, $money_char.sprintf('%10.2f',$amount) ];
1458     }
1459
1460     push @buf, [ '', '' ];
1461
1462     # if we're showing previous invoices, also show previous
1463     # credits and payments 
1464     if ( $self->enable_previous 
1465           and $self->can('_items_credits')
1466           and $self->can('_items_payments') )
1467       {
1468     
1469       # credits
1470       my $credittotal = 0;
1471       foreach my $credit (
1472         $self->_items_credits( 'template' => $template, 'trim_len' => 40 )
1473       ) {
1474
1475         my $total;
1476         $total->{'total_item'} = &$escape_function($credit->{'description'});
1477         $credittotal += $credit->{'amount'};
1478         $total->{'total_amount'} = $minus.$other_money_char.$credit->{'amount'};
1479         if ( $multisection ) {
1480           push @detail_items, {
1481             ext_description => [],
1482             ref          => '',
1483             quantity     => '',
1484             description  => &$escape_function($credit->{'description'}),
1485             amount       => $money_char . $credit->{'amount'},
1486             product_code => '',
1487             section      => $adjust_section,
1488           };
1489         } else {
1490           push @total_items, $total;
1491         }
1492
1493       }
1494       $invoice_data{'credittotal'} = sprintf('%.2f', $credittotal);
1495
1496       #credits (again)
1497       foreach my $credit (
1498         $self->_items_credits( 'template' => $template, 'trim_len'=>32 )
1499       ) {
1500         push @buf, [ $credit->{'description'}, $money_char.$credit->{'amount'} ];
1501       }
1502
1503       # payments
1504       my $paymenttotal = 0;
1505       foreach my $payment (
1506         $self->_items_payments( 'template' => $template )
1507       ) {
1508         my $total = {};
1509         $total->{'total_item'} = &$escape_function($payment->{'description'});
1510         $paymenttotal += $payment->{'amount'};
1511         $total->{'total_amount'} = $minus.$other_money_char.$payment->{'amount'};
1512         if ( $multisection ) {
1513           push @detail_items, {
1514             ext_description => [],
1515             ref          => '',
1516             quantity     => '',
1517             description  => &$escape_function($payment->{'description'}),
1518             amount       => $money_char . $payment->{'amount'},
1519             product_code => '',
1520             section      => $adjust_section,
1521           };
1522         }else{
1523           push @total_items, $total;
1524         }
1525         push @buf, [ $payment->{'description'},
1526                      $money_char. sprintf("%10.2f", $payment->{'amount'}),
1527                    ];
1528       }
1529       $invoice_data{'paymenttotal'} = sprintf('%.2f', $paymenttotal);
1530     
1531       if ( $multisection ) {
1532         $adjust_section->{'subtotal'} = $other_money_char.
1533                                         sprintf('%.2f', $credittotal + $paymenttotal);
1534
1535         #why this? because {sort_weight} forces the adjust_section to appear
1536         #in @extra_sections instead of @sections. obviously.
1537         push @sections, $adjust_section
1538           unless $adjust_section->{sort_weight};
1539         # do not summarize; adjustments there are shown according to 
1540         # different rules
1541       }
1542
1543       # create Balance Due message
1544       { 
1545         my $total;
1546         $total->{'total_item'} = &$embolden_function($self->balance_due_msg);
1547         $total->{'total_amount'} =
1548           &$embolden_function(
1549             $other_money_char. sprintf('%.2f', #why? $summarypage 
1550                                                #  ? $self->charged +
1551                                                #    $self->billing_balance
1552                                                #  :
1553                                                    $self->owed + $pr_total
1554                                       )
1555           );
1556         if ( $multisection && !$adjust_section->{sort_weight} ) {
1557           $adjust_section->{'posttotal'} = $total->{'total_item'}. ' '.
1558                                            $total->{'total_amount'};
1559         } else {
1560           push @total_items, $total;
1561         }
1562         push @buf,['','-----------'];
1563         push @buf,[$self->balance_due_msg, $money_char. 
1564           sprintf("%10.2f", $balance_due ) ];
1565       }
1566
1567       if ( $conf->exists('previous_balance-show_credit')
1568           and $cust_main->balance < 0 ) {
1569         my $credit_total = {
1570           'total_item'    => &$embolden_function($self->credit_balance_msg),
1571           'total_amount'  => &$embolden_function(
1572             $other_money_char. sprintf('%.2f', -$cust_main->balance)
1573           ),
1574         };
1575         if ( $multisection ) {
1576           $adjust_section->{'posttotal'} .= $newline_token .
1577             $credit_total->{'total_item'} . ' ' . $credit_total->{'total_amount'};
1578         }
1579         else {
1580           push @total_items, $credit_total;
1581         }
1582         push @buf,['','-----------'];
1583         push @buf,[$self->credit_balance_msg, $money_char. 
1584           sprintf("%10.2f", -$cust_main->balance ) ];
1585       }
1586     }
1587
1588   } #end of default total adding ! can('_items_total')
1589
1590   if ( $multisection ) {
1591     if (    $conf->exists('svc_phone_sections')
1592          && $self->can('_items_svc_phone_sections')
1593        )
1594     {
1595       my $total;
1596       $total->{'total_item'} = &$embolden_function($self->balance_due_msg);
1597       $total->{'total_amount'} =
1598         &$embolden_function(
1599           $other_money_char. sprintf('%.2f', $self->owed + $pr_total)
1600         );
1601       my $last_section = pop @sections;
1602       $last_section->{'posttotal'} = $total->{'total_item'}. ' '.
1603                                      $total->{'total_amount'};
1604       push @sections, $last_section;
1605     }
1606     push @sections, @$late_sections
1607       if $unsquelched;
1608   }
1609
1610   # make a discounts-available section, even without multisection
1611   if ( $conf->exists('discount-show_available') 
1612        and my @discounts_avail = $self->_items_discounts_avail ) {
1613     my $discount_section = {
1614       'description' => $self->mt('Discounts Available'),
1615       'subtotal'    => '',
1616       'no_subtotal' => 1,
1617     };
1618
1619     push @sections, $discount_section; # do not summarize
1620     push @detail_items, map { +{
1621         'ref'         => '', #should this be something else?
1622         'section'     => $discount_section,
1623         'description' => &$escape_function( $_->{description} ),
1624         'amount'      => $money_char . &$escape_function( $_->{amount} ),
1625         'ext_description' => [ &$escape_function($_->{ext_description}) || () ],
1626     } } @discounts_avail;
1627   }
1628
1629   # not adding any more sections after this
1630   $invoice_data{summary_subtotals} = \@summary_subtotals;
1631
1632   # usage subtotals
1633   if ( $conf->exists('usage_class_summary')
1634        and $self->can('_items_usage_class_summary') ) {
1635     my @usage_subtotals = $self->_items_usage_class_summary(escape => $escape_function, 'money_char' => $other_money_char);
1636     if ( @usage_subtotals ) {
1637       unshift @sections, $usage_subtotals[0]->{section}; # do not summarize
1638       unshift @detail_items, @usage_subtotals;
1639     }
1640   }
1641
1642   # invoice history "section" (not really a section)
1643   # not to be included in any subtotals, completely independent of 
1644   # everything...
1645   if ( $conf->exists('previous_invoice_history') and $cust_main->isa('FS::cust_main') ) {
1646     my %history;
1647     my %monthorder;
1648     foreach my $cust_bill ( $cust_main->cust_bill ) {
1649       # XXX hardcoded format, and currently only 'charged'; add other fields
1650       # if they become necessary
1651       my $date = $self->time2str_local('%b %Y', $cust_bill->_date);
1652       $history{$date} ||= 0;
1653       $history{$date} += $cust_bill->charged;
1654       # just so we have a numeric sort key
1655       $monthorder{$date} ||= $cust_bill->_date;
1656     }
1657     my @sorted_months = sort { $monthorder{$a} <=> $monthorder{$b} }
1658                         keys %history;
1659     my @sorted_amounts = map { sprintf('%.2f', $history{$_}) } @sorted_months;
1660     $invoice_data{monthly_history} = [ \@sorted_months, \@sorted_amounts ];
1661   }
1662
1663   # service locations: another option for template customization
1664   my %location_info;
1665   foreach my $item (@detail_items) {
1666     if ( $item->{locationnum} ) {
1667       $location_info{ $item->{locationnum} } ||= {
1668         FS::cust_location->by_key( $item->{locationnum} )->location_hash
1669       };
1670     }
1671   }
1672   $invoice_data{location_info} = \%location_info;
1673
1674   # debugging hook: call this with 'diag' => 1 to just get a hash of 
1675   # the invoice variables
1676   return \%invoice_data if ( $params{'diag'} );
1677
1678   # All sections and items are built; now fill in templates.
1679   my @includelist = ();
1680   push @includelist, 'summary' if $summarypage;
1681   foreach my $include ( @includelist ) {
1682
1683     my $inc_file = $conf->key_orbase("invoice_${format}$include", $template);
1684     my @inc_src;
1685
1686     if ( length( $conf->config($inc_file, $agentnum) ) ) {
1687
1688       @inc_src = $conf->config($inc_file, $agentnum);
1689
1690     } else {
1691
1692       $inc_file = $conf->key_orbase("invoice_latex$include", $template);
1693
1694       my $convert_map = $convert_maps{$format}{$include};
1695
1696       @inc_src = map { s/\[\@--/$delimiters{$format}[0]/g;
1697                        s/--\@\]/$delimiters{$format}[1]/g;
1698                        $_;
1699                      } 
1700                  &$convert_map( $conf->config($inc_file, $agentnum) );
1701
1702     }
1703
1704     my $inc_tt = new Text::Template (
1705       TYPE       => 'ARRAY',
1706       SOURCE     => [ map "$_\n", @inc_src ],
1707       DELIMITERS => $delimiters{$format},
1708     ) or die "Can't create new Text::Template object: $Text::Template::ERROR";
1709
1710     unless ( $inc_tt->compile() ) {
1711       my $error = "Can't compile $inc_file template: $Text::Template::ERROR\n";
1712       warn $error. "Template:\n". join('', map "$_\n", @inc_src);
1713       die $error;
1714     }
1715
1716     $invoice_data{$include} = $inc_tt->fill_in( HASH => \%invoice_data );
1717
1718     $invoice_data{$include} =~ s/\n+$//
1719       if ($format eq 'latex');
1720   }
1721
1722   $invoice_lines = 0;
1723   my $wasfunc = 0;
1724   foreach ( grep /invoice_lines\(\d*\)/, @invoice_template ) { #kludgy
1725     /invoice_lines\((\d*)\)/;
1726     $invoice_lines += $1 || scalar(@buf);
1727     $wasfunc=1;
1728   }
1729   die "no invoice_lines() functions in template?"
1730     if ( $format eq 'template' && !$wasfunc );
1731
1732   if ( $invoice_lines ) {
1733     $invoice_data{'total_pages'} = int( scalar(@buf) / $invoice_lines );
1734     $invoice_data{'total_pages'}++
1735       if scalar(@buf) % $invoice_lines;
1736   }
1737
1738   #setup subroutine for the template
1739   $invoice_data{invoice_lines} = sub {
1740     my $lines = shift || scalar(@buf);
1741     map { 
1742       scalar(@buf)
1743         ? shift @buf
1744         : [ '', '' ];
1745     }
1746     ( 1 .. $lines );
1747   };
1748
1749   if ($format eq 'template') {
1750
1751     my $lines;
1752     my @collect;
1753     while (@buf) {
1754       push @collect, split("\n",
1755         $text_template->fill_in( HASH => \%invoice_data )
1756       );
1757       $invoice_data{'page'}++;
1758     }
1759     map "$_\n", @collect;
1760
1761   } else { # this is where we actually create the invoice
1762
1763     if ( $params{no_addresses} ) {
1764       delete $invoice_data{$_} foreach qw(
1765         payname company address1 address2 city state zip country
1766       );
1767       $invoice_data{returnaddress} = '~';
1768     }
1769
1770     warn "filling in template for invoice ". $self->invnum. "\n"
1771       if $DEBUG;
1772     warn join("\n", map " $_ => ". $invoice_data{$_}, keys %invoice_data). "\n"
1773       if $DEBUG > 1;
1774
1775     $text_template->fill_in(HASH => \%invoice_data);
1776   }
1777 }
1778
1779 sub notice_name { '('.shift->table.')'; }
1780
1781 # this is not supposed to happen
1782 sub template_conf { warn "bare FS::Template_Mixin::template_conf";
1783   'invoice_';
1784 }
1785
1786 # helper routine for generating date ranges
1787 sub _prior_month30s {
1788   my $self = shift;
1789   my @ranges = (
1790    [ 1,       2592000 ], # 0-30 days ago
1791    [ 2592000, 5184000 ], # 30-60 days ago
1792    [ 5184000, 7776000 ], # 60-90 days ago
1793    [ 7776000, 0       ], # 90+   days ago
1794   );
1795
1796   map { [ $_->[0] ? $self->_date - $_->[0] - 1 : '',
1797           $_->[1] ? $self->_date - $_->[1] - 1 : '',
1798       ] }
1799   @ranges;
1800 }
1801
1802 =item print_ps HASHREF | [ TIME [ , TEMPLATE ] ]
1803
1804 Returns an postscript invoice, as a scalar.
1805
1806 Options can be passed as a hashref (recommended) or as a list of time, template
1807 and then any key/value pairs for any other options.
1808
1809 I<time> an optional value used to control the printing of overdue messages.  The
1810 default is now.  It isn't the date of the invoice; that's the `_date' field.
1811 It is specified as a UNIX timestamp; see L<perlfunc/"time">.  Also see
1812 L<Time::Local> and L<Date::Parse> for conversion functions.
1813
1814 I<notice_name>, if specified, overrides "Invoice" as the name of the sent document (templates from 10/2009 or newer required)
1815
1816 =cut
1817
1818 sub print_ps {
1819   my $self = shift;
1820
1821   my ($file, $logofile, $barcodefile) = $self->print_latex(@_);
1822   my $ps = generate_ps($file);
1823   unlink($logofile);
1824   unlink($barcodefile) if $barcodefile;
1825
1826   $ps;
1827 }
1828
1829 =item print_pdf HASHREF | [ TIME [ , TEMPLATE ] ]
1830
1831 Returns an PDF invoice, as a scalar.
1832
1833 Options can be passed as a hashref (recommended) or as a list of time, template
1834 and then any key/value pairs for any other options.
1835
1836 I<time> an optional value used to control the printing of overdue messages.  The
1837 default is now.  It isn't the date of the invoice; that's the `_date' field.
1838 It is specified as a UNIX timestamp; see L<perlfunc/"time">.  Also see
1839 L<Time::Local> and L<Date::Parse> for conversion functions.
1840
1841 I<template>, if specified, is the name of a suffix for alternate invoices.
1842
1843 I<notice_name>, if specified, overrides "Invoice" as the name of the sent document (templates from 10/2009 or newer required)
1844
1845 =cut
1846
1847 sub print_pdf {
1848   my $self = shift;
1849
1850   my ($file, $logofile, $barcodefile) = $self->print_latex(@_);
1851   my $pdf = generate_pdf($file);
1852   unlink($logofile);
1853   unlink($barcodefile) if $barcodefile;
1854
1855   $pdf;
1856 }
1857
1858 =item print_html HASHREF | [ TIME [ , TEMPLATE [ , CID ] ] ]
1859
1860 Returns an HTML invoice, as a scalar.
1861
1862 I<time> an optional value used to control the printing of overdue messages.  The
1863 default is now.  It isn't the date of the invoice; that's the `_date' field.
1864 It is specified as a UNIX timestamp; see L<perlfunc/"time">.  Also see
1865 L<Time::Local> and L<Date::Parse> for conversion functions.
1866
1867 I<template>, if specified, is the name of a suffix for alternate invoices.
1868
1869 I<notice_name>, if specified, overrides "Invoice" as the name of the sent document (templates from 10/2009 or newer required)
1870
1871 I<cid> is a MIME Content-ID used to create a "cid:" URL for the logo image, used
1872 when emailing the invoice as part of a multipart/related MIME email.
1873
1874 =cut
1875
1876 sub print_html {
1877   my $self = shift;
1878   my %params;
1879   if ( ref($_[0]) ) {
1880     %params = %{ shift() }; 
1881   } else {
1882     %params = @_;
1883   }
1884   $params{'format'} = 'html';
1885   
1886   $self->print_generic( %params );
1887 }
1888
1889 # quick subroutine for print_latex
1890 #
1891 # There are ten characters that LaTeX treats as special characters, which
1892 # means that they do not simply typeset themselves: 
1893 #      # $ % & ~ _ ^ \ { }
1894 #
1895 # TeX ignores blanks following an escaped character; if you want a blank (as
1896 # in "10% of ..."), you have to "escape" the blank as well ("10\%\ of ..."). 
1897
1898 sub _latex_escape {
1899   my $value = shift;
1900   $value =~ s/([#\$%&~_\^{}])( )?/"\\$1". ( ( defined($2) && length($2) ) ? "\\$2" : '' )/ge;
1901   $value =~ s/([<>])/\$$1\$/g;
1902   $value;
1903 }
1904
1905 sub _html_escape {
1906   my $value = shift;
1907   encode_entities($value);
1908   $value;
1909 }
1910
1911 sub _html_escape_nbsp {
1912   my $value = _html_escape(shift);
1913   $value =~ s/ +/&nbsp;/g;
1914   $value;
1915 }
1916
1917 #utility methods for print_*
1918
1919 sub _translate_old_latex_format {
1920   warn "_translate_old_latex_format called\n"
1921     if $DEBUG; 
1922
1923   my @template = ();
1924   while ( @_ ) {
1925     my $line = shift;
1926   
1927     if ( $line =~ /^%%Detail\s*$/ ) {
1928   
1929       push @template, q![@--!,
1930                       q!  foreach my $_tr_line (@detail_items) {!,
1931                       q!    if ( scalar ($_tr_item->{'ext_description'} ) ) {!,
1932                       q!      $_tr_line->{'description'} .= !, 
1933                       q!        "\\tabularnewline\n~~".!,
1934                       q!        join( "\\tabularnewline\n~~",!,
1935                       q!          @{$_tr_line->{'ext_description'}}!,
1936                       q!        );!,
1937                       q!    }!;
1938
1939       while ( ( my $line_item_line = shift )
1940               !~ /^%%EndDetail\s*$/                            ) {
1941         $line_item_line =~ s/'/\\'/g;    # nice LTS
1942         $line_item_line =~ s/\\/\\\\/g;  # escape quotes and backslashes
1943         $line_item_line =~ s/\$(\w+)/'. \$_tr_line->{$1}. '/g;
1944         push @template, "    \$OUT .= '$line_item_line';";
1945       }
1946
1947       push @template, '}',
1948                       '--@]';
1949       #' doh, gvim
1950     } elsif ( $line =~ /^%%TotalDetails\s*$/ ) {
1951
1952       push @template, '[@--',
1953                       '  foreach my $_tr_line (@total_items) {';
1954
1955       while ( ( my $total_item_line = shift )
1956               !~ /^%%EndTotalDetails\s*$/                      ) {
1957         $total_item_line =~ s/'/\\'/g;    # nice LTS
1958         $total_item_line =~ s/\\/\\\\/g;  # escape quotes and backslashes
1959         $total_item_line =~ s/\$(\w+)/'. \$_tr_line->{$1}. '/g;
1960         push @template, "    \$OUT .= '$total_item_line';";
1961       }
1962
1963       push @template, '}',
1964                       '--@]';
1965
1966     } else {
1967       $line =~ s/\$(\w+)/[\@-- \$$1 --\@]/g;
1968       push @template, $line;  
1969     }
1970   
1971   }
1972
1973   if ($DEBUG) {
1974     warn "$_\n" foreach @template;
1975   }
1976
1977   (@template);
1978 }
1979
1980 =item terms
1981
1982 =cut
1983
1984 sub terms {
1985   my $self = shift;
1986   my $conf = $self->conf;
1987
1988   #check for an invoice-specific override
1989   return $self->invoice_terms if $self->invoice_terms;
1990   
1991   #check for a customer- specific override
1992   my $cust_main = $self->cust_main;
1993   return $cust_main->invoice_terms if $cust_main && $cust_main->invoice_terms;
1994
1995   my $agentnum = '';
1996   if ( $cust_main ) {
1997     $agentnum = $cust_main->agentnum;
1998   } elsif ( my $prospect_main = $self->prospect_main ) {
1999     $agentnum = $prospect_main->agentnum;
2000   }
2001
2002   #use configured default
2003   $conf->config('invoice_default_terms', $agentnum) || '';
2004 }
2005
2006 =item due_date
2007
2008 =cut
2009
2010 sub due_date {
2011   my $self = shift;
2012   my $duedate = '';
2013   if ( $self->terms =~ /^\s*Net\s*(\d+)\s*$/ ) {
2014     $duedate = $self->_date() + ( $1 * 86400 );
2015   } elsif ( $self->terms =~ /^End of Month$/ ) {
2016     my ($mon,$year) = (localtime($self->_date) )[4,5];
2017     $mon++;
2018     until ( $mon < 12 ) { $mon -= 12; $year++; }
2019     my $nextmonth_first = timelocal(0,0,0,1,$mon,$year);
2020     $duedate = $nextmonth_first - 86400;
2021   }
2022   $duedate;
2023 }
2024
2025 =item due_date2str
2026
2027 =cut
2028
2029 sub due_date2str {
2030   my $self = shift;
2031   $self->due_date ? $self->time2str_local(shift, $self->due_date) : '';
2032 }
2033
2034 =item balance_due_msg
2035
2036 =cut
2037
2038 sub balance_due_msg {
2039   my $self = shift;
2040   my $msg = $self->mt('Balance Due');
2041   return $msg unless $self->terms; # huh?
2042   if ( !$self->conf->exists('invoice_show_prior_due_date')
2043        || $self->has_sections ) {
2044     # if enabled, the due date is shown with Total New Charges (see 
2045     # _items_total) and not here
2046     # (yes, or if invoice_sections is enabled; this is just for compatibility)
2047     if ( $self->due_date ) {
2048       my $please_pay_by =
2049         $self->conf->config('invoice_pay_by_msg', $self->agentnum)
2050         || 'Please pay by [_1]';
2051       $msg .= ' - ' . $self->mt($please_pay_by, $self->due_date2str('short')).
2052               ' '
2053        unless $self->conf->config_bool('invoice_omit_due_date',$self->agentnum);
2054     } elsif ( $self->terms ) {
2055       $msg .= ' - '. $self->mt($self->terms);
2056     }
2057   }
2058   $msg;
2059 }
2060
2061 =item balance_due_date
2062
2063 =cut
2064
2065 sub balance_due_date {
2066   my $self = shift;
2067   my $conf = $self->conf;
2068   my $duedate = '';
2069   my $terms = $self->terms;
2070   if ( $terms =~ /^\s*Net\s*(\d+)\s*$/ ) {
2071     $duedate = $self->time2str_local('rdate', $self->_date + ($1*86400) );
2072   }
2073   $duedate;
2074 }
2075
2076 sub credit_balance_msg { 
2077   my $self = shift;
2078   $self->mt('Credit Balance Remaining')
2079 }
2080
2081 =item _date_pretty
2082
2083 Returns a string with the date, for example: "3/20/2008", localized for the
2084 customer.  Use _date_pretty_unlocalized for non-end-customer display use.
2085
2086 =cut
2087
2088 sub _date_pretty {
2089   my $self = shift;
2090   $self->time2str_local('short', $self->_date);
2091 }
2092
2093 =item _date_pretty_unlocalized
2094
2095 Returns a string with the date, for example: "3/20/2008", in the format
2096 configured for the back-office.  Use _date_pretty for end-customer display use.
2097
2098 =cut
2099
2100 sub _date_pretty_unlocalized {
2101   my $self = shift;
2102   time2str($date_format, $self->_date);
2103 }
2104
2105 =item email HASHREF
2106
2107 Emails this template.
2108
2109 Options are passed as a hashref.  Available options:
2110
2111 =over 4
2112
2113 =item from
2114
2115 If specified, overrides the default From: address.
2116
2117 =item notice_name
2118
2119 If specified, overrides the name of the sent document ("Invoice" or "Quotation")
2120
2121 =item template
2122
2123 (Deprecated) If specified, is the name of a suffix for alternate template files.
2124
2125 =back
2126
2127 Options accepted by generate_email can also be used.
2128
2129 =cut
2130
2131 sub email {
2132   my $self = shift;
2133   my $opt = shift || {};
2134   if ($opt and !ref($opt)) {
2135     die ref($self). '->email called with positional parameters';
2136   }
2137
2138   return if $self->hide;
2139
2140   my $error = send_email(
2141     $self->generate_email(
2142       'subject'     => $self->email_subject($opt->{template}),
2143       %$opt, # template, etc.
2144     )
2145   );
2146
2147   die "can't email: $error\n" if $error;
2148 }
2149
2150 =item generate_email OPTION => VALUE ...
2151
2152 Options:
2153
2154 =over 4
2155
2156 =item from
2157
2158 sender address, required
2159
2160 =item template
2161
2162 alternate template name, optional
2163
2164 =item subject
2165
2166 email subject, optional
2167
2168 =item notice_name
2169
2170 notice name instead of "Invoice", optional
2171
2172 =back
2173
2174 Returns an argument list to be passed to L<FS::Misc::send_email>.
2175
2176 =cut
2177
2178 use MIME::Entity;
2179 use Encode;
2180
2181 sub generate_email {
2182
2183   my $self = shift;
2184   my %args = @_;
2185   my $conf = $self->conf;
2186
2187   my $me = '[FS::Template_Mixin::generate_email]';
2188
2189   my %return = (
2190     'from'      => $args{'from'},
2191     'subject'   => ($args{'subject'} || $self->email_subject),
2192     'custnum'   => $self->custnum,
2193     'msgtype'   => 'invoice',
2194   );
2195
2196   $args{'unsquelch_cdr'} = $conf->exists('voip-cdr_email');
2197
2198   my $cust_main = $self->cust_main;
2199
2200   if (ref($args{'to'}) eq 'ARRAY') {
2201     $return{'to'} = $args{'to'};
2202   } elsif ( $cust_main ) {
2203     $return{'to'} = [ $cust_main->invoicing_list_emailonly ];
2204   }
2205
2206   my $tc = $self->template_conf;
2207
2208   my @text; # array of lines
2209   my $html; # a big string
2210   my @related_parts; # will contain the text/HTML alternative, and images
2211   my $related; # will contain the multipart/related object
2212
2213   if ( $conf->exists($tc. 'email_pdf') ) {
2214     if ( my $msgnum = $conf->config($tc.'email_pdf_msgnum') ) {
2215
2216       warn "$me using '${tc}email_pdf_msgnum' in multipart message"
2217         if $DEBUG;
2218
2219       my $msg_template = FS::msg_template->by_key($msgnum)
2220         or die "${tc}email_pdf_msgnum $msgnum not found\n";
2221       my $cust_msg = $msg_template->prepare(
2222         cust_main => $self->cust_main,
2223         object    => $self,
2224         msgtype   => 'invoice',
2225       );
2226
2227       # XXX hack to make this work in the new cust_msg era; consider replacing
2228       # with cust_bill_send_with_notice events.
2229       my @parts = $cust_msg->parts;
2230       foreach my $part (@parts) { # will only have two parts, normally
2231         if ( $part->mime_type eq 'text/plain' ) {
2232           @text = @{ $part->body };
2233         } elsif ( $part->mime_type eq 'text/html' ) {
2234           $html = $part->bodyhandle->as_string;
2235         }
2236       }
2237
2238     } elsif ( my @note = $conf->config($tc.'email_pdf_note') ) {
2239
2240       warn "$me using '${tc}email_pdf_note' in multipart message"
2241         if $DEBUG;
2242       @text = $conf->config($tc.'email_pdf_note');
2243       $html = join('<BR>', @text);
2244   
2245     } # else use the plain text invoice
2246   }
2247
2248   if (!@text) {
2249
2250     if ( $conf->config($tc.'template') ) {
2251
2252       warn "$me generating plain text invoice"
2253         if $DEBUG;
2254
2255       # 'print_text' argument is no longer used
2256       @text = map Encode::encode_utf8($_), $self->print_text(\%args);
2257
2258     } else {
2259
2260       warn "$me no plain text version exists; sending empty message body"
2261         if $DEBUG;
2262
2263     }
2264
2265   }
2266
2267   my $text_part = build MIME::Entity (
2268     'Type'        => 'text/plain',
2269     'Encoding'    => 'quoted-printable',
2270     'Charset'     => 'UTF-8',
2271     #'Encoding'    => '7bit',
2272     'Data'        => \@text,
2273     'Disposition' => 'inline',
2274   );
2275
2276   if (!$html) {
2277
2278     if ( $conf->exists($tc.'html') ) {
2279       warn "$me generating HTML invoice"
2280         if $DEBUG;
2281
2282       $args{'from'} =~ /\@([\w\.\-]+)/;
2283       my $from = $1 || 'example.com';
2284       my $content_id = join('.', rand()*(2**32), $$, time). "\@$from";
2285
2286       my $logo;
2287       my $agentnum = $cust_main ? $cust_main->agentnum
2288                                 : $self->prospect_main->agentnum;
2289       if ( defined($args{'template'}) && length($args{'template'})
2290            && $conf->exists( 'logo_'. $args{'template'}. '.png', $agentnum )
2291          )
2292       {
2293         $logo = 'logo_'. $args{'template'}. '.png';
2294       } else {
2295         $logo = "logo.png";
2296       }
2297       my $image_data = $conf->config_binary( $logo, $agentnum);
2298
2299       push @related_parts, build MIME::Entity
2300         'Type'       => 'image/png',
2301         'Encoding'   => 'base64',
2302         'Data'       => $image_data,
2303         'Filename'   => 'logo.png',
2304         'Content-ID' => "<$content_id>",
2305       ;
2306    
2307       if ( ref($self) eq 'FS::cust_bill' && $conf->exists('invoice-barcode') ) {
2308         my $barcode_content_id = join('.', rand()*(2**32), $$, time). "\@$from";
2309         push @related_parts, build MIME::Entity
2310           'Type'       => 'image/png',
2311           'Encoding'   => 'base64',
2312           'Data'       => $self->invoice_barcode(0),
2313           'Filename'   => 'barcode.png',
2314           'Content-ID' => "<$barcode_content_id>",
2315         ;
2316         $args{'barcode_cid'} = $barcode_content_id;
2317       }
2318
2319       $html = $self->print_html({ 'cid'=>$content_id, %args });
2320     }
2321
2322   }
2323
2324   if ( $html ) {
2325
2326     warn "$me creating HTML/text multipart message"
2327       if $DEBUG;
2328
2329     $return{'nobody'} = 1;
2330
2331     my $alternative = build MIME::Entity
2332       'Type'        => 'multipart/alternative',
2333       #'Encoding'    => '7bit',
2334       'Disposition' => 'inline'
2335     ;
2336
2337     if ( @text ) {
2338       $alternative->add_part($text_part);
2339     }
2340
2341     $alternative->attach(
2342       'Type'        => 'text/html',
2343       'Encoding'    => 'quoted-printable',
2344       'Data'        => [ '<html>',
2345                          '  <head>',
2346                          '    <title>',
2347                          '      '. encode_entities($return{'subject'}), 
2348                          '    </title>',
2349                          '  </head>',
2350                          '  <body bgcolor="#e8e8e8">',
2351                          Encode::encode_utf8($html),
2352                          '  </body>',
2353                          '</html>',
2354                        ],
2355       'Disposition' => 'inline',
2356       #'Filename'    => 'invoice.pdf',
2357     );
2358
2359     unshift @related_parts, $alternative;
2360
2361     $related = build MIME::Entity 'Type'     => 'multipart/related',
2362                                   'Encoding' => '7bit';
2363
2364     #false laziness w/Misc::send_email
2365     $related->head->replace('Content-type',
2366       $related->mime_type.
2367       '; boundary="'. $related->head->multipart_boundary. '"'.
2368       '; type=multipart/alternative'
2369     );
2370
2371     $related->add_part($_) foreach @related_parts;
2372
2373   }
2374
2375   my @otherparts = ();
2376   if ( ref($self) eq 'FS::cust_bill' && $cust_main->email_csv_cdr ) {
2377
2378     if ( $conf->config('voip-cdr_email_attach') eq 'zip' ) {
2379
2380       my $data = join('', map "$_\n",
2381                    $self->call_details(prepend_billed_number=>1)
2382                  );
2383
2384       my $zip = new Archive::Zip;
2385       my $file = $zip->addString( $data, 'usage-'.$self->invnum.'.csv' );
2386       $file->desiredCompressionMethod( COMPRESSION_DEFLATED );
2387
2388       my $zipdata = '';
2389       my $SH = IO::Scalar->new(\$zipdata);
2390       my $status = $zip->writeToFileHandle($SH);
2391       die "Error zipping CDR attachment: $!" unless $status == AZ_OK;
2392
2393       push @otherparts, build MIME::Entity
2394         'Type'        => 'application/zip',
2395         'Encoding'    => 'base64',
2396         'Data'        => $zipdata,
2397         'Disposition' => 'attachment',
2398         'Filename'    => 'usage-'. $self->invnum. '.zip',
2399       ;
2400
2401     } else { # } elsif ( $conf->config('voip-cdr_email_attach') eq 'csv' ) {
2402  
2403       push @otherparts, build MIME::Entity
2404         'Type'        => 'text/csv',
2405         'Encoding'    => '7bit',
2406         'Data'        => [ map { "$_\n" }
2407                              $self->call_details('prepend_billed_number' => 1)
2408                          ],
2409         'Disposition' => 'attachment',
2410         'Filename'    => 'usage-'. $self->invnum. '.csv',
2411       ;
2412
2413     }
2414
2415   }
2416
2417   if ( $conf->exists($tc.'email_pdf') ) {
2418
2419     #attaching pdf too:
2420     # multipart/mixed
2421     #   multipart/related
2422     #     multipart/alternative
2423     #       text/plain
2424     #       text/html
2425     #     image/png
2426     #   application/pdf
2427
2428     my $pdf = build MIME::Entity $self->mimebuild_pdf(\%args);
2429     push @otherparts, $pdf;
2430   }
2431
2432   if (@otherparts) {
2433     $return{'content-type'} = 'multipart/mixed'; # of the outer container
2434     if ( $html ) {
2435       $return{'mimeparts'} = [ $related, @otherparts ];
2436       $return{'type'} = 'multipart/related'; # of the first part
2437     } else {
2438       $return{'mimeparts'} = [ $text_part, @otherparts ];
2439       $return{'type'} = 'text/plain';
2440     }
2441   } elsif ( $html ) { # no PDF or CSV, strip the outer container
2442     $return{'mimeparts'} = \@related_parts;
2443     $return{'content-type'} = 'multipart/related';
2444     $return{'type'} = 'multipart/alternative';
2445   } else { # no HTML either
2446     $return{'body'} = \@text;
2447     $return{'content-type'} = 'text/plain';
2448   }
2449
2450   %return;
2451
2452 }
2453
2454 =item mimebuild_pdf
2455
2456 Returns a list suitable for passing to MIME::Entity->build(), representing
2457 this quotation or invoice as PDF attachment.
2458
2459 =cut
2460
2461 sub mimebuild_pdf {
2462   my $self = shift;
2463   (
2464     'Type'        => 'application/pdf',
2465     'Encoding'    => 'base64',
2466     'Data'        => [ $self->print_pdf(@_) ],
2467     'Disposition' => 'attachment',
2468     'Filename'    => $self->pdf_filename,
2469   );
2470 }
2471
2472 =item postal_mail_fsinc
2473
2474 Sends this invoice to the Freeside Internet Services, Inc. print and mail
2475 service.
2476
2477 =cut
2478
2479 use CAM::PDF;
2480 use IO::Socket::SSL;
2481 use LWP::UserAgent;
2482 use HTTP::Request::Common qw( POST );
2483 use Cpanel::JSON::XS;
2484 use MIME::Base64;
2485 sub postal_mail_fsinc {
2486   my ( $self, %opt ) = @_;
2487
2488   my $url = 'https://ws.freeside.biz/print';
2489
2490   my $cust_main = $self->cust_main;
2491   my $agentnum = $cust_main->agentnum;
2492   my $bill_location = $cust_main->bill_location;
2493
2494   die "Extra charges for international mailing; contact support\@freeside.biz to enable\n"
2495     if $bill_location->country ne 'US';
2496
2497   my $conf = new FS::Conf;
2498
2499   my @company_address = $conf->config('company_address', $agentnum);
2500   my ( $company_address1, $company_address2, $company_city, $company_state, $company_zip );
2501   if ( $company_address[2] =~ /^\s*(\S.*\S)\s*[\s,](\w\w),?\s*(\d{5}(-\d{4})?)\s*$/ ) {
2502     $company_address1 = $company_address[0];
2503     $company_address2 = $company_address[1];
2504     $company_city  = $1;
2505     $company_state = $2;
2506     $company_zip   = $3;
2507   } elsif ( $company_address[1] =~ /^\s*(\S.*\S)\s*[\s,](\w\w),?\s*(\d{5}(-\d{4})?)\s*$/ ) {
2508     $company_address1 = $company_address[0];
2509     $company_address2 = '';
2510     $company_city  = $1;
2511     $company_state = $2;
2512     $company_zip   = $3;
2513   } else {
2514     die "Unparsable company_address; contact support\@freeside.biz\n";
2515   }
2516   $company_city =~ s/,$//;
2517
2518   my $file = $self->print_pdf(%opt, 'no_addresses' => 1);
2519   my $pages = CAM::PDF->new($file)->numPages;
2520
2521   my $ua = LWP::UserAgent->new(
2522     'ssl_opts' => { 
2523       verify_hostname => 0,
2524       SSL_verify_mode => IO::Socket::SSL::SSL_VERIFY_NONE,
2525       SSL_version     => 'SSLv3',
2526     }
2527   );
2528   my $response = $ua->request( POST $url, [
2529     'support-key'      => scalar($conf->config('support-key')),
2530     'file'             => encode_base64($file),
2531     'pages'            => $pages,
2532
2533     #from:
2534     'company_name'     => scalar( $conf->config('company_name', $agentnum) ),
2535     'company_address1' => $company_address1,
2536     'company_address2' => $company_address2,
2537     'company_city'     => $company_city,
2538     'company_state'    => $company_state,
2539     'company_zip'      => $company_zip,
2540     'company_country'  => 'US',
2541     'company_phonenum' => scalar($conf->config('company_phonenum', $agentnum)),
2542     'company_email'    => scalar($conf->config('invoice_from', $agentnum)),
2543
2544     #to:
2545     'name'             => $cust_main->invoice_attn
2546                             || $cust_main->contact_firstlast,
2547     'company'          => $cust_main->company,
2548     'address1'         => $bill_location->address1,
2549     'address2'         => $bill_location->address2,
2550     'city'             => $bill_location->city,
2551     'state'            => $bill_location->state,
2552     'zip'              => $bill_location->zip,
2553     'country'          => $bill_location->country,
2554   ]);
2555
2556   die "Print connection error: ". $response->message.
2557       ' ('. $response->as_string. ")\n"
2558     unless $response->is_success;
2559
2560   local $@;
2561   my $content = eval { decode_json($response->content) };
2562   die "Print JSON error : $@\n" if $@;
2563
2564   die $content->{error}."\n"
2565     if $content->{error};
2566
2567   #TODO: store this so we can query for a status later
2568   warn "Invoice printed, ID ". $content->{id}. "\n";
2569
2570   $content->{id};
2571
2572 }
2573
2574 =item _items_sections OPTIONS
2575
2576 Generate section information for all items appearing on this invoice.
2577 This will only be called for multi-section invoices.
2578
2579 For each line item (L<FS::cust_bill_pkg> record), this will fetch all 
2580 related display records (L<FS::cust_bill_pkg_display>) and organize 
2581 them into two groups ("early" and "late" according to whether they come 
2582 before or after the total), then into sections.  A subtotal is calculated 
2583 for each section.
2584
2585 Section descriptions are returned in sort weight order.  Each consists 
2586 of a hash containing:
2587
2588 description: the package category name, escaped
2589 subtotal: the total charges in that section
2590 tax_section: a flag indicating that the section contains only tax charges
2591 summarized: same as tax_section, for some reason
2592 sort_weight: the package category's sort weight
2593
2594 If 'condense' is set on the display record, it also contains everything 
2595 returned from C<_condense_section()>, i.e. C<_condensed_foo_generator>
2596 coderefs to generate parts of the invoice.  This is not advised.
2597
2598 The method returns two arrayrefs, one of "early" sections and one of "late"
2599 sections.
2600
2601 OPTIONS may include:
2602
2603 by_location: a flag to divide the invoice into sections by location.  
2604 Each section hash will have a 'location' element containing a hashref of 
2605 the location fields (see L<FS::cust_location>).  The section description
2606 will be the location label, but the template can use any of the location 
2607 fields to create a suitable label.
2608
2609 by_category: a flag to divide the invoice into sections using display 
2610 records (see L<FS::cust_bill_pkg_display>).  This is the "traditional" 
2611 behavior.  Each section hash will have a 'category' element containing
2612 the section name from the display record (which probably equals the 
2613 category name of the package, but may not in some cases).
2614
2615 summary: a flag indicating that this is a summary-format invoice.
2616 Turning this on has the following effects:
2617 - Ignores display items with the 'summary' flag.
2618 - Places all sections in the "early" group even if they have post_total.
2619 - Creates sections for all non-disabled package categories, even if they 
2620 have no charges on this invoice, as well as a section with no name.
2621
2622 escape: an escape function to use for section titles.
2623
2624 extra_sections: an arrayref of additional sections to return after the 
2625 sorted list.  If there are any of these, section subtotals exclude 
2626 usage charges.
2627
2628 format: 'latex', 'html', or 'template' (i.e. text).  Not used, but 
2629 passed through to C<_condense_section()>.
2630
2631 =cut
2632
2633 use vars qw(%pkg_category_cache);
2634 sub _items_sections {
2635   my $self = shift;
2636   my %opt = @_;
2637   
2638   my $escape = $opt{escape};
2639   my @extra_sections = @{ $opt{extra_sections} || [] };
2640
2641   # $subtotal{$locationnum}{$categoryname} = amount.
2642   # if we're not using by_location, $locationnum is undef.
2643   # if we're not using by_category, you guessed it, $categoryname is undef.
2644   # if we're not using either one, we shouldn't be here in the first place...
2645   my %subtotal = ();
2646   my %late_subtotal = ();
2647   my %not_tax = ();
2648
2649   # About tax items + multisection invoices:
2650   # If either invoice_*summary option is enabled, AND there is a 
2651   # package category with the name of the tax, then there will be 
2652   # a display record assigning the tax item to that category.
2653   #
2654   # However, the taxes are always placed in the "Taxes, Surcharges,
2655   # and Fees" section regardless of that.  The only effect of the 
2656   # display record is to create a subtotal for the summary page.
2657
2658   # cache these
2659   my $pkg_hash = $self->cust_pkg_hash;
2660
2661   foreach my $cust_bill_pkg ( $self->cust_bill_pkg )
2662   {
2663
2664       my $usage = $cust_bill_pkg->usage;
2665
2666       my $locationnum;
2667       if ( $opt{by_location} ) {
2668         if ( $cust_bill_pkg->pkgnum ) {
2669           $locationnum = $pkg_hash->{ $cust_bill_pkg->pkgnum }->locationnum;
2670         } else {
2671           $locationnum = '';
2672         }
2673       } else {
2674         $locationnum = undef;
2675       }
2676
2677       # as in _items_cust_pkg, if a line item has no display records,
2678       # cust_bill_pkg_display() returns a default record for it
2679
2680       foreach my $display ($cust_bill_pkg->cust_bill_pkg_display) {
2681         next if ( $display->summary && $opt{summary} );
2682
2683         #my $section = $display->section;
2684         #false laziness with the method, but for efficiency inside this loop
2685         my $section = $display->get('section');
2686         if ( !$section && !$cust_bill_pkg->hidden ) {
2687           $section = $cust_bill_pkg->get('categoryname'); #cust_bill->cust_bill_pkg added it (XXX quotations / quotation_section)
2688         }
2689
2690         my $type    = $display->type;
2691         # Set $section = undef if we're sectioning by location and this
2692         # line item _has_ a location (i.e. isn't a fee).
2693         $section = undef if $locationnum;
2694
2695         # set this flag if the section is not tax-only
2696         $not_tax{$locationnum}{$section} = 1
2697           if $cust_bill_pkg->pkgnum  or $cust_bill_pkg->feepart;
2698
2699         # there's actually a very important piece of logic buried in here:
2700         # incrementing $late_subtotal{$section} CREATES 
2701         # $late_subtotal{$section}.  keys(%late_subtotal) is later used 
2702         # to define the list of late sections, and likewise keys(%subtotal).
2703         # When _items_cust_bill_pkg is called to generate line items for 
2704         # real, it will be called with 'section' => $section for each 
2705         # of these.
2706         if ( $display->post_total && !$opt{summary} ) {
2707           if (! $type || $type eq 'S') {
2708             $late_subtotal{$locationnum}{$section} += $cust_bill_pkg->setup
2709               if $cust_bill_pkg->setup != 0
2710               || $cust_bill_pkg->setup_show_zero;
2711           }
2712
2713           if (! $type) {
2714             $late_subtotal{$locationnum}{$section} += $cust_bill_pkg->recur
2715               if $cust_bill_pkg->recur != 0
2716               || $cust_bill_pkg->recur_show_zero;
2717           }
2718
2719           if ($type && $type eq 'R') {
2720             $late_subtotal{$locationnum}{$section} += $cust_bill_pkg->recur - $usage
2721               if $cust_bill_pkg->recur != 0
2722               || $cust_bill_pkg->recur_show_zero;
2723           }
2724           
2725           if ($type && $type eq 'U') {
2726             $late_subtotal{$locationnum}{$section} += $usage
2727               unless scalar(@extra_sections);
2728           }
2729
2730         } else { # it's a pre-total (normal) section
2731
2732           # skip tax items unless they're explicitly included in a section
2733           next if $cust_bill_pkg->pkgnum == 0 and
2734                   ! $cust_bill_pkg->feepart   and
2735                   ! $section;
2736
2737           if ( $type eq 'S' ) {
2738             $subtotal{$locationnum}{$section} += $cust_bill_pkg->setup
2739               if $cust_bill_pkg->setup != 0
2740               || $cust_bill_pkg->setup_show_zero;
2741           } elsif ( $type eq 'R' ) {
2742             $subtotal{$locationnum}{$section} += $cust_bill_pkg->recur - $usage
2743               if $cust_bill_pkg->recur != 0
2744               || $cust_bill_pkg->recur_show_zero;
2745           } elsif ( $type eq 'U' ) {
2746             $subtotal{$locationnum}{$section} += $usage
2747               unless scalar(@extra_sections);
2748           } elsif ( !$type ) {
2749             $subtotal{$locationnum}{$section} += $cust_bill_pkg->setup
2750                                                + $cust_bill_pkg->recur;
2751           }
2752
2753         }
2754
2755       }
2756
2757   }
2758
2759   %pkg_category_cache = ();
2760
2761   # summary invoices need subtotals for all non-disabled package categories,
2762   # even if they're zero
2763   # but currently assume that there are no location sections, or at least
2764   # that the summary page doesn't care about them
2765   if ( $opt{summary} ) {
2766     foreach my $category (qsearch('pkg_category', {disabled => ''})) {
2767       $subtotal{''}{$category->categoryname} ||= 0;
2768     }
2769     $subtotal{''}{''} ||= 0;
2770   }
2771
2772   my @sections;
2773   foreach my $post_total (0,1) {
2774     my @these;
2775     my $s = $post_total ? \%late_subtotal : \%subtotal;
2776     foreach my $locationnum (keys %$s) {
2777       foreach my $sectionname (keys %{ $s->{$locationnum} }) {
2778         my $section = {
2779                         'subtotal'    => $s->{$locationnum}{$sectionname},
2780                         'sort_weight' => 0,
2781                       };
2782         if ( $locationnum ) {
2783           $section->{'locationnum'} = $locationnum;
2784           my $location = FS::cust_location->by_key($locationnum);
2785           $section->{'description'} = &{ $escape }($location->location_label);
2786           # Better ideas? This will roughly group them by proximity, 
2787           # which alpha sorting on any of the address fields won't.
2788           # Sorting by locationnum is meaningless.
2789           # We have to sort on _something_ or the order may change 
2790           # randomly from one invoice to the next, which will confuse
2791           # people.
2792           $section->{'sort_weight'} = sprintf('%012s',$location->zip) .
2793                                       $locationnum;
2794           $section->{'location'} = {
2795             label_prefix => &{ $escape }($location->label_prefix),
2796             map { $_ => &{ $escape }($location->get($_)) }
2797               $location->fields
2798           };
2799         } else {
2800           $section->{'category'} = $sectionname;
2801           $section->{'description'} = &{ $escape }($sectionname);
2802           if ( _pkg_category($sectionname) ) {
2803             $section->{'sort_weight'} = _pkg_category($sectionname)->weight;
2804             if ( _pkg_category($sectionname)->condense ) {
2805               $section = { %$section, $self->_condense_section($opt{format}) };
2806             }
2807           }
2808         }
2809         if ( !$post_total and !$not_tax{$locationnum}{$sectionname} ) {
2810           # then it's a tax-only section
2811           $section->{'summarized'} = 'Y';
2812           $section->{'tax_section'} = 'Y';
2813         }
2814         push @these, $section;
2815       } # foreach $sectionname
2816     } #foreach $locationnum
2817     push @these, @extra_sections if $post_total == 0;
2818     # need an alpha sort for location sections, because postal codes can 
2819     # be non-numeric
2820     $sections[ $post_total ] = [ sort {
2821       $opt{'by_location'} ? 
2822         ($a->{sort_weight} cmp $b->{sort_weight}) :
2823         ($a->{sort_weight} <=> $b->{sort_weight})
2824       } @these ];
2825   } #foreach $post_total
2826
2827   return @sections; # early, late
2828 }
2829
2830 #helper subs for above
2831
2832 sub cust_pkg_hash {
2833   my $self = shift;
2834   $self->{cust_pkg} ||= { map { $_->pkgnum => $_ } $self->cust_pkg };
2835 }
2836
2837 sub _pkg_category {
2838   my $categoryname = shift;
2839   $pkg_category_cache{$categoryname} ||=
2840     qsearchs( 'pkg_category', { 'categoryname' => $categoryname } );
2841 }
2842
2843 my %condensed_format = (
2844   'label' => [ qw( Description Qty Amount ) ],
2845   'fields' => [
2846                 sub { shift->{description} },
2847                 sub { shift->{quantity} },
2848                 sub { my($href, %opt) = @_;
2849                       ($opt{dollar} || ''). $href->{amount};
2850                     },
2851               ],
2852   'align'  => [ qw( l r r ) ],
2853   'span'   => [ qw( 5 1 1 ) ],            # unitprices?
2854   'width'  => [ qw( 10.7cm 1.4cm 1.6cm ) ],   # don't like this
2855 );
2856
2857 sub _condense_section {
2858   my ( $self, $format ) = ( shift, shift );
2859   ( 'condensed' => 1,
2860     map { my $method = "_condensed_$_"; $_ => $self->$method($format) }
2861       qw( description_generator
2862           header_generator
2863           total_generator
2864           total_line_generator
2865         )
2866   );
2867 }
2868
2869 sub _condensed_generator_defaults {
2870   my ( $self, $format ) = ( shift, shift );
2871   return ( \%condensed_format, ' ', ' ', ' ', sub { shift } );
2872 }
2873
2874 my %html_align = (
2875   'c' => 'center',
2876   'l' => 'left',
2877   'r' => 'right',
2878 );
2879
2880 sub _condensed_header_generator {
2881   my ( $self, $format ) = ( shift, shift );
2882
2883   my ( $f, $prefix, $suffix, $separator, $column ) =
2884     _condensed_generator_defaults($format);
2885
2886   if ($format eq 'latex') {
2887     $prefix = "\\hline\n\\rule{0pt}{2.5ex}\n\\makebox[1.4cm]{}&\n";
2888     $suffix = "\\\\\n\\hline";
2889     $separator = "&\n";
2890     $column =
2891       sub { my ($d,$a,$s,$w) = @_;
2892             return "\\multicolumn{$s}{$a}{\\makebox[$w][$a]{\\textbf{$d}}}";
2893           };
2894   } elsif ( $format eq 'html' ) {
2895     $prefix = '<th></th>';
2896     $suffix = '';
2897     $separator = '';
2898     $column =
2899       sub { my ($d,$a,$s,$w) = @_;
2900             return qq!<th align="$html_align{$a}">$d</th>!;
2901       };
2902   }
2903
2904   sub {
2905     my @args = @_;
2906     my @result = ();
2907
2908     foreach  (my $i = 0; $f->{label}->[$i]; $i++) {
2909       push @result,
2910         &{$column}( map { $f->{$_}->[$i] } qw(label align span width) );
2911     }
2912
2913     $prefix. join($separator, @result). $suffix;
2914   };
2915
2916 }
2917
2918 sub _condensed_description_generator {
2919   my ( $self, $format ) = ( shift, shift );
2920
2921   my ( $f, $prefix, $suffix, $separator, $column ) =
2922     _condensed_generator_defaults($format);
2923
2924   my $money_char = '$';
2925   if ($format eq 'latex') {
2926     $prefix = "\\hline\n\\multicolumn{1}{c}{\\rule{0pt}{2.5ex}~} &\n";
2927     $suffix = '\\\\';
2928     $separator = " & \n";
2929     $column =
2930       sub { my ($d,$a,$s,$w) = @_;
2931             return "\\multicolumn{$s}{$a}{\\makebox[$w][$a]{\\textbf{$d}}}";
2932           };
2933     $money_char = '\\dollar';
2934   }elsif ( $format eq 'html' ) {
2935     $prefix = '"><td align="center"></td>';
2936     $suffix = '';
2937     $separator = '';
2938     $column =
2939       sub { my ($d,$a,$s,$w) = @_;
2940             return qq!<td align="$html_align{$a}">$d</td>!;
2941       };
2942     #$money_char = $conf->config('money_char') || '$';
2943     $money_char = '';  # this is madness
2944   }
2945
2946   sub {
2947     #my @args = @_;
2948     my $href = shift;
2949     my @result = ();
2950
2951     foreach  (my $i = 0; $f->{label}->[$i]; $i++) {
2952       my $dollar = '';
2953       $dollar = $money_char if $i == scalar(@{$f->{label}})-1;
2954       push @result,
2955         &{$column}( &{$f->{fields}->[$i]}($href, 'dollar' => $dollar),
2956                     map { $f->{$_}->[$i] } qw(align span width)
2957                   );
2958     }
2959
2960     $prefix. join( $separator, @result ). $suffix;
2961   };
2962
2963 }
2964
2965 sub _condensed_total_generator {
2966   my ( $self, $format ) = ( shift, shift );
2967
2968   my ( $f, $prefix, $suffix, $separator, $column ) =
2969     _condensed_generator_defaults($format);
2970   my $style = '';
2971
2972   if ($format eq 'latex') {
2973     $prefix = "& ";
2974     $suffix = "\\\\\n";
2975     $separator = " & \n";
2976     $column =
2977       sub { my ($d,$a,$s,$w) = @_;
2978             return "\\multicolumn{$s}{$a}{\\makebox[$w][$a]{$d}}";
2979           };
2980   }elsif ( $format eq 'html' ) {
2981     $prefix = '';
2982     $suffix = '';
2983     $separator = '';
2984     $style = 'border-top: 3px solid #000000;border-bottom: 3px solid #000000;';
2985     $column =
2986       sub { my ($d,$a,$s,$w) = @_;
2987             return qq!<td align="$html_align{$a}" style="$style">$d</td>!;
2988       };
2989   }
2990
2991
2992   sub {
2993     my @args = @_;
2994     my @result = ();
2995
2996     #  my $r = &{$f->{fields}->[$i]}(@args);
2997     #  $r .= ' Total' unless $i;
2998
2999     foreach  (my $i = 0; $f->{label}->[$i]; $i++) {
3000       push @result,
3001         &{$column}( &{$f->{fields}->[$i]}(@args). ($i ? '' : ' Total'),
3002                     map { $f->{$_}->[$i] } qw(align span width)
3003                   );
3004     }
3005
3006     $prefix. join( $separator, @result ). $suffix;
3007   };
3008
3009 }
3010
3011 =item total_line_generator FORMAT
3012
3013 Returns a coderef used for generation of invoice total line items for this
3014 usage_class.  FORMAT is either html or latex
3015
3016 =cut
3017
3018 # should not be used: will have issues with hash element names (description vs
3019 # total_item and amount vs total_amount -- another array of functions?
3020
3021 sub _condensed_total_line_generator {
3022   my ( $self, $format ) = ( shift, shift );
3023
3024   my ( $f, $prefix, $suffix, $separator, $column ) =
3025     _condensed_generator_defaults($format);
3026   my $style = '';
3027
3028   if ($format eq 'latex') {
3029     $prefix = "& ";
3030     $suffix = "\\\\\n";
3031     $separator = " & \n";
3032     $column =
3033       sub { my ($d,$a,$s,$w) = @_;
3034             return "\\multicolumn{$s}{$a}{\\makebox[$w][$a]{$d}}";
3035           };
3036   }elsif ( $format eq 'html' ) {
3037     $prefix = '';
3038     $suffix = '';
3039     $separator = '';
3040     $style = 'border-top: 3px solid #000000;border-bottom: 3px solid #000000;';
3041     $column =
3042       sub { my ($d,$a,$s,$w) = @_;
3043             return qq!<td align="$html_align{$a}" style="$style">$d</td>!;
3044       };
3045   }
3046
3047
3048   sub {
3049     my @args = @_;
3050     my @result = ();
3051
3052     foreach  (my $i = 0; $f->{label}->[$i]; $i++) {
3053       push @result,
3054         &{$column}( &{$f->{fields}->[$i]}(@args),
3055                     map { $f->{$_}->[$i] } qw(align span width)
3056                   );
3057     }
3058
3059     $prefix. join( $separator, @result ). $suffix;
3060   };
3061
3062 }
3063
3064 =item _items_pkg [ OPTIONS ]
3065
3066 Return line item hashes for each package item on this invoice. Nearly 
3067 equivalent to 
3068
3069 $self->_items_cust_bill_pkg([ $self->cust_bill_pkg ])
3070
3071 OPTIONS are passed through to _items_cust_bill_pkg, and should include
3072 'format' and 'escape_function' at minimum.
3073
3074 To produce items for a specific invoice section, OPTIONS should include
3075 'section', a hashref containing 'category' and/or 'locationnum' keys.
3076
3077 'section' may also contain a key named 'condensed'. If this is present
3078 and has a true value, _items_pkg will try to merge identical items into items
3079 with 'quantity' equal to the number of items (not the sum of their separate
3080 quantities, for some reason).
3081
3082 =cut
3083
3084 sub _items_nontax {
3085   my $self = shift;
3086   # The order of these is important.  Bundled line items will be merged into
3087   # the most recent non-hidden item, so it needs to be the one with:
3088   # - the same pkgnum
3089   # - the same start date
3090   # - no pkgpart_override
3091   #
3092   # So: sort by pkgnum,
3093   # then by sdate
3094   # then sort the base line item before any overrides
3095   # then sort hidden before non-hidden add-ons
3096   # then sort by override pkgpart (for consistency)
3097   sort { $a->pkgnum <=> $b->pkgnum        or
3098          $a->sdate  <=> $b->sdate         or
3099          ($a->pkgpart_override ? 0 : -1)  or
3100          ($b->pkgpart_override ? 0 : 1)   or
3101          $b->hidden cmp $a->hidden        or
3102          $a->pkgpart_override <=> $b->pkgpart_override
3103        }
3104   # and of course exclude taxes and fees
3105   grep { $_->pkgnum > 0 } $self->cust_bill_pkg;
3106 }
3107
3108 sub _items_fee {
3109   my $self = shift;
3110   my %options = @_;
3111   my @cust_bill_pkg = grep { $_->feepart } $self->cust_bill_pkg;
3112   my $escape_function = $options{escape_function};
3113
3114   my $locale = $self->cust_main->locale;
3115
3116   my @items;
3117   foreach my $cust_bill_pkg (@cust_bill_pkg) {
3118     # cache this, so we don't look it up again in every section
3119     my $part_fee = $cust_bill_pkg->get('part_fee')
3120        || $cust_bill_pkg->part_fee;
3121     $cust_bill_pkg->set('part_fee', $part_fee);
3122     if (!$part_fee) {
3123       #die "fee definition not found for line item #".$cust_bill_pkg->billpkgnum."\n"; # might make more sense
3124       warn "fee definition not found for line item #".$cust_bill_pkg->billpkgnum."\n";
3125       next;
3126     }
3127     if ( exists($options{section}) and exists($options{section}{category}) )
3128     {
3129       my $categoryname = $options{section}{category};
3130       # then filter for items that have that section
3131       if ( $part_fee->categoryname ne $categoryname ) {
3132         warn "skipping fee '".$part_fee->itemdesc."'--not in section $categoryname\n" if $DEBUG;
3133         next;
3134       }
3135     } # otherwise include them all in the main section
3136     # XXX what to do when sectioning by location?
3137     
3138     my @ext_desc;
3139     my %base_invnums; # invnum => invoice date
3140     foreach ($cust_bill_pkg->cust_bill_pkg_fee) {
3141       if ($_->base_invnum) {
3142         my $base_bill = FS::cust_bill->by_key($_->base_invnum);
3143         my $base_date = $self->time2str_local('short', $base_bill->_date)
3144           if $base_bill;
3145         $base_invnums{$_->base_invnum} = $base_date || '';
3146       }
3147     }
3148     foreach (sort keys(%base_invnums)) {
3149       next if $_ == $self->invnum;
3150       # per convention, we must escape ext_description lines
3151       push @ext_desc,
3152         &{$escape_function}(
3153           $self->mt('from invoice #[_1] on [_2]', $_, $base_invnums{$_})
3154         );
3155     }
3156     my $desc = $part_fee->itemdesc_locale($locale);
3157     # but not escape the base description line
3158
3159     my @pkg_tax = $cust_bill_pkg->_pkg_tax_list
3160       if $options{section_with_taxes};
3161
3162     push @items,
3163       { feepart     => $cust_bill_pkg->feepart,
3164         amount      => sprintf('%.2f', $cust_bill_pkg->setup + $cust_bill_pkg->recur),
3165         description => $desc,
3166         pkg_tax     => \@pkg_tax,
3167         ext_description => \@ext_desc
3168         # sdate/edate?
3169       };
3170   }
3171   @items;
3172 }
3173
3174 sub _items_pkg {
3175   my $self = shift;
3176   my %options = @_;
3177
3178   warn "$me _items_pkg searching for all package line items\n"
3179     if $DEBUG > 1;
3180
3181   my @cust_bill_pkg = $self->_items_nontax;
3182
3183   warn "$me _items_pkg filtering line items\n"
3184     if $DEBUG > 1;
3185   my @items = $self->_items_cust_bill_pkg(\@cust_bill_pkg, @_);
3186
3187   if ($options{section} && $options{section}->{condensed}) {
3188
3189     warn "$me _items_pkg condensing section\n"
3190       if $DEBUG > 1;
3191
3192     my %itemshash = ();
3193     local $Storable::canonical = 1;
3194     foreach ( @items ) {
3195       my $item = { %$_ };
3196       delete $item->{ref};
3197       delete $item->{ext_description};
3198       my $key = freeze($item);
3199       $itemshash{$key} ||= 0;
3200       $itemshash{$key} ++; # += $item->{quantity};
3201     }
3202     @items = sort { $a->{description} cmp $b->{description} }
3203              map { my $i = thaw($_);
3204                    $i->{quantity} = $itemshash{$_};
3205                    $i->{amount} =
3206                      sprintf( "%.2f", $i->{quantity} * $i->{amount} );#unit_amount
3207                    $i;
3208                  }
3209              keys %itemshash;
3210   }
3211
3212   warn "$me _items_pkg returning ". scalar(@items). " items\n"
3213     if $DEBUG > 1;
3214
3215   @items;
3216 }
3217
3218 sub _taxsort {
3219   return 0 unless $a->itemdesc cmp $b->itemdesc;
3220   return -1 if $b->itemdesc eq 'Tax';
3221   return 1 if $a->itemdesc eq 'Tax';
3222   return -1 if $b->itemdesc eq 'Other surcharges';
3223   return 1 if $a->itemdesc eq 'Other surcharges';
3224   $a->itemdesc cmp $b->itemdesc;
3225 }
3226
3227 sub _items_tax {
3228   my $self = shift;
3229   my @cust_bill_pkg = sort _taxsort grep { ! $_->pkgnum and ! $_->feepart } 
3230     $self->cust_bill_pkg;
3231   my @items = $self->_items_cust_bill_pkg(\@cust_bill_pkg, @_);
3232
3233   if ( $self->conf->exists('always_show_tax') ) {
3234     my $itemdesc = $self->conf->config('always_show_tax') || 'Tax';
3235     if (0 == grep { $_->{description} eq $itemdesc } @items) {
3236       push @items,
3237         { 'description' => $itemdesc,
3238           'amount'      => 0.00 };
3239     }
3240   }
3241   @items;
3242 }
3243
3244 =item _items_cust_bill_pkg CUST_BILL_PKGS OPTIONS
3245
3246 Takes an arrayref of L<FS::cust_bill_pkg> objects, and returns a
3247 list of hashrefs describing the line items they generate on the invoice.
3248
3249 OPTIONS may include:
3250
3251 format: the invoice format.
3252
3253 escape_function: the function used to escape strings.
3254
3255 DEPRECATED? (expensive, mostly unused?)
3256 format_function: the function used to format CDRs.
3257
3258 section: a hashref containing 'category' and/or 'locationnum'; if this 
3259 is present, only returns line items that belong to that category and/or
3260 location (whichever is defined).
3261
3262 multisection: a flag indicating that this is a multisection invoice,
3263 which does something complicated.
3264
3265 section_with_taxes:  Look up and include applied taxes for each record
3266
3267 Returns a list of hashrefs, each of which may contain:
3268
3269 pkgnum, description, amount, unit_amount, quantity, pkgpart, _is_setup, and 
3270 ext_description, which is an arrayref of detail lines to show below 
3271 the package line.
3272
3273 =cut
3274
3275 sub _items_cust_bill_pkg {
3276   my $self = shift;
3277   my $conf = $self->conf;
3278   my $cust_bill_pkgs = shift;
3279   my %opt = @_;
3280
3281   my $format = $opt{format} || '';
3282   my $escape_function = $opt{escape_function} || sub { shift };
3283   my $format_function = $opt{format_function} || '';
3284   my $no_usage = $opt{no_usage} || '';
3285   my $unsquelched = $opt{unsquelched} || ''; #unused
3286   my ($section, $locationnum, $category);
3287   if ( $opt{section} ) {
3288     $category = $opt{section}->{category};
3289     $locationnum = $opt{section}->{locationnum};
3290   }
3291   my $summary_page = $opt{summary_page} || ''; #unused
3292   my $multisection = defined($category) || defined($locationnum);
3293   # this variable is the value of the config setting, not whether it applies
3294   # to this particular line item.
3295   my $discount_show_always = $conf->exists('discount-show-always');
3296
3297   my $maxlength = $conf->config('cust_bill-latex_lineitem_maxlength') || 40;
3298
3299   my $cust_main = $self->cust_main;#for per-agent cust_bill-line_item-ate_style
3300
3301   my $agentnum = $self->agentnum;
3302
3303   # for location labels: use default location on the invoice date
3304   my $default_locationnum;
3305   if ( $conf->exists('invoice-all_pkg_addresses') ) {
3306     $default_locationnum = 0; # treat them all as non-default
3307   } elsif ( $self->custnum ) {
3308     my $h_cust_main;
3309     my @h_search = FS::h_cust_main->sql_h_search($self->_date);
3310     $h_cust_main = qsearchs({
3311         'table'     => 'h_cust_main',
3312         'hashref'   => { custnum => $self->custnum },
3313         'extra_sql' => $h_search[1],
3314         'addl_from' => $h_search[3],
3315     }) || $cust_main;
3316     $default_locationnum = $h_cust_main->ship_locationnum;
3317   } elsif ( $self->prospectnum ) {
3318     my $cust_location = qsearchs('cust_location',
3319       { prospectnum => $self->prospectnum,
3320         disabled => '' });
3321     $default_locationnum = $cust_location->locationnum if $cust_location;
3322   }
3323
3324   my @b = (); # accumulator for the line item hashes that we'll return
3325   my ($s, $r, $u, $d) = ( undef, undef, undef, undef );
3326             # the 'current' line item hashes for setup, recur, usage, discount
3327   foreach my $cust_bill_pkg ( @$cust_bill_pkgs )
3328   {
3329     # if the current line item is waiting to go out, and the one we're about
3330     # to start is not bundled, then push out the current one and start a new
3331     # one.
3332     if ( $d ) {
3333       $d->{amount} = $d->{setup_amount} + $d->{recur_amount};
3334     }
3335     foreach ( $s, $r, ($opt{skip_usage} ? () : $u ), $d ) {
3336       if ( $_ && !$cust_bill_pkg->hidden ) {
3337         $_->{amount}      = sprintf( "%.2f", $_->{amount} );
3338         $_->{amount}      =~ s/^\-0\.00$/0.00/;
3339         if (exists($_->{unit_amount})) {
3340           $_->{unit_amount} = sprintf( "%.2f", $_->{unit_amount} );
3341         }
3342         push @b, { %$_ };
3343         # we already decided to create this display line; don't reconsider it
3344         # now.
3345         #  if $_->{amount} != 0
3346         #  || $discount_show_always
3347         #  || ( ! $_->{_is_setup} && $_->{recur_show_zero} )
3348         #  || (   $_->{_is_setup} && $_->{setup_show_zero} )
3349         ;
3350         $_ = undef;
3351       }
3352     }
3353
3354     if ( $locationnum ) {
3355       # this is a location section; skip packages that aren't at this
3356       # service location.
3357       next if $cust_bill_pkg->pkgnum == 0; # skips fees...
3358       next if $self->cust_pkg_hash->{ $cust_bill_pkg->pkgnum }->locationnum 
3359               != $locationnum;
3360     }
3361
3362     # Consider display records for this item to determine if it belongs
3363     # in this section.  Note that if there are no display records, there
3364     # will be a default pseudo-record that includes all charge types 
3365     # and has no section name.
3366     my @cust_bill_pkg_display = $cust_bill_pkg->can('cust_bill_pkg_display')
3367                                   ? $cust_bill_pkg->cust_bill_pkg_display
3368                                   : ( $cust_bill_pkg );
3369
3370     warn "$me _items_cust_bill_pkg considering cust_bill_pkg ".
3371          $cust_bill_pkg->billpkgnum. ", pkgnum ". $cust_bill_pkg->pkgnum. "\n"
3372       if $DEBUG > 1;
3373
3374     if ( defined($category) ) {
3375       # then this is a package category section; process all display records
3376       # that belong to this section.
3377       @cust_bill_pkg_display = grep { $_->section eq $category }
3378                                 @cust_bill_pkg_display;
3379     } else {
3380       # otherwise, process all display records that aren't usage summaries
3381       # (I don't think there should be usage summaries if you aren't using 
3382       # category sections, but this is the historical behavior)
3383       @cust_bill_pkg_display = grep { !$_->summary }
3384                                 @cust_bill_pkg_display;
3385     }
3386
3387     my $classname = ''; # package class name, will fill in later
3388
3389     foreach my $display (@cust_bill_pkg_display) {
3390
3391       warn "$me _items_cust_bill_pkg considering cust_bill_pkg_display ".
3392            $display->billpkgdisplaynum. "\n"
3393         if $DEBUG > 1;
3394
3395       my $type = $display->type;
3396
3397       my $desc = $cust_bill_pkg->desc( $cust_main ? $cust_main->locale : '' );
3398       $desc = substr($desc, 0, $maxlength). '...'
3399         if $format eq 'latex' && length($desc) > $maxlength;
3400
3401       my %details_opt = ( 'format'          => $format,
3402                           'escape_function' => $escape_function,
3403                           'format_function' => $format_function,
3404                           'no_usage'        => $opt{'no_usage'},
3405                         );
3406
3407       if ( $cust_bill_pkg->pkgnum > 0 ) {
3408         # a "normal" package line item (not a quotation, not a fee, not a tax)
3409
3410         warn "$me _items_cust_bill_pkg cust_bill_pkg is non-tax\n"
3411           if $DEBUG > 1;
3412  
3413         my $cust_pkg = $cust_bill_pkg->cust_pkg;
3414         my $part_pkg = $cust_pkg->part_pkg;
3415
3416         # which pkgpart to show for display purposes?
3417         my $pkgpart = $cust_bill_pkg->pkgpart_override || $cust_pkg->pkgpart;
3418
3419         # start/end dates for invoice formats that do nonstandard 
3420         # things with them
3421         my %item_dates = ();
3422         %item_dates = map { $_ => $cust_bill_pkg->$_ } ('sdate', 'edate')
3423           unless $part_pkg->option('disable_line_item_date_ranges',1);
3424
3425         # not normally used, but pass this to the template anyway
3426         $classname = $part_pkg->classname;
3427
3428         my @pkg_tax = $cust_bill_pkg->_pkg_tax_list
3429           if $self->conf->exists('invoice_sections_with_taxes');
3430
3431         if (    (!$type || $type eq 'S')
3432              && (    $cust_bill_pkg->setup != 0
3433                   || $cust_bill_pkg->setup_show_zero
3434                   || ($discount_show_always and $cust_bill_pkg->unitsetup > 0)
3435                 )
3436            )
3437          {
3438
3439           warn "$me _items_cust_bill_pkg adding setup\n"
3440             if $DEBUG > 1;
3441
3442           # append the word 'Setup' to the setup line if there's going to be
3443           # a recur line for the same package (i.e. not a one-time charge) 
3444           # XXX localization
3445           my $description = $desc;
3446           $description .= ' Setup'
3447             if $cust_bill_pkg->recur != 0
3448             || ($discount_show_always and $cust_bill_pkg->unitrecur > 0)
3449             || $cust_bill_pkg->recur_show_zero;
3450
3451           my $disable_date_ranges =
3452                $opt{disable_line_item_date_ranges}
3453             || $part_pkg->option('disable_line_item_date_ranges', 1);
3454
3455           $description .= $cust_bill_pkg->time_period_pretty(
3456                             $part_pkg,
3457                             $agentnum,
3458                             disable_date_ranges => $disable_date_ranges,
3459                           )
3460             if $part_pkg->is_prepaid #for prepaid, "display the validity period
3461                                      # triggered by the recurring charge freq
3462                                      # (RT#26274)
3463             && $cust_bill_pkg->recur == 0
3464             && ! $cust_bill_pkg->recur_show_zero;
3465
3466           my @d = ();
3467           my $svc_label;
3468
3469           # always pass the svc_label through to the template, even if 
3470           # not displaying it as an ext_description
3471           my @svc_labels = map &{$escape_function}($_),
3472             $cust_pkg->h_labels_short($self->_date,
3473                                       undef,
3474                                       'I',
3475                                       $self->conf->{locale},
3476                                      );
3477           $svc_label = $svc_labels[0];
3478
3479           unless ( $cust_pkg->part_pkg->hide_svc_detail
3480                 || $cust_bill_pkg->hidden )
3481           {
3482
3483             push @d, @svc_labels
3484               unless $cust_bill_pkg->pkgpart_override; #don't redisplay services
3485             # show the location label if it's not the customer's default
3486             # location, and we're not grouping items by location already
3487             if ( $cust_pkg->locationnum != $default_locationnum
3488                   and !defined($locationnum) ) {
3489               my $loc = $cust_pkg->location_label;
3490               $loc = substr($loc, 0, $maxlength). '...'
3491                 if $format eq 'latex' && length($loc) > $maxlength;
3492               push @d, &{$escape_function}($loc);
3493             }
3494
3495           } #unless hiding service details
3496
3497           push @d, $cust_bill_pkg->details(%details_opt)
3498             if $cust_bill_pkg->recur == 0;
3499
3500           if ( $cust_bill_pkg->hidden ) {
3501             $s->{amount}      += $cust_bill_pkg->setup;
3502             $s->{unit_amount} += $cust_bill_pkg->unitsetup;
3503             push @{ $s->{ext_description} }, @d;
3504           } else {
3505             $s = {
3506               billpkgnum      => $cust_bill_pkg->billpkgnum,
3507               _is_setup       => 1,
3508               description     => $description,
3509               pkgpart         => $pkgpart,
3510               pkgnum          => $cust_bill_pkg->pkgnum,
3511               amount          => $cust_bill_pkg->setup,
3512               setup_show_zero => $cust_bill_pkg->setup_show_zero,
3513               unit_amount     => $cust_bill_pkg->unitsetup,
3514               quantity        => $cust_bill_pkg->quantity,
3515               ext_description => \@d,
3516               svc_label       => ($svc_label || ''),
3517               locationnum     => $cust_pkg->locationnum, # sure, why not?
3518               pkg_tax         => \@pkg_tax,
3519             };
3520           };
3521
3522         }
3523
3524         # should we show a recur line?
3525         # if type eq 'S', then NO, because we've been told not to.
3526         # otherwise, show the recur line if:
3527         # - there's a recurring charge
3528         # - or recur_show_zero is on
3529         # - or there's a positive unitrecur (so it's been discounted to zero)
3530         #   and discount-show-always is on
3531         if (    ( !$type || $type eq 'R' || $type eq 'U' )
3532              && (
3533                      $cust_bill_pkg->recur != 0
3534                   || !defined($s)
3535                   || ($discount_show_always and $cust_bill_pkg->unitrecur > 0)
3536                   || $cust_bill_pkg->recur_show_zero
3537                 )
3538            )
3539         {
3540
3541           warn "$me _items_cust_bill_pkg adding recur/usage\n"
3542             if $DEBUG > 1;
3543
3544           my $is_summary = $display->summary;
3545           my $description = $desc;
3546           if ( $type eq 'U' and defined($r) ) {
3547             # don't just show the same description as the recur line
3548             $description = $self->mt('Usage charges');
3549           }
3550
3551           my $disable_date_ranges =
3552                $opt{disable_line_item_date_ranges}
3553             || $part_pkg->option('disable_line_item_date_ranges', 1);
3554
3555           $description .= $cust_bill_pkg->time_period_pretty(
3556                                     $part_pkg,
3557                                     $agentnum,
3558                                     disable_date_ranges => $disable_date_ranges,
3559                           );
3560
3561           my @d = ();
3562           my @seconds = (); # for display of usage info
3563           my $svc_label = '';
3564
3565           #at least until cust_bill_pkg has "past" ranges in addition to
3566           #the "future" sdate/edate ones... see #3032
3567           my @dates = ( $self->_date );
3568           my $prev = $cust_bill_pkg->previous_cust_bill_pkg;
3569           push @dates, $prev->sdate if $prev;
3570           push @dates, undef if !$prev;
3571
3572           my @svc_labels = map &{$escape_function}($_),
3573             $cust_pkg->h_labels_short(@dates,
3574                                       'I',
3575                                       $self->conf->{locale});
3576           $svc_label = $svc_labels[0];
3577
3578           # show service labels, unless...
3579                     # the package is set not to display them
3580           unless ( $part_pkg->hide_svc_detail
3581                     # or this is a tax-like line item
3582                 || $cust_bill_pkg->itemdesc
3583                     # or this is a hidden (bundled) line item
3584                 || $cust_bill_pkg->hidden
3585                     # or this is a usage summary line
3586                 || $is_summary && $type && $type eq 'U'
3587                     # or this is a usage line and there's a recurring line
3588                     # for the package in the same section (which will 
3589                     # have service labels already)
3590                 || ($type eq 'U' and defined($r))
3591               )
3592           {
3593
3594             warn "$me _items_cust_bill_pkg adding service details\n"
3595               if $DEBUG > 1;
3596
3597             push @d, @svc_labels
3598               unless $cust_bill_pkg->pkgpart_override; #don't redisplay services
3599             warn "$me _items_cust_bill_pkg done adding service details\n"
3600               if $DEBUG > 1;
3601
3602             # show the location label if it's not the customer's default
3603             # location, and we're not grouping items by location already
3604             if ( $cust_pkg->locationnum != $default_locationnum
3605                   and !defined($locationnum) ) {
3606               my $loc = $cust_pkg->location_label;
3607               $loc = substr($loc, 0, $maxlength). '...'
3608                 if $format eq 'latex' && length($loc) > $maxlength;
3609               push @d, &{$escape_function}($loc);
3610             }
3611
3612             # Display of seconds_since_sqlradacct:
3613             # On the invoice, when processing @detail_items, look for a field
3614             # named 'seconds'.  This will contain total seconds for each 
3615             # service, in the same order as @ext_description.  For services 
3616             # that don't support this it will show undef.
3617             if ( $conf->exists('svc_acct-usage_seconds') 
3618                  and ! $cust_bill_pkg->pkgpart_override ) {
3619               foreach my $cust_svc ( 
3620                   $cust_pkg->h_cust_svc(@dates, 'I') 
3621                 ) {
3622
3623                 # eval because not having any part_export_usage exports 
3624                 # is a fatal error, last_bill/_date because that's how 
3625                 # sqlradius_hour billing does it
3626                 my $sec = eval {
3627                   $cust_svc->seconds_since_sqlradacct($dates[1] || 0, $dates[0]);
3628                 };
3629                 push @seconds, $sec;
3630               }
3631             } #if svc_acct-usage_seconds
3632
3633           } # if we are showing service labels
3634
3635           unless ( $is_summary ) {
3636             warn "$me _items_cust_bill_pkg adding details\n"
3637               if $DEBUG > 1;
3638
3639             #instead of omitting details entirely in this case (unwanted side
3640             # effects), just omit CDRs
3641             $details_opt{'no_usage'} = 1
3642               if $type && $type eq 'R';
3643
3644             push @d, $cust_bill_pkg->details(%details_opt);
3645           }
3646
3647           warn "$me _items_cust_bill_pkg calculating amount\n"
3648             if $DEBUG > 1;
3649   
3650           my $amount = 0;
3651           if (!$type) {
3652             $amount = $cust_bill_pkg->recur;
3653           } elsif ($type eq 'R') {
3654             $amount = $cust_bill_pkg->recur - $cust_bill_pkg->usage;
3655           } elsif ($type eq 'U') {
3656             $amount = $cust_bill_pkg->usage;
3657           }
3658   
3659           if ( !$type || $type eq 'R' ) {
3660
3661             warn "$me _items_cust_bill_pkg adding recur\n"
3662               if $DEBUG > 1;
3663
3664             my $unit_amount =
3665               ( $cust_bill_pkg->unitrecur > 0 ) ? $cust_bill_pkg->unitrecur
3666                                                 : $amount;
3667
3668             if ( $cust_bill_pkg->hidden ) {
3669               $r->{amount}      += $amount;
3670               $r->{unit_amount} += $unit_amount;
3671               push @{ $r->{ext_description} }, @d;
3672             } else {
3673               $r = {
3674                 billpkgnum      => $cust_bill_pkg->billpkgnum,
3675                 description     => $description,
3676                 pkgpart         => $pkgpart,
3677                 pkgnum          => $cust_bill_pkg->pkgnum,
3678                 amount          => $amount,
3679                 recur_show_zero => $cust_bill_pkg->recur_show_zero,
3680                 unit_amount     => $unit_amount,
3681                 quantity        => $cust_bill_pkg->quantity,
3682                 %item_dates,
3683                 ext_description => \@d,
3684                 svc_label       => ($svc_label || ''),
3685                 locationnum     => $cust_pkg->locationnum,
3686                 pkg_tax         => \@pkg_tax,
3687               };
3688               $r->{'seconds'} = \@seconds if grep {defined $_} @seconds;
3689             }
3690
3691           } else {  # $type eq 'U'
3692
3693             warn "$me _items_cust_bill_pkg adding usage\n"
3694               if $DEBUG > 1;
3695
3696             if ( $cust_bill_pkg->hidden and defined($u) ) {
3697               # if this is a hidden package and there's already a usage
3698               # line for the bundle, add this package's total amount and
3699               # usage details to it
3700               $u->{amount}      += $amount;
3701               push @{ $u->{ext_description} }, @d;
3702             } elsif ( $amount ) {
3703               # create a new usage line
3704               $u = {
3705                 billpkgnum      => $cust_bill_pkg->billpkgnum,
3706                 description     => $description,
3707                 pkgpart         => $pkgpart,
3708                 pkgnum          => $cust_bill_pkg->pkgnum,
3709                 amount          => $amount,
3710                 usage_item      => 1,
3711                 recur_show_zero => $cust_bill_pkg->recur_show_zero,
3712                 %item_dates,
3713                 ext_description => \@d,
3714                 locationnum     => $cust_pkg->locationnum,
3715                 pkg_tax         => \@pkg_tax,
3716               };
3717             } # else this has no usage, so don't create a usage section
3718           }
3719
3720         } # recurring or usage with recurring charge
3721
3722       } else { # taxes and fees
3723
3724         warn "$me _items_cust_bill_pkg cust_bill_pkg is tax\n"
3725           if $DEBUG > 1;
3726
3727         # items of this kind should normally not have sdate/edate.
3728         push @b, {
3729           'description' => $desc,
3730           'amount'      => sprintf('%.2f', $cust_bill_pkg->setup 
3731                                            + $cust_bill_pkg->recur)
3732         };
3733
3734       } # if package line item / other line item
3735
3736       # decide whether to show active discounts here
3737       if (
3738           # case 1: we are showing a single line for the package
3739           ( !$type )
3740           # case 2: we are showing a setup line for a package that has
3741           # no base recurring fee
3742           or ( $type eq 'S' and $cust_bill_pkg->unitrecur == 0 )
3743           # case 3: we are showing a recur line for a package that has 
3744           # a base recurring fee
3745           or ( $type eq 'R' and $cust_bill_pkg->unitrecur > 0 )
3746       ) {
3747
3748         my $item_discount = $cust_bill_pkg->_item_discount;
3749         if ( $item_discount ) {
3750           # $item_discount->{amount} is negative
3751
3752           if ( $d and $cust_bill_pkg->hidden ) {
3753             $d->{setup_amount} += $item_discount->{setup_amount};
3754             $d->{recur_amount} += $item_discount->{recur_amount};
3755           } else {
3756             $d = $item_discount;
3757             $_ = &{$escape_function}($_) foreach @{ $d->{ext_description} };
3758           }
3759
3760           # update the active line (before the discount) to show the 
3761           # original price (whether this is a hidden line or not)
3762
3763           $s->{amount} -= $item_discount->{setup_amount} if $s;
3764           $r->{amount} -= $item_discount->{recur_amount} if $r;
3765
3766         } # if there are any discounts
3767       } # if this is an appropriate place to show discounts
3768
3769     } # foreach $display
3770
3771   }
3772
3773   # discount amount is internally split up
3774   if ( $d ) {
3775     $d->{amount} = $d->{setup_amount} + $d->{recur_amount};
3776   }
3777
3778   foreach ( $s, $r, ($opt{skip_usage} ? () : $u ), $d ) {
3779     if ( $_  ) {
3780       $_->{amount}      = sprintf( "%.2f", $_->{amount} ),
3781         if exists($_->{amount});
3782       $_->{amount}      =~ s/^\-0\.00$/0.00/;
3783       if (exists($_->{unit_amount})) {
3784         $_->{unit_amount} = sprintf( "%.2f", $_->{unit_amount} );
3785       }
3786
3787       push @b, { %$_ };
3788       #if $_->{amount} != 0
3789       #  || $discount_show_always
3790       #  || ( ! $_->{_is_setup} && $_->{recur_show_zero} )
3791       #  || (   $_->{_is_setup} && $_->{setup_show_zero} )
3792     }
3793   }
3794
3795   warn "$me _items_cust_bill_pkg done considering cust_bill_pkgs\n"
3796     if $DEBUG > 1;
3797
3798   @b;
3799
3800 }
3801
3802 =item _items_discounts_avail
3803
3804 Returns an array of line item hashrefs representing available term discounts
3805 for this invoice.  This makes the same assumptions that apply to term 
3806 discounts in general: that the package is billed monthly, at a flat rate, 
3807 with no usage charges.  A prorated first month will be handled, as will 
3808 a setup fee if the discount is allowed to apply to setup fees.
3809
3810 =cut
3811
3812 sub _items_discounts_avail {
3813   my $self = shift;
3814
3815   #maybe move this method from cust_bill when quotations support discount_plans 
3816   return () unless $self->can('discount_plans');
3817   my %plans = $self->discount_plans;
3818
3819   my $list_pkgnums = 0; # if any packages are not eligible for all discounts
3820   $list_pkgnums = grep { $_->list_pkgnums } values %plans;
3821
3822   map {
3823     my $months = $_;
3824     my $plan = $plans{$months};
3825
3826     my $term_total = sprintf('%.2f', $plan->discounted_total);
3827     my $percent = sprintf('%.0f', 
3828                           100 * (1 - $term_total / $plan->base_total) );
3829     my $permonth = sprintf('%.2f', $term_total / $months);
3830     my $detail = $self->mt('discount on item'). ' '.
3831                  join(', ', map { "#$_" } $plan->pkgnums)
3832       if $list_pkgnums;
3833
3834     # discounts for non-integer months don't work anyway
3835     $months = sprintf("%d", $months);
3836
3837     +{
3838       description => $self->mt('Save [_1]% by paying for [_2] months',
3839                                 $percent, $months),
3840       amount      => $self->mt('[_1] ([_2] per month)', 
3841                                 $term_total, $money_char.$permonth),
3842       ext_description => ($detail || ''),
3843     }
3844   } #map
3845   sort { $b <=> $a } keys %plans;
3846
3847 }
3848
3849 =item has_sections AGENTNUM
3850
3851 Return true if invoice_sections should be enabled for this bill.
3852  (Inherited by both cust_bill and cust_bill_void)
3853
3854 Determination:
3855 * False if not an invoice
3856 * True always if conf invoice_sections is enabled
3857 * True always if sections_by_location is enabled
3858 * True if conf invoice_sections_multilocation > 1,
3859   and location_count >= invoice_sections_multilocation
3860 * Else, False
3861
3862 =cut
3863
3864 sub has_sections {
3865   my ($self, $agentnum) = @_;
3866
3867   return 0 unless $self->invnum > 0;
3868
3869   $agentnum ||= $self->agentnum;
3870   return 1 if $self->conf->config_bool('invoice_sections', $agentnum);
3871   return 1 if $self->conf->exists('sections_by_location', $agentnum);
3872
3873   my $location_min = $self->conf->config(
3874     'invoice_sections_multilocation', $agentnum,
3875   );
3876
3877   return 1
3878     if $location_min
3879     && $self->location_count >= $location_min;
3880
3881   0;
3882 }
3883
3884
3885 =item location_count
3886
3887 Return the number of locations billed on this invoice
3888
3889 =cut
3890
3891 sub location_count {
3892   my ($self) = @_;
3893   return 0 unless $self->invnum;
3894
3895   # SELECT COUNT( DISTINCT cust_pkg.locationnum )
3896   # FROM cust_bill_pkg
3897   # LEFT JOIN cust_pkg USING (pkgnum)
3898   # WHERE invnum = 278
3899   #   AND cust_bill_pkg.pkgnum > 0
3900
3901   my $result = qsearchs({
3902     select    => 'COUNT(DISTINCT cust_pkg.locationnum) as location_count',
3903     table     => 'cust_bill_pkg',
3904     addl_from => 'LEFT JOIN cust_pkg USING (pkgnum)',
3905     extra_sql => 'WHERE invnum = '.dbh->quote( $self->invnum )
3906                . '  AND cust_bill_pkg.pkgnum > 0'
3907   });
3908   ref $result ? $result->location_count : 0;
3909 }
3910
3911 1;