RT# 79636 Location Summary Invoice Footer
[freeside.git] / FS / FS / Template_Mixin.pm
1 package FS::Template_Mixin;
2
3 use strict;
4 use vars qw( $DEBUG $me
5              $money_char
6              $date_format
7            );
8              # but NOT $conf
9 use vars qw( $invoice_lines @buf ); #yuck
10 use List::Util qw(sum); #can't import first, it conflicts with cust_main.first
11 use Date::Format;
12 use Date::Language;
13 use Time::Local qw( timelocal );
14 use Text::Template 1.20;
15 use File::Temp 0.14;
16 use Archive::Zip qw( :ERROR_CODES :CONSTANTS );
17 use IO::Scalar;
18 use HTML::Entities;
19 use Cwd;
20 use FS::UID;
21 use FS::Misc qw( send_email );
22 use FS::Record qw( qsearch qsearchs dbh );
23 use FS::Conf;
24 use FS::Misc qw( generate_ps generate_pdf );
25 use FS::pkg_category;
26 use FS::pkg_class;
27 use FS::invoice_mode;
28 use FS::L10N;
29
30 $DEBUG = 0;
31 $me = '[FS::Template_Mixin]';
32 FS::UID->install_callback( sub { 
33   my $conf = new FS::Conf; #global
34   $money_char  = $conf->config('money_char')  || '$';  
35   $date_format = $conf->config('date_format') || '%x'; #/YY
36 } );
37
38 =item conf [ MODE ]
39
40 Returns a configuration handle (L<FS::Conf>) set to the customer's locale.
41
42 If the "mode" pseudo-field is set on the object, the configuration handle
43 will be an L<FS::invoice_conf> for that invoice mode (and the customer's
44 locale).
45
46 =cut
47
48 sub conf {
49   my $self = shift;
50   my $mode = $self->get('mode');
51   if ($self->{_conf} and !defined($mode)) {
52     return $self->{_conf};
53   }
54
55   my $cust_main = $self->cust_main;
56   my $locale = $cust_main ? $cust_main->locale : '';
57   my $conf;
58   if ( $mode ) {
59     if ( ref $mode and $mode->isa('FS::invoice_mode') ) {
60       $mode = $mode->modenum;
61     } elsif ( $mode =~ /\D/ ) {
62       die "invalid invoice mode $mode";
63     }
64     $conf = qsearchs('invoice_conf', { modenum => $mode, locale => $locale });
65     if (!$conf) {
66       $conf = qsearchs('invoice_conf', { modenum => $mode, locale => '' });
67       # it doesn't have a locale, but system conf still might
68       $conf->set('locale' => $locale) if $conf;
69     }
70   }
71   # if $mode is unspecified, or if there is no invoice_conf matching this mode
72   # and locale, then use the system config only (but with the locale)
73   $conf ||= FS::Conf->new({ 'locale' => $locale });
74   # cache it
75   return $self->{_conf} = $conf;
76 }
77
78 =item print_text OPTIONS
79
80 Returns an text invoice, as a list of lines.
81
82 Options can be passed as a hash.
83
84 I<time>, if specified, is used to control the printing of overdue messages.  The
85 default is now.  It isn't the date of the invoice; that's the `_date' field.
86 It is specified as a UNIX timestamp; see L<perlfunc/"time">.  Also see
87 L<Time::Local> and L<Date::Parse> for conversion functions.
88
89 I<template>, if specified, is the name of a suffix for alternate invoices.
90
91 I<notice_name>, if specified, overrides "Invoice" as the name of the sent document (templates from 10/2009 or newer required)
92
93 =cut
94
95 sub print_text {
96   my $self = shift;
97   my %params;
98   if ( ref($_[0]) ) {
99     %params = %{ shift() };
100   } else {
101     %params = @_;
102   }
103
104   $params{'format'} = 'template'; # for some reason
105
106   $self->print_generic( %params );
107 }
108
109 =item print_latex HASHREF
110
111 Internal method - returns a filename of a filled-in LaTeX template for this
112 invoice (Note: add ".tex" to get the actual filename), and a filename of
113 an associated logo (with the .eps extension included).
114
115 See print_ps and print_pdf for methods that return PostScript and PDF output.
116
117 Options can be passed as a hash.
118
119 I<time>, if specified, is used to control the printing of overdue messages.  The
120 default is now.  It isn't the date of the invoice; that's the `_date' field.
121 It is specified as a UNIX timestamp; see L<perlfunc/"time">.  Also see
122 L<Time::Local> and L<Date::Parse> for conversion functions.
123
124 I<template>, if specified, is the name of a suffix for alternate invoices.  
125 This is strongly deprecated; see L<FS::invoice_conf> for the right way to
126 customize invoice templates for different purposes.
127
128 I<notice_name>, if specified, overrides "Invoice" as the name of the sent document (templates from 10/2009 or newer required)
129
130 =cut
131
132 sub print_latex {
133   my $self = shift;
134   my %params;
135
136   if ( ref($_[0]) ) {
137     %params = %{ shift() };
138   } else {
139     %params = @_;
140   }
141
142   $params{'format'} = 'latex';
143   my $conf = $self->conf;
144
145   # this needs to go away
146   my $template = $params{'template'};
147   # and this especially
148   $template ||= $self->_agent_template
149     if $self->can('_agent_template');
150
151   #the new way
152   $self->set('mode', $params{mode})
153     if $params{mode};
154
155   my $pkey = $self->primary_key;
156   my $tmp_template = $self->table. '.'. $self->$pkey. '.XXXXXXXX';
157
158   my $dir = $FS::UID::conf_dir. "/cache.". $FS::UID::datasrc;
159   my $lh = new File::Temp(
160     TEMPLATE => $tmp_template,
161     DIR      => $dir,
162     SUFFIX   => '.eps',
163     UNLINK   => 0,
164   ) or die "can't open temp file: $!\n";
165
166   my $agentnum = $self->agentnum;
167
168   if ( $template && $conf->exists("logo_${template}.eps", $agentnum) ) {
169     print $lh $conf->config_binary("logo_${template}.eps", $agentnum)
170       or die "can't write temp file: $!\n";
171   } else {
172     print $lh $conf->config_binary('logo.eps', $agentnum)
173       or die "can't write temp file: $!\n";
174   }
175   close $lh;
176   $params{'logo_file'} = $lh->filename;
177
178   if( $conf->exists('invoice-barcode') 
179         && $self->can('invoice_barcode')
180         && $self->invnum ) { # don't try to barcode statements
181       my $png_file = $self->invoice_barcode($dir);
182       my $eps_file = $png_file;
183       $eps_file =~ s/\.png$/.eps/g;
184       $png_file =~ /(barcode.*png)/;
185       $png_file = $1;
186       $eps_file =~ /(barcode.*eps)/;
187       $eps_file = $1;
188
189       my $curr_dir = cwd();
190       chdir($dir); 
191       # after painfuly long experimentation, it was determined that sam2p won't
192       # accept : and other chars in the path, no matter how hard I tried to
193       # escape them, hence the chdir (and chdir back, just to be safe)
194       system('sam2p', '-j:quiet', $png_file, 'EPS:', $eps_file ) == 0
195         or die "sam2p failed: $!\n";
196       unlink($png_file);
197       chdir($curr_dir);
198
199       $params{'barcode_file'} = $eps_file;
200   }
201
202   my @filled_in = $self->print_generic( %params );
203   
204   my $fh = new File::Temp( TEMPLATE => $tmp_template,
205                            DIR      => $dir,
206                            SUFFIX   => '.tex',
207                            UNLINK   => 0,
208                          ) or die "can't open temp file: $!\n";
209   binmode($fh, ':utf8'); # language support
210   print $fh join('', @filled_in );
211   close $fh;
212
213   $fh->filename =~ /^(.*).tex$/ or die "unparsable filename: ". $fh->filename;
214   return ($1, $params{'logo_file'}, $params{'barcode_file'});
215
216 }
217
218 sub agentnum {
219   my $self = shift;
220   my $cust_main = $self->cust_main;
221   $cust_main ? $cust_main->agentnum : $self->prospect_main->agentnum;
222 }
223
224 =item print_generic OPTION => VALUE ...
225
226 Internal method - returns a filled-in template for this invoice as a scalar.
227
228 See print_ps and print_pdf for methods that return PostScript and PDF output.
229
230 Required options
231
232 =over 4
233
234 =item format
235
236 The B<format> option is required and should be set to html, latex (print and PDF) or template (plaintext).
237
238 =back
239
240 Additional options
241
242 =over 4
243
244 =item notice_name
245
246 Overrides "Invoice" as the name of the sent document.
247
248 =item today
249
250 Used to control the printing of overdue messages.  The
251 default is now.  It isn't the date of the invoice; that's the `_date' field.
252 It is specified as a UNIX timestamp; see L<perlfunc/"time">.  Also see
253 L<Time::Local> and L<Date::Parse> for conversion functions.
254
255 =item logo_file
256
257 Logo file (path to temporary EPS file on the local filesystem)
258
259 =item cid
260
261 CID for inline (emailed) images (logo)
262
263 =item locale
264
265 Override customer's locale
266
267 =item unsquelch_cdr
268
269 Overrides any per customer cdr squelching when true
270
271 =item no_number
272
273 Supress the (invoice, quotation, statement, etc.) number
274
275 =item no_date
276
277 Supress the date
278
279 =item no_coupon
280
281 Supress the payment coupon
282
283 =item barcode_file
284
285 Barcode file (path to temporary EPS file on the local filesystem)
286
287 =item barcode_img
288
289 Flag indicating the barcode image should be a link (normal HTML dipaly)
290
291 =item barcode_cid
292
293 Barcode CID for inline (emailed) images
294
295 =item preref_callback
296
297 Coderef run for each line item, code should return HTML to be displayed
298 before that line item (quotations only)
299
300 =item template
301
302 Deprecated.  Used as a suffix for a configuration template.  Please 
303 don't use this, it deprecated in favor of more flexible alternatives.
304
305 =back
306
307 =cut
308
309 #what's with all the sprintf('%10.2f')'s in here?  will it cause any
310 # (alignment in text invoice?) problems to change them all to '%.2f' ?
311 # yes: fixed width/plain text printing will be borked
312 sub print_generic {
313   my( $self, %params ) = @_;
314   my $conf = $self->conf;
315
316   my $today = $params{today} ? $params{today} : time;
317   warn "$me print_generic called on $self with suffix $params{template}\n"
318     if $DEBUG;
319
320   my $format = $params{format};
321   die "Unknown format: $format"
322     unless $format =~ /^(latex|html|template)$/;
323
324   my $cust_main = $self->cust_main || $self->prospect_main;
325
326   my $locale = $params{'locale'} || $cust_main->locale;
327
328   my %delimiters = ( 'latex'    => [ '[@--', '--@]' ],
329                      'html'     => [ '<%=', '%>' ],
330                      'template' => [ '{', '}' ],
331                    );
332
333   warn "$me print_generic creating template\n"
334     if $DEBUG > 1;
335
336   # set the notice name here, and nowhere else.
337   my $notice_name =  $params{notice_name}
338                   || $conf->config('notice_name')
339                   || $self->notice_name;
340
341   #create the template
342   my $template = $params{template} ? $params{template} : $self->_agent_template;
343   my $templatefile = $self->template_conf. $format;
344   $templatefile .= "_$template"
345     if length($template) && $conf->exists($templatefile."_$template");
346
347   # the base template
348   my @invoice_template = map "$_\n", $conf->config($templatefile)
349     or die "cannot load config data $templatefile";
350
351   if ( $format eq 'latex' && grep { /^%%Detail/ } @invoice_template ) {
352     #change this to a die when the old code is removed
353     # it's been almost ten years, changing it to a die
354     die "old-style invoice template $templatefile; ".
355          "patch with conf/invoice_latex.diff or use new conf/invoice_latex*\n";
356          #$old_latex = 'true';
357          #@invoice_template = _translate_old_latex_format(@invoice_template);
358   } 
359
360   warn "$me print_generic creating T:T object\n"
361     if $DEBUG > 1;
362
363   my $text_template = new Text::Template(
364     TYPE => 'ARRAY',
365     SOURCE => \@invoice_template,
366     DELIMITERS => $delimiters{$format},
367   );
368
369   warn "$me print_generic compiling T:T object\n"
370     if $DEBUG > 1;
371
372   $text_template->compile()
373     or die "Can't compile $templatefile: $Text::Template::ERROR\n";
374
375
376   # additional substitution could possibly cause breakage in existing templates
377   my %convert_maps = ( 
378     'latex' => {
379                  'notes'         => sub { map "$_", @_ },
380                  'footer'        => sub { map "$_", @_ },
381                  'smallfooter'   => sub { map "$_", @_ },
382                  'returnaddress' => sub { map "$_", @_ },
383                  'coupon'        => sub { map "$_", @_ },
384                  'summary'       => sub { map "$_", @_ },
385                },
386     'html'  => {
387                  'notes' =>
388                    sub {
389                      map { 
390                        s/%%(.*)$/<!-- $1 -->/g;
391                        s/\\section\*\{\\textsc\{(.)(.*)\}\}/<p><b><font size="+1">$1<\/font>\U$2<\/b>/g;
392                        s/\\begin\{enumerate\}/<ol>/g;
393                        s/\\item /  <li>/g;
394                        s/\\end\{enumerate\}/<\/ol>/g;
395                        s/\\textbf\{(.*)\}/<b>$1<\/b>/g;
396                        s/\\\\\*/<br>/g;
397                        s/\\dollar ?/\$/g;
398                        s/\\#/#/g;
399                        s/~/&nbsp;/g;
400                        $_;
401                      }  @_
402                    },
403                  'footer' =>
404                    sub { map { s/~/&nbsp;/g; s/\\\\\*?\s*$/<BR>/; $_; } @_ },
405                  'smallfooter' =>
406                    sub { map { s/~/&nbsp;/g; s/\\\\\*?\s*$/<BR>/; $_; } @_ },
407                  'returnaddress' =>
408                    sub {
409                      map { 
410                        s/~/&nbsp;/g;
411                        s/\\\\\*?\s*$/<BR>/;
412                        s/\\hyphenation\{[\w\s\-]+}//;
413                        s/\\([&])/$1/g;
414                        $_;
415                      }  @_
416                    },
417                  'coupon'        => sub { "" },
418                  'summary'       => sub { "" },
419                },
420     'template' => {
421                  'notes' =>
422                    sub {
423                      map { 
424                        s/%%.*$//g;
425                        s/\\section\*\{\\textsc\{(.*)\}\}/\U$1/g;
426                        s/\\begin\{enumerate\}//g;
427                        s/\\item /  * /g;
428                        s/\\end\{enumerate\}//g;
429                        s/\\textbf\{(.*)\}/$1/g;
430                        s/\\\\\*/ /;
431                        s/\\dollar ?/\$/g;
432                        $_;
433                      }  @_
434                    },
435                  'footer' =>
436                    sub { map { s/~/ /g; s/\\\\\*?\s*$/\n/; $_; } @_ },
437                  'smallfooter' =>
438                    sub { map { s/~/ /g; s/\\\\\*?\s*$/\n/; $_; } @_ },
439                  'returnaddress' =>
440                    sub {
441                      map { 
442                        s/~/ /g;
443                        s/\\\\\*?\s*$/\n/;             # dubious
444                        s/\\hyphenation\{[\w\s\-]+}//;
445                        $_;
446                      }  @_
447                    },
448                  'coupon'        => sub { "" },
449                  'summary'       => sub { "" },
450                },
451   );
452
453
454   # hashes for differing output formats
455   my %nbsps = ( 'latex'    => '~',
456                 'html'     => '',    # '&nbps;' would be nice
457                 'template' => '',    # not used
458               );
459   my $nbsp = $nbsps{$format};
460
461   my %escape_functions = ( 'latex'    => \&_latex_escape,
462                            'html'     => \&_html_escape_nbsp,#\&encode_entities,
463                            'template' => sub { shift },
464                          );
465   my $escape_function = $escape_functions{$format};
466   my $escape_function_nonbsp = ($format eq 'html')
467                                  ? \&_html_escape : $escape_function;
468
469   my %newline_tokens = (  'latex'     => '\\\\',
470                           'html'      => '<br>',
471                           'template'  => "\n",
472                         );
473   my $newline_token = $newline_tokens{$format};
474
475   warn "$me generating template variables\n"
476     if $DEBUG > 1;
477
478   # generate template variables
479   my $returnaddress;
480
481   if (
482          defined( $conf->config_orbase( "invoice_${format}returnaddress",
483                                         $template
484                                       )
485                 )
486        && length( $conf->config_orbase( "invoice_${format}returnaddress",
487                                         $template
488                                       )
489                 )
490   ) {
491
492     $returnaddress = join("\n",
493       $conf->config_orbase("invoice_${format}returnaddress", $template)
494     );
495
496   } elsif ( grep /\S/,
497             $conf->config_orbase('invoice_latexreturnaddress', $template) ) {
498
499     my $convert_map = $convert_maps{$format}{'returnaddress'};
500     $returnaddress =
501       join( "\n",
502             &$convert_map( $conf->config_orbase( "invoice_latexreturnaddress",
503                                                  $template
504                                                )
505                          )
506           );
507   } elsif ( grep /\S/, $conf->config('company_address', $cust_main->agentnum) ) {
508
509     my $convert_map = $convert_maps{$format}{'returnaddress'};
510     $returnaddress = join( "\n", &$convert_map(
511                                    map { s/( {2,})/'~' x length($1)/eg;
512                                          s/$/\\\\\*/;
513                                          $_
514                                        }
515                                      ( $conf->config('company_name', $cust_main->agentnum),
516                                        $conf->config('company_address', $cust_main->agentnum),
517                                      )
518                                  )
519                      );
520
521   } else {
522
523     my $warning = "Couldn't find a return address; ".
524                   "do you need to set the company_address configuration value?";
525     warn "$warning\n";
526     $returnaddress = $nbsp;
527     #$returnaddress = $warning;
528
529   }
530
531   warn "$me generating invoice data\n"
532     if $DEBUG > 1;
533
534   my $agentnum = $cust_main->agentnum;
535
536   my %invoice_data = (
537
538     #invoice from info
539     'company_name'    => scalar( $conf->config('company_name', $agentnum) ),
540     'company_address' => join("\n", $conf->config('company_address', $agentnum) ). "\n",
541     'company_phonenum'=> scalar( $conf->config('company_phonenum', $agentnum) ),
542     'returnaddress'   => $returnaddress,
543     'agent'           => &$escape_function($cust_main->agent->agent),
544
545     #invoice/quotation info
546     'no_number'       => $params{'no_number'},
547     'invnum'          => ( $params{'no_number'} ? '' : $self->invnum ),
548     'quotationnum'    => $self->quotationnum,
549     'no_date'         => $params{'no_date'},
550     '_date'           => ( $params{'no_date'} ? '' : $self->_date ),
551       # workaround for inconsistent behavior in the early plain text 
552       # templates; see RT#28271
553     'date'            => ( $params{'no_date'}
554                              ? ''
555                              : ($format eq 'template'
556                                ? $self->_date
557                                : $self->time2str_local('long', $self->_date, $format)
558                                )
559                          ),
560     'today'           => $self->time2str_local('long', $today, $format),
561     'terms'           => $self->terms,
562     'template'        => $template, #params{'template'},
563     'notice_name'     => $notice_name, # escape?
564     'current_charges' => sprintf("%.2f", $self->charged),
565     'duedate'         => $self->due_date2str('rdate'), #date_format?
566     'duedate_long'    => $self->due_date2str('long'),
567
568     #customer info
569     'custnum'         => $cust_main->display_custnum,
570     'prospectnum'     => $cust_main->prospectnum,
571     'agent_custid'    => &$escape_function($cust_main->agent_custid),
572     ( map { $_ => &$escape_function($cust_main->$_()) }
573         qw( company address1 address2 city state zip fax )
574     ),
575     'payname'         => &$escape_function( $cust_main->invoice_attn
576                                              || $cust_main->contact_firstlast ),
577
578     #global config
579     'ship_enable'     => $cust_main->invoice_ship_address || $conf->exists('invoice-ship_address'),
580     'unitprices'      => $conf->exists('invoice-unitprice'),
581     'smallernotes'    => $conf->exists('invoice-smallernotes'),
582     'smallerfooter'   => $conf->exists('invoice-smallerfooter'),
583     'balance_due_below_line' => $conf->exists('balance_due_below_line'),
584    
585     #layout info -- would be fancy to calc some of this and bury the template
586     #               here in the code
587     'topmargin'             => scalar($conf->config('invoice_latextopmargin', $agentnum)),
588     'headsep'               => scalar($conf->config('invoice_latexheadsep', $agentnum)),
589     'textheight'            => scalar($conf->config('invoice_latextextheight', $agentnum)),
590     'extracouponspace'      => scalar($conf->config('invoice_latexextracouponspace', $agentnum)),
591     'couponfootsep'         => scalar($conf->config('invoice_latexcouponfootsep', $agentnum)),
592     'verticalreturnaddress' => $conf->exists('invoice_latexverticalreturnaddress', $agentnum),
593     'addresssep'            => scalar($conf->config('invoice_latexaddresssep', $agentnum)),
594     'amountenclosedsep'     => scalar($conf->config('invoice_latexcouponamountenclosedsep', $agentnum)),
595     'coupontoaddresssep'    => scalar($conf->config('invoice_latexcoupontoaddresssep', $agentnum)),
596     'addcompanytoaddress'   => $conf->exists('invoice_latexcouponaddcompanytoaddress', $agentnum),
597
598     # better hang on to conf_dir for a while (for old templates)
599     'conf_dir'        => "$FS::UID::conf_dir/conf.$FS::UID::datasrc",
600
601     #these are only used when doing paged plaintext
602     'page'            => 1,
603     'total_pages'     => 1,
604
605   );
606
607   #quotations have $name
608   $invoice_data{'name'} = $invoice_data{'payname'};
609  
610   #localization
611   $invoice_data{'emt'} = sub { &$escape_function($self->mt(@_)) };
612   # prototype here to silence warnings
613   $invoice_data{'time2str'} = sub ($;$$) { $self->time2str_local(@_, $format) };
614
615   my $min_sdate = 999999999999;
616   my $max_edate = 0;
617   foreach my $cust_bill_pkg ( $self->cust_bill_pkg ) {
618     next unless $cust_bill_pkg->pkgnum > 0;
619     $min_sdate = $cust_bill_pkg->sdate
620       if length($cust_bill_pkg->sdate) && $cust_bill_pkg->sdate < $min_sdate;
621     $max_edate = $cust_bill_pkg->edate
622       if length($cust_bill_pkg->edate) && $cust_bill_pkg->edate > $max_edate;
623   }
624
625   $invoice_data{'bill_period'} = '';
626   $invoice_data{'bill_period'} =
627       $self->time2str_local('%e %h', $min_sdate, $format) 
628       . " to " .
629       $self->time2str_local('%e %h', $max_edate, $format)
630     if ($max_edate != 0 && $min_sdate != 999999999999);
631
632   $invoice_data{finance_section} = '';
633   if ( $conf->config('finance_pkgclass') ) {
634     my $pkg_class =
635       qsearchs('pkg_class', { classnum => $conf->config('finance_pkgclass') });
636     $invoice_data{finance_section} = $pkg_class->categoryname;
637   } 
638   $invoice_data{finance_amount} = '0.00';
639   $invoice_data{finance_section} ||= 'Finance Charges'; #avoid config confusion
640
641   my $countrydefault = $conf->config('countrydefault') || 'US';
642   foreach ( qw( address1 address2 city state zip country fax) ){
643     my $method = 'ship_'.$_;
644     $invoice_data{"ship_$_"} = $escape_function->($cust_main->$method);
645   }
646   if ( length($cust_main->ship_company) ) {
647     $invoice_data{'ship_company'} = $escape_function->($cust_main->ship_company);
648   } else {
649     $invoice_data{'ship_company'} = $escape_function->($cust_main->company);
650   }
651   $invoice_data{'ship_contact'} = $escape_function->($cust_main->contact);
652   $invoice_data{'ship_country'} = ''
653     if ( $invoice_data{'ship_country'} eq $countrydefault );
654   
655   $invoice_data{'cid'} = $params{'cid'}
656     if $params{'cid'};
657
658   if ( $cust_main->bill_locationnum
659        && $cust_main->bill_location->country ne $countrydefault ) {
660     $invoice_data{'country'} = &$escape_function($cust_main->bill_country_full);
661   } else {
662     $invoice_data{'country'} = '';
663   }
664
665   my @address = ();
666   $invoice_data{'address'} = \@address;
667   push @address,
668     $invoice_data{'payname'}.
669       ( $cust_main->po_number
670           ? " (P.O. #". $cust_main->po_number. ")"
671           : ''
672       )
673   ;
674   push @address, $cust_main->company
675     if $cust_main->company;
676   push @address, $cust_main->address1;
677   push @address, $cust_main->address2
678     if $cust_main->address2;
679   push @address,
680     $cust_main->city. ", ". $cust_main->state. "  ".  $cust_main->zip;
681   push @address, $invoice_data{'country'}
682     if $invoice_data{'country'};
683   push @address, ''
684     while (scalar(@address) < 5);
685
686   $invoice_data{'logo_file'} = $params{'logo_file'}
687     if $params{'logo_file'};
688   $invoice_data{'barcode_file'} = $params{'barcode_file'}
689     if $params{'barcode_file'};
690   $invoice_data{'barcode_img'} = $params{'barcode_img'}
691     if $params{'barcode_img'};
692   $invoice_data{'barcode_cid'} = $params{'barcode_cid'}
693     if $params{'barcode_cid'};
694
695   my( $pr_total, @pr_cust_bill ) = $self->previous; #previous balance
696 #  my( $cr_total, @cr_cust_credit ) = $self->cust_credit; #credits
697   #my $balance_due = $self->owed + $pr_total - $cr_total;
698   my $balance_due = $self->owed;
699   if ( $self->enable_previous ) {
700     $balance_due += $pr_total;
701   }
702   # otherwise the previous balance is not shown, so including it in the
703   # balance due is just confusing
704
705   # the sum of amount owed on all invoices
706   # (this is used in the summary & on the payment coupon)
707   $invoice_data{'balance'} = sprintf("%.2f", $balance_due);
708
709   # flag telling this invoice to have a first-page summary
710   my $summarypage = '';
711
712   if ( $self->custnum && $self->invnum ) {
713     # XXX should be an FS::cust_bill method to set the defaults, instead
714     # of checking the type here
715
716     # info from customer's last invoice before this one, for some 
717     # summary formats
718     $invoice_data{'last_bill'} = {};
719  
720     my $last_bill = $self->previous_bill;
721     if ( $last_bill ) {
722
723       # "balance_date_range" unfortunately is unsuitable for this, since it
724       # cares about application dates.  We want to know the sum of all 
725       # _top-level transactions_ dated before the last invoice.
726       #
727       # still do this for the "Previous Balance" line of the summary block
728       my @sql =
729         map "$_ WHERE _date <= ? AND custnum = ?", (
730           "SELECT      COALESCE( SUM(charged), 0 ) FROM cust_bill",
731           "SELECT -1 * COALESCE( SUM(amount),  0 ) FROM cust_credit",
732           "SELECT -1 * COALESCE( SUM(paid),    0 ) FROM cust_pay",
733           "SELECT      COALESCE( SUM(refund),  0 ) FROM cust_refund",
734         );
735
736       # the customer's current balance immediately after generating the last 
737       # bill
738
739       my $last_bill_balance = $last_bill->charged;
740       foreach (@sql) {
741         my $delta = FS::Record->scalar_sql(
742           $_,
743           $last_bill->_date - 1,
744           $self->custnum,
745         );
746         $last_bill_balance += $delta;
747       }
748
749       $last_bill_balance = sprintf("%.2f", $last_bill_balance);
750
751       warn sprintf("LAST BILL: INVNUM %d, DATE %s, BALANCE %.2f\n\n",
752         $last_bill->invnum,
753         $self->time2str_local('%D', $last_bill->_date),
754         $last_bill_balance
755       ) if $DEBUG > 0;
756       # ("true_previous_balance" is a terrible name, but at least it's no
757       # longer stored in the database)
758       $invoice_data{'true_previous_balance'} = $last_bill_balance;
759
760       # Now, get all applications of credits/payments dated on or after the
761       # previous bill, to invoices before the current bill. (The
762       # credit/payment date restriction prevents these from intersecting
763       # the "Previous Balance" set.)
764       # These are "adjustments". The past due balance will be shown as
765       # Previous Balance - Adjustments.
766       my $adjustments = 0;
767       @sql = map {
768         "SELECT COALESCE(SUM(y.amount),0) FROM $_ JOIN cust_bill USING (invnum)
769          WHERE cust_bill._date < ?
770            AND x._date >= ?
771            AND cust_bill.custnum = ?"
772         } "cust_credit AS x JOIN cust_credit_bill y USING (crednum)",
773           "cust_pay    AS x JOIN cust_bill_pay    y USING (paynum)"
774       ;
775       foreach (@sql) {
776         my $delta = FS::Record->scalar_sql(
777           $_,
778           $self->_date,
779           $last_bill->_date,
780           $self->custnum,
781         );
782         $adjustments += $delta;
783       }
784       $invoice_data{'balance_adjustments'} = sprintf("%.2f", $adjustments);
785
786       warn sprintf("BALANCE ADJUSTMENTS: %.2f\n\n",
787                    $invoice_data{'balance_adjustments'}
788       ) if $DEBUG > 0;
789
790       # the sum of amount owed on all previous invoices
791       # ($pr_total is used elsewhere but not as $previous_balance)
792       $invoice_data{'previous_balance'} = sprintf("%.2f", $pr_total);
793
794       $invoice_data{'last_bill'}{'_date'} = $last_bill->_date; #unformatted
795       my (@payments, @credits);
796       # for formats that itemize previous payments
797       foreach my $cust_pay ( qsearch('cust_pay', {
798                               'custnum' => $self->custnum,
799                               '_date'   => { op => '>=',
800                                              value => $last_bill->_date }
801                              } ) )
802       {
803         next if $cust_pay->_date > $self->_date;
804         push @payments, {
805             '_date'       => $cust_pay->_date,
806             'date'        => $self->time2str_local('long', $cust_pay->_date, $format),
807             'payinfo'     => $cust_pay->payby_payinfo_pretty,
808             'amount'      => sprintf('%.2f', $cust_pay->paid),
809         };
810         # not concerned about applications
811       }
812       foreach my $cust_credit ( qsearch('cust_credit', {
813                               'custnum' => $self->custnum,
814                               '_date'   => { op => '>=',
815                                              value => $last_bill->_date }
816                              } ) )
817       {
818         next if $cust_credit->_date > $self->_date;
819         push @credits, {
820             '_date'       => $cust_credit->_date,
821             'date'        => $self->time2str_local('long', $cust_credit->_date, $format),
822             'creditreason'=> $cust_credit->reason,
823             'amount'      => sprintf('%.2f', $cust_credit->amount),
824         };
825       }
826       $invoice_data{'previous_payments'} = \@payments;
827       $invoice_data{'previous_credits'}  = \@credits;
828     } else {
829       # there is no $last_bill
830       $invoice_data{'true_previous_balance'} =
831       $invoice_data{'balance_adjustments'}   =
832       $invoice_data{'previous_balance'}      = '0.00';
833       $invoice_data{'previous_payments'} = [];
834       $invoice_data{'previous_credits'} = [];
835     }
836  
837     if ( $conf->config_bool('invoice_usesummary', $agentnum) ) {
838       $invoice_data{'summarypage'} = $summarypage = 1;
839     }
840
841   } # if this is an invoice
842
843   warn "$me substituting variables in notes, footer, smallfooter\n"
844     if $DEBUG > 1;
845
846   my $tc = $self->template_conf;
847   my @include = ( [ $tc,        'notes' ],
848                   [ 'invoice_', 'footer' ],
849                   [ 'invoice_', 'smallfooter', ],
850                   [ 'invoice_', 'watermark' ],
851                 );
852   push @include, [ $tc,        'coupon', ]
853     unless $params{'no_coupon'};
854
855   foreach my $i (@include) {
856
857     # load the configuration for this sub-template
858
859     my($base, $include) = @$i;
860
861     my $inc_file = $conf->key_orbase("$base$format$include", $template);
862
863     my @inc_src = $conf->config($inc_file, $agentnum);
864     if (!@inc_src) {
865       my $converter = $convert_maps{$format}{$include};
866       if ( $converter ) {
867         # then attempt to convert LaTeX to the requested format
868         $inc_file = $conf->key_orbase($base.'latex'.$include, $template);
869         @inc_src = &$converter( $conf->config($inc_file, $agentnum) );
870         foreach (@inc_src) {
871           # this isn't included in the convert_maps
872           my ($open, $close) = @{ $delimiters{$format} };
873           s/\[\@--/$open/g;
874           s/--\@\]/$close/g;
875         }
876       }
877     } # else @inc_src is empty and that's fine
878
879     # make a Text::Template out of it
880
881     my $inc_tt = new Text::Template (
882       TYPE       => 'ARRAY',
883       SOURCE     => [ map "$_\n", @inc_src ],
884       DELIMITERS => $delimiters{$format},
885     ) or die "Can't create new Text::Template object: $Text::Template::ERROR";
886
887     unless ( $inc_tt->compile() ) {
888       my $error = "Can't compile $inc_file template: $Text::Template::ERROR\n";
889       warn $error. "Template:\n". join('', map "$_\n", @inc_src);
890       die $error;
891     }
892
893     # fill in variables
894
895     $invoice_data{$include} = $inc_tt->fill_in( HASH => \%invoice_data );
896
897     $invoice_data{$include} =~ s/\n+$//
898       if ($format eq 'latex');
899   }
900
901 # if (well, probably when) we still need PO numbers in the brave new world of
902 # 4.x, then we'll have to add them back as their own customer fields
903 #  # let invoices use either of these as needed
904 #  $invoice_data{'po_num'} = ($cust_main->payby eq 'BILL') 
905 #    ? $cust_main->payinfo : '';
906 #  $invoice_data{'po_line'} = 
907 #    (  $cust_main->payby eq 'BILL' && $cust_main->payinfo )
908 #      ? &$escape_function($self->mt("Purchase Order #").$cust_main->payinfo)
909 #      : $nbsp;
910
911   my %money_chars = ( 'latex'    => '',
912                       'html'     => $conf->config('money_char') || '$',
913                       'template' => '',
914                     );
915   my $money_char = $money_chars{$format};
916
917   # extremely dubious
918   my %other_money_chars = ( 'latex'    => '\dollar ',#XXX should be a config too
919                             'html'     => $conf->config('money_char') || '$',
920                             'template' => '',
921                           );
922   my $other_money_char = $other_money_chars{$format};
923   $invoice_data{'dollar'} = $other_money_char;
924
925   my %minus_signs = ( 'latex'    => '$-$',
926                       'html'     => '&minus;',
927                       'template' => '- ' );
928   my $minus = $minus_signs{$format};
929
930   my @detail_items = ();
931   my @total_items = ();
932   my @buf = ();
933   my @sections = ();
934
935   $invoice_data{'detail_items'} = \@detail_items;
936   $invoice_data{'total_items'} = \@total_items;
937   $invoice_data{'buf'} = \@buf;
938   $invoice_data{'sections'} = \@sections;
939
940   warn "$me generating sections\n"
941     if $DEBUG > 1;
942
943   my $unsquelched = $params{unsquelch_cdr} || $cust_main->squelch_cdr ne 'Y';
944   my $multisection = $self->has_sections;
945   if ( $multisection ) {
946     $invoice_data{multisection} = $conf->config($tc.'sections_method') || 1;
947   }
948   my $late_sections;
949   my $extra_sections = [];
950   my $extra_lines = ();
951
952   # default section ('Charges')
953   my $default_section = { 'description' => '',
954                           'subtotal'    => '', 
955                           'no_subtotal' => 1,
956                         };
957
958   # Previous Charges section
959   # subtotal is the first return value from $self->previous
960   my $previous_section;
961   # if the invoice has major sections, or if we're summarizing previous 
962   # charges with a single line, or if we've been specifically told to put them
963   # in a section, create a section for previous charges:
964   if ( $multisection or
965        $conf->exists('previous_balance-summary_only') or
966        $conf->exists('previous_balance-section') ) {
967     
968     $previous_section =  { 'description' => $self->mt('Previous Charges'),
969                            'subtotal'    => $other_money_char.
970                                             sprintf('%.2f', $pr_total),
971                            'summarized'  => '', #why? $summarypage ? 'Y' : '',
972                          };
973     $previous_section->{posttotal} = '0 / 30 / 60 / 90 days overdue '. 
974       join(' / ', map { $cust_main->balance_date_range(@$_) }
975                   $self->_prior_month30s
976           )
977       if $conf->exists('invoice_include_aging');
978
979   } else {
980     # otherwise put them in the main section
981     $previous_section = $default_section;
982   }
983
984   my $adjust_section = {
985     'description'    => $self->mt('Credits, Payments, and Adjustments'),
986     'adjust_section' => 1,
987     'subtotal'       => 0,   # adjusted below
988   };
989   my $adjust_weight = _pkg_category($adjust_section->{description})
990                         ? _pkg_category($adjust_section->{description})->weight
991                         : 0;
992   $adjust_section->{'summarized'} = ''; #why? $summarypage && !$adjust_weight ? 'Y' : '';
993   # Note: 'sort_weight' here is actually a flag telling whether there is an
994   # explicit package category for the adjust section. If so, certain behavior
995   # happens.
996   $adjust_section->{'sort_weight'} = $adjust_weight;
997
998
999   if ( $multisection ) {
1000     ($extra_sections, $extra_lines) =
1001       $self->_items_extra_usage_sections($escape_function_nonbsp, $format)
1002       if $conf->exists('usage_class_as_a_section', $cust_main->agentnum)
1003       && $self->can('_items_extra_usage_sections');
1004
1005     push @$extra_sections, $adjust_section if $adjust_section->{sort_weight};
1006
1007     push @detail_items, @$extra_lines if $extra_lines;
1008
1009     # the code is written so that both methods can be used together, but
1010     # we haven't yet changed the template to take advantage of that, so for 
1011     # now, treat them as mutually exclusive.
1012     my %section_method = ( by_category => 1 );
1013     if ( $conf->config($tc.'sections_method') eq 'location' ) {
1014       %section_method = ( by_location => 1 );
1015     }
1016     my ($early, $late) =
1017       $self->_items_sections( 'summary' => $summarypage,
1018                               'escape'  => $escape_function_nonbsp,
1019                               'extra_sections' => $extra_sections,
1020                               'format'  => $format,
1021                               %section_method
1022                             );
1023     push @sections, @$early;
1024     $late_sections = $late;
1025
1026     if (    $conf->exists('svc_phone_sections')
1027          && $self->can('_items_svc_phone_sections')
1028        )
1029     {
1030       my ($phone_sections, $phone_lines) =
1031         $self->_items_svc_phone_sections($escape_function_nonbsp, $format);
1032       push @{$late_sections}, @$phone_sections;
1033       push @detail_items, @$phone_lines;
1034     }
1035     if ( $conf->exists('voip-cust_accountcode_cdr')
1036          && $cust_main->accountcode_cdr
1037          && $self->can('_items_accountcode_cdr')
1038        )
1039     {
1040       my ($accountcode_section, $accountcode_lines) =
1041         $self->_items_accountcode_cdr($escape_function_nonbsp,$format);
1042       if ( scalar(@$accountcode_lines) ) {
1043           push @{$late_sections}, $accountcode_section;
1044           push @detail_items, @$accountcode_lines;
1045       }
1046     }
1047   } else {# not multisection
1048     # make a default section
1049     push @sections, $default_section;
1050     # and calculate the finance charge total, since it won't get done otherwise.
1051     # and the default section total
1052     # XXX possibly finance_pkgclass should not be used in this manner?
1053     my @finance_charges;
1054     my @charges;
1055     foreach my $cust_bill_pkg ( $self->cust_bill_pkg ) {
1056       if ( $invoice_data{finance_section} and 
1057         grep { $_->section eq $invoice_data{finance_section} }
1058            $cust_bill_pkg->cust_bill_pkg_display ) {
1059         # I think these are always setup fees, but just to be sure...
1060         push @finance_charges, $cust_bill_pkg->recur + $cust_bill_pkg->setup;
1061       } else {
1062         push @charges, $cust_bill_pkg->recur + $cust_bill_pkg->setup;
1063       }
1064     }
1065     $invoice_data{finance_amount} = 
1066       sprintf('%.2f', sum( @finance_charges ) || 0);
1067     $default_section->{subtotal} = $other_money_char.
1068                                     sprintf('%.2f', sum( @charges ) || 0);
1069   }
1070
1071   # start setting up summary subtotals
1072   my @summary_subtotals;
1073   my $method = $conf->config('summary_subtotals_method');
1074   if ( $method and $method ne $conf->config($tc.'sections_method') ) {
1075     # then re-section them by the correct method
1076     my %section_method = ( by_category => 1 );
1077     if ( $conf->config('summary_subtotals_method') eq 'location' ) {
1078       %section_method = ( by_location => 1 );
1079     }
1080     my ($early, $late) =
1081       $self->_items_sections( 'summary' => $summarypage,
1082                               'escape'  => $escape_function_nonbsp,
1083                               'extra_sections' => $extra_sections,
1084                               'format'  => $format,
1085                               %section_method
1086                             );
1087     foreach ( @$early ) {
1088       next if $_->{subtotal} == 0;
1089       $_->{subtotal} = $other_money_char.sprintf('%.2f', $_->{subtotal});
1090       push @summary_subtotals, $_;
1091     }
1092   } else {
1093     # subtotal sectioning is the same as for the actual invoice sections
1094     @summary_subtotals = grep $_->{subtotal}, @sections;
1095   }
1096
1097   # Hereafter, push sections to both @sections and @summary_subtotals
1098   # if they belong in both places (e.g. tax section).  Late sections are
1099   # never in @summary_subtotals.
1100
1101   # previous invoice balances in the Previous Charges section if there
1102   # is one, otherwise in the main detail section
1103   # (except if summary_only is enabled, don't show them at all)
1104   if ( $self->can('_items_previous') &&
1105        $self->enable_previous &&
1106        ! $conf->exists('previous_balance-summary_only') ) {
1107
1108     warn "$me adding previous balances\n"
1109       if $DEBUG > 1;
1110
1111     foreach my $line_item ( $self->_items_previous ) {
1112
1113       my $detail = {
1114         ref             => $line_item->{'pkgnum'},
1115         pkgpart         => $line_item->{'pkgpart'},
1116         #quantity        => 1, # not really correct
1117         section         => $previous_section, # which might be $default_section
1118         description     => &$escape_function($line_item->{'description'}),
1119         ext_description => [ map { &$escape_function($_) } 
1120                              @{ $line_item->{'ext_description'} || [] }
1121                            ],
1122         amount          => $money_char . $line_item->{'amount'},
1123         product_code    => $line_item->{'pkgpart'} || 'N/A',
1124       };
1125
1126       push @detail_items, $detail;
1127       push @buf, [ $detail->{'description'},
1128                    $money_char. sprintf("%10.2f", $line_item->{'amount'}),
1129                  ];
1130     }
1131
1132   }
1133
1134   if ( @pr_cust_bill && $self->enable_previous ) {
1135     push @buf, ['','-----------'];
1136     push @buf, [ $self->mt('Total Previous Balance'),
1137                  $money_char. sprintf("%10.2f", $pr_total) ];
1138     push @buf, ['',''];
1139   }
1140  
1141   if ( $conf->exists('svc_phone-did-summary') && $self->can('_did_summary') ) {
1142       warn "$me adding DID summary\n"
1143         if $DEBUG > 1;
1144
1145       my ($didsummary,$minutes) = $self->_did_summary;
1146       my $didsummary_desc = 'DID Activity Summary (since last invoice)';
1147       push @detail_items, 
1148        { 'description' => $didsummary_desc,
1149            'ext_description' => [ $didsummary, $minutes ],
1150        };
1151   }
1152
1153   foreach my $section (@sections, @$late_sections) {
1154
1155     # begin some normalization
1156     $section->{'subtotal'} = $section->{'amount'}
1157       if $multisection
1158          && !exists($section->{subtotal})
1159          && exists($section->{amount});
1160
1161     $invoice_data{finance_amount} = sprintf('%.2f', $section->{'subtotal'} )
1162       if ( $invoice_data{finance_section} &&
1163            $section->{'description'} eq $invoice_data{finance_section} );
1164
1165     if ( $multisection ) {
1166
1167       if ( ref($section->{'subtotal'}) ) {
1168
1169         $section->{'subtotal'} =
1170           sprintf("$other_money_char%.2f to $other_money_char%.2f",
1171                     $section->{'subtotal'}[0],
1172                     $section->{'subtotal'}[1]
1173                  );
1174
1175       } else {
1176
1177         $section->{'subtotal'} = $other_money_char.
1178                                  sprintf('%.2f', $section->{'subtotal'})
1179
1180       }
1181
1182       # continue some normalization
1183       $section->{'amount'}   = $section->{'subtotal'}
1184
1185     }
1186
1187     if ( $section->{'description'} ) {
1188       push @buf, ( [ &$escape_function($section->{'description'}), '' ],
1189                    [ '', '' ],
1190                  );
1191     }
1192
1193     warn "$me   setting options\n"
1194       if $DEBUG > 1;
1195
1196     my %options = ();
1197     $options{'section'} = $section if $multisection;
1198     $options{'section_with_taxes'} = 1
1199       if $multisection
1200       && $conf->config_bool('invoice_sections_with_taxes', $cust_main->agentnum);
1201     $options{'format'} = $format;
1202     $options{'escape_function'} = $escape_function;
1203     $options{'no_usage'} = 1 unless $unsquelched;
1204     $options{'unsquelched'} = $unsquelched;
1205     $options{'summary_page'} = $summarypage;
1206     $options{'skip_usage'} =
1207       scalar(@$extra_sections) && !grep{$section == $_} @$extra_sections;
1208     $options{'preref_callback'} = $params{'preref_callback'};
1209     $options{'disable_line_item_date_ranges'} =
1210       $conf->exists('disable_line_item_date_ranges');
1211
1212     warn "$me   searching for line items\n"
1213       if $DEBUG > 1;
1214
1215     my %section_tax_lines;
1216     my %seen_tax_lines;
1217
1218     foreach my $line_item ( $self->_items_pkg(%options),
1219                             $self->_items_fee(%options) ) {
1220
1221       warn "$me     adding line item ".
1222            join(', ', map "$_=>".$line_item->{$_}, keys %$line_item). "\n"
1223         if $DEBUG > 1;
1224
1225       push @buf, ( [ $line_item->{'description'},
1226                      $money_char. sprintf("%10.2f", $line_item->{'amount'}),
1227                    ],
1228                    map { [ " ". $_, '' ] } @{$line_item->{'ext_description'}},
1229                  );
1230
1231       $line_item->{'ref'} = $line_item->{'pkgnum'};
1232       $line_item->{'product_code'} = $line_item->{'pkgpart'} || 'N/A'; # mt()?
1233       $line_item->{'section'} = $section;
1234       $line_item->{'description'} = &$escape_function($line_item->{'description'});
1235       $line_item->{'amount'} = $money_char.$line_item->{'amount'};
1236
1237       if ( length($line_item->{'unit_amount'}) ) {
1238         $line_item->{'unit_amount'} = $money_char.$line_item->{'unit_amount'};
1239       }
1240       $line_item->{'ext_description'} ||= [];
1241
1242       if ( $options{section_with_taxes} && ref $line_item->{pkg_tax} ) {
1243         for my $line_tax ( @{$ line_item->{pkg_tax} } ) {
1244
1245           # It is rarely possible for the same tax record to be presented here
1246           # multiple times.  See cust_bill_pkg::_pkg_tax_list for more info
1247           next if $seen_tax_lines{ $line_tax->{billpkgtaxlocationnum} };
1248           $seen_tax_lines{ $line_tax->{billpkgtaxlocationnum} } = 1;
1249
1250           $section_tax_lines{ $line_tax->{taxname} } += $line_tax->{amount};
1251         }
1252       }
1253
1254       push @detail_items, $line_item;
1255     }
1256
1257     # If conf flag invoice_sections_with_taxes:
1258     # - Add @detail_items for taxes into each section
1259     # - Update section subtotal to include taxes
1260     if ( $options{section_with_taxes} && %section_tax_lines ) {
1261       for my $taxname ( keys %section_tax_lines ) {
1262
1263         push @detail_items, {
1264           section => $section,
1265           amount  => sprintf($money_char."%.2f",$section_tax_lines{$taxname}),
1266           description => &$escape_function($taxname),
1267         };
1268
1269         # Append taxes to total.  If line format resembles "$5.00 to $12.00"
1270         # append to the second value.
1271
1272         if ($section->{subtotal} =~ /to/) {
1273           my @subtotal = split /\s/, $section->{subtotal};
1274           $subtotal[2] =~ s/[^\d\.]//g;
1275           $subtotal[2] = sprintf(
1276             $money_char."%.2f",
1277             ( $subtotal[2] + $section_tax_lines{$taxname} )
1278           );
1279           $section->{subtotal} = join ' ', @subtotal;
1280         } else {
1281           $section->{subtotal} =~ s/[^\d\.]//g;
1282           $section->{subtotal} = sprintf(
1283             $money_char . "%.2f",
1284             ( $section->{subtotal} + $section_tax_lines{$taxname} )
1285           );
1286         }
1287
1288       }
1289     }
1290
1291     if ( $section->{'description'} ) {
1292       push @buf, ( ['','-----------'],
1293                    [ $section->{'description'}. ' sub-total',
1294                       $section->{'subtotal'} # already formatted this 
1295                    ],
1296                    [ '', '' ],
1297                    [ '', '' ],
1298                  );
1299     }
1300   
1301   }
1302
1303   $invoice_data{current_less_finance} =
1304     sprintf('%.2f', $self->charged - $invoice_data{finance_amount} );
1305
1306   # if there's anything in the Previous Charges section, prepend it to the list
1307   if ( $pr_total and $previous_section ne $default_section ) {
1308     unshift @sections, $previous_section;
1309     # but not @summary_subtotals
1310   }
1311
1312   warn "$me adding taxes\n"
1313     if $DEBUG > 1;
1314
1315   # create a tax section if we don't yet have one
1316   my @items_tax = $self->_items_tax;
1317   my $tax_description = 'Taxes, Surcharges, and Fees';
1318   my $tax_section =
1319     List::Util::first { $_->{description} eq $tax_description } @sections;
1320   if (!$tax_section) {
1321     $tax_section = { 'description' => $tax_description };
1322     push @sections, $tax_section if $multisection and @items_tax > 0;
1323   }
1324   $tax_section->{tax_section} = 1; # mark this section as containing taxes
1325   # if this is an existing tax section, we're merging the tax items into it.
1326   # grab the taxtotal that's already there, strip the money symbol if any
1327   my $taxtotal = $tax_section->{'subtotal'} || 0;
1328   $taxtotal =~ s/^\Q$other_money_char\E//;
1329
1330   # this does nothing
1331   #my $tax_weight = _pkg_category($tax_section->{description})
1332   #                      ? _pkg_category($tax_section->{description})->weight
1333   #                      : 0;
1334   #$tax_section->{'summarized'} = ''; #why? $summarypage && !$tax_weight ? 'Y' : '';
1335   #$tax_section->{'sort_weight'} = $tax_weight;
1336
1337   foreach my $tax ( @items_tax ) {
1338
1339     $taxtotal += $tax->{'amount'};
1340
1341     my $description = &$escape_function( $tax->{'description'} );
1342     my $amount      = sprintf( '%.2f', $tax->{'amount'} );
1343
1344     if ( $multisection ) {
1345
1346       push @detail_items, {
1347         ext_description => [],
1348         ref          => '',
1349         quantity     => '',
1350         description  => $description,
1351         amount       => $money_char. $amount,
1352         product_code => '',
1353         section      => $tax_section,
1354       };
1355
1356     } else {
1357
1358       push @total_items, {
1359         'total_item'   => $description,
1360         'total_amount' => $other_money_char. $amount,
1361       };
1362
1363     }
1364
1365     push @buf,[ $description,
1366                 $money_char. $amount,
1367               ];
1368
1369   }
1370  
1371   if ( @items_tax ) {
1372     my $total = {};
1373     $total->{'total_item'} = $self->mt('Sub-total');
1374     $total->{'total_amount'} =
1375       $other_money_char. sprintf('%.2f', $self->charged - $taxtotal );
1376
1377     if ( $multisection ) {
1378       if ( $taxtotal > 0 ) {
1379         # there are taxes, so prepare the section to be displayed.
1380         # $taxtotal already includes any line items that were already in the
1381         # section (fees, taxes that are charged as packages for some reason).
1382         # also set 'summarized' to false so that this isn't a summary-only
1383         # section.
1384         $tax_section->{'subtotal'} = $other_money_char.
1385                                      sprintf('%.2f', $taxtotal);
1386         $tax_section->{'pretotal'} = 'New charges sub-total '.
1387                                      $total->{'total_amount'};
1388         $tax_section->{'description'} = $self->mt($tax_description);
1389         $tax_section->{'summarized'} = '';
1390
1391         if ( $conf->config_bool('invoice_sections_with_taxes', $cust_main->agentnum) ) {
1392
1393           # remove tax section if taxes are itemized within other sections
1394           @sections = grep{ $_ ne $tax_section } @sections;
1395
1396         } elsif ( !grep $tax_section, @sections ) {
1397
1398           # append it if it's not already there
1399           push @sections, $tax_section;
1400           push @summary_subtotals, $tax_section;
1401
1402         }
1403
1404       }
1405
1406     } else {
1407       unshift @total_items, $total;
1408     }
1409   }
1410   $invoice_data{'taxtotal'} = sprintf('%.2f', $taxtotal);
1411
1412   ###
1413   # Totals
1414   ###
1415
1416   my %embolden_functions = (
1417     'latex'    => sub { return '\textbf{'. shift(). '}' },
1418     'html'     => sub { return '<b>'. shift(). '</b>' },
1419     'template' => sub { shift },
1420   );
1421   my $embolden_function = $embolden_functions{$format};
1422
1423   if ( $multisection ) {
1424
1425     if ( $adjust_section->{'sort_weight'} ) {
1426       $adjust_section->{'posttotal'} = $self->mt('Balance Forward').' '.
1427         $other_money_char.  sprintf("%.2f", ($self->billing_balance || 0) );
1428     } else{
1429       $adjust_section->{'pretotal'} = $self->mt('New charges total').' '.
1430         $other_money_char.  sprintf('%.2f', $self->charged );
1431     }
1432
1433   }
1434   
1435   if ( $self->can('_items_total') ) { # should always be true now
1436
1437     # even for multisection, need plain text version
1438
1439     my @new_total_items = $self->_items_total;
1440
1441     push @buf,['','-----------'];
1442
1443     foreach ( @new_total_items ) {
1444       my ($item, $amount) = ($_->{'total_item'}, $_->{'total_amount'});
1445       $_->{'total_item'}   = &$embolden_function( $item );
1446
1447       if ( ref($amount) ) {
1448         $_->{'total_amount'} = &$embolden_function(
1449                                  $other_money_char.$amount->[0]. ' to '.
1450                                  $other_money_char.$amount->[1]
1451                                );
1452       } else {
1453       $_->{'total_amount'} = &$embolden_function( $other_money_char.$amount );
1454       }
1455
1456       # but if it's multisection, don't append to @total_items. the adjust
1457       # section has all this stuff
1458       push @total_items, $_ if !$multisection;
1459       push @buf, [ $item, $money_char.sprintf('%10.2f',$amount) ];
1460     }
1461
1462     push @buf, [ '', '' ];
1463
1464     # if we're showing previous invoices, also show previous
1465     # credits and payments 
1466     if ( $self->enable_previous 
1467           and $self->can('_items_credits')
1468           and $self->can('_items_payments') )
1469       {
1470     
1471       # credits
1472       my $credittotal = 0;
1473       foreach my $credit (
1474         $self->_items_credits( 'template' => $template, 'trim_len' => 40 )
1475       ) {
1476
1477         my $total;
1478         $total->{'total_item'} = &$escape_function($credit->{'description'});
1479         $credittotal += $credit->{'amount'};
1480         $total->{'total_amount'} = $minus.$other_money_char.$credit->{'amount'};
1481         if ( $multisection ) {
1482           push @detail_items, {
1483             ext_description => [],
1484             ref          => '',
1485             quantity     => '',
1486             description  => &$escape_function($credit->{'description'}),
1487             amount       => $money_char . $credit->{'amount'},
1488             product_code => '',
1489             section      => $adjust_section,
1490           };
1491         } else {
1492           push @total_items, $total;
1493         }
1494
1495       }
1496       $invoice_data{'credittotal'} = sprintf('%.2f', $credittotal);
1497
1498       #credits (again)
1499       foreach my $credit (
1500         $self->_items_credits( 'template' => $template, 'trim_len'=>32 )
1501       ) {
1502         push @buf, [ $credit->{'description'}, $money_char.$credit->{'amount'} ];
1503       }
1504
1505       # payments
1506       my $paymenttotal = 0;
1507       foreach my $payment (
1508         $self->_items_payments( 'template' => $template )
1509       ) {
1510         my $total = {};
1511         $total->{'total_item'} = &$escape_function($payment->{'description'});
1512         $paymenttotal += $payment->{'amount'};
1513         $total->{'total_amount'} = $minus.$other_money_char.$payment->{'amount'};
1514         if ( $multisection ) {
1515           push @detail_items, {
1516             ext_description => [],
1517             ref          => '',
1518             quantity     => '',
1519             description  => &$escape_function($payment->{'description'}),
1520             amount       => $money_char . $payment->{'amount'},
1521             product_code => '',
1522             section      => $adjust_section,
1523           };
1524         }else{
1525           push @total_items, $total;
1526         }
1527         push @buf, [ $payment->{'description'},
1528                      $money_char. sprintf("%10.2f", $payment->{'amount'}),
1529                    ];
1530       }
1531       $invoice_data{'paymenttotal'} = sprintf('%.2f', $paymenttotal);
1532     
1533       if ( $multisection ) {
1534         $adjust_section->{'subtotal'} = $other_money_char.
1535                                         sprintf('%.2f', $credittotal + $paymenttotal);
1536
1537         #why this? because {sort_weight} forces the adjust_section to appear
1538         #in @extra_sections instead of @sections. obviously.
1539         push @sections, $adjust_section
1540           unless $adjust_section->{sort_weight};
1541         # do not summarize; adjustments there are shown according to 
1542         # different rules
1543       }
1544
1545       # create Balance Due message
1546       { 
1547         my $total;
1548         $total->{'total_item'} = &$embolden_function($self->balance_due_msg);
1549         $total->{'total_amount'} =
1550           &$embolden_function(
1551             $other_money_char. sprintf('%.2f', #why? $summarypage 
1552                                                #  ? $self->charged +
1553                                                #    $self->billing_balance
1554                                                #  :
1555                                                    $self->owed + $pr_total
1556                                       )
1557           );
1558         if ( $multisection && !$adjust_section->{sort_weight} ) {
1559           $adjust_section->{'posttotal'} = $total->{'total_item'}. ' '.
1560                                            $total->{'total_amount'};
1561         } else {
1562           push @total_items, $total;
1563         }
1564         push @buf,['','-----------'];
1565         push @buf,[$self->balance_due_msg, $money_char. 
1566           sprintf("%10.2f", $balance_due ) ];
1567       }
1568
1569       if ( $conf->exists('previous_balance-show_credit')
1570           and $cust_main->balance < 0 ) {
1571         my $credit_total = {
1572           'total_item'    => &$embolden_function($self->credit_balance_msg),
1573           'total_amount'  => &$embolden_function(
1574             $other_money_char. sprintf('%.2f', -$cust_main->balance)
1575           ),
1576         };
1577         if ( $multisection ) {
1578           $adjust_section->{'posttotal'} .= $newline_token .
1579             $credit_total->{'total_item'} . ' ' . $credit_total->{'total_amount'};
1580         }
1581         else {
1582           push @total_items, $credit_total;
1583         }
1584         push @buf,['','-----------'];
1585         push @buf,[$self->credit_balance_msg, $money_char. 
1586           sprintf("%10.2f", -$cust_main->balance ) ];
1587       }
1588     }
1589
1590   } #end of default total adding ! can('_items_total')
1591
1592   if ( $multisection ) {
1593     if (    $conf->exists('svc_phone_sections')
1594          && $self->can('_items_svc_phone_sections')
1595        )
1596     {
1597       my $total;
1598       $total->{'total_item'} = &$embolden_function($self->balance_due_msg);
1599       $total->{'total_amount'} =
1600         &$embolden_function(
1601           $other_money_char. sprintf('%.2f', $self->owed + $pr_total)
1602         );
1603       my $last_section = pop @sections;
1604       $last_section->{'posttotal'} = $total->{'total_item'}. ' '.
1605                                      $total->{'total_amount'};
1606       push @sections, $last_section;
1607     }
1608     push @sections, @$late_sections
1609       if $unsquelched;
1610   }
1611
1612   # make a discounts-available section, even without multisection
1613   if ( $conf->exists('discount-show_available') 
1614        and my @discounts_avail = $self->_items_discounts_avail ) {
1615     my $discount_section = {
1616       'description' => $self->mt('Discounts Available'),
1617       'subtotal'    => '',
1618       'no_subtotal' => 1,
1619     };
1620
1621     push @sections, $discount_section; # do not summarize
1622     push @detail_items, map { +{
1623         'ref'         => '', #should this be something else?
1624         'section'     => $discount_section,
1625         'description' => &$escape_function( $_->{description} ),
1626         'amount'      => $money_char . &$escape_function( $_->{amount} ),
1627         'ext_description' => [ &$escape_function($_->{ext_description}) || () ],
1628     } } @discounts_avail;
1629   }
1630
1631   # not adding any more sections after this
1632   $invoice_data{summary_subtotals} = \@summary_subtotals;
1633
1634   # usage subtotals
1635   if ( $conf->exists('usage_class_summary')
1636        and $self->can('_items_usage_class_summary') ) {
1637     my @usage_subtotals = $self->_items_usage_class_summary(escape => $escape_function, 'money_char' => $other_money_char);
1638     if ( @usage_subtotals ) {
1639       unshift @sections, $usage_subtotals[0]->{section}; # do not summarize
1640       unshift @detail_items, @usage_subtotals;
1641     }
1642   }
1643
1644   # invoice history "section" (not really a section)
1645   # not to be included in any subtotals, completely independent of 
1646   # everything...
1647   if ( $conf->exists('previous_invoice_history') and $cust_main->isa('FS::cust_main') ) {
1648     my %history;
1649     my %monthorder;
1650     foreach my $cust_bill ( $cust_main->cust_bill ) {
1651       # XXX hardcoded format, and currently only 'charged'; add other fields
1652       # if they become necessary
1653       my $date = $self->time2str_local('%b %Y', $cust_bill->_date);
1654       $history{$date} ||= 0;
1655       $history{$date} += $cust_bill->charged;
1656       # just so we have a numeric sort key
1657       $monthorder{$date} ||= $cust_bill->_date;
1658     }
1659     my @sorted_months = sort { $monthorder{$a} <=> $monthorder{$b} }
1660                         keys %history;
1661     my @sorted_amounts = map { sprintf('%.2f', $history{$_}) } @sorted_months;
1662     $invoice_data{monthly_history} = [ \@sorted_months, \@sorted_amounts ];
1663   }
1664
1665   # service locations: another option for template customization
1666   my %location_info;
1667   foreach my $item (@detail_items) {
1668     if ( $item->{locationnum} ) {
1669       $location_info{ $item->{locationnum} } ||= {
1670         FS::cust_location->by_key( $item->{locationnum} )->location_hash
1671       };
1672     }
1673   }
1674   $invoice_data{location_info} = \%location_info;
1675
1676   # debugging hook: call this with 'diag' => 1 to just get a hash of 
1677   # the invoice variables
1678   return \%invoice_data if ( $params{'diag'} );
1679
1680   # All sections and items are built; now fill in templates.
1681   my @includelist = ();
1682   push @includelist, 'summary' if $summarypage;
1683   foreach my $include ( @includelist ) {
1684
1685     my $inc_file = $conf->key_orbase("invoice_${format}$include", $template);
1686     my @inc_src;
1687
1688     if ( length( $conf->config($inc_file, $agentnum) ) ) {
1689
1690       @inc_src = $conf->config($inc_file, $agentnum);
1691
1692     } else {
1693
1694       $inc_file = $conf->key_orbase("invoice_latex$include", $template);
1695
1696       my $convert_map = $convert_maps{$format}{$include};
1697
1698       @inc_src = map { s/\[\@--/$delimiters{$format}[0]/g;
1699                        s/--\@\]/$delimiters{$format}[1]/g;
1700                        $_;
1701                      } 
1702                  &$convert_map( $conf->config($inc_file, $agentnum) );
1703
1704     }
1705
1706     my $inc_tt = new Text::Template (
1707       TYPE       => 'ARRAY',
1708       SOURCE     => [ map "$_\n", @inc_src ],
1709       DELIMITERS => $delimiters{$format},
1710     ) or die "Can't create new Text::Template object: $Text::Template::ERROR";
1711
1712     unless ( $inc_tt->compile() ) {
1713       my $error = "Can't compile $inc_file template: $Text::Template::ERROR\n";
1714       warn $error. "Template:\n". join('', map "$_\n", @inc_src);
1715       die $error;
1716     }
1717
1718     $invoice_data{$include} = $inc_tt->fill_in( HASH => \%invoice_data );
1719
1720     $invoice_data{$include} =~ s/\n+$//
1721       if ($format eq 'latex');
1722   }
1723
1724   $invoice_lines = 0;
1725   my $wasfunc = 0;
1726   foreach ( grep /invoice_lines\(\d*\)/, @invoice_template ) { #kludgy
1727     /invoice_lines\((\d*)\)/;
1728     $invoice_lines += $1 || scalar(@buf);
1729     $wasfunc=1;
1730   }
1731   die "no invoice_lines() functions in template?"
1732     if ( $format eq 'template' && !$wasfunc );
1733
1734   if ( $invoice_lines ) {
1735     $invoice_data{'total_pages'} = int( scalar(@buf) / $invoice_lines );
1736     $invoice_data{'total_pages'}++
1737       if scalar(@buf) % $invoice_lines;
1738   }
1739
1740   #setup subroutine for the template
1741   $invoice_data{invoice_lines} = sub {
1742     my $lines = shift || scalar(@buf);
1743     map { 
1744       scalar(@buf)
1745         ? shift @buf
1746         : [ '', '' ];
1747     }
1748     ( 1 .. $lines );
1749   };
1750
1751   if ($format eq 'template') {
1752
1753     my $lines;
1754     my @collect;
1755     while (@buf) {
1756       push @collect, split("\n",
1757         $text_template->fill_in( HASH => \%invoice_data )
1758       );
1759       $invoice_data{'page'}++;
1760     }
1761     map "$_\n", @collect;
1762
1763   } else { # this is where we actually create the invoice
1764
1765     if ( $params{no_addresses} ) {
1766       delete $invoice_data{$_} foreach qw(
1767         payname company address1 address2 city state zip country
1768       );
1769       $invoice_data{returnaddress} = '~';
1770     }
1771
1772     warn "filling in template for invoice ". $self->invnum. "\n"
1773       if $DEBUG;
1774     warn join("\n", map " $_ => ". $invoice_data{$_}, keys %invoice_data). "\n"
1775       if $DEBUG > 1;
1776
1777     $text_template->fill_in(HASH => \%invoice_data);
1778   }
1779 }
1780
1781 sub notice_name { '('.shift->table.')'; }
1782
1783 # this is not supposed to happen
1784 sub template_conf { warn "bare FS::Template_Mixin::template_conf";
1785   'invoice_';
1786 }
1787
1788 # helper routine for generating date ranges
1789 sub _prior_month30s {
1790   my $self = shift;
1791   my @ranges = (
1792    [ 1,       2592000 ], # 0-30 days ago
1793    [ 2592000, 5184000 ], # 30-60 days ago
1794    [ 5184000, 7776000 ], # 60-90 days ago
1795    [ 7776000, 0       ], # 90+   days ago
1796   );
1797
1798   map { [ $_->[0] ? $self->_date - $_->[0] - 1 : '',
1799           $_->[1] ? $self->_date - $_->[1] - 1 : '',
1800       ] }
1801   @ranges;
1802 }
1803
1804 =item print_ps HASHREF | [ TIME [ , TEMPLATE ] ]
1805
1806 Returns an postscript invoice, as a scalar.
1807
1808 Options can be passed as a hashref (recommended) or as a list of time, template
1809 and then any key/value pairs for any other options.
1810
1811 I<time> an optional value used to control the printing of overdue messages.  The
1812 default is now.  It isn't the date of the invoice; that's the `_date' field.
1813 It is specified as a UNIX timestamp; see L<perlfunc/"time">.  Also see
1814 L<Time::Local> and L<Date::Parse> for conversion functions.
1815
1816 I<notice_name>, if specified, overrides "Invoice" as the name of the sent document (templates from 10/2009 or newer required)
1817
1818 =cut
1819
1820 sub print_ps {
1821   my $self = shift;
1822
1823   my ($file, $logofile, $barcodefile) = $self->print_latex(@_);
1824   my $ps = generate_ps($file);
1825   unlink($logofile);
1826   unlink($barcodefile) if $barcodefile;
1827
1828   $ps;
1829 }
1830
1831 =item print_pdf HASHREF | [ TIME [ , TEMPLATE ] ]
1832
1833 Returns an PDF invoice, as a scalar.
1834
1835 Options can be passed as a hashref (recommended) or as a list of time, template
1836 and then any key/value pairs for any other options.
1837
1838 I<time> an optional value used to control the printing of overdue messages.  The
1839 default is now.  It isn't the date of the invoice; that's the `_date' field.
1840 It is specified as a UNIX timestamp; see L<perlfunc/"time">.  Also see
1841 L<Time::Local> and L<Date::Parse> for conversion functions.
1842
1843 I<template>, if specified, is the name of a suffix for alternate invoices.
1844
1845 I<notice_name>, if specified, overrides "Invoice" as the name of the sent document (templates from 10/2009 or newer required)
1846
1847 =cut
1848
1849 sub print_pdf {
1850   my $self = shift;
1851
1852   my ($file, $logofile, $barcodefile) = $self->print_latex(@_);
1853   my $pdf = generate_pdf($file);
1854   unlink($logofile);
1855   unlink($barcodefile) if $barcodefile;
1856
1857   $pdf;
1858 }
1859
1860 =item print_html HASHREF | [ TIME [ , TEMPLATE [ , CID ] ] ]
1861
1862 Returns an HTML invoice, as a scalar.
1863
1864 I<time> an optional value used to control the printing of overdue messages.  The
1865 default is now.  It isn't the date of the invoice; that's the `_date' field.
1866 It is specified as a UNIX timestamp; see L<perlfunc/"time">.  Also see
1867 L<Time::Local> and L<Date::Parse> for conversion functions.
1868
1869 I<template>, if specified, is the name of a suffix for alternate invoices.
1870
1871 I<notice_name>, if specified, overrides "Invoice" as the name of the sent document (templates from 10/2009 or newer required)
1872
1873 I<cid> is a MIME Content-ID used to create a "cid:" URL for the logo image, used
1874 when emailing the invoice as part of a multipart/related MIME email.
1875
1876 =cut
1877
1878 sub print_html {
1879   my $self = shift;
1880   my %params;
1881   if ( ref($_[0]) ) {
1882     %params = %{ shift() }; 
1883   } else {
1884     %params = @_;
1885   }
1886   $params{'format'} = 'html';
1887   
1888   $self->print_generic( %params );
1889 }
1890
1891 # quick subroutine for print_latex
1892 #
1893 # There are ten characters that LaTeX treats as special characters, which
1894 # means that they do not simply typeset themselves: 
1895 #      # $ % & ~ _ ^ \ { }
1896 #
1897 # TeX ignores blanks following an escaped character; if you want a blank (as
1898 # in "10% of ..."), you have to "escape" the blank as well ("10\%\ of ..."). 
1899
1900 sub _latex_escape {
1901   my $value = shift;
1902   $value =~ s/([#\$%&~_\^{}])( )?/"\\$1". ( ( defined($2) && length($2) ) ? "\\$2" : '' )/ge;
1903   $value =~ s/([<>])/\$$1\$/g;
1904   $value;
1905 }
1906
1907 sub _html_escape {
1908   my $value = shift;
1909   encode_entities($value);
1910   $value;
1911 }
1912
1913 sub _html_escape_nbsp {
1914   my $value = _html_escape(shift);
1915   $value =~ s/ +/&nbsp;/g;
1916   $value;
1917 }
1918
1919 #utility methods for print_*
1920
1921 sub _translate_old_latex_format {
1922   warn "_translate_old_latex_format called\n"
1923     if $DEBUG; 
1924
1925   my @template = ();
1926   while ( @_ ) {
1927     my $line = shift;
1928   
1929     if ( $line =~ /^%%Detail\s*$/ ) {
1930   
1931       push @template, q![@--!,
1932                       q!  foreach my $_tr_line (@detail_items) {!,
1933                       q!    if ( scalar ($_tr_item->{'ext_description'} ) ) {!,
1934                       q!      $_tr_line->{'description'} .= !, 
1935                       q!        "\\tabularnewline\n~~".!,
1936                       q!        join( "\\tabularnewline\n~~",!,
1937                       q!          @{$_tr_line->{'ext_description'}}!,
1938                       q!        );!,
1939                       q!    }!;
1940
1941       while ( ( my $line_item_line = shift )
1942               !~ /^%%EndDetail\s*$/                            ) {
1943         $line_item_line =~ s/'/\\'/g;    # nice LTS
1944         $line_item_line =~ s/\\/\\\\/g;  # escape quotes and backslashes
1945         $line_item_line =~ s/\$(\w+)/'. \$_tr_line->{$1}. '/g;
1946         push @template, "    \$OUT .= '$line_item_line';";
1947       }
1948
1949       push @template, '}',
1950                       '--@]';
1951       #' doh, gvim
1952     } elsif ( $line =~ /^%%TotalDetails\s*$/ ) {
1953
1954       push @template, '[@--',
1955                       '  foreach my $_tr_line (@total_items) {';
1956
1957       while ( ( my $total_item_line = shift )
1958               !~ /^%%EndTotalDetails\s*$/                      ) {
1959         $total_item_line =~ s/'/\\'/g;    # nice LTS
1960         $total_item_line =~ s/\\/\\\\/g;  # escape quotes and backslashes
1961         $total_item_line =~ s/\$(\w+)/'. \$_tr_line->{$1}. '/g;
1962         push @template, "    \$OUT .= '$total_item_line';";
1963       }
1964
1965       push @template, '}',
1966                       '--@]';
1967
1968     } else {
1969       $line =~ s/\$(\w+)/[\@-- \$$1 --\@]/g;
1970       push @template, $line;  
1971     }
1972   
1973   }
1974
1975   if ($DEBUG) {
1976     warn "$_\n" foreach @template;
1977   }
1978
1979   (@template);
1980 }
1981
1982 =item terms
1983
1984 =cut
1985
1986 sub terms {
1987   my $self = shift;
1988   my $conf = $self->conf;
1989
1990   #check for an invoice-specific override
1991   return $self->invoice_terms if $self->invoice_terms;
1992   
1993   #check for a customer- specific override
1994   my $cust_main = $self->cust_main;
1995   return $cust_main->invoice_terms if $cust_main && $cust_main->invoice_terms;
1996
1997   my $agentnum = '';
1998   if ( $cust_main ) {
1999     $agentnum = $cust_main->agentnum;
2000   } elsif ( my $prospect_main = $self->prospect_main ) {
2001     $agentnum = $prospect_main->agentnum;
2002   }
2003
2004   #use configured default
2005   $conf->config('invoice_default_terms', $agentnum) || '';
2006 }
2007
2008 =item due_date
2009
2010 =cut
2011
2012 sub due_date {
2013   my $self = shift;
2014   my $duedate = '';
2015   if ( $self->terms =~ /^\s*Net\s*(\d+)\s*$/ ) {
2016     $duedate = $self->_date() + ( $1 * 86400 );
2017   } elsif ( $self->terms =~ /^End of Month$/ ) {
2018     my ($mon,$year) = (localtime($self->_date) )[4,5];
2019     $mon++;
2020     until ( $mon < 12 ) { $mon -= 12; $year++; }
2021     my $nextmonth_first = timelocal(0,0,0,1,$mon,$year);
2022     $duedate = $nextmonth_first - 86400;
2023   }
2024   $duedate;
2025 }
2026
2027 =item due_date2str
2028
2029 =cut
2030
2031 sub due_date2str {
2032   my $self = shift;
2033   $self->due_date ? $self->time2str_local(shift, $self->due_date) : '';
2034 }
2035
2036 =item balance_due_msg
2037
2038 =cut
2039
2040 sub balance_due_msg {
2041   my $self = shift;
2042   my $msg = $self->mt('Balance Due');
2043   return $msg unless $self->terms; # huh?
2044   if ( !$self->conf->exists('invoice_show_prior_due_date')
2045        || $self->has_sections ) {
2046     # if enabled, the due date is shown with Total New Charges (see 
2047     # _items_total) and not here
2048     # (yes, or if invoice_sections is enabled; this is just for compatibility)
2049     if ( $self->due_date ) {
2050       my $please_pay_by =
2051         $self->conf->config('invoice_pay_by_msg', $self->agentnum)
2052         || 'Please pay by [_1]';
2053       $msg .= ' - ' . $self->mt($please_pay_by, $self->due_date2str('short')).
2054               ' '
2055        unless $self->conf->config_bool('invoice_omit_due_date',$self->agentnum);
2056     } elsif ( $self->terms ) {
2057       $msg .= ' - '. $self->mt($self->terms);
2058     }
2059   }
2060   $msg;
2061 }
2062
2063 =item balance_due_date
2064
2065 =cut
2066
2067 sub balance_due_date {
2068   my $self = shift;
2069   my $conf = $self->conf;
2070   my $duedate = '';
2071   my $terms = $self->terms;
2072   if ( $terms =~ /^\s*Net\s*(\d+)\s*$/ ) {
2073     $duedate = $self->time2str_local('rdate', $self->_date + ($1*86400) );
2074   }
2075   $duedate;
2076 }
2077
2078 sub credit_balance_msg { 
2079   my $self = shift;
2080   $self->mt('Credit Balance Remaining')
2081 }
2082
2083 =item _date_pretty
2084
2085 Returns a string with the date, for example: "3/20/2008", localized for the
2086 customer.  Use _date_pretty_unlocalized for non-end-customer display use.
2087
2088 =cut
2089
2090 sub _date_pretty {
2091   my $self = shift;
2092   $self->time2str_local('short', $self->_date);
2093 }
2094
2095 =item _date_pretty_unlocalized
2096
2097 Returns a string with the date, for example: "3/20/2008", in the format
2098 configured for the back-office.  Use _date_pretty for end-customer display use.
2099
2100 =cut
2101
2102 sub _date_pretty_unlocalized {
2103   my $self = shift;
2104   time2str($date_format, $self->_date);
2105 }
2106
2107 =item email HASHREF
2108
2109 Emails this template.
2110
2111 Options are passed as a hashref.  Available options:
2112
2113 =over 4
2114
2115 =item from
2116
2117 If specified, overrides the default From: address.
2118
2119 =item notice_name
2120
2121 If specified, overrides the name of the sent document ("Invoice" or "Quotation")
2122
2123 =item template
2124
2125 (Deprecated) If specified, is the name of a suffix for alternate template files.
2126
2127 =back
2128
2129 Options accepted by generate_email can also be used.
2130
2131 =cut
2132
2133 sub email {
2134   my $self = shift;
2135   my $opt = shift || {};
2136   if ($opt and !ref($opt)) {
2137     die ref($self). '->email called with positional parameters';
2138   }
2139
2140   return if $self->hide;
2141
2142   my $error = send_email(
2143     $self->generate_email(
2144       'subject'     => $self->email_subject($opt->{template}),
2145       %$opt, # template, etc.
2146     )
2147   );
2148
2149   die "can't email: $error\n" if $error;
2150 }
2151
2152 =item generate_email OPTION => VALUE ...
2153
2154 Options:
2155
2156 =over 4
2157
2158 =item from
2159
2160 sender address, required
2161
2162 =item template
2163
2164 alternate template name, optional
2165
2166 =item subject
2167
2168 email subject, optional
2169
2170 =item notice_name
2171
2172 notice name instead of "Invoice", optional
2173
2174 =back
2175
2176 Returns an argument list to be passed to L<FS::Misc::send_email>.
2177
2178 =cut
2179
2180 use MIME::Entity;
2181 use Encode;
2182
2183 sub generate_email {
2184
2185   my $self = shift;
2186   my %args = @_;
2187   my $conf = $self->conf;
2188
2189   my $me = '[FS::Template_Mixin::generate_email]';
2190
2191   my %return = (
2192     'from'      => $args{'from'},
2193     'subject'   => ($args{'subject'} || $self->email_subject),
2194     'custnum'   => $self->custnum,
2195     'msgtype'   => 'invoice',
2196   );
2197
2198   $args{'unsquelch_cdr'} = $conf->exists('voip-cdr_email');
2199
2200   my $cust_main = $self->cust_main;
2201
2202   if (ref($args{'to'}) eq 'ARRAY') {
2203     $return{'to'} = $args{'to'};
2204   } elsif ( $cust_main ) {
2205     $return{'to'} = [ $cust_main->invoicing_list_emailonly ];
2206   }
2207
2208   my $tc = $self->template_conf;
2209
2210   my @text; # array of lines
2211   my $html; # a big string
2212   my @related_parts; # will contain the text/HTML alternative, and images
2213   my $related; # will contain the multipart/related object
2214
2215   if ( $conf->exists($tc. 'email_pdf') ) {
2216     if ( my $msgnum = $conf->config($tc.'email_pdf_msgnum') ) {
2217
2218       warn "$me using '${tc}email_pdf_msgnum' in multipart message"
2219         if $DEBUG;
2220
2221       my $msg_template = FS::msg_template->by_key($msgnum)
2222         or die "${tc}email_pdf_msgnum $msgnum not found\n";
2223       my $cust_msg = $msg_template->prepare(
2224         cust_main => $self->cust_main,
2225         object    => $self,
2226         msgtype   => 'invoice',
2227       );
2228
2229       # XXX hack to make this work in the new cust_msg era; consider replacing
2230       # with cust_bill_send_with_notice events.
2231       my @parts = $cust_msg->parts;
2232       foreach my $part (@parts) { # will only have two parts, normally
2233         if ( $part->mime_type eq 'text/plain' ) {
2234           @text = @{ $part->body };
2235         } elsif ( $part->mime_type eq 'text/html' ) {
2236           $html = $part->bodyhandle->as_string;
2237         }
2238       }
2239
2240     } elsif ( my @note = $conf->config($tc.'email_pdf_note') ) {
2241
2242       warn "$me using '${tc}email_pdf_note' in multipart message"
2243         if $DEBUG;
2244       @text = $conf->config($tc.'email_pdf_note');
2245       $html = join('<BR>', @text);
2246   
2247     } # else use the plain text invoice
2248   }
2249
2250   if (!@text) {
2251
2252     if ( $conf->config($tc.'template') ) {
2253
2254       warn "$me generating plain text invoice"
2255         if $DEBUG;
2256
2257       # 'print_text' argument is no longer used
2258       @text = map Encode::encode_utf8($_), $self->print_text(\%args);
2259
2260     } else {
2261
2262       warn "$me no plain text version exists; sending empty message body"
2263         if $DEBUG;
2264
2265     }
2266
2267   }
2268
2269   my $text_part = build MIME::Entity (
2270     'Type'        => 'text/plain',
2271     'Encoding'    => 'quoted-printable',
2272     'Charset'     => 'UTF-8',
2273     #'Encoding'    => '7bit',
2274     'Data'        => \@text,
2275     'Disposition' => 'inline',
2276   );
2277
2278   if (!$html) {
2279
2280     if ( $conf->exists($tc.'html') ) {
2281       warn "$me generating HTML invoice"
2282         if $DEBUG;
2283
2284       $args{'from'} =~ /\@([\w\.\-]+)/;
2285       my $from = $1 || 'example.com';
2286       my $content_id = join('.', rand()*(2**32), $$, time). "\@$from";
2287
2288       my $logo;
2289       my $agentnum = $cust_main ? $cust_main->agentnum
2290                                 : $self->prospect_main->agentnum;
2291       if ( defined($args{'template'}) && length($args{'template'})
2292            && $conf->exists( 'logo_'. $args{'template'}. '.png', $agentnum )
2293          )
2294       {
2295         $logo = 'logo_'. $args{'template'}. '.png';
2296       } else {
2297         $logo = "logo.png";
2298       }
2299       my $image_data = $conf->config_binary( $logo, $agentnum);
2300
2301       push @related_parts, build MIME::Entity
2302         'Type'       => 'image/png',
2303         'Encoding'   => 'base64',
2304         'Data'       => $image_data,
2305         'Filename'   => 'logo.png',
2306         'Content-ID' => "<$content_id>",
2307       ;
2308    
2309       if ( ref($self) eq 'FS::cust_bill' && $conf->exists('invoice-barcode') ) {
2310         my $barcode_content_id = join('.', rand()*(2**32), $$, time). "\@$from";
2311         push @related_parts, build MIME::Entity
2312           'Type'       => 'image/png',
2313           'Encoding'   => 'base64',
2314           'Data'       => $self->invoice_barcode(0),
2315           'Filename'   => 'barcode.png',
2316           'Content-ID' => "<$barcode_content_id>",
2317         ;
2318         $args{'barcode_cid'} = $barcode_content_id;
2319       }
2320
2321       $html = $self->print_html({ 'cid'=>$content_id, %args });
2322     }
2323
2324   }
2325
2326   if ( $html ) {
2327
2328     warn "$me creating HTML/text multipart message"
2329       if $DEBUG;
2330
2331     $return{'nobody'} = 1;
2332
2333     my $alternative = build MIME::Entity
2334       'Type'        => 'multipart/alternative',
2335       #'Encoding'    => '7bit',
2336       'Disposition' => 'inline'
2337     ;
2338
2339     if ( @text ) {
2340       $alternative->add_part($text_part);
2341     }
2342
2343     $alternative->attach(
2344       'Type'        => 'text/html',
2345       'Encoding'    => 'quoted-printable',
2346       'Data'        => [ '<html>',
2347                          '  <head>',
2348                          '    <title>',
2349                          '      '. encode_entities($return{'subject'}), 
2350                          '    </title>',
2351                          '  </head>',
2352                          '  <body bgcolor="#e8e8e8">',
2353                          Encode::encode_utf8($html),
2354                          '  </body>',
2355                          '</html>',
2356                        ],
2357       'Disposition' => 'inline',
2358       #'Filename'    => 'invoice.pdf',
2359     );
2360
2361     unshift @related_parts, $alternative;
2362
2363     $related = build MIME::Entity 'Type'     => 'multipart/related',
2364                                   'Encoding' => '7bit';
2365
2366     #false laziness w/Misc::send_email
2367     $related->head->replace('Content-type',
2368       $related->mime_type.
2369       '; boundary="'. $related->head->multipart_boundary. '"'.
2370       '; type=multipart/alternative'
2371     );
2372
2373     $related->add_part($_) foreach @related_parts;
2374
2375   }
2376
2377   my @otherparts = ();
2378   if ( ref($self) eq 'FS::cust_bill' && $cust_main->email_csv_cdr ) {
2379
2380     if ( $conf->config('voip-cdr_email_attach') eq 'zip' ) {
2381
2382       my $data = join('', map "$_\n",
2383                    $self->call_details(prepend_billed_number=>1)
2384                  );
2385
2386       my $zip = new Archive::Zip;
2387       my $file = $zip->addString( $data, 'usage-'.$self->invnum.'.csv' );
2388       $file->desiredCompressionMethod( COMPRESSION_DEFLATED );
2389
2390       my $zipdata = '';
2391       my $SH = IO::Scalar->new(\$zipdata);
2392       my $status = $zip->writeToFileHandle($SH);
2393       die "Error zipping CDR attachment: $!" unless $status == AZ_OK;
2394
2395       push @otherparts, build MIME::Entity
2396         'Type'        => 'application/zip',
2397         'Encoding'    => 'base64',
2398         'Data'        => $zipdata,
2399         'Disposition' => 'attachment',
2400         'Filename'    => 'usage-'. $self->invnum. '.zip',
2401       ;
2402
2403     } else { # } elsif ( $conf->config('voip-cdr_email_attach') eq 'csv' ) {
2404  
2405       push @otherparts, build MIME::Entity
2406         'Type'        => 'text/csv',
2407         'Encoding'    => '7bit',
2408         'Data'        => [ map { "$_\n" }
2409                              $self->call_details('prepend_billed_number' => 1)
2410                          ],
2411         'Disposition' => 'attachment',
2412         'Filename'    => 'usage-'. $self->invnum. '.csv',
2413       ;
2414
2415     }
2416
2417   }
2418
2419   if ( $conf->exists($tc.'email_pdf') ) {
2420
2421     #attaching pdf too:
2422     # multipart/mixed
2423     #   multipart/related
2424     #     multipart/alternative
2425     #       text/plain
2426     #       text/html
2427     #     image/png
2428     #   application/pdf
2429
2430     my $pdf = build MIME::Entity $self->mimebuild_pdf(\%args);
2431     push @otherparts, $pdf;
2432   }
2433
2434   if (@otherparts) {
2435     $return{'content-type'} = 'multipart/mixed'; # of the outer container
2436     if ( $html ) {
2437       $return{'mimeparts'} = [ $related, @otherparts ];
2438       $return{'type'} = 'multipart/related'; # of the first part
2439     } else {
2440       $return{'mimeparts'} = [ $text_part, @otherparts ];
2441       $return{'type'} = 'text/plain';
2442     }
2443   } elsif ( $html ) { # no PDF or CSV, strip the outer container
2444     $return{'mimeparts'} = \@related_parts;
2445     $return{'content-type'} = 'multipart/related';
2446     $return{'type'} = 'multipart/alternative';
2447   } else { # no HTML either
2448     $return{'body'} = \@text;
2449     $return{'content-type'} = 'text/plain';
2450   }
2451
2452   %return;
2453
2454 }
2455
2456 =item mimebuild_pdf
2457
2458 Returns a list suitable for passing to MIME::Entity->build(), representing
2459 this quotation or invoice as PDF attachment.
2460
2461 =cut
2462
2463 sub mimebuild_pdf {
2464   my $self = shift;
2465   (
2466     'Type'        => 'application/pdf',
2467     'Encoding'    => 'base64',
2468     'Data'        => [ $self->print_pdf(@_) ],
2469     'Disposition' => 'attachment',
2470     'Filename'    => $self->pdf_filename,
2471   );
2472 }
2473
2474 =item postal_mail_fsinc
2475
2476 Sends this invoice to the Freeside Internet Services, Inc. print and mail
2477 service.
2478
2479 =cut
2480
2481 use CAM::PDF;
2482 use IO::Socket::SSL;
2483 use LWP::UserAgent;
2484 use HTTP::Request::Common qw( POST );
2485 use Cpanel::JSON::XS;
2486 use MIME::Base64;
2487 sub postal_mail_fsinc {
2488   my ( $self, %opt ) = @_;
2489
2490   my $url = 'https://ws.freeside.biz/print';
2491
2492   my $cust_main = $self->cust_main;
2493   my $agentnum = $cust_main->agentnum;
2494   my $bill_location = $cust_main->bill_location;
2495
2496   die "Extra charges for international mailing; contact support\@freeside.biz to enable\n"
2497     if $bill_location->country ne 'US';
2498
2499   my $conf = new FS::Conf;
2500
2501   my @company_address = $conf->config('company_address', $agentnum);
2502   my ( $company_address1, $company_address2, $company_city, $company_state, $company_zip );
2503   if ( $company_address[2] =~ /^\s*(\S.*\S)\s*[\s,](\w\w),?\s*(\d{5}(-\d{4})?)\s*$/ ) {
2504     $company_address1 = $company_address[0];
2505     $company_address2 = $company_address[1];
2506     $company_city  = $1;
2507     $company_state = $2;
2508     $company_zip   = $3;
2509   } elsif ( $company_address[1] =~ /^\s*(\S.*\S)\s*[\s,](\w\w),?\s*(\d{5}(-\d{4})?)\s*$/ ) {
2510     $company_address1 = $company_address[0];
2511     $company_address2 = '';
2512     $company_city  = $1;
2513     $company_state = $2;
2514     $company_zip   = $3;
2515   } else {
2516     die "Unparsable company_address; contact support\@freeside.biz\n";
2517   }
2518   $company_city =~ s/,$//;
2519
2520   my $file = $self->print_pdf(%opt, 'no_addresses' => 1);
2521   my $pages = CAM::PDF->new($file)->numPages;
2522
2523   my $ua = LWP::UserAgent->new(
2524     'ssl_opts' => { 
2525       verify_hostname => 0,
2526       SSL_verify_mode => IO::Socket::SSL::SSL_VERIFY_NONE,
2527       SSL_version     => 'SSLv3',
2528     }
2529   );
2530   my $response = $ua->request( POST $url, [
2531     'support-key'      => scalar($conf->config('support-key')),
2532     'file'             => encode_base64($file),
2533     'pages'            => $pages,
2534
2535     #from:
2536     'company_name'     => scalar( $conf->config('company_name', $agentnum) ),
2537     'company_address1' => $company_address1,
2538     'company_address2' => $company_address2,
2539     'company_city'     => $company_city,
2540     'company_state'    => $company_state,
2541     'company_zip'      => $company_zip,
2542     'company_country'  => 'US',
2543     'company_phonenum' => scalar($conf->config('company_phonenum', $agentnum)),
2544     'company_email'    => scalar($conf->config('invoice_from', $agentnum)),
2545
2546     #to:
2547     'name'             => $cust_main->invoice_attn
2548                             || $cust_main->contact_firstlast,
2549     'company'          => $cust_main->company,
2550     'address1'         => $bill_location->address1,
2551     'address2'         => $bill_location->address2,
2552     'city'             => $bill_location->city,
2553     'state'            => $bill_location->state,
2554     'zip'              => $bill_location->zip,
2555     'country'          => $bill_location->country,
2556   ]);
2557
2558   die "Print connection error: ". $response->message.
2559       ' ('. $response->as_string. ")\n"
2560     unless $response->is_success;
2561
2562   local $@;
2563   my $content = eval { decode_json($response->content) };
2564   die "Print JSON error : $@\n" if $@;
2565
2566   die $content->{error}."\n"
2567     if $content->{error};
2568
2569   #TODO: store this so we can query for a status later
2570   warn "Invoice printed, ID ". $content->{id}. "\n";
2571
2572   $content->{id};
2573
2574 }
2575
2576 =item _items_sections OPTIONS
2577
2578 Generate section information for all items appearing on this invoice.
2579 This will only be called for multi-section invoices.
2580
2581 For each line item (L<FS::cust_bill_pkg> record), this will fetch all 
2582 related display records (L<FS::cust_bill_pkg_display>) and organize 
2583 them into two groups ("early" and "late" according to whether they come 
2584 before or after the total), then into sections.  A subtotal is calculated 
2585 for each section.
2586
2587 Section descriptions are returned in sort weight order.  Each consists 
2588 of a hash containing:
2589
2590 description: the package category name, escaped
2591 subtotal: the total charges in that section
2592 tax_section: a flag indicating that the section contains only tax charges
2593 summarized: same as tax_section, for some reason
2594 sort_weight: the package category's sort weight
2595
2596 If 'condense' is set on the display record, it also contains everything 
2597 returned from C<_condense_section()>, i.e. C<_condensed_foo_generator>
2598 coderefs to generate parts of the invoice.  This is not advised.
2599
2600 The method returns two arrayrefs, one of "early" sections and one of "late"
2601 sections.
2602
2603 OPTIONS may include:
2604
2605 by_location: a flag to divide the invoice into sections by location.  
2606 Each section hash will have a 'location' element containing a hashref of 
2607 the location fields (see L<FS::cust_location>).  The section description
2608 will be the location label, but the template can use any of the location 
2609 fields to create a suitable label.
2610
2611 by_category: a flag to divide the invoice into sections using display 
2612 records (see L<FS::cust_bill_pkg_display>).  This is the "traditional" 
2613 behavior.  Each section hash will have a 'category' element containing
2614 the section name from the display record (which probably equals the 
2615 category name of the package, but may not in some cases).
2616
2617 summary: a flag indicating that this is a summary-format invoice.
2618 Turning this on has the following effects:
2619 - Ignores display items with the 'summary' flag.
2620 - Places all sections in the "early" group even if they have post_total.
2621 - Creates sections for all non-disabled package categories, even if they 
2622 have no charges on this invoice, as well as a section with no name.
2623
2624 escape: an escape function to use for section titles.
2625
2626 extra_sections: an arrayref of additional sections to return after the 
2627 sorted list.  If there are any of these, section subtotals exclude 
2628 usage charges.
2629
2630 format: 'latex', 'html', or 'template' (i.e. text).  Not used, but 
2631 passed through to C<_condense_section()>.
2632
2633 =cut
2634
2635 use vars qw(%pkg_category_cache);
2636 sub _items_sections {
2637   my $self = shift;
2638   my %opt = @_;
2639   
2640   my $escape = $opt{escape};
2641   my @extra_sections = @{ $opt{extra_sections} || [] };
2642
2643   # $subtotal{$locationnum}{$categoryname} = amount.
2644   # if we're not using by_location, $locationnum is undef.
2645   # if we're not using by_category, you guessed it, $categoryname is undef.
2646   # if we're not using either one, we shouldn't be here in the first place...
2647   my %subtotal = ();
2648   my %late_subtotal = ();
2649   my %not_tax = ();
2650
2651   # About tax items + multisection invoices:
2652   # If either invoice_*summary option is enabled, AND there is a 
2653   # package category with the name of the tax, then there will be 
2654   # a display record assigning the tax item to that category.
2655   #
2656   # However, the taxes are always placed in the "Taxes, Surcharges,
2657   # and Fees" section regardless of that.  The only effect of the 
2658   # display record is to create a subtotal for the summary page.
2659
2660   # cache these
2661   my $pkg_hash = $self->cust_pkg_hash;
2662
2663   foreach my $cust_bill_pkg ( $self->cust_bill_pkg )
2664   {
2665
2666       my $usage = $cust_bill_pkg->usage;
2667
2668       my $locationnum;
2669       if ( $opt{by_location} ) {
2670         if ( $cust_bill_pkg->pkgnum ) {
2671           $locationnum = $pkg_hash->{ $cust_bill_pkg->pkgnum }->locationnum;
2672         } else {
2673           $locationnum = '';
2674         }
2675       } else {
2676         $locationnum = undef;
2677       }
2678
2679       # as in _items_cust_pkg, if a line item has no display records,
2680       # cust_bill_pkg_display() returns a default record for it
2681
2682       foreach my $display ($cust_bill_pkg->cust_bill_pkg_display) {
2683         next if ( $display->summary && $opt{summary} );
2684
2685         #my $section = $display->section;
2686         #false laziness with the method, but for efficiency inside this loop
2687         my $section = $display->get('section');
2688         if ( !$section && !$cust_bill_pkg->hidden ) {
2689           $section = $cust_bill_pkg->get('categoryname'); #cust_bill->cust_bill_pkg added it (XXX quotations / quotation_section)
2690         }
2691
2692         my $type    = $display->type;
2693         # Set $section = undef if we're sectioning by location and this
2694         # line item _has_ a location (i.e. isn't a fee).
2695         $section = undef if $locationnum;
2696
2697         # set this flag if the section is not tax-only
2698         $not_tax{$locationnum}{$section} = 1
2699           if $cust_bill_pkg->pkgnum  or $cust_bill_pkg->feepart;
2700
2701         # there's actually a very important piece of logic buried in here:
2702         # incrementing $late_subtotal{$section} CREATES 
2703         # $late_subtotal{$section}.  keys(%late_subtotal) is later used 
2704         # to define the list of late sections, and likewise keys(%subtotal).
2705         # When _items_cust_bill_pkg is called to generate line items for 
2706         # real, it will be called with 'section' => $section for each 
2707         # of these.
2708         if ( $display->post_total && !$opt{summary} ) {
2709           if (! $type || $type eq 'S') {
2710             $late_subtotal{$locationnum}{$section} += $cust_bill_pkg->setup
2711               if $cust_bill_pkg->setup != 0
2712               || $cust_bill_pkg->setup_show_zero;
2713           }
2714
2715           if (! $type) {
2716             $late_subtotal{$locationnum}{$section} += $cust_bill_pkg->recur
2717               if $cust_bill_pkg->recur != 0
2718               || $cust_bill_pkg->recur_show_zero;
2719           }
2720
2721           if ($type && $type eq 'R') {
2722             $late_subtotal{$locationnum}{$section} += $cust_bill_pkg->recur - $usage
2723               if $cust_bill_pkg->recur != 0
2724               || $cust_bill_pkg->recur_show_zero;
2725           }
2726           
2727           if ($type && $type eq 'U') {
2728             $late_subtotal{$locationnum}{$section} += $usage
2729               unless scalar(@extra_sections);
2730           }
2731
2732         } else { # it's a pre-total (normal) section
2733
2734           # skip tax items unless they're explicitly included in a section
2735           next if $cust_bill_pkg->pkgnum == 0 and
2736                   ! $cust_bill_pkg->feepart   and
2737                   ! $section;
2738
2739           if ( $type eq 'S' ) {
2740             $subtotal{$locationnum}{$section} += $cust_bill_pkg->setup
2741               if $cust_bill_pkg->setup != 0
2742               || $cust_bill_pkg->setup_show_zero;
2743           } elsif ( $type eq 'R' ) {
2744             $subtotal{$locationnum}{$section} += $cust_bill_pkg->recur - $usage
2745               if $cust_bill_pkg->recur != 0
2746               || $cust_bill_pkg->recur_show_zero;
2747           } elsif ( $type eq 'U' ) {
2748             $subtotal{$locationnum}{$section} += $usage
2749               unless scalar(@extra_sections);
2750           } elsif ( !$type ) {
2751             $subtotal{$locationnum}{$section} += $cust_bill_pkg->setup
2752                                                + $cust_bill_pkg->recur;
2753           }
2754
2755         }
2756
2757       }
2758
2759   }
2760
2761   %pkg_category_cache = ();
2762
2763   # summary invoices need subtotals for all non-disabled package categories,
2764   # even if they're zero
2765   # but currently assume that there are no location sections, or at least
2766   # that the summary page doesn't care about them
2767   if ( $opt{summary} ) {
2768     foreach my $category (qsearch('pkg_category', {disabled => ''})) {
2769       $subtotal{''}{$category->categoryname} ||= 0;
2770     }
2771     $subtotal{''}{''} ||= 0;
2772   }
2773
2774   my @sections;
2775   foreach my $post_total (0,1) {
2776     my @these;
2777     my $s = $post_total ? \%late_subtotal : \%subtotal;
2778     foreach my $locationnum (keys %$s) {
2779       foreach my $sectionname (keys %{ $s->{$locationnum} }) {
2780         my $section = {
2781                         'subtotal'    => $s->{$locationnum}{$sectionname},
2782                         'sort_weight' => 0,
2783                       };
2784         if ( $locationnum ) {
2785           $section->{'locationnum'} = $locationnum;
2786           my $location = FS::cust_location->by_key($locationnum);
2787           $section->{'description'} = &{ $escape }($location->location_label);
2788           # Better ideas? This will roughly group them by proximity, 
2789           # which alpha sorting on any of the address fields won't.
2790           # Sorting by locationnum is meaningless.
2791           # We have to sort on _something_ or the order may change 
2792           # randomly from one invoice to the next, which will confuse
2793           # people.
2794           $section->{'sort_weight'} = sprintf('%012s',$location->zip) .
2795                                       $locationnum;
2796           $section->{'location'} = {
2797             label_prefix => &{ $escape }($location->label_prefix),
2798             map { $_ => &{ $escape }($location->get($_)) }
2799               $location->fields
2800           };
2801         } else {
2802           $section->{'category'} = $sectionname;
2803           $section->{'description'} = &{ $escape }($sectionname);
2804           if ( _pkg_category($sectionname) ) {
2805             $section->{'sort_weight'} = _pkg_category($sectionname)->weight;
2806             if ( _pkg_category($sectionname)->condense ) {
2807               $section = { %$section, $self->_condense_section($opt{format}) };
2808             }
2809           }
2810         }
2811         if ( !$post_total and !$not_tax{$locationnum}{$sectionname} ) {
2812           # then it's a tax-only section
2813           $section->{'summarized'} = 'Y';
2814           $section->{'tax_section'} = 'Y';
2815         }
2816         push @these, $section;
2817       } # foreach $sectionname
2818     } #foreach $locationnum
2819     push @these, @extra_sections if $post_total == 0;
2820     # need an alpha sort for location sections, because postal codes can 
2821     # be non-numeric
2822     $sections[ $post_total ] = [ sort {
2823       $opt{'by_location'} ? 
2824         ($a->{sort_weight} cmp $b->{sort_weight}) :
2825         ($a->{sort_weight} <=> $b->{sort_weight})
2826       } @these ];
2827   } #foreach $post_total
2828
2829   return @sections; # early, late
2830 }
2831
2832 #helper subs for above
2833
2834 sub cust_pkg_hash {
2835   my $self = shift;
2836   $self->{cust_pkg} ||= { map { $_->pkgnum => $_ } $self->cust_pkg };
2837 }
2838
2839 sub _pkg_category {
2840   my $categoryname = shift;
2841   $pkg_category_cache{$categoryname} ||=
2842     qsearchs( 'pkg_category', { 'categoryname' => $categoryname } );
2843 }
2844
2845 my %condensed_format = (
2846   'label' => [ qw( Description Qty Amount ) ],
2847   'fields' => [
2848                 sub { shift->{description} },
2849                 sub { shift->{quantity} },
2850                 sub { my($href, %opt) = @_;
2851                       ($opt{dollar} || ''). $href->{amount};
2852                     },
2853               ],
2854   'align'  => [ qw( l r r ) ],
2855   'span'   => [ qw( 5 1 1 ) ],            # unitprices?
2856   'width'  => [ qw( 10.7cm 1.4cm 1.6cm ) ],   # don't like this
2857 );
2858
2859 sub _condense_section {
2860   my ( $self, $format ) = ( shift, shift );
2861   ( 'condensed' => 1,
2862     map { my $method = "_condensed_$_"; $_ => $self->$method($format) }
2863       qw( description_generator
2864           header_generator
2865           total_generator
2866           total_line_generator
2867         )
2868   );
2869 }
2870
2871 sub _condensed_generator_defaults {
2872   my ( $self, $format ) = ( shift, shift );
2873   return ( \%condensed_format, ' ', ' ', ' ', sub { shift } );
2874 }
2875
2876 my %html_align = (
2877   'c' => 'center',
2878   'l' => 'left',
2879   'r' => 'right',
2880 );
2881
2882 sub _condensed_header_generator {
2883   my ( $self, $format ) = ( shift, shift );
2884
2885   my ( $f, $prefix, $suffix, $separator, $column ) =
2886     _condensed_generator_defaults($format);
2887
2888   if ($format eq 'latex') {
2889     $prefix = "\\hline\n\\rule{0pt}{2.5ex}\n\\makebox[1.4cm]{}&\n";
2890     $suffix = "\\\\\n\\hline";
2891     $separator = "&\n";
2892     $column =
2893       sub { my ($d,$a,$s,$w) = @_;
2894             return "\\multicolumn{$s}{$a}{\\makebox[$w][$a]{\\textbf{$d}}}";
2895           };
2896   } elsif ( $format eq 'html' ) {
2897     $prefix = '<th></th>';
2898     $suffix = '';
2899     $separator = '';
2900     $column =
2901       sub { my ($d,$a,$s,$w) = @_;
2902             return qq!<th align="$html_align{$a}">$d</th>!;
2903       };
2904   }
2905
2906   sub {
2907     my @args = @_;
2908     my @result = ();
2909
2910     foreach  (my $i = 0; $f->{label}->[$i]; $i++) {
2911       push @result,
2912         &{$column}( map { $f->{$_}->[$i] } qw(label align span width) );
2913     }
2914
2915     $prefix. join($separator, @result). $suffix;
2916   };
2917
2918 }
2919
2920 sub _condensed_description_generator {
2921   my ( $self, $format ) = ( shift, shift );
2922
2923   my ( $f, $prefix, $suffix, $separator, $column ) =
2924     _condensed_generator_defaults($format);
2925
2926   my $money_char = '$';
2927   if ($format eq 'latex') {
2928     $prefix = "\\hline\n\\multicolumn{1}{c}{\\rule{0pt}{2.5ex}~} &\n";
2929     $suffix = '\\\\';
2930     $separator = " & \n";
2931     $column =
2932       sub { my ($d,$a,$s,$w) = @_;
2933             return "\\multicolumn{$s}{$a}{\\makebox[$w][$a]{\\textbf{$d}}}";
2934           };
2935     $money_char = '\\dollar';
2936   }elsif ( $format eq 'html' ) {
2937     $prefix = '"><td align="center"></td>';
2938     $suffix = '';
2939     $separator = '';
2940     $column =
2941       sub { my ($d,$a,$s,$w) = @_;
2942             return qq!<td align="$html_align{$a}">$d</td>!;
2943       };
2944     #$money_char = $conf->config('money_char') || '$';
2945     $money_char = '';  # this is madness
2946   }
2947
2948   sub {
2949     #my @args = @_;
2950     my $href = shift;
2951     my @result = ();
2952
2953     foreach  (my $i = 0; $f->{label}->[$i]; $i++) {
2954       my $dollar = '';
2955       $dollar = $money_char if $i == scalar(@{$f->{label}})-1;
2956       push @result,
2957         &{$column}( &{$f->{fields}->[$i]}($href, 'dollar' => $dollar),
2958                     map { $f->{$_}->[$i] } qw(align span width)
2959                   );
2960     }
2961
2962     $prefix. join( $separator, @result ). $suffix;
2963   };
2964
2965 }
2966
2967 sub _condensed_total_generator {
2968   my ( $self, $format ) = ( shift, shift );
2969
2970   my ( $f, $prefix, $suffix, $separator, $column ) =
2971     _condensed_generator_defaults($format);
2972   my $style = '';
2973
2974   if ($format eq 'latex') {
2975     $prefix = "& ";
2976     $suffix = "\\\\\n";
2977     $separator = " & \n";
2978     $column =
2979       sub { my ($d,$a,$s,$w) = @_;
2980             return "\\multicolumn{$s}{$a}{\\makebox[$w][$a]{$d}}";
2981           };
2982   }elsif ( $format eq 'html' ) {
2983     $prefix = '';
2984     $suffix = '';
2985     $separator = '';
2986     $style = 'border-top: 3px solid #000000;border-bottom: 3px solid #000000;';
2987     $column =
2988       sub { my ($d,$a,$s,$w) = @_;
2989             return qq!<td align="$html_align{$a}" style="$style">$d</td>!;
2990       };
2991   }
2992
2993
2994   sub {
2995     my @args = @_;
2996     my @result = ();
2997
2998     #  my $r = &{$f->{fields}->[$i]}(@args);
2999     #  $r .= ' Total' unless $i;
3000
3001     foreach  (my $i = 0; $f->{label}->[$i]; $i++) {
3002       push @result,
3003         &{$column}( &{$f->{fields}->[$i]}(@args). ($i ? '' : ' Total'),
3004                     map { $f->{$_}->[$i] } qw(align span width)
3005                   );
3006     }
3007
3008     $prefix. join( $separator, @result ). $suffix;
3009   };
3010
3011 }
3012
3013 =item total_line_generator FORMAT
3014
3015 Returns a coderef used for generation of invoice total line items for this
3016 usage_class.  FORMAT is either html or latex
3017
3018 =cut
3019
3020 # should not be used: will have issues with hash element names (description vs
3021 # total_item and amount vs total_amount -- another array of functions?
3022
3023 sub _condensed_total_line_generator {
3024   my ( $self, $format ) = ( shift, shift );
3025
3026   my ( $f, $prefix, $suffix, $separator, $column ) =
3027     _condensed_generator_defaults($format);
3028   my $style = '';
3029
3030   if ($format eq 'latex') {
3031     $prefix = "& ";
3032     $suffix = "\\\\\n";
3033     $separator = " & \n";
3034     $column =
3035       sub { my ($d,$a,$s,$w) = @_;
3036             return "\\multicolumn{$s}{$a}{\\makebox[$w][$a]{$d}}";
3037           };
3038   }elsif ( $format eq 'html' ) {
3039     $prefix = '';
3040     $suffix = '';
3041     $separator = '';
3042     $style = 'border-top: 3px solid #000000;border-bottom: 3px solid #000000;';
3043     $column =
3044       sub { my ($d,$a,$s,$w) = @_;
3045             return qq!<td align="$html_align{$a}" style="$style">$d</td>!;
3046       };
3047   }
3048
3049
3050   sub {
3051     my @args = @_;
3052     my @result = ();
3053
3054     foreach  (my $i = 0; $f->{label}->[$i]; $i++) {
3055       push @result,
3056         &{$column}( &{$f->{fields}->[$i]}(@args),
3057                     map { $f->{$_}->[$i] } qw(align span width)
3058                   );
3059     }
3060
3061     $prefix. join( $separator, @result ). $suffix;
3062   };
3063
3064 }
3065
3066 =item _items_pkg [ OPTIONS ]
3067
3068 Return line item hashes for each package item on this invoice. Nearly 
3069 equivalent to 
3070
3071 $self->_items_cust_bill_pkg([ $self->cust_bill_pkg ])
3072
3073 OPTIONS are passed through to _items_cust_bill_pkg, and should include
3074 'format' and 'escape_function' at minimum.
3075
3076 To produce items for a specific invoice section, OPTIONS should include
3077 'section', a hashref containing 'category' and/or 'locationnum' keys.
3078
3079 'section' may also contain a key named 'condensed'. If this is present
3080 and has a true value, _items_pkg will try to merge identical items into items
3081 with 'quantity' equal to the number of items (not the sum of their separate
3082 quantities, for some reason).
3083
3084 =cut
3085
3086 sub _items_nontax {
3087   my $self = shift;
3088   # The order of these is important.  Bundled line items will be merged into
3089   # the most recent non-hidden item, so it needs to be the one with:
3090   # - the same pkgnum
3091   # - the same start date
3092   # - no pkgpart_override
3093   #
3094   # So: sort by pkgnum,
3095   # then by sdate
3096   # then sort the base line item before any overrides
3097   # then sort hidden before non-hidden add-ons
3098   # then sort by override pkgpart (for consistency)
3099   sort { $a->pkgnum <=> $b->pkgnum        or
3100          $a->sdate  <=> $b->sdate         or
3101          ($a->pkgpart_override ? 0 : -1)  or
3102          ($b->pkgpart_override ? 0 : 1)   or
3103          $b->hidden cmp $a->hidden        or
3104          $a->pkgpart_override <=> $b->pkgpart_override
3105        }
3106   # and of course exclude taxes and fees
3107   grep { $_->pkgnum > 0 } $self->cust_bill_pkg;
3108 }
3109
3110 sub _items_fee {
3111   my $self = shift;
3112   my %options = @_;
3113   my @cust_bill_pkg = grep { $_->feepart } $self->cust_bill_pkg;
3114   my $escape_function = $options{escape_function};
3115
3116   my $locale = $self->cust_main->locale;
3117
3118   my @items;
3119   foreach my $cust_bill_pkg (@cust_bill_pkg) {
3120     # cache this, so we don't look it up again in every section
3121     my $part_fee = $cust_bill_pkg->get('part_fee')
3122        || $cust_bill_pkg->part_fee;
3123     $cust_bill_pkg->set('part_fee', $part_fee);
3124     if (!$part_fee) {
3125       #die "fee definition not found for line item #".$cust_bill_pkg->billpkgnum."\n"; # might make more sense
3126       warn "fee definition not found for line item #".$cust_bill_pkg->billpkgnum."\n";
3127       next;
3128     }
3129     if ( exists($options{section}) and exists($options{section}{category}) )
3130     {
3131       my $categoryname = $options{section}{category};
3132       # then filter for items that have that section
3133       if ( $part_fee->categoryname ne $categoryname ) {
3134         warn "skipping fee '".$part_fee->itemdesc."'--not in section $categoryname\n" if $DEBUG;
3135         next;
3136       }
3137     } # otherwise include them all in the main section
3138     # XXX what to do when sectioning by location?
3139     
3140     my @ext_desc;
3141     my %base_invnums; # invnum => invoice date
3142     foreach ($cust_bill_pkg->cust_bill_pkg_fee) {
3143       if ($_->base_invnum) {
3144         my $base_bill = FS::cust_bill->by_key($_->base_invnum);
3145         my $base_date = $self->time2str_local('short', $base_bill->_date)
3146           if $base_bill;
3147         $base_invnums{$_->base_invnum} = $base_date || '';
3148       }
3149     }
3150     foreach (sort keys(%base_invnums)) {
3151       next if $_ == $self->invnum;
3152       # per convention, we must escape ext_description lines
3153       push @ext_desc,
3154         &{$escape_function}(
3155           $self->mt('from invoice #[_1] on [_2]', $_, $base_invnums{$_})
3156         );
3157     }
3158     my $desc = $part_fee->itemdesc_locale($locale);
3159     # but not escape the base description line
3160
3161     my @pkg_tax = $cust_bill_pkg->_pkg_tax_list
3162       if $options{section_with_taxes};
3163
3164     push @items,
3165       { feepart     => $cust_bill_pkg->feepart,
3166         amount      => sprintf('%.2f', $cust_bill_pkg->setup + $cust_bill_pkg->recur),
3167         description => $desc,
3168         pkg_tax     => \@pkg_tax,
3169         ext_description => \@ext_desc
3170         # sdate/edate?
3171       };
3172   }
3173   @items;
3174 }
3175
3176 sub _items_pkg {
3177   my $self = shift;
3178   my %options = @_;
3179
3180   warn "$me _items_pkg searching for all package line items\n"
3181     if $DEBUG > 1;
3182
3183   my @cust_bill_pkg = $self->_items_nontax;
3184
3185   warn "$me _items_pkg filtering line items\n"
3186     if $DEBUG > 1;
3187   my @items = $self->_items_cust_bill_pkg(\@cust_bill_pkg, @_);
3188
3189   if ($options{section} && $options{section}->{condensed}) {
3190
3191     warn "$me _items_pkg condensing section\n"
3192       if $DEBUG > 1;
3193
3194     my %itemshash = ();
3195     local $Storable::canonical = 1;
3196     foreach ( @items ) {
3197       my $item = { %$_ };
3198       delete $item->{ref};
3199       delete $item->{ext_description};
3200       my $key = freeze($item);
3201       $itemshash{$key} ||= 0;
3202       $itemshash{$key} ++; # += $item->{quantity};
3203     }
3204     @items = sort { $a->{description} cmp $b->{description} }
3205              map { my $i = thaw($_);
3206                    $i->{quantity} = $itemshash{$_};
3207                    $i->{amount} =
3208                      sprintf( "%.2f", $i->{quantity} * $i->{amount} );#unit_amount
3209                    $i;
3210                  }
3211              keys %itemshash;
3212   }
3213
3214   warn "$me _items_pkg returning ". scalar(@items). " items\n"
3215     if $DEBUG > 1;
3216
3217   @items;
3218 }
3219
3220 sub _taxsort {
3221   return 0 unless $a->itemdesc cmp $b->itemdesc;
3222   return -1 if $b->itemdesc eq 'Tax';
3223   return 1 if $a->itemdesc eq 'Tax';
3224   return -1 if $b->itemdesc eq 'Other surcharges';
3225   return 1 if $a->itemdesc eq 'Other surcharges';
3226   $a->itemdesc cmp $b->itemdesc;
3227 }
3228
3229 sub _items_tax {
3230   my $self = shift;
3231   my @cust_bill_pkg = sort _taxsort grep { ! $_->pkgnum and ! $_->feepart } 
3232     $self->cust_bill_pkg;
3233   my @items = $self->_items_cust_bill_pkg(\@cust_bill_pkg, @_);
3234
3235   if ( $self->conf->exists('always_show_tax') ) {
3236     my $itemdesc = $self->conf->config('always_show_tax') || 'Tax';
3237     if (0 == grep { $_->{description} eq $itemdesc } @items) {
3238       push @items,
3239         { 'description' => $itemdesc,
3240           'amount'      => 0.00 };
3241     }
3242   }
3243   @items;
3244 }
3245
3246 =item _items_cust_bill_pkg CUST_BILL_PKGS OPTIONS
3247
3248 Takes an arrayref of L<FS::cust_bill_pkg> objects, and returns a
3249 list of hashrefs describing the line items they generate on the invoice.
3250
3251 OPTIONS may include:
3252
3253 format: the invoice format.
3254
3255 escape_function: the function used to escape strings.
3256
3257 DEPRECATED? (expensive, mostly unused?)
3258 format_function: the function used to format CDRs.
3259
3260 section: a hashref containing 'category' and/or 'locationnum'; if this 
3261 is present, only returns line items that belong to that category and/or
3262 location (whichever is defined).
3263
3264 multisection: a flag indicating that this is a multisection invoice,
3265 which does something complicated.
3266
3267 section_with_taxes:  Look up and include applied taxes for each record
3268
3269 Returns a list of hashrefs, each of which may contain:
3270
3271 pkgnum, description, amount, unit_amount, quantity, pkgpart, _is_setup, and 
3272 ext_description, which is an arrayref of detail lines to show below 
3273 the package line.
3274
3275 =cut
3276
3277 sub _items_cust_bill_pkg {
3278   my $self = shift;
3279   my $conf = $self->conf;
3280   my $cust_bill_pkgs = shift;
3281   my %opt = @_;
3282
3283   my $format = $opt{format} || '';
3284   my $escape_function = $opt{escape_function} || sub { shift };
3285   my $format_function = $opt{format_function} || '';
3286   my $no_usage = $opt{no_usage} || '';
3287   my $unsquelched = $opt{unsquelched} || ''; #unused
3288   my ($section, $locationnum, $category);
3289   if ( $opt{section} ) {
3290     $category = $opt{section}->{category};
3291     $locationnum = $opt{section}->{locationnum};
3292   }
3293   my $summary_page = $opt{summary_page} || ''; #unused
3294   my $multisection = defined($category) || defined($locationnum);
3295   # this variable is the value of the config setting, not whether it applies
3296   # to this particular line item.
3297   my $discount_show_always = $conf->exists('discount-show-always');
3298
3299   my $maxlength = $conf->config('cust_bill-latex_lineitem_maxlength') || 40;
3300
3301   my $cust_main = $self->cust_main;#for per-agent cust_bill-line_item-ate_style
3302
3303   my $agentnum = $self->agentnum;
3304
3305   # for location labels: use default location on the invoice date
3306   my $default_locationnum;
3307   if ( $conf->exists('invoice-all_pkg_addresses') ) {
3308     $default_locationnum = 0; # treat them all as non-default
3309   } elsif ( $self->custnum ) {
3310     my $h_cust_main;
3311     my @h_search = FS::h_cust_main->sql_h_search($self->_date);
3312     $h_cust_main = qsearchs({
3313         'table'     => 'h_cust_main',
3314         'hashref'   => { custnum => $self->custnum },
3315         'extra_sql' => $h_search[1],
3316         'addl_from' => $h_search[3],
3317     }) || $cust_main;
3318     $default_locationnum = $h_cust_main->ship_locationnum;
3319   } elsif ( $self->prospectnum ) {
3320     my $cust_location = qsearchs('cust_location',
3321       { prospectnum => $self->prospectnum,
3322         disabled => '' });
3323     $default_locationnum = $cust_location->locationnum if $cust_location;
3324   }
3325
3326   my @b = (); # accumulator for the line item hashes that we'll return
3327   my ($s, $r, $u, $d) = ( undef, undef, undef, undef );
3328             # the 'current' line item hashes for setup, recur, usage, discount
3329   foreach my $cust_bill_pkg ( @$cust_bill_pkgs )
3330   {
3331     # if the current line item is waiting to go out, and the one we're about
3332     # to start is not bundled, then push out the current one and start a new
3333     # one.
3334     if ( $d ) {
3335       $d->{amount} = $d->{setup_amount} + $d->{recur_amount};
3336     }
3337     foreach ( $s, $r, ($opt{skip_usage} ? () : $u ), $d ) {
3338       if ( $_ && !$cust_bill_pkg->hidden ) {
3339         $_->{amount}      = sprintf( "%.2f", $_->{amount} );
3340         $_->{amount}      =~ s/^\-0\.00$/0.00/;
3341         if (exists($_->{unit_amount})) {
3342           $_->{unit_amount} = sprintf( "%.2f", $_->{unit_amount} );
3343         }
3344         push @b, { %$_ };
3345         # we already decided to create this display line; don't reconsider it
3346         # now.
3347         #  if $_->{amount} != 0
3348         #  || $discount_show_always
3349         #  || ( ! $_->{_is_setup} && $_->{recur_show_zero} )
3350         #  || (   $_->{_is_setup} && $_->{setup_show_zero} )
3351         ;
3352         $_ = undef;
3353       }
3354     }
3355
3356     if ( $locationnum ) {
3357       # this is a location section; skip packages that aren't at this
3358       # service location.
3359       next if $cust_bill_pkg->pkgnum == 0; # skips fees...
3360       next if $self->cust_pkg_hash->{ $cust_bill_pkg->pkgnum }->locationnum 
3361               != $locationnum;
3362     }
3363
3364     # Consider display records for this item to determine if it belongs
3365     # in this section.  Note that if there are no display records, there
3366     # will be a default pseudo-record that includes all charge types 
3367     # and has no section name.
3368     my @cust_bill_pkg_display = $cust_bill_pkg->can('cust_bill_pkg_display')
3369                                   ? $cust_bill_pkg->cust_bill_pkg_display
3370                                   : ( $cust_bill_pkg );
3371
3372     warn "$me _items_cust_bill_pkg considering cust_bill_pkg ".
3373          $cust_bill_pkg->billpkgnum. ", pkgnum ". $cust_bill_pkg->pkgnum. "\n"
3374       if $DEBUG > 1;
3375
3376     if ( defined($category) ) {
3377       # then this is a package category section; process all display records
3378       # that belong to this section.
3379       @cust_bill_pkg_display = grep { $_->section eq $category }
3380                                 @cust_bill_pkg_display;
3381     } else {
3382       # otherwise, process all display records that aren't usage summaries
3383       # (I don't think there should be usage summaries if you aren't using 
3384       # category sections, but this is the historical behavior)
3385       @cust_bill_pkg_display = grep { !$_->summary }
3386                                 @cust_bill_pkg_display;
3387     }
3388
3389     my $classname = ''; # package class name, will fill in later
3390
3391     foreach my $display (@cust_bill_pkg_display) {
3392
3393       warn "$me _items_cust_bill_pkg considering cust_bill_pkg_display ".
3394            $display->billpkgdisplaynum. "\n"
3395         if $DEBUG > 1;
3396
3397       my $type = $display->type;
3398
3399       my $desc = $cust_bill_pkg->desc( $cust_main ? $cust_main->locale : '' );
3400       $desc = substr($desc, 0, $maxlength). '...'
3401         if $format eq 'latex' && length($desc) > $maxlength;
3402
3403       my %details_opt = ( 'format'          => $format,
3404                           'escape_function' => $escape_function,
3405                           'format_function' => $format_function,
3406                           'no_usage'        => $opt{'no_usage'},
3407                         );
3408
3409       if ( $cust_bill_pkg->pkgnum > 0 ) {
3410         # a "normal" package line item (not a quotation, not a fee, not a tax)
3411
3412         warn "$me _items_cust_bill_pkg cust_bill_pkg is non-tax\n"
3413           if $DEBUG > 1;
3414  
3415         my $cust_pkg = $cust_bill_pkg->cust_pkg;
3416         my $part_pkg = $cust_pkg->part_pkg;
3417
3418         # which pkgpart to show for display purposes?
3419         my $pkgpart = $cust_bill_pkg->pkgpart_override || $cust_pkg->pkgpart;
3420
3421         # start/end dates for invoice formats that do nonstandard 
3422         # things with them
3423         my %item_dates = ();
3424         %item_dates = map { $_ => $cust_bill_pkg->$_ } ('sdate', 'edate')
3425           unless $part_pkg->option('disable_line_item_date_ranges',1);
3426
3427         # not normally used, but pass this to the template anyway
3428         $classname = $part_pkg->classname;
3429
3430         my @pkg_tax = $cust_bill_pkg->_pkg_tax_list
3431           if $self->conf->exists('invoice_sections_with_taxes');
3432
3433         if (    (!$type || $type eq 'S')
3434              && (    $cust_bill_pkg->setup != 0
3435                   || $cust_bill_pkg->setup_show_zero
3436                   || ($discount_show_always and $cust_bill_pkg->unitsetup > 0)
3437                 )
3438            )
3439          {
3440
3441           warn "$me _items_cust_bill_pkg adding setup\n"
3442             if $DEBUG > 1;
3443
3444           # append the word 'Setup' to the setup line if there's going to be
3445           # a recur line for the same package (i.e. not a one-time charge) 
3446           # XXX localization
3447           my $description = $desc;
3448           $description .= ' Setup'
3449             if $cust_bill_pkg->recur != 0
3450             || ($discount_show_always and $cust_bill_pkg->unitrecur > 0)
3451             || $cust_bill_pkg->recur_show_zero;
3452
3453           my $disable_date_ranges =
3454                $opt{disable_line_item_date_ranges}
3455             || $part_pkg->option('disable_line_item_date_ranges', 1);
3456
3457           $description .= $cust_bill_pkg->time_period_pretty(
3458                             $part_pkg,
3459                             $agentnum,
3460                             disable_date_ranges => $disable_date_ranges,
3461                           )
3462             if $part_pkg->is_prepaid #for prepaid, "display the validity period
3463                                      # triggered by the recurring charge freq
3464                                      # (RT#26274)
3465             && $cust_bill_pkg->recur == 0
3466             && ! $cust_bill_pkg->recur_show_zero;
3467
3468           my @d = ();
3469           my $svc_label;
3470
3471           # always pass the svc_label through to the template, even if 
3472           # not displaying it as an ext_description
3473           my @svc_labels = map &{$escape_function}($_),
3474             $cust_pkg->h_labels_short($self->_date,
3475                                       undef,
3476                                       'I',
3477                                       $self->conf->{locale},
3478                                      );
3479           $svc_label = $svc_labels[0];
3480
3481           unless ( $cust_pkg->part_pkg->hide_svc_detail
3482                 || $cust_bill_pkg->hidden )
3483           {
3484
3485             push @d, @svc_labels
3486               unless $cust_bill_pkg->pkgpart_override; #don't redisplay services
3487             # show the location label if it's not the customer's default
3488             # location, and we're not grouping items by location already
3489             if ( $cust_pkg->locationnum != $default_locationnum
3490                   and !defined($locationnum) ) {
3491               my $loc = $cust_pkg->location_label;
3492               $loc = substr($loc, 0, $maxlength). '...'
3493                 if $format eq 'latex' && length($loc) > $maxlength;
3494               push @d, &{$escape_function}($loc);
3495             }
3496
3497           } #unless hiding service details
3498
3499           push @d, $cust_bill_pkg->details(%details_opt)
3500             if $cust_bill_pkg->recur == 0;
3501
3502           if ( $cust_bill_pkg->hidden ) {
3503             $s->{amount}      += $cust_bill_pkg->setup;
3504             $s->{unit_amount} += $cust_bill_pkg->unitsetup;
3505             push @{ $s->{ext_description} }, @d;
3506           } else {
3507             $s = {
3508               billpkgnum      => $cust_bill_pkg->billpkgnum,
3509               _is_setup       => 1,
3510               description     => $description,
3511               pkgpart         => $pkgpart,
3512               pkgnum          => $cust_bill_pkg->pkgnum,
3513               amount          => $cust_bill_pkg->setup,
3514               setup_show_zero => $cust_bill_pkg->setup_show_zero,
3515               unit_amount     => $cust_bill_pkg->unitsetup,
3516               quantity        => $cust_bill_pkg->quantity,
3517               ext_description => \@d,
3518               svc_label       => ($svc_label || ''),
3519               locationnum     => $cust_pkg->locationnum, # sure, why not?
3520               pkg_tax         => \@pkg_tax,
3521             };
3522           };
3523
3524         }
3525
3526         # should we show a recur line?
3527         # if type eq 'S', then NO, because we've been told not to.
3528         # otherwise, show the recur line if:
3529         # - there's a recurring charge
3530         # - or recur_show_zero is on
3531         # - or there's a positive unitrecur (so it's been discounted to zero)
3532         #   and discount-show-always is on
3533         if (    ( !$type || $type eq 'R' || $type eq 'U' )
3534              && (
3535                      $cust_bill_pkg->recur != 0
3536                   || !defined($s)
3537                   || ($discount_show_always and $cust_bill_pkg->unitrecur > 0)
3538                   || $cust_bill_pkg->recur_show_zero
3539                 )
3540            )
3541         {
3542
3543           warn "$me _items_cust_bill_pkg adding recur/usage\n"
3544             if $DEBUG > 1;
3545
3546           my $is_summary = $display->summary;
3547           my $description = $desc;
3548           if ( $type eq 'U' and defined($r) ) {
3549             # don't just show the same description as the recur line
3550             $description = $self->mt('Usage charges');
3551           }
3552
3553           my $disable_date_ranges =
3554                $opt{disable_line_item_date_ranges}
3555             || $part_pkg->option('disable_line_item_date_ranges', 1);
3556
3557           $description .= $cust_bill_pkg->time_period_pretty(
3558                                     $part_pkg,
3559                                     $agentnum,
3560                                     disable_date_ranges => $disable_date_ranges,
3561                           );
3562
3563           my @d = ();
3564           my @seconds = (); # for display of usage info
3565           my $svc_label = '';
3566
3567           #at least until cust_bill_pkg has "past" ranges in addition to
3568           #the "future" sdate/edate ones... see #3032
3569           my @dates = ( $self->_date );
3570           my $prev = $cust_bill_pkg->previous_cust_bill_pkg;
3571           push @dates, $prev->sdate if $prev;
3572           push @dates, undef if !$prev;
3573
3574           my @svc_labels = map &{$escape_function}($_),
3575             $cust_pkg->h_labels_short(@dates,
3576                                       'I',
3577                                       $self->conf->{locale});
3578           $svc_label = $svc_labels[0];
3579
3580           # show service labels, unless...
3581                     # the package is set not to display them
3582           unless ( $part_pkg->hide_svc_detail
3583                     # or this is a tax-like line item
3584                 || $cust_bill_pkg->itemdesc
3585                     # or this is a hidden (bundled) line item
3586                 || $cust_bill_pkg->hidden
3587                     # or this is a usage summary line
3588                 || $is_summary && $type && $type eq 'U'
3589                     # or this is a usage line and there's a recurring line
3590                     # for the package in the same section (which will 
3591                     # have service labels already)
3592                 || ($type eq 'U' and defined($r))
3593               )
3594           {
3595
3596             warn "$me _items_cust_bill_pkg adding service details\n"
3597               if $DEBUG > 1;
3598
3599             push @d, @svc_labels
3600               unless $cust_bill_pkg->pkgpart_override; #don't redisplay services
3601             warn "$me _items_cust_bill_pkg done adding service details\n"
3602               if $DEBUG > 1;
3603
3604             # show the location label if it's not the customer's default
3605             # location, and we're not grouping items by location already
3606             if ( $cust_pkg->locationnum != $default_locationnum
3607                   and !defined($locationnum) ) {
3608               my $loc = $cust_pkg->location_label;
3609               $loc = substr($loc, 0, $maxlength). '...'
3610                 if $format eq 'latex' && length($loc) > $maxlength;
3611               push @d, &{$escape_function}($loc);
3612             }
3613
3614             # Display of seconds_since_sqlradacct:
3615             # On the invoice, when processing @detail_items, look for a field
3616             # named 'seconds'.  This will contain total seconds for each 
3617             # service, in the same order as @ext_description.  For services 
3618             # that don't support this it will show undef.
3619             if ( $conf->exists('svc_acct-usage_seconds') 
3620                  and ! $cust_bill_pkg->pkgpart_override ) {
3621               foreach my $cust_svc ( 
3622                   $cust_pkg->h_cust_svc(@dates, 'I') 
3623                 ) {
3624
3625                 # eval because not having any part_export_usage exports 
3626                 # is a fatal error, last_bill/_date because that's how 
3627                 # sqlradius_hour billing does it
3628                 my $sec = eval {
3629                   $cust_svc->seconds_since_sqlradacct($dates[1] || 0, $dates[0]);
3630                 };
3631                 push @seconds, $sec;
3632               }
3633             } #if svc_acct-usage_seconds
3634
3635           } # if we are showing service labels
3636
3637           unless ( $is_summary ) {
3638             warn "$me _items_cust_bill_pkg adding details\n"
3639               if $DEBUG > 1;
3640
3641             #instead of omitting details entirely in this case (unwanted side
3642             # effects), just omit CDRs
3643             $details_opt{'no_usage'} = 1
3644               if $type && $type eq 'R';
3645
3646             push @d, $cust_bill_pkg->details(%details_opt);
3647           }
3648
3649           warn "$me _items_cust_bill_pkg calculating amount\n"
3650             if $DEBUG > 1;
3651   
3652           my $amount = 0;
3653           if (!$type) {
3654             $amount = $cust_bill_pkg->recur;
3655           } elsif ($type eq 'R') {
3656             $amount = $cust_bill_pkg->recur - $cust_bill_pkg->usage;
3657           } elsif ($type eq 'U') {
3658             $amount = $cust_bill_pkg->usage;
3659           }
3660   
3661           if ( !$type || $type eq 'R' ) {
3662
3663             warn "$me _items_cust_bill_pkg adding recur\n"
3664               if $DEBUG > 1;
3665
3666             my $unit_amount =
3667               ( $cust_bill_pkg->unitrecur > 0 ) ? $cust_bill_pkg->unitrecur
3668                                                 : $amount;
3669
3670             if ( $cust_bill_pkg->hidden ) {
3671               $r->{amount}      += $amount;
3672               $r->{unit_amount} += $unit_amount;
3673               push @{ $r->{ext_description} }, @d;
3674             } else {
3675               $r = {
3676                 billpkgnum      => $cust_bill_pkg->billpkgnum,
3677                 description     => $description,
3678                 pkgpart         => $pkgpart,
3679                 pkgnum          => $cust_bill_pkg->pkgnum,
3680                 amount          => $amount,
3681                 recur_show_zero => $cust_bill_pkg->recur_show_zero,
3682                 unit_amount     => $unit_amount,
3683                 quantity        => $cust_bill_pkg->quantity,
3684                 %item_dates,
3685                 ext_description => \@d,
3686                 svc_label       => ($svc_label || ''),
3687                 locationnum     => $cust_pkg->locationnum,
3688                 pkg_tax         => \@pkg_tax,
3689               };
3690               $r->{'seconds'} = \@seconds if grep {defined $_} @seconds;
3691             }
3692
3693           } else {  # $type eq 'U'
3694
3695             warn "$me _items_cust_bill_pkg adding usage\n"
3696               if $DEBUG > 1;
3697
3698             if ( $cust_bill_pkg->hidden and defined($u) ) {
3699               # if this is a hidden package and there's already a usage
3700               # line for the bundle, add this package's total amount and
3701               # usage details to it
3702               $u->{amount}      += $amount;
3703               push @{ $u->{ext_description} }, @d;
3704             } elsif ( $amount ) {
3705               # create a new usage line
3706               $u = {
3707                 billpkgnum      => $cust_bill_pkg->billpkgnum,
3708                 description     => $description,
3709                 pkgpart         => $pkgpart,
3710                 pkgnum          => $cust_bill_pkg->pkgnum,
3711                 amount          => $amount,
3712                 usage_item      => 1,
3713                 recur_show_zero => $cust_bill_pkg->recur_show_zero,
3714                 %item_dates,
3715                 ext_description => \@d,
3716                 locationnum     => $cust_pkg->locationnum,
3717                 pkg_tax         => \@pkg_tax,
3718               };
3719             } # else this has no usage, so don't create a usage section
3720           }
3721
3722         } # recurring or usage with recurring charge
3723
3724       } else { # taxes and fees
3725
3726         warn "$me _items_cust_bill_pkg cust_bill_pkg is tax\n"
3727           if $DEBUG > 1;
3728
3729         # items of this kind should normally not have sdate/edate.
3730         push @b, {
3731           'description' => $desc,
3732           'amount'      => sprintf('%.2f', $cust_bill_pkg->setup 
3733                                            + $cust_bill_pkg->recur)
3734         };
3735
3736       } # if package line item / other line item
3737
3738       # decide whether to show active discounts here
3739       if (
3740           # case 1: we are showing a single line for the package
3741           ( !$type )
3742           # case 2: we are showing a setup line for a package that has
3743           # no base recurring fee
3744           or ( $type eq 'S' and $cust_bill_pkg->unitrecur == 0 )
3745           # case 3: we are showing a recur line for a package that has 
3746           # a base recurring fee
3747           or ( $type eq 'R' and $cust_bill_pkg->unitrecur > 0 )
3748       ) {
3749
3750         my $item_discount = $cust_bill_pkg->_item_discount;
3751         if ( $item_discount ) {
3752           # $item_discount->{amount} is negative
3753
3754           if ( $d and $cust_bill_pkg->hidden ) {
3755             $d->{setup_amount} += $item_discount->{setup_amount};
3756             $d->{recur_amount} += $item_discount->{recur_amount};
3757           } else {
3758             $d = $item_discount;
3759             $_ = &{$escape_function}($_) foreach @{ $d->{ext_description} };
3760           }
3761
3762           # update the active line (before the discount) to show the 
3763           # original price (whether this is a hidden line or not)
3764
3765           $s->{amount} -= $item_discount->{setup_amount} if $s;
3766           $r->{amount} -= $item_discount->{recur_amount} if $r;
3767
3768         } # if there are any discounts
3769       } # if this is an appropriate place to show discounts
3770
3771     } # foreach $display
3772
3773   }
3774
3775   # discount amount is internally split up
3776   if ( $d ) {
3777     $d->{amount} = $d->{setup_amount} + $d->{recur_amount};
3778   }
3779
3780   foreach ( $s, $r, ($opt{skip_usage} ? () : $u ), $d ) {
3781     if ( $_  ) {
3782       $_->{amount}      = sprintf( "%.2f", $_->{amount} ),
3783         if exists($_->{amount});
3784       $_->{amount}      =~ s/^\-0\.00$/0.00/;
3785       if (exists($_->{unit_amount})) {
3786         $_->{unit_amount} = sprintf( "%.2f", $_->{unit_amount} );
3787       }
3788
3789       push @b, { %$_ };
3790       #if $_->{amount} != 0
3791       #  || $discount_show_always
3792       #  || ( ! $_->{_is_setup} && $_->{recur_show_zero} )
3793       #  || (   $_->{_is_setup} && $_->{setup_show_zero} )
3794     }
3795   }
3796
3797   warn "$me _items_cust_bill_pkg done considering cust_bill_pkgs\n"
3798     if $DEBUG > 1;
3799
3800   @b;
3801
3802 }
3803
3804 =item _items_discounts_avail
3805
3806 Returns an array of line item hashrefs representing available term discounts
3807 for this invoice.  This makes the same assumptions that apply to term 
3808 discounts in general: that the package is billed monthly, at a flat rate, 
3809 with no usage charges.  A prorated first month will be handled, as will 
3810 a setup fee if the discount is allowed to apply to setup fees.
3811
3812 =cut
3813
3814 sub _items_discounts_avail {
3815   my $self = shift;
3816
3817   #maybe move this method from cust_bill when quotations support discount_plans 
3818   return () unless $self->can('discount_plans');
3819   my %plans = $self->discount_plans;
3820
3821   my $list_pkgnums = 0; # if any packages are not eligible for all discounts
3822   $list_pkgnums = grep { $_->list_pkgnums } values %plans;
3823
3824   map {
3825     my $months = $_;
3826     my $plan = $plans{$months};
3827
3828     my $term_total = sprintf('%.2f', $plan->discounted_total);
3829     my $percent = sprintf('%.0f', 
3830                           100 * (1 - $term_total / $plan->base_total) );
3831     my $permonth = sprintf('%.2f', $term_total / $months);
3832     my $detail = $self->mt('discount on item'). ' '.
3833                  join(', ', map { "#$_" } $plan->pkgnums)
3834       if $list_pkgnums;
3835
3836     # discounts for non-integer months don't work anyway
3837     $months = sprintf("%d", $months);
3838
3839     +{
3840       description => $self->mt('Save [_1]% by paying for [_2] months',
3841                                 $percent, $months),
3842       amount      => $self->mt('[_1] ([_2] per month)', 
3843                                 $term_total, $money_char.$permonth),
3844       ext_description => ($detail || ''),
3845     }
3846   } #map
3847   sort { $b <=> $a } keys %plans;
3848
3849 }
3850
3851 =item has_sections AGENTNUM
3852
3853 Return true if invoice_sections should be enabled for this bill.
3854  (Inherited by both cust_bill and cust_bill_void)
3855
3856 Determination:
3857 * False if not an invoice
3858 * True always if conf invoice_sections is enabled
3859 * True always if sections_by_location is enabled
3860 * True if conf invoice_sections_multilocation > 1,
3861   and location_count >= invoice_sections_multilocation
3862 * Else, False
3863
3864 =cut
3865
3866 sub has_sections {
3867   my ($self, $agentnum) = @_;
3868
3869   return 0 unless $self->invnum > 0;
3870
3871   $agentnum ||= $self->agentnum;
3872   return 1 if $self->conf->config_bool('invoice_sections', $agentnum);
3873   return 1 if $self->conf->exists('sections_by_location', $agentnum);
3874
3875   my $location_min = $self->conf->config(
3876     'invoice_sections_multilocation', $agentnum,
3877   );
3878
3879   return 1
3880     if $location_min
3881     && $self->location_count >= $location_min;
3882
3883   0;
3884 }
3885
3886
3887 =item location_count
3888
3889 Return the number of locations billed on this invoice
3890
3891 =cut
3892
3893 sub location_count {
3894   my ($self) = @_;
3895   return 0 unless $self->invnum;
3896
3897   # SELECT COUNT( DISTINCT cust_pkg.locationnum )
3898   # FROM cust_bill_pkg
3899   # LEFT JOIN cust_pkg USING (pkgnum)
3900   # WHERE invnum = 278
3901   #   AND cust_bill_pkg.pkgnum > 0
3902
3903   my $result = qsearchs({
3904     select    => 'COUNT(DISTINCT cust_pkg.locationnum) as location_count',
3905     table     => 'cust_bill_pkg',
3906     addl_from => 'LEFT JOIN cust_pkg USING (pkgnum)',
3907     extra_sql => 'WHERE invnum = '.dbh->quote( $self->invnum )
3908                . '  AND cust_bill_pkg.pkgnum > 0'
3909   });
3910   ref $result ? $result->location_count : 0;
3911 }
3912
3913 1;