RT# 83450 - fixed rateplan export
[freeside.git] / FS / FS / Mason.pm
1 package FS::Mason;
2
3 use strict;
4 use vars qw( @ISA @EXPORT_OK $addl_handler_use );
5 use Exporter;
6 use Carp;
7 use File::Slurp qw( slurp );
8 use HTML::Mason 1.27; #http://www.masonhq.com/?ApacheModPerl2Redirect
9 use HTML::Mason::Interp;
10 use HTML::Mason::Compiler::ToObject;
11
12 @ISA = qw( Exporter );
13 @EXPORT_OK = qw( mason_interps );
14
15 =head1 NAME
16
17 FS::Mason - Initialize the Mason environment
18
19 =head1 SYNOPSIS
20
21   use FS::Mason qw( mason_interps );
22
23   my( $fs_interp, $rt_interp ) = mason_interps('apache');
24
25   #OR
26
27   my( $fs_interp, $rt_interp ) = mason_interps('standalone'); #XXX name?
28
29 =head1 DESCRIPTION
30
31 Initializes the Mason environment, loads all Freeside and RT libraries, etc.
32
33 =cut
34
35 $addl_handler_use = '';
36 my $addl_handler_use_file = '%%%FREESIDE_CONF%%%/addl_handler_use.pl';
37 if ( -e $addl_handler_use_file ) {
38   $addl_handler_use = slurp( $addl_handler_use_file );
39 }
40
41 # List of modules that you want to use from components (see Admin
42 # manual for details)
43 {
44   package HTML::Mason::Commands;
45
46   use strict;
47   use vars qw( %session );
48   use CGI 4.08 qw(-private_tempfiles); #4.08 for multi_param
49
50   #use CGI::Carp qw(fatalsToBrowser);
51   use CGI::Cookie;
52   use List::Util qw( max min sum );
53   use List::MoreUtils qw( first_index uniq );
54   use Scalar::Util qw( blessed looks_like_number );
55   use Data::Dumper;
56   use Date::Format;
57   use Time::Local;
58   use Time::HiRes;
59   use Time::Duration;
60   use DateTime;
61   use DateTime::Format::Strptime;
62   use FS::Misc::DateTime qw( parse_datetime );
63   use FS::Misc::Geo qw( get_district );
64   use Lingua::EN::Inflect qw(PL);
65   Lingua::EN::Inflect::classical names=>0; #Categorys
66   use Tie::IxHash;
67   use URI;
68   use URI::Escape 3.31;
69   use HTML::Entities;
70   use HTML::TreeBuilder;
71   use HTML::TableExtract qw(tree);
72   use HTML::FormatText;
73   use HTML::Defang;
74   use Cpanel::JSON::XS;
75   use MIME::Base64;
76   use IO::Handle;
77   use IO::File;
78   use IO::Scalar;
79   use IO::String;
80   use File::Slurp qw( slurp );
81   #not actually using this yet anyway...# use IPC::Run3 0.036;
82   use Net::Whois::Raw qw(whois);
83   if ( $] < 5.006 ) {
84     eval "use Net::Whois::Raw 0.32 qw(whois)";
85     die $@ if $@;
86   }
87   use Text::CSV_XS;
88   use Spreadsheet::WriteExcel;
89   use Spreadsheet::WriteExcel::Utility;
90   use OLE::Storage_Lite;
91   use Excel::Writer::XLSX;
92   #use Excel::Writer::XLSX::Utility; #redundant with above
93
94   use Business::CreditCard 0.36; #for best-effort cardtype() (60xx as Discover)
95   use NetAddr::IP;
96   use Net::MAC::Vendor;
97   use Net::Ping;
98   use Net::Ping::External;
99   #if CPAN #7815 ever gets fixed# if ( $Net::Ping::External::VERSION <= 0.12 )
100   {
101     no warnings 'redefine';
102     eval 'sub Net::Ping::External::_ping_linux { 
103             my %args = @_;
104             my $command = "ping -s $args{size} -c $args{count} -w $args{timeout} $args{host}";
105             return Net::Ping::External::_ping_system($command, 0);
106           }
107          ';
108     die $@ if $@;
109   }
110   use String::Approx qw(amatch);
111   use Chart::LinesPoints;
112   use Chart::Mountain;
113   use Chart::Bars;
114   use Color::Scheme;
115   use HTML::Widgets::SelectLayers 0.07; #should go away in favor of
116                                         #selectlayers.html
117   use Locale::Country;
118   #use FS::geocode_Mixin; #for its code2country
119   use Locale::Currency;
120   use Locale::Currency::Format;
121   use Number::Phone::Country qw( noexport );
122   use Business::US::USPS::WebTools::AddressStandardization;
123   use Geo::GoogleEarth::Pluggable;
124   use LWP::UserAgent;
125   use Storable qw( nfreeze thaw );
126   use FS;
127   use FS::UID qw( dbh datasrc driver_name );
128   use FS::Record qw( qsearch qsearchs fields dbdef
129                     str2time_sql str2time_sql_closing
130                     midnight_sql regexp_sql
131                    );
132   use FS::Conf;
133   use FS::ConfDefaults;
134   use FS::CGI qw(header menubar table itable ntable idiot
135                  eidiot myexit http_header);
136   use FS::UI::Web qw(svc_url random_id
137                   get_page_pref  set_page_pref);
138   use FS::UI::Web::small_custview qw(small_custview);
139   use FS::UI::bytecount;
140   use FS::UI::REST qw( rest_auth rest_uri_remain encode_rest );
141   use FS::Msgcat qw(gettext geterror);
142   use FS::Misc qw( send_email send_fax ocr_image
143                    states_hash counties cities state_label
144                    card_types
145                  );
146   use FS::Misc::eps2png qw( eps2png );
147   use FS::Report::FCC_477;
148   use FS::Report::Table;
149   use FS::Report::Table::Monthly;
150   use FS::Report::Table::Daily;
151   use FS::Report::Tax::ByName;
152   use FS::Report::Tax::All;
153   use FS::TicketSystem;
154   use FS::NetworkMonitoringSystem;
155   use FS::Tron qw( tron_lint );
156   use FS::Locales;
157   use FS::Maketext qw( mt emt js_mt );
158
159   use FS::Query;
160
161   use FS::agent;
162   use FS::agent_type;
163   use FS::domain_record;
164   use FS::cust_bill;
165   use FS::cust_bill_pay;
166   use FS::cust_credit;
167   use FS::cust_credit_bill;
168   use FS::cust_main;
169   use FS::h_cust_main;
170   use FS::cust_main::Search qw(smart_search);
171   use FS::cust_main::Import;
172   use FS::cust_main::Import_Charges;
173   use FS::cust_main_county;
174   use FS::cust_location;
175   use FS::cust_pay;
176   use FS::cust_pkg;
177   use FS::cust_pkg::Import;
178   use FS::part_pkg_taxclass;
179   use FS::cust_pkg_reason;
180   use FS::cust_refund;
181   use FS::cust_credit_refund;
182   use FS::cust_pay_refund;
183   use FS::cust_svc;
184   use FS::nas;
185   use FS::part_event;
186   use FS::part_event_condition;
187   use FS::part_pkg;
188   use FS::part_referral;
189   use FS::part_svc;
190   use FS::part_svc_router;
191   use FS::part_virtual_field;
192   use FS::pay_batch;
193   use FS::pkg_svc;
194   use FS::port;
195   use FS::queue qw(joblisting);
196   use FS::raddb;
197   use FS::session;
198   use FS::svc_acct;
199   use FS::svc_acct_pop qw(popselector);
200   use FS::acct_rt_transaction;
201   use FS::svc_domain;
202   use FS::svc_forward;
203   use FS::svc_www;
204   use FS::router;
205   use FS::addr_block;
206   use FS::svc_broadband;
207   use FS::svc_external;
208   use FS::type_pkgs;
209   use FS::part_export;
210   use FS::part_export_option;
211   use FS::export_svc;
212   use FS::export_device;
213   use FS::msgcat;
214   use FS::rate;
215   use FS::rate_region;
216   use FS::rate_prefix;
217   use FS::rate_detail;
218   use FS::usage_class;
219   use FS::payment_gateway;
220   use FS::agent_payment_gateway;
221   use FS::payby;
222   use FS::cdr;
223   use FS::cdr_batch;
224   use FS::inventory_class;
225   use FS::inventory_item;
226   use FS::pkg_category;
227   use FS::pkg_class;
228   use FS::access_user;
229   use FS::access_user_pref;
230   use FS::access_group;
231   use FS::access_usergroup;
232   use FS::access_groupagent;
233   use FS::access_right;
234   use FS::AccessRight;
235   use FS::svc_phone;
236   use FS::phone_device;
237   use FS::part_device;
238   use FS::reason_type;
239   use FS::reason;
240   use FS::cust_main_note;
241   use FS::tax_class;
242   use FS::cust_tax_location;
243   use FS::part_pkg_taxproduct;
244   use FS::part_pkg_taxoverride;
245   use FS::part_pkg_taxrate;
246   use FS::tax_rate;
247   use FS::part_pkg_report_option;
248   use FS::cust_attachment;
249   use FS::h_cust_pkg;
250   use FS::h_inventory_item;
251   use FS::h_svc_acct;
252   use FS::h_svc_broadband;
253   use FS::h_svc_domain;
254   #use FS::h_domain_record;
255   use FS::h_svc_external;
256   use FS::h_svc_forward;
257   use FS::h_svc_phone;
258   #use FS::h_phone_device;
259   use FS::h_svc_www;
260   use FS::cust_statement;
261   use FS::cust_class;
262   use FS::cust_category;
263   use FS::prospect_main;
264   use FS::contact;
265   use FS::contact::Import;
266   use FS::phone_type;
267   use FS::svc_pbx;
268   use FS::discount;
269   use FS::cust_pkg_discount;
270   use FS::cust_bill_pkg_discount;
271   use FS::svc_mailinglist;
272   use FS::cgp_rule;
273   use FS::cgp_rule_condition;
274   use FS::cgp_rule_action;
275   use FS::bill_batch;
276   use FS::cust_bill_batch;
277   use FS::rate_time;
278   use FS::rate_time_interval;
279   use FS::msg_template;
280   use FS::part_tag;
281   use FS::acct_snarf;
282   use FS::part_pkg_discount;
283   use FS::svc_cert;
284   use FS::svc_dsl;
285   use FS::qual;
286   use FS::qual_option;
287   use FS::dsl_note;
288   use FS::part_pkg_vendor;
289   use FS::cust_note_class;
290   use FS::svc_port;
291   use FS::lata;
292   use FS::did_vendor;
293   use FS::did_order;
294   use FS::torrus_srvderive;
295   use FS::torrus_srvderive_component;
296   use FS::areacode;
297   use FS::svc_dish;
298   use FS::h_svc_dish;
299   use FS::svc_hardware;
300   use FS::h_svc_hardware;
301   use FS::hardware_class;
302   use FS::hardware_type;
303   use FS::hardware_status;
304   use FS::did_order_item;
305   use FS::msa;
306   use FS::rate_center;
307   use FS::cust_msg;
308   use FS::radius_group;
309   use FS::template_content;
310   use FS::dsl_device;
311   use FS::nas;
312   use FS::nas;
313   use FS::export_nas;
314   use FS::legacy_cust_bill;
315   use FS::rate_tier;
316   use FS::rate_tier_detail;
317   use FS::radius_attr;
318   use FS::discount_plan;
319   use FS::tower;
320   use FS::tower_sector;
321   use FS::sales;
322   use FS::contact_class;
323   use FS::part_svc_class;
324   use FS::upload_target;
325   use FS::quotation;
326   use FS::quotation_pkg;
327   use FS::quotation_pkg_discount;
328   use FS::cust_bill_void;
329   use FS::cust_bill_pkg_void;
330   use FS::cust_bill_pkg_detail_void;
331   use FS::cust_bill_pkg_display_void;
332   use FS::cust_bill_pkg_tax_location_void;
333   use FS::cust_bill_pkg_tax_rate_location_void;
334   use FS::cust_tax_exempt_pkg_void;
335   use FS::cust_bill_pkg_discount_void;
336   use FS::agent_pkg_class;
337   use FS::svc_export_machine;
338   use FS::GeocodeCache;
339   use FS::log;
340   use FS::log_context;
341   use FS::part_pkg_usage_class;
342   use FS::cust_pkg_usage;
343   use FS::part_pkg_usage_class;
344   use FS::part_pkg_usage;
345   use FS::cdr_cust_pkg_usage;
346   use FS::part_pkg_msgcat;
347   use FS::svc_cable;
348   use FS::agent_currency;
349   use FS::currency_exchange;
350   use FS::part_pkg_currency;
351   use FS::cust_payby;
352   use FS::vend_main;
353   use FS::vend_class;
354   use FS::vend_bill;
355   use FS::vend_pay;
356   use FS::vend_bill_pay;
357   use FS::sales_pkg_class;
358   use FS::svc_alarm;
359   use FS::cable_model;
360   use FS::invoice_mode;
361   use FS::invoice_conf;
362   use FS::cable_provider;
363   use FS::cust_credit_void;
364   use FS::discount_class;
365   use FS::alarm_system;
366   use FS::alarm_type;
367   use FS::alarm_station;
368   use FS::addr_range;
369   use FS::svc_conferencing;
370   use FS::conferencing_type;
371   use FS::conferencing_quality;
372   use FS::svc_video;
373   use FS::part_pkg_usageprice;
374   use FS::cust_pkg_usageprice;
375   use FS::pbx_extension;
376   use FS::pbx_device;
377   use FS::extension_device;
378   use FS::cust_main_credit_limit;
379   use FS::cust_event_fee;
380   use FS::part_fee;
381   use FS::cust_bill_pkg_fee;
382   use FS::part_fee_msgcat;
383   use FS::part_fee_usage;
384   use FS::sched_item;
385   use FS::sched_avail;
386   use FS::export_batch;
387   use FS::export_batch_item;
388   use FS::part_pkg_fcc_option;
389   use FS::state;
390   use FS::state;
391   use FS::queue_stat;
392   use FS::deploy_zone;
393   use FS::deploy_zone_block;
394   use FS::deploy_zone_vertex;
395   use FS::TaxEngine;
396   use FS::tax_status;
397   use FS::circuit_type;
398   use FS::circuit_provider;
399   use FS::circuit_termination;
400   use FS::svc_circuit;
401   use FS::cust_credit_source_bill_pkg;
402   use FS::prospect_contact;
403   use FS::cust_contact;
404   use FS::legacy_cust_history;
405   use FS::quotation_pkg_tax;
406   use FS::cust_pkg_reason_fee;
407   use FS::part_svc_link;
408   use FS::access_user_log;
409   use FS::report_batch;
410   use FS::report_batch;
411   use FS::report_batch;
412   use FS::report_batch;
413   use FS::password_history;
414   use FS::svc_fiber;
415   use FS::fiber_olt;
416   use FS::olt_site;
417   use FS::access_user_page_pref;
418   use FS::part_svc_msgcat;
419   use FS::commission_schedule;
420   use FS::commission_rate;
421   use FS::realestate_location;
422   use FS::realestate_unit;
423   use FS::svc_realestate;
424   use FS::saved_search;
425   use FS::sector_coverage;
426   use FS::svc_group;
427   # Sammath Naur
428
429   if ( $FS::Mason::addl_handler_use ) {
430     eval $FS::Mason::addl_handler_use;
431     die $@ if $@;
432   }
433
434   if ( %%%RT_ENABLED%%% ) {
435     eval '
436       use lib ( "/opt/rt3/local/lib", "/opt/rt3/lib" );
437       use vars qw($Nobody $SystemUser);
438       use RT;
439       use RT::Util;
440       use RT::Tickets;
441       use RT::Transactions;
442       use RT::Users;
443       use RT::CurrentUser;
444       use RT::Templates;
445       use RT::Queues;
446       use RT::ScripActions;
447       use RT::ScripConditions;
448       use RT::Scrips;
449       use RT::Groups;
450       use RT::GroupMembers;
451       use RT::CustomFields;
452       use RT::CustomFieldValues;
453       use RT::ObjectCustomFieldValues;
454
455       use RT::Interface::Web::Handler;
456
457       #blah.  not even in RT::Interface::Web::Handler, just in 
458       #html/NoAuth/css/dhandler and rt-test-dependencies.  ask for it here
459       #to throw a real error instead of just a mysterious unstyled RT
460       use CSS::Squish 0.06;
461
462       #another undeclared web UI dep (for ticket links graph)
463       use IPC::Run::SafeHandles;
464
465       #slow, unreliable, segfaults and is optional
466       #see rt/html/Ticket/Elements/ShowTransactionAttachments
467       #use Text::Quoted;
468
469       #?#use File::Path qw( rmtree );
470       #?#use File::Glob qw( bsd_glob );
471       #?#use File::Spec::Unix;
472
473     ';
474     die $@ if $@;
475   }
476
477   no warnings 'redefine';
478   *CGI::redirect = sub {
479     my $self = shift;
480
481     use vars qw($m);
482
483     my $location = '';
484     if ( $_[0] =~ /^-/ ) {
485       my %opt = @_;
486       $location = $opt{'-uri'};
487       my $cookie = $opt{'-cookie'};
488       $m->apache_req->err_headers_out->{'Set-cookie'} = $cookie if $cookie;
489     } else {
490       $location = shift;
491     }
492
493     # false laziness w/below
494     if ( @DBIx::Profile::ISA ) {
495
496       if ( $FS::CurrentUser::CurrentUser->option('show_db_profile') ) {
497
498         #profiling redirect
499
500         my $page =
501           qq!<HTML><BODY>Redirect to <A HREF="$location">$location</A>!.
502           '<BR><BR><PRE>'.
503             ( UNIVERSAL::can(dbh, 'sprintProfile')
504                 ? encode_entities(dbh->sprintProfile())
505                 : 'DBIx::Profile missing sprintProfile method;'.
506                   'unpatched or too old?'                        ).
507           #"\n\n". &sprintAutoProfile().  '</PRE>'.
508           "\n\n".                         '</PRE>'.
509           '</BODY></HTML>';
510
511
512         dbh->{'private_profile'} = {};
513         return $page;
514
515       } else {
516
517         #clear db profile, but normal redirect
518         dbh->{'private_profile'} = {};
519         $m->redirect($location);
520         '';
521
522       }
523
524     } else { #normal redirect
525
526       $m->redirect($location);
527       '';
528
529     }
530
531   };
532   
533   sub include {
534     use vars qw($m);
535     #warn 'include deprecated; use an HTML::Mason <& &> style include (or $m->scomp) at '. $m->callers(0)->path. "\n";
536     $m->scomp(@_);
537   }
538
539   sub errorpage {
540     use vars qw($m);
541     $m->comp('/elements/errorpage.html', @_);
542   }
543
544   sub errorpage_popup {
545     use vars qw($m);
546     $m->comp('/elements/errorpage-popup.html', @_);
547   }
548
549   sub redirect {
550     my( $location ) = @_;
551     use vars qw($m);
552     $m->clear_buffer;
553     #false laziness w/above
554     if ( @DBIx::Profile::ISA ) {
555
556       if ( $FS::CurrentUser::CurrentUser->option('show_db_profile') ) {
557
558         #profiling redirect
559
560         $m->print(
561           qq!<HTML><BODY>Redirect to <A HREF="$location">$location</A>!.
562           '<BR><BR><PRE>'.
563             ( UNIVERSAL::can(dbh, 'sprintProfile')
564                 ? encode_entities(dbh->sprintProfile())
565                 : 'DBIx::Profile missing sprintProfile method;'.
566                   'unpatched or too old?'                        ).
567           #"\n\n". &sprintAutoProfile().  '</PRE>'.
568           "\n\n".                         '</PRE>'.
569           '</BODY></HTML>'
570         );
571
572         dbh->{'private_profile'} = {};
573
574       } else {
575
576         #clear db profile, but normal redirect
577         dbh->{'private_profile'} = {};
578         $m->redirect($location);
579
580       }
581
582     } else { #normal redirect
583
584       $m->redirect($location);
585
586     }
587
588   }
589
590 } # end package HTML::Mason::Commands;
591
592 =head1 SUBROUTINES
593
594 =over 4
595
596 =item mason_interps [ MODE [ OPTION => VALUE ... ] ]
597
598 Returns a list consisting of two HTML::Mason::Interp objects, the first for
599 Freeside pages, and the second for RT pages.
600
601 MODE can be 'apache' or 'standalone'.  If not specified, defaults to 'apache'.
602
603 Options and values can be passed following mode.  Currently available options
604 are:
605
606 I<outbuf> should be set to a scalar reference in standalone mode.
607
608 =cut
609
610 my %defang_opts = ( attribs_to_callback => ['src'], attribs_callback => sub { 1 });
611
612 sub mason_interps {
613   my $mode = shift || 'apache';
614   my %opt = @_;
615
616   #my $request_class = 'HTML::Mason::Request'.
617                       #( $mode eq 'apache' ? '::ApacheHandler' : '' );
618   my $request_class = $mode eq 'standalone' ? 'FS::Mason::StandaloneRequest'
619                                             : 'FS::Mason::Request';
620
621   #not entirely sure it belongs here, but what the hey
622   if ( %%%RT_ENABLED%%% && $mode ne 'standalone' ) {
623     RT::LoadConfig();
624   }
625
626   my $fs_comp_root = '%%%FREESIDE_DOCUMENT_ROOT%%%';
627
628   my %interp = (
629     request_class        => $request_class,
630     data_dir             => '%%%MASONDATA%%%',
631     error_mode           => 'output',
632     error_format         => 'html',
633     ignore_warnings_expr => '.',
634   );
635
636   $interp{out_method} = $opt{outbuf} if $mode eq 'standalone' && $opt{outbuf};
637
638   my $html_defang = new HTML::Defang (%defang_opts);
639
640   #false laziness w/ FS::Maketext js_mt
641   my $js_string_sub = sub {
642     #${$_[0]} =~ s/(['\\\n])/'\\'.($1 eq "\n" ? 'n' : $1)/ge;
643     ${$_[0]} =~ s/(['\\])/\\$1/g;
644     ${$_[0]} =~ s/\r/\\r/g;
645     ${$_[0]} =~ s/\n/\\n/g;
646     # prevent premature termination of the script
647     ${$_[0]} =~ s[</script>][<\\/script>]ig;
648     ${$_[0]} = "'". ${$_[0]}. "'";
649   };
650
651   my $defang_sub = sub {
652     ${$_[0]} = $html_defang->defang(${$_[0]});
653   };
654
655   my $fs_interp = new HTML::Mason::Interp (
656     %interp,
657     comp_root    => $fs_comp_root,
658     escape_flags => { 'js_string'   => $js_string_sub,
659                       'defang'      => $defang_sub,
660                     },
661     compiler     => HTML::Mason::Compiler::ToObject->new(
662                       allow_globals        => [qw(%session)],
663                     ),
664   );
665
666   my $rt_interp = new HTML::Mason::Interp (
667     %interp,
668     comp_root    => [
669                       [ 'rt'       => '%%%FREESIDE_DOCUMENT_ROOT%%%/rt' ],
670                       [ 'freeside' => '%%%FREESIDE_DOCUMENT_ROOT%%%'    ],
671                     ],
672     escape_flags => { 'h'         => \&RT::Interface::Web::EscapeHTML,
673                       #u and j aren't used anymore?  :/
674                       'u'         => \&RT::Interface::Web::EscapeURI,
675                       'j'         => \&RT::Interface::Web::EscapeJS,
676                       'js_string' => $js_string_sub,
677                     },
678     compiler     => HTML::Mason::Compiler::ToObject->new(
679                       default_escape_flags => 'h',
680                       allow_globals        => [qw(%session $DECODED_ARGS)],
681                     ),
682   );
683
684   ( $fs_interp, $rt_interp );
685
686 }
687
688 =item child_init
689
690 Per-process Apache child initialization code.
691
692 Calls srand() to re-seed Perl's PRNG so that multiple children do not generate
693 the same "random" numbers.
694
695 Works around a Net::SSLeay connection error by creating and deleting an SSL
696 context, so subsequent connections do not error out with a CTX_new (900 NET OR
697 SSL ERROR).  See http://bugs.debian.org/830152
698
699 =cut
700
701 sub child_init {
702   #my ($pool, $server) = @_; #the child process pool (APR::Pool) and the server object (Apache2::ServerRec).
703
704   srand();
705
706   #{
707     use Net::SSLeay;
708     package Net::SSLeay;
709     initialize();
710     my $bad_ctx = new_x_ctx();
711     while ( ERR_get_error() ) {}; #print_errs('CTX_new');
712     CTX_free($bad_ctx);
713   #}
714
715 }
716
717 =back
718
719 =head1 BUGS
720
721 Lurking in the darkness...
722
723 =head1 SEE ALSO
724
725 L<HTML::Mason>, L<FS>, L<RT>
726
727 =cut
728
729 1;