RT# 80488 Live look up of WA state tax district
[freeside.git] / FS / FS / cust_location.pm
1 package FS::cust_location;
2 use base qw( FS::geocode_Mixin FS::Record );
3
4 use strict;
5 use vars qw( $import $DEBUG $conf $label_prefix $allow_location_edit );
6 use Data::Dumper;
7 use Date::Format qw( time2str );
8 use FS::UID qw( dbh driver_name );
9 use FS::Record qw( qsearch qsearchs );
10 use FS::Conf;
11 use FS::prospect_main;
12 use FS::cust_main;
13 use FS::cust_main_county;
14 use FS::part_export;
15 use FS::GeocodeCache;
16
17 # Essential fields. Can't be modified in place, will be considered in
18 # deciding if a location is "new", and (because of that) can't have
19 # leading/trailing whitespace.
20 my @essential = (qw(custnum address1 address2 city county state zip country
21   location_number location_type location_kind disabled));
22
23 $import = 0;
24
25 $DEBUG = 0;
26
27 FS::UID->install_callback( sub {
28   $conf = FS::Conf->new;
29   $label_prefix = $conf->config('cust_location-label_prefix') || '';
30 });
31
32 =head1 NAME
33
34 FS::cust_location - Object methods for cust_location records
35
36 =head1 SYNOPSIS
37
38   use FS::cust_location;
39
40   $record = new FS::cust_location \%hash;
41   $record = new FS::cust_location { 'column' => 'value' };
42
43   $error = $record->insert;
44
45   $error = $new_record->replace($old_record);
46
47   $error = $record->delete;
48
49   $error = $record->check;
50
51 =head1 DESCRIPTION
52
53 An FS::cust_location object represents a customer (or prospect) location.
54 FS::cust_location inherits from FS::Record.  The following fields are currently
55 supported:
56
57 =over 4
58
59 =item locationnum
60
61 primary key
62
63 =item custnum
64
65 Customer (see L<FS::cust_main>).
66
67 =item prospectnum
68
69 Prospect (see L<FS::prospect_main>).
70
71 =item locationname
72
73 Optional location name.
74
75 =item address1
76
77 Address line one (required)
78
79 =item address2
80
81 Address line two (optional)
82
83 =item city
84
85 City (if cust_main-no_city_in_address config is set when inserting, this will be forced blank)
86
87 =item county
88
89 County (optional, see L<FS::cust_main_county>)
90
91 =item state
92
93 State (see L<FS::cust_main_county>)
94
95 =item zip
96
97 Zip
98
99 =item country
100
101 Country (see L<FS::cust_main_county>)
102
103 =item geocode
104
105 Geocode
106
107 =item latitude
108
109 =item longitude
110
111 =item coord_auto
112
113 Flag indicating whether coordinates were obtained automatically or manually
114 entered
115
116 =item addr_clean
117
118 Flag indicating whether address has been normalized
119
120 =item censustract
121
122 =item censusyear
123
124 =item district
125
126 Tax district code (optional)
127
128 =item incorporated
129
130 Incorporated city flag: set to 'Y' if the address is in the legal borders 
131 of an incorporated city.
132
133 =item disabled
134
135 Disabled flag; set to 'Y' to disable the location.
136
137 =back
138
139 =head1 METHODS
140
141 =over 4
142
143 =item new HASHREF
144
145 Creates a new location.  To add the location to the database, see L<"insert">.
146
147 Note that this stores the hash reference, not a distinct copy of the hash it
148 points to.  You can ask the object for a copy with the I<hash> method.
149
150 =cut
151
152 sub table { 'cust_location'; }
153
154 =item find_or_insert
155
156 Finds an existing location matching the customer and address values in this
157 location, if one exists, and sets the contents of this location equal to that
158 one (including its locationnum).
159
160 If an existing location is not found, this one I<will> be inserted.  (This is a
161 change from the "new_or_existing" method that this replaces.)
162
163 The following fields are considered "essential" and I<must> match: custnum,
164 address1, address2, city, county, state, zip, country, location_number,
165 location_type, location_kind.  Disabled locations will be found only if this
166 location is set to disabled.
167
168 All other fields are considered "non-essential" and will be ignored in 
169 finding a matching location.  If the existing location doesn't match 
170 in these fields, it will be updated in-place to match.
171
172 Returns an error string if inserting or updating a location failed.
173
174 It is unfortunately hard to determine if this created a new location or not.
175
176 =cut
177
178 sub find_or_insert {
179   my $self = shift;
180
181   warn "find_or_insert:\n".Dumper($self) if $DEBUG;
182
183   if ($conf->exists('cust_main-no_city_in_address')) {
184     warn "Warning: passed city to find_or_insert when cust_main-no_city_in_address is configured, ignoring it"
185       if $self->get('city');
186     $self->set('city','');
187   }
188
189   # I don't think this is necessary
190   #if ( !$self->coord_auto and $self->latitude and $self->longitude ) {
191   #  push @essential, qw(latitude longitude);
192   #  # but NOT coord_auto; if the latitude and longitude match the geocoded
193   #  # values then that's good enough
194   #}
195
196   # put nonempty, nonessential fields/values into this hash
197   my %nonempty = map { $_ => $self->get($_) }
198                  grep {$self->get($_)} $self->fields;
199   delete @nonempty{@essential};
200   delete $nonempty{'locationnum'};
201
202   my %hash = map { $_ => $self->get($_) } @essential;
203   foreach (values %hash) {
204     s/^\s+//;
205     s/\s+$//;
206   }
207   my @matches = qsearch('cust_location', \%hash);
208
209   # we no longer reject matches for having different values in nonessential
210   # fields; we just alter the record to match
211   if ( @matches ) {
212     my $old = $matches[0];
213     warn "found existing location #".$old->locationnum."\n" if $DEBUG;
214     foreach my $field (keys %nonempty) {
215       if ($old->get($field) ne $nonempty{$field}) {
216         warn "altering $field to match requested location" if $DEBUG;
217         $old->set($field, $nonempty{$field});
218       }
219     } # foreach $field
220
221     if ( $old->modified ) {
222       warn "updating non-essential fields\n" if $DEBUG;
223       my $error = $old->replace;
224       return $error if $error;
225     }
226     # set $self equal to $old
227     foreach ($self->fields) {
228       $self->set($_, $old->get($_));
229     }
230     return "";
231   }
232
233   # didn't find a match
234   warn "not found; inserting new location\n" if $DEBUG;
235   return $self->insert;
236 }
237
238 =item insert
239
240 Adds this record to the database.  If there is an error, returns the error,
241 otherwise returns false.
242
243 =cut
244
245 sub insert {
246   my $self = shift;
247
248   if ($conf->exists('cust_main-no_city_in_address')) {
249     warn "Warning: passed city to insert when cust_main-no_city_in_address is configured, ignoring it"
250       if $self->get('city');
251     $self->set('city','');
252   }
253
254   if ( $self->censustract ) {
255     $self->set('censusyear' => $conf->config('census_year') || 2012);
256   }
257
258   my $oldAutoCommit = $FS::UID::AutoCommit;
259   local $FS::UID::AutoCommit = 0;
260   my $dbh = dbh;
261
262   my $error = $self->SUPER::insert(@_);
263   if ( $error ) {
264     $dbh->rollback if $oldAutoCommit;
265     return $error;
266   }
267
268   # If using tax_district_method, for rows in state of Washington,
269   # without a tax district already specified, queue a job to find
270   # the tax district
271   if (
272        !$import
273     && !$self->district
274     && lc $self->state eq 'wa'
275     && $conf->config('tax_district_method')
276   ) {
277
278     my $queue = new FS::queue {
279       'job' => 'FS::geocode_Mixin::process_district_update'
280     };
281     $error = $queue->insert( ref($self), $self->locationnum );
282     if ( $error ) {
283       $dbh->rollback if $oldAutoCommit;
284       return $error;
285     }
286
287   }
288
289   # cust_location exports
290   #my $export_args = $options{'export_args'} || [];
291
292   # don't export custnum_pending cases, let follow-up replace handle that
293   if ($self->custnum || $self->prospectnum) {
294     my @part_export =
295       map qsearch( 'part_export', {exportnum=>$_} ),
296         $conf->config('cust_location-exports'); #, $agentnum
297
298     foreach my $part_export ( @part_export ) {
299       my $error = $part_export->export_insert($self); #, @$export_args);
300       if ( $error ) {
301         $dbh->rollback if $oldAutoCommit;
302         return "exporting to ". $part_export->exporttype.
303                " (transaction rolled back): $error";
304       }
305     }
306   }
307
308   $dbh->commit or die $dbh->errstr if $oldAutoCommit;
309   '';
310 }
311
312 =item delete
313
314 Delete this record from the database.
315
316 =item replace OLD_RECORD
317
318 Replaces the OLD_RECORD with this one in the database.  If there is an error,
319 returns the error, otherwise returns false.
320
321 =cut
322
323 sub replace {
324   my $self = shift;
325   my $old = shift;
326   $old ||= $self->replace_old;
327
328   warn "Warning: passed city to replace when cust_main-no_city_in_address is configured"
329     if $conf->exists('cust_main-no_city_in_address') && $self->get('city');
330
331   # the following fields are immutable if this is a customer location. if
332   # it's a prospect location, then there are no active packages, no billing
333   # history, no taxes, and in general no reason to keep the old location
334   # around.
335   if ( !$allow_location_edit and $self->custnum ) {
336     foreach (qw(address1 address2 city state zip country)) {
337       if ( $self->$_ ne $old->$_ ) {
338         return "can't change cust_location field $_";
339       }
340     }
341   }
342
343   my $oldAutoCommit = $FS::UID::AutoCommit;
344   local $FS::UID::AutoCommit = 0;
345   my $dbh = dbh;
346
347   my $error = $self->SUPER::replace($old);
348   if ( $error ) {
349     $dbh->rollback if $oldAutoCommit;
350     return $error;
351   }
352
353   # cust_location exports
354   #my $export_args = $options{'export_args'} || [];
355
356   # don't export custnum_pending cases, let follow-up replace handle that
357   if ($self->custnum || $self->prospectnum) {
358     my @part_export =
359       map qsearch( 'part_export', {exportnum=>$_} ),
360         $conf->config('cust_location-exports'); #, $agentnum
361
362     foreach my $part_export ( @part_export ) {
363       my $error = $part_export->export_replace($self, $old); #, @$export_args);
364       if ( $error ) {
365         $dbh->rollback if $oldAutoCommit;
366         return "exporting to ". $part_export->exporttype.
367                " (transaction rolled back): $error";
368       }
369     }
370   }
371
372   $dbh->commit or die $dbh->errstr if $oldAutoCommit;
373   '';
374 }
375
376
377 =item check
378
379 Checks all fields to make sure this is a valid location.  If there is
380 an error, returns the error, otherwise returns false.  Called by the insert
381 and replace methods.
382
383 =cut
384
385 sub check {
386   my $self = shift;
387
388   return '' if $self->disabled; # so that disabling locations never fails
389
390   # whitespace in essential fields leads to problems figuring out if a
391   # record is "new"; get rid of it.
392   $self->trim_whitespace(@essential);
393
394   my $error = 
395     $self->ut_numbern('locationnum')
396     || $self->ut_foreign_keyn('prospectnum', 'prospect_main', 'prospectnum')
397     || $self->ut_foreign_keyn('custnum', 'cust_main', 'custnum')
398     || $self->ut_textn('locationname')
399     || $self->ut_text('address1')
400     || $self->ut_textn('address2')
401     || ($conf->exists('cust_main-no_city_in_address') 
402         ? $self->ut_textn('city') 
403         : $self->ut_text('city'))
404     || $self->ut_textn('county')
405     || $self->ut_textn('state')
406     || $self->ut_country('country')
407     || (!$import && $self->ut_zip('zip', $self->country))
408     || $self->ut_coordn('latitude')
409     || $self->ut_coordn('longitude')
410     || $self->ut_enum('coord_auto', [ '', 'Y' ])
411     || $self->ut_enum('addr_clean', [ '', 'Y' ])
412     || $self->ut_alphan('location_type')
413     || $self->ut_textn('location_number')
414     || $self->ut_enum('location_kind', [ '', 'R', 'B' ] )
415     || $self->ut_alphan('geocode')
416     || $self->ut_alphan('district')
417     || $self->ut_numbern('censusyear')
418     || $self->ut_flag('incorporated')
419   ;
420   return $error if $error;
421   if ( $self->censustract ne '' ) {
422     $self->censustract =~ /^\s*(\d{9})\.?(\d{2})\s*$/
423       or return "Illegal census tract: ". $self->censustract;
424
425     $self->censustract("$1.$2");
426   }
427
428   #yikes... this is ancient, pre-dates cust_location and will be harder to
429   # implement now... how do we know this location is a service location from
430   # here and not a billing? we can't just check locationnums, we might be new :/
431   return "Unit # is required"
432     if $conf->exists('cust_main-require_address2')
433     && ! $self->address2 =~ /\S/;
434
435   # tricky...we have to allow for the customer to not be inserted yet
436   return "No prospect or customer!" unless $self->prospectnum 
437                                         || $self->custnum
438                                         || $self->get('custnum_pending');
439   return "Prospect and customer!"       if $self->prospectnum && $self->custnum;
440
441   return 'Location kind is required'
442     if $self->prospectnum
443     && $conf->exists('prospect_main-alt_address_format')
444     && ! $self->location_kind;
445
446   unless ( $import or qsearch('cust_main_county', {
447     'country' => $self->country,
448     'state'   => '',
449    } ) ) {
450     return "Unknown state/county/country: ".
451       $self->state. "/". $self->county. "/". $self->country
452       unless qsearch('cust_main_county',{
453         'state'   => $self->state,
454         'county'  => $self->county,
455         'country' => $self->country,
456       } );
457   }
458
459   # set coordinates, unless we already have them
460   if (!$import and !$self->latitude and !$self->longitude) {
461     $self->set_coord;
462   }
463
464   $self->SUPER::check;
465 }
466
467 =item country_full
468
469 Returns this location's full country name
470
471 =cut
472
473 #moved to geocode_Mixin.pm
474
475 =item line
476
477 Synonym for location_label
478
479 =cut
480
481 sub line {
482   my $self = shift;
483   $self->location_label(@_);
484 }
485
486 =item has_ship_address
487
488 Returns false since cust_location objects do not have a separate shipping
489 address.
490
491 =cut
492
493 sub has_ship_address {
494   '';
495 }
496
497 =item location_hash
498
499 Returns a list of key/value pairs, with the following keys: address1, address2,
500 city, county, state, zip, country, geocode, location_type, location_number,
501 location_kind.
502
503 =cut
504
505 =item disable_if_unused
506
507 Sets the "disabled" flag on the location if it is no longer in use as a 
508 prospect location, package location, or a customer's billing or default
509 service address.
510
511 =cut
512
513 sub disable_if_unused {
514
515   my $self = shift;
516   my $locationnum = $self->locationnum;
517   return '' if FS::cust_main->count('bill_locationnum = '.$locationnum.' OR
518                                      ship_locationnum = '.$locationnum)
519             or FS::contact->count(      'locationnum  = '.$locationnum)
520             or FS::cust_pkg->count('cancel IS NULL AND 
521                                          locationnum  = '.$locationnum)
522           ;
523   $self->disabled('Y');
524   $self->replace;
525
526 }
527
528 =item move_pkgs
529
530 Returns array of cust_pkg objects that would have their location
531 updated by L</move_to> (all packages that have this location as 
532 their service address, and aren't canceled, and aren't supplemental 
533 to another package, and aren't one-time charges that have already been charged.)
534
535 =cut
536
537 sub move_pkgs {
538   my $self = shift;
539   my @pkgs = ();
540   # find all packages that have the old location as their service address,
541   # and aren't canceled,
542   # and aren't supplemental to another package
543   # and aren't one-time charges that have already been charged
544   foreach my $cust_pkg (
545     qsearch('cust_pkg', { 
546       'locationnum' => $self->locationnum,
547       'cancel'      => '',
548       'main_pkgnum' => '',
549     })
550   ) {
551     next if $cust_pkg->part_pkg->freq eq '0'
552             and ($cust_pkg->setup || 0) > 0;
553     push @pkgs, $cust_pkg;
554   }
555   return @pkgs;
556 }
557
558 =item move_to NEW [ move_pkgs => \@move_pkgs ]
559
560 Takes a new L<FS::cust_location> object.  Moves all packages that use the 
561 existing location to the new one, then sets the "disabled" flag on the old
562 location.  Returns nothing on success, an error message on error.
563
564 Use option I<move_pkgs> to override the list of packages to update
565 (see L</move_pkgs>.)
566
567 =cut
568
569 sub move_to {
570   my $old = shift;
571   my $new = shift;
572   my %opt = @_;
573   
574   warn "move_to:\nFROM:".Dumper($old)."\nTO:".Dumper($new) if $DEBUG;
575
576   local $SIG{HUP} = 'IGNORE';
577   local $SIG{INT} = 'IGNORE';
578   local $SIG{QUIT} = 'IGNORE';
579   local $SIG{TERM} = 'IGNORE';
580   local $SIG{TSTP} = 'IGNORE';
581   local $SIG{PIPE} = 'IGNORE';
582
583   my $oldAutoCommit = $FS::UID::AutoCommit;
584   local $FS::UID::AutoCommit = 0;
585   my $dbh = dbh;
586   my $error = '';
587
588   # prevent this from failing because of pkg_svc quantity limits
589   local( $FS::cust_svc::ignore_quantity ) = 1;
590
591   if ( !$new->locationnum ) {
592     $error = $new->insert;
593     if ( $error ) {
594       $dbh->rollback if $oldAutoCommit;
595       return "Error creating location: $error";
596     }
597   } elsif ( $new->locationnum == $old->locationnum ) {
598     # then they're the same location; the normal result of doing a minor
599     # location edit
600     $dbh->commit if $oldAutoCommit;
601     return '';
602   }
603
604   my @pkgs;
605   if ($opt{'move_pkgs'}) {
606     @pkgs = @{$opt{'move_pkgs'}};
607     my $pkgerr;
608     foreach my $pkg (@pkgs) {
609       my $pkgnum = $pkg->pkgnum;
610       $pkgerr = "cust_pkg $pkgnum has already been charged"
611         if $pkg->part_pkg->freq eq '0'
612           and ($pkg->setup || 0) > 0;
613       $pkgerr = "cust_pkg $pkgnum is supplemental"
614         if $pkg->main_pkgnum;
615       $pkgerr = "cust_pkg $pkgnum already cancelled"
616         if $pkg->cancel;
617       $pkgerr = "cust_pkg $pkgnum does not use this location"
618         unless $pkg->locationnum eq $old->locationnum;
619       last if $pkgerr;
620     }
621     if ($pkgerr) {
622       $dbh->rollback if $oldAutoCommit;
623       return "Cannot update package location: $pkgerr";
624     }
625   } else {
626     @pkgs = $old->move_pkgs;
627   }
628
629   foreach my $cust_pkg (@pkgs) {
630     $error = $cust_pkg->change(
631       'locationnum' => $new->locationnum,
632       'keep_dates'  => 1
633     );
634     if ( $error and not ref($error) ) {
635       $dbh->rollback if $oldAutoCommit;
636       return "Error moving pkgnum ".$cust_pkg->pkgnum.": $error";
637     }
638   }
639
640   $error = $old->disable_if_unused;
641   if ( $error ) {
642     $dbh->rollback if $oldAutoCommit;
643     return "Error disabling old location: $error";
644   }
645
646   $dbh->commit if $oldAutoCommit;
647   '';
648 }
649
650 =item alternize
651
652 Attempts to parse data for location_type and location_number from address1
653 and address2.
654
655 =cut
656
657 sub alternize {
658   my $self = shift;
659
660   return '' if $self->get('location_type')
661             || $self->get('location_number');
662
663   my %parse;
664   if ( 1 ) { #ikano, switch on via config
665     { no warnings 'void';
666       eval { 'use FS::part_export::ikano;' };
667       die $@ if $@;
668     }
669     %parse = FS::part_export::ikano->location_types_parse;
670   } else {
671     %parse = (); #?
672   }
673
674   foreach my $from ('address1', 'address2') {
675     foreach my $parse ( keys %parse ) {
676       my $value = $self->get($from);
677       if ( $value =~ s/(^|\W+)$parse\W+(\w+)\W*$//i ) {
678         $self->set('location_type', $parse{$parse});
679         $self->set('location_number', $2);
680         $self->set($from, $value);
681         return '';
682       }
683     }
684   }
685
686   #nothing matched, no changes
687   $self->get('address2')
688     ? "Can't parse unit type and number from address2"
689     : '';
690 }
691
692 =item dealternize
693
694 Moves data from location_type and location_number to the end of address1.
695
696 =cut
697
698 sub dealternize {
699   my $self = shift;
700
701   #false laziness w/geocode_Mixin.pm::line
702   my $lt = $self->get('location_type');
703   if ( $lt ) {
704
705     my %location_type;
706     if ( 1 ) { #ikano, switch on via config
707       { no warnings 'void';
708         eval { 'use FS::part_export::ikano;' };
709         die $@ if $@;
710       }
711       %location_type = FS::part_export::ikano->location_types;
712     } else {
713       %location_type = (); #?
714     }
715
716     $self->address1( $self->address1. ' '. $location_type{$lt} || $lt );
717     $self->location_type('');
718   }
719
720   if ( length($self->location_number) ) {
721     $self->address1( $self->address1. ' '. $self->location_number );
722     $self->location_number('');
723   }
724  
725   '';
726 }
727
728 =item location_label
729
730 Returns the label of the location object.
731
732 Options:
733
734 =over 4
735
736 =item cust_main
737
738 Customer object (see L<FS::cust_main>)
739
740 =item prospect_main
741
742 Prospect object (see L<FS::prospect_main>)
743
744 =item join_string
745
746 String used to join location elements
747
748 =item no_prefix
749
750 Don't label the default service location as "Default service location".
751 May become the default at some point.
752
753 =back
754
755 =cut
756
757 sub location_label {
758   my( $self, %opt ) = @_;
759
760   my $prefix = $self->label_prefix(%opt);
761   $prefix .= ($opt{join_string} ||  ': ') if $prefix;
762   $prefix = '' if $opt{'no_prefix'};
763
764   $prefix . $self->SUPER::location_label(%opt);
765 }
766
767 =item label_prefix
768
769 Returns the optional site ID string (based on the cust_location-label_prefix
770 config option), "Default service location", or the empty string.
771
772 Options:
773
774 =over 4
775
776 =item cust_main
777
778 Customer object (see L<FS::cust_main>)
779
780 =item prospect_main
781
782 Prospect object (see L<FS::prospect_main>)
783
784 =back
785
786 =cut
787
788 sub label_prefix {
789   my( $self, %opt ) = @_;
790
791   my $cust_or_prospect = $opt{cust_main} || $opt{prospect_main};
792   unless ( $cust_or_prospect ) {
793     if ( $self->custnum ) {
794       $cust_or_prospect = FS::cust_main->by_key($self->custnum);
795     } elsif ( $self->prospectnum ) {
796       $cust_or_prospect = FS::prospect_main->by_key($self->prospectnum);
797     }
798   }
799
800   my $prefix = '';
801   if ( $label_prefix eq 'CoStAg' ) {
802     my $agent = $conf->config('cust_main-custnum-display_prefix',
803                   $cust_or_prospect->agentnum)
804                 || $cust_or_prospect->agent->agent;
805     # else this location is invalid
806     $prefix = uc( join('',
807         $self->country,
808         ($self->state =~ /^(..)/),
809         ($agent =~ /^(..)/),
810         sprintf('%05d', $self->locationnum)
811     ) );
812
813   } elsif ( $label_prefix eq '_location' && $self->locationname ) {
814     $prefix = $self->locationname;
815
816   #} elsif (    ( $opt{'cust_main'} || $self->custnum )
817   #        && $self->locationnum == $cust_or_prospect->ship_locationnum ) {
818   #  $prefix = 'Default service location';
819   #}
820   } else {
821     $prefix = '';
822   }
823
824   $prefix;
825 }
826
827 =item county_state_country
828
829 Returns a string consisting of just the county, state and country.
830
831 =cut
832
833 sub county_state_country {
834   my $self = shift;
835   my $label = $self->country;
836   $label = $self->state.", $label" if $self->state;
837   $label = $self->county." County, $label" if $self->county;
838   $label;
839 }
840
841 =back
842
843 =head2 SUBROUTINES
844
845 =over 4
846
847 =item process_censustract_update LOCATIONNUM
848
849 Queueable function to update the census tract to the current year (as set in 
850 the 'census_year' configuration variable) and retrieve the new tract code.
851
852 =cut
853
854 sub process_censustract_update {
855   eval "use FS::GeocodeCache";
856   die $@ if $@;
857   my $locationnum = shift;
858   my $cust_location = 
859     qsearchs( 'cust_location', { locationnum => $locationnum })
860       or die "locationnum '$locationnum' not found!\n";
861
862   my $new_year = $conf->config('census_year') or return;
863   my $loc = FS::GeocodeCache->new( $cust_location->location_hash );
864   $loc->set_censustract;
865   my $error = $loc->get('censustract_error');
866   die $error if $error;
867   $cust_location->set('censustract', $loc->get('censustract'));
868   $cust_location->set('censusyear',  $new_year);
869   $error = $cust_location->replace;
870   die $error if $error;
871   return;
872 }
873
874 =item process_set_coord
875
876 Queueable function to find and fill in coordinates for all locations that 
877 lack them.  Because this uses the Google Maps API, it's internally rate
878 limited and must run in a single process.
879
880 =cut
881
882 sub process_set_coord {
883   my $job = shift;
884   # avoid starting multiple instances of this job
885   my @others = qsearch('queue', {
886       'status'  => 'locked',
887       'job'     => $job->job,
888       'jobnum'  => {op=>'!=', value=>$job->jobnum},
889   });
890   return if @others;
891
892   $job->update_statustext('finding locations to update');
893   my @missing_coords = qsearch('cust_location', {
894       'disabled'  => '',
895       'latitude'  => '',
896       'longitude' => '',
897   });
898   my $i = 0;
899   my $n = scalar @missing_coords;
900   for my $cust_location (@missing_coords) {
901     $cust_location->set_coord;
902     my $error = $cust_location->replace;
903     if ( $error ) {
904       warn "error geocoding location#".$cust_location->locationnum.": $error\n";
905     } else {
906       $i++;
907       $job->update_statustext("updated $i / $n locations");
908       dbh->commit; # so that we don't have to wait for the whole thing to finish
909       # Rate-limit to stay under the Google Maps usage limit (2500/day).
910       # 86,400 / 35 = 2,468 lookups per day.
911     }
912     sleep 35;
913   }
914   if ( $i < $n ) {
915     die "failed to update ".$n-$i." locations\n";
916   }
917   return;
918 }
919
920 =item process_standardize [ LOCATIONNUMS ]
921
922 Performs address standardization on locations with unclean addresses,
923 using whatever method you have configured.  If the standardize_* method 
924 returns a I<clean> address match, the location will be updated.  This is 
925 always an in-place update (because the physical location is the same, 
926 and is just being referred to by a more accurate name).
927
928 Disabled locations will be skipped, as nobody cares.
929
930 If any LOCATIONNUMS are provided, only those locations will be updated.
931
932 =cut
933
934 sub process_standardize {
935   my $job = shift;
936   my @others = qsearch('queue', {
937       'status'  => 'locked',
938       'job'     => $job->job,
939       'jobnum'  => {op=>'!=', value=>$job->jobnum},
940   });
941   return if @others;
942   my @locationnums = grep /^\d+$/, @_;
943   my $where = "AND locationnum IN(".join(',',@locationnums).")"
944     if scalar(@locationnums);
945   my @locations = qsearch({
946       table     => 'cust_location',
947       hashref   => { addr_clean => '', disabled => '' },
948       extra_sql => $where,
949   });
950   my $n_todo = scalar(@locations);
951   my $n_done = 0;
952
953   # special: log this
954   my $log;
955   eval "use Text::CSV";
956   open $log, '>', "$FS::UID::cache_dir/process_standardize-" . 
957                   time2str('%Y%m%d',time) .
958                   ".csv";
959   my $csv = Text::CSV->new({binary => 1, eol => "\n"});
960
961   foreach my $cust_location (@locations) {
962     $job->update_statustext( int(100 * $n_done/$n_todo) . ",$n_done / $n_todo locations" ) if $job;
963     my $result = FS::GeocodeCache->standardize($cust_location);
964     if ( $result->{addr_clean} and !$result->{error} ) {
965       my @cols = ($cust_location->locationnum);
966       foreach (keys %$result) {
967         push @cols, $cust_location->get($_), $result->{$_};
968         $cust_location->set($_, $result->{$_});
969       }
970       # bypass immutable field restrictions
971       my $error = $cust_location->FS::Record::replace;
972       warn "location ".$cust_location->locationnum.": $error\n" if $error;
973       $csv->print($log, \@cols);
974     }
975     $n_done++;
976     dbh->commit; # so that we can resume if interrupted
977   }
978   close $log;
979 }
980
981 sub _upgrade_data {
982   my $class = shift;
983
984   # are we going to need to update tax districts?
985   my $use_districts = $conf->config('tax_district_method') ? 1 : 0;
986
987   # trim whitespace on records that need it
988   local $allow_location_edit = 1;
989   foreach my $field (@essential) {
990     next if $field eq 'custnum';
991     next if $field eq 'disabled';
992     foreach my $location (qsearch({
993       table => 'cust_location',
994       extra_sql => " WHERE disabled IS NULL AND ($field LIKE ' %' OR $field LIKE '% ')"
995     })) {
996       my $error = $location->replace;
997       die "$error (fixing whitespace in $field, locationnum ".$location->locationnum.')'
998         if $error;
999
1000       if (
1001         $use_districts
1002         && !$location->district
1003         && lc $location->state eq 'wa'
1004       ) {
1005         my $queue = new FS::queue {
1006           'job' => 'FS::geocode_Mixin::process_district_update'
1007         };
1008         $error = $queue->insert( 'FS::cust_location' => $location->locationnum );
1009         die $error if $error;
1010       }
1011     } # foreach $location
1012   } # foreach $field
1013   '';
1014 }
1015
1016 =head1 BUGS
1017
1018 =head1 SEE ALSO
1019
1020 L<FS::cust_main_county>, L<FS::cust_pkg>, L<FS::Record>,
1021 schema.html from the base documentation.
1022
1023 =cut
1024
1025 1;
1026