RT# 80488 Live look up of WA state tax district
[freeside.git] / FS / FS / cust_location.pm
1 package FS::cust_location;
2 use base qw( FS::geocode_Mixin FS::Record );
3
4 use strict;
5 use vars qw( $import $DEBUG $conf $label_prefix $allow_location_edit );
6 use Data::Dumper;
7 use Date::Format qw( time2str );
8 use FS::UID qw( dbh driver_name );
9 use FS::Record qw( qsearch qsearchs );
10 use FS::Conf;
11 use FS::prospect_main;
12 use FS::cust_main;
13 use FS::cust_main_county;
14 use FS::part_export;
15 use FS::GeocodeCache;
16
17 # Essential fields. Can't be modified in place, will be considered in
18 # deciding if a location is "new", and (because of that) can't have
19 # leading/trailing whitespace.
20 my @essential = (qw(custnum address1 address2 city county state zip country
21   location_number location_type location_kind disabled));
22
23 $import = 0;
24
25 $DEBUG = 0;
26
27 FS::UID->install_callback( sub {
28   $conf = FS::Conf->new;
29   $label_prefix = $conf->config('cust_location-label_prefix') || '';
30 });
31
32 =head1 NAME
33
34 FS::cust_location - Object methods for cust_location records
35
36 =head1 SYNOPSIS
37
38   use FS::cust_location;
39
40   $record = new FS::cust_location \%hash;
41   $record = new FS::cust_location { 'column' => 'value' };
42
43   $error = $record->insert;
44
45   $error = $new_record->replace($old_record);
46
47   $error = $record->delete;
48
49   $error = $record->check;
50
51 =head1 DESCRIPTION
52
53 An FS::cust_location object represents a customer (or prospect) location.
54 FS::cust_location inherits from FS::Record.  The following fields are currently
55 supported:
56
57 =over 4
58
59 =item locationnum
60
61 primary key
62
63 =item custnum
64
65 Customer (see L<FS::cust_main>).
66
67 =item prospectnum
68
69 Prospect (see L<FS::prospect_main>).
70
71 =item locationname
72
73 Optional location name.
74
75 =item address1
76
77 Address line one (required)
78
79 =item address2
80
81 Address line two (optional)
82
83 =item city
84
85 City (if cust_main-no_city_in_address config is set when inserting, this will be forced blank)
86
87 =item county
88
89 County (optional, see L<FS::cust_main_county>)
90
91 =item state
92
93 State (see L<FS::cust_main_county>)
94
95 =item zip
96
97 Zip
98
99 =item country
100
101 Country (see L<FS::cust_main_county>)
102
103 =item geocode
104
105 Geocode
106
107 =item latitude
108
109 =item longitude
110
111 =item coord_auto
112
113 Flag indicating whether coordinates were obtained automatically or manually
114 entered
115
116 =item addr_clean
117
118 Flag indicating whether address has been normalized
119
120 =item censustract
121
122 =item censusyear
123
124 =item district
125
126 Tax district code (optional)
127
128 =item incorporated
129
130 Incorporated city flag: set to 'Y' if the address is in the legal borders 
131 of an incorporated city.
132
133 =item disabled
134
135 Disabled flag; set to 'Y' to disable the location.
136
137 =back
138
139 =head1 METHODS
140
141 =over 4
142
143 =item new HASHREF
144
145 Creates a new location.  To add the location to the database, see L<"insert">.
146
147 Note that this stores the hash reference, not a distinct copy of the hash it
148 points to.  You can ask the object for a copy with the I<hash> method.
149
150 =cut
151
152 sub table { 'cust_location'; }
153
154 =item find_or_insert
155
156 Finds an existing location matching the customer and address values in this
157 location, if one exists, and sets the contents of this location equal to that
158 one (including its locationnum).
159
160 If an existing location is not found, this one I<will> be inserted.  (This is a
161 change from the "new_or_existing" method that this replaces.)
162
163 The following fields are considered "essential" and I<must> match: custnum,
164 address1, address2, city, county, state, zip, country, location_number,
165 location_type, location_kind.  Disabled locations will be found only if this
166 location is set to disabled.
167
168 All other fields are considered "non-essential" and will be ignored in 
169 finding a matching location.  If the existing location doesn't match 
170 in these fields, it will be updated in-place to match.
171
172 Returns an error string if inserting or updating a location failed.
173
174 It is unfortunately hard to determine if this created a new location or not.
175
176 =cut
177
178 sub find_or_insert {
179   my $self = shift;
180
181   warn "find_or_insert:\n".Dumper($self) if $DEBUG;
182
183   if ($conf->exists('cust_main-no_city_in_address')) {
184     warn "Warning: passed city to find_or_insert when cust_main-no_city_in_address is configured, ignoring it"
185       if $self->get('city');
186     $self->set('city','');
187   }
188
189   # I don't think this is necessary
190   #if ( !$self->coord_auto and $self->latitude and $self->longitude ) {
191   #  push @essential, qw(latitude longitude);
192   #  # but NOT coord_auto; if the latitude and longitude match the geocoded
193   #  # values then that's good enough
194   #}
195
196   # put nonempty, nonessential fields/values into this hash
197   my %nonempty = map { $_ => $self->get($_) }
198                  grep {$self->get($_)} $self->fields;
199   delete @nonempty{@essential};
200   delete $nonempty{'locationnum'};
201
202   my %hash = map { $_ => $self->get($_) } @essential;
203   foreach (values %hash) {
204     s/^\s+//;
205     s/\s+$//;
206   }
207   my @matches = qsearch('cust_location', \%hash);
208
209   # we no longer reject matches for having different values in nonessential
210   # fields; we just alter the record to match
211   if ( @matches ) {
212     my $old = $matches[0];
213     warn "found existing location #".$old->locationnum."\n" if $DEBUG;
214     foreach my $field (keys %nonempty) {
215       if ($old->get($field) ne $nonempty{$field}) {
216         warn "altering $field to match requested location" if $DEBUG;
217         $old->set($field, $nonempty{$field});
218       }
219     } # foreach $field
220
221     if ( $old->modified ) {
222       warn "updating non-essential fields\n" if $DEBUG;
223       my $error = $old->replace;
224       return $error if $error;
225     }
226     # set $self equal to $old
227     foreach ($self->fields) {
228       $self->set($_, $old->get($_));
229     }
230     return "";
231   }
232
233   # didn't find a match
234   warn "not found; inserting new location\n" if $DEBUG;
235   return $self->insert;
236 }
237
238 =item insert
239
240 Adds this record to the database.  If there is an error, returns the error,
241 otherwise returns false.
242
243 =cut
244
245 sub insert {
246   my $self = shift;
247
248   if ($conf->exists('cust_main-no_city_in_address')) {
249     warn "Warning: passed city to insert when cust_main-no_city_in_address is configured, ignoring it"
250       if $self->get('city');
251     $self->set('city','');
252   }
253
254   if ( $self->censustract ) {
255     $self->set('censusyear' => $conf->config('census_year') || 2012);
256   }
257
258   my $oldAutoCommit = $FS::UID::AutoCommit;
259   local $FS::UID::AutoCommit = 0;
260   my $dbh = dbh;
261
262   my $error = $self->SUPER::insert(@_);
263   if ( $error ) {
264     $dbh->rollback if $oldAutoCommit;
265     return $error;
266   }
267
268   # If using tax_district_method, for rows in state of Washington,
269   # without a tax district already specified, queue a job to find
270   # the tax district
271   if (
272        !$import
273     && !$self->district
274     && lc $self->state eq 'wa'
275     && $conf->config('tax_district_method')
276   ) {
277
278     my $queue = new FS::queue {
279       'job' => 'FS::geocode_Mixin::process_district_update'
280     };
281     $error = $queue->insert( ref($self), $self->locationnum );
282     if ( $error ) {
283       $dbh->rollback if $oldAutoCommit;
284       return $error;
285     }
286
287   }
288
289   # cust_location exports
290   #my $export_args = $options{'export_args'} || [];
291
292   # don't export custnum_pending cases, let follow-up replace handle that
293   if ($self->custnum || $self->prospectnum) {
294     my @part_export =
295       map qsearch( 'part_export', {exportnum=>$_} ),
296         $conf->config('cust_location-exports'); #, $agentnum
297
298     foreach my $part_export ( @part_export ) {
299       my $error = $part_export->export_insert($self); #, @$export_args);
300       if ( $error ) {
301         $dbh->rollback if $oldAutoCommit;
302         return "exporting to ". $part_export->exporttype.
303                " (transaction rolled back): $error";
304       }
305     }
306   }
307
308   $dbh->commit or die $dbh->errstr if $oldAutoCommit;
309   '';
310 }
311
312 =item delete
313
314 Delete this record from the database.
315
316 =item replace OLD_RECORD
317
318 Replaces the OLD_RECORD with this one in the database.  If there is an error,
319 returns the error, otherwise returns false.
320
321 =cut
322
323 sub replace {
324   my $self = shift;
325   my $old = shift;
326   $old ||= $self->replace_old;
327
328   warn "Warning: passed city to replace when cust_main-no_city_in_address is configured"
329     if $conf->exists('cust_main-no_city_in_address') && $self->get('city');
330
331   # the following fields are immutable if this is a customer location. if
332   # it's a prospect location, then there are no active packages, no billing
333   # history, no taxes, and in general no reason to keep the old location
334   # around.
335   if ( !$allow_location_edit and $self->custnum ) {
336     foreach (qw(address1 address2 city state zip country)) {
337       if ( $self->$_ ne $old->$_ ) {
338         return "can't change cust_location field $_";
339       }
340     }
341   }
342
343   my $oldAutoCommit = $FS::UID::AutoCommit;
344   local $FS::UID::AutoCommit = 0;
345   my $dbh = dbh;
346
347   my $error = $self->SUPER::replace($old);
348   if ( $error ) {
349     $dbh->rollback if $oldAutoCommit;
350     return $error;
351   }
352
353   # cust_location exports
354   #my $export_args = $options{'export_args'} || [];
355
356   # don't export custnum_pending cases, let follow-up replace handle that
357   if ($self->custnum || $self->prospectnum) {
358     my @part_export =
359       map qsearch( 'part_export', {exportnum=>$_} ),
360         $conf->config('cust_location-exports'); #, $agentnum
361
362     foreach my $part_export ( @part_export ) {
363       my $error = $part_export->export_replace($self, $old); #, @$export_args);
364       if ( $error ) {
365         $dbh->rollback if $oldAutoCommit;
366         return "exporting to ". $part_export->exporttype.
367                " (transaction rolled back): $error";
368       }
369     }
370   }
371
372   $dbh->commit or die $dbh->errstr if $oldAutoCommit;
373   '';
374 }
375
376
377 =item check
378
379 Checks all fields to make sure this is a valid location.  If there is
380 an error, returns the error, otherwise returns false.  Called by the insert
381 and replace methods.
382
383 =cut
384
385 sub check {
386   my $self = shift;
387
388   return '' if $self->disabled; # so that disabling locations never fails
389
390   # whitespace in essential fields leads to problems figuring out if a
391   # record is "new"; get rid of it.
392   $self->trim_whitespace(@essential);
393
394   my $error = 
395     $self->ut_numbern('locationnum')
396     || $self->ut_foreign_keyn('prospectnum', 'prospect_main', 'prospectnum')
397     || $self->ut_foreign_keyn('custnum', 'cust_main', 'custnum')
398     || $self->ut_textn('locationname')
399     || $self->ut_text('address1')
400     || $self->ut_textn('address2')
401     || ($conf->exists('cust_main-no_city_in_address') 
402         ? $self->ut_textn('city') 
403         : $self->ut_text('city'))
404     || $self->ut_textn('county')
405     || $self->ut_textn('state')
406     || $self->ut_country('country')
407     || (!$import && $self->ut_zip('zip', $self->country))
408     || $self->ut_coordn('latitude')
409     || $self->ut_coordn('longitude')
410     || $self->ut_enum('coord_auto', [ '', 'Y' ])
411     || $self->ut_enum('addr_clean', [ '', 'Y' ])
412     || $self->ut_alphan('location_type')
413     || $self->ut_textn('location_number')
414     || $self->ut_enum('location_kind', [ '', 'R', 'B' ] )
415     || $self->ut_alphan('geocode')
416     || $self->ut_alphan('district')
417     || $self->ut_numbern('censusyear')
418     || $self->ut_flag('incorporated')
419   ;
420   return $error if $error;
421   if ( $self->censustract ne '' ) {
422     $self->censustract =~ /^\s*(\d{9})\.?(\d{2})\s*$/
423       or return "Illegal census tract: ". $self->censustract;
424
425     $self->censustract("$1.$2");
426   }
427
428   #yikes... this is ancient, pre-dates cust_location and will be harder to
429   # implement now... how do we know this location is a service location from
430   # here and not a billing? we can't just check locationnums, we might be new :/
431   return "Unit # is required"
432     if $conf->exists('cust_main-require_address2')
433     && ! $self->address2 =~ /\S/;
434
435   # tricky...we have to allow for the customer to not be inserted yet
436   return "No prospect or customer!" unless $self->prospectnum 
437                                         || $self->custnum
438                                         || $self->get('custnum_pending');
439   return "Prospect and customer!"       if $self->prospectnum && $self->custnum;
440
441   return 'Location kind is required'
442     if $self->prospectnum
443     && $conf->exists('prospect_main-alt_address_format')
444     && ! $self->location_kind;
445
446   unless ( $import or qsearch('cust_main_county', {
447     'country' => $self->country,
448     'state'   => '',
449    } ) ) {
450     return "Unknown state/county/country: ".
451       $self->state. "/". $self->county. "/". $self->country
452       unless qsearch('cust_main_county',{
453         'state'   => $self->state,
454         'county'  => $self->county,
455         'country' => $self->country,
456       } );
457   }
458
459   # set coordinates, unless we already have them
460   if (!$import and !$self->latitude and !$self->longitude) {
461     $self->set_coord;
462   }
463
464   $self->SUPER::check;
465 }
466
467 =item country_full
468
469 Returns this location's full country name
470
471 =cut
472
473 #moved to geocode_Mixin.pm
474
475 =item line
476
477 Synonym for location_label
478
479 =cut
480
481 sub line {
482   my $self = shift;
483   $self->location_label(@_);
484 }
485
486 =item has_ship_address
487
488 Returns false since cust_location objects do not have a separate shipping
489 address.
490
491 =cut
492
493 sub has_ship_address {
494   '';
495 }
496
497 =item location_hash
498
499 Returns a list of key/value pairs, with the following keys: address1, address2,
500 city, county, state, zip, country, geocode, location_type, location_number,
501 location_kind.
502
503 =cut
504
505 =item disable_if_unused
506
507 Sets the "disabled" flag on the location if it is no longer in use as a 
508 prospect location, package location, or a customer's billing or default
509 service address.
510
511 =cut
512
513 sub disable_if_unused {
514
515   my $self = shift;
516   my $locationnum = $self->locationnum;
517   return '' if FS::cust_main->count('bill_locationnum = '.$locationnum.' OR
518                                      ship_locationnum = '.$locationnum)
519             or FS::contact->count(      'locationnum  = '.$locationnum)
520             or FS::cust_pkg->count('cancel IS NULL AND 
521                                          locationnum  = '.$locationnum)
522           ;
523   $self->disabled('Y');
524   $self->replace;
525
526 }
527
528 =item move_to
529
530 Takes a new L<FS::cust_location> object.  Moves all packages that use the 
531 existing location to the new one, then sets the "disabled" flag on the old
532 location.  Returns nothing on success, an error message on error.
533
534 =cut
535
536 sub move_to {
537   my $old = shift;
538   my $new = shift;
539   
540   warn "move_to:\nFROM:".Dumper($old)."\nTO:".Dumper($new) if $DEBUG;
541
542   local $SIG{HUP} = 'IGNORE';
543   local $SIG{INT} = 'IGNORE';
544   local $SIG{QUIT} = 'IGNORE';
545   local $SIG{TERM} = 'IGNORE';
546   local $SIG{TSTP} = 'IGNORE';
547   local $SIG{PIPE} = 'IGNORE';
548
549   my $oldAutoCommit = $FS::UID::AutoCommit;
550   local $FS::UID::AutoCommit = 0;
551   my $dbh = dbh;
552   my $error = '';
553
554   # prevent this from failing because of pkg_svc quantity limits
555   local( $FS::cust_svc::ignore_quantity ) = 1;
556
557   if ( !$new->locationnum ) {
558     $error = $new->insert;
559     if ( $error ) {
560       $dbh->rollback if $oldAutoCommit;
561       return "Error creating location: $error";
562     }
563   } elsif ( $new->locationnum == $old->locationnum ) {
564     # then they're the same location; the normal result of doing a minor
565     # location edit
566     $dbh->commit if $oldAutoCommit;
567     return '';
568   }
569
570   # find all packages that have the old location as their service address,
571   # and aren't canceled,
572   # and aren't supplemental to another package.
573   my @pkgs = qsearch('cust_pkg', { 
574       'locationnum' => $old->locationnum,
575       'cancel'      => '',
576       'main_pkgnum' => '',
577     });
578   foreach my $cust_pkg (@pkgs) {
579     # don't move one-time charges that have already been charged
580     next if $cust_pkg->part_pkg->freq eq '0'
581             and ($cust_pkg->setup || 0) > 0;
582
583     $error = $cust_pkg->change(
584       'locationnum' => $new->locationnum,
585       'keep_dates'  => 1
586     );
587     if ( $error and not ref($error) ) {
588       $dbh->rollback if $oldAutoCommit;
589       return "Error moving pkgnum ".$cust_pkg->pkgnum.": $error";
590     }
591   }
592
593   $error = $old->disable_if_unused;
594   if ( $error ) {
595     $dbh->rollback if $oldAutoCommit;
596     return "Error disabling old location: $error";
597   }
598
599   $dbh->commit if $oldAutoCommit;
600   '';
601 }
602
603 =item alternize
604
605 Attempts to parse data for location_type and location_number from address1
606 and address2.
607
608 =cut
609
610 sub alternize {
611   my $self = shift;
612
613   return '' if $self->get('location_type')
614             || $self->get('location_number');
615
616   my %parse;
617   if ( 1 ) { #ikano, switch on via config
618     { no warnings 'void';
619       eval { 'use FS::part_export::ikano;' };
620       die $@ if $@;
621     }
622     %parse = FS::part_export::ikano->location_types_parse;
623   } else {
624     %parse = (); #?
625   }
626
627   foreach my $from ('address1', 'address2') {
628     foreach my $parse ( keys %parse ) {
629       my $value = $self->get($from);
630       if ( $value =~ s/(^|\W+)$parse\W+(\w+)\W*$//i ) {
631         $self->set('location_type', $parse{$parse});
632         $self->set('location_number', $2);
633         $self->set($from, $value);
634         return '';
635       }
636     }
637   }
638
639   #nothing matched, no changes
640   $self->get('address2')
641     ? "Can't parse unit type and number from address2"
642     : '';
643 }
644
645 =item dealternize
646
647 Moves data from location_type and location_number to the end of address1.
648
649 =cut
650
651 sub dealternize {
652   my $self = shift;
653
654   #false laziness w/geocode_Mixin.pm::line
655   my $lt = $self->get('location_type');
656   if ( $lt ) {
657
658     my %location_type;
659     if ( 1 ) { #ikano, switch on via config
660       { no warnings 'void';
661         eval { 'use FS::part_export::ikano;' };
662         die $@ if $@;
663       }
664       %location_type = FS::part_export::ikano->location_types;
665     } else {
666       %location_type = (); #?
667     }
668
669     $self->address1( $self->address1. ' '. $location_type{$lt} || $lt );
670     $self->location_type('');
671   }
672
673   if ( length($self->location_number) ) {
674     $self->address1( $self->address1. ' '. $self->location_number );
675     $self->location_number('');
676   }
677  
678   '';
679 }
680
681 =item location_label
682
683 Returns the label of the location object.
684
685 Options:
686
687 =over 4
688
689 =item cust_main
690
691 Customer object (see L<FS::cust_main>)
692
693 =item prospect_main
694
695 Prospect object (see L<FS::prospect_main>)
696
697 =item join_string
698
699 String used to join location elements
700
701 =item no_prefix
702
703 Don't label the default service location as "Default service location".
704 May become the default at some point.
705
706 =back
707
708 =cut
709
710 sub location_label {
711   my( $self, %opt ) = @_;
712
713   my $prefix = $self->label_prefix(%opt);
714   $prefix .= ($opt{join_string} ||  ': ') if $prefix;
715   $prefix = '' if $opt{'no_prefix'};
716
717   $prefix . $self->SUPER::location_label(%opt);
718 }
719
720 =item label_prefix
721
722 Returns the optional site ID string (based on the cust_location-label_prefix
723 config option), "Default service location", or the empty string.
724
725 Options:
726
727 =over 4
728
729 =item cust_main
730
731 Customer object (see L<FS::cust_main>)
732
733 =item prospect_main
734
735 Prospect object (see L<FS::prospect_main>)
736
737 =back
738
739 =cut
740
741 sub label_prefix {
742   my( $self, %opt ) = @_;
743
744   my $cust_or_prospect = $opt{cust_main} || $opt{prospect_main};
745   unless ( $cust_or_prospect ) {
746     if ( $self->custnum ) {
747       $cust_or_prospect = FS::cust_main->by_key($self->custnum);
748     } elsif ( $self->prospectnum ) {
749       $cust_or_prospect = FS::prospect_main->by_key($self->prospectnum);
750     }
751   }
752
753   my $prefix = '';
754   if ( $label_prefix eq 'CoStAg' ) {
755     my $agent = $conf->config('cust_main-custnum-display_prefix',
756                   $cust_or_prospect->agentnum)
757                 || $cust_or_prospect->agent->agent;
758     # else this location is invalid
759     $prefix = uc( join('',
760         $self->country,
761         ($self->state =~ /^(..)/),
762         ($agent =~ /^(..)/),
763         sprintf('%05d', $self->locationnum)
764     ) );
765
766   } elsif ( $label_prefix eq '_location' && $self->locationname ) {
767     $prefix = $self->locationname;
768
769   #} elsif (    ( $opt{'cust_main'} || $self->custnum )
770   #        && $self->locationnum == $cust_or_prospect->ship_locationnum ) {
771   #  $prefix = 'Default service location';
772   #}
773   } else {
774     $prefix = '';
775   }
776
777   $prefix;
778 }
779
780 =item county_state_country
781
782 Returns a string consisting of just the county, state and country.
783
784 =cut
785
786 sub county_state_country {
787   my $self = shift;
788   my $label = $self->country;
789   $label = $self->state.", $label" if $self->state;
790   $label = $self->county." County, $label" if $self->county;
791   $label;
792 }
793
794 =back
795
796 =head2 SUBROUTINES
797
798 =over 4
799
800 =item process_censustract_update LOCATIONNUM
801
802 Queueable function to update the census tract to the current year (as set in 
803 the 'census_year' configuration variable) and retrieve the new tract code.
804
805 =cut
806
807 sub process_censustract_update {
808   eval "use FS::GeocodeCache";
809   die $@ if $@;
810   my $locationnum = shift;
811   my $cust_location = 
812     qsearchs( 'cust_location', { locationnum => $locationnum })
813       or die "locationnum '$locationnum' not found!\n";
814
815   my $new_year = $conf->config('census_year') or return;
816   my $loc = FS::GeocodeCache->new( $cust_location->location_hash );
817   $loc->set_censustract;
818   my $error = $loc->get('censustract_error');
819   die $error if $error;
820   $cust_location->set('censustract', $loc->get('censustract'));
821   $cust_location->set('censusyear',  $new_year);
822   $error = $cust_location->replace;
823   die $error if $error;
824   return;
825 }
826
827 =item process_set_coord
828
829 Queueable function to find and fill in coordinates for all locations that 
830 lack them.  Because this uses the Google Maps API, it's internally rate
831 limited and must run in a single process.
832
833 =cut
834
835 sub process_set_coord {
836   my $job = shift;
837   # avoid starting multiple instances of this job
838   my @others = qsearch('queue', {
839       'status'  => 'locked',
840       'job'     => $job->job,
841       'jobnum'  => {op=>'!=', value=>$job->jobnum},
842   });
843   return if @others;
844
845   $job->update_statustext('finding locations to update');
846   my @missing_coords = qsearch('cust_location', {
847       'disabled'  => '',
848       'latitude'  => '',
849       'longitude' => '',
850   });
851   my $i = 0;
852   my $n = scalar @missing_coords;
853   for my $cust_location (@missing_coords) {
854     $cust_location->set_coord;
855     my $error = $cust_location->replace;
856     if ( $error ) {
857       warn "error geocoding location#".$cust_location->locationnum.": $error\n";
858     } else {
859       $i++;
860       $job->update_statustext("updated $i / $n locations");
861       dbh->commit; # so that we don't have to wait for the whole thing to finish
862       # Rate-limit to stay under the Google Maps usage limit (2500/day).
863       # 86,400 / 35 = 2,468 lookups per day.
864     }
865     sleep 35;
866   }
867   if ( $i < $n ) {
868     die "failed to update ".$n-$i." locations\n";
869   }
870   return;
871 }
872
873 =item process_standardize [ LOCATIONNUMS ]
874
875 Performs address standardization on locations with unclean addresses,
876 using whatever method you have configured.  If the standardize_* method 
877 returns a I<clean> address match, the location will be updated.  This is 
878 always an in-place update (because the physical location is the same, 
879 and is just being referred to by a more accurate name).
880
881 Disabled locations will be skipped, as nobody cares.
882
883 If any LOCATIONNUMS are provided, only those locations will be updated.
884
885 =cut
886
887 sub process_standardize {
888   my $job = shift;
889   my @others = qsearch('queue', {
890       'status'  => 'locked',
891       'job'     => $job->job,
892       'jobnum'  => {op=>'!=', value=>$job->jobnum},
893   });
894   return if @others;
895   my @locationnums = grep /^\d+$/, @_;
896   my $where = "AND locationnum IN(".join(',',@locationnums).")"
897     if scalar(@locationnums);
898   my @locations = qsearch({
899       table     => 'cust_location',
900       hashref   => { addr_clean => '', disabled => '' },
901       extra_sql => $where,
902   });
903   my $n_todo = scalar(@locations);
904   my $n_done = 0;
905
906   # special: log this
907   my $log;
908   eval "use Text::CSV";
909   open $log, '>', "$FS::UID::cache_dir/process_standardize-" . 
910                   time2str('%Y%m%d',time) .
911                   ".csv";
912   my $csv = Text::CSV->new({binary => 1, eol => "\n"});
913
914   foreach my $cust_location (@locations) {
915     $job->update_statustext( int(100 * $n_done/$n_todo) . ",$n_done / $n_todo locations" ) if $job;
916     my $result = FS::GeocodeCache->standardize($cust_location);
917     if ( $result->{addr_clean} and !$result->{error} ) {
918       my @cols = ($cust_location->locationnum);
919       foreach (keys %$result) {
920         push @cols, $cust_location->get($_), $result->{$_};
921         $cust_location->set($_, $result->{$_});
922       }
923       # bypass immutable field restrictions
924       my $error = $cust_location->FS::Record::replace;
925       warn "location ".$cust_location->locationnum.": $error\n" if $error;
926       $csv->print($log, \@cols);
927     }
928     $n_done++;
929     dbh->commit; # so that we can resume if interrupted
930   }
931   close $log;
932 }
933
934 sub _upgrade_data {
935   my $class = shift;
936
937   # are we going to need to update tax districts?
938   my $use_districts = $conf->config('tax_district_method') ? 1 : 0;
939
940   # trim whitespace on records that need it
941   local $allow_location_edit = 1;
942   foreach my $field (@essential) {
943     next if $field eq 'custnum';
944     next if $field eq 'disabled';
945     foreach my $location (qsearch({
946       table => 'cust_location',
947       extra_sql => " WHERE disabled IS NULL AND ($field LIKE ' %' OR $field LIKE '% ')"
948     })) {
949       my $error = $location->replace;
950       die "$error (fixing whitespace in $field, locationnum ".$location->locationnum.')'
951         if $error;
952
953       if (
954         $use_districts
955         && !$location->district
956         && lc $location->state eq 'wa'
957       ) {
958         my $queue = new FS::queue {
959           'job' => 'FS::geocode_Mixin::process_district_update'
960         };
961         $error = $queue->insert( 'FS::cust_location' => $location->locationnum );
962         die $error if $error;
963       }
964     } # foreach $location
965   } # foreach $field
966   '';
967 }
968
969 =head1 BUGS
970
971 =head1 SEE ALSO
972
973 L<FS::cust_main_county>, L<FS::cust_pkg>, L<FS::Record>,
974 schema.html from the base documentation.
975
976 =cut
977
978 1;
979