RT# 80488 Validation on cust_location.district values
[freeside.git] / FS / FS / cust_location.pm
1 package FS::cust_location;
2 use base qw( FS::geocode_Mixin FS::Record );
3
4 use strict;
5 use vars qw( $import $DEBUG $conf $label_prefix $allow_location_edit );
6 use Data::Dumper;
7 use Date::Format qw( time2str );
8 use FS::UID qw( dbh driver_name );
9 use FS::Record qw( qsearch qsearchs );
10 use FS::Conf;
11 use FS::prospect_main;
12 use FS::cust_main;
13 use FS::cust_main_county;
14 use FS::part_export;
15 use FS::GeocodeCache;
16
17 # Essential fields. Can't be modified in place, will be considered in
18 # deciding if a location is "new", and (because of that) can't have
19 # leading/trailing whitespace.
20 my @essential = (qw(custnum address1 address2 city county state zip country
21   location_number location_type location_kind disabled));
22
23 $import = 0;
24
25 $DEBUG = 0;
26
27 FS::UID->install_callback( sub {
28   $conf = FS::Conf->new;
29   $label_prefix = $conf->config('cust_location-label_prefix') || '';
30 });
31
32 =head1 NAME
33
34 FS::cust_location - Object methods for cust_location records
35
36 =head1 SYNOPSIS
37
38   use FS::cust_location;
39
40   $record = new FS::cust_location \%hash;
41   $record = new FS::cust_location { 'column' => 'value' };
42
43   $error = $record->insert;
44
45   $error = $new_record->replace($old_record);
46
47   $error = $record->delete;
48
49   $error = $record->check;
50
51 =head1 DESCRIPTION
52
53 An FS::cust_location object represents a customer (or prospect) location.
54 FS::cust_location inherits from FS::Record.  The following fields are currently
55 supported:
56
57 =over 4
58
59 =item locationnum
60
61 primary key
62
63 =item custnum
64
65 Customer (see L<FS::cust_main>).
66
67 =item prospectnum
68
69 Prospect (see L<FS::prospect_main>).
70
71 =item locationname
72
73 Optional location name.
74
75 =item address1
76
77 Address line one (required)
78
79 =item address2
80
81 Address line two (optional)
82
83 =item city
84
85 City (if cust_main-no_city_in_address config is set when inserting, this will be forced blank)
86
87 =item county
88
89 County (optional, see L<FS::cust_main_county>)
90
91 =item state
92
93 State (see L<FS::cust_main_county>)
94
95 =item zip
96
97 Zip
98
99 =item country
100
101 Country (see L<FS::cust_main_county>)
102
103 =item geocode
104
105 Geocode
106
107 =item latitude
108
109 =item longitude
110
111 =item coord_auto
112
113 Flag indicating whether coordinates were obtained automatically or manually
114 entered
115
116 =item addr_clean
117
118 Flag indicating whether address has been normalized
119
120 =item censustract
121
122 =item censusyear
123
124 =item district
125
126 Tax district code (optional)
127
128 =item incorporated
129
130 Incorporated city flag: set to 'Y' if the address is in the legal borders 
131 of an incorporated city.
132
133 =item disabled
134
135 Disabled flag; set to 'Y' to disable the location.
136
137 =back
138
139 =head1 METHODS
140
141 =over 4
142
143 =item new HASHREF
144
145 Creates a new location.  To add the location to the database, see L<"insert">.
146
147 Note that this stores the hash reference, not a distinct copy of the hash it
148 points to.  You can ask the object for a copy with the I<hash> method.
149
150 =cut
151
152 sub table { 'cust_location'; }
153
154 =item find_or_insert
155
156 Finds an existing location matching the customer and address values in this
157 location, if one exists, and sets the contents of this location equal to that
158 one (including its locationnum).
159
160 If an existing location is not found, this one I<will> be inserted.  (This is a
161 change from the "new_or_existing" method that this replaces.)
162
163 The following fields are considered "essential" and I<must> match: custnum,
164 address1, address2, city, county, state, zip, country, location_number,
165 location_type, location_kind.  Disabled locations will be found only if this
166 location is set to disabled.
167
168 All other fields are considered "non-essential" and will be ignored in 
169 finding a matching location.  If the existing location doesn't match 
170 in these fields, it will be updated in-place to match.
171
172 Returns an error string if inserting or updating a location failed.
173
174 It is unfortunately hard to determine if this created a new location or not.
175
176 =cut
177
178 sub find_or_insert {
179   my $self = shift;
180
181   warn "find_or_insert:\n".Dumper($self) if $DEBUG;
182
183   if ($conf->exists('cust_main-no_city_in_address')) {
184     warn "Warning: passed city to find_or_insert when cust_main-no_city_in_address is configured, ignoring it"
185       if $self->get('city');
186     $self->set('city','');
187   }
188
189   # I don't think this is necessary
190   #if ( !$self->coord_auto and $self->latitude and $self->longitude ) {
191   #  push @essential, qw(latitude longitude);
192   #  # but NOT coord_auto; if the latitude and longitude match the geocoded
193   #  # values then that's good enough
194   #}
195
196   # put nonempty, nonessential fields/values into this hash
197   my %nonempty = map { $_ => $self->get($_) }
198                  grep {$self->get($_)} $self->fields;
199   delete @nonempty{@essential};
200   delete $nonempty{'locationnum'};
201
202   my %hash = map { $_ => $self->get($_) } @essential;
203   foreach (values %hash) {
204     s/^\s+//;
205     s/\s+$//;
206   }
207   my @matches = qsearch('cust_location', \%hash);
208
209   # we no longer reject matches for having different values in nonessential
210   # fields; we just alter the record to match
211   if ( @matches ) {
212     my $old = $matches[0];
213     warn "found existing location #".$old->locationnum."\n" if $DEBUG;
214     foreach my $field (keys %nonempty) {
215       if ($old->get($field) ne $nonempty{$field}) {
216         warn "altering $field to match requested location" if $DEBUG;
217         $old->set($field, $nonempty{$field});
218       }
219     } # foreach $field
220
221     if ( $old->modified ) {
222       warn "updating non-essential fields\n" if $DEBUG;
223       my $error = $old->replace;
224       return $error if $error;
225     }
226     # set $self equal to $old
227     foreach ($self->fields) {
228       $self->set($_, $old->get($_));
229     }
230     return "";
231   }
232
233   # didn't find a match
234   warn "not found; inserting new location\n" if $DEBUG;
235   return $self->insert;
236 }
237
238 =item insert
239
240 Adds this record to the database.  If there is an error, returns the error,
241 otherwise returns false.
242
243 =cut
244
245 sub insert {
246   my $self = shift;
247
248   if ($conf->exists('cust_main-no_city_in_address')) {
249     warn "Warning: passed city to insert when cust_main-no_city_in_address is configured, ignoring it"
250       if $self->get('city');
251     $self->set('city','');
252   }
253
254   if ( $self->censustract ) {
255     $self->set('censusyear' => $conf->config('census_year') || 2012);
256   }
257
258   my $oldAutoCommit = $FS::UID::AutoCommit;
259   local $FS::UID::AutoCommit = 0;
260   my $dbh = dbh;
261
262   my $error = $self->SUPER::insert(@_);
263   if ( $error ) {
264     $dbh->rollback if $oldAutoCommit;
265     return $error;
266   }
267
268   # If using tax_district_method, for rows in state of Washington,
269   # without a tax district already specified, queue a job to find
270   # the tax district
271   if (
272        !$import
273     && !$self->district
274     && lc $self->state eq 'wa'
275     && $conf->config('tax_district_method')
276   ) {
277
278     my $queue = new FS::queue {
279       'job' => 'FS::geocode_Mixin::process_district_update'
280     };
281     $error = $queue->insert( ref($self), $self->locationnum );
282     if ( $error ) {
283       $dbh->rollback if $oldAutoCommit;
284       return $error;
285     }
286
287   }
288
289   # cust_location exports
290   #my $export_args = $options{'export_args'} || [];
291
292   # don't export custnum_pending cases, let follow-up replace handle that
293   if ($self->custnum || $self->prospectnum) {
294     my @part_export =
295       map qsearch( 'part_export', {exportnum=>$_} ),
296         $conf->config('cust_location-exports'); #, $agentnum
297
298     foreach my $part_export ( @part_export ) {
299       my $error = $part_export->export_insert($self); #, @$export_args);
300       if ( $error ) {
301         $dbh->rollback if $oldAutoCommit;
302         return "exporting to ". $part_export->exporttype.
303                " (transaction rolled back): $error";
304       }
305     }
306   }
307
308   $dbh->commit or die $dbh->errstr if $oldAutoCommit;
309   '';
310 }
311
312 =item delete
313
314 Delete this record from the database.
315
316 =item replace OLD_RECORD
317
318 Replaces the OLD_RECORD with this one in the database.  If there is an error,
319 returns the error, otherwise returns false.
320
321 =cut
322
323 sub replace {
324   my $self = shift;
325   my $old = shift;
326   $old ||= $self->replace_old;
327
328   warn "Warning: passed city to replace when cust_main-no_city_in_address is configured"
329     if $conf->exists('cust_main-no_city_in_address') && $self->get('city');
330
331   # the following fields are immutable if this is a customer location. if
332   # it's a prospect location, then there are no active packages, no billing
333   # history, no taxes, and in general no reason to keep the old location
334   # around.
335   if ( !$allow_location_edit and $self->custnum ) {
336     foreach (qw(address1 address2 city state zip country)) {
337       if ( $self->$_ ne $old->$_ ) {
338         return "can't change cust_location field $_";
339       }
340     }
341   }
342
343   my $oldAutoCommit = $FS::UID::AutoCommit;
344   local $FS::UID::AutoCommit = 0;
345   my $dbh = dbh;
346
347   my $error = $self->SUPER::replace($old);
348   if ( $error ) {
349     $dbh->rollback if $oldAutoCommit;
350     return $error;
351   }
352
353   # cust_location exports
354   #my $export_args = $options{'export_args'} || [];
355
356   # don't export custnum_pending cases, let follow-up replace handle that
357   if ($self->custnum || $self->prospectnum) {
358     my @part_export =
359       map qsearch( 'part_export', {exportnum=>$_} ),
360         $conf->config('cust_location-exports'); #, $agentnum
361
362     foreach my $part_export ( @part_export ) {
363       my $error = $part_export->export_replace($self, $old); #, @$export_args);
364       if ( $error ) {
365         $dbh->rollback if $oldAutoCommit;
366         return "exporting to ". $part_export->exporttype.
367                " (transaction rolled back): $error";
368       }
369     }
370   }
371
372   $dbh->commit or die $dbh->errstr if $oldAutoCommit;
373   '';
374 }
375
376
377 =item check
378
379 Checks all fields to make sure this is a valid location.  If there is
380 an error, returns the error, otherwise returns false.  Called by the insert
381 and replace methods.
382
383 =cut
384
385 sub check {
386   my $self = shift;
387
388   return '' if $self->disabled; # so that disabling locations never fails
389
390   # whitespace in essential fields leads to problems figuring out if a
391   # record is "new"; get rid of it.
392   $self->trim_whitespace(@essential);
393
394   my $error = 
395     $self->ut_numbern('locationnum')
396     || $self->ut_foreign_keyn('prospectnum', 'prospect_main', 'prospectnum')
397     || $self->ut_foreign_keyn('custnum', 'cust_main', 'custnum')
398     || $self->ut_textn('locationname')
399     || $self->ut_text('address1')
400     || $self->ut_textn('address2')
401     || ($conf->exists('cust_main-no_city_in_address') 
402         ? $self->ut_textn('city') 
403         : $self->ut_text('city'))
404     || $self->ut_textn('county')
405     || $self->ut_textn('state')
406     || $self->ut_country('country')
407     || (!$import && $self->ut_zip('zip', $self->country))
408     || $self->ut_coordn('latitude')
409     || $self->ut_coordn('longitude')
410     || $self->ut_enum('coord_auto', [ '', 'Y' ])
411     || $self->ut_enum('addr_clean', [ '', 'Y' ])
412     || $self->ut_alphan('location_type')
413     || $self->ut_textn('location_number')
414     || $self->ut_enum('location_kind', [ '', 'R', 'B' ] )
415     || $self->ut_alphan('geocode')
416     || $self->ut_alphan('district')
417     || $self->ut_numbern('censusyear')
418     || $self->ut_flag('incorporated')
419   ;
420   return $error if $error;
421   if ( $self->censustract ne '' ) {
422     $self->censustract =~ /^\s*(\d{9})\.?(\d{2})\s*$/
423       or return "Illegal census tract: ". $self->censustract;
424
425     $self->censustract("$1.$2");
426   }
427
428   #yikes... this is ancient, pre-dates cust_location and will be harder to
429   # implement now... how do we know this location is a service location from
430   # here and not a billing? we can't just check locationnums, we might be new :/
431   return "Unit # is required"
432     if $conf->exists('cust_main-require_address2')
433     && ! $self->address2 =~ /\S/;
434
435   # tricky...we have to allow for the customer to not be inserted yet
436   return "No prospect or customer!" unless $self->prospectnum 
437                                         || $self->custnum
438                                         || $self->get('custnum_pending');
439   return "Prospect and customer!"       if $self->prospectnum && $self->custnum;
440
441   return 'Location kind is required'
442     if $self->prospectnum
443     && $conf->exists('prospect_main-alt_address_format')
444     && ! $self->location_kind;
445
446   # Do not allow bad tax district values in cust_location when
447   # using Washington State district sales tax calculation - would result
448   # in incorrect or missing sales tax on invoices.
449   my $tax_district_method = FS::Conf->new->config('tax_district_method');
450   if (
451     $tax_district_method
452     && $tax_district_method eq 'wa_sales'
453     && $self->district
454   ) {
455     my $cust_main_county = qsearchs(
456       cust_main_county => { district => $self->district }
457     );
458     unless ( ref $cust_main_county ) {
459       return sprintf (
460         'WA State tax district %s does not exist in tax table',
461         $self->district
462       );
463     }
464   }
465
466   unless ( $import or qsearch('cust_main_county', {
467     'country' => $self->country,
468     'state'   => '',
469    } ) ) {
470     return "Unknown state/county/country: ".
471       $self->state. "/". $self->county. "/". $self->country
472       unless qsearch('cust_main_county',{
473         'state'   => $self->state,
474         'county'  => $self->county,
475         'country' => $self->country,
476       } );
477   }
478
479   # set coordinates, unless we already have them
480   if (!$import and !$self->latitude and !$self->longitude) {
481     $self->set_coord;
482   }
483
484   $self->SUPER::check;
485 }
486
487 =item country_full
488
489 Returns this location's full country name
490
491 =cut
492
493 #moved to geocode_Mixin.pm
494
495 =item line
496
497 Synonym for location_label
498
499 =cut
500
501 sub line {
502   my $self = shift;
503   $self->location_label(@_);
504 }
505
506 =item has_ship_address
507
508 Returns false since cust_location objects do not have a separate shipping
509 address.
510
511 =cut
512
513 sub has_ship_address {
514   '';
515 }
516
517 =item location_hash
518
519 Returns a list of key/value pairs, with the following keys: address1, address2,
520 city, county, state, zip, country, geocode, location_type, location_number,
521 location_kind.
522
523 =cut
524
525 =item disable_if_unused
526
527 Sets the "disabled" flag on the location if it is no longer in use as a 
528 prospect location, package location, or a customer's billing or default
529 service address.
530
531 =cut
532
533 sub disable_if_unused {
534
535   my $self = shift;
536   my $locationnum = $self->locationnum;
537   return '' if FS::cust_main->count('bill_locationnum = '.$locationnum.' OR
538                                      ship_locationnum = '.$locationnum)
539             or FS::contact->count(      'locationnum  = '.$locationnum)
540             or FS::cust_pkg->count('cancel IS NULL AND 
541                                          locationnum  = '.$locationnum)
542           ;
543   $self->disabled('Y');
544   $self->replace;
545
546 }
547
548 =item move_to
549
550 Takes a new L<FS::cust_location> object.  Moves all packages that use the 
551 existing location to the new one, then sets the "disabled" flag on the old
552 location.  Returns nothing on success, an error message on error.
553
554 =cut
555
556 sub move_to {
557   my $old = shift;
558   my $new = shift;
559   
560   warn "move_to:\nFROM:".Dumper($old)."\nTO:".Dumper($new) if $DEBUG;
561
562   local $SIG{HUP} = 'IGNORE';
563   local $SIG{INT} = 'IGNORE';
564   local $SIG{QUIT} = 'IGNORE';
565   local $SIG{TERM} = 'IGNORE';
566   local $SIG{TSTP} = 'IGNORE';
567   local $SIG{PIPE} = 'IGNORE';
568
569   my $oldAutoCommit = $FS::UID::AutoCommit;
570   local $FS::UID::AutoCommit = 0;
571   my $dbh = dbh;
572   my $error = '';
573
574   # prevent this from failing because of pkg_svc quantity limits
575   local( $FS::cust_svc::ignore_quantity ) = 1;
576
577   if ( !$new->locationnum ) {
578     $error = $new->insert;
579     if ( $error ) {
580       $dbh->rollback if $oldAutoCommit;
581       return "Error creating location: $error";
582     }
583   } elsif ( $new->locationnum == $old->locationnum ) {
584     # then they're the same location; the normal result of doing a minor
585     # location edit
586     $dbh->commit if $oldAutoCommit;
587     return '';
588   }
589
590   # find all packages that have the old location as their service address,
591   # and aren't canceled,
592   # and aren't supplemental to another package.
593   my @pkgs = qsearch('cust_pkg', { 
594       'locationnum' => $old->locationnum,
595       'cancel'      => '',
596       'main_pkgnum' => '',
597     });
598   foreach my $cust_pkg (@pkgs) {
599     # don't move one-time charges that have already been charged
600     next if $cust_pkg->part_pkg->freq eq '0'
601             and ($cust_pkg->setup || 0) > 0;
602
603     $error = $cust_pkg->change(
604       'locationnum' => $new->locationnum,
605       'keep_dates'  => 1
606     );
607     if ( $error and not ref($error) ) {
608       $dbh->rollback if $oldAutoCommit;
609       return "Error moving pkgnum ".$cust_pkg->pkgnum.": $error";
610     }
611   }
612
613   $error = $old->disable_if_unused;
614   if ( $error ) {
615     $dbh->rollback if $oldAutoCommit;
616     return "Error disabling old location: $error";
617   }
618
619   $dbh->commit if $oldAutoCommit;
620   '';
621 }
622
623 =item alternize
624
625 Attempts to parse data for location_type and location_number from address1
626 and address2.
627
628 =cut
629
630 sub alternize {
631   my $self = shift;
632
633   return '' if $self->get('location_type')
634             || $self->get('location_number');
635
636   my %parse;
637   if ( 1 ) { #ikano, switch on via config
638     { no warnings 'void';
639       eval { 'use FS::part_export::ikano;' };
640       die $@ if $@;
641     }
642     %parse = FS::part_export::ikano->location_types_parse;
643   } else {
644     %parse = (); #?
645   }
646
647   foreach my $from ('address1', 'address2') {
648     foreach my $parse ( keys %parse ) {
649       my $value = $self->get($from);
650       if ( $value =~ s/(^|\W+)$parse\W+(\w+)\W*$//i ) {
651         $self->set('location_type', $parse{$parse});
652         $self->set('location_number', $2);
653         $self->set($from, $value);
654         return '';
655       }
656     }
657   }
658
659   #nothing matched, no changes
660   $self->get('address2')
661     ? "Can't parse unit type and number from address2"
662     : '';
663 }
664
665 =item dealternize
666
667 Moves data from location_type and location_number to the end of address1.
668
669 =cut
670
671 sub dealternize {
672   my $self = shift;
673
674   #false laziness w/geocode_Mixin.pm::line
675   my $lt = $self->get('location_type');
676   if ( $lt ) {
677
678     my %location_type;
679     if ( 1 ) { #ikano, switch on via config
680       { no warnings 'void';
681         eval { 'use FS::part_export::ikano;' };
682         die $@ if $@;
683       }
684       %location_type = FS::part_export::ikano->location_types;
685     } else {
686       %location_type = (); #?
687     }
688
689     $self->address1( $self->address1. ' '. $location_type{$lt} || $lt );
690     $self->location_type('');
691   }
692
693   if ( length($self->location_number) ) {
694     $self->address1( $self->address1. ' '. $self->location_number );
695     $self->location_number('');
696   }
697  
698   '';
699 }
700
701 =item location_label
702
703 Returns the label of the location object.
704
705 Options:
706
707 =over 4
708
709 =item cust_main
710
711 Customer object (see L<FS::cust_main>)
712
713 =item prospect_main
714
715 Prospect object (see L<FS::prospect_main>)
716
717 =item join_string
718
719 String used to join location elements
720
721 =item no_prefix
722
723 Don't label the default service location as "Default service location".
724 May become the default at some point.
725
726 =back
727
728 =cut
729
730 sub location_label {
731   my( $self, %opt ) = @_;
732
733   my $prefix = $self->label_prefix(%opt);
734   $prefix .= ($opt{join_string} ||  ': ') if $prefix;
735   $prefix = '' if $opt{'no_prefix'};
736
737   $prefix . $self->SUPER::location_label(%opt);
738 }
739
740 =item label_prefix
741
742 Returns the optional site ID string (based on the cust_location-label_prefix
743 config option), "Default service location", or the empty string.
744
745 Options:
746
747 =over 4
748
749 =item cust_main
750
751 Customer object (see L<FS::cust_main>)
752
753 =item prospect_main
754
755 Prospect object (see L<FS::prospect_main>)
756
757 =back
758
759 =cut
760
761 sub label_prefix {
762   my( $self, %opt ) = @_;
763
764   my $cust_or_prospect = $opt{cust_main} || $opt{prospect_main};
765   unless ( $cust_or_prospect ) {
766     if ( $self->custnum ) {
767       $cust_or_prospect = FS::cust_main->by_key($self->custnum);
768     } elsif ( $self->prospectnum ) {
769       $cust_or_prospect = FS::prospect_main->by_key($self->prospectnum);
770     }
771   }
772
773   my $prefix = '';
774   if ( $label_prefix eq 'CoStAg' ) {
775     my $agent = $conf->config('cust_main-custnum-display_prefix',
776                   $cust_or_prospect->agentnum)
777                 || $cust_or_prospect->agent->agent;
778     # else this location is invalid
779     $prefix = uc( join('',
780         $self->country,
781         ($self->state =~ /^(..)/),
782         ($agent =~ /^(..)/),
783         sprintf('%05d', $self->locationnum)
784     ) );
785
786   } elsif ( $label_prefix eq '_location' && $self->locationname ) {
787     $prefix = $self->locationname;
788
789   #} elsif (    ( $opt{'cust_main'} || $self->custnum )
790   #        && $self->locationnum == $cust_or_prospect->ship_locationnum ) {
791   #  $prefix = 'Default service location';
792   #}
793   } else {
794     $prefix = '';
795   }
796
797   $prefix;
798 }
799
800 =item county_state_country
801
802 Returns a string consisting of just the county, state and country.
803
804 =cut
805
806 sub county_state_country {
807   my $self = shift;
808   my $label = $self->country;
809   $label = $self->state.", $label" if $self->state;
810   $label = $self->county." County, $label" if $self->county;
811   $label;
812 }
813
814 =back
815
816 =head2 SUBROUTINES
817
818 =over 4
819
820 =item process_censustract_update LOCATIONNUM
821
822 Queueable function to update the census tract to the current year (as set in 
823 the 'census_year' configuration variable) and retrieve the new tract code.
824
825 =cut
826
827 sub process_censustract_update {
828   eval "use FS::GeocodeCache";
829   die $@ if $@;
830   my $locationnum = shift;
831   my $cust_location = 
832     qsearchs( 'cust_location', { locationnum => $locationnum })
833       or die "locationnum '$locationnum' not found!\n";
834
835   my $new_year = $conf->config('census_year') or return;
836   my $loc = FS::GeocodeCache->new( $cust_location->location_hash );
837   $loc->set_censustract;
838   my $error = $loc->get('censustract_error');
839   die $error if $error;
840   $cust_location->set('censustract', $loc->get('censustract'));
841   $cust_location->set('censusyear',  $new_year);
842   $error = $cust_location->replace;
843   die $error if $error;
844   return;
845 }
846
847 =item process_set_coord
848
849 Queueable function to find and fill in coordinates for all locations that 
850 lack them.  Because this uses the Google Maps API, it's internally rate
851 limited and must run in a single process.
852
853 =cut
854
855 sub process_set_coord {
856   my $job = shift;
857   # avoid starting multiple instances of this job
858   my @others = qsearch('queue', {
859       'status'  => 'locked',
860       'job'     => $job->job,
861       'jobnum'  => {op=>'!=', value=>$job->jobnum},
862   });
863   return if @others;
864
865   $job->update_statustext('finding locations to update');
866   my @missing_coords = qsearch('cust_location', {
867       'disabled'  => '',
868       'latitude'  => '',
869       'longitude' => '',
870   });
871   my $i = 0;
872   my $n = scalar @missing_coords;
873   for my $cust_location (@missing_coords) {
874     $cust_location->set_coord;
875     my $error = $cust_location->replace;
876     if ( $error ) {
877       warn "error geocoding location#".$cust_location->locationnum.": $error\n";
878     } else {
879       $i++;
880       $job->update_statustext("updated $i / $n locations");
881       dbh->commit; # so that we don't have to wait for the whole thing to finish
882       # Rate-limit to stay under the Google Maps usage limit (2500/day).
883       # 86,400 / 35 = 2,468 lookups per day.
884     }
885     sleep 35;
886   }
887   if ( $i < $n ) {
888     die "failed to update ".$n-$i." locations\n";
889   }
890   return;
891 }
892
893 =item process_standardize [ LOCATIONNUMS ]
894
895 Performs address standardization on locations with unclean addresses,
896 using whatever method you have configured.  If the standardize_* method 
897 returns a I<clean> address match, the location will be updated.  This is 
898 always an in-place update (because the physical location is the same, 
899 and is just being referred to by a more accurate name).
900
901 Disabled locations will be skipped, as nobody cares.
902
903 If any LOCATIONNUMS are provided, only those locations will be updated.
904
905 =cut
906
907 sub process_standardize {
908   my $job = shift;
909   my @others = qsearch('queue', {
910       'status'  => 'locked',
911       'job'     => $job->job,
912       'jobnum'  => {op=>'!=', value=>$job->jobnum},
913   });
914   return if @others;
915   my @locationnums = grep /^\d+$/, @_;
916   my $where = "AND locationnum IN(".join(',',@locationnums).")"
917     if scalar(@locationnums);
918   my @locations = qsearch({
919       table     => 'cust_location',
920       hashref   => { addr_clean => '', disabled => '' },
921       extra_sql => $where,
922   });
923   my $n_todo = scalar(@locations);
924   my $n_done = 0;
925
926   # special: log this
927   my $log;
928   eval "use Text::CSV";
929   open $log, '>', "$FS::UID::cache_dir/process_standardize-" . 
930                   time2str('%Y%m%d',time) .
931                   ".csv";
932   my $csv = Text::CSV->new({binary => 1, eol => "\n"});
933
934   foreach my $cust_location (@locations) {
935     $job->update_statustext( int(100 * $n_done/$n_todo) . ",$n_done / $n_todo locations" ) if $job;
936     my $result = FS::GeocodeCache->standardize($cust_location);
937     if ( $result->{addr_clean} and !$result->{error} ) {
938       my @cols = ($cust_location->locationnum);
939       foreach (keys %$result) {
940         push @cols, $cust_location->get($_), $result->{$_};
941         $cust_location->set($_, $result->{$_});
942       }
943       # bypass immutable field restrictions
944       my $error = $cust_location->FS::Record::replace;
945       warn "location ".$cust_location->locationnum.": $error\n" if $error;
946       $csv->print($log, \@cols);
947     }
948     $n_done++;
949     dbh->commit; # so that we can resume if interrupted
950   }
951   close $log;
952 }
953
954 sub _upgrade_data {
955   my $class = shift;
956
957   # are we going to need to update tax districts?
958   my $use_districts = $conf->config('tax_district_method') ? 1 : 0;
959
960   # trim whitespace on records that need it
961   local $allow_location_edit = 1;
962   foreach my $field (@essential) {
963     next if $field eq 'custnum';
964     next if $field eq 'disabled';
965     foreach my $location (qsearch({
966       table => 'cust_location',
967       extra_sql => " WHERE disabled IS NULL AND ($field LIKE ' %' OR $field LIKE '% ')"
968     })) {
969       my $error = $location->replace;
970       die "$error (fixing whitespace in $field, locationnum ".$location->locationnum.')'
971         if $error;
972
973       if (
974         $use_districts
975         && !$location->district
976         && lc $location->state eq 'wa'
977       ) {
978         my $queue = new FS::queue {
979           'job' => 'FS::geocode_Mixin::process_district_update'
980         };
981         $error = $queue->insert( 'FS::cust_location' => $location->locationnum );
982         die $error if $error;
983       }
984     } # foreach $location
985   } # foreach $field
986   '';
987 }
988
989 =head1 BUGS
990
991 =head1 SEE ALSO
992
993 L<FS::cust_main_county>, L<FS::cust_pkg>, L<FS::Record>,
994 schema.html from the base documentation.
995
996 =cut
997
998 1;
999