Merge branch 'master' of git.freeside.biz:/home/git/freeside
[freeside.git] / bin / import-did-inventory
1 #!/usr/bin/perl
2
3 use strict;
4 use warnings;
5 use Text::CSV;
6 use FS::UID qw(adminsuidsetup);
7 use FS::cust_main_county;
8 use FS::Record qw(qsearch qsearchs dbh);
9 use DateTime::Format::Natural;
10 use FS::lata;
11 use FS::msa;
12 use FS::cust_main;
13 use FS::cust_main::Search qw(smart_search);
14 use FS::did_order;
15 use FS::did_order_item;
16 use FS::rate_center;
17 use FS::phone_avail;
18 use FS::did_vendor;
19 use FS::svc_phone;
20 use Data::Dumper;
21 use Time::HiRes qw(usleep ualarm gettimeofday tv_interval);
22
23 print "started time=".time."\n";
24
25 #### SET THESE! #################################
26 my $file = '/home/levinse/dids4.csv';
27 my $did_vendor_id = 1; 
28 my $dry = 0; 
29 my $internal_diddb_exportnum = 1; # IMPORTANT: set this to the correct exportnum or everything will go in wrong into phone_avail
30
31 # optionally set this one (probably not)
32 my %custname2num = (); # MyCust => 12345,
33 ################################################
34
35 my $user = shift;
36 adminsuidsetup $user;
37
38 local $SIG{HUP} = 'IGNORE';
39 local $SIG{INT} = 'IGNORE';
40 local $SIG{QUIT} = 'IGNORE';
41 local $SIG{TERM} = 'IGNORE';
42 local $SIG{TSTP} = 'IGNORE';
43 local $SIG{PIPE} = 'IGNORE';
44
45 my $oldAutoCommit = $FS::UID::AutoCommit;
46 local $FS::UID::AutoCommit = 0;
47 my $dbh = dbh;
48 my $max_date = time;
49 my $min_date = 1262304000; # January 1st 2010
50 my %did_order = ();
51 my %rate_center = ();
52 my %rate_center_abbrev = ();
53 my %cust2pkg = ();
54 my %msamap = ( 
55 # YOU CANNOT USE THE STATE/NPA/LATA OF A DID TO TRY TO FIND ITS MSA. IT HAS 
56 # NOTHING IN COMMON WITH THE STATE OF THE MSA. THERE IS SIMPLY INSUFFICIENT
57 # DATA IN THE CSV FILE TO DETERMINE CANONICAL MSA WITHOUT THIS:
58  'Washington DC' => 47900,
59  'Fort Lauderdale' => 33100,
60  'Cambridge' => 14460,
61  'Boise' => 14260,
62  'New York' => 35620,
63  'Aberdeen' => 10100,
64  'Bloomington' => 14020,
65  'Las Vegas' => 29820,
66  'Madison' => 31540,
67  'Miami' => 33100,
68  'Jackson' => 27140,
69  'St Cloud' => 41060,
70  'Stratford' => 14860,
71  
72 # more hax upon hax (the above are unique, no issues)
73  'Portland OR' => 38900, 
74  'Portland ME' => 38860, 
75 );
76 my $skipto = 0; 
77 my $limit = 0;
78 my $linenum = 1;
79 my $debug = 0;
80
81 # cache LATA and MSA tables in one query for performance
82 my @latas = qsearch('lata', {});
83 my %latas = map { $_->latanum => $_->description } @latas;
84
85 my @msas = qsearch('msa', {});
86 my %msas = map { $_->msanum => $_->description } @msas;
87
88 # now add in the brain-dead LATA hacks
89 $latas{636} = 'BRAINERD-FARGO ND';
90 $latas{920} = 'CONNECTICUT';
91 $latas{334} = 'AUBURN-HUNTINGTON IN';
92 $latas{232} = 'NORTHEAST - PA';
93 $latas{460} = 'SOUTHEAST FL GR-EA';
94 $latas{952} = 'TAMPA FLORIDA';
95 $latas{524} = 'KANSAS CITY';
96
97 my $parser = new DateTime::Format::Natural( 'time_zone' => 'local' );
98 sub parsedt {
99     my ($dt,$min,$max) = (shift,shift,shift);
100     $dt = "$dt 00:00:00";
101     my $epoch = $parser->parse_datetime($dt);
102     warn "dt='$dt' min=$min max=$max epoch=$epoch\n";
103     return $epoch->epoch 
104         if ($parser->success && $epoch->epoch >= $min && $epoch->epoch <= $max);
105     fatal("invalid date $dt (min=$min, max=$max)");
106 }
107
108 sub msatest {
109     my ($their,$our) = (shift,shift);
110     my $a = $our;
111     $a =~ s/,.*?$//;
112     return 1 if $a eq $their;
113     return 1 if ($our =~ /^([\w\s]+)-/ && $1 eq $their);
114     0;
115 }
116
117 sub trim {
118     my $str = shift;
119     $str =~ s/^\s+|\s+$//g;
120     $str;
121 }
122
123 sub suffer {
124     my $linenum = shift;
125     my @columns = @_;
126
127     my $did = trim($columns[0]);
128     my $npa = trim($columns[1]);
129     my $state = trim($columns[2]);
130     my $rate_center_abbrev = trim($columns[3]);
131     my $rate_center = trim($columns[4]);
132     my $customer = trim($columns[5]);
133     my $submitted = parsedt(trim($columns[7]),$min_date,$max_date);
134
135     my $ordernum = trim($columns[8]);
136     return if $ordernum eq 'Unknown'; 
137
138     my $confirmed = parsedt(trim($columns[9]),$submitted,$max_date);
139
140     # sometimes, we're in a non-Y2K-compliant bullshit format, differing from
141     # all the other dates. Other times, we randomly change formats multiple times
142     # in the middle of the file for absolutely no reason...wtf
143     my $received = trim($columns[10]); 
144     if ( $received =~ /^(\d{1,2})\/(\d{1,2})\/(\d{2})$/ ) {
145         $received = $2."/".$1."/20".$3;
146     } elsif ( $received !~ /^\d{2}\/\d{2}\/\d{4}$/ ) {
147         fatal("invalid received date $received");
148     }
149     if ( $ordernum == 300383 ) { # another hack due to bad data
150         $received = parsedt($received,1,$max_date) 
151     } else {
152         $received = parsedt($received,$confirmed,$max_date);
153     }
154
155     my $latanum = trim($columns[12]);
156     my $latadesc = trim($columns[13]);
157     my $msadesc = trim($columns[14]);
158
159     fatal("invalid DID and/or NPA or NPA doesn't match DID")
160         unless ($did =~ /^(\d{3})\d{7}$/ && $npa == $1);
161     fatal("invalid state, order #, LATA #, or LATA description")
162         unless ($state =~ /^[A-Z]{2}$/  && ($ordernum =~ /^\d+$/ || $ordernum eq 'Test') # more hacks
163                                         && $latanum =~ /^\d{3}$/ 
164                                         && $latadesc =~ /^[\w\s\-]+$/);
165
166
167     ### LATA ###
168
169     fatal("no lata found for latanum $latanum") unless exists($latas{$latanum});
170
171     # unsurprisingly, our idea of a LATA name doesn't always match their idea 
172     # of the same. Specifically, they randomly expand the state portion and
173     # abbreviate it arbitrarily
174
175     my $ourdesc = $latas{$latanum};
176
177     # strip off the fixed state abbreviation portion in ours
178     $ourdesc =~ s/ ..$//;
179     
180     # strip off the variable state abbreviation (or full name) portion in theirs
181     $latadesc =~ s/\s\w+$// unless uc($ourdesc) eq uc($latadesc); # yeah...long story :(
182
183     fatal("their LATA description '$latadesc' doesn't match our LATA description '$ourdesc'")
184         unless (uc($ourdesc) eq uc($latadesc) || $latanum == 460);
185
186
187     ### MSA ###
188
189     my $msanum = -1;
190     
191     # XXX: no idea what the MSA is for Danbury, so discard it for now and deal with it manually/later
192     $msadesc = '' if $msadesc eq 'Danbury';
193
194     # hax on hax
195     $msadesc = 'Portland OR' if ($msadesc eq 'Portland' && $state eq 'OR');
196     $msadesc = 'Portland ME' if ($msadesc eq 'Portland' && $state eq 'ME');
197
198     # not everything in their file has a MSA
199     if ( $msadesc =~ /^[\w\s]+$/ ) {
200
201         # their idea of a MSA differs from our idea of it
202         if ( exists($msamap{$msadesc}) ) {
203             $msanum = $msamap{$msadesc};
204         }
205         else {
206             my @msa = grep { msatest($msadesc,$_->description) } @msas;
207             fatal("multiple MSA matches for '$msadesc'") if(scalar(@msa) > 1);
208             $msanum = $msa[0]->msanum if scalar(@msa) == 1;
209             $msamap{$msadesc} = $msanum if $msanum != -1;
210         }
211         fatal("msa $msadesc not found") if $msanum == -1;
212         warn "$msadesc matched msanum $msanum for line $linenum\n" if $debug;
213     }
214
215
216     ### RATE CENTER ###
217     
218     if ( exists $rate_center{$rate_center} ) {
219         fatal("rate center abbreviation for '$rate_center' doesn't exist or doesn't match '$rate_center_abbrev'")
220             unless ( exists $rate_center_abbrev{$rate_center} &&
221                       $rate_center_abbrev{$rate_center} eq $rate_center_abbrev);
222     } else {
223         print "creating new rate center '$rate_center' '$rate_center_abbrev'\n";
224         my $rc = new FS::rate_center{ description => $rate_center };
225         my $error = $rc->insert;
226         fatal("can't insert rate center '$rate_center' '$rate_center_abbrev': $error") 
227             if $error;
228         $rate_center{$rate_center} = $rc->ratecenternum;
229         $rate_center_abbrev{$rate_center} = $rate_center_abbrev;
230     }
231     my $ratecenternum = $rate_center{$rate_center};
232    
233
234     my $order = order($ordernum,$submitted,$confirmed,$received,$customer);
235     my $order_item = order_item($order,$npa,$latanum,$state,$msanum,$ratecenternum);
236     my $phone_avail = phone_avail($order,$state,$did,$rate_center,$latanum,$msanum);
237     provision($did,$customer,$phone_avail) if $customer ne 'Stock';
238     
239     warn "Pass $linenum\n" if $debug;
240
241     my $time = time;
242     print "Done $linenum time=$time\n" if ($linenum % 100 == 0);
243 }
244
245 sub phone_avail {
246     my ($order,$state,$did,$rate_center,$latanum,$msanum) 
247                                         = (shift,shift,shift,shift,shift,shift);
248     $did =~ /^(\d{3})(\d{3})(\d{4})$/;
249     my $npa = $1;
250     my $nxx = $2;
251     my $station = $3;
252     my %hash = (
253         exportnum   => $internal_diddb_exportnum,
254         countrycode => '1',
255         state       => $state,
256         npa         => $npa,
257         nxx         => $nxx,
258         station     => $station,
259         name        => $rate_center,
260         rate_center_abbrev => $rate_center_abbrev{$rate_center},
261         ordernum    => $order->ordernum,
262         latanum     => $latanum,
263     );
264     $hash{'msanum'} = $msanum if $msanum != -1;
265     
266     my $pa = new FS::phone_avail{ %hash };
267     my $error = $pa->insert;
268     fatal("can't insert phone_avail: $error") if $error;
269
270     $pa;
271 }
272
273 sub order_item {
274     my($order,$npa,$latanum,$state,$msanum,$ratecenternum) 
275                                         = (shift,shift,shift,shift,shift,shift);
276     my %msa = ();
277     $msa{'msanum'} = $msanum if $msanum != -1;
278     my $oi;
279     my @order_item = $order->did_order_item; 
280     foreach my $order_item ( @order_item ) {
281         if($order_item->npa == $npa 
282             && $order_item->latanum == $latanum 
283             && $order_item->state eq $state 
284             && $order_item->ratecenternum == $ratecenternum
285             && (!$order_item->msanum || $order_item->msanum == $msanum)  ) {
286             fatal("Multiple order items") if $oi;
287             $oi = $order_item;
288         }
289     }
290     
291     if($oi) {
292         $oi->quantity($oi->quantity+1);
293         my $error = $oi->replace;
294         fatal("can't replace order item: $error") if $error;
295     } else {
296         $oi = new FS::did_order_item{ ordernum   => $order->ordernum,
297                                      npa        => $npa,
298                                      latanum    => $latanum,
299                                      state      => $state,
300                                      quantity   => 1,
301                                      ratecenternum => $ratecenternum,
302                                      %msa, };
303         my $error = $oi->insert;
304         fatal("can't insert order item: $error") if $error;
305     }
306
307     fatal("wtf2") unless $oi;
308
309     $oi;
310 }
311
312 sub order {
313     my($vendor_order_id,$submitted,$confirmed,$received,$customer) 
314                                             = (shift,shift,shift,shift,shift);
315     
316     my %cust = ();
317     if ( $customer ne 'Stock' ) {
318         if ( exists($custname2num{$customer}) ) {
319             $cust{'custnum'} = $custname2num{$customer};
320         } else {
321             print "new customer case for '$customer'\n";
322             my @cust_main = smart_search('search' => $customer);
323             fatal(scalar(@cust_main) . " customers found for $customer") 
324                 unless scalar(@cust_main) == 1;
325             my $cust_main = $cust_main[0];
326             
327             $cust{'custnum'} = $cust_main->custnum;
328             $custname2num{$customer} = $cust_main->custnum; 
329             $cust2pkg{$cust_main->custnum} = {};
330             
331             my @pkgs = $cust_main->ncancelled_pkgs;
332             fatal("no packages") unless scalar(@pkgs);
333
334             foreach my $pkg ( @pkgs ) {
335                 my @avail_part_svc = $pkg->available_part_svc;
336                 my @svcpart;
337                 foreach my $avail_part_svc ( @avail_part_svc ) {
338                     if ($avail_part_svc->svcdb eq 'svc_phone') {
339                         push @svcpart, $avail_part_svc->svcpart;
340                     }
341                 }
342                 fatal("multiple svc_phone services") if scalar(@svcpart) > 1;
343                 fatal("multiple packages with svc_phone services") 
344                     if (exists $cust2pkg{$cust_main->custnum}->{pkgnum}
345                             && scalar(@svcpart));
346                 if(scalar(@svcpart) == 1) {
347                     $cust2pkg{$cust_main->custnum}->{pkgnum} = $pkg->pkgnum;
348                     $cust2pkg{$cust_main->custnum}->{svcpart} = $svcpart[0];
349                 }
350             }
351
352             fatal("no pkg/svc") 
353                 unless (exists $cust2pkg{$cust_main->custnum}->{pkgnum}
354                         && exists $cust2pkg{$cust_main->custnum}->{svcpart});
355         }
356     }
357
358     my $o;
359     if( exists $did_order{$vendor_order_id} ) {
360         $o = $did_order{$vendor_order_id};
361 #       warn "$submitted $confirmed $received $vendor_order_id".Dumper($o);
362         fatal("vendor order #$vendor_order_id - order data differs from one item to another")
363             unless ( ( abs($o->submitted-$submitted) < 5
364                         || $o->vendor_order_id == 293011) # yet another bad data hack
365                     && abs($o->confirmed-$confirmed) < 5
366                     && abs($o->received-$received) < 5 
367                    );
368 #        fatal("customer mismatch for vendor order #$vendor_order_id")
369 #           unless (    ($o->custnum && $cust{'custnum'} 
370 #                        && ($o->custnum == $cust{'custnum'} 
371 #                         || $vendor_order_id eq '293745' || $vendor_order_id eq '300001')
372 #                     )
373 #                    ||
374 #                   (!$o->custnum && !exists($cust{'custnum'}))
375 #             );
376     } else {
377         $o = new FS::did_order{ vendornum       => $did_vendor_id,
378                                 vendor_order_id => $vendor_order_id,
379                                 submitted       => $submitted,
380                                 confirmed       => $confirmed,
381                                 received        => $received,
382                                 %cust,          };
383         my $error = $o->insert;
384         fatal("can't insert vendor order #$vendor_order_id: $error") if $error;
385         $did_order{$vendor_order_id} = $o;
386     }
387
388     fatal("wtf") unless $o;
389     $o;
390 }
391
392 sub provision {
393     my($did,$customer,$phone_avail) = (shift,shift,shift);
394
395     local $FS::svc_Common::noexport_hack = 1;
396     # because of the above, we now need to do the internal did db
397     # export's job ourselves (set the svcnum for the DID in phone_avail)
398
399     fatal("customer not found") unless exists $cust2pkg{$custname2num{$customer}};
400
401     my $svc_phone = new FS::svc_phone({
402             pkgnum  => $cust2pkg{$custname2num{$customer}}->{pkgnum},
403             svcpart => $cust2pkg{$custname2num{$customer}}->{svcpart},
404             countrycode => 1,
405             phonenum    => $did,
406         });
407     
408     # XXX: THIS LINE CAUSES PERFORMANCE TO DEGRADE
409     # -unattaching the exports has no effect
410     # -after each successive call, the time taken to complete 100 rows becomes greater
411     # -commenting out this call results in a constant time taken to complete 100 rows
412     my $error = $svc_phone->insert;
413
414     fatal("can't insert svc_phone: $error") if $error;
415
416     $phone_avail->svcnum($svc_phone->svcnum);
417     $error = $phone_avail->replace;
418     fatal("can't replace phone_avail: $error") if $error;
419
420     '';
421 }
422
423 sub fatal {
424     my $msg = shift;
425     $dbh->rollback if $oldAutoCommit;
426     die $msg;
427 }
428
429 my $csv = new Text::CSV;
430 open (CSV, "<", $file) or die $!;
431 print "Starting main loop time=".time."\n";
432 while (<CSV>) {
433     if ( $linenum == 1 ) { # skip header
434         $linenum++;
435         next;
436     }
437
438     if( $skipto > $linenum ) { # debug stuff
439         $linenum++;
440         next;
441     }
442
443     last if $limit > 0 && $limit <= $linenum;
444
445     # kept getting these errors for many lines:
446     # "EIQ - Binary character inside quoted field, binary off"
447     $_ =~ s/[^[:ascii:]]//g;
448
449     if ($csv->parse($_)) {
450         my @columns = $csv->fields();
451         suffer($linenum,@columns);
452     } else {
453         my $err = $csv->error_diag . "(" . $csv->error_input . ")";
454         print "WARNING: failed to parse line $linenum: " . $csv->error_diag
455             . " (" . $csv->error_input . ")\n";
456     }
457     $linenum++;
458 }
459 close CSV;
460
461 fatal("COMMIT ABORTED DUE TO DRY RUN BEING ON") if $dry;
462 $dbh->commit or die $dbh->errstr if $oldAutoCommit;