fix "improved" float searching problems, RT#4878
[freeside.git] / FS / FS / Record.pm
index f0b2efe..cb09180 100644 (file)
@@ -2,7 +2,7 @@ package FS::Record;
 
 use strict;
 use vars qw( $AUTOLOAD @ISA @EXPORT_OK $DEBUG
-             $conf $me
+             $conf $conf_encryption $me
              %virtual_fields_cache
              $nowarn_identical $no_update_diff $no_check_foreign
            );
@@ -44,10 +44,13 @@ my $rsa_loaded;
 my $rsa_encrypt;
 my $rsa_decrypt;
 
+$conf = '';
+$conf_encryption = '';
 FS::UID->install_callback( sub {
   eval "use FS::Conf;";
   die $@ if $@;
   $conf = FS::Conf->new; 
+  $conf_encryption = $conf->exists('encryption');
   $File::CounterFile::DEFAULT_DIR = $conf->base_dir . "/counters.". datasrc;
 } );
 
@@ -245,6 +248,16 @@ fine in the common case where there are only two parameters:
 
 my %TYPE = (); #for debugging
 
+sub _is_fs_float {
+  my ($type, $value) = @_;
+  if ( ( $type =~ /(numeric)/i && $value =~ /^[+-]?\d+(\.\d+)?$/ ) ||
+       ( $type =~ /(real|float4)/i && $value =~ /[-+]?\d*\.?\d+([eE][-+]?\d+)?/)
+     ) {
+    return 1;
+  }
+  '';
+}
+
 sub qsearch {
   my($stable, $record, $select, $extra_sql, $order_by, $cache, $addl_from );
   my $debug = '';
@@ -307,6 +320,7 @@ sub qsearch {
   ) {
 
     my $value = $record->{$field};
+    my $op = (ref($value) && $value->{op}) ? $value->{op} : '=';
     $value = $value->{'value'} if ref($value);
     my $type = dbdef->table($table)->column($field)->type;
 
@@ -315,11 +329,9 @@ sub qsearch {
       $TYPE = SQL_INTEGER;
 
     #DBD::Pg 1.49: Cannot bind ... unknown sql_type 6 with SQL_FLOAT
-    } elsif (    ( $type =~ /(numeric)/i     && $value =~ /^[+-]?\d+(\.\d+)?$/)
-              || ( $type =~ /(real|float4)/i
-                     && $value =~ /[-+]?\d*\.?\d+([eE][-+]?\d+)?/
-                 )
-            ) {
+    #fixed by DBD::Pg 2.11.8
+    #can change back to SQL_FLOAT in early-mid 2010, once everyone's upgraded
+    } elsif ( _is_fs_float( $type, $value ) ) {
       $TYPE = SQL_DECIMAL;
     }
 
@@ -330,7 +342,16 @@ sub qsearch {
       warn "  bind_param $bind (for field $field), $value, TYPE $TYPE{$TYPE}\n";
     }
 
-    $sth->bind_param($bind++, $value, { TYPE => $TYPE } );
+    #if this needs to be re-enabled, it needs to use a custom op like
+    #"APPROX=" or something (better name?, not '=', to avoid affecting other
+    # searches
+    #if ($TYPE eq SQL_DECIMAL && $op eq 'APPROX=' ) {
+    #  # these values are arbitrary; better (faster?) ones welcome
+    #  $sth->bind_param($bind++, $value*1.00001, { TYPE => $TYPE } );
+    #  $sth->bind_param($bind++, $value*.99999, { TYPE => $TYPE } );
+    #} else {
+      $sth->bind_param($bind++, $value, { TYPE => $TYPE } );
+    #}
 
   }
 
@@ -403,10 +424,8 @@ sub qsearch {
 
     # Check for encrypted fields and decrypt them.
    ## only in the local copy, not the cached object
-    if ( $conf && $conf->exists('encryption') # $conf doesn't exist when doing
-                                              # the initial search for
-                                              # access_user
-         && eval 'defined(@FS::'. $table . '::encrypted_fields)') {
+    if ( $conf_encryption 
+         && eval 'defined(@FS::'. $table . '::encrypted_fields)' ) {
       foreach my $record (@return) {
         foreach my $field (eval '@FS::'. $table . '::encrypted_fields') {
           # Set it directly... This may cause a problem in the future...
@@ -480,6 +499,9 @@ sub get_real_fields {
 
       my $op = '=';
       my $column = $_;
+      my $type = dbdef->table($table)->column($column)->type;
+      my $value = $record->{$column};
+      $value = $value->{'value'} if ref($value);
       if ( ref($record->{$_}) ) {
         $op = $record->{$_}{'op'} if $record->{$_}{'op'};
         #$op = 'LIKE' if $op =~ /^ILIKE$/i && driver_name ne 'Pg';
@@ -494,8 +516,7 @@ sub get_real_fields {
       if ( ! defined( $record->{$_} ) || $record->{$_} eq '' ) {
         if ( $op eq '=' ) {
           if ( driver_name eq 'Pg' ) {
-            my $type = dbdef->table($table)->column($column)->type;
-            if ( $type =~ /(int|(big)?serial)/i ) {
+            if ( $type =~ /(int|numeric|real|float4|(big)?serial)/i ) {
               qq-( $column IS NULL )-;
             } else {
               qq-( $column IS NULL OR $column = '' )-;
@@ -505,8 +526,7 @@ sub get_real_fields {
           }
         } elsif ( $op eq '!=' ) {
           if ( driver_name eq 'Pg' ) {
-            my $type = dbdef->table($table)->column($column)->type;
-            if ( $type =~ /(int|(big)?serial)/i ) {
+            if ( $type =~ /(int|numeric|real|float4|(big)?serial)/i ) {
               qq-( $column IS NOT NULL )-;
             } else {
               qq-( $column IS NOT NULL AND $column != '' )-;
@@ -521,6 +541,11 @@ sub get_real_fields {
             qq-( $column $op "" )-;
           }
         }
+      #if this needs to be re-enabled, it needs to use a custom op like
+      #"APPROX=" or something (better name?, not '=', to avoid affecting other
+      # searches
+      #} elsif ( $op eq 'APPROX=' && _is_fs_float( $type, $value ) ) {
+      #  ( "$column <= ?", "$column >= ?" );
       } else {
         "$column $op ?";
       }
@@ -1365,14 +1390,16 @@ Formats hashref.  Keys are field names, values are listrefs that define the
 format.
 
 Each listref value can be a column name or a code reference.  Coderefs are run
-with the row object and data as the two parameters.  For example, this coderef
-does the same thing as using the "columnname" string:
+with the row object, data and a FS::Conf object as the three parameters.
+For example, this coderef does the same thing as using the "columnname" string:
 
   sub {
-    my( $record, $data ) = @_;
+    my( $record, $data, $conf ) = @_;
     $record->columnname( $data );
   },
 
+Coderefs are run after all "column name" fields are assigned.
+
 =item format_types
 
 Optional format hashref of types.  Keys are field names, values are "csv",
@@ -1431,47 +1458,23 @@ sub process_batch_import {
   my $dir = '%%%FREESIDE_CACHE%%%/cache.'. $FS::UID::datasrc. '/';
   my $file = $dir. $files{'file'};
 
-  my $type = $opt->{'format_types'}
-             ? $opt->{'format_types'}{ $param->{'format'} }
-             : '';
-
-  unless ( $type ) {
-    if ( $file =~ /\.(\w+)$/i ) {
-      $type = lc($1);
-    } else {
-      #or error out???
-      warn "can't parse file type from filename $file; defaulting to CSV";
-      $type = 'csv';
-    }
-    $type = 'csv'
-      if $opt->{'default_csv'} && $type ne 'xls';
-  }
-
-  my $header = $opt->{'format_headers'}
-                 ? $opt->{'format_headers'}{ $param->{'format'} }
-                 : 0;
-
-  my $sep_char = $opt->{'format_sep_chars'}
-                   ? $opt->{'format_sep_chars'}{ $param->{'format'} }
-                   : ',';
-
-  my $fixedlength_format =
-    $opt->{'format_fixedlength_formats'}
-      ? $opt->{'format_fixedlength_formats'}{ $param->{'format'} }
-      : '';
-
   my $error =
     FS::Record::batch_import( {
-      table              => $table,
-      formats            => \%formats,
-      job                => $job,
-      file               => $file,
-      type               => $type,
-      format             => $param->{format},
-      header             => $header,
-      sep_char           => $sep_char,
-      fixedlength_format => $fixedlength_format,
-      params             => { map { $_ => $param->{$_} } @pass_params },
+      #class-static
+      table                      => $table,
+      formats                    => \%formats,
+      format_types               => $opt->{format_types},
+      format_headers             => $opt->{format_headers},
+      format_sep_chars           => $opt->{format_sep_chars},
+      format_fixedlength_formats => $opt->{format_fixedlength_formats},
+      #per-import
+      job                        => $job,
+      file                       => $file,
+      #type                       => $type,
+      format                     => $param->{format},
+      params                     => { map { $_ => $param->{$_} } @pass_params },
+      #?
+      default_csv                => $opt->{default_csv},
     } );
 
   unlink $file;
@@ -1489,13 +1492,21 @@ Class method for batch imports.  Available params:
 
 =item formats
 
+=item format_types
+
+=item format_headers
+
+=item format_sep_chars
+
+=item format_fixedlength_formats
+
 =item params
 
 =item job
 
 FS::queue object, will be updated with progress
 
-=item filename
+=item file
 
 =item type
 
@@ -1503,12 +1514,6 @@ csv, xls or fixedlength
 
 =item format
 
-=item header
-
-=item sep_char
-
-=item fixedlength_format
-
 =item empty_ok
 
 =back
@@ -1521,19 +1526,46 @@ sub batch_import {
   warn "$me batch_import call with params: \n". Dumper($param)
     if $DEBUG;
 
-  my $table     = $param->{table};
-  my $formats   = $param->{formats};
-  my $params    = $param->{params};
+  my $table   = $param->{table};
+  my $formats = $param->{formats};
 
-  my $job       = $param->{job};
+  my $job     = $param->{job};
+  my $file    = $param->{file};
+  my $format  = $param->{'format'};
+  my $params  = $param->{params} || {};
 
-  my $filename  = $param->{file};
-  my $type      = $param->{type} || 'csv';
+  die "unknown format $format" unless exists $formats->{ $format };
 
-  my $format = $param->{'format'};
+  my $type = $param->{'format_types'}
+             ? $param->{'format_types'}{ $format }
+             : $param->{type} || 'csv';
 
-  die "unknown format $format" unless exists $formats->{ $format };
-  my @fields    = @{ $formats->{ $format } };
+  unless ( $type ) {
+    if ( $file =~ /\.(\w+)$/i ) {
+      $type = lc($1);
+    } else {
+      #or error out???
+      warn "can't parse file type from filename $file; defaulting to CSV";
+      $type = 'csv';
+    }
+    $type = 'csv'
+      if $param->{'default_csv'} && $type ne 'xls';
+  }
+
+  my $header = $param->{'format_headers'}
+                 ? $param->{'format_headers'}{ $param->{'format'} }
+                 : 0;
+
+  my $sep_char = $param->{'format_sep_chars'}
+                   ? $param->{'format_sep_chars'}{ $param->{'format'} }
+                   : ',';
+
+  my $fixedlength_format =
+    $param->{'format_fixedlength_formats'}
+      ? $param->{'format_fixedlength_formats'}{ $param->{'format'} }
+      : '';
+
+  my @fields = @{ $formats->{ $format } };
 
   my $row = 0;
   my $count;
@@ -1544,24 +1576,21 @@ sub batch_import {
     if ( $type eq 'csv' ) {
 
       my %attr = ();
-      foreach ( grep exists($param->{$_}), qw( sep_char ) ) {
-        $attr{$_} = $param->{$_};
-      }
-
+      $attr{sep_char} = $sep_char if $sep_char;
       $parser = new Text::CSV_XS \%attr;
 
     } elsif ( $type eq 'fixedlength' ) {
 
       eval "use Parse::FixedLength;";
       die $@ if $@;
-      $parser = new Parse::FixedLength $param->{'fixedlength_format'};
+      $parser = new Parse::FixedLength $fixedlength_format;
  
     } else {
       die "Unknown file type $type\n";
     }
 
-    @buffer = split(/\r?\n/, slurp($filename) );
-    splice(@buffer, 0, ($param->{'header'} || 0) );
+    @buffer = split(/\r?\n/, slurp($file) );
+    splice(@buffer, 0, ($header || 0) );
     $count = scalar(@buffer);
 
   } elsif ( $type eq 'xls' ) {
@@ -1574,14 +1603,14 @@ sub batch_import {
     # formats bill_west and troop use it, not other excel-parsing things
     #die $@ if $@;
 
-    my $excel = Spreadsheet::ParseExcel::Workbook->new->Parse($filename);
+    my $excel = Spreadsheet::ParseExcel::Workbook->new->Parse($file);
 
     $parser = $excel->{Worksheet}[0]; #first sheet
 
     $count = $parser->{MaxRow} || $parser->{MinRow};
     $count++;
 
-    $row = $param->{'header'} || 0;
+    $row = $header || 0;
 
   } else {
     die "Unknown file type $type\n";
@@ -1647,6 +1676,7 @@ sub batch_import {
         #&{$field}(\%hash, $value);
         push @later, $field, $value;
       } else {
+        #??? $hash{$field} = $value if length($value);
         $hash{$field} = $value if defined($value) && length($value);
       }
 
@@ -1659,7 +1689,7 @@ sub batch_import {
     while ( scalar(@later) ) {
       my $sub = shift @later;
       my $data = shift @later;
-      &{$sub}($record, $data);  # $record->&{$sub}($data); 
+      &{$sub}($record, $data, $conf);  # $record->&{$sub}($data, $conf); 
     }
 
     my $error = $record->insert;
@@ -2321,15 +2351,18 @@ sub ut_foreign_keyn {
     : '';
 }
 
-=item ut_agentnum_acl
+=item ut_agentnum_acl COLUMN [ NULL_RIGHT | NULL_RIGHT_LISTREF ]
 
 Checks this column as an agentnum, taking into account the current users's
-ACLs.
+ACLs.  NULL_RIGHT or NULL_RIGHT_LISTREF, if specified, indicates the access
+right or rights allowing no agentnum.
 
 =cut
 
 sub ut_agentnum_acl {
-  my( $self, $field, $null_acl ) = @_;
+  my( $self, $field ) = (shift, shift);
+  my $null_acl = scalar(@_) ? shift : [];
+  $null_acl = [ $null_acl ] unless ref($null_acl);
 
   my $error = $self->ut_foreign_keyn($field, 'agent', 'agentnum');
   return "Illegal agentnum: $error" if $error;
@@ -2344,7 +2377,7 @@ sub ut_agentnum_acl {
   } else {
 
     return "Access denied"
-      unless $curuser->access_right($null_acl);
+      unless grep $curuser->access_right($_), @$null_acl;
 
   }