mysql compatibility for lat/longitude features: specify a precision for decimal field...
[freeside.git] / FS / FS / Schema.pm
index 8d4f5d1..100fbb1 100644 (file)
@@ -102,6 +102,10 @@ sub dbdef_dist {
       my %hash = map { $_ => shift @coldef }
                      qw( name type null length default local );
 
+      #can be removed once we depend on DBIx::DBSchema 0.39;
+      $hash{'type'} = 'LONGTEXT'
+        if $hash{'type'} =~ /^TEXT$/i && $datasrc =~ /^dbi:mysql/i;
+
       unless ( defined $hash{'default'} ) {
         warn "$tablename:\n".
              join('', map "$_ => $hash{$_}\n", keys %hash) ;# $stop = <STDIN>;
@@ -113,7 +117,18 @@ sub dbdef_dist {
     #false laziness w/sub indices in DBIx::DBSchema::DBD (well, sorta)
     #and sub sql_create_table in DBIx::DBSchema::Table (slighty more?)
     my $unique = $tables_hashref->{$tablename}{'unique'};
-    my $index  = $tables_hashref->{$tablename}{'index'};
+    warn "missing index for $tablename\n" unless defined $tables_hashref->{$tablename}{'index'};
+    my @index  = @{ $tables_hashref->{$tablename}{'index'} };
+
+    # kludge to avoid avoid "BLOB/TEXT column 'statustext' used in key
+    #  specification without a key length".
+    # better solution: teach DBIx::DBSchema to specify a default length for
+    #  MySQL indices on text columns, or just to support an index length at all
+    #  so we can pass something in.
+    # best solution: eliminate need for this index in cust_main::retry_realtime
+    @index = grep { @{$_}[0] ne 'statustext' } @index
+      if $datasrc =~ /^dbi:mysql/i;
+
     my @indices = ();
     push @indices, map {
                          DBIx::DBSchema::Index->new({
@@ -130,7 +145,7 @@ sub dbdef_dist {
                            'columns' => $_,
                          });
                        }
-                       @$index;
+                       @index;
 
     DBIx::DBSchema::Table->new({
       'name'          => $tablename,
@@ -170,43 +185,55 @@ sub dbdef_dist {
   #  ));
   #}
 
+  my $tables_hashref_torrus = tables_hashref_torrus();
+
   #create history tables (false laziness w/create-history-tables)
   foreach my $table (
-    grep { ! /^clientapi_session/ }
-    grep { ! /^h_/ }
-    $dbdef->tables
+    grep {    ! /^clientapi_session/
+           && ! /^h_/
+           && ! $tables_hashref_torrus->{$_}
+         }
+      $dbdef->tables
   ) {
     my $tableobj = $dbdef->table($table)
       or die "unknown table $table";
 
-    my %indices = $tableobj->indices;
+    my %h_indices = ();
+
+    unless ( $table eq 'cust_event' ) { #others?
+
+      my %indices = $tableobj->indices;
     
-    my %h_indices = map { 
-                          ( "h_$_" =>
-                              DBIx::DBSchema::Index->new({
-                                'name'    => 'h_'. $indices{$_}->name,
-                                'unique'  => 0,
-                                'columns' => [ @{$indices{$_}->columns} ],
-                              })
-                          );
-                        }
-                        keys %indices;
-
-    $h_indices{"h_${table}_srckey"} = DBIx::DBSchema::Index->new({
-                                        'name'    => "h_${table}_srckey",
-                                        'unique'  => 0,
-                                        'columns' => [ 'history_action', #right?
-                                                       $tableobj->primary_key,
-                                                     ],
-                                      });
-
-    $h_indices{"h_${table}_srckey2"} = DBIx::DBSchema::Index->new({
-                                         'name'    => "h_${table}_srckey2",
-                                         'unique'  => 0,
-                                         'columns' => [ 'history_date',
-                                                        $tableobj->primary_key,
-                                                      ],
-                                       });
+      %h_indices = map { 
+                         ( "h_$_" =>
+                             DBIx::DBSchema::Index->new({
+                               'name'    => 'h_'. $indices{$_}->name,
+                               'unique'  => 0,
+                               'columns' => [ @{$indices{$_}->columns} ],
+                             })
+                         );
+                       }
+                       keys %indices;
+
+      $h_indices{"h_${table}_srckey"} =
+        DBIx::DBSchema::Index->new({
+          'name'    => "h_${table}_srckey",
+          'unique'  => 0,
+          'columns' => [ 'history_action', #right?
+                         $tableobj->primary_key,
+                       ],
+        });
+
+      $h_indices{"h_${table}_srckey2"} =
+         DBIx::DBSchema::Index->new({
+           'name'    => "h_${table}_srckey2",
+           'unique'  => 0,
+           'columns' => [ 'history_date',
+                          $tableobj->primary_key,
+                        ],
+         });
+
+    }
 
     my $h_tableobj = DBIx::DBSchema::Table->new( {
       'name'          => "h_$table",
@@ -256,7 +283,7 @@ sub dbdef_dist {
             } );
     
             if ( $column->type =~ /^(\w*)SERIAL$/i ) {
-              $column->type('int');
+              $column->type(uc($1).'INT');
               $column->null('NULL');
             }
             #$column->default('')
@@ -311,6 +338,101 @@ sub dbdef_dist {
 
 }
 
+#torrus tables http://torrus.org/reporting_setup.pod.html#create_sql_tables
+sub tables_hashref_torrus {
+
+  return {
+
+    # Collector export table. It usually grows at several megabytes
+    # per month, and is updated every 5 minutes
+    'srvexport' => {
+      'columns' => [
+        'id',         'serial', '', '', '', '',
+        'srv_date',     'date', '', '', '', '',#date and time of the data sample
+        'srv_time',     'time', '', '', '', '',
+        'serviceid', 'varchar', '', 64, '', '',#unique service ID per counter
+        'value',     'double precision', '', '', '', '',#collected rate or gauge value
+        'intvl', 'int', '', '', '', '', # collection interval - for counter volume calculation
+      ],
+      'primary_key' => 'id',
+      'unique' => [],
+      'index'  => [ ['srv_date'], ['srv_date', 'srv_time'], ['serviceid'], ],
+    },
+
+    #Tables for (currently monthly only) report contents.
+    #These are updated usually once per month, and read at the moment of
+    #rendering the report output (HTML now, PDF or XML or Excel or whatever
+    #in the future)
+
+    #DBIx::Sequence backend, theplatform-independent inplementation
+    #of sequences
+    'dbix_sequence_state' => {
+      'columns' => [
+        'id',       'serial', '', '', '', '',
+        'dataset', 'varchar', '', 50, '', '',
+        'state_id',    'int', '', '', '', '',
+      ],
+      'primary_key' => 'id',
+      #CONSTRAINT pk_dbix_sequence PRIMARY KEY (dataset, state_id)
+      'unique' => [ [ 'dataset', 'state_id' ], ],
+      'index'  => [],
+    },
+
+    'dbix_sequence_release' => {
+      'columns' => [
+        'id',       'serial', '', '', '', '',
+        'dataset', 'varchar', '', 50, '', '',
+        'released_id', 'int', '', '', '', '',
+      ],
+      'primary_key' => 'id',
+      #CONSTRAINT pk_dbi_release PRIMARY KEY (dataset, released_id)
+      'unique' => [ [ 'dataset', 'released_id', ] ],
+      'index'  => [],
+    },
+
+    #Each report is characterized by name, date and time.
+    #Monthly reports are automatically assigned 00:00 of the 1st day
+    #in the month. The report contains fields for every service ID
+    #defined across all datasource trees.
+    'reports' => {
+      'columns' => [
+        'id',          'serial', '', '', '', '',
+        'rep_date',      'date', '', '', '', '',#Start date of the report
+        'rep_time',      'time', '', '', '', '',#Start time of the report
+        'reportname', 'varchar', '', 64, '', '',#Report name, such as
+                                                # MonthlyUsage
+        'iscomplete',     'int', '', '', '', '',#0 when the report is in
+                                                # progress, 1 when it is ready
+      ],
+      'primary_key' => 'id',
+      'unique' => [ [ qw(rep_date rep_time reportname) ] ],
+      'index'  => [ [ 'rep_date' ] ],
+    },
+
+    #Each report contains fields. For each service ID,
+    #the report may contain several fields for various statistics.
+    #Each field contains information about the units of the value it
+    #contains
+    'reportfields' => {
+      'columns' => [
+        'id',              'serial',     '', '',    '', '',
+        'rep_id',             'int', 'NULL', '',    '', '',
+        'name',           'varchar',     '', 64,    '', '',#name of the field,
+                                                           # such as AVG or MAX
+        'serviceid',      'varchar',     '', 64,    '', '',#service ID
+        'value', 'double precision',     '', '',    '', '',#Numeric value
+        'units',          'varchar',     '', 64, \"''", '',#Units, such as bytes
+                                                           # or Mbps
+      ],
+      'primary_key', => 'id',
+      'unique' => [ [ qw(rep_id name serviceid) ] ],
+      'index'  => [],
+    },
+
+  };
+
+}
+
 sub tables_hashref {
 
   my $char_d = 80; #default maxlength for text fields
@@ -338,8 +460,8 @@ sub tables_hashref {
         'invoice_template', 'varchar', 'NULL', $char_d, '', '',
         'agent_custnum',        'int', 'NULL',      '', '', '',
         'disabled',            'char', 'NULL',       1, '', '', 
-        'username',         'varchar', 'NULL', $char_d, '', '', #deprecated
-        '_password',        'varchar', 'NULL', $char_d, '', '', #deprecated
+        'username',         'varchar', 'NULL', $char_d, '', '',
+        '_password',        'varchar', 'NULL', $char_d, '', '',
         'freq',              'int', 'NULL', '', '', '', #deprecated (never used)
         'prog',                     @perl_type, '', '', #deprecated (never used)
       ],
@@ -377,7 +499,8 @@ sub tables_hashref {
         'attachnum', 'serial', '', '', '', '',
         'custnum',   'int', '', '', '', '',
         '_date',     @date_type, '', '',
-        'otaker',    'varchar', '', 32, '', '',
+        'otaker',    'varchar', 'NULL', 32, '', '',
+        'usernum',   'int', 'NULL', '', '', '',
         'filename',  'varchar', '', 255, '', '',
         'mime_type', 'varchar', '', $char_d, '', '',
         'title',     'varchar', 'NULL', $char_d, '', '',
@@ -386,7 +509,7 @@ sub tables_hashref {
       ],
       'primary_key' => 'attachnum',
       'unique'      => [],
-      'index'       => [ ['custnum'] ],
+      'index'       => [ ['custnum'], ['usernum'], ],
     },
 
     'cust_bill' => {
@@ -409,12 +532,31 @@ sub tables_hashref {
         'closed',      'char', 'NULL',  1, '', '', #not yet used much
         'statementnum', 'int', 'NULL', '', '', '', #invoice aggregate statements
         'agent_invid',  'int', 'NULL', '', '', '', #(varchar?) importing legacy
+        'promised_date', @date_type,       '', '',
       ],
       'primary_key' => 'invnum',
       'unique' => [ [ 'custnum', 'agent_invid' ] ], #agentnum?  huh
       'index' => [ ['custnum'], ['_date'], ['statementnum'], ['agent_invid'] ],
     },
 
+    #for importing invoices from a legacy system for display purposes only
+    # no effect upon balance
+    'legacy_cust_bill' => {
+      'columns' => [
+        'legacyinvnum',  'serial',     '',      '', '', '',
+        'legacyid',     'varchar', 'NULL', $char_d, '', '',
+        'custnum',          'int',     '',      '', '', '', 
+        '_date',       @date_type,                  '', '', 
+        'charged',    @money_type,                  '', '', 
+        'content_pdf',     'blob', 'NULL',      '', '', '',
+        'content_html',    'text', 'NULL',      '', '', '',
+        'locale',       'varchar', 'NULL',      16, '', '', 
+      ],
+      'primary_key' => 'legacyinvnum',
+      'unique' => [],
+      'index'  => [ ['legacyid', 'custnum', 'locale' ], ],
+    },
+
     'cust_statement' => {
       'columns' => [
         'statementnum', 'serial', '', '', '', '',
@@ -555,6 +697,7 @@ sub tables_hashref {
         'itemdesc',         'varchar', 'NULL', $char_d, '', '', 
         'itemcomment',      'varchar', 'NULL', $char_d, '', '', 
         'section',          'varchar', 'NULL', $char_d, '', '', 
+        'freq',             'varchar', 'NULL', $char_d, '', '',
         'quantity',             'int', 'NULL',      '', '', '',
         'unitsetup',           @money_typen,            '', '', 
         'unitrecur',           @money_typen,            '', '', 
@@ -576,6 +719,8 @@ sub tables_hashref {
         'classnum', 'int', 'NULL', '', '', '',
         'duration', 'int', 'NULL', '',  0, '',
         'phonenum', 'varchar', 'NULL', 15, '', '',
+        'accountcode', 'varchar',  'NULL',      20, '', '',
+        'startdate',  @date_type, '', '', 
         'regionname', 'varchar', 'NULL', $char_d, '', '',
         'detail',  'varchar', '', 255, '', '', 
       ],
@@ -636,16 +781,18 @@ sub tables_hashref {
         'custnum',  'int', '', '', '', '', 
         '_date',    @date_type, '', '', 
         'amount',   @money_type, '', '', 
-        'otaker',   'varchar', '', 32, '', '', 
+        'otaker',   'varchar', 'NULL', 32, '', '', 
+        'usernum',   'int', 'NULL', '', '', '',
         'reason',   'text', 'NULL', '', '', '', 
         'reasonnum', 'int', 'NULL', '', '', '', 
         'addlinfo', 'text', 'NULL', '', '', '',
         'closed',    'char', 'NULL', 1, '', '', 
         'pkgnum', 'int', 'NULL', '', '', '', #desired pkgnum for pkg-balances
+        'eventnum', 'int', 'NULL', '', '', '', #triggering event for commission
       ],
       'primary_key' => 'crednum',
       'unique' => [],
-      'index' => [ ['custnum'], ['_date'] ],
+      'index' => [ ['custnum'], ['_date'], ['usernum'], ['eventnum'] ],
     },
 
     'cust_credit_bill' => {
@@ -691,7 +838,7 @@ sub tables_hashref {
         'classnum', 'int', 'NULL', '', '', '',
         'custbatch', 'varchar', 'NULL', $char_d, '', '',
 #        'titlenum', 'int',  'NULL',   '', '', '', 
-        'last',     'varchar', '',     $char_d, '', '', 
+        'last',     'varchar', '',   2*$char_d, '', '', 
 #        'middle',   'varchar', 'NULL', $char_d, '', '', 
         'first',    'varchar', '',     $char_d, '', '', 
         'ss',       'varchar', 'NULL', 11, '', '', 
@@ -708,10 +855,14 @@ sub tables_hashref {
         'state',    'varchar', 'NULL', $char_d, '', '', 
         'zip',      'varchar', 'NULL', 10, '', '', 
         'country',  'char', '',     2, '', '', 
+        'latitude', 'decimal', 'NULL', '10,7', '', '', 
+        'longitude','decimal', 'NULL', '10,7', '', '', 
+        'coord_auto',  'char', 'NULL',  1, '', '',
         'daytime',  'varchar', 'NULL', 20, '', '', 
         'night',    'varchar', 'NULL', 20, '', '', 
         'fax',      'varchar', 'NULL', 12, '', '', 
-        'ship_last',     'varchar', 'NULL', $char_d, '', '', 
+        'mobile',   'varchar', 'NULL', 12, '', '', 
+        'ship_last',     'varchar', 'NULL', 2*$char_d, '', '', 
 #        'ship_middle',   'varchar', 'NULL', $char_d, '', '', 
         'ship_first',    'varchar', 'NULL', $char_d, '', '', 
         'ship_company',  'varchar', 'NULL', $char_d, '', '', 
@@ -722,9 +873,13 @@ sub tables_hashref {
         'ship_state',    'varchar', 'NULL', $char_d, '', '', 
         'ship_zip',      'varchar', 'NULL', 10, '', '', 
         'ship_country',  'char', 'NULL', 2, '', '', 
+        'ship_latitude', 'decimal', 'NULL', '10,7', '', '', 
+        'ship_longitude','decimal', 'NULL', '10,7', '', '', 
+        'ship_coord_auto',  'char', 'NULL',  1, '', '',
         'ship_daytime',  'varchar', 'NULL', 20, '', '', 
         'ship_night',    'varchar', 'NULL', 20, '', '', 
         'ship_fax',      'varchar', 'NULL', 12, '', '', 
+        'ship_mobile',   'varchar', 'NULL', 12, '', '', 
         'payby',    'char', '',     4, '', '', 
         'payinfo',  'varchar', 'NULL', 512, '', '', 
         'paycvv',   'varchar', 'NULL', 512, '', '', 
@@ -734,29 +889,36 @@ sub tables_hashref {
         'paystart_month', 'int', 'NULL', '', '', '', 
         'paystart_year',  'int', 'NULL', '', '', '', 
         'payissue', 'varchar', 'NULL', 2, '', '', 
-        'payname',  'varchar', 'NULL', $char_d, '', '', 
+        'payname',  'varchar', 'NULL', 2*$char_d, '', '', 
         'paystate', 'varchar', 'NULL', $char_d, '', '', 
         'paytype',  'varchar', 'NULL', $char_d, '', '', 
         'payip',    'varchar', 'NULL', 15, '', '', 
         'geocode',  'varchar', 'NULL', 20,  '', '',
         'censustract', 'varchar', 'NULL', 20,  '', '', # 7 to save space?
         'tax',      'char', 'NULL', 1, '', '', 
-        'otaker',   'varchar', '',    32, '', '', 
+        'otaker',   'varchar', 'NULL',    32, '', '', 
+        'usernum',   'int', 'NULL', '', '', '',
         'refnum',   'int',  '',     '', '', '', 
         'referral_custnum', 'int',  'NULL', '', '', '', 
         'comments', 'text', 'NULL', '', '', '', 
         'spool_cdr','char', 'NULL', 1, '', '', 
         'squelch_cdr','char', 'NULL', 1, '', '', 
-        'cdr_termination_percentage', 'decimal', 'NULL', '', '', '',
+        'cdr_termination_percentage', 'decimal', 'NULL', '7,4', '', '',
         'invoice_terms', 'varchar', 'NULL', $char_d, '', '',
+        'credit_limit', @money_typen, '', '',
         'archived', 'char', 'NULL', 1, '', '',
         'email_csv_cdr', 'char', 'NULL', 1, '', '',
+        'accountcode_cdr', 'char', 'NULL', 1, '', '',
+        'billday',   'int', 'NULL', '', '', '',
+        'edit_subject', 'char', 'NULL', 1, '', '',
+        'locale', 'varchar', 'NULL', 16, '', '', 
+        'calling_list_exempt', 'char', 'NULL', 1, '', '',
       ],
       'primary_key' => 'custnum',
       'unique' => [ [ 'agentnum', 'agent_custid' ] ],
       #'index' => [ ['last'], ['company'] ],
       'index' => [
-                   [ 'agentnum' ], [ 'refnum' ], [ 'classnum' ],
+                   [ 'agentnum' ], [ 'refnum' ], [ 'classnum' ], [ 'usernum' ],
                    [ 'custbatch' ],
                    [ 'referral_custnum' ],
                    [ 'payby' ], [ 'paydate' ],
@@ -765,12 +927,12 @@ sub tables_hashref {
                    [ 'last' ], [ 'company' ],
                    [ 'county' ], [ 'state' ], [ 'country' ],
                    [ 'zip' ],
-                   [ 'daytime' ], [ 'night' ], [ 'fax' ],
+                   [ 'daytime' ], [ 'night' ], [ 'fax' ], [ 'mobile' ],
                    #shipping
                    [ 'ship_last' ], [ 'ship_company' ],
                    [ 'ship_county' ], [ 'ship_state' ], [ 'ship_country' ],
                    [ 'ship_zip' ],
-                   [ 'ship_daytime' ], [ 'ship_night' ], [ 'ship_fax' ],
+                   [ 'ship_daytime' ], [ 'ship_night' ], [ 'ship_fax' ], [ 'ship_mobile' ]
                  ],
     },
 
@@ -800,24 +962,105 @@ sub tables_hashref {
       'index' => [],
     },
 
+    #eventually for cust_main too
+    'contact' => {
+      'columns' => [
+        'contactnum', 'serial',     '',      '', '', '',
+        'prospectnum',   'int', 'NULL',      '', '', '',
+        'custnum',       'int', 'NULL',      '', '', '',
+        'locationnum',   'int', 'NULL',      '', '', '', #not yet
+#        'titlenum',      'int', 'NULL',      '', '', '', #eg Mr. Mrs. Dr. Rev.
+        'last',      'varchar',     '', $char_d, '', '', 
+#        'middle',    'varchar', 'NULL', $char_d, '', '', 
+        'first',     'varchar',     '', $char_d, '', '', 
+        'title',     'varchar', 'NULL', $char_d, '', '', #eg Head Bottle Washer
+        'comment',   'varchar', 'NULL', $char_d, '', '', 
+        'disabled',     'char', 'NULL',       1, '', '', 
+      ],
+      'primary_key' => 'contactnum',
+      'unique'      => [],
+      'index'       => [ [ 'prospectnum' ], [ 'custnum' ], [ 'locationnum' ],
+                         [ 'last' ], [ 'first' ],
+                       ],
+    },
+
+    'contact_phone' => {
+      'columns' => [
+        'contactphonenum', 'serial',     '', '', '', '',
+        'contactnum',         'int',     '', '', '', '',
+        'phonetypenum',       'int',     '', '', '', '',
+        'countrycode',    'varchar',     '',  3, '', '', 
+        'phonenum',       'varchar',     '', 14, '', '', 
+        'extension',      'varchar', 'NULL',  7, '', '',
+        #?#'comment',        'varchar',     '', $char_d, '', '', 
+      ],
+      'primary_key' => 'contactphonenum',
+      'unique'      => [],
+      'index'       => [],
+    },
+
+    'phone_type' => {
+      'columns' => [
+        'phonetypenum',  'serial', '',      '', '', '',
+        'typename',     'varchar', '', $char_d, '', '',
+        'weight',           'int', '',      '', '', '', 
+      ],
+      'primary_key' => 'phonetypenum',
+      'unique'      => [ [ 'typename' ], ],
+      'index'       => [],
+    },
+
+    'contact_email' => {
+      'columns' => [
+        'contactemailnum', 'serial', '',      '', '', '',
+        'contactnum',         'int', '',      '', '', '',
+        'emailaddress',   'varchar', '', $char_d, '', '',
+      ],
+      'primary_key' => 'contactemailnum',
+      'unique'      => [ [ 'emailaddress' ], ],
+      'index'       => [],
+    },
+
+    'prospect_main' => {
+      'columns' => [
+        'prospectnum',  'serial',     '',      '', '', '',
+        'agentnum',        'int',     '',      '', '', '',
+        'company',     'varchar', 'NULL', $char_d, '', '',
+        'add_date',   @date_type,                  '', '', 
+        'disabled',       'char', 'NULL',       1, '', '', 
+        'custnum',         'int', 'NULL',      '', '', '',
+      ],
+      'primary_key' => 'prospectnum',
+      'unique'      => [],
+      'index'       => [ [ 'company' ], [ 'agentnum' ], [ 'disabled' ] ],
+    },
+
     #eventually use for billing & ship from cust_main too
     #for now, just cust_pkg locations
-    'cust_location' => {
-      'columns' => [
-        'locationnum',  'serial',     '',      '', '', '',
-        'custnum',         'int',     '',      '', '', '',
-        'address1',    'varchar',     '', $char_d, '', '', 
-        'address2',    'varchar', 'NULL', $char_d, '', '', 
-        'city',        'varchar',     '', $char_d, '', '', 
-        'county',      'varchar', 'NULL', $char_d, '', '', 
-        'state',       'varchar', 'NULL', $char_d, '', '', 
-        'zip',         'varchar', 'NULL',      10, '', '', 
-        'country',        'char',     '',       2, '', '', 
-        'geocode',     'varchar', 'NULL',      20, '', '',
+    'cust_location' => { #'location' now that its prospects too, but...
+      'columns' => [
+        'locationnum',      'serial',     '',      '', '', '',
+        'prospectnum',         'int', 'NULL',      '', '', '',
+        'custnum',             'int', 'NULL',      '', '', '',
+        'address1',        'varchar',     '', $char_d, '', '', 
+        'address2',        'varchar', 'NULL', $char_d, '', '', 
+        'city',            'varchar',     '', $char_d, '', '', 
+        'county',          'varchar', 'NULL', $char_d, '', '', 
+        'state',           'varchar', 'NULL', $char_d, '', '', 
+        'zip',             'varchar', 'NULL',      10, '', '', 
+        'latitude',        'decimal', 'NULL',  '10,7', '', '', 
+        'longitude',       'decimal', 'NULL',  '10,7', '', '', 
+        'coord_auto',         'char', 'NULL',       1, '', '',
+        'country',            'char',     '',       2, '', '', 
+        'geocode',         'varchar', 'NULL',      20, '', '',
+        'location_type',   'varchar', 'NULL',      20, '', '',
+        'location_number', 'varchar', 'NULL',      20, '', '',
+        'location_kind',      'char', 'NULL',       1, '', '',
+        'disabled',           'char', 'NULL',       1, '', '', 
       ],
       'primary_key' => 'locationnum',
       'unique'      => [],
-      'index'       => [ [ 'custnum' ],
+      'index'       => [ [ 'prospectnum' ], [ 'custnum' ],
                          [ 'county' ], [ 'state' ], [ 'country' ], [ 'zip' ],
                        ],
     },
@@ -837,13 +1080,26 @@ sub tables_hashref {
       'columns' => [
         'notenum',  'serial',  '',     '', '', '', 
         'custnum',  'int',  '',     '', '', '', 
+        'classnum',      'int',     'NULL', '', '', '', 
         '_date',    @date_type, '', '', 
-        'otaker',   'varchar', '',    32, '', '', 
+        'otaker',   'varchar', 'NULL',    32, '', '', 
+        'usernum',   'int', 'NULL', '', '', '',
         'comments', 'text', 'NULL', '', '', '', 
       ],
       'primary_key' => 'notenum',
       'unique' => [],
-      'index' => [ [ 'custnum' ], [ '_date' ], ],
+      'index' => [ [ 'custnum' ], [ '_date' ], [ 'usernum' ], ],
+    },
+    
+    'cust_note_class' => {
+      'columns' => [
+        'classnum',    'serial',   '',      '', '', '', 
+        'classname',   'varchar',  '', $char_d, '', '', 
+        'disabled',    'char', 'NULL',       1, '', '', 
+      ],
+      'primary_key' => 'classnum',
+      'unique' => [],
+      'index' => [ ['disabled'] ],
     },
 
     'cust_category' => {
@@ -869,6 +1125,30 @@ sub tables_hashref {
       'unique' => [],
       'index' => [ ['disabled'] ],
     },
+    'cust_tag' => {
+      'columns' => [
+        'custtagnum', 'serial', '', '', '', '',
+        'custnum',       'int', '', '', '', '',
+        'tagnum',        'int', '', '', '', '',
+      ],
+      'primary_key' => 'custtagnum',
+      'unique'      => [ [ 'custnum', 'tagnum' ] ],
+      'index'       => [ [ 'custnum' ] ],
+    },
+
+    'part_tag' => {
+      'columns' => [
+        'tagnum',    'serial',     '',      '', '', '',
+        'tagname',  'varchar',     '', $char_d, '', '',
+        'tagdesc',  'varchar', 'NULL', $char_d, '', '',
+        'tagcolor', 'varchar', 'NULL',       6, '', '',
+        'disabled',    'char', 'NULL',       1, '', '', 
+      ],
+      'primary_key' => 'tagnum',
+      'unique'      => [], #[ [ 'tagname' ] ], #?
+      'index'       => [ [ 'disabled' ] ],
+    },
 
     'cust_main_exemption' => {
       'columns' => [
@@ -1041,7 +1321,8 @@ sub tables_hashref {
         'custnum',  'int',    '',   '', '', '', 
         '_date',    @date_type, '', '', 
         'paid',     @money_type, '', '', 
-        'otaker',   'varchar', 'NULL', 32, '', '',  #NULL for the upgrade so we can create & populate the field
+        'otaker',   'varchar', 'NULL', 32, '', '',
+        'usernum',   'int', 'NULL', '', '', '',
         'payby',    'char',   '',     4, '', '', # CARD/BILL/COMP, should be
                                                  # index into payby table
                                                  # eventually
@@ -1055,7 +1336,7 @@ sub tables_hashref {
       ],
       'primary_key' => 'paynum',
       #i guess not now, with cust_pay_pending, if we actually make it here, we _do_ want to record it# 'unique' => [ [ 'payunique' ] ],
-      'index' => [ [ 'custnum' ], [ 'paybatch' ], [ 'payby' ], [ '_date' ] ],
+      'index' => [ [ 'custnum' ], [ 'paybatch' ], [ 'payby' ], [ '_date' ], [ 'usernum' ] ],
     },
 
     'cust_pay_void' => {
@@ -1074,11 +1355,13 @@ sub tables_hashref {
         'pkgnum', 'int', 'NULL', '', '', '', #desired pkgnum for pkg-balances
         'void_date', @date_type, '', '', 
         'reason',    'varchar',   'NULL', $char_d, '', '', 
-        'otaker',   'varchar', '', 32, '', '', 
+        'otaker',   'varchar', 'NULL', 32, '', '', 
+        'usernum',   'int', 'NULL', '', '', '',
+        'void_usernum',   'int', 'NULL', '', '', '',
       ],
       'primary_key' => 'paynum',
       'unique' => [],
-      'index' => [ [ 'custnum' ] ],
+      'index' => [ [ 'custnum' ], [ 'usernum' ], [ 'void_usernum' ] ],
     },
 
     'cust_bill_pay' => {
@@ -1127,19 +1410,19 @@ sub tables_hashref {
 
     'pay_batch' => { #batches of payments to an external processor
       'columns' => [
-        'batchnum',   'serial',    '',   '', '', '', 
-       'payby',      'char',      '',    4, '', '', # CARD/CHEK
-        'status',     'char', 'NULL',     1, '', '', 
-        'download',   @date_type, '', '', 
-        'upload',     @date_type, '', '', 
+        'batchnum', 'serial',     '', '', '', '', 
+        'agentnum',    'int', 'NULL', '', '', '', 
+       'payby',      'char',     '',  4, '', '', # CARD/CHEK
+        'status',     'char', 'NULL',  1, '', '', 
+        'download',       @date_type,     '', '', 
+        'upload',         @date_type,     '', '', 
       ],
       'primary_key' => 'batchnum',
       'unique' => [],
       'index' => [],
     },
 
-    'cust_pay_batch' => { #what's this used for again?  list of customers
-                          #in current CARD batch? (necessarily CARD?)
+    'cust_pay_batch' => { #list of customers in current CARD/CHEK batch
       'columns' => [
         'paybatchnum',   'serial',    '',   '', '', '', 
         'batchnum',   'int',    '',   '', '', '', 
@@ -1167,13 +1450,26 @@ sub tables_hashref {
       'index' => [ ['batchnum'], ['invnum'], ['custnum'] ],
     },
 
+    'fcc477map' => {
+      'columns' => [
+        'formkey',   'varchar',     '', 255, '', '',
+        'formvalue',    'text', 'NULL',  '', '', '',
+      ],
+      'primary_key' => 'formkey',
+      'unique'      => [],
+      'index'       => [],
+    },
+
     'cust_pkg' => {
       'columns' => [
         'pkgnum',           'serial',     '', '', '', '', 
         'custnum',             'int',     '', '', '', '', 
         'pkgpart',             'int',     '', '', '', '', 
+        'pkgbatch',        'varchar', 'NULL', $char_d, '', '',
         'locationnum',         'int', 'NULL', '', '', '',
-        'otaker',          'varchar',     '', 32, '', '', 
+        'otaker',          'varchar', 'NULL', 32, '', '', 
+        'usernum',             'int', 'NULL', '', '', '',
+        'order_date',     @date_type,             '', '', 
         'start_date',     @date_type,             '', '', 
         'setup',          @date_type,             '', '', 
         'bill',           @date_type,             '', '', 
@@ -1182,19 +1478,27 @@ sub tables_hashref {
         'adjourn',        @date_type,             '', '', 
         'cancel',         @date_type,             '', '', 
         'expire',         @date_type,             '', '', 
+        'contract_end',   @date_type,             '', '',
+        'dundate',        @date_type,             '', '',
         'change_date',    @date_type,             '', '',
         'change_pkgnum',       'int', 'NULL', '', '', '',
         'change_pkgpart',      'int', 'NULL', '', '', '',
         'change_locationnum',  'int', 'NULL', '', '', '',
         'manual_flag',        'char', 'NULL',  1, '', '', 
+        'no_auto',            'char', 'NULL',  1, '', '', 
         'quantity',            'int', 'NULL', '', '', '',
+        'agent_pkgid',         'int', 'NULL', '', '', '',
+        'waive_setup',        'char', 'NULL',  1, '', '', 
+        'recur_show_zero',    'char', 'NULL',  1, '', '',
+        'setup_show_zero',    'char', 'NULL',  1, '', '',
       ],
       'primary_key' => 'pkgnum',
       'unique' => [],
-      'index' => [ ['custnum'], ['pkgpart'], [ 'locationnum' ],
-                   [ 'start_date' ], ['setup'], ['last_bill'], ['bill'],
-                   ['susp'], ['adjourn'], ['expire'], ['cancel'],
-                   ['change_date'],
+      'index' => [ ['custnum'], ['pkgpart'], [ 'pkgbatch' ], [ 'locationnum' ],
+                   [ 'usernum' ], [ 'agent_pkgid' ],
+                   ['order_date'], [ 'start_date' ], ['setup'], ['bill'],
+                   ['last_bill'], ['susp'], ['adjourn'], ['cancel'],
+                   ['expire'], ['contract_end'], ['change_date'], ['no_auto'],
                  ],
     },
 
@@ -1229,12 +1533,58 @@ sub tables_hashref {
         'pkgnum',   'int',    '',   '', '', '', 
         'reasonnum','int',    '',   '', '', '', 
         'action',   'char', 'NULL', 1, '', '',     #should not be nullable
-        'otaker',   'varchar', '', 32, '', '', 
+        'otaker',   'varchar', 'NULL', 32, '', '', 
+        'usernum',   'int', 'NULL', '', '', '',
         'date',     @date_type, '', '', 
       ],
       'primary_key' => 'num',
       'unique' => [],
-      'index' => [ [ 'pkgnum' ], [ 'reasonnum' ], ['action'], ],
+      'index' => [ [ 'pkgnum' ], [ 'reasonnum' ], ['action'], [ 'usernum' ], ],
+    },
+
+    'cust_pkg_discount' => {
+      'columns' => [
+        'pkgdiscountnum', 'serial', '',        '', '', '',
+        'pkgnum',            'int', '',        '', '', '', 
+        'discountnum',       'int', '',        '', '', '',
+        'months_used',   'decimal', 'NULL', '7,4', '', '',
+        'end_date',     @date_type,                '', '',
+        'otaker',        'varchar', 'NULL',    32, '', '', 
+        'usernum',           'int', 'NULL',    '', '', '',
+        'disabled',         'char', 'NULL',     1, '', '', 
+      ],
+      'primary_key' => 'pkgdiscountnum',
+      'unique' => [],
+      'index'  => [ [ 'pkgnum' ], [ 'discountnum' ], [ 'usernum' ], ],
+    },
+
+    'cust_bill_pkg_discount' => {
+      'columns' => [
+        'billpkgdiscountnum', 'serial',        '', '', '', '',
+        'billpkgnum',            'int',        '', '', '', '', 
+        'pkgdiscountnum',        'int',        '', '', '', '', 
+        'amount',          @money_type,                '', '', 
+        'months',            'decimal', 'NULL', '7,4', '', '',
+      ],
+      'primary_key' => 'billpkgdiscountnum',
+      'unique' => [],
+      'index' => [ [ 'billpkgnum' ], [ 'pkgdiscountnum' ] ],
+    },
+
+    'discount' => {
+      'columns' => [
+        'discountnum', 'serial',     '',      '', '', '',
+        #'agentnum',       'int', 'NULL',      '', '', '', 
+        'name',       'varchar', 'NULL', $char_d, '', '',
+        'amount',   @money_type,                  '', '', 
+        'percent',    'decimal',     '',   '7,4', '', '',
+        'months',     'decimal', 'NULL',   '7,4', '', '',
+        'disabled',      'char', 'NULL',       1, '', '', 
+        'setup',      'char', 'NULL',       1, '', '', 
+      ],
+      'primary_key' => 'discountnum',
+      'unique' => [],
+      'index'  => [], # [ 'agentnum' ], ],
     },
 
     'cust_refund' => {
@@ -1243,7 +1593,8 @@ sub tables_hashref {
         'custnum',  'int',    '',   '', '', '', 
         '_date',        @date_type, '', '', 
         'refund',       @money_type, '', '', 
-        'otaker',       'varchar',   '',   32, '', '', 
+        'otaker',       'varchar',   'NULL',   32, '', '', 
+        'usernum',   'int', 'NULL', '', '', '',
         'reason',       'varchar',   '',   $char_d, '', '', 
         'payby',        'char',   '',     4, '', '', # CARD/BILL/COMP, should
                                                      # be index into payby
@@ -1255,7 +1606,7 @@ sub tables_hashref {
       ],
       'primary_key' => 'refundnum',
       'unique' => [],
-      'index' => [ ['custnum'], ['_date'] ],
+      'index' => [ ['custnum'], ['_date'], [ 'usernum' ], ],
     },
 
     'cust_credit_refund' => {
@@ -1296,11 +1647,11 @@ sub tables_hashref {
       'index'       => [ [ 'svcnum' ], [ 'optionname' ] ],
     },
 
-    'part_pkg' => {
+   'part_pkg' => {
       'columns' => [
         'pkgpart',       'serial',    '',   '', '', '', 
         'pkg',           'varchar',   '',   $char_d, '', '', 
-        'comment',       'varchar',   '',   $char_d, '', '', 
+        'comment',       'varchar',   '', 2*$char_d, '', '', 
         'promo_code',    'varchar', 'NULL', $char_d, '', '', 
         'setup',         @perl_type, '', '', 
         'freq',          'varchar',   '',   $char_d, '', '', #billing frequency
@@ -1320,12 +1671,15 @@ sub tables_hashref {
         'pay_weight',    'real',    'NULL', '', '', '',
         'credit_weight', 'real',    'NULL', '', '', '',
         'agentnum',      'int',     'NULL', '', '', '', 
-
+        'fcc_ds0s',      'int',     'NULL', '', '', '', 
+        'no_auto',          'char', 'NULL',  1, '', '', 
+        'recur_show_zero',  'char', 'NULL',  1, '', '',
+        'setup_show_zero',  'char', 'NULL',  1, '', '',
       ],
       'primary_key' => 'pkgpart',
       'unique' => [],
       'index' => [ [ 'promo_code' ], [ 'disabled' ], [ 'classnum' ],
-                   [ 'agentnum' ],
+                   [ 'agentnum' ], ['no_auto'],
                  ],
     },
 
@@ -1344,6 +1698,17 @@ sub tables_hashref {
     # XXX somewhat borked unique: we don't really want a hidden and unhidden
     # it turns out we'd prefer to use svc, bill, and invisibill (or something)
 
+    'part_pkg_discount' => {
+      'columns' => [
+        'pkgdiscountnum', 'serial',   '',      '', '', '',
+        'pkgpart',        'int',      '',      '', '', '',
+        'discountnum',    'int',      '',      '', '', '', 
+      ],
+      'primary_key' => 'pkgdiscountnum',
+      'unique' => [ [ 'pkgpart', 'discountnum' ] ],
+      'index'  => [],
+    },
+
     'part_pkg_taxclass' => {
       'columns' => [
         'taxclassnum',  'serial', '',       '', '', '',
@@ -1392,8 +1757,8 @@ sub tables_hashref {
     'part_pkg_taxoverride' => { 
       'columns' => [
         'taxoverridenum', 'serial', '', '', '', '',
-        'pkgpart',        'serial', '', '', '', '',
-        'taxclassnum',    'serial', '', '', '', '',
+        'pkgpart',           'int', '', '', '', '',
+        'taxclassnum',       'int', '', '', '', '',
         'usage_class',    'varchar', 'NULL', $char_d, '', '', 
       ],
       'primary_key' => 'taxoverridenum',
@@ -1418,6 +1783,7 @@ sub tables_hashref {
         'svcpart',    'int',    '',   '', '', '', 
         'quantity',   'int',    '',   '', '', '', 
         'primary_svc','char', 'NULL',  1, '', '', 
+        'hidden',     'char', 'NULL',  1, '', '',
       ],
       'primary_key' => 'pkgsvcnum',
       'unique' => [ ['pkgpart', 'svcpart'] ],
@@ -1442,6 +1808,7 @@ sub tables_hashref {
         'svc',        'varchar',   '',   $char_d, '', '', 
         'svcdb',      'varchar',   '',   $char_d, '', '', 
         'disabled',   'char',  'NULL',   1, '', '', 
+        'preserve',   'char', 'NULL',  1, '', '',
       ],
       'primary_key' => 'svcpart',
       'unique' => [],
@@ -1490,6 +1857,35 @@ sub tables_hashref {
       'unique' => [],
       'index' => [ [ 'npa', 'nxx' ], [ 'popnum' ] ],
     },
+    
+    'qual' => {
+      'columns' => [
+        'qualnum',  'serial',     '',     '', '', '', 
+        'custnum',    'int',     'NULL',     '', '', '',
+        'prospectnum',    'int',     'NULL',     '', '', '',
+        'locationnum',    'int',     'NULL',     '', '', '',
+       'phonenum',     'varchar', 'NULL',       24, '', '',
+        'exportnum',      'int', 'NULL', '', '', '', 
+        'vendor_qual_id',      'varchar', 'NULL', $char_d, '', '', 
+        'status',      'char', '', 1, '', '', 
+      ],
+      'primary_key' => 'qualnum',
+      'unique' => [],
+      'index' => [ [ 'locationnum' ], ['custnum'], ['prospectnum'],
+                   ['phonenum'], ['vendor_qual_id'] ],
+    },
+    
+    'qual_option' => {
+      'columns' => [
+        'optionnum', 'serial', '', '', '', '', 
+        'qualnum',  'int',     '',     '', '', '', 
+        'optionname', 'varchar', '', $char_d, '', '', 
+        'optionvalue', 'text', 'NULL', '', '', '', 
+      ],
+      'primary_key' => 'optionnum',
+      'unique' => [],
+      'index' => [],
+    },
 
     'svc_acct' => {
       'columns' => [
@@ -1501,7 +1897,7 @@ sub tables_hashref {
         'popnum',    'int',    'NULL',   '', '', '', 
         'uid',       'int', 'NULL',   '', '', '', 
         'gid',       'int', 'NULL',   '', '', '', 
-        'finger',    'varchar',   'NULL',   $char_d, '', '', 
+        'finger',    'varchar',   'NULL',   2*$char_d, '', '', 
         'dir',       'varchar',   'NULL',   $char_d, '', '', 
         'shell',     'varchar',   'NULL',   $char_d, '', '', 
         'quota',     'varchar',   'NULL',   $char_d, '', '', 
@@ -1514,14 +1910,43 @@ sub tables_hashref {
         'downbytes_threshold',   'bigint', 'NULL',   '', '', '',
         'totalbytes','bigint', 'NULL',   '', '', '',
         'totalbytes_threshold',   'bigint', 'NULL',   '', '', '',
-        'domsvc',    'int', '',   '', '', '', 
+        'domsvc',    'int',     '', '', '', '', 
+        'pbxsvc',    'int', 'NULL', '', '', '',
         'last_login',  @date_type, '', '', 
         'last_logout', @date_type, '', '', 
+        #cardfortress field(s)
+        'cf_privatekey',      'text', 'NULL',      '', '', '',
+        #communigate pro fields (quota = MaxAccountSize)
+        'cgp_aliases',     'varchar', 'NULL',     255, '', '',
+        #settings
+        'cgp_type',        'varchar', 'NULL', $char_d, '', '', #AccountType
+        'file_quota',      'varchar', 'NULL', $char_d, '', '', #MaxWebSize
+        'file_maxnum',     'varchar', 'NULL', $char_d, '', '', #MaxWebFiles
+        'file_maxsize',    'varchar', 'NULL', $char_d, '', '', #MaxFileSize
+        'cgp_accessmodes', 'varchar', 'NULL',     255, '', '', #AccessModes
+        'password_selfchange','char', 'NULL',       1, '', '', #PWDAllowed
+        'password_recover',   'char', 'NULL',       1, 'Y','', #PasswordRecovery
+        'cgp_rulesallowed','varchar', 'NULL', $char_d, '', '', #RulesAllowed
+        'cgp_rpopallowed',    'char', 'NULL',       1, '', '', #RPOPAllowed
+        'cgp_mailtoall',      'char', 'NULL',       1, '', '', #MailToAll
+        'cgp_addmailtrailer', 'char', 'NULL',       1, '', '', #AddMailTrailer
+        'cgp_archiveafter',    'int', 'NULL',      '', '', '', #ArchiveMessagesAfter
+        #XXX mailing lists
+        #preferences
+        'cgp_deletemode',     'varchar', 'NULL', $char_d, '', '',#DeleteMode
+        'cgp_emptytrash',     'varchar', 'NULL', $char_d, '', '',#EmptyTrash
+        'cgp_language',       'varchar', 'NULL', $char_d, '', '',#Language
+        'cgp_timezone',       'varchar', 'NULL', $char_d, '', '',#TimeZone
+        'cgp_skinname',       'varchar', 'NULL', $char_d, '', '',#SkinName
+        'cgp_prontoskinname', 'varchar', 'NULL', $char_d, '', '',#ProntoSkinName
+        'cgp_sendmdnmode',    'varchar', 'NULL', $char_d, '', '',#SendMDNMode
+        #mail
+        #XXX RPOP settings
       ],
       'primary_key' => 'svcnum',
       #'unique' => [ [ 'username', 'domsvc' ] ],
       'unique' => [],
-      'index' => [ ['username'], ['domsvc'] ],
+      'index' => [ ['username'], ['domsvc'], ['pbxsvc'] ],
     },
 
     'acct_rt_transaction' => {
@@ -1557,14 +1982,164 @@ sub tables_hashref {
        'parent_svcnum',    'int', 'NULL',       '', '', '',
        'registrarnum',     'int', 'NULL',       '', '', '',
        'registrarkey', 'varchar', 'NULL',      512, '', '',
-       'setup_date',  @date_type, '', '',
+       'setup_date',      @date_type, '', '',
        'renewal_interval', 'int', 'NULL',       '', '', '',
        'expiration_date', @date_type, '', '',
+       'au_registrant_name',       'varchar', 'NULL',  $char_d, '', '',
+       'au_eligibility_type',      'varchar', 'NULL',  $char_d, '', '',
+        #communigate pro fields (quota = MaxAccountSize)
+        'max_accounts',     'int', 'NULL',       '', '', '',
+        'trailer',         'text', 'NULL',       '', '', '',
+        'cgp_aliases',  'varchar', 'NULL',      255, '', '',
+        'cgp_accessmodes','varchar','NULL',     255, '', '', #DomainAccessModes
+        'cgp_certificatetype','varchar','NULL', $char_d, '', '',
+        #settings
+        'acct_def_password_selfchange',   'char', 'NULL',       1,  '', '', 
+        'acct_def_password_recover',      'char', 'NULL',       1, 'Y', '', 
+        'acct_def_cgp_accessmodes',    'varchar', 'NULL',     255,  '', '',
+        'acct_def_quota',              'varchar', 'NULL', $char_d,  '', '',
+        'acct_def_file_quota',         'varchar', 'NULL', $char_d,  '', '',
+        'acct_def_file_maxnum',        'varchar', 'NULL', $char_d,  '', '',
+        'acct_def_file_maxsize',       'varchar', 'NULL', $char_d,  '', '',
+        'acct_def_cgp_rulesallowed',   'varchar', 'NULL', $char_d,  '', '',
+        'acct_def_cgp_rpopallowed',       'char', 'NULL',       1,  '', '', 
+        'acct_def_cgp_mailtoall',         'char', 'NULL',       1,  '', '', 
+        'acct_def_cgp_addmailtrailer',    'char', 'NULL',       1,  '', '', 
+        'acct_def_cgp_archiveafter',       'int', 'NULL',      '',  '', '',
+        #preferences
+        'acct_def_cgp_deletemode',     'varchar', 'NULL', $char_d,  '', '',
+        'acct_def_cgp_emptytrash',     'varchar', 'NULL', $char_d,  '', '',
+        'acct_def_cgp_language',       'varchar', 'NULL', $char_d,  '', '',
+        'acct_def_cgp_timezone',       'varchar', 'NULL', $char_d,  '', '',
+        'acct_def_cgp_skinname',       'varchar', 'NULL', $char_d,  '', '',
+        'acct_def_cgp_prontoskinname', 'varchar', 'NULL', $char_d,  '', '',
+        'acct_def_cgp_sendmdnmode',    'varchar', 'NULL', $char_d,  '', '',
       ],
       'primary_key' => 'svcnum',
       'unique' => [ ],
       'index' => [ ['domain'] ],
     },
+    
+    'svc_dsl' => {
+      'columns' => [
+        'svcnum',                    'int',    '',        '', '', '',
+        'pushed',                    'int', 'NULL',       '', '', '',
+        'desired_due_date',          'int', 'NULL',       '', '', '',
+        'due_date',                  'int', 'NULL',       '', '', '',
+        'vendor_order_id',       'varchar', 'NULL', $char_d,  '', '',
+        'vendor_qual_id',        'varchar', 'NULL', $char_d,  '', '',
+        'vendor_order_type',     'varchar', 'NULL', $char_d,  '', '',
+        'vendor_order_status',   'varchar', 'NULL', $char_d,  '', '',
+        'first',                 'varchar', 'NULL', $char_d,  '', '',
+        'last',                  'varchar', 'NULL', $char_d,  '', '',
+        'company',               'varchar', 'NULL', $char_d,  '', '',
+        'phonenum',              'varchar', 'NULL',      24, '', '',
+        'gateway_access_number', 'varchar', 'NULL',      24, '', '',
+        'loop_type',                'char', 'NULL',       1, '', '', 
+        'local_voice_provider',  'varchar', 'NULL', $char_d, '', '',
+        'circuitnum',            'varchar', 'NULL', $char_d, '', '',
+        'rate_band',             'varchar', 'NULL', $char_d, '', '',
+        'vpi',                       'int', 'NULL',      '', '', '',
+        'vci',                       'int', 'NULL',      '', '', '',
+        'isp_chg',                  'char', 'NULL',       1, '', '', 
+        'isp_prev',              'varchar', 'NULL', $char_d, '', '',
+        'username',              'varchar', 'NULL', $char_d, '', '',
+        'password',              'varchar', 'NULL', $char_d, '', '',
+        'staticips',                'text', 'NULL',      '', '', '',
+        'monitored',                'char', 'NULL',       1, '', '', 
+        'last_pull',                 'int', 'NULL',      '', '', '',
+      ],
+      'primary_key' => 'svcnum',
+      'unique' => [ ],
+      'index' => [ ['phonenum'], ['vendor_order_id'] ],
+    },
+
+    'dsl_device' => {
+      'columns' => [
+        'devicenum', 'serial',     '', '', '', '',
+        #part_device?  or our own part_dsl_device?
+        #'devicepart',   'int',     '', '', '', '',
+        'svcnum',       'int',     '', '', '', '', 
+        'mac_addr', 'varchar',     '', 12, '', '', 
+      ],
+      'primary_key' => 'devicenum',
+      'unique' => [ [ 'mac_addr' ], ],
+      'index'  => [ [ 'svcnum' ], ], # [ 'devicepart' ] ],
+    },
+    
+    'dsl_note' => {
+      'columns' => [
+        'notenum',           'serial',    '',        '', '', '',
+       'svcnum',     'int', '',       '', '', '',
+        'author',     'varchar', 'NULL', $char_d,  '', '',
+        'priority',   'char', 'NULL',       1,  '', '', 
+       '_date',     'int', 'NULL',       '', '', '',
+       'note',     'text', '',       '', '', '',
+      ],
+      'primary_key' => 'notenum',
+      'unique' => [ ],
+      'index' => [ ['svcnum'] ],
+    },
+
+    'svc_dish' => {
+      'columns' => [
+        'svcnum',   'int',     '',     '', '', '',
+        'acctnum',  'varchar', '',     16, '', '',
+        'installdate', @date_type,         '', '', 
+        'note',     'text',    'NULL', '', '', '',
+      ],
+      'primary_key' => 'svcnum',
+      'unique' => [ ],
+      'index' => [ ],
+    },
+
+    'svc_hardware' => {
+      'columns' => [
+        'svcnum',   'int',     '',          '', '', '',
+        'typenum',  'int',     '',          '', '', '',
+        'serial',   'varchar', 'NULL', $char_d, '', '',
+        'ip_addr',  'varchar', 'NULL',      40, '', '',
+        'hw_addr',  'varchar', 'NULL',      12, '', '',
+        'smartcard','varchar', 'NULL',      30, '', '',
+        'statusnum','int',     'NULL',      '', '', '',
+        'note',     'text',    'NULL',      '', '', '',
+      ],
+      'primary_key' => 'svcnum',
+      'unique' => [ ],
+      'index' => [ ],
+    },
+
+    'hardware_class' => {
+      'columns' => [
+        'classnum',   'serial', '',      '', '', '',
+        'classname', 'varchar', '', $char_d, '', '',
+      ],
+      'primary_key' => 'classnum',
+      'unique' => [ ],
+      'index'  => [ ],
+    },
+
+    'hardware_type' => {
+      'columns' => [
+        'typenum',  'serial', '',      '', '', '',
+        'classnum',    'int', '',      '', '', '',
+        'model',   'varchar', '', $char_d, '', '',
+      ],
+      'primary_key' => 'typenum',
+      'unique' => [ ],
+      'index'  => [ ],
+    },
+
+    'hardware_status' => {
+      'columns' => [
+        'statusnum', 'serial', '',      '', '', '',
+        'label'    ,'varchar', '', $char_d, '', '',
+        'disabled',    'char', 'NULL',   1, '', '', 
+      ],
+      'primary_key' => 'statusnum',
+      'unique' => [ ],
+      'index'  => [ ],
+    },
 
     'domain_record' => {
       'columns' => [
@@ -1574,6 +2149,7 @@ sub tables_hashref {
         'recaf',     'char',    '',  2, '', '', 
         'rectype',   'varchar',    '',  5, '', '', 
         'recdata',   'varchar', '',  255, '', '', 
+        'ttl',       'int',     'NULL', '', '', '',
       ],
       'primary_key' => 'recnum',
       'unique'      => [],
@@ -1590,6 +2166,44 @@ sub tables_hashref {
       'index'       => [],
     },
 
+    'cgp_rule' => {
+      'columns' => [
+        'rulenum',  'serial',     '',      '', '', '',
+        'name',    'varchar',     '', $char_d, '', '',
+        'comment', 'varchar', 'NULL', $char_d, '', '',
+        'svcnum',      'int',     '',      '', '', '',
+        'priority',    'int',     '',      '', '', '',
+      ],
+      'primary_key' => 'rulenum',
+      'unique'      => [ [ 'svcnum', 'name' ] ],
+      'index'       => [ [ 'svcnum' ] ],
+    },
+
+    'cgp_rule_condition' => {
+      'columns' => [
+        'ruleconditionnum',  'serial',     '',      '', '', '',
+        'conditionname',    'varchar',     '', $char_d, '', '',
+        'op',               'varchar', 'NULL', $char_d, '', '',
+        'params',           'varchar', 'NULL',     255, '', '',
+        'rulenum',              'int',     '',      '', '', '',
+      ],
+      'primary_key' => 'ruleconditionnum',
+      'unique'      => [],
+      'index'       => [ [ 'rulenum' ] ],
+    },
+
+    'cgp_rule_action' => {
+       'columns' => [
+        'ruleactionnum',  'serial',     '',      '', '', '',
+        'action',        'varchar',     '', $char_d, '', '',
+        'params',        'varchar', 'NULL',     255, '', '',
+        'rulenum',           'int',     '',      '', '', '',
+      ],
+      'primary_key' => 'ruleactionnum',
+      'unique'      => [],
+      'index'       => [ [ 'rulenum' ] ],
+   },
+
     'svc_forward' => {
       'columns' => [
         'svcnum',   'int',            '',   '', '', '', 
@@ -1658,29 +2272,31 @@ sub tables_hashref {
 
     'nas' => {
       'columns' => [
-        'nasnum',   'serial',     '',    '', '', '', 
-        'nas',      'varchar', '',    $char_d, '', '', 
-        'nasip',    'varchar', '',    15, '', '', 
-        'nasfqdn',  'varchar', '',    $char_d, '', '', 
-        'last',     'int',     '',    '', '', '', 
+        'nasnum',       'serial',     '',  '',              '', '', 
+        'nasname',     'varchar',     '', 128,              '', '',
+        'shortname',   'varchar', 'NULL',  32,              '', '',
+        'type',        'varchar',     '',  30,         'other', '',
+        'ports',           'int', 'NULL',  '',              '', '',
+        'secret',      'varchar',     '',  60,        'secret', '',
+        'server',      'varchar', 'NULL',  64,              '', '',
+        'community',   'varchar', 'NULL',  50,              '', '',
+        'description', 'varchar',     '', 200, 'RADIUS Client', '',
       ],
       'primary_key' => 'nasnum',
-      'unique'      => [ [ 'nas' ], [ 'nasip' ] ],
-      'index'       => [ [ 'last' ] ],
+      'unique'      => [ [ 'nasname' ], ],
+      'index'       => [],
     },
 
-#    'session' => {
-#      'columns' => [
-#        'sessionnum', 'serial',       '',   '', '', '', 
-#        'portnum',    'int',       '',   '', '', '', 
-#        'svcnum',     'int',       '',   '', '', '', 
-#        'login',      @date_type, '', '', 
-#        'logout',     @date_type, '', '', 
-#      ],
-#      'primary_key' => 'sessionnum',
-#      'unique'      => [],
-#      'index'       => [ [ 'portnum' ] ],
-#    },
+    'export_nas' => {
+      'columns' => [
+        'exportnasnum', 'serial', '', '', '', '', 
+        'exportnum',       'int', '', '', '', '', 
+        'nasnum',          'int', '', '', '', '', 
+      ],
+      'primary_key' => 'exportnasnum',
+      'unique'      => [ [ 'exportnum', 'nasnum' ] ],
+      'index'       => [ [ 'exportnum' ], [ 'nasnum' ] ],
+    },
 
     'queue' => {
       'columns' => [
@@ -1735,9 +2351,21 @@ sub tables_hashref {
       'index'       => [ [ 'exportnum' ], [ 'svcpart' ] ],
     },
 
+    'export_device' => {
+      'columns' => [
+        'exportdevicenum' => 'serial', '', '', '', '', 
+        'exportnum'    => 'int', '', '', '', '', 
+        'devicepart'      => 'int', '', '', '', '', 
+      ],
+      'primary_key' => 'exportdevicenum',
+      'unique'      => [ [ 'exportnum', 'devicepart' ] ],
+      'index'       => [ [ 'exportnum' ], [ 'devicepart' ] ],
+    },
+
     'part_export' => {
       'columns' => [
         'exportnum', 'serial', '', '', '', '', 
+        'exportname', 'varchar', 'NULL', $char_d, '', '',
         'machine', 'varchar', '', $char_d, '', '', 
         'exporttype', 'varchar', '', $char_d, '', '', 
         'nodomain',     'char', 'NULL', 1, '', '', 
@@ -1763,17 +2391,44 @@ sub tables_hashref {
       'columns' => [
         'usergroupnum', 'serial', '', '', '', '', 
         'svcnum',       'int', '', '', '', '', 
-        'groupname',    'varchar', '', $char_d, '', '', 
+        'groupname',    'varchar', 'NULL', $char_d, '', '', 
+        'groupnum',     'int', 'NULL', '', '', '', 
       ],
       'primary_key' => 'usergroupnum',
       'unique'      => [],
       'index'       => [ [ 'svcnum' ], [ 'groupname' ] ],
     },
+    
+    'radius_group' => {
+      'columns' => [
+        'groupnum', 'serial', '', '', '', '', 
+        'groupname',    'varchar', '', $char_d, '', '', 
+        'description',  'varchar', 'NULL', $char_d, '', '', 
+        'priority', 'int', '', '', '1', '',
+      ],
+      'primary_key' => 'groupnum',
+      'unique'      => [ ['groupname'] ],
+      'index'       => [],
+    },
+
+    'radius_attr' => {
+      'columns' => [
+        'attrnum',   'serial', '', '', '', '',
+        'groupnum',     'int', '', '', '', '',
+        'attrname', 'varchar', '', $char_d, '', '',
+        'value',    'varchar', '', $char_d, '', '',
+        'attrtype',    'char', '', 1, '', '',
+        'op',          'char', '', 2, '', '',
+      ],
+      'primary_key' => 'attrnum',
+      'unique'      => [ ['groupnum','attrname'] ], #?
+      'index'       => [],
+    },
 
     'msgcat' => {
       'columns' => [
         'msgnum', 'serial', '', '', '', '', 
-        'msgcode', 'varchar', '', $char_d, '', '', 
+        'msgcode', 'varchar', '', 255, '', '', 
         'locale', 'varchar', '', 16, '', '', 
         'msg', 'text', '', '', '', '', 
       ],
@@ -1804,13 +2459,15 @@ sub tables_hashref {
         'taxnum',       'int', '', '', '', '', 
         'year',         'int', '', '', '', '', 
         'month',        'int', '', '', '', '', 
+        'creditbillpkgnum', 'int', 'NULL', '', '', '',
         'amount',       @money_type, '', '', 
       ],
       'primary_key' => 'exemptpkgnum',
       'unique' => [],
       'index'  => [ [ 'taxnum', 'year', 'month' ],
                     [ 'billpkgnum' ],
-                    [ 'taxnum' ]
+                    [ 'taxnum' ],
+                    [ 'creditbillpkgnum' ],
                   ],
     },
 
@@ -1853,33 +2510,57 @@ sub tables_hashref {
 
     'svc_broadband' => {
       'columns' => [
-        'svcnum', 'int', '', '', '', '', 
-        'description', 'varchar', 'NULL', $char_d, '', '', 
-        'blocknum', 'int', 'NULL', '', '', '', 
-        'speed_up', 'int', '', '', '', '', 
-        'speed_down', 'int', '', '', '', '', 
-        'ip_addr', 'varchar', 'NULL', 15, '', '', 
-        'mac_addr', 'varchar', 'NULL', 12, '', '', 
-        'authkey',  'varchar', 'NULL', 32, '', '', 
-        'latitude', 'decimal', 'NULL', '', '', '', 
-        'longitude', 'decimal', 'NULL', '', '', '', 
-        'altitude', 'decimal', 'NULL', '', '', '', 
-        'vlan_profile', 'varchar', 'NULL', $char_d, '', '', 
+        'svcnum',                  'int',     '',      '', '', '', 
+        'description',         'varchar', 'NULL', $char_d, '', '', 
+        'blocknum',                'int', 'NULL',      '', '', '', 
+        'sectornum',               'int', 'NULL',      '', '', '',
+        'speed_up',                'int', 'NULL',      '', '', '', 
+        'speed_down',              'int', 'NULL',      '', '', '', 
+        'ip_addr',             'varchar', 'NULL',      15, '', '', 
+        'mac_addr',            'varchar', 'NULL',      12, '', '', 
+        'authkey',             'varchar', 'NULL',      32, '', '', 
+        'latitude',            'decimal', 'NULL',  '10,7', '', '', 
+        'longitude',           'decimal', 'NULL',  '10,7', '', '', 
+        'altitude',            'decimal', 'NULL',      '', '', '', 
+        'vlan_profile',        'varchar', 'NULL', $char_d, '', '', 
         'performance_profile', 'varchar', 'NULL', $char_d, '', '',
+        'plan_id',             'varchar', 'NULL', $char_d, '', '',
       ],
       'primary_key' => 'svcnum',
       'unique'      => [ [ 'mac_addr' ] ],
       'index'       => [],
     },
 
+    'tower' => {
+      'columns' => [
+        'towernum',   'serial',     '',      '', '', '',
+        #'agentnum',      'int', 'NULL',      '', '', '',
+        'towername', 'varchar',     '', $char_d, '', '',
+        'disabled',     'char', 'NULL',       1, '', '',
+      ],
+      'primary_key' => 'towernum',
+      'unique'      => [ [ 'towername' ] ], # , 'agentnum' ] ],
+      'index'       => [],
+    },
+
+    'tower_sector' => {
+      'columns' => [
+        'sectornum',   'serial',     '',      '', '', '',
+        'towernum',       'int',     '',      '', '', '',
+        'sectorname', 'varchar',     '', $char_d, '', '',
+        'ip_addr',    'varchar', 'NULL',      15, '', '',
+      ],
+      'primary_key' => 'sectornum',
+      'unique'      => [ [ 'towernum', 'sectorname' ], [ 'ip_addr' ], ],
+      'index'       => [ [ 'towernum' ] ],
+    },
+
     'part_virtual_field' => {
       'columns' => [
         'vfieldpart', 'serial', '', '', '', '', 
         'dbtable', 'varchar', '', 32, '', '', 
         'name', 'varchar', '', 32, '', '', 
-        'check_block', 'text', 'NULL', '', '', '', 
         'length', 'int', 'NULL', '', '', '', 
-        'list_source', 'text', 'NULL', '', '', '', 
         'label', 'varchar', 'NULL', 80, '', '', 
       ],
       'primary_key' => 'vfieldpart',
@@ -1901,12 +2582,18 @@ sub tables_hashref {
 
     'acct_snarf' => {
       'columns' => [
-        'snarfnum',  'int', '', '', '', '', 
-        'svcnum',    'int', '', '', '', '', 
-        'machine',   'varchar', '', 255, '', '', 
-        'protocol',  'varchar', '', $char_d, '', '', 
-        'username',  'varchar', '', $char_d, '', '', 
-        '_password', 'varchar', '', $char_d, '', '', 
+        'snarfnum',    'serial',     '',      '', '', '', 
+        'snarfname',  'varchar', 'NULL', $char_d, '', '', 
+        'svcnum',         'int',     '',      '', '', '', 
+        'machine',    'varchar',     '',     255, '', '', 
+        'protocol',   'varchar',     '', $char_d, '', '', 
+        'username',   'varchar',     '', $char_d, '', '', 
+        '_password',  'varchar',     '', $char_d, '', '', 
+        'check_freq',     'int', 'NULL',      '', '', '', 
+        'leavemail',     'char', 'NULL',       1, '', '', 
+        'apop',          'char', 'NULL',       1, '', '', 
+        'tls',           'char', 'NULL',       1, '', '', 
+        'mailbox',    'varchar', 'NULL', $char_d, '', '', 
       ],
       'primary_key' => 'snarfnum',
       'unique' => [],
@@ -1915,8 +2602,8 @@ sub tables_hashref {
 
     'svc_external' => {
       'columns' => [
-        'svcnum', 'int', '', '', '', '', 
-        'id',     'int', 'NULL', '', '', '', 
+        'svcnum',     'int',     '',      '', '', '', 
+        'id',      'bigint', 'NULL',      '', '', '', 
         'title',  'varchar', 'NULL', $char_d, '', '', 
       ],
       'primary_key' => 'svcnum',
@@ -1949,6 +2636,18 @@ sub tables_hashref {
       'index'       => [ [ 'pkgpart' ], [ 'optionname' ] ],
     },
 
+    'part_pkg_vendor' => {
+      'columns' => [
+        'num', 'serial', '', '', '', '', 
+        'pkgpart', 'int', '', '', '', '', 
+        'exportnum', 'int', '', '', '', '', 
+        'vendor_pkg_id', 'varchar', '', $char_d, '', '', 
+      ],
+      'primary_key' => 'num',
+      'unique' => [ [ 'pkgpart', 'exportnum' ] ],
+      'index'       => [ [ 'pkgpart' ] ],
+    },
+    
     'part_pkg_report_option' => {
       'columns' => [
         'num',      'serial',   '',      '', '', '', 
@@ -1972,16 +2671,19 @@ sub tables_hashref {
 
     'rate_detail' => {
       'columns' => [
-        'ratedetailnum',   'serial', '', '', '', '', 
-        'ratenum',         'int',     '', '', '', '', 
-        'orig_regionnum',  'int', 'NULL', '', '', '', 
-        'dest_regionnum',  'int',     '', '', '', '', 
-        'min_included',    'int',     '', '', '', '', 
-        #'min_charge',      @money_type, '', '', 
-        'min_charge',      'decimal', '', '10,5', '', '', 
-        'sec_granularity', 'int',     '', '', '', '', 
-        #time period (link to table of periods)?
-        'classnum',        'int',     'NULL', '', '', '', 
+        'ratedetailnum',   'serial',  '',     '', '', '', 
+        'ratenum',         'int',     '',     '', '', '', 
+        'orig_regionnum',  'int', 'NULL',     '', '', '', 
+        'dest_regionnum',  'int',     '',     '', '', '', 
+        'min_included',    'int',     '',     '', '', '', 
+        'conn_charge',     'decimal', '', '10,4', '0', '',
+        'conn_sec',        'int',     '',     '', '0', '',
+        'min_charge',      'decimal', '', '10,5', '', '', #@money_type, '', '', 
+        'sec_granularity', 'int',     '',     '', '', '', 
+        'ratetimenum',     'int', 'NULL',     '', '', '',
+        'classnum',        'int', 'NULL',     '', '', '', 
+        'cdrtypenum',      'int', 'NULL',     '', '', '',
+        'region_group', 'char', 'NULL',       1, '', '', 
       ],
       'primary_key' => 'ratedetailnum',
       'unique'      => [ [ 'ratenum', 'orig_regionnum', 'dest_regionnum' ] ],
@@ -2005,12 +2707,61 @@ sub tables_hashref {
         'countrycode', 'varchar',     '',  3, '', '', 
         'npa',         'varchar', 'NULL', 10, '', '', #actually the whole prefix
         'nxx',         'varchar', 'NULL',  3, '', '', #actually not used
+        'latanum',     'int',     'NULL',      '', '', '',
+        'state',       'char',    'NULL',       2, '', '', 
+        'ocn',         'char',    'NULL',       4, '', '', 
       ],
       'primary_key' => 'prefixnum',
       'unique'      => [],
       'index'       => [ [ 'countrycode' ], [ 'npa' ], [ 'regionnum' ] ],
     },
 
+    'rate_time' => {
+      'columns' => [
+        'ratetimenum', 'serial',      '',      '', '', '',
+        'ratetimename',   'varchar',      '', $char_d, '', '',
+      ],
+      'primary_key' => 'ratetimenum',
+      'unique'      => [],
+      'index'       => [],
+    },
+
+    'rate_time_interval' => {
+      'columns' => [
+        'intervalnum', 'serial', '', '', '', '',
+        'stime',          'int', '', '', '', '',
+        'etime',          'int', '', '', '', '',
+        'ratetimenum',    'int', '', '', '', '',
+      ],
+      'primary_key' => 'intervalnum',
+      'unique'      => [],
+      'index'       => [],
+    },
+
+    #not really part of the above rate_ stuff (used with flat rate rather than
+    # rated billing), but could be eventually, and its a rate
+    'rate_tier' => {
+      'columns' => [
+        'tiernum',   'serial', '',      '', '', '',
+        'tiername', 'varchar', '', $char_d, '', '',
+      ],
+      'primary_key' => 'tiernum',
+      'unique'      => [ [ 'tiername'], ],
+      'index'       => [],
+    },
+
+    'rate_tier_detail' => {
+      'columns' => [
+        'tierdetailnum', 'serial', '',     '', '', '',
+        'tiernum',          'int', '',     '', '', '',
+        'min_quan',         'int', '',     '', '', '',
+        'min_charge',   'decimal', '', '10,4', '', '',
+      ],
+      'primary_key' => 'tierdetailnum',
+      'unique'      => [],
+      'index'       => [ ['tiernum'], ],
+    },
+
     'usage_class' => {
       'columns' => [
         'classnum',    'serial',      '',      '', '', '', 
@@ -2116,13 +2867,16 @@ sub tables_hashref {
         'payby',   'char',     '',       4, '', '', 
         'payinfo', 'varchar',  '',     128, '', '', #say, a 512-big digest _hex encoded
        #'paymask', 'varchar',  'NULL', $char_d, '', ''
-        '_date',   @date_type, '', '', 
-        'otaker',  'varchar',  '',     32, '', '', 
+        '_date',            @date_type,         '', '', 
+        'end_date',         @date_type,         '', '', 
+        'otaker',  'varchar',  'NULL',      32, '', '', 
+        'usernum',     'int',  'NULL',      '', '', '',
+        'bantype', 'varchar',  'NULL', $char_d, '', '',
         'reason',  'varchar',  'NULL', $char_d, '', '', 
       ],
       'primary_key' => 'bannum',
-      'unique'      => [ [ 'payby', 'payinfo' ] ],
-      'index'       => [],
+      'unique'      => [],
+      'index'       => [ [ 'payby', 'payinfo' ], [ 'usernum' ], ],
     },
 
     'pkg_category' => {
@@ -2144,6 +2898,7 @@ sub tables_hashref {
         'classname',   'varchar',  '', $char_d, '', '', 
         'categorynum', 'int',  'NULL',      '', '', '', 
         'disabled',    'char', 'NULL',       1, '', '', 
+        'fcc_ds0s',      'int',     'NULL', '', '', '', 
       ],
       'primary_key' => 'classnum',
       'unique' => [],
@@ -2188,28 +2943,23 @@ sub tables_hashref {
         'disposition', 'varchar',  '',      45, \"''", '',
         'amaflags',    'int',      '',      '',     0, '',
         'accountcode', 'varchar',  '',      20, \"''", '',
-        'uniqueid',    'varchar',  '',      32, \"''", '',
-        'userfield',   'varchar',  '',     255, \"''", '',
+        'uniqueid',    'varchar',  '', $char_d, \"''", '',
+        'userfield',   'varchar',  '',     512, \"''", '',
+
+        'max_callers', 'int',  'NULL',      '',    '', '',
 
         ###
-        # fields for unitel/RSLCOM/convergent that don't map well to asterisk
-        # defaults
-        # though these are now used elsewhere:
-        # charged_party, upstream_price, rated_price, carrierid
+        # old fields for unitel/RSLCOM/convergent that don't map to asterisk
+        # ones we adoped moved to "own fields" section below
+        # charged_party, upstream_price, rated_price, carrierid, cdrtypenum
         ###
 
-        #cdr_type: Usage = 1, S&E = 7, OC&C = 8
-        'cdrtypenum',              'int', 'NULL',      '', '', '',
-
-        'charged_party',       'varchar', 'NULL', $char_d, '', '',
-
         'upstream_currency',      'char', 'NULL',       3, '', '',
-        'upstream_price',      'decimal', 'NULL',  '10,2', '', '', 
+        'upstream_price',      'decimal', 'NULL',  '10,4', '', '', 
         'upstream_rateplanid',     'int', 'NULL',      '', '', '', #?
 
         # how it was rated internally...
         'ratedetailnum',           'int', 'NULL',      '', '', '',
-        'rated_price',         'decimal', 'NULL',  '10,4', '', '',
 
         'distance',            'decimal', 'NULL',      '', '', '',
         'islocal',                 'int', 'NULL',      '', '', '', # '',  '', 0, '' instead?
@@ -2220,16 +2970,24 @@ sub tables_hashref {
         'description',         'varchar', 'NULL', $char_d, '', '',
         'quantity',                'int', 'NULL',      '', '', '', 
 
-        #cdr_carrier: Telstra =1, Optus = 2, RSL COM = 3
-        'carrierid',               'int', 'NULL',      '', '', '',
-
         'upstream_rateid',         'int', 'NULL',      '', '', '',
         
         ###
         #and now for our own fields
         ###
 
-        # a svcnum... right..?
+        'cdrtypenum',              'int', 'NULL',      '', '', '',
+
+        'charged_party',       'varchar', 'NULL', $char_d, '', '',
+
+        # how it was rated internally...
+        'rated_price',         'decimal', 'NULL',  '10,4', '', '',
+        'rated_seconds',           'int', 'NULL',      '', '', '',
+        'rated_minutes', 'double precision', 'NULL',   '', '', '',
+
+        'carrierid',               'int', 'NULL',      '', '', '',
+
+        # service it was matched to
         'svcnum',             'int',   'NULL',     '',   '', '', 
 
         #NULL, done (or something)
@@ -2241,17 +2999,23 @@ sub tables_hashref {
         #an indexed place to put big numbers
         'cdrid',         'bigint',     'NULL',     '',  '', '', 
 
+        #for taqua accountcode rewriting, for starters
+        'sessionnum',       'int',    'NULL',      '', '', '',
+        'subscriber',   'varchar',    'NULL', $char_d, '', '',
+
         #old
-        'cdrbatch', 'varchar', 'NULL', 255, '', '',
+        'cdrbatch',     'varchar',    'NULL',     255, '', '',
         #new
-        'cdrbatchnum', 'int', 'NULL', '', '', '',
+        'cdrbatchnum',      'int',    'NULL',      '', '', '',
 
       ],
       'primary_key' => 'acctid',
       'unique' => [],
       'index' => [ [ 'calldate' ],
                    [ 'src' ], [ 'dst' ], [ 'dcontext' ], [ 'charged_party' ],
-                   [ 'accountcode' ], [ 'carrierid' ], [ 'cdrid' ],
+                   [ 'lastapp' ],
+                   ['accountcode'], ['uniqueid'], ['carrierid'], ['cdrid'],
+                   [ 'sessionnum' ], [ 'subscriber' ],
                    [ 'freesidestatus' ], [ 'freesiderewritestatus' ],
                    [ 'cdrbatch' ], [ 'cdrbatchnum' ],
                  ],
@@ -2274,7 +3038,10 @@ sub tables_hashref {
         'acctid',        'bigint',     '',      '', '', '', 
         'termpart',         'int',     '',      '', '', '',#future use see below
         'rated_price',  'decimal', 'NULL',  '10,4', '', '',
+        'rated_seconds',    'int', 'NULL',      '', '', '',
+        'rated_minutes', 'double precision', 'NULL',   '', '', '',
         'status',       'varchar', 'NULL',      32, '', '',
+        'svcnum',           'int', 'NULL',      '', '', '',
       ],
       'primary_key' => 'cdrtermnum',
       'unique'      => [ [ 'acctid', 'termpart' ] ],
@@ -2343,12 +3110,13 @@ sub tables_hashref {
       'columns' => [
         'itemnum',  'serial',      '',      '', '', '',
         'classnum', 'int',         '',      '', '', '',
+        'agentnum', 'int',     'NULL',      '', '', '',
         'item',     'varchar',     '', $char_d, '', '',
         'svcnum',   'int',     'NULL',      '', '', '',
       ],
       'primary_key' => 'itemnum',
       'unique' => [ [ 'classnum', 'item' ] ],
-      'index'  => [ [ 'classnum' ], [ 'svcnum' ] ],
+      'index'  => [ [ 'classnum' ], [ 'agentnum' ], [ 'svcnum' ] ],
     },
 
     'inventory_class' => {
@@ -2368,11 +3136,12 @@ sub tables_hashref {
         '_password', 'varchar', '', $char_d, '', '',
         'last',      'varchar', '', $char_d, '', '', 
         'first',     'varchar', '', $char_d, '', '', 
+        'user_custnum',  'int', 'NULL',  '', '', '',
         'disabled',     'char', 'NULL',   1, '', '', 
       ],
       'primary_key' => 'usernum',
       'unique' => [ [ 'username' ] ],
-      'index'  => [],
+      'index'  => [ [ 'user_custnum' ] ],
     },
 
     'access_user_pref' => {
@@ -2440,10 +3209,25 @@ sub tables_hashref {
         'pin',          'varchar', 'NULL', $char_d, '', '',
         'sip_password', 'varchar', 'NULL', $char_d, '', '',
         'phone_name',   'varchar', 'NULL', $char_d, '', '',
+        'pbxsvc',           'int', 'NULL',      '', '', '',
+        'domsvc',           'int', 'NULL',      '', '', '', 
+        'locationnum',      'int', 'NULL', '', '', '',
+        'forwarddst',     'varchar',     'NULL',      15, '', '', 
+        'email',           'varchar', 'NULL',  255, '', '', 
+        'lnp_status',   'varchar', 'NULL', $char_d, '', '',
+        'portable',    'char', 'NULL',       1,  '', '', 
+        'lrn',     'char',     'NULL',      10, '', '', 
+       'lnp_desired_due_date',     'int', 'NULL',       '', '', '',
+       'lnp_due_date',     'int', 'NULL',       '', '', '',
+        'lnp_other_provider', 'varchar', 'NULL', $char_d,  '', '',
+        'lnp_other_provider_account', 'varchar', 'NULL', $char_d,  '', '',
+        'lnp_reject_reason', 'varchar', 'NULL', $char_d,  '', '',
       ],
       'primary_key' => 'svcnum',
       'unique' => [],
-      'index'  => [ [ 'countrycode', 'phonenum' ] ],
+      'index'  => [ ['countrycode', 'phonenum'], ['pbxsvc'], ['domsvc'],
+                    ['locationnum'],
+                  ],
     },
 
     'phone_device' => {
@@ -2462,7 +3246,7 @@ sub tables_hashref {
       'columns' => [
         'devicepart', 'serial',  '',      '', '', '',
         'devicename', 'varchar', '', $char_d, '', '',
-        #'classnum', #tie to an inventory class?
+        'inventory_classnum', 'int', 'NULL', '', '', '',
       ],
       'primary_key' => 'devicepart',
       'unique' => [ [ 'devicename' ] ], #?
@@ -2479,6 +3263,10 @@ sub tables_hashref {
         'nxx',         'char',    'NULL',       3, '', '', 
         'station',     'char',    'NULL',       4, '', '',
         'name',        'varchar', 'NULL', $char_d, '', '',
+        'rate_center_abbrev', 'varchar', 'NULL', $char_d, '', '',
+        'latanum',      'int',     'NULL',      '', '', '',
+        'msanum',       'int', 'NULL', '', '', '',
+        'ordernum',      'int',     'NULL',      '', '', '',
         'svcnum',      'int',     'NULL',      '', '', '',
         'availbatch', 'varchar',  'NULL', $char_d, '', '',
       ],
@@ -2490,8 +3278,82 @@ sub tables_hashref {
                     [ 'exportnum', 'countrycode', 'npa', 'nxx', 'station' ], # #
                     [ 'svcnum' ],
                     [ 'availbatch' ],
+                    [ 'latanum' ],
                   ],
     },
+    
+    'lata' => {
+      'columns' => [
+        'latanum',    'int',      '',      '', '', '', 
+        'description',   'varchar',    '',      $char_d, '', '', 
+        'have_usage',   'int',    'NULL',      '', '', '', 
+      ],
+      'primary_key' => 'latanum',
+      'unique' => [],
+      'index'  => [],
+    },
+    
+    'msa' => {
+      'columns' => [
+        'msanum',    'int',      '',      '', '', '', 
+        'description',   'varchar',    '',      $char_d, '', '', 
+      ],
+      'primary_key' => 'msanum',
+      'unique' => [],
+      'index'  => [],
+    },
+    
+    'rate_center' => {
+      'columns' => [
+        'ratecenternum',    'serial',      '',      '', '', '', 
+        'description',   'varchar',    '',      $char_d, '', '', 
+      ],
+      'primary_key' => 'ratecenternum',
+      'unique' => [],
+      'index'  => [],
+    },
+
+    'did_vendor' => {
+      'columns' => [
+        'vendornum',    'serial',      '',      '', '', '', 
+        'vendorname',   'varchar',        '',     $char_d, '', '', 
+      ],
+      'primary_key' => 'vendornum',
+      'unique' => [],
+      'index'  => [],
+    },
+    
+    'did_order_item' => {
+      'columns' => [
+        'orderitemnum',    'serial',      '',      '', '', '', 
+        'ordernum',    'int',      '',      '', '', '', 
+        'msanum',      'int',     'NULL',      '', '', '',
+        'npa',      'int',     'NULL',      '', '', '',
+        'latanum',      'int',     'NULL',      '', '', '',
+        'ratecenternum',      'int',     'NULL',      '', '', '',
+        'state',       'char',    'NULL',       2, '', '', 
+        'quantity',      'int',     '',      '', '', '',
+        'custnum',   'int', 'NULL', '', '', '',
+      ],
+      'primary_key' => 'orderitemnum',
+      'unique' => [],
+      'index'  => [],
+    },
+
+    'did_order' => {
+      'columns' => [
+        'ordernum',    'serial',      '',      '', '', '', 
+        'vendornum',   'int',       '',      '', '', '', 
+        'vendor_order_id',   'varchar',  'NULL',   $char_d, '', '', 
+        'custnum',   'int', 'NULL', '', '', '',
+        'submitted',      'int',     '',      '', '', '',
+        'confirmed',      'int',     'NULL',      '', '', '',
+        'received',      'int',     'NULL',      '', '', '',
+      ],
+      'primary_key' => 'ordernum',
+      'unique' => [ [ 'vendornum', 'vendor_order_id' ] ],
+      'index'  => [],
+    },
 
     'reason_type' => {
       'columns' => [
@@ -2518,13 +3380,14 @@ sub tables_hashref {
 
     'conf' => {
       'columns' => [
-        'confnum',  'serial',  '', '', '', '', 
-        'agentnum', 'int',  'NULL', '', '', '', 
-        'name',     'varchar', '', $char_d, '', '', 
-        'value',    'text', 'NULL', '', '', '',
+        'confnum',  'serial',     '',      '', '', '', 
+        'agentnum', 'int',    'NULL',      '', '', '', 
+        'locale',   'varchar','NULL',      16, '', '',
+        'name',     'varchar',    '', $char_d, '', '', 
+        'value',    'text',   'NULL',      '', '', '',
       ],
       'primary_key' => 'confnum',
-      'unique' => [ [ 'agentnum', 'name' ]],
+      'unique' => [ [ 'agentnum', 'locale', 'name' ] ],
       'index' => [],
     },
 
@@ -2538,6 +3401,212 @@ sub tables_hashref {
       'unique'      => [ [ 'pkgnum', 'refnum' ] ],
       'index'       => [ [ 'pkgnum' ], [ 'refnum' ] ],
     },
+
+    'svc_pbx' => {
+      'columns' => [
+        'svcnum',           'int',     '',      '', '', '', 
+        'id',               'int', 'NULL',      '', '', '', 
+        'title',        'varchar', 'NULL', $char_d, '', '', 
+        'max_extensions',   'int', 'NULL',      '', '', '',
+        'max_simultaneous', 'int', 'NULL',      '', '', '',
+      ],
+      'primary_key' => 'svcnum',
+      'unique' => [],
+      'index'  => [ [ 'id' ] ],
+    },
+
+    'svc_mailinglist' => { #svc_group?
+      'columns' => [
+        'svcnum',            'int',     '',            '', '', '', 
+        'username',      'varchar',     '', $username_len, '', '',
+        'domsvc',            'int',     '',            '', '', '', 
+        'listnum',           'int',     '',            '', '', '',
+        'reply_to',         'char', 'NULL',             1, '', '',#SetReplyTo
+        'remove_from',      'char', 'NULL',             1, '', '',#RemoveAuthor
+        'reject_auto',      'char', 'NULL',             1, '', '',#RejectAuto
+        'remove_to_and_cc', 'char', 'NULL',             1, '', '',#RemoveToAndCc
+      ],
+      'primary_key' => 'svcnum',
+      'unique' => [],
+      'index'  => [ ['username'], ['domsvc'], ['listnum'] ],
+    },
+
+    'mailinglist' => {
+      'columns' => [
+        'listnum',   'serial', '',      '', '', '',
+        'listname', 'varchar', '', $char_d, '', '',
+      ],
+      'primary_key' => 'listnum',
+      'unique' => [],
+      'index'  => [],
+    },
+
+    'mailinglistmember' => {
+      'columns' => [
+        'membernum',        'serial',     '',   '', '', '',
+        'listnum',             'int',     '',   '', '', '',
+        'svcnum',              'int', 'NULL',   '', '', '', 
+        'contactemailnum',     'int', 'NULL',   '', '', '', 
+        'email',           'varchar', 'NULL',  255, '', '', 
+      ],
+      'primary_key' => 'membernum',
+      'unique'      => [],
+      'index'       => [['listnum'],['svcnum'],['contactemailnum'],['email']],
+    },
+
+    'bill_batch' => {
+      'columns' => [
+        'batchnum',         'serial',     '',  '', '', '',
+        'agentnum',            'int', 'NULL',  '', '', '',
+        'status',             'char', 'NULL', '1', '', '',
+        'pdf',                'blob', 'NULL',  '', '', '',
+      ],
+      'primary_key' => 'batchnum',
+      'unique'      => [],
+      'index'       => [ ['agentnum'] ],
+    },
+
+    'cust_bill_batch' => {
+      'columns' => [
+        'billbatchnum',     'serial',     '', '', '', '',
+        'batchnum',            'int',     '', '', '', '',
+        'invnum',              'int',     '', '', '', '',
+      ],
+      'primary_key' => 'billbatchnum',
+      'unique'      => [],
+      'index'       => [ [ 'batchnum' ], [ 'invnum' ] ],
+    },
+
+    'cust_bill_batch_option' => {
+      'columns' => [
+        'optionnum', 'serial', '', '', '', '', 
+        'billbatchnum', 'int', '', '', '', '', 
+        'optionname', 'varchar', '', $char_d, '', '', 
+        'optionvalue', 'text', 'NULL', '', '', '', 
+      ],
+      'primary_key' => 'optionnum',
+      'unique'      => [],
+      'index'       => [ [ 'billbatchnum' ], [ 'optionname' ] ],
+    },
+
+    'msg_template' => {
+      'columns' => [
+        'msgnum',     'serial',     '',      '', '', '',
+        'msgname',   'varchar',     '', $char_d, '', '',
+        'agentnum',      'int', 'NULL',      '', '', '',
+        'subject',   'varchar', 'NULL',     512, '', '',
+        'mime_type', 'varchar',     '', $char_d, '', '',
+        'body',         'blob', 'NULL',      '', '', '',
+        'disabled',     'char', 'NULL',       1, '', '', 
+        'from_addr', 'varchar', 'NULL',     255, '', '',
+        'bcc_addr',  'varchar', 'NULL',     255, '', '',
+      ],
+      'primary_key' => 'msgnum',
+      'unique'      => [ ],
+      'index'       => [ ['agentnum'], ],
+    },
+
+    'template_content' => {
+      'columns' => [
+        'contentnum', 'serial',     '',      '', '', '',
+        'msgnum',        'int',     '',      '', '', '',
+        'locale',    'varchar', 'NULL',      16, '', '',
+        'subject',   'varchar', 'NULL',     512, '', '',
+        'body',         'text', 'NULL',      '', '', '',
+      ],
+      'primary_key' => 'contentnum',
+      'unique'      => [ ['msgnum', 'locale'] ],
+      'index'       => [ ],
+    },
+
+    'cust_msg' => {
+      'columns' => [
+        'custmsgnum', 'serial',     '',     '', '', '',
+        'custnum',       'int',     '',     '', '', '',
+        'msgnum',        'int', 'NULL',     '', '', '',
+        '_date',    @date_type,                 '', '',
+        'env_from',  'varchar', 'NULL',    255, '', '',
+        'env_to',    'varchar', 'NULL',    255, '', '',
+        'header',       'blob', 'NULL',     '', '', '',
+        'body',         'blob', 'NULL',     '', '', '',
+        'error',     'varchar', 'NULL',    255, '', '',
+        'status',    'varchar',     '',$char_d, '', '',
+      ],
+      'primary_key' => 'custmsgnum',
+      'unique'      => [ ],
+      'index'       => [ ['custnum'], ],
+    },
+
+    'svc_cert' => {
+      'columns' => [
+        'svcnum',                'int',     '',      '', '', '', 
+        'recnum',                'int', 'NULL',      '', '', '',
+        'privatekey',           'text', 'NULL',      '', '', '',
+        'csr',                  'text', 'NULL',      '', '', '',
+        'certificate',          'text', 'NULL',      '', '', '',
+        'cacert',               'text', 'NULL',      '', '', '',
+        'common_name',       'varchar', 'NULL', $char_d, '', '',
+        'organization',      'varchar', 'NULL', $char_d, '', '',
+        'organization_unit', 'varchar', 'NULL', $char_d, '', '',
+        'city',              'varchar', 'NULL', $char_d, '', '',
+        'state',             'varchar', 'NULL', $char_d, '', '',
+        'country',              'char', 'NULL',       2, '', '',
+        'cert_contact',      'varchar', 'NULL', $char_d, '', '',
+      ],
+      'primary_key' => 'svcnum',
+      'unique' => [],
+      'index'  => [], #recnum
+    },
+
+    'svc_port' => {
+      'columns' => [
+        'svcnum',                'int',     '',      '', '', '', 
+        'serviceid', 'varchar', '', 64, '', '', #srvexport / reportfields
+      ],
+      'primary_key' => 'svcnum',
+      'unique' => [],
+      'index'  => [], #recnum
+    },
+
+    'areacode'  => {
+      'columns' => [
+        'areanum',   'serial',        '',      '', '', '',
+        'code',        'char',        '',       3, '', '', 
+        'country',     'char',    'NULL',       2, '', '',
+        'state',       'char',    'NULL',       2, '', '', 
+        'description','varchar',  'NULL',     255, '', '',
+      ], 
+      'primary_key' => 'areanum',
+      'unique' => [ [ 'areanum' ] ],
+      'index'  => [],
+    },
+
+    %{ tables_hashref_torrus() },
+
+    # tables of ours for doing torrus virtual port combining
+    'torrus_srvderive' => {
+      'columns' => [
+        'derivenum',     'serial',     '', '', '', '',
+        'serviceid',    'varchar',     '', 64, '', '', #srvexport / reportfields
+        'last_srv_date',   'date', 'NULL', '', '', '',
+      ],
+      'primary_key' => 'derivenum',
+      'unique' => [ ['serviceid'] ],
+      'index'  => [],
+    },
+
+    'torrus_srvderive_component' => {
+      'columns' => [
+        'componentnum', 'serial', '', '', '', '',
+        'derivenum',       'int', '', '', '', '',
+        'serviceid',   'varchar', '', 64, '', '', #srvexport / reportfields
+      ],
+      'primary_key' => 'componentnum',
+      'unique'      => [ [ 'derivenum', 'serviceid' ], ],
+      'index'       => [ [ 'derivenum', ], ],
+    },
+
+
     # name type nullability length default local
 
     #'new_table' => {