add priority to job queue so billing jobs don't don't drown out provisioning jobs
[freeside.git] / FS / bin / freeside-queued
index a3fb7e5..8c07638 100644 (file)
@@ -1,57 +1,36 @@
 #!/usr/bin/perl -w
 
 use strict;
-use vars qw( $log_file $sigterm $sigint $kids $max_kids %kids );
-use subs qw( _die _logmsg );
-use Fcntl qw(:flock);
-use POSIX qw(:sys_wait_h setsid);
-use Date::Format;
+use vars qw( $DEBUG $kids $max_kids %kids );
+use POSIX qw(:sys_wait_h);
 use IO::File;
 use FS::UID qw(adminsuidsetup forksuidsetup driver_name dbh myconnect);
+use FS::Daemon qw(daemonize1 drop_root logfile daemonize2 sigint sigterm);
 use FS::Record qw(qsearch qsearchs);
 use FS::queue;
 use FS::queue_depend;
 
-# no autoloading just yet
-use FS::cust_main;
-use FS::svc_acct;
+# no autoloading for non-FS classes...
 use Net::SSH 0.07;
-use FS::part_export;
+
+$DEBUG = 0;
 
 $max_kids = '10'; #guess it should be a config file...
 $kids = 0;
 
 my $user = shift or die &usage;
 
-#my $pid_file = "/var/run/freeside-queued.$user.pid";
-my $pid_file = "/var/run/freeside-queued.pid";
-
-&daemonize1;
-
-#sub REAPER { my $pid = wait; $SIG{CHLD} = \&REAPER; $kids--; }
-#$SIG{CHLD} =  \&REAPER;
+warn "starting daemonization (forking)\n" if $DEBUG;
+#daemonize1('freeside-queued',$user); #to keep pid files unique w/multi installs
+daemonize1('freeside-queued');
 
-$sigterm = 0;
-$sigint = 0;
-$SIG{INT} = sub { warn "SIGINT received; shutting down\n"; $sigint++; };
-$SIG{TERM} = sub { warn "SIGTERM received; shutting down\n"; $sigterm++; };
+warn "dropping privledges\n" if $DEBUG;
+drop_root();
 
-my $freeside_gid = scalar(getgrnam('freeside'))
-  or die "can't setgid to freeside group\n";
-$) = $freeside_gid;
-$( = $freeside_gid;
-#if freebsd can't setuid(), presumably it can't setgid() either.  grr fleabsd
-($(,$)) = ($),$();
-$) = $freeside_gid;
-
-$> = $FS::UID::freeside_uid;
-$< = $FS::UID::freeside_uid;
-#freebsd is sofa king broken, won't setuid()
-($<,$>) = ($>,$<);
-$> = $FS::UID::freeside_uid;
 
 $ENV{HOME} = (getpwuid($>))[7]; #for ssh
 
+warn "connecting to database\n" if $DEBUG;
 $@ = 'not connected';
 while ( $@ ) {
   eval { adminsuidsetup $user; };
@@ -62,14 +41,12 @@ while ( $@ ) {
   }
 }
 
-$log_file = "/usr/local/etc/freeside/queuelog.". $FS::UID::datasrc;
-
-&daemonize2;
+logfile( "%%%FREESIDE_LOG%%%/queuelog.". $FS::UID::datasrc );
 
-$SIG{__DIE__} = \&_die;
-$SIG{__WARN__} = \&_logmsg;
+warn "completing daemonization (detaching))\n" if $DEBUG;
+daemonize2();
 
-warn "freeside-queued starting\n";
+#--
 
 my $warnkids=0;
 while (1) {
@@ -104,22 +81,22 @@ while (1) {
   #  local $FS::UID::AutoCommit = 0;
   $FS::UID::AutoCommit = 0;
 
-  #assuming mysql 4.1 w/subqueries now
-  #my $nodepend = driver_name eq 'mysql'
-  # ? ''
-  # : 'AND 0 = ( SELECT COUNT(*) FROM queue_depend'.
-  #   ' WHERE queue_depend.jobnum = queue.jobnum ) ';
   my $nodepend = 'AND 0 = ( SELECT COUNT(*) FROM queue_depend'.
-                 '           WHERE queue_depend.jobnum = queue.jobnum ) ';
-
-  my $job = qsearchs(
-    'queue',
-    { 'status' => 'new' },
-    '',
-    driver_name eq 'mysql'
-      ? "$nodepend ORDER BY jobnum LIMIT 1 FOR UPDATE"
-      : "$nodepend ORDER BY jobnum FOR UPDATE LIMIT 1"
-  ) or do {
+                 '           WHERE queue_depend.jobnum = queue.jobnum )';
+
+  #anything with a priority goes after stuff without one
+  my $order_by = ' ORDER BY COALESCE(priority,0) ASC, jobnum ASC ';
+
+  $order_by .= ( driver_name eq 'mysql'
+                   ? ' LIMIT 1 FOR UPDATE '
+                   : ' FOR UPDATE LIMIT 1 ' );
+
+  my $job = qsearchs({
+    'table'     => 'queue',
+    'hashref'   => { 'status' => 'new' },
+    'extra_sql' => $nodepend,
+    'order_by'  => $order_by,
+  }) or do {
     # if $oldAutoCommit {
     dbh->commit or do {
       warn "WARNING: database error, closing connection: ". dbh->errstr;
@@ -127,18 +104,10 @@ while (1) {
       next;
     };
     # }
-    sleep 5; #connecting to db is expensive
+    sleep 1;
     next;
   };
 
-  #assuming mysql 4.1 w/subqueries now
-  #if ( driver_name eq 'mysql'
-  #     && qsearch('queue_depend', { 'jobnum' => $job->jobnum } ) ) {
-  #  dbh->commit or die dbh->errstr; #if $oldAutoCommit;
-  #  sleep 5; #would be better if mysql could do everything in query above
-  #  next;
-  #}
-
   my %hash = $job->hash;
   $hash{'status'} = 'locked';
   my $ljob = new FS::queue ( \%hash );
@@ -187,7 +156,7 @@ while (1) {
 
     #auto-use classes...
     #if ( $ljob->job =~ /(FS::part_export::\w+)::/ ) {
-    if (    $ljob->job =~ /(FS::part_export::\w+)::/
+    if (    $ljob->job =~ /(FS::(part_export|cust_main)::\w+)::/
          || $ljob->job =~ /(FS::\w+)::/
        )
     {
@@ -206,7 +175,7 @@ while (1) {
     }
 
     my $eval = "&". $ljob->job. '(@args);';
-    warn "running $eval";
+    warn 'running "&'. $ljob->job. '('. join(', ', @args). ")\n" if $DEBUG;
     eval $eval; #throw away return value?  suppose so
     if ( $@ ) {
       warn "job $eval failed";
@@ -225,11 +194,11 @@ while (1) {
   }
 
 } continue {
-  if ( $sigterm ) {
+  if ( sigterm() ) {
     warn "received TERM signal; exiting\n";
     exit;
   }
-  if ( $sigint ) {
+  if ( sigint() ) {
     warn "received INT signal; exiting\n";
     exit;
   }
@@ -239,48 +208,6 @@ sub usage {
   die "Usage:\n\n  freeside-queued user\n";
 }
 
-sub _die {
-  my $msg = shift;
-  unlink $pid_file if -e $pid_file;
-  _logmsg($msg);
-}
-
-sub _logmsg {
-  chomp( my $msg = shift );
-  my $log = new IO::File ">>$log_file";
-  flock($log, LOCK_EX);
-  seek($log, 0, 2);
-  print $log "[". time2str("%a %b %e %T %Y",time). "] [$$] $msg\n";
-  flock($log, LOCK_UN);
-  close $log;
-}
-
-sub daemonize1 {
-
-  chdir "/" or die "Can't chdir to /: $!";
-  open STDIN, '/dev/null'   or die "Can't read /dev/null: $!";
-  defined(my $pid = fork) or die "Can't fork: $!";
-  if ( $pid ) {
-    print "freeside-queued started with pid $pid\n"; #logging to $log_file\n";
-    exit unless $pid_file;
-    my $pidfh = new IO::File ">$pid_file" or exit;
-    print $pidfh "$pid\n";
-    exit;
-  }
-  #open STDOUT, '>/dev/null'
-  #                          or die "Can't write to /dev/null: $!";
-  #setsid                  or die "Can't start a new session: $!";
-  #open STDERR, '>&STDOUT' or die "Can't dup stdout: $!";
-
-}
-
-sub daemonize2 {
-  open STDOUT, '>/dev/null'
-                            or die "Can't write to /dev/null: $!";
-  setsid                  or die "Can't start a new session: $!";
-  open STDERR, '>&STDOUT' or die "Can't dup stdout: $!";
-}
-
 sub reap_kids {
   foreach my $pid ( keys %kids ) {
     my $kid = waitpid($pid, WNOHANG);