*** empty log message ***
[freeside.git] / TODO
1 $Id: TODO,v 1.34 1999-07-15 23:50:42 ivan Exp $
2
3 If you are interested in helping with any of these, please join the mailing
4 list (send a blank message to ivan-freeside-subscribe@sisd.com) to avoid 
5 duplication of effort.
6
7 ---
8
9 middle names and titles
10
11 On Wed, Jul 07, 1999 at 01:11:40PM -0400, Frank Nazario wrote:
12 > Playing and entering information to Freeside i encountered the following
13 > missing reports:
14
15 > View Customers by Agent
16
17 > View Pending Invoices
18
19
20 grep 'uncomment this to encrypt password immediately' site_perl/svc_acct.pm
21 Not to say that it shouldn't be a configurable option.
22
23 in site_perl/cust_main_invoice.pm (elsewhere?), error out if mydomain config file is gone
24 (at least until the idea of a default domain goes away)
25
26 FS::Record::qsearch does an eval every loop iteration (which is itself not
27 guaranteed to work across all DBD's and should be fixed).  This has got to be
28 slow.  Fix it.  (I think recent Perls might have a way to accept a variable
29 there, no eval needed?)
30
31 Could you have added /bin/sync, /sbin/shutdown, and /bin/halt to the
32 `shells' configuration file before importing, and removed them afterwords?
33 (even better if svc_acct.import did that automatically - it could just    
34 munge and restore @FS::svc_acct::shells... hmm.)
35
36 > BTW, Ivan, I am trying to verify in an additional database table that a
37 > particular user doesn't exist. This database is used to store email aliases a$
38 > additional POP boxes for our customers (kinda like AOL allows). I have toyed  
39 > with the idea of just writing the aliases to an email only svc_acct that
40 > doesn't write to the password file, but that isn't really how I want to do it.
41
42 Actually, I think that's a pretty good way to do it.  Cerkit contributed
43 support a little while back for svc_acct.pm and svc_acct.export for
44 multiple export targets.  It needs to be cleaned up and documented, which
45 I'll try to get to soon.  For this to work correctly, the svc_acct_sm
46 table should go away, along with the concept of a "default" domain.  
47
48 default setting for new packages should allow all agents to purchase them...
49 with a config file for the old behaviour
50
51 replace Term::Query  with Quiz::Question?
52
53 Check config file reading stuff from CPAN
54  
55 Authorizenet module from CPAN!
56
57 <http://www.math.fu-berlin.de/~leitner/mutt/faq.html> has a good y2k complience
58 statement!
59
60     I'm hoping Freeside can support arbitrailly complex pricing plans
61     because of a simple concept: all prices are perl expressions.  So if
62     you use `19.95' for example, perl evalates that to be `19.95'.  But if
63     you need to do a complex pricing scheme, you just need to write an
64     appropriate perl expression, which will most likely pull data from the
65     database to return pricing.  Some things will already log to SQL; for
66     example most RADIUS servers can or have a patch available.  Getting
67     Freeside to bill based on any sort of data then becomes a matter of
68     importing the data into the database.
69  
70     There are some issues involved with pro-rating, partial month charges,
71     that sort of thing.  Expressions will need a standard way to have the
72     applicable time/data ranges passed to them.  Also the expressions are
73     currently running under the Safe perl module, and the opmask might not
74     be right in all situations.  I'll try to spend some time working on
75     this if you are using it.
76
77 > 2. can customers view their bills on-line.                                    
78  
79 Not yet; it needs to be proxied from Freeside to a customer web server in
80 a secure way using something not completely unlike the fs_passwd,
81 fs_passwdd, fs_passwd_server trio.
82
83
84 > Lastly, if someone over pays on an invoice, the credit part does not flow
85 > over to other invoices..
86
87 The total balance flows over correctly, but individual payments don't.
88 The code you're looking for is in FS::cust_pay::insert
89
90 The question of what to do with overpayments that don't have another 
91 invoice to flow into (yet.. or possibly not) is still an open one.    The
92 legacy system Freeside replaced long ago had a separate place for this
93 (payments waiting for an invoice) for each customer, and it gave our
94 bookeeper fits.
95
96
97 option to relax username uniqueness in favor of username+domain or mail/shell
98 vs. radius to ease import for isp's with namespace problems or who buy others.
99
100 do i have to store anything for radius realms besides regular radius attributes
101 (which are handled fine now)?
102
103 warn or complain or something when invoice_from is empty (and we use it)
104
105 Right now Freeside uses the `freq' field of a package definition as a 
106 number of months.  The specific section of code you're looking for is in  
107 FS::cust_main::bill:
108         
109         #change this bit to use Date::Manip?
110         #$sdate=$cust_pkg->bill || time;
111         #$sdate=$cust_pkg->bill || $time;
112         $sdate = $cust_pkg->bill || $cust_pkg->setup || $time;
113         my ($sec,$min,$hour,$mday,$mon,$year) =
114           (localtime($sdate) )[0,1,2,3,4,5];
115         $mon += $part_pkg->getfield('freq');
116         until ( $mon < 12 ) { $mon -= 12; $year++; }
117         $cust_pkg->setfield('bill',
118           timelocal($sec,$min,$hour,$mday,$mon,$year));
119         $cust_pkg_mod_flag = 1;
120   
121 ..and when I went poking for this, looks like it tells us just what needs   
122 to be done!  Hehehe...
123
124 Date::Manip can handle cool things like "+ 1 month" (actually the current
125 case of /^(\d+)$/ would have to be added as a special case of "+ $1 
126 month") and "+ 30 days" (what you need) and even "+ 5 business days" !
127
128
129 On Wed, Apr 28, 1999 at 08:38:16PM +0000, Kristian Hoffmann wrote:
130 > I can't quite seem to figure out how this exporting works.  From what I
131 > understand, when you run svc_acct.export, it rewrites the /etc/passwd,
132 > /etc/shadow, etc. files.  Is this only for initial setups with the
133 > export hooks being in the pm's?
134  
135 You can use both, or just one method.  The configuration files control    
136 this.  One of the things in the TODO is to take out the last few things   
137 that aren't customizable wrt this and put them in config files.
138
139 http://www.daemonnews.org/199905/user-mgmt.html
140
141 Term::Query doesn't install out of the box from CPAN.  Fix it (and get it 
142 submitted upstream!), or remove requirement from bin/svc_acct.import and
143 bin/svc_acct_sm.import and take it out of the install instructions.
144
145 use this cool link to explain the Freeside API
146 ftp://cpan.nas.nasa.gov/pub/perl/CPAN/doc/FMTEYEWTK/easy_objects.html
147
148 Multiple tax rates by geographic region (county, state, and county) are   
149 supported; just choose View/Edit tax rates from the main menu.
150
151 Multiple tax rates by package are not (yet) supported.
152
153 On Wed, Jul 07, 1999 at 12:13:36PM -0400, Shaun Batterton wrote:
154 > How would you handle something like multiple tax rates and multiple   
155 > states?  For example in Connecticut, they just changed computer and/or
156 > data processing services to 3% (whatever that is), and everything else
157 > is 6%.
158
159
160 > Second, when trying to add a new user I get two types of errors; first one
161 > is when I place an e-mail address and select the "submit," Freeside
162 > complains with "Error: Unknown local account (specified literally)"
163 .  
164 You probably put a (local) email address in for email invoices.  Freeside
165 stores these as references to the database records, so (for example) they
166 follow username changes.
167 .
168 I'm guessing you put in the email address that you were creating, and got
169 that error because it didn't exist yet.  Sounds like a buglet to me.  I'll
170 try to fix that soon; in the meantime you can add the invoicing email 
171 address afterwords.
172
173 Postgres `money' time sucks rocks anyway.  I'll probably just require 6.5
174 and use the numeric types, which *finally* work right.
175 On Sat, Apr 24, 1999 at 12:52:00PM -0700, Mr. Poet wrote:
176 > Software error:
177 > Error creating cust_bill record: ERROR: parser:
178 > attribute 'charged' is of type 'money' but expression
179 > is of type 'float8' You will need to rewrite or cast 
180 > the expression ! Check updated but unbilled packages 
181 > for customer1
182 .
183 Postgres `money' time sucks rocks anyway.  I'll probably just require 6.5
184 and use the numeric types, which *finally* work right (well, according to 
185 the web site, anyway).
186 .
187 In the mean-time, this could probably be fixed with the reverse of        
188 the kludge in FS::Record::new.  This removes `$' and `,' from money fields
189 coming out of the database.  Something which fixed up the data so Postgres
190 was happy with it could go in FS::Record::_quote, for data going into the
191 database.
192
193 our data display problem might be a Freeside problem wrt not using 
194 Oracle-compatible DBI syntax (uses the return value from $sth->execute as
195 a number of rows).  Fixing this is on the TODO.
196
197 hooks for arbitrary commands out of configuration files
198 svc_acct.pm svc_acct_sm.pm etc.
199
200 Add this to a FAQ, along with doing it for middle names:
201
202
203 >  What I'm finding difficult is how to easily 
204 > customize fields.  For example, I am trying to add a "middle name" field
205 > to the Customer Edit, view, etc.  If I'm going about it right, it appears
206 > I have to edit the cust_main.cgi under edit and edit/process and the
207 > site_perl/cust_main.pm, as well as other things.  Perhaps you could shed
208 > some light on the best way of doing this.
209
210 You have the basic idea.  To implement that completely, I would:
211 - Add the new field to bin/fs-setup for new users
212 - Document the field in htdocs/docs/schema.html
213 - Document the change in a new file, htdocs/docs/upgrade4.html
214 * Run bin/dbdef-create
215 * Add the new field to edit/cust_main.cgi and edit/process/cust_main.cgi
216
217 For bonus points, I'd grep around for the various bits which use "$first 
218 $last" or "$last, $first" and replace them with a method call in cust_main.pm,
219  , like search/cust_main.cgi
220
221 document security model:
222 Don't forget about Apache usernames - since, via the mapsecrets file, each
223 user can login to the SQL database with a different username and
224 password, you can utitilize the security model of the SQL database as
225 well.  Also, each username here can point to a different configuration
226 directory where you could store user-specific configuration info.  Then   
227 you could link each username to one-to-many agents. 
228 (The web demo works using a trivial version of this.)
229
230 Yes, queue processing or the equivalent via checkpoint fields on various  
231 talbes (which you pick up via a pretty simple SELECT) would be really 
232 nice too.
233
234 default (and ordering) state/county/country config file
235 expand the
236 cust_main_county table to provide a preferred ordering, so the most common
237 entries would be at the top of the selection box.  automatically, based on
238 recent selections?
239
240 hmm... maybe svc_acct__shell should check off the legal shells list if
241 applicable?  yeah... cool.
242
243 payinfo field should me much larger than 16
244
245
246 [Mon Apr 12 20:31:21 1999] [error] [Mon Apr 12 20:31:21 1999] null: Error closing true: Broken pipe at /usr/local/lib/site_perl/FS/cust_main.pm line 615.
247
248 javascript (yuck!) "are you sure?" confirmation on cancelations, etc.
249 (view/cust_pkg and view/svc_*)
250
251 get rid of time2str("%D") which formats dates in a non-y2k-safe looking fashion
252 (all the actual date handling uses UNIX timestamps and is fine)
253
254 uncomment expire in view/cust_pkg.cgi and find the expire cron from fsold
255
256 (Test this)
257 one-time/per-customer/? changes in rates and descriptions ('remembered
258 invoices'): implement by creating a new package on the fly... but it isn't 
259 associated with any agent types so it won't show up for other customers to buy.
260 (but also... make sure they go away when the customer does! - need this? :
261  one-off package edits! : need a cust_pkgs or cust_part_pkgs or something table,
262  with custnum and partpkg (like type_pkgs)
263 (what happens if you hit "custom pricing" but the pricing is already custom?)
264
265 Lay out any remaining ugly forms better.
266
267 remove "records identical" warning?  gets in the way of more important stuff.
268 or fix logic which tries to update identical records??
269 1.2 should be quiet enough that the error log is useful, hopefully.
270
271 Postgres has a maximum column length of 31 characters (but see NAMEDATALEN in
272 postgres_ext.h).  part_svc has columns like: svc_acct__radius_Attribute_flag
273 (22 characters!)  It seems that stuff over the limit is silently ignored,
274 so we get 4 characters back.  So, Radius_Attributes are max 13 characters with
275 stock Postgres.  see rfc2138 for what's affected
276 What's a good fix?  (besides recompiling postgres with NAMEDATALEN 64)
277 (mysql has a 64 character max column length.  others?)
278
279 [Mon Mar 29 06:57:56 1999] -e: Use of uninitialized value at /usr/lib/perl5/Date/Format.pm line 333.
280 (when sending mail in cust_main.pm::bill or svc_domain.pm)
281
282 look at DBIx::Recordset!  (and Tie::DBI, and...)
283
284 undefined conf/lpr gives this uninfomative error:
285 [Fri Feb 26 16:42:36 1999] bill.cgi: Can't do bidirectional pipe at
286 /usr/lib/per
287 l5/site_perl/FS/cust_main.pm line 629.
288 [Fri Feb 26 16:42:38 1999] bill.cgi: Error closing : Broken pipe at
289 /usr/lib/per
290 l5/site_perl/FS/cust_main.pm line 631.
291 So give a meaningful error!
292
293 password and slipip stuff in svc_acct.pm store need to be split into two fields or something, so the silliness in svc_acct.pm and svc_acct.export with looking at the data to decide what to do with it can be fixed
294
295 i10n: Apache::Language
296
297 Apache::Session?  Other useful Apache::* ?
298
299 email invoices are only sent for the BILL payby.  If setup, should statements
300 (since they're not invoices) be sent for COMP and CARD as well?
301
302 $cgi->keywords is causing the (hard to trace) error:
303         Use of uninitialized value at (eval 5) line 5
304
305 edit/cust_main.cgi gives an uninformative error message:
306 > Can't call method "agentnum" without a package or object reference at   
307 > /usr/local/apache-ssl/htdocs/freeside/edit/cust_main.cgi line 116.
308 if there are no agents.
309
310 (is this missing on any web screens?  (easy with $cust_svc->label)
311 Add the ability for services to filter information up to the package level
312 for web screens, so you can select a particlar package based
313 on username or domain name, etc.
314
315 Allow a cancelled/suspended/active status from packages to bubble up to
316 the customer lists.  Put active, then suspended, then cancelled accounts.
317 Similar ordering on the package listing inside a single customer.
318
319 false laziness: edit/cust_main.cgi got some parts copied from edit/svc_acct.cgi
320 the web interface in general needs to be redone in a more abstract way.
321
322 false laziness: some of search/svc_acct_sm.cgi was copied to search/svc_domain.cgi.  but web interface in general needs to be rewritten in a mucho cleaner way.
323
324 Portability: in FS::Record, $sth->execute does not return a number of rows for all DBD's.  see man DBI
325
326 subroutine the where clause (eventually all SQL) as OO perhaps (has anyone done this?)
327
328 add a select method to FS::Record?
329
330 one-time/per-customer/? changes in rates and descriptions ('remembered
331 invoices'): implement by creating a new package on the fly... but it isn't 
332 associated with any agent types so it won't show up for other customers to buy.
333 (but also... make sure they go away when the customer does! - need this? :
334  one-off package edits! : need a cust_pkgs or cust_part_pkgs or something table,
335  with custnum and partpkg (like type_pkgs)
336 (what happens if you hit "custom pricing" but the pricing is already custom?)
337
338 You can't delete the stuff under administration yet.  Add this,
339 _including_ making sure the thing you are deleting is not in use!
340
341 add links on view/cust_main.cgi to setup services, like view/cust_pkg.cgi
342
343 FS::cust_pkg _require_'s FS::$svc, but this won't work with %FS::UID::callback
344 loading of configuration.  (pry need same idea, but will run immediately if
345 context allows).  Looks like error is masked by 'use FS::cust_svc' which in
346 turn 'use's FS::{svc_acct, svc_acct_sm, svc_domain}' which is now explicit
347 w/comments in source
348
349 Allow a cancelled/suspended/active status from packages to bubble up to
350 the customer lists.  Put active, then suspended, then cancelled accounts.
351 Similar ordering on the package listing inside a single customer.
352
353 svc_domain.pm mail sending uses Date::Format which doesn't seem to pick up 
354 correct timezone.
355
356 view/svc_domain.cgi needs to know the domain might be unaudited (cosmetic)
357
358 remove whois_hack set to 1 for svc_domain.pm?  add all known registries and
359 whois accordingly.
360 .us domains and others!
361 site_perl/svc_domain.cgi (hmm... or maybe should have a button?  or maybe svc_domain.pm should handle this) should set $whois_hack for non-internic domains, so you can add them...
362
363 turn on the depriciation warnings for [e]idiot in FS::CGI. Stop using [e]idiot
364 the last places it is (htdocs/search/ htdocs/misc/ htdocs/misc/process)
365
366 (test cust_main.pm with cybercash v2 and v3, especially with the callback
367  stuff AND with mod_perl w/cybercash v2 kludge in package main)
368 (callback stuff should be eliminated by now)
369
370 bah, table/itable/*table in FS::CGI is silly.
371
372 doc Apache::AuthDBI as well
373 ..
374 Provide sample httpd.conf files.
375
376 hey look: Tie::DBI!  Check that out.  Override its commit with something that
377 does perl-side caching for ? a performance improvement and as an emulation
378 layer to plug in f.ex mysql's atomic transactions
379 ..
380 Record.pm uses does some non-portable DBI things.  MySQL and Pg seem fine.
381 Fix it anyway unless we migrate to Tie::DBI.
382
383 faq
384
385 cust_bill.pm uses '==' comparison on dates because they're currently ints
386
387 config file for allowed card types
388
389 write instructions for adding new services w/svc_Common.pm.  Get rid of all
390 places where svc_* tables are hardcoded (rename svc_acct_pop to part_pop so
391 we can do that)
392
393 test and document libapache-dbi-logger (woo!)
394
395 radius logfile parsing and perl expression check.
396
397 Fix in cust_bill BUGS: 
398 There is an off-by-one error in print_text which causes a visual error (Page 1
399 of 2 printed on some single-page invoices).
400
401 fields should be a method against a FS::Record or derived object, as well as
402 being something you can call as FS::Record::fields('tablename').  Might
403 even be able to handle both in the same routine (that would be neato).
404
405 Immediate removal of incorrectly entered check payments (can't take too
406 long to do this, or accounting is fubared).
407
408 Add code to move from one service to another (POP to SLIP/PPP, etc.).
409 This _should_ be possible by working off the rules in part_svc rather than
410 hardcoding anything in.  The rules in part_svc may need some elaboration,
411 perhaps.
412
413 Use ut_ FS::Record methods in all derived classes (possibly some from dbdef?... eventually all from dbdef??? - but then `dbdef-create' would be impossible as there would be metadata we couldn't ask the backend for.  hmm.)
414
415 (bring back from fsold, ) Generalize config-sending stuff and make more configurable.
416 Expand the HylaFAX interface (also possibly generalize for other fax
417 softwar ie .comfaxe); allow things like arbitrary faxes of sales
418 literature, specific troubleshooting documents and so on.  Maybe even
419 allow users to do this (though that might not belong in Freeside).
420 misc/sendconfig.cgi
421 misc/process/sendconfig.cgi
422 Configure fax recipients via a separate box rather than using the finger
423 name or first+last from cust_main.
424
425 move all phone number logic out of Freeside - let HylaFAX or whatever
426 handle it.
427
428 soundex searches for customer name and company?  where are free soundex tools? (standard Text::Soundex duh) - I could have sworn I saw Text::Soundex on CPAN?!
429
430 should be able to link on some field in email alias (right now you can link
431 on username or domain with a fallback to svcnum)
432
433 generalize and make configurable new invoice printing scheme in FS::cust_main::collect (past due)
434
435 deleting an svc_domain should delete all associated svc_acct_sm records.
436 same with a svc_acct.
437
438 periodic password encrypter
439
440 Automated, configurable notification, suspension and cancellation of
441 defunct accounts.
442 ...
443 expire cron job
444 ...
445 Allow for a future setup date on accounts.
446
447 sub AUTOLOAD in FS::Record should warn? die? if used with a non-existant column
448 name?
449
450 edit (not just import, export and allow default/fixed) arbitrary radius stuff
451 in svc_acct
452 edit/svc_acct.cgi and edit/process/svc_acct.cgi should deal with arbitrary radius stuff
453
454 radius import should take DEFAULT entry and put it in /var/spool/freeside/conf/radius-default ; svc_acct.export should use it (and doc)
455
456 in UI, s/State/State\/Provence/go and s/County/County\/Locality/go
457
458 what else (besides l10n) for i18n? (money!)
459
460 audit htdocs/* for things that should be libraried and things that should be
461 new methods on the objects (need to do this before implementing a new UI)
462 all the big things are done
463
464 some places we die() where we should &FS::CGI::idiot (and perhaps vice-versa).
465 Decide based on whether or not the "error" should show up in logs.
466
467 all .cgi's should use standard header/footer and idiot() subroutines.  maybe HTML:: perl modules
468 for HTML creation.  Maybe Embperl or something along those lines.  ?
469
470 When running bin/bill, Fix this (Annoying but harmless):
471 Use of uninitialized value at /usr/local/lib/site_perl/FS/cust_pkg.pm line 99, <ADDRESS> chunk 4.
472 Use of uninitialized value at /usr/local/lib/site_perl/FS/cust_pkg.pm line 102, <ADDRESS> chunk 4.
473 Use of uninitialized value at /usr/local/lib/site_perl/FS/cust_pkg.pm line 105, <ADDRESS> chunk 4.
474
475 all cgi (but internal to the isp) places where package names are listed should also have
476 comment (like agent_type)
477
478 clean up $recref and other silliness and use -> calls where possible, or
479 one other alternative.  clean up everything else.
480 should FS::Record use Tie::Hash?  That would be very clean, but where do we
481 store the other information?  Maybe you could ask any FS::Record object for a
482 tied hash?
483
484 change all file access from regular open(FILE,) stuff to OO, because of 
485 problems scoping and passing filehandles like that.
486
487 the web interface should create a new object and use it instead of a blank
488 form for new records.  the create method of svc_ objects should set defaults
489 (from part_svc).
490
491 sub check in man FS::table_name should be rewriteen.  Get rid of $recref
492 stuff.  Make sure all fields that refer to other database are checked.
493
494 Integration with signup disks (are there any free ones?  Netscape?).
495
496 One-button cancel (+refund) for lusers who can't get online.
497
498 Keep information on virtual web servers (hostname, IP, host machine,
499 directory, etc.) and export this information for importation into the ISPs
500 web farm. 
501
502 Remove requirement that the first mail alias be the catchall?  Still make
503 sure only one catchall per domain is defined in any case, of course. 
504
505 Ability to move cust_pkg records from one customer to another? (proably
506 will need to cancel the old and create a new like when we move services
507 between packages). 
508
509 Auto-increment expired cards one year, and try again?
510
511 More non-US stuff - zip codes, country codes, foreign currencies, etc.
512
513 cust_refund.{cgi.pm} need to do cards xaxtions.  (now we only have cust_credit)
514
515 Nicer set of integrated reporting possibilities, like weekly sales totals
516 by customer, package, agent, referral, etc., aging reports sorted by lots
517 of different things, and so on.
518
519 Client/server setup for users to modify their own passwords, shells, etc,
520 via passwd or secure web interface (prelminary passwd/chfn/chsh
521 replacement done).  Complicated by the fact that we don't want to allow
522 incoming connections to the machine running Freeside, so we probably need
523 to have a daemon on each external shell or web machine that is contacted
524 by the Freeside machine.  Be very very careful for both traditional
525 security issues and DoS problems. 
526
527 An extension of the above to allow users to modify selected parts of their
528 own information, order and cancel services.  A web interface for new
529 customers.
530
531 Expand domain name stuff to house all domain information.  Export
532 named.boot/named.conf (primary and secondary) and named.{domain} files.
533 Add more registries (not just InterNIC's com org net edu)
534
535 Nice postscript paper invoices, rather than current ASCII invoices.
536
537 think about race-condititions in FS::Record and derived ->check ->insert
538 and so on, uid and username checks in svc_acct, etc.
539
540 Move to rsync over ssh file exportation rather than scp.
541
542 check 'n fix the proactive password checker. (cracklib?)
543
544 refunds of "BILL" payments: generate pseudo-check.
545
546 write batch senders and batch parsers for the different credit card processors
547 people use/
548 More CC processors/methods.
549
550 you should be able to fiddle the setup date in cust_pkg. (at least initially)
551
552 delete options in administration section
553
554 write a generic batch senders and batch parsers.
555
556 need a way to override svc_acct export on a per-machine basis; just use config files based on machine name i suppose; document that. (no, import desync_hosts
557 type stuff from cerkit)
558 ...
559 add a table with column of export services (passwd, shadow, master.passwd, .qmail file update, dns update, etc.) and rows machine groups and whether or not to export that (and any necessary parameters).  wasn't matt (vunderkid, not matt@michweb) working on this?  find him?  each machine goes in a group of its own as well as a group based on function.  add a table with only svcpart and machine group.  now, when you import from each machine, it can get its own accounts with one svcpart and universal accounts with another svcpart.  (though that does make the username duplicate checking more interesting)
560
561 you should be able to get column types as a method against an FS::Record object
562 as well as dbdef->table($table)->column($column)->type
563
564 move to perl module for fuzzy and soundex searching.
565
566 package view needs to list extraneous services; we need to prevent the
567 creation of them so this never happens (and mark it as such in the source)
568 (the creation problem should be fixed - though they will still happen if people
569 fsck around in the data manually, so list them anyway)
570
571 add attribute dictionary to fs-setup as a menu, plus analyze users file to
572 decide automatically
573
574 Check for and report on duplicate billing accounts (cust_main, though many
575 will have a need for these so probably don't disable them outright.)
576
577 create a ->warn as well as a ->check method for all FS::table classes?
578 (see above)
579
580 something to automate making a release and updating the web demo
581
582 export a debian-style (also redhat and?) /etc/group file aswell!
583
584 svc_acct_sm.import qmail import should pull in recipientmap people too.
585
586 .pm's like svc_acct.pm which need to do time-consuming things like ssh remotely
587 should fork and do them in a child.
588
589 i18n/l10n: take ALL messages and catalog them in english.txt or in database or something, so we can eventually go int'l.  int'l currency support would be a help aswell.
590
591 get some of { city, county, state, zip } from the missing bits if
592 possible (where can i get the data to do this?  usps.gov?)
593
594 additional interfaces (perltk?  java?)
595
596 Put the GPL notice in all files.
597
598 integrate w/IDEA's signup server
599
600 $cust_bill->owed database field to be eliminated, replaced by a method call
601 that calculates on the fly.  make sure to grep for ->(get|set)field('owed') 
602 same for cust_credit->credited
603
604 Export quota information.
605
606 move all configuration to a central place.  maybe in blob's in the
607 database.  maybe even things like the code to execute when a username is
608 changed can be in there, so less of the distributed scripts change between
609 different sites.
610
611 Implement setup and recurring fees as Safe perl expressions rather than
612 numbers, to allow for variable-rate services.  Backwards compatibility is
613 obtained because { 43 } in perl is still 43.  :)  Define API to pass
614 starting and ending dates and any other necessary data to expression
615 (fees are currently evaluated as Safe expressions but more work needs to
616 be done to define an opmask for various needs, write examples
617 (usage-based billing, etc.) and so on).
618 ...
619 Add the ability to modify the next billing date in cust_pkg, and take
620 appropriate action.  This will allow the implementation of pro-rate/1st of
621 the month billing as well as the ability to manually fiddle with
622 anniversary dates in cust_pkg, so you can sync a customer's anniversary
623 date even if you're using anniversary billing (manually or automatically).
624 (now with above, we need to have a way to automatically pro-rate /^(\d+)$/
625 charges - anything more complicated should figure it out itself given
626 starting and ending dates [document that!])
627 ...
628 Daily Radius log parsing into database; other logfile formats?
629 ...
630 Callbacks to enforce hourly limits on accounts (suspend until the end of
631 the billing period?), for those who limit customers rather than tack on
632 extra charges.
633
634 Flag packages (part_pkg) as taxable or non/taxable as some ISPs (for
635 example) need to charge tax on equipment but not service (separate flags
636 for setup and recurring fee... or perhaps a setup_tax, setup_notax,
637 recur_tax and recur_notax fees, and possibly something more flexible if
638 there is need).
639
640 Allow for a variable number of invoices for customers who need multiple
641 copies.
642
643 Add a mail alias service with table svc_acct (not domain mail aliasing
644 which is domain with svc_acct_sm)
645
646 (bring back from fsold) Change customer comment field from its current kludge to something more
647 workable.
648
649 Better work orders with more information.  Should eventually open a ticket
650 when we have such a thing.
651 edit/svc_wo.cgi
652 edit/process/svc_wo.cgi
653 Call tracking and trouble tickets.
654
655 More accoutability for complimentary accounts: approval, expiration, term
656 (no more than x months in advance) and notification.
657 Flag particular users (or all users, for that matter) as having their
658 passwords hidden and/or locked from users of Freeside (maybe need Freeside
659 security levels first?). 
660 ...
661 Better Freeside-level configurable access, for those ISP's who have
662 employees they can't trust.  Right now you're "stuck" with setting up
663 .htaccess stuff yourself.  This should really just be integrated. 
664
665 configuration/setup should get web interface
666 ...
667 /usr/local/etc/freeside should be configurable
668 ...
669 (probably as part of some automated installation process?)
670
671 This requires some serious magic in FS::Record:
672 ok, if date_type in fs-setup is to be something besides int,
673 now we need to create wrappers
674 for them so they behave identically across RDBMS's, ie date pops out as as
675 UNIX timestamp (or an object of some sort? maybe even a blessed $obj which
676 is a string not a hashref for backwards compatibility?) and so on. (remember
677 to treat '0' as Not a Date instead of 1/1/70.
678
679 Add Freeside-level transactions for RDBMS's which don't support
680 transcations?  (Currently we assume a minimal RDBMS which has no rollback,
681 transactions or atomic updates).  Or just require a RDBMS that supports
682 rollback and/or atomic updates and get rid of the work-arounds?  The /rdb
683 interface had this kludge on top of it but is a technical dead-end in most
684 other ways, unless it can gain an SQL parser and DBD interface.
685 ...
686 if i'm really bored, find the /rdb interface in fsold and port it to NoSQL,
687 and while I'm add it add interfaces for AnyDBM_File tied hash.. hmm.  Shouldn't
688 an FS::Record have something to do with a tied hash?  But we don't want
689 performance to go gaga... maybe something with commit to help out here?
690 ...
691 Ok: FS::Record gives you a tied hash, and you get methods for commit, etc.
692
693 Better automated comparison of our CC records with processors (CyberCash,
694 at least, has not always had 100% accuracy, though recent versions are
695 much better) 
696
697 Expect or other pty based login check, where we actually connect to a
698 terminal server or shell machine and test logging in as the user (if we
699 are keeping a cleartext password for that user)  (This is something tech
700 support often needs for new customers)
701
702 Use cust_main table for pre-sales tracking as well?
703
704 Automatic commision report and check generation via freq and prog (to
705 become a Safe perl expression) fields in agent table, and possibly others.
706
707 Database and add a mailed-out date and method for disk/CD mailing, so a
708 customer can call and you can say, "sent on xx/xx/xx via {US Mail, Fedex,
709 UPS, etc}" 
710
711 Inventory tracking for physical items such as routers (for sale or
712 lease... probably doesn't make a difference in the ordering... but if you
713 cancel a router lease the inventory should come back.  hmm.)
714
715 -- Matt's wishlist ---
716
717 From matt@michweb.net Fri Feb 20 16:39:53 1998
718 Date: Thu, 19 Feb 1998 23:20:11 -0500
719 From: Matt Simerson <matt@michweb.net>
720 Reply-To: quadran-developer@netgoth.com
721 To: quadran-developer@netgoth.com
722 Subject: Re: Welcome to quadran-developer
723
724 >Whats it based on and what is it supposed to do?  I'm interested, but
725 >unfortunatly, I don't have that much time to help on the project (I'm busily
726 >working on one of my own based around MySQL and Qt right now -- don't know
727 >if it will be GPL'ed or not yet -- we'll probably just use it in house since
728 >it is designed around our system)...
729
730 That's what I set out to find, but didn't find anything on the web site.
731 I'm looking for something that will do the following:
732
733 Single point of entry for users on a secure system:
734         Creates account on user (public) systems
735                 update /etc/passwd/master.passwd file
736                 update radius database (if necessary)
737         Set up up disk quotas (although I hacked adduser to do this)
738         Option for adding user to a mailing list(s)
739         Export of new user info to customizable report (for automated entry
740 into
741                 accounting software, etc...)
742
743 Automated billing:
744         Export credit card info for batch processing and have hooks built
745                 in for other forms of electronic processing.
746         Batch-Payment (apply payments from formatted text file).
747         Customizable reports for manual entry/importing into Accounting
748 software
749         Email or laser print invoices
750         Sanity checks credit card numbers before processing (code available)
751
752 Simple method for disabling an account.
753         Arbitrary Expiration Dates (on a given day, in x days)
754         Remove from radius.
755         Changing password to '*'
756         Virtual customers disabling dns, http server, log processing, etc..
757
758 Billing for different account types:
759         Dialup monthly flat rate. Prorates for partial months.
760         Dialup monthly flat rate for x hours + hourly usage.
761         Dialup email only
762         Email only accounts
763         Virtual Web accounts - w/multiple mailboxes
764         Leased line accounts
765         Disk space used over quota.
766         Tech support minimum + hourly charges
767         Other for misc stuff (modem, RAM, etc...)
768
769 Per user definable RADIUS attributes (ties in with above)
770         Fixed IP
771         Simultaneous Use
772         IP filters (for dialup email only)
773
774 Keep logs of modem usage generated daily from radius accounting logs stored
775 on multiple radius servers.
776
777 Keep logs of disk usage generated from quota.
778
779 Method of adding virtual domains to your system:
780         Automatically grabs an IP address from a preassigned pool.
781         Creates a domain.com database file from database fields
782         Updates /etc/named.conf or /etc/named.boot and reloads named.
783         Add's virtual.com to /etc/sendmail.cw or qmail control files.
784         Edits your web servers httpd.conf file and restarts http server.
785         An optional section for adding vif's can be added if the users OS
786                 supports adding them on the fly. Otherwise it's up to the end
787                 user. Make a hook that can run a custom script that the user
788                 tweaks for his system.
789         Update or create the config file your web stats analyzer needs. I've
790                 done this for analog (free) and http-analyze. Probably
791                 should only officially support analog and let users hack
792                 it to their hearts desire.
793 I've already written scripts that do most of the virtual web stuff on my
794 system...in bash. Shouldn't be hard for a perlmeister to convert. In fact,
795 as long as all the info was stored in the database (username, domain name,
796 and ip pool) this could easily just be run as an external script that the
797 user tweaks to match his system.
798
799 We use a great accounting software (M.Y.O.B) that does all the AP, AR,
800 Payroll, Tax stuff, and most everything else we could need. It's already
801 set up for the type of checks we have, etc, etc... I just need something to
802 do the billing part. I can import/export sales and payments directly once
803 the billing part is done. You can't write accounting software as good as
804 M.Y.O.B. for $120.
805
806