*** empty log message ***
[freeside.git] / TODO
1 $Id: TODO,v 1.38 1999-08-27 06:25:56 ivan Exp $
2
3 If you are interested in helping with any of these, please join the mailing
4 list (send a blank message to ivan-freeside-subscribe@sisd.com) to avoid 
5 duplication of effort.
6
7 ---
8
9 > So is there anyway it could be setup to allow you to select a "primary
10 > service" from each package?  This service would be the one you were prompted
11 > for.  Could the signup server then be expanded to allow users to go into
12 > their package and "turn-on" the remaining non-primary services(using the
13 > primary account.)
14
15 take the GPL'ed whois proxy stuff at www.geektools.com and turn it into
16 intelligence for Net::Whois.
17
18 A web version of the fs_passwd stuff would be nifty.   
19
20 If you have Cistron authenticating directly from MySQL, you can replicate
21 in real-time instead of exporting periodically.  See 
22 <http://www.mysql.com/Manual_chapter/manual_Common_problems.html#Replication>.
23
24 these go in docs:
25 <http://www.sisd.com/freeside/list-archive/msg00546.html>, and
26 <http://www.sisd.com/freeside/list-archive/msg00554.html>
27
28 and http://www.sisd.com/freeside/list-archive/msg00423.html
29
30 > > 5: Is there anyway to get freeside to send a sysadmin a warning when a
31 > > credit card has expired?
32 No, but there should be.
33
34 Put this in the doc (quoting Mark Wells <mark@pc-intouch.com>):
35 >Of course, thanks to the sheer coolness of SQL and MyODBC, you can do
36 >whatever reports you want in basically whatever application you want.
37 >There's no need for Freeside itself to do any reports at all.
38
39 middle names and titles
40
41 On Wed, Jul 07, 1999 at 01:11:40PM -0400, Frank Nazario wrote:
42 > Playing and entering information to Freeside i encountered the following
43 > missing reports:
44
45 > View Customers by Agent
46
47 > View Pending Invoices
48
49
50 grep 'uncomment this to encrypt password immediately' site_perl/svc_acct.pm
51 Not to say that it shouldn't be a configurable option.
52
53 in site_perl/cust_main_invoice.pm (elsewhere?), error out if mydomain config file is gone
54 (at least until the idea of a default domain goes away)
55
56 FS::Record::qsearch does an eval every loop iteration (which is itself not
57 guaranteed to work across all DBD's and should be fixed).  This has got to be
58 slow.  Fix it.  (I think recent Perls might have a way to accept a variable
59 there, no eval needed?)
60
61 Could you have added /bin/sync, /sbin/shutdown, and /bin/halt to the
62 `shells' configuration file before importing, and removed them afterwords?
63 (even better if svc_acct.import did that automatically - it could just    
64 munge and restore @FS::svc_acct::shells... hmm.)
65
66 > BTW, Ivan, I am trying to verify in an additional database table that a
67 > particular user doesn't exist. This database is used to store email aliases a$
68 > additional POP boxes for our customers (kinda like AOL allows). I have toyed  
69 > with the idea of just writing the aliases to an email only svc_acct that
70 > doesn't write to the password file, but that isn't really how I want to do it.
71
72 Actually, I think that's a pretty good way to do it.  Cerkit contributed
73 support a little while back for svc_acct.pm and svc_acct.export for
74 multiple export targets.  It needs to be cleaned up and documented, which
75 I'll try to get to soon.  For this to work correctly, the svc_acct_sm
76 table should go away, along with the concept of a "default" domain.  
77
78 default setting for new packages should allow all agents to purchase them...
79 with a config file for the old behaviour
80
81 replace Term::Query  with Quiz::Question?
82
83 Check config file reading stuff from CPAN
84  
85 Authorizenet module from CPAN!
86
87 <http://www.math.fu-berlin.de/~leitner/mutt/faq.html> has a good y2k complience
88 statement!
89
90     I'm hoping Freeside can support arbitrailly complex pricing plans
91     because of a simple concept: all prices are perl expressions.  So if
92     you use `19.95' for example, perl evalates that to be `19.95'.  But if
93     you need to do a complex pricing scheme, you just need to write an
94     appropriate perl expression, which will most likely pull data from the
95     database to return pricing.  Some things will already log to SQL; for
96     example most RADIUS servers can or have a patch available.  Getting
97     Freeside to bill based on any sort of data then becomes a matter of
98     importing the data into the database.
99  
100     There are some issues involved with pro-rating, partial month charges,
101     that sort of thing.  Expressions will need a standard way to have the
102     applicable time/data ranges passed to them.  Also the expressions are
103     currently running under the Safe perl module, and the opmask might not
104     be right in all situations.  I'll try to spend some time working on
105     this if you are using it.
106
107 > 2. can customers view their bills on-line.                                    
108  
109 Not yet; it needs to be proxied from Freeside to a customer web server in
110 a secure way using something not completely unlike the fs_passwd,
111 fs_passwdd, fs_passwd_server trio.
112
113
114 > Lastly, if someone over pays on an invoice, the credit part does not flow
115 > over to other invoices..
116
117 The total balance flows over correctly, but individual payments don't.
118 The code you're looking for is in FS::cust_pay::insert
119
120 The question of what to do with overpayments that don't have another 
121 invoice to flow into (yet.. or possibly not) is still an open one.    The
122 legacy system Freeside replaced long ago had a separate place for this
123 (payments waiting for an invoice) for each customer, and it gave our
124 bookeeper fits.
125
126
127 option to relax username uniqueness in favor of username+domain or mail/shell
128 vs. radius to ease import for isp's with namespace problems or who buy others.
129
130 do i have to store anything for radius realms besides regular radius attributes
131 (which are handled fine now)?
132
133 warn or complain or something when invoice_from is empty (and we use it)
134
135 Right now Freeside uses the `freq' field of a package definition as a 
136 number of months.  The specific section of code you're looking for is in  
137 FS::cust_main::bill:
138         
139         #change this bit to use Date::Manip?
140         #$sdate=$cust_pkg->bill || time;
141         #$sdate=$cust_pkg->bill || $time;
142         $sdate = $cust_pkg->bill || $cust_pkg->setup || $time;
143         my ($sec,$min,$hour,$mday,$mon,$year) =
144           (localtime($sdate) )[0,1,2,3,4,5];
145         $mon += $part_pkg->getfield('freq');
146         until ( $mon < 12 ) { $mon -= 12; $year++; }
147         $cust_pkg->setfield('bill',
148           timelocal($sec,$min,$hour,$mday,$mon,$year));
149         $cust_pkg_mod_flag = 1;
150   
151 ..and when I went poking for this, looks like it tells us just what needs   
152 to be done!  Hehehe...
153
154 Date::Manip can handle cool things like "+ 1 month" (actually the current
155 case of /^(\d+)$/ would have to be added as a special case of "+ $1 
156 month") and "+ 30 days" (what you need) and even "+ 5 business days" !
157
158
159 On Wed, Apr 28, 1999 at 08:38:16PM +0000, Kristian Hoffmann wrote:
160 > I can't quite seem to figure out how this exporting works.  From what I
161 > understand, when you run svc_acct.export, it rewrites the /etc/passwd,
162 > /etc/shadow, etc. files.  Is this only for initial setups with the
163 > export hooks being in the pm's?
164  
165 You can use both, or just one method.  The configuration files control    
166 this.  One of the things in the TODO is to take out the last few things   
167 that aren't customizable wrt this and put them in config files.
168
169 http://www.daemonnews.org/199905/user-mgmt.html
170
171 Term::Query doesn't install out of the box from CPAN.  Fix it (and get it 
172 submitted upstream!), or remove requirement from bin/svc_acct.import and
173 bin/svc_acct_sm.import and take it out of the install instructions.
174
175 use this cool link to explain the Freeside API
176 ftp://cpan.nas.nasa.gov/pub/perl/CPAN/doc/FMTEYEWTK/easy_objects.html
177
178 Multiple tax rates by geographic region (county, state, and county) are   
179 supported; just choose View/Edit tax rates from the main menu.
180
181 Multiple tax rates by package are not (yet) supported.
182
183 On Wed, Jul 07, 1999 at 12:13:36PM -0400, Shaun Batterton wrote:
184 > How would you handle something like multiple tax rates and multiple   
185 > states?  For example in Connecticut, they just changed computer and/or
186 > data processing services to 3% (whatever that is), and everything else
187 > is 6%.
188
189
190 > Second, when trying to add a new user I get two types of errors; first one
191 > is when I place an e-mail address and select the "submit," Freeside
192 > complains with "Error: Unknown local account (specified literally)"
193 .  
194 You probably put a (local) email address in for email invoices.  Freeside
195 stores these as references to the database records, so (for example) they
196 follow username changes.
197 .
198 I'm guessing you put in the email address that you were creating, and got
199 that error because it didn't exist yet.  Sounds like a buglet to me.  I'll
200 try to fix that soon; in the meantime you can add the invoicing email 
201 address afterwords.
202
203 Postgres `money' time sucks rocks anyway.  I'll probably just require 6.5
204 and use the numeric types, which *finally* work right.
205 On Sat, Apr 24, 1999 at 12:52:00PM -0700, Mr. Poet wrote:
206 > Software error:
207 > Error creating cust_bill record: ERROR: parser:
208 > attribute 'charged' is of type 'money' but expression
209 > is of type 'float8' You will need to rewrite or cast 
210 > the expression ! Check updated but unbilled packages 
211 > for customer1
212 .
213 Postgres `money' time sucks rocks anyway.  I'll probably just require 6.5
214 and use the numeric types, which *finally* work right (well, according to 
215 the web site, anyway).
216 .
217 In the mean-time, this could probably be fixed with the reverse of        
218 the kludge in FS::Record::new.  This removes `$' and `,' from money fields
219 coming out of the database.  Something which fixed up the data so Postgres
220 was happy with it could go in FS::Record::_quote, for data going into the
221 database.
222
223 our data display problem might be a Freeside problem wrt not using 
224 Oracle-compatible DBI syntax (uses the return value from $sth->execute as
225 a number of rows).  Fixing this is on the TODO.
226
227 hooks for arbitrary commands out of configuration files
228 svc_acct.pm svc_acct_sm.pm etc.
229
230 Add this to a FAQ, along with doing it for middle names:
231
232
233 >  What I'm finding difficult is how to easily 
234 > customize fields.  For example, I am trying to add a "middle name" field
235 > to the Customer Edit, view, etc.  If I'm going about it right, it appears
236 > I have to edit the cust_main.cgi under edit and edit/process and the
237 > site_perl/cust_main.pm, as well as other things.  Perhaps you could shed
238 > some light on the best way of doing this.
239
240 You have the basic idea.  To implement that completely, I would:
241 - Add the new field to bin/fs-setup for new users
242 - Document the field in htdocs/docs/schema.html
243 - Document the change in a new file, htdocs/docs/upgrade4.html
244 * Run bin/dbdef-create
245 * Add the new field to edit/cust_main.cgi and edit/process/cust_main.cgi
246
247 For bonus points, I'd grep around for the various bits which use "$first 
248 $last" or "$last, $first" and replace them with a method call in cust_main.pm,
249  , like search/cust_main.cgi
250
251 document security model:
252 Don't forget about Apache usernames - since, via the mapsecrets file, each
253 user can login to the SQL database with a different username and
254 password, you can utitilize the security model of the SQL database as
255 well.  Also, each username here can point to a different configuration
256 directory where you could store user-specific configuration info.  Then   
257 you could link each username to one-to-many agents. 
258 (The web demo works using a trivial version of this.)
259
260 Yes, queue processing or the equivalent via checkpoint fields on various  
261 talbes (which you pick up via a pretty simple SELECT) would be really 
262 nice too.
263
264 default (and ordering) state/county/country config file
265 expand the
266 cust_main_county table to provide a preferred ordering, so the most common
267 entries would be at the top of the selection box.  automatically, based on
268 recent selections?
269
270 hmm... maybe svc_acct__shell should check off the legal shells list if
271 applicable?  yeah... cool.
272
273 payinfo field should me much larger than 16
274
275
276 [Mon Apr 12 20:31:21 1999] [error] [Mon Apr 12 20:31:21 1999] null: Error closing true: Broken pipe at /usr/local/lib/site_perl/FS/cust_main.pm line 615.
277
278 javascript (yuck!) "are you sure?" confirmation on cancelations, etc.
279 (view/cust_pkg and view/svc_*)
280
281 get rid of time2str("%D") which formats dates in a non-y2k-safe looking fashion
282 (all the actual date handling uses UNIX timestamps and is fine)
283
284 uncomment expire in view/cust_pkg.cgi and find the expire cron from fsold
285
286 (Test this)
287 one-time/per-customer/? changes in rates and descriptions ('remembered
288 invoices'): implement by creating a new package on the fly... but it isn't 
289 associated with any agent types so it won't show up for other customers to buy.
290 (but also... make sure they go away when the customer does! - need this? :
291  one-off package edits! : need a cust_pkgs or cust_part_pkgs or something table,
292  with custnum and partpkg (like type_pkgs)
293 (what happens if you hit "custom pricing" but the pricing is already custom?)
294
295 Lay out any remaining ugly forms better.
296
297 remove "records identical" warning?  gets in the way of more important stuff.
298 or fix logic which tries to update identical records??
299 1.2 should be quiet enough that the error log is useful, hopefully.
300
301 Postgres has a maximum column length of 31 characters (but see NAMEDATALEN in
302 postgres_ext.h).  part_svc has columns like: svc_acct__radius_Attribute_flag
303 (22 characters!)  It seems that stuff over the limit is silently ignored,
304 so we get 4 characters back.  So, Radius_Attributes are max 13 characters with
305 stock Postgres.  see rfc2138 for what's affected
306 What's a good fix?  (besides recompiling postgres with NAMEDATALEN 64)
307 (mysql has a 64 character max column length.  others?)
308
309 [Mon Mar 29 06:57:56 1999] -e: Use of uninitialized value at /usr/lib/perl5/Date/Format.pm line 333.
310 (when sending mail in cust_main.pm::bill or svc_domain.pm)
311
312 look at DBIx::Recordset!  (and Tie::DBI, and...)
313
314 undefined conf/lpr gives this uninfomative error:
315 [Fri Feb 26 16:42:36 1999] bill.cgi: Can't do bidirectional pipe at
316 /usr/lib/per
317 l5/site_perl/FS/cust_main.pm line 629.
318 [Fri Feb 26 16:42:38 1999] bill.cgi: Error closing : Broken pipe at
319 /usr/lib/per
320 l5/site_perl/FS/cust_main.pm line 631.
321 So give a meaningful error!
322
323 password and slipip stuff in svc_acct.pm store need to be split into two fields or something, so the silliness in svc_acct.pm and svc_acct.export with looking at the data to decide what to do with it can be fixed
324
325 i10n: Apache::Language
326
327 Apache::Session?  Other useful Apache::* ?
328
329 email invoices are only sent for the BILL payby.  If setup, should statements
330 (since they're not invoices) be sent for COMP and CARD as well?
331
332 $cgi->keywords is causing the (hard to trace) error:
333         Use of uninitialized value at (eval 5) line 5
334
335 edit/cust_main.cgi gives an uninformative error message:
336 > Can't call method "agentnum" without a package or object reference at   
337 > /usr/local/apache-ssl/htdocs/freeside/edit/cust_main.cgi line 116.
338 if there are no agents.
339
340 (is this missing on any web screens?  (easy with $cust_svc->label)
341 Add the ability for services to filter information up to the package level
342 for web screens, so you can select a particlar package based
343 on username or domain name, etc.
344
345 Allow a cancelled/suspended/active status from packages to bubble up to
346 the customer lists.  Put active, then suspended, then cancelled accounts.
347 Similar ordering on the package listing inside a single customer.
348
349 false laziness: edit/cust_main.cgi got some parts copied from edit/svc_acct.cgi
350 the web interface in general needs to be redone in a more abstract way.
351
352 false laziness: some of search/svc_acct_sm.cgi was copied to search/svc_domain.cgi.  but web interface in general needs to be rewritten in a mucho cleaner way.
353
354 Portability: in FS::Record, $sth->execute does not return a number of rows for all DBD's.  see man DBI
355
356 subroutine the where clause (eventually all SQL) as OO perhaps (has anyone done this?)
357
358 add a select method to FS::Record?
359
360 one-time/per-customer/? changes in rates and descriptions ('remembered
361 invoices'): implement by creating a new package on the fly... but it isn't 
362 associated with any agent types so it won't show up for other customers to buy.
363 (but also... make sure they go away when the customer does! - need this? :
364  one-off package edits! : need a cust_pkgs or cust_part_pkgs or something table,
365  with custnum and partpkg (like type_pkgs)
366 (what happens if you hit "custom pricing" but the pricing is already custom?)
367
368 You can't delete the stuff under administration yet.  Add this,
369 _including_ making sure the thing you are deleting is not in use!
370
371 add links on view/cust_main.cgi to setup services, like view/cust_pkg.cgi
372
373 FS::cust_pkg _require_'s FS::$svc, but this won't work with %FS::UID::callback
374 loading of configuration.  (pry need same idea, but will run immediately if
375 context allows).  Looks like error is masked by 'use FS::cust_svc' which in
376 turn 'use's FS::{svc_acct, svc_acct_sm, svc_domain}' which is now explicit
377 w/comments in source
378
379 Allow a cancelled/suspended/active status from packages to bubble up to
380 the customer lists.  Put active, then suspended, then cancelled accounts.
381 Similar ordering on the package listing inside a single customer.
382
383 svc_domain.pm mail sending uses Date::Format which doesn't seem to pick up 
384 correct timezone.
385
386 view/svc_domain.cgi needs to know the domain might be unaudited (cosmetic)
387
388 remove whois_hack set to 1 for svc_domain.pm?  add all known registries and
389 whois accordingly.
390 .us domains and others!
391 site_perl/svc_domain.cgi (hmm... or maybe should have a button?  or maybe svc_domain.pm should handle this) should set $whois_hack for non-internic domains, so you can add them...
392
393 turn on the depriciation warnings for [e]idiot in FS::CGI. Stop using [e]idiot
394 the last places it is (htdocs/search/ htdocs/misc/ htdocs/misc/process)
395
396 (test cust_main.pm with cybercash v2 and v3, especially with the callback
397  stuff AND with mod_perl w/cybercash v2 kludge in package main)
398 (callback stuff should be eliminated by now)
399
400 bah, table/itable/*table in FS::CGI is silly.
401
402 doc Apache::AuthDBI as well
403 ..
404 Provide sample httpd.conf files.
405
406 hey look: Tie::DBI!  Check that out.  Override its commit with something that
407 does perl-side caching for ? a performance improvement and as an emulation
408 layer to plug in f.ex mysql's atomic transactions
409 ..
410 Record.pm uses does some non-portable DBI things.  MySQL and Pg seem fine.
411 Fix it anyway unless we migrate to Tie::DBI.
412
413 faq
414
415 cust_bill.pm uses '==' comparison on dates because they're currently ints
416
417 config file for allowed card types
418
419 write instructions for adding new services w/svc_Common.pm.  Get rid of all
420 places where svc_* tables are hardcoded (rename svc_acct_pop to part_pop so
421 we can do that)
422
423 test and document libapache-dbi-logger (woo!)
424
425 radius logfile parsing and perl expression check.
426
427 Fix in cust_bill BUGS: 
428 There is an off-by-one error in print_text which causes a visual error (Page 1
429 of 2 printed on some single-page invoices).
430
431 fields should be a method against a FS::Record or derived object, as well as
432 being something you can call as FS::Record::fields('tablename').  Might
433 even be able to handle both in the same routine (that would be neato).
434
435 Immediate removal of incorrectly entered check payments (can't take too
436 long to do this, or accounting is fubared).
437
438 Add code to move from one service to another (POP to SLIP/PPP, etc.).
439 This _should_ be possible by working off the rules in part_svc rather than
440 hardcoding anything in.  The rules in part_svc may need some elaboration,
441 perhaps.
442
443 Use ut_ FS::Record methods in all derived classes (possibly some from dbdef?... eventually all from dbdef??? - but then `dbdef-create' would be impossible as there would be metadata we couldn't ask the backend for.  hmm.)
444
445 (bring back from fsold, ) Generalize config-sending stuff and make more configurable.
446 Expand the HylaFAX interface (also possibly generalize for other fax
447 softwar ie .comfaxe); allow things like arbitrary faxes of sales
448 literature, specific troubleshooting documents and so on.  Maybe even
449 allow users to do this (though that might not belong in Freeside).
450 misc/sendconfig.cgi
451 misc/process/sendconfig.cgi
452 Configure fax recipients via a separate box rather than using the finger
453 name or first+last from cust_main.
454
455 move all phone number logic out of Freeside - let HylaFAX or whatever
456 handle it.
457
458 soundex searches for customer name and company?  where are free soundex tools? (standard Text::Soundex duh) - I could have sworn I saw Text::Soundex on CPAN?!
459
460 should be able to link on some field in email alias (right now you can link
461 on username or domain with a fallback to svcnum)
462
463 generalize and make configurable new invoice printing scheme in FS::cust_main::collect (past due)
464
465 deleting an svc_domain should delete all associated svc_acct_sm records.
466 same with a svc_acct.
467
468 periodic password encrypter
469
470 Automated, configurable notification, suspension and cancellation of
471 defunct accounts.
472 ...
473 expire cron job
474 ...
475 Allow for a future setup date on accounts.
476
477 sub AUTOLOAD in FS::Record should warn? die? if used with a non-existant column
478 name?
479
480 edit (not just import, export and allow default/fixed) arbitrary radius stuff
481 in svc_acct
482 edit/svc_acct.cgi and edit/process/svc_acct.cgi should deal with arbitrary radius stuff
483
484 radius import should take DEFAULT entry and put it in /var/spool/freeside/conf/radius-default ; svc_acct.export should use it (and doc)
485
486 in UI, s/State/State\/Provence/go and s/County/County\/Locality/go
487
488 what else (besides l10n) for i18n? (money!)
489
490 audit htdocs/* for things that should be libraried and things that should be
491 new methods on the objects (need to do this before implementing a new UI)
492 all the big things are done
493
494 some places we die() where we should &FS::CGI::idiot (and perhaps vice-versa).
495 Decide based on whether or not the "error" should show up in logs.
496
497 all .cgi's should use standard header/footer and idiot() subroutines.  maybe HTML:: perl modules
498 for HTML creation.  Maybe Embperl or something along those lines.  ?
499
500 When running bin/bill, Fix this (Annoying but harmless):
501 Use of uninitialized value at /usr/local/lib/site_perl/FS/cust_pkg.pm line 99, <ADDRESS> chunk 4.
502 Use of uninitialized value at /usr/local/lib/site_perl/FS/cust_pkg.pm line 102, <ADDRESS> chunk 4.
503 Use of uninitialized value at /usr/local/lib/site_perl/FS/cust_pkg.pm line 105, <ADDRESS> chunk 4.
504
505 all cgi (but internal to the isp) places where package names are listed should also have
506 comment (like agent_type)
507
508 clean up $recref and other silliness and use -> calls where possible, or
509 one other alternative.  clean up everything else.
510 should FS::Record use Tie::Hash?  That would be very clean, but where do we
511 store the other information?  Maybe you could ask any FS::Record object for a
512 tied hash?
513
514 change all file access from regular open(FILE,) stuff to OO, because of 
515 problems scoping and passing filehandles like that.
516
517 the web interface should create a new object and use it instead of a blank
518 form for new records.  the create method of svc_ objects should set defaults
519 (from part_svc).
520
521 sub check in man FS::table_name should be rewriteen.  Get rid of $recref
522 stuff.  Make sure all fields that refer to other database are checked.
523
524 Integration with signup disks (are there any free ones?  Netscape?).
525
526 One-button cancel (+refund) for lusers who can't get online.
527
528 Keep information on virtual web servers (hostname, IP, host machine,
529 directory, etc.) and export this information for importation into the ISPs
530 web farm. 
531
532 Remove requirement that the first mail alias be the catchall?  Still make
533 sure only one catchall per domain is defined in any case, of course. 
534
535 Ability to move cust_pkg records from one customer to another? (proably
536 will need to cancel the old and create a new like when we move services
537 between packages). 
538
539 Auto-increment expired cards one year, and try again?
540
541 More non-US stuff - zip codes, country codes, foreign currencies, etc.
542
543 cust_refund.{cgi.pm} need to do cards xaxtions.  (now we only have cust_credit)
544
545 Nicer set of integrated reporting possibilities, like weekly sales totals
546 by customer, package, agent, referral, etc., aging reports sorted by lots
547 of different things, and so on.
548
549 Client/server setup for users to modify their own passwords, shells, etc,
550 via passwd or secure web interface (prelminary passwd/chfn/chsh
551 replacement done).  Complicated by the fact that we don't want to allow
552 incoming connections to the machine running Freeside, so we probably need
553 to have a daemon on each external shell or web machine that is contacted
554 by the Freeside machine.  Be very very careful for both traditional
555 security issues and DoS problems. 
556
557 An extension of the above to allow users to modify selected parts of their
558 own information, order and cancel services.  A web interface for new
559 customers.
560
561 Expand domain name stuff to house all domain information.  Export
562 named.boot/named.conf (primary and secondary) and named.{domain} files.
563 Add more registries (not just InterNIC's com org net edu)
564
565 Nice postscript paper invoices, rather than current ASCII invoices.
566
567 think about race-condititions in FS::Record and derived ->check ->insert
568 and so on, uid and username checks in svc_acct, etc.
569
570 Move to rsync over ssh file exportation rather than scp.
571
572 check 'n fix the proactive password checker. (cracklib?)
573
574 refunds of "BILL" payments: generate pseudo-check.
575
576 write batch senders and batch parsers for the different credit card processors
577 people use/
578 More CC processors/methods.
579
580 you should be able to fiddle the setup date in cust_pkg. (at least initially)
581
582 delete options in administration section
583
584 write a generic batch senders and batch parsers.
585
586 need a way to override svc_acct export on a per-machine basis; just use config files based on machine name i suppose; document that. (no, import desync_hosts
587 type stuff from cerkit)
588 ...
589 add a table with column of export services (passwd, shadow, master.passwd, .qmail file update, dns update, etc.) and rows machine groups and whether or not to export that (and any necessary parameters).  wasn't matt (vunderkid, not matt@michweb) working on this?  find him?  each machine goes in a group of its own as well as a group based on function.  add a table with only svcpart and machine group.  now, when you import from each machine, it can get its own accounts with one svcpart and universal accounts with another svcpart.  (though that does make the username duplicate checking more interesting)
590
591 you should be able to get column types as a method against an FS::Record object
592 as well as dbdef->table($table)->column($column)->type
593
594 move to perl module for fuzzy and soundex searching.
595
596 package view needs to list extraneous services; we need to prevent the
597 creation of them so this never happens (and mark it as such in the source)
598 (the creation problem should be fixed - though they will still happen if people
599 fsck around in the data manually, so list them anyway)
600
601 add attribute dictionary to fs-setup as a menu, plus analyze users file to
602 decide automatically
603
604 Check for and report on duplicate billing accounts (cust_main, though many
605 will have a need for these so probably don't disable them outright.)
606
607 create a ->warn as well as a ->check method for all FS::table classes?
608 (see above)
609
610 something to automate making a release and updating the web demo
611
612 export a debian-style (also redhat and?) /etc/group file aswell!
613
614 svc_acct_sm.import qmail import should pull in recipientmap people too.
615
616 .pm's like svc_acct.pm which need to do time-consuming things like ssh remotely
617 should fork and do them in a child.
618
619 i18n/l10n: take ALL messages and catalog them in english.txt or in database or something, so we can eventually go int'l.  int'l currency support would be a help aswell.
620
621 get some of { city, county, state, zip } from the missing bits if
622 possible (where can i get the data to do this?  usps.gov?)
623
624 additional interfaces (perltk?  java?)
625
626 Put the GPL notice in all files.
627
628 integrate w/IDEA's signup server
629
630 $cust_bill->owed database field to be eliminated, replaced by a method call
631 that calculates on the fly.  make sure to grep for ->(get|set)field('owed') 
632 same for cust_credit->credited
633
634 Export quota information.
635
636 move all configuration to a central place.  maybe in blob's in the
637 database.  maybe even things like the code to execute when a username is
638 changed can be in there, so less of the distributed scripts change between
639 different sites.
640
641 Implement setup and recurring fees as Safe perl expressions rather than
642 numbers, to allow for variable-rate services.  Backwards compatibility is
643 obtained because { 43 } in perl is still 43.  :)  Define API to pass
644 starting and ending dates and any other necessary data to expression
645 (fees are currently evaluated as Safe expressions but more work needs to
646 be done to define an opmask for various needs, write examples
647 (usage-based billing, etc.) and so on).
648 ...
649 Add the ability to modify the next billing date in cust_pkg, and take
650 appropriate action.  This will allow the implementation of pro-rate/1st of
651 the month billing as well as the ability to manually fiddle with
652 anniversary dates in cust_pkg, so you can sync a customer's anniversary
653 date even if you're using anniversary billing (manually or automatically).
654 (now with above, we need to have a way to automatically pro-rate /^(\d+)$/
655 charges - anything more complicated should figure it out itself given
656 starting and ending dates [document that!])
657 ...
658 Daily Radius log parsing into database; other logfile formats?
659 ...
660 Callbacks to enforce hourly limits on accounts (suspend until the end of
661 the billing period?), for those who limit customers rather than tack on
662 extra charges.
663
664 Flag packages (part_pkg) as taxable or non/taxable as some ISPs (for
665 example) need to charge tax on equipment but not service (separate flags
666 for setup and recurring fee... or perhaps a setup_tax, setup_notax,
667 recur_tax and recur_notax fees, and possibly something more flexible if
668 there is need).
669
670 Allow for a variable number of invoices for customers who need multiple
671 copies.
672
673 Add a mail alias service with table svc_acct (not domain mail aliasing
674 which is domain with svc_acct_sm)
675
676 (bring back from fsold) Change customer comment field from its current kludge to something more
677 workable.
678
679 Better work orders with more information.  Should eventually open a ticket
680 when we have such a thing.
681 edit/svc_wo.cgi
682 edit/process/svc_wo.cgi
683 Call tracking and trouble tickets.
684
685 More accoutability for complimentary accounts: approval, expiration, term
686 (no more than x months in advance) and notification.
687 Flag particular users (or all users, for that matter) as having their
688 passwords hidden and/or locked from users of Freeside (maybe need Freeside
689 security levels first?). 
690 ...
691 Better Freeside-level configurable access, for those ISP's who have
692 employees they can't trust.  Right now you're "stuck" with setting up
693 .htaccess stuff yourself.  This should really just be integrated. 
694
695 configuration/setup should get web interface
696 ...
697 /usr/local/etc/freeside should be configurable
698 ...
699 (probably as part of some automated installation process?)
700
701 This requires some serious magic in FS::Record:
702 ok, if date_type in fs-setup is to be something besides int,
703 now we need to create wrappers
704 for them so they behave identically across RDBMS's, ie date pops out as as
705 UNIX timestamp (or an object of some sort? maybe even a blessed $obj which
706 is a string not a hashref for backwards compatibility?) and so on. (remember
707 to treat '0' as Not a Date instead of 1/1/70.
708
709 Add Freeside-level transactions for RDBMS's which don't support
710 transcations?  (Currently we assume a minimal RDBMS which has no rollback,
711 transactions or atomic updates).  Or just require a RDBMS that supports
712 rollback and/or atomic updates and get rid of the work-arounds?  The /rdb
713 interface had this kludge on top of it but is a technical dead-end in most
714 other ways, unless it can gain an SQL parser and DBD interface.
715 ...
716 if i'm really bored, find the /rdb interface in fsold and port it to NoSQL,
717 and while I'm add it add interfaces for AnyDBM_File tied hash.. hmm.  Shouldn't
718 an FS::Record have something to do with a tied hash?  But we don't want
719 performance to go gaga... maybe something with commit to help out here?
720 ...
721 Ok: FS::Record gives you a tied hash, and you get methods for commit, etc.
722
723 Better automated comparison of our CC records with processors (CyberCash,
724 at least, has not always had 100% accuracy, though recent versions are
725 much better) 
726
727 Expect or other pty based login check, where we actually connect to a
728 terminal server or shell machine and test logging in as the user (if we
729 are keeping a cleartext password for that user)  (This is something tech
730 support often needs for new customers)
731
732 Use cust_main table for pre-sales tracking as well?
733
734 Automatic commision report and check generation via freq and prog (to
735 become a Safe perl expression) fields in agent table, and possibly others.
736
737 Database and add a mailed-out date and method for disk/CD mailing, so a
738 customer can call and you can say, "sent on xx/xx/xx via {US Mail, Fedex,
739 UPS, etc}" 
740
741 Inventory tracking for physical items such as routers (for sale or
742 lease... probably doesn't make a difference in the ordering... but if you
743 cancel a router lease the inventory should come back.  hmm.)
744
745 -- Matt's wishlist ---
746
747 From matt@michweb.net Fri Feb 20 16:39:53 1998
748 Date: Thu, 19 Feb 1998 23:20:11 -0500
749 From: Matt Simerson <matt@michweb.net>
750 Reply-To: quadran-developer@netgoth.com
751 To: quadran-developer@netgoth.com
752 Subject: Re: Welcome to quadran-developer
753
754 >Whats it based on and what is it supposed to do?  I'm interested, but
755 >unfortunatly, I don't have that much time to help on the project (I'm busily
756 >working on one of my own based around MySQL and Qt right now -- don't know
757 >if it will be GPL'ed or not yet -- we'll probably just use it in house since
758 >it is designed around our system)...
759
760 That's what I set out to find, but didn't find anything on the web site.
761 I'm looking for something that will do the following:
762
763 Single point of entry for users on a secure system:
764         Creates account on user (public) systems
765                 update /etc/passwd/master.passwd file
766                 update radius database (if necessary)
767         Set up up disk quotas (although I hacked adduser to do this)
768         Option for adding user to a mailing list(s)
769         Export of new user info to customizable report (for automated entry
770 into
771                 accounting software, etc...)
772
773 Automated billing:
774         Export credit card info for batch processing and have hooks built
775                 in for other forms of electronic processing.
776         Batch-Payment (apply payments from formatted text file).
777         Customizable reports for manual entry/importing into Accounting
778 software
779         Email or laser print invoices
780         Sanity checks credit card numbers before processing (code available)
781
782 Simple method for disabling an account.
783         Arbitrary Expiration Dates (on a given day, in x days)
784         Remove from radius.
785         Changing password to '*'
786         Virtual customers disabling dns, http server, log processing, etc..
787
788 Billing for different account types:
789         Dialup monthly flat rate. Prorates for partial months.
790         Dialup monthly flat rate for x hours + hourly usage.
791         Dialup email only
792         Email only accounts
793         Virtual Web accounts - w/multiple mailboxes
794         Leased line accounts
795         Disk space used over quota.
796         Tech support minimum + hourly charges
797         Other for misc stuff (modem, RAM, etc...)
798
799 Per user definable RADIUS attributes (ties in with above)
800         Fixed IP
801         Simultaneous Use
802         IP filters (for dialup email only)
803
804 Keep logs of modem usage generated daily from radius accounting logs stored
805 on multiple radius servers.
806
807 Keep logs of disk usage generated from quota.
808
809 Method of adding virtual domains to your system:
810         Automatically grabs an IP address from a preassigned pool.
811         Creates a domain.com database file from database fields
812         Updates /etc/named.conf or /etc/named.boot and reloads named.
813         Add's virtual.com to /etc/sendmail.cw or qmail control files.
814         Edits your web servers httpd.conf file and restarts http server.
815         An optional section for adding vif's can be added if the users OS
816                 supports adding them on the fly. Otherwise it's up to the end
817                 user. Make a hook that can run a custom script that the user
818                 tweaks for his system.
819         Update or create the config file your web stats analyzer needs. I've
820                 done this for analog (free) and http-analyze. Probably
821                 should only officially support analog and let users hack
822                 it to their hearts desire.
823 I've already written scripts that do most of the virtual web stuff on my
824 system...in bash. Shouldn't be hard for a perlmeister to convert. In fact,
825 as long as all the info was stored in the database (username, domain name,
826 and ip pool) this could easily just be run as an external script that the
827 user tweaks to match his system.
828
829 We use a great accounting software (M.Y.O.B) that does all the AP, AR,
830 Payroll, Tax stuff, and most everything else we could need. It's already
831 set up for the type of checks we have, etc, etc... I just need something to
832 do the billing part. I can import/export sales and payments directly once
833 the billing part is done. You can't write accounting software as good as
834 M.Y.O.B. for $120.
835
836