next up previous contents
Next: 5.2.1.6 Basic Stability Test: Up: 5.2.1 Indirect (IRLS) Stability Previous: 5.2.1.4 Basic Stability Test:   Contents


5.2.1.5 Basic Stability Test: citeseer


Table 5.7: IRLS stability experiments for citeseer. binitmean is disabled and wmargin is 0. The first four columns represent the state of modelmin and modelmax, margin, rrlambda, and cgwindow and cgdecay.
           Loose Epsilon Moderate Epsilon  Tight Epsilon             
mm  mar  rrl  cgw AUC  NaN  DEV  Time AUC  NaN  DEV  Time AUC  NaN  DEV  Time
-  -  -  - 0.885  -  4113  35 0.928  -  3983  37 0.848  x  758  1508
x  -  -  - 0.885  -  4113  36 0.928  -  3983  40 0.848  x  758  1513
-  x  -  - 0.876  -  3466  36 0.923  -  3400  40 0.846  x  423  1526
x  x  -  - 0.876  -  3466  35 0.923  -  3400  40 0.846  x  423  1497
-  -  x  - 0.885  -  4113  36 0.928  -  3984  39 0.945  -  3478  103
x  -  x  - 0.885  -  4113  35 0.928  -  3984  39 0.945  -  3478  102
-  x  x  - 0.876  -  3466  36 0.923  -  3400  40 0.945  -  2910  101
x  x  x  - 0.876  -  3466  36 0.923  -  3400  41 0.945  -  2910  102
-  -  -  x 0.885  -  4113  35 0.928  -  3983  40 0.867  x  878  287
x  -  -  x 0.885  -  4113  38 0.928  -  3983  36 0.868  x  839  293
-  x  -  x 0.876  -  3466  36 0.923  -  3400  37 0.868  x  557  272
x  x  -  x 0.876  -  3466  36 0.923  -  3400  39 0.864  x  521  284
-  -  x  x 0.885  -  4113  36 0.928  -  3984  39 0.945  -  3478  102
x  -  x  x 0.885  -  4113  36 0.928  -  3984  38 0.945  -  3478  101
-  x  x  x 0.876  -  3466  35 0.923  -  3400  38 0.945  -  2910  101
x  x  x  x 0.876  -  3466  36 0.923  -  3400  40 0.945  -  2910  104

Table 5.7 covers stability experiments on the citeseer dataset. Again we see modelmin and modelmax having little influence, except for non-rrlambda experiments with tight epsilons where the influence is slightly more than nothing. The margin parameter is detrimental almost everywhere, while rrlambda is only helpful for tight epsilons. The cgwindow and cgdecay parameters are helpful for non-rrlambda experiments with tight epsilons. Our conclusions from the citeseer experiments are essentially the same as those for the imdb experiments in Table 5.6.


next up previous contents
Next: 5.2.1.6 Basic Stability Test: Up: 5.2.1 Indirect (IRLS) Stability Previous: 5.2.1.4 Basic Stability Test:   Contents
Copyright 2004 Paul Komarek, komarek@cmu.edu