Megatest

Hex Artifact Content
Login

Artifact c75f5bc4934fcc95bb2d85c73438e3c36fcf2097:

Wiki page [Plans] by matt 2012-04-26 10:28:44.
0000: 44 20 32 30 31 32 2d 30 34 2d 32 36 54 31 36 3a  D 2012-04-26T16:
0010: 32 38 3a 34 34 2e 31 36 30 0a 4c 20 50 6c 61 6e  28:44.160.L Plan
0020: 73 0a 50 20 63 35 38 63 32 36 32 66 36 32 63 63  s.P c58c262f62cc
0030: 38 65 66 64 31 38 33 61 64 37 39 35 62 62 33 39  8efd183ad795bb39
0040: 34 32 66 35 33 63 61 64 34 36 64 64 0a 55 20 6d  42f53cad46dd.U m
0050: 61 74 74 0a 57 20 32 36 39 36 0a 49 6e 20 6e 6f  att.W 2696.In no
0060: 20 70 61 72 74 69 63 75 6c 61 72 20 6f 72 64 65   particular orde
0070: 72 3a 0d 0a 0d 0a 44 6f 63 75 6d 65 6e 74 61 74  r:....Documentat
0080: 69 6f 6e 0d 0a 20 20 2a 20 20 43 6f 6e 76 65 72  ion..  *  Conver
0090: 74 20 74 6f 20 61 73 63 69 69 64 6f 63 0d 0a 20  t to asciidoc.. 
00a0: 20 2a 20 20 47 65 74 74 69 6e 67 20 67 6f 69 6e   *  Getting goin
00b0: 67 20 64 6f 63 73 2c 20 69 6e 69 74 69 61 6c 20  g docs, initial 
00c0: 73 65 74 75 70 0d 0a 20 20 2a 20 20 47 65 74 74  setup..  *  Gett
00d0: 69 6e 67 20 67 6f 69 6e 67 20 64 6f 63 73 2c 20  ing going docs, 
00e0: 77 72 69 74 69 6e 67 20 74 65 73 74 73 0d 0a 0d  writing tests...
00f0: 0a 54 65 73 74 73 20 61 6e 64 20 51 41 0d 0a 20  .Tests and QA.. 
0100: 20 2a 20 20 52 65 6c 65 61 73 65 20 70 72 6f 63   *  Release proc
0110: 65 64 75 72 65 20 28 6e 6f 6e 2d 61 75 74 6f 6d  edure (non-autom
0120: 61 74 65 64 20 74 65 73 74 73 20 74 6f 20 72 75  ated tests to ru
0130: 6e 2c 20 62 69 6e 61 72 79 20 72 65 6c 65 61 73  n, binary releas
0140: 65 73 29 0d 0a 20 20 2a 20 20 57 68 69 74 65 62  es)..  *  Whiteb
0150: 6f 78 20 75 6e 69 74 20 74 65 73 74 73 20 6e 65  ox unit tests ne
0160: 65 64 20 74 6f 20 62 65 20 72 65 2d 65 6e 61 62  ed to be re-enab
0170: 6c 65 64 0d 0a 20 20 2a 20 20 49 6e 74 65 72 2d  led..  *  Inter-
0180: 61 72 65 61 20 74 65 73 74 73 2c 20 72 65 66 65  area tests, refe
0190: 72 72 69 6e 67 20 74 6f 20 74 65 73 74 73 20 69  rring to tests i
01a0: 6e 20 65 78 74 65 72 6e 61 6c 20 61 72 65 61 73  n external areas
01b0: 0d 0a 20 20 2a 20 20 50 65 72 66 6f 72 6d 61 6e  ..  *  Performan
01c0: 63 65 20 74 65 73 74 0d 0a 0d 0a 4d 69 73 63 0d  ce test....Misc.
01d0: 0a 20 20 2a 20 20 42 69 6e 61 72 79 20 62 75 69  .  *  Binary bui
01e0: 6c 64 20 66 6f 72 20 72 65 6c 65 61 73 65 20 75  ld for release u
01f0: 73 69 6e 67 20 63 68 69 63 6b 65 6e 20 64 65 70  sing chicken dep
0200: 6c 6f 79 20 6d 65 63 68 61 6e 69 73 6d 0d 0a 20  loy mechanism.. 
0210: 20 2a 20 20 4d 69 63 72 6f 73 6f 66 74 20 77 69   *  Microsoft wi
0220: 6e 64 6f 77 73 20 70 6f 72 74 20 28 6d 6f 73 74  ndows port (most
0230: 6c 79 20 63 6f 6e 76 65 72 74 20 73 79 73 74 65  ly convert syste
0240: 6d 20 63 61 6c 6c 73 20 74 6f 20 6e 61 74 69 76  m calls to nativ
0250: 65 20 70 6f 73 69 78 29 0d 0a 20 20 20 20 0d 0a  e posix)..    ..
0260: 4d 65 67 61 74 65 73 74 0d 0a 20 20 2a 20 20 52  Megatest..  *  R
0270: 65 66 61 63 74 6f 72 2c 20 73 6f 6d 65 20 63 6f  efactor, some co
0280: 64 65 20 68 61 73 20 67 6f 74 74 65 6e 20 61 20  de has gotten a 
0290: 62 69 74 20 63 72 75 66 74 79 0d 0a 20 20 2a 20  bit crufty..  * 
02a0: 20 4c 6f 67 20 66 72 65 65 20 73 70 61 63 65 20   Log free space 
02b0: 69 6e 20 2f 74 6d 70 20 69 6e 20 74 68 65 20 64  in /tmp in the d
02c0: 61 74 61 62 61 73 65 2e 20 54 65 73 74 73 20 6f  atabase. Tests o
02d0: 66 74 65 6e 20 75 73 65 20 2f 74 6d 70 20 61 6e  ften use /tmp an
02e0: 64 20 74 68 69 73 20 63 61 6e 20 68 65 6c 70 20  d this can help 
02f0: 64 65 62 75 67 20 70 72 6f 62 6c 65 6d 73 0d 0a  debug problems..
0300: 20 20 2a 20 20 52 65 63 6f 72 64 20 66 72 65 65    *  Record free
0310: 20 6d 65 6d 6f 72 79 20 28 61 63 63 6f 75 6e 74   memory (account
0320: 20 66 6f 72 20 62 75 66 66 65 72 73 20 65 74 63   for buffers etc
0330: 2e 29 0d 0a 20 20 2a 20 20 49 6d 70 6c 65 6d 65  .)..  *  Impleme
0340: 6e 74 20 73 73 68 20 6d 65 74 68 6f 64 20 66 6f  nt ssh method fo
0350: 72 20 63 61 6c 6c 69 6e 67 20 68 6f 6d 65 20 28  r calling home (
0360: 65 6c 69 6d 69 6e 61 74 65 73 20 6e 65 65 64 20  eliminates need 
0370: 66 6f 72 20 6e 65 74 77 6f 72 6b 20 66 69 6c 65  for network file
0380: 73 79 73 74 65 6d 29 2e 0d 0a 0d 0a 44 61 73 68  system).....Dash
0390: 62 6f 61 72 64 0d 0a 20 20 2a 20 20 41 64 64 20  board..  *  Add 
03a0: 66 69 6c 74 65 72 73 20 74 6f 20 74 65 73 74 73  filters to tests
03b0: 0d 0a 20 20 2a 20 20 41 64 64 20 76 69 73 75 61  ..  *  Add visua
03c0: 6c 20 6d 6f 6e 69 74 6f 72 69 6e 67 20 6f 66 20  l monitoring of 
03d0: 63 70 75 2c 20 6d 65 6d 6f 72 79 2c 20 64 69 73  cpu, memory, dis
03e0: 6b 73 70 61 63 65 20 65 74 63 2e 20 66 6f 72 20  kspace etc. for 
03f0: 74 65 73 74 73 0d 0a 20 20 2a 20 20 43 6c 65 61  tests..  *  Clea
0400: 6e 20 75 70 20 74 68 65 20 74 68 72 65 61 64 73  n up the threads
0410: 2c 20 72 65 64 75 63 65 20 74 6f 20 6f 6e 65 20  , reduce to one 
0420: 70 6c 75 73 20 74 68 65 20 69 75 70 20 67 75 69  plus the iup gui
0430: 20 74 68 72 65 61 64 0d 0a 20 20 2a 20 20 53 63   thread..  *  Sc
0440: 72 6f 6c 6c 69 6e 67 20 69 6e 64 69 63 61 74 6f  rolling indicato
0450: 72 73 20 28 63 75 72 72 65 6e 74 6c 79 20 6e 6f  rs (currently no
0460: 20 76 69 73 75 61 6c 20 63 6c 75 65 20 74 68 61   visual clue tha
0470: 74 20 74 68 65 72 65 20 3c 62 3e 61 72 65 2f 61  t there <b>are/a
0480: 72 65 20 6e 6f 74 3c 2f 62 3e 20 6d 6f 72 65 20  re not</b> more 
0490: 74 65 73 74 73 0d 0a 0d 0a 3c 74 61 62 6c 65 20  tests....<table 
04a0: 62 6f 72 64 65 72 3d 31 20 63 65 6c 6c 73 70 61  border=1 cellspa
04b0: 63 69 6e 67 3d 30 3e 0d 0a 3c 74 72 3e 3c 74 64  cing=0>..<tr><td
04c0: 3e 46 65 61 74 75 72 65 3c 2f 74 64 3e 3c 74 64  >Feature</td><td
04d0: 3e 53 74 61 74 75 73 3c 2f 74 64 3e 3c 2f 74 72  >Status</td></tr
04e0: 3e 0d 0a 3c 74 72 3e 3c 74 64 3e 72 70 63 20 22  >..<tr><td>rpc "
04f0: 70 68 6f 6e 65 20 68 6f 6d 65 22 20 62 61 73 69  phone home" basi
0500: 63 20 69 6d 70 6c 65 6d 65 6e 74 61 74 69 6f 6e  c implementation
0510: 3c 2f 74 64 3e 3c 74 64 3e 39 30 25 20 6f 66 20  </td><td>90% of 
0520: 74 68 65 20 68 65 61 76 79 20 68 69 74 74 69 6e  the heavy hittin
0530: 67 20 64 62 20 61 63 63 65 73 73 65 73 20 63 61  g db accesses ca
0540: 6e 20 6e 6f 77 20 75 73 65 20 72 70 63 20 77 68  n now use rpc wh
0550: 65 6e 20 61 76 61 69 6c 61 62 6c 65 2e 20 3c 2f  en available. </
0560: 74 64 3e 3c 2f 74 72 3e 0d 0a 3c 74 72 3e 3c 74  td></tr>..<tr><t
0570: 64 3e 72 70 63 20 22 70 68 6f 6e 65 20 68 6f 6d  d>rpc "phone hom
0580: 65 22 20 39 38 25 20 63 6f 6e 76 65 72 74 65 64  e" 98% converted
0590: 3c 2f 74 64 3e 3c 74 64 3e 45 54 41 3a 20 46 65  </td><td>ETA: Fe
05a0: 62 20 32 37 3c 2f 74 64 3e 3c 2f 74 72 3e 0d 0a  b 27</td></tr>..
05b0: 3c 74 72 3e 3c 74 64 3e 72 70 63 20 6f 6e 20 36  <tr><td>rpc on 6
05c0: 34 20 62 69 74 3c 2f 74 64 3e 3c 74 64 3e 43 75  4 bit</td><td>Cu
05d0: 72 72 65 6e 74 6c 79 20 66 61 69 6c 73 20 74 6f  rrently fails to
05e0: 20 77 6f 72 6b 20 72 65 6c 69 61 62 6c 79 2e 20   work reliably. 
05f0: 54 65 73 74 20 63 61 73 65 20 67 65 6e 65 72 61  Test case genera
0600: 74 69 6f 6e 20 69 6e 20 70 72 6f 67 72 65 73 73  tion in progress
0610: 3c 2f 74 64 3e 3c 2f 74 72 3e 0d 0a 3c 74 72 3e  </td></tr>..<tr>
0620: 3c 74 64 3e 72 70 63 20 73 6f 6d 65 20 77 72 69  <td>rpc some wri
0630: 74 65 73 20 74 6f 20 64 62 20 67 6f 20 69 6e 74  tes to db go int
0640: 6f 20 71 75 65 75 65 20 3c 2f 74 64 3e 3c 74 64  o queue </td><td
0650: 3e 4d 61 6e 79 20 77 72 69 74 65 73 20 61 72 65  >Many writes are
0660: 20 6e 6f 74 20 74 69 6d 65 20 63 72 69 74 69 63   not time critic
0670: 61 6c 20 61 6e 64 20 63 61 6e 20 62 65 20 71 75  al and can be qu
0680: 65 75 65 64 20 75 70 20 66 72 65 65 69 6e 67 20  eued up freeing 
0690: 74 68 65 20 74 65 73 74 20 70 72 6f 63 65 73 73  the test process
06a0: 65 73 3a 20 45 54 41 20 46 65 62 20 32 37 3c 2f  es: ETA Feb 27</
06b0: 74 64 3e 3c 2f 74 72 3e 0d 0a 3c 74 72 3e 3c 74  td></tr>..<tr><t
06c0: 64 3e 72 70 63 20 73 65 72 76 65 72 20 73 74 61  d>rpc server sta
06d0: 72 74 20 75 70 20 61 74 20 61 6e 79 20 74 69 6d  rt up at any tim
06e0: 65 3c 2f 74 64 3e 3c 74 64 3e 57 6f 72 6b 73 20  e</td><td>Works 
06f0: 66 69 6e 65 2e 20 53 65 72 76 65 72 20 63 61 6e  fine. Server can
0700: 20 62 65 20 73 74 61 72 74 65 64 20 61 66 74 65   be started afte
0710: 72 20 61 20 72 75 6e 20 69 73 20 69 6e 20 70 6c  r a run is in pl
0720: 61 63 65 3c 2f 74 64 3e 3c 2f 74 72 3e 0d 0a 3c  ace</td></tr>..<
0730: 74 72 3e 3c 74 64 3e 72 70 63 20 73 65 72 76 65  tr><td>rpc serve
0740: 72 20 20 73 68 75 74 20 64 6f 77 6e 20 61 74 20  r  shut down at 
0750: 61 6e 79 20 74 69 6d 65 3c 2f 74 64 3e 3c 74 64  any time</td><td
0760: 3e 4e 6f 74 20 63 6f 6d 70 6c 65 74 65 2e 20 53  >Not complete. S
0770: 68 75 74 64 6f 77 6e 20 63 6c 65 61 6e 20 77 72  hutdown clean wr
0780: 74 20 74 68 65 20 64 62 20 62 75 74 20 72 61 63  t the db but rac
0790: 65 20 63 6f 6e 64 69 74 69 6f 6e 20 65 78 69 73  e condition exis
07a0: 74 73 20 66 6f 72 20 69 6e 20 66 6c 69 67 68 74  ts for in flight
07b0: 20 71 75 65 72 69 65 73 2e 20 46 69 78 20 69 73   queries. Fix is
07c0: 20 65 61 73 79 3c 2f 74 64 3e 3c 2f 74 72 3e 0d   easy</td></tr>.
07d0: 0a 3c 74 72 3e 3c 74 64 3e 72 70 63 20 73 65 72  .<tr><td>rpc ser
07e0: 76 65 72 20 20 69 6e 64 65 70 65 6e 64 65 6e 74  ver  independent
07f0: 20 6f 66 20 72 75 6e 28 73 29 3c 2f 74 64 3e 3c   of run(s)</td><
0800: 74 64 3e 55 6e 74 65 73 74 65 64 20 62 75 74 20  td>Untested but 
0810: 61 6c 6c 20 66 75 6e 63 74 69 6f 6e 73 20 70 6f  all functions po
0820: 72 74 65 64 20 74 6f 20 75 73 65 20 72 70 63 20  rted to use rpc 
0830: 77 65 72 65 20 69 6e 73 70 65 63 74 65 64 20 61  were inspected a
0840: 6e 64 20 6e 6f 6e 65 20 75 73 65 20 67 6c 6f 62  nd none use glob
0850: 61 6c 73 2c 20 73 68 6f 75 6c 64 20 62 65 20 66  als, should be f
0860: 69 6e 65 3c 2f 74 64 3e 3c 2f 74 72 3e 0d 0a 3c  ine</td></tr>..<
0870: 74 72 3e 3c 74 64 3e 72 70 63 20 73 65 72 76 65  tr><td>rpc serve
0880: 72 20 61 75 74 6f 20 6c 61 75 6e 63 68 3c 2f 74  r auto launch</t
0890: 64 3e 3c 74 64 3e 4e 6f 74 20 69 6d 70 6c 65 6d  d><td>Not implem
08a0: 65 6e 74 65 64 3c 2f 74 64 3e 3c 2f 74 72 3e 0d  ented</td></tr>.
08b0: 0a 3c 74 72 3e 3c 74 64 3e 72 70 63 20 73 65 72  .<tr><td>rpc ser
08c0: 76 65 72 20 31 30 30 25 20 77 69 74 68 20 66 61  ver 100% with fa
08d0: 6c 6c 62 61 63 6b 20 74 6f 20 64 69 72 65 63 74  llback to direct
08e0: 3c 2f 74 64 3e 3c 74 64 3e 57 69 73 68 20 6c 69  </td><td>Wish li
08f0: 73 74 20 69 74 65 6d 2c 20 52 4f 49 20 69 73 20  st item, ROI is 
0900: 73 6d 61 6c 6c 20 66 6f 72 20 74 68 6f 73 65 20  small for those 
0910: 77 69 74 68 20 4e 46 53 20 6f 72 20 73 69 6d 69  with NFS or simi
0920: 6c 61 72 20 6e 65 74 77 6f 72 6b 20 66 73 20 61  lar network fs a
0930: 76 61 69 6c 61 62 6c 65 2e 3c 2f 74 64 3e 3c 2f  vailable.</td></
0940: 74 72 3e 0d 0a 3c 74 72 3e 3c 74 64 3e 72 70 63  tr>..<tr><td>rpc
0950: 20 73 65 72 76 65 72 20 73 75 70 70 6f 72 74 20   server support 
0960: 66 6f 72 20 64 61 73 68 62 6f 61 72 64 3c 2f 74  for dashboard</t
0970: 64 3e 3c 74 64 3e 48 69 67 68 20 70 72 69 6f 72  d><td>High prior
0980: 69 74 79 20 61 73 20 74 68 69 73 20 77 69 6c 6c  ity as this will
0990: 20 61 6d 65 6c 69 6f 72 61 74 65 20 74 68 65 20   ameliorate the 
09a0: 72 65 61 64 65 72 20 73 74 61 72 76 61 74 69 6f  reader starvatio
09b0: 6e 20 69 73 73 75 65 2c 20 45 54 41 20 4d 61 72  n issue, ETA Mar
09c0: 20 35 2e 3c 2f 74 64 3e 3c 2f 74 72 3e 0d 0a 3c   5.</td></tr>..<
09d0: 74 72 3e 3c 74 64 3e 3d 3d 3d 3d 3d 3d 3d 3d 3d  tr><td>=========
09e0: 3d 3d 3d 3d 3d 3d 3d 3d 3d 3d 3d 3d 3d 3d 3d 3d  ================
09f0: 3d 3d 3d 3d 3d 3d 3c 2f 74 64 3e 3c 74 64 3e 3c  ======</td><td><
0a00: 2f 74 64 3e 3c 2f 74 72 3e 0d 0a 3c 74 72 3e 3c  /td></tr>..<tr><
0a10: 74 64 3e 42 75 74 74 6f 6e 20 74 6f 20 63 68 61  td>Button to cha
0a20: 6e 67 65 20 73 74 61 74 65 20 67 6c 6f 62 61 6c  nge state global
0a30: 6c 79 20 66 6f 72 20 61 20 72 75 6e 3c 2f 74 64  ly for a run</td
0a40: 3e 3c 74 64 3e 4e 6f 74 20 69 6d 70 6c 65 6d 65  ><td>Not impleme
0a50: 6e 74 65 64 2c 20 45 54 41 3a 20 46 65 62 20 32  nted, ETA: Feb 2
0a60: 37 3c 2f 74 64 3e 3c 2f 74 72 3e 0d 0a 3c 74 72  7</td></tr>..<tr
0a70: 3e 3c 74 64 3e 41 75 74 6f 20 63 72 65 61 74 65  ><td>Auto create
0a80: 20 6c 69 6e 6b 73 74 72 65 65 3c 2f 74 64 3e 3c   linkstree</td><
0a90: 74 64 3e 3c 2f 74 64 3e 3c 2f 74 72 3e 0d 0a 3c  td></td></tr>..<
0aa0: 74 72 3e 3c 74 64 3e 46 69 78 20 2d 72 65 72 75  tr><td>Fix -reru
0ab0: 6e 20 3c 2f 74 64 3e 3c 74 64 3e 3c 2f 74 64 3e  n </td><td></td>
0ac0: 3c 2f 74 72 3e 0d 0a 3c 74 72 3e 3c 74 64 3e 2e  </tr>..<tr><td>.
0ad0: 3c 2f 74 64 3e 3c 74 64 3e 0d 0a 3c 2f 74 61 62  </td><td>..</tab
0ae0: 6c 65 3e 0a 5a 20 65 64 65 63 39 38 63 36 37 36  le>.Z edec98c676
0af0: 66 63 61 35 66 62 62 34 61 66 30 30 37 37 62 61  fca5fbb4af0077ba
0b00: 37 66 39 33 63 36 0a                             7f93c6.