Megatest

Hex Artifact Content
Login

Artifact 79f25d7e046d9027d2ca645751214c1a4cc6d093:

Wiki page [Plans] by matt 2013-03-06 13:04:27.
0000: 44 20 32 30 31 33 2d 30 33 2d 30 36 54 32 30 3a  D 2013-03-06T20:
0010: 30 34 3a 32 37 2e 35 31 31 0a 4c 20 50 6c 61 6e  04:27.511.L Plan
0020: 73 0a 50 20 63 37 35 66 35 62 63 34 39 33 34 66  s.P c75f5bc4934f
0030: 63 63 39 35 62 62 32 64 38 35 63 37 33 34 33 38  cc95bb2d85c73438
0040: 65 33 63 33 36 66 63 66 32 30 39 37 0a 55 20 6d  e3c36fcf2097.U m
0050: 61 74 74 0a 57 20 32 37 32 36 0a 49 6e 20 6e 6f  att.W 2726.In no
0060: 20 70 61 72 74 69 63 75 6c 61 72 20 6f 72 64 65   particular orde
0070: 72 3a 0d 0a 0d 0a 44 6f 63 75 6d 65 6e 74 61 74  r:....Documentat
0080: 69 6f 6e 0d 0a 20 20 2a 20 20 43 6f 6e 76 65 72  ion..  *  Conver
0090: 74 20 74 6f 20 61 73 63 69 69 64 6f 63 0d 0a 20  t to asciidoc.. 
00a0: 20 2a 20 20 47 65 74 74 69 6e 67 20 67 6f 69 6e   *  Getting goin
00b0: 67 20 64 6f 63 73 2c 20 69 6e 69 74 69 61 6c 20  g docs, initial 
00c0: 73 65 74 75 70 0d 0a 20 20 2a 20 20 47 65 74 74  setup..  *  Gett
00d0: 69 6e 67 20 67 6f 69 6e 67 20 64 6f 63 73 2c 20  ing going docs, 
00e0: 77 72 69 74 69 6e 67 20 74 65 73 74 73 0d 0a 0d  writing tests...
00f0: 0a 54 65 73 74 73 20 61 6e 64 20 51 41 0d 0a 20  .Tests and QA.. 
0100: 20 2a 20 20 52 65 6c 65 61 73 65 20 70 72 6f 63   *  Release proc
0110: 65 64 75 72 65 20 28 6e 6f 6e 2d 61 75 74 6f 6d  edure (non-autom
0120: 61 74 65 64 20 74 65 73 74 73 20 74 6f 20 72 75  ated tests to ru
0130: 6e 2c 20 62 69 6e 61 72 79 20 72 65 6c 65 61 73  n, binary releas
0140: 65 73 29 0d 0a 20 20 2a 20 20 57 68 69 74 65 62  es)..  *  Whiteb
0150: 6f 78 20 75 6e 69 74 20 74 65 73 74 73 20 6e 65  ox unit tests ne
0160: 65 64 20 74 6f 20 62 65 20 72 65 2d 65 6e 61 62  ed to be re-enab
0170: 6c 65 64 0d 0a 20 20 2a 20 20 49 6e 74 65 72 2d  led..  *  Inter-
0180: 61 72 65 61 20 74 65 73 74 73 2c 20 72 65 66 65  area tests, refe
0190: 72 72 69 6e 67 20 74 6f 20 74 65 73 74 73 20 69  rring to tests i
01a0: 6e 20 65 78 74 65 72 6e 61 6c 20 61 72 65 61 73  n external areas
01b0: 0d 0a 20 20 2a 20 20 50 65 72 66 6f 72 6d 61 6e  ..  *  Performan
01c0: 63 65 20 74 65 73 74 0d 0a 0d 0a 4d 69 73 63 0d  ce test....Misc.
01d0: 0a 20 20 2a 20 20 42 69 6e 61 72 79 20 62 75 69  .  *  Binary bui
01e0: 6c 64 20 66 6f 72 20 72 65 6c 65 61 73 65 20 75  ld for release u
01f0: 73 69 6e 67 20 63 68 69 63 6b 65 6e 20 64 65 70  sing chicken dep
0200: 6c 6f 79 20 6d 65 63 68 61 6e 69 73 6d 0d 0a 20  loy mechanism.. 
0210: 20 2a 20 20 4d 69 63 72 6f 73 6f 66 74 20 77 69   *  Microsoft wi
0220: 6e 64 6f 77 73 20 70 6f 72 74 20 28 6d 6f 73 74  ndows port (most
0230: 6c 79 20 63 6f 6e 76 65 72 74 20 73 79 73 74 65  ly convert syste
0240: 6d 20 63 61 6c 6c 73 20 74 6f 20 6e 61 74 69 76  m calls to nativ
0250: 65 20 70 6f 73 69 78 29 0d 0a 20 20 20 20 0d 0a  e posix)..    ..
0260: 4d 65 67 61 74 65 73 74 0d 0a 20 20 2a 20 20 52  Megatest..  *  R
0270: 65 66 61 63 74 6f 72 2c 20 73 6f 6d 65 20 63 6f  efactor, some co
0280: 64 65 20 68 61 73 20 67 6f 74 74 65 6e 20 61 20  de has gotten a 
0290: 62 69 74 20 63 72 75 66 74 79 0d 0a 20 20 2a 20  bit crufty..  * 
02a0: 20 4c 6f 67 20 66 72 65 65 20 73 70 61 63 65 20   Log free space 
02b0: 69 6e 20 2f 74 6d 70 20 69 6e 20 74 68 65 20 64  in /tmp in the d
02c0: 61 74 61 62 61 73 65 2e 20 54 65 73 74 73 20 6f  atabase. Tests o
02d0: 66 74 65 6e 20 75 73 65 20 2f 74 6d 70 20 61 6e  ften use /tmp an
02e0: 64 20 74 68 69 73 20 63 61 6e 20 68 65 6c 70 20  d this can help 
02f0: 64 65 62 75 67 20 70 72 6f 62 6c 65 6d 73 0d 0a  debug problems..
0300: 20 20 2a 20 20 52 65 63 6f 72 64 20 66 72 65 65    *  Record free
0310: 20 6d 65 6d 6f 72 79 20 28 61 63 63 6f 75 6e 74   memory (account
0320: 20 66 6f 72 20 62 75 66 66 65 72 73 20 65 74 63   for buffers etc
0330: 2e 29 0d 0a 20 20 2a 20 20 49 6d 70 6c 65 6d 65  .)..  *  Impleme
0340: 6e 74 20 73 73 68 20 6d 65 74 68 6f 64 20 66 6f  nt ssh method fo
0350: 72 20 63 61 6c 6c 69 6e 67 20 68 6f 6d 65 20 28  r calling home (
0360: 65 6c 69 6d 69 6e 61 74 65 73 20 6e 65 65 64 20  eliminates need 
0370: 66 6f 72 20 6e 65 74 77 6f 72 6b 20 66 69 6c 65  for network file
0380: 73 79 73 74 65 6d 29 2e 0d 0a 0d 0a 44 61 73 68  system).....Dash
0390: 62 6f 61 72 64 0d 0a 20 20 2a 20 20 41 64 64 20  board..  *  Add 
03a0: 66 69 6c 74 65 72 73 20 74 6f 20 74 65 73 74 73  filters to tests
03b0: 0d 0a 20 20 2a 20 20 41 64 64 20 76 69 73 75 61  ..  *  Add visua
03c0: 6c 20 6d 6f 6e 69 74 6f 72 69 6e 67 20 6f 66 20  l monitoring of 
03d0: 63 70 75 2c 20 6d 65 6d 6f 72 79 2c 20 64 69 73  cpu, memory, dis
03e0: 6b 73 70 61 63 65 20 65 74 63 2e 20 66 6f 72 20  kspace etc. for 
03f0: 74 65 73 74 73 0d 0a 20 20 2a 20 20 43 6c 65 61  tests..  *  Clea
0400: 6e 20 75 70 20 74 68 65 20 74 68 72 65 61 64 73  n up the threads
0410: 2c 20 72 65 64 75 63 65 20 74 6f 20 6f 6e 65 20  , reduce to one 
0420: 70 6c 75 73 20 74 68 65 20 69 75 70 20 67 75 69  plus the iup gui
0430: 20 74 68 72 65 61 64 0d 0a 20 20 2a 20 20 53 63   thread..  *  Sc
0440: 72 6f 6c 6c 69 6e 67 20 69 6e 64 69 63 61 74 6f  rolling indicato
0450: 72 73 20 28 63 75 72 72 65 6e 74 6c 79 20 6e 6f  rs (currently no
0460: 20 76 69 73 75 61 6c 20 63 6c 75 65 20 74 68 61   visual clue tha
0470: 74 20 74 68 65 72 65 20 3c 62 3e 61 72 65 2f 61  t there <b>are/a
0480: 72 65 20 6e 6f 74 3c 2f 62 3e 20 6d 6f 72 65 20  re not</b> more 
0490: 74 65 73 74 73 0d 0a 0d 0a 5b 49 6d 70 6c 65 6d  tests....[Implem
04a0: 65 6e 74 61 74 69 6f 6e 20 63 68 61 6e 67 65 73  entation changes
04b0: 5d 0d 0a 0d 0a 0d 0a 3c 74 61 62 6c 65 20 62 6f  ]......<table bo
04c0: 72 64 65 72 3d 31 20 63 65 6c 6c 73 70 61 63 69  rder=1 cellspaci
04d0: 6e 67 3d 30 3e 0d 0a 3c 74 72 3e 3c 74 64 3e 46  ng=0>..<tr><td>F
04e0: 65 61 74 75 72 65 3c 2f 74 64 3e 3c 74 64 3e 53  eature</td><td>S
04f0: 74 61 74 75 73 3c 2f 74 64 3e 3c 2f 74 72 3e 0d  tatus</td></tr>.
0500: 0a 3c 74 72 3e 3c 74 64 3e 72 70 63 20 22 70 68  .<tr><td>rpc "ph
0510: 6f 6e 65 20 68 6f 6d 65 22 20 62 61 73 69 63 20  one home" basic 
0520: 69 6d 70 6c 65 6d 65 6e 74 61 74 69 6f 6e 3c 2f  implementation</
0530: 74 64 3e 3c 74 64 3e 39 30 25 20 6f 66 20 74 68  td><td>90% of th
0540: 65 20 68 65 61 76 79 20 68 69 74 74 69 6e 67 20  e heavy hitting 
0550: 64 62 20 61 63 63 65 73 73 65 73 20 63 61 6e 20  db accesses can 
0560: 6e 6f 77 20 75 73 65 20 72 70 63 20 77 68 65 6e  now use rpc when
0570: 20 61 76 61 69 6c 61 62 6c 65 2e 20 3c 2f 74 64   available. </td
0580: 3e 3c 2f 74 72 3e 0d 0a 3c 74 72 3e 3c 74 64 3e  ></tr>..<tr><td>
0590: 72 70 63 20 22 70 68 6f 6e 65 20 68 6f 6d 65 22  rpc "phone home"
05a0: 20 39 38 25 20 63 6f 6e 76 65 72 74 65 64 3c 2f   98% converted</
05b0: 74 64 3e 3c 74 64 3e 45 54 41 3a 20 46 65 62 20  td><td>ETA: Feb 
05c0: 32 37 3c 2f 74 64 3e 3c 2f 74 72 3e 0d 0a 3c 74  27</td></tr>..<t
05d0: 72 3e 3c 74 64 3e 72 70 63 20 6f 6e 20 36 34 20  r><td>rpc on 64 
05e0: 62 69 74 3c 2f 74 64 3e 3c 74 64 3e 43 75 72 72  bit</td><td>Curr
05f0: 65 6e 74 6c 79 20 66 61 69 6c 73 20 74 6f 20 77  ently fails to w
0600: 6f 72 6b 20 72 65 6c 69 61 62 6c 79 2e 20 54 65  ork reliably. Te
0610: 73 74 20 63 61 73 65 20 67 65 6e 65 72 61 74 69  st case generati
0620: 6f 6e 20 69 6e 20 70 72 6f 67 72 65 73 73 3c 2f  on in progress</
0630: 74 64 3e 3c 2f 74 72 3e 0d 0a 3c 74 72 3e 3c 74  td></tr>..<tr><t
0640: 64 3e 72 70 63 20 73 6f 6d 65 20 77 72 69 74 65  d>rpc some write
0650: 73 20 74 6f 20 64 62 20 67 6f 20 69 6e 74 6f 20  s to db go into 
0660: 71 75 65 75 65 20 3c 2f 74 64 3e 3c 74 64 3e 4d  queue </td><td>M
0670: 61 6e 79 20 77 72 69 74 65 73 20 61 72 65 20 6e  any writes are n
0680: 6f 74 20 74 69 6d 65 20 63 72 69 74 69 63 61 6c  ot time critical
0690: 20 61 6e 64 20 63 61 6e 20 62 65 20 71 75 65 75   and can be queu
06a0: 65 64 20 75 70 20 66 72 65 65 69 6e 67 20 74 68  ed up freeing th
06b0: 65 20 74 65 73 74 20 70 72 6f 63 65 73 73 65 73  e test processes
06c0: 3a 20 45 54 41 20 46 65 62 20 32 37 3c 2f 74 64  : ETA Feb 27</td
06d0: 3e 3c 2f 74 72 3e 0d 0a 3c 74 72 3e 3c 74 64 3e  ></tr>..<tr><td>
06e0: 72 70 63 20 73 65 72 76 65 72 20 73 74 61 72 74  rpc server start
06f0: 20 75 70 20 61 74 20 61 6e 79 20 74 69 6d 65 3c   up at any time<
0700: 2f 74 64 3e 3c 74 64 3e 57 6f 72 6b 73 20 66 69  /td><td>Works fi
0710: 6e 65 2e 20 53 65 72 76 65 72 20 63 61 6e 20 62  ne. Server can b
0720: 65 20 73 74 61 72 74 65 64 20 61 66 74 65 72 20  e started after 
0730: 61 20 72 75 6e 20 69 73 20 69 6e 20 70 6c 61 63  a run is in plac
0740: 65 3c 2f 74 64 3e 3c 2f 74 72 3e 0d 0a 3c 74 72  e</td></tr>..<tr
0750: 3e 3c 74 64 3e 72 70 63 20 73 65 72 76 65 72 20  ><td>rpc server 
0760: 20 73 68 75 74 20 64 6f 77 6e 20 61 74 20 61 6e   shut down at an
0770: 79 20 74 69 6d 65 3c 2f 74 64 3e 3c 74 64 3e 4e  y time</td><td>N
0780: 6f 74 20 63 6f 6d 70 6c 65 74 65 2e 20 53 68 75  ot complete. Shu
0790: 74 64 6f 77 6e 20 63 6c 65 61 6e 20 77 72 74 20  tdown clean wrt 
07a0: 74 68 65 20 64 62 20 62 75 74 20 72 61 63 65 20  the db but race 
07b0: 63 6f 6e 64 69 74 69 6f 6e 20 65 78 69 73 74 73  condition exists
07c0: 20 66 6f 72 20 69 6e 20 66 6c 69 67 68 74 20 71   for in flight q
07d0: 75 65 72 69 65 73 2e 20 46 69 78 20 69 73 20 65  ueries. Fix is e
07e0: 61 73 79 3c 2f 74 64 3e 3c 2f 74 72 3e 0d 0a 3c  asy</td></tr>..<
07f0: 74 72 3e 3c 74 64 3e 72 70 63 20 73 65 72 76 65  tr><td>rpc serve
0800: 72 20 20 69 6e 64 65 70 65 6e 64 65 6e 74 20 6f  r  independent o
0810: 66 20 72 75 6e 28 73 29 3c 2f 74 64 3e 3c 74 64  f run(s)</td><td
0820: 3e 55 6e 74 65 73 74 65 64 20 62 75 74 20 61 6c  >Untested but al
0830: 6c 20 66 75 6e 63 74 69 6f 6e 73 20 70 6f 72 74  l functions port
0840: 65 64 20 74 6f 20 75 73 65 20 72 70 63 20 77 65  ed to use rpc we
0850: 72 65 20 69 6e 73 70 65 63 74 65 64 20 61 6e 64  re inspected and
0860: 20 6e 6f 6e 65 20 75 73 65 20 67 6c 6f 62 61 6c   none use global
0870: 73 2c 20 73 68 6f 75 6c 64 20 62 65 20 66 69 6e  s, should be fin
0880: 65 3c 2f 74 64 3e 3c 2f 74 72 3e 0d 0a 3c 74 72  e</td></tr>..<tr
0890: 3e 3c 74 64 3e 72 70 63 20 73 65 72 76 65 72 20  ><td>rpc server 
08a0: 61 75 74 6f 20 6c 61 75 6e 63 68 3c 2f 74 64 3e  auto launch</td>
08b0: 3c 74 64 3e 4e 6f 74 20 69 6d 70 6c 65 6d 65 6e  <td>Not implemen
08c0: 74 65 64 3c 2f 74 64 3e 3c 2f 74 72 3e 0d 0a 3c  ted</td></tr>..<
08d0: 74 72 3e 3c 74 64 3e 72 70 63 20 73 65 72 76 65  tr><td>rpc serve
08e0: 72 20 31 30 30 25 20 77 69 74 68 20 66 61 6c 6c  r 100% with fall
08f0: 62 61 63 6b 20 74 6f 20 64 69 72 65 63 74 3c 2f  back to direct</
0900: 74 64 3e 3c 74 64 3e 57 69 73 68 20 6c 69 73 74  td><td>Wish list
0910: 20 69 74 65 6d 2c 20 52 4f 49 20 69 73 20 73 6d   item, ROI is sm
0920: 61 6c 6c 20 66 6f 72 20 74 68 6f 73 65 20 77 69  all for those wi
0930: 74 68 20 4e 46 53 20 6f 72 20 73 69 6d 69 6c 61  th NFS or simila
0940: 72 20 6e 65 74 77 6f 72 6b 20 66 73 20 61 76 61  r network fs ava
0950: 69 6c 61 62 6c 65 2e 3c 2f 74 64 3e 3c 2f 74 72  ilable.</td></tr
0960: 3e 0d 0a 3c 74 72 3e 3c 74 64 3e 72 70 63 20 73  >..<tr><td>rpc s
0970: 65 72 76 65 72 20 73 75 70 70 6f 72 74 20 66 6f  erver support fo
0980: 72 20 64 61 73 68 62 6f 61 72 64 3c 2f 74 64 3e  r dashboard</td>
0990: 3c 74 64 3e 48 69 67 68 20 70 72 69 6f 72 69 74  <td>High priorit
09a0: 79 20 61 73 20 74 68 69 73 20 77 69 6c 6c 20 61  y as this will a
09b0: 6d 65 6c 69 6f 72 61 74 65 20 74 68 65 20 72 65  meliorate the re
09c0: 61 64 65 72 20 73 74 61 72 76 61 74 69 6f 6e 20  ader starvation 
09d0: 69 73 73 75 65 2c 20 45 54 41 20 4d 61 72 20 35  issue, ETA Mar 5
09e0: 2e 3c 2f 74 64 3e 3c 2f 74 72 3e 0d 0a 3c 74 72  .</td></tr>..<tr
09f0: 3e 3c 74 64 3e 3d 3d 3d 3d 3d 3d 3d 3d 3d 3d 3d  ><td>===========
0a00: 3d 3d 3d 3d 3d 3d 3d 3d 3d 3d 3d 3d 3d 3d 3d 3d  ================
0a10: 3d 3d 3d 3d 3c 2f 74 64 3e 3c 74 64 3e 3c 2f 74  ====</td><td></t
0a20: 64 3e 3c 2f 74 72 3e 0d 0a 3c 74 72 3e 3c 74 64  d></tr>..<tr><td
0a30: 3e 42 75 74 74 6f 6e 20 74 6f 20 63 68 61 6e 67  >Button to chang
0a40: 65 20 73 74 61 74 65 20 67 6c 6f 62 61 6c 6c 79  e state globally
0a50: 20 66 6f 72 20 61 20 72 75 6e 3c 2f 74 64 3e 3c   for a run</td><
0a60: 74 64 3e 4e 6f 74 20 69 6d 70 6c 65 6d 65 6e 74  td>Not implement
0a70: 65 64 2c 20 45 54 41 3a 20 46 65 62 20 32 37 3c  ed, ETA: Feb 27<
0a80: 2f 74 64 3e 3c 2f 74 72 3e 0d 0a 3c 74 72 3e 3c  /td></tr>..<tr><
0a90: 74 64 3e 41 75 74 6f 20 63 72 65 61 74 65 20 6c  td>Auto create l
0aa0: 69 6e 6b 73 74 72 65 65 3c 2f 74 64 3e 3c 74 64  inkstree</td><td
0ab0: 3e 3c 2f 74 64 3e 3c 2f 74 72 3e 0d 0a 3c 74 72  ></td></tr>..<tr
0ac0: 3e 3c 74 64 3e 46 69 78 20 2d 72 65 72 75 6e 20  ><td>Fix -rerun 
0ad0: 3c 2f 74 64 3e 3c 74 64 3e 3c 2f 74 64 3e 3c 2f  </td><td></td></
0ae0: 74 72 3e 0d 0a 3c 74 72 3e 3c 74 64 3e 2e 3c 2f  tr>..<tr><td>.</
0af0: 74 64 3e 3c 74 64 3e 0d 0a 3c 2f 74 61 62 6c 65  td><td>..</table
0b00: 3e 0a 5a 20 62 62 61 37 39 65 36 33 61 35 33 39  >.Z bba79e63a539
0b10: 36 62 31 31 33 66 66 66 63 31 32 65 64 33 36 63  6b113fffc12ed36c
0b20: 39 63 38 37 0a                                   9c87.