cson  Hex Artifact Content

Artifact 2b152f1a1e9bf5cb582900d9636948037815b907:

Wiki page [TODOs] by stephan 2011-05-09 17:58:47.
0000: 44 20 32 30 31 31 2d 30 35 2d 30 39 54 31 37 3a  D 2011-05-09T17:
0010: 35 38 3a 34 37 2e 30 35 34 0a 4c 20 54 4f 44 4f  58:47.054.L TODO
0020: 73 0a 50 20 66 38 66 36 65 64 39 38 66 30 31 31  s.P f8f6ed98f011
0030: 62 33 36 35 35 38 34 30 39 38 65 32 64 33 36 39  b365584098e2d369
0040: 63 33 66 36 62 33 37 62 36 35 30 38 0a 55 20 73  c3f6b37b6508.U s
0050: 74 65 70 68 61 6e 0a 57 20 34 37 34 33 0a 3c 73  tephan.W 4743.<s
0060: 74 72 6f 6e 67 3e 41 43 48 54 55 4e 47 3a 20 54  trong>ACHTUNG: T
0070: 48 49 53 20 50 41 47 45 20 49 53 20 4e 4f 57 20  HIS PAGE IS NOW 
0080: 4d 41 49 4e 54 41 49 4e 45 44 20 49 4e 20 54 48  MAINTAINED IN TH
0090: 45 20 4e 45 57 20 57 49 4b 49 3a 3c 2f 73 74 72  E NEW WIKI:</str
00a0: 6f 6e 67 3e 20 5b 68 74 74 70 3a 2f 2f 77 68 69  ong> [http://whi
00b0: 6b 69 2e 77 61 6e 64 65 72 69 6e 67 68 6f 72 73  ki.wanderinghors
00c0: 65 2e 6e 65 74 2f 77 69 6b 69 73 2f 63 73 6f 6e  e.net/wikis/cson
00d0: 2f 3f 70 61 67 65 3d 54 4f 44 4f 73 5d 0a 0a 0a  /?page=TODOs]...
00e0: 3c 68 31 3e 63 73 6f 6e 20 54 4f 44 4f 73 3c 2f  <h1>cson TODOs</
00f0: 68 31 3e 0d 0a 0d 0a 54 68 65 20 6d 6f 72 65 20  h1>....The more 
0100: 73 69 67 6e 69 66 69 63 61 6e 74 20 54 4f 44 4f  significant TODO
0110: 73 20 69 6e 63 6c 75 64 65 3a 0d 0a 0d 0a 20 20  s include:....  
0120: 20 2a 20 20 54 68 65 20 6f 62 6a 65 63 74 20 69   *  The object i
0130: 74 65 72 61 74 69 6f 6e 20 41 50 49 20 6e 65 65  teration API nee
0140: 64 73 20 74 6f 20 62 65 20 63 68 61 6e 67 65 64  ds to be changed
0150: 20 74 6f 20 61 6c 6c 6f 77 20 75 73 20 74 6f 20   to allow us to 
0160: 6d 6f 64 69 66 79 20 61 6e 20 6f 62 6a 65 63 74  modify an object
0170: 20 64 75 72 69 6e 67 20 69 74 65 72 61 74 69 6f   during iteratio
0180: 6e 20 77 69 74 68 6f 75 74 20 69 6e 76 61 6c 69  n without invali
0190: 64 61 74 69 6e 67 20 74 68 65 20 69 74 65 72 61  dating the itera
01a0: 74 6f 72 2e 20 44 6f 69 6e 67 20 74 68 69 73 20  tor. Doing this 
01b0: 70 72 6f 62 61 62 6c 79 20 72 65 71 75 69 72 65  probably require
01c0: 73 20 61 64 64 69 6e 67 20 61 20 6d 75 63 68 20  s adding a much 
01d0: 64 69 66 66 65 72 65 6e 74 20 28 6d 6f 72 65 20  different (more 
01e0: 63 6f 6d 70 6c 65 78 29 20 69 6e 74 65 72 6e 61  complex) interna
01f0: 6c 20 41 50 49 20 66 6f 72 20 68 61 6e 64 6c 69  l API for handli
0200: 6e 67 20 6f 62 6a 65 63 74 20 6b 65 79 2f 76 61  ng object key/va
0210: 6c 75 65 20 70 61 69 72 73 2e 20 43 75 72 72 65  lue pairs. Curre
0220: 6e 74 6c 79 20 77 65 20 75 73 65 20 61 6e 20 75  ntly we use an u
0230: 6e 73 6f 72 74 65 64 20 6c 69 73 74 20 6f 66 20  nsorted list of 
0240: 6b 65 79 2f 76 61 6c 75 65 20 70 61 69 72 73 2c  key/value pairs,
0250: 20 77 68 69 63 68 20 69 73 20 61 63 74 75 61 6c   which is actual
0260: 6c 79 20 6f 6b 61 79 20 66 6f 72 20 67 65 6e 65  ly okay for gene
0270: 72 69 63 20 75 73 65 20 63 61 73 65 73 2c 20 62  ric use cases, b
0280: 75 74 20 69 73 20 6e 6f 74 20 68 69 67 68 2d 70  ut is not high-p
0290: 65 72 66 6f 72 6d 61 6e 63 65 20 61 6e 64 20 68  erformance and h
02a0: 61 73 20 74 68 65 20 69 74 65 72 61 74 6f 72 20  as the iterator 
02b0: 69 6e 76 61 6c 69 64 61 74 69 6f 6e 20 70 72 6f  invalidation pro
02c0: 62 6c 65 6d 2e 20 41 66 74 65 72 20 69 6e 69 74  blem. After init
02d0: 69 61 6c 20 65 78 70 65 72 69 6d 65 6e 74 61 74  ial experimentat
02e0: 69 6f 6e 20 77 69 74 68 20 61 20 62 69 6e 61 72  ion with a binar
02f0: 79 20 73 65 61 72 63 68 20 74 72 65 65 2c 20 69  y search tree, i
0300: 74 20 62 65 63 61 6d 65 20 63 6c 65 61 72 20 74  t became clear t
0310: 68 61 74 20 77 65 20 77 6f 75 6c 64 20 6e 6f 72  hat we would nor
0320: 6d 61 6c 6c 79 20 67 65 74 20 77 6f 72 73 74 2d  mally get worst-
0330: 63 61 73 65 20 73 65 61 72 63 68 20 70 65 72 66  case search perf
0340: 6f 72 6d 61 6e 63 65 20 28 4f 28 4e 29 29 20 62  ormance (O(N)) b
0350: 65 63 61 75 73 65 20 4a 53 4f 4e 20 6b 65 79 73  ecause JSON keys
0360: 2f 76 61 6c 75 65 73 20 66 72 6f 6d 20 66 6f 72  /values from for
0370: 65 69 67 6e 20 73 6f 75 72 63 65 73 20 61 72 65  eign sources are
0380: 2c 20 6d 6f 72 65 20 6f 66 74 65 6e 20 74 68 61  , more often tha
0390: 6e 20 6e 6f 74 2c 20 61 6c 72 65 61 64 79 20 73  n not, already s
03a0: 6f 72 74 65 64 20 62 79 20 6b 65 79 2e 0d 0a 20  orted by key... 
03b0: 20 20 2a 20 20 5b 63 73 6f 6e 5f 63 67 69 5d 20    *  [cson_cgi] 
03c0: 68 61 73 20 6f 6e 65 20 72 6f 75 74 69 6e 65 20  has one routine 
03d0: 28 66 6f 72 20 70 61 72 73 69 6e 67 20 48 54 54  (for parsing HTT
03e0: 50 20 63 6f 6f 6b 69 65 73 29 20 77 68 69 63 68  P cookies) which
03f0: 20 68 61 73 20 61 20 63 6f 75 70 6c 65 20 6b 6e   has a couple kn
0400: 6f 77 6e 20 62 75 66 66 65 72 2d 6f 76 65 72 72  own buffer-overr
0410: 75 6e 20 70 6f 73 73 69 62 69 6c 69 74 69 65 73  un possibilities
0420: 2e 20 4e 65 65 64 20 74 6f 20 66 69 78 20 74 68  . Need to fix th
0430: 69 73 2e 20 28 54 68 65 20 72 65 73 74 20 6f 66  is. (The rest of
0440: 20 74 68 65 20 63 6f 64 65 20 69 73 2c 20 61 73   the code is, as
0450: 20 66 61 72 20 61 73 20 69 20 63 61 6e 20 64 65   far as i can de
0460: 74 65 72 6d 69 6e 65 2c 20 73 61 66 65 20 61 67  termine, safe ag
0470: 61 69 6e 73 74 20 6d 61 6c 69 63 69 6f 75 73 20  ainst malicious 
0480: 62 75 66 66 65 72 20 6f 76 65 72 72 75 6e 73 2e  buffer overruns.
0490: 29 0d 0a 20 20 20 2a 20 20 3c 74 74 3e 63 73 6f  )..   *  <tt>cso
04a0: 6e 5f 63 67 69 5f 69 6e 69 74 28 29 3c 2f 74 74  n_cgi_init()</tt
04b0: 3e 20 6e 65 65 64 73 20 74 6f 20 62 65 20 61 62  > needs to be ab
04c0: 6c 65 20 74 6f 20 74 61 6b 65 20 63 6c 69 65 6e  le to take clien
04d0: 74 2d 73 69 64 65 20 63 6f 6e 66 69 67 75 72 61  t-side configura
04e0: 74 69 6f 6e 20 69 6e 20 74 68 65 20 66 6f 72 6d  tion in the form
04f0: 20 6f 66 20 61 20 4a 53 4f 4e 20 6f 62 6a 65 63   of a JSON objec
0500: 74 20 74 72 65 65 2c 20 69 6e 73 74 65 61 64 20  t tree, instead 
0510: 6f 66 20 6f 6e 6c 79 20 61 73 20 61 6e 20 65 78  of only as an ex
0520: 74 65 72 6e 61 6c 20 4a 53 4f 4e 20 66 69 6c 65  ternal JSON file
0530: 2e 0d 0a 20 20 20 2a 20 20 5b 63 73 6f 6e 5f 63  ...   *  [cson_c
0540: 67 69 5d 20 6e 65 65 64 73 20 61 20 64 65 62 75  gi] needs a debu
0550: 67 20 63 68 61 6e 6e 65 6c 2c 20 73 6f 20 74 68  g channel, so th
0560: 61 74 20 77 65 20 63 61 6e 20 6c 6f 67 20 6f 75  at we can log ou
0570: 74 70 75 74 20 77 68 69 63 68 20 73 68 6f 75 6c  tput which shoul
0580: 64 20 6e 6f 74 20 69 6e 74 65 72 72 75 70 74 20  d not interrupt 
0590: 74 68 65 20 4a 53 4f 4e 20 6f 75 74 70 75 74 2e  the JSON output.
05a0: 20 65 2e 67 2e 20 6e 6f 6e 2d 66 61 74 61 6c 20   e.g. non-fatal 
05b0: 69 6e 69 74 69 61 6c 69 7a 61 74 69 6f 6e 2d 72  initialization-r
05c0: 65 6c 61 74 65 64 20 70 72 6f 62 6c 65 6d 73 20  elated problems 
05d0: 28 63 61 6e 27 74 20 6c 6f 61 64 20 63 6f 6e 66  (can't load conf
05e0: 69 67 20 66 69 6c 65 20 6f 72 20 73 65 73 73 69  ig file or sessi
05f0: 6f 6e 20 64 62 20 63 6f 6e 6e 65 63 74 20 66 61  on db connect fa
0600: 69 6c 65 64 2c 20 62 6f 74 68 20 6f 66 20 77 68  iled, both of wh
0610: 69 63 68 20 61 72 65 20 63 75 72 72 65 6e 74 6c  ich are currentl
0620: 79 20 73 69 6c 65 6e 74 6c 79 20 69 67 6e 6f 72  y silently ignor
0630: 65 64 29 2e 0d 0a 0d 0a 50 6f 74 65 6e 74 69 61  ed).....Potentia
0640: 6c 20 54 4f 44 4f 73 20 77 68 69 63 68 20 64 6f  l TODOs which do
0650: 6e 27 74 20 72 65 61 6c 6c 79 20 68 61 76 65 20  n't really have 
0660: 61 20 70 72 69 6f 72 69 74 79 3a 0d 0a 0d 0a 20  a priority:.... 
0670: 20 20 2a 20 20 57 65 27 72 65 20 70 72 6f 62 61    *  We're proba
0680: 62 6c 79 20 6d 69 73 73 69 6e 67 20 61 20 6e 75  bly missing a nu
0690: 6d 62 65 72 20 6f 66 20 35 2d 6c 69 6e 65 20 63  mber of 5-line c
06a0: 6f 6e 76 65 6e 69 65 6e 63 65 20 66 75 6e 63 74  onvenience funct
06b0: 69 6f 6e 73 20 77 68 69 63 68 20 73 69 6d 70 6c  ions which simpl
06c0: 79 20 6e 65 65 64 20 74 6f 20 62 65 20 77 72 69  y need to be wri
06d0: 74 74 65 6e 2e 0d 0a 20 20 20 2a 20 20 54 68 65  tten...   *  The
06e0: 20 3c 73 3e 6f 62 6a 65 63 74 20 61 6e 64 3c 2f   <s>object and</
06f0: 73 3e 20 61 72 72 61 79 20 41 50 49 73 20 70 72  s> array APIs pr
0700: 6f 76 69 64 65 20 6e 6f 20 77 61 79 20 74 6f 20  ovide no way to 
0710: 3c 65 6d 3e 72 65 6d 6f 76 65 3c 2f 65 6d 3e 20  <em>remove</em> 
0720: 65 6e 74 72 69 65 73 20 66 72 6f 6d 20 74 68 65  entries from the
0730: 20 63 6f 6e 74 61 69 6e 65 72 73 2e 20 54 68 65   containers. The
0740: 73 65 20 66 65 61 74 75 72 65 73 20 61 72 65 20  se features are 
0750: 6e 6f 72 6d 61 6c 6c 79 20 6e 6f 74 20 6e 65 65  normally not nee
0760: 64 65 64 20 77 68 65 6e 20 67 65 6e 65 72 61 74  ded when generat
0770: 69 6e 67 2f 72 65 61 64 69 6e 67 20 4a 53 4f 4e  ing/reading JSON
0780: 2c 20 61 6e 64 20 77 69 6c 6c 20 62 65 20 64 65  , and will be de
0790: 66 65 72 72 65 64 20 75 6e 74 69 6c 20 74 68 65  ferred until the
07a0: 79 20 61 72 65 20 6e 65 65 64 65 64 2e 20 28 32  y are needed. (2
07b0: 30 31 31 30 33 32 34 3a 20 50 72 6f 70 65 72 74  0110324: Propert
07c0: 69 65 73 20 63 61 6e 20 6e 6f 77 20 62 65 20 72  ies can now be r
07d0: 65 6d 6f 76 65 64 20 66 72 6f 6d 20 4f 62 6a 65  emoved from Obje
07e0: 63 74 73 2c 20 62 75 74 20 6e 6f 74 20 79 65 74  cts, but not yet
07f0: 20 61 72 72 61 79 73 2e 29 0d 0a 20 20 20 2a 20   arrays.)..   * 
0800: 20 3c 74 74 3e 63 73 6f 6e 5f 70 61 72 73 65 28   <tt>cson_parse(
0810: 29 3c 2f 74 74 3e 20 63 75 72 72 65 6e 74 6c 79  )</tt> currently
0820: 20 72 65 61 64 73 20 6f 6e 65 20 62 79 74 65 20   reads one byte 
0830: 61 74 20 61 20 74 69 6d 65 2c 20 69 6e 73 74 65  at a time, inste
0840: 61 64 20 6f 66 20 62 75 66 66 65 72 69 6e 67 2e  ad of buffering.
0850: 20 54 68 69 73 20 69 73 20 62 65 63 61 75 73 65   This is because
0860: 20 69 27 76 65 20 62 65 65 6e 20 74 6f 6f 20 6c   i've been too l
0870: 61 7a 79 20 74 6f 20 61 64 64 20 74 68 65 20 61  azy to add the a
0880: 64 64 69 74 69 6f 6e 61 6c 20 6e 65 73 74 65 64  dditional nested
0890: 20 6c 6f 6f 70 20 74 6f 20 68 61 6e 64 6c 65 20   loop to handle 
08a0: 62 75 66 66 65 72 69 6e 67 20 61 20 66 65 77 20  buffering a few 
08b0: 6b 62 20 6f 66 20 69 6e 70 75 74 20 61 74 20 61  kb of input at a
08c0: 20 74 69 6d 65 2e 20 54 68 65 20 75 6e 64 65 72   time. The under
08d0: 6c 79 69 6e 67 20 4a 53 4f 4e 20 70 61 72 73 65  lying JSON parse
08e0: 72 20 72 65 61 64 73 20 62 79 74 65 2d 62 79 2d  r reads byte-by-
08f0: 62 79 74 65 2c 20 73 6f 20 62 75 66 66 65 72 69  byte, so bufferi
0900: 6e 67 20 69 73 20 6e 6f 74 20 72 65 61 6c 6c 79  ng is not really
0910: 20 6e 65 65 64 65 64 2c 20 62 75 74 20 77 6f 75   needed, but wou
0920: 6c 64 20 62 65 20 61 6e 20 6f 70 74 69 6d 69 7a  ld be an optimiz
0930: 61 74 69 6f 6e 2e 0d 0a 20 20 20 2a 20 20 3c 65  ation...   *  <e
0940: 6d 3e 4d 61 79 62 65 3c 2f 65 6d 3e 20 6d 6f 72  m>Maybe</em> mor
0950: 65 20 63 6f 6d 70 6c 65 74 65 20 6f 62 6a 65 63  e complete objec
0960: 74 2f 61 72 72 61 79 20 41 50 49 73 2e 20 43 75  t/array APIs. Cu
0970: 72 72 65 6e 74 6c 79 20 74 68 65 79 20 6f 6e 6c  rrently they onl
0980: 79 20 68 61 76 65 20 74 68 65 20 66 75 6e 63 74  y have the funct
0990: 69 6f 6e 73 20 77 68 69 63 68 20 61 72 65 20 6e  ions which are n
09a0: 65 63 65 73 73 61 72 79 20 66 6f 72 20 67 65 6e  ecessary for gen
09b0: 65 72 61 74 69 6e 67 20 61 6e 64 20 70 61 72 73  erating and pars
09c0: 69 6e 67 20 4a 53 4f 4e 2c 20 61 6e 64 20 74 72  ing JSON, and tr
09d0: 61 76 65 72 73 69 6e 67 20 74 68 65 20 72 65 73  aversing the res
09e0: 75 6c 74 73 2e 20 54 68 65 79 20 64 6f 20 6e 6f  ults. They do no
09f0: 74 20 68 61 76 65 20 61 20 66 75 6c 6c 20 73 75  t have a full su
0a00: 69 74 65 20 6f 66 20 6d 75 74 61 74 6f 72 20 41  ite of mutator A
0a10: 50 49 73 2c 20 66 6f 72 20 65 78 61 6d 70 6c 65  PIs, for example
0a20: 2e 0d 0a 20 20 20 2a 20 20 4d 61 79 62 65 20 70  ...   *  Maybe p
0a30: 75 6c 6c 20 69 6e 20 74 68 65 20 77 68 70 72 69  ull in the whpri
0a40: 6e 74 66 20 63 6f 64 65 20 73 6f 20 77 65 20 63  ntf code so we c
0a50: 61 6e 20 61 64 64 20 73 75 70 70 6f 72 74 20 66  an add support f
0a60: 6f 72 20 73 65 74 74 69 6e 67 20 73 74 72 69 6e  or setting strin
0a70: 67 20 76 61 6c 75 65 73 20 76 69 61 20 70 72 69  g values via pri
0a80: 6e 74 66 2d 6c 69 6b 65 20 63 6f 6d 6d 61 6e 64  ntf-like command
0a90: 73 2e 0d 0a 20 20 20 2a 20 20 43 6f 6e 73 69 64  s...   *  Consid
0aa0: 65 72 20 70 75 6c 6c 69 6e 67 20 69 6e 20 74 68  er pulling in th
0ab0: 65 20 77 68 61 6c 6c 6f 63 5f 70 61 67 65 72 20  e whalloc_pager 
0ac0: 63 6f 64 65 20 66 72 6f 6d 20 74 68 65 20 6e 6f  code from the no
0ad0: 73 6a 6f 62 20 74 72 65 65 2c 20 61 6e 64 20 75  sjob tree, and u
0ae0: 73 69 6e 67 20 74 68 65 20 70 61 67 69 6e 67 20  sing the paging 
0af0: 61 6c 6c 6f 63 61 74 6f 72 20 66 6f 72 20 74 68  allocator for th
0b00: 65 20 62 61 73 65 20 50 4f 44 20 74 79 70 65 73  e base POD types
0b10: 2e 20 46 6f 72 20 64 69 73 70 61 72 61 74 65 20  . For disparate 
0b20: 74 79 70 65 73 20 77 69 74 68 20 74 68 65 20 73  types with the s
0b30: 61 6d 65 20 3c 74 74 3e 73 69 7a 65 6f 66 28 29  ame <tt>sizeof()
0b40: 3c 2f 74 74 3e 20 77 65 20 63 61 6e 20 75 73 65  </tt> we can use
0b50: 20 74 68 65 20 73 61 6d 65 20 61 6c 6c 6f 63 61   the same alloca
0b60: 74 6f 72 20 69 6e 73 74 61 6e 63 65 2e 20 54 68  tor instance. Th
0b70: 69 73 20 69 6e 74 72 6f 64 75 63 65 73 20 74 68  is introduces th
0b80: 72 65 61 64 69 6e 67 20 69 73 73 75 65 73 2c 20  reading issues, 
0b90: 62 75 74 20 74 68 65 20 61 6c 6c 6f 63 61 74 6f  but the allocato
0ba0: 72 20 73 75 70 70 6f 72 74 73 20 61 20 63 6c 69  r supports a cli
0bb0: 65 6e 74 2d 73 70 65 63 69 66 69 65 64 20 6d 75  ent-specified mu
0bc0: 74 65 78 2e 0d 0a 20 20 20 2a 20 20 4f 62 6a 65  tex...   *  Obje
0bd0: 63 74 73 20 69 6e 74 65 72 6e 61 6c 6c 79 20 75  cts internally u
0be0: 73 65 20 73 74 72 69 6e 67 20 6b 65 79 73 20 66  se string keys f
0bf0: 6f 72 20 70 72 6f 70 65 72 74 69 65 73 20 28 61  or properties (a
0c00: 73 20 69 73 20 70 72 6f 70 65 72 20 66 6f 72 20  s is proper for 
0c10: 4a 53 4f 4e 29 2e 20 49 74 20 6d 69 67 68 74 20  JSON). It might 
0c20: 62 65 20 77 6f 72 74 68 77 68 69 6c 65 20 74 6f  be worthwhile to
0c30: 20 68 61 76 65 20 69 74 20 69 6e 74 65 72 6e 61   have it interna
0c40: 6c 6c 79 20 75 73 65 20 3c 74 74 3e 63 73 6f 6e  lly use <tt>cson
0c50: 5f 76 61 6c 75 65 3c 2f 74 74 3e 20 74 6f 20 68  _value</tt> to h
0c60: 6f 6c 64 20 74 68 65 20 6b 65 79 73 2c 20 73 6f  old the keys, so
0c70: 20 74 68 61 74 20 77 65 20 63 6f 75 6c 64 20 64   that we could d
0c80: 6f 20 72 65 66 65 72 65 6e 63 65 20 63 6f 75 6e  o reference coun
0c90: 74 69 6e 67 20 69 6e 20 74 68 65 6d 2e 20 48 6f  ting in them. Ho
0ca0: 77 65 76 65 72 2c 20 61 63 74 75 61 6c 6c 79 20  wever, actually 
0cb0: 67 65 74 74 69 6e 67 20 61 6e 79 20 62 65 6e 65  getting any bene
0cc0: 66 69 74 20 66 72 6f 6d 20 74 68 61 74 20 77 6f  fit from that wo
0cd0: 75 6c 64 20 72 65 71 75 69 72 65 20 61 20 67 6f  uld require a go
0ce0: 6f 64 20 64 65 61 6c 20 6f 66 20 70 6c 75 6d 62  od deal of plumb
0cf0: 69 6e 67 20 28 61 6e 64 20 65 78 74 72 61 20 6f  ing (and extra o
0d00: 76 65 72 68 65 61 64 29 20 74 6f 20 22 69 6e 74  verhead) to "int
0d10: 65 72 6e 61 6c 69 7a 65 22 20 70 72 6f 70 65 72  ernalize" proper
0d20: 74 79 20 6b 65 79 73 20 66 6f 72 20 72 65 2d 75  ty keys for re-u
0d30: 73 65 2e 20 54 68 61 74 20 69 6e 74 72 6f 64 75  se. That introdu
0d40: 63 65 73 20 74 68 72 65 61 64 69 6e 67 20 69 73  ces threading is
0d50: 73 75 65 73 2c 20 72 65 66 65 72 65 6e 63 65 2d  sues, reference-
0d60: 63 6f 75 6e 74 69 6e 67 20 69 73 73 75 65 73 2c  counting issues,
0d70: 20 61 73 20 77 65 6c 6c 20 61 73 20 61 64 64 73   as well as adds
0d80: 20 61 20 67 6f 6f 64 20 64 65 61 6c 20 6f 66 20   a good deal of 
0d90: 63 6f 6d 70 6c 65 78 69 74 79 2e 0d 0a 20 20 20  complexity...   
0da0: 2a 20 20 44 6f 20 73 6f 6d 65 20 6d 65 6d 6f 72  *  Do some memor
0db0: 79 20 6f 70 74 69 6d 69 7a 61 74 69 6f 6e 2e 20  y optimization. 
0dc0: 49 6e 20 69 6e 70 75 74 20 6d 6f 64 65 20 69 74  In input mode it
0dd0: 27 73 20 75 73 69 6e 67 20 63 6f 6e 73 69 64 65  's using conside
0de0: 72 61 62 6c 79 20 6d 6f 72 65 20 6d 65 6d 6f 72  rably more memor
0df0: 79 20 74 68 61 6e 20 69 20 66 65 65 6c 20 69 74  y than i feel it
0e00: 20 72 65 61 6c 6c 79 20 73 68 6f 75 6c 64 2c 20   really should, 
0e10: 61 6e 64 20 69 27 6d 20 6e 6f 74 20 63 65 72 74  and i'm not cert
0e20: 61 69 6e 20 77 68 65 72 65 20 74 68 65 20 65 78  ain where the ex
0e30: 61 63 74 20 63 75 6c 70 72 69 74 20 6c 69 65 73  act culprit lies
0e40: 2e 20 49 6e 20 6f 6e 65 20 74 65 73 74 3a 20 61  . In one test: a
0e50: 62 6f 75 74 20 34 31 30 6b 62 20 6f 66 20 70 65  bout 410kb of pe
0e60: 61 6b 20 52 41 4d 20 6e 65 65 64 65 64 20 74 6f  ak RAM needed to
0e70: 20 62 75 69 6c 64 20 61 20 4a 53 4f 4e 20 44 4f   build a JSON DO
0e80: 4d 20 66 72 6f 6d 20 61 20 36 30 6b 62 20 4a 53  M from a 60kb JS
0e90: 4f 4e 20 66 69 6c 65 20 63 6f 6e 74 61 69 6e 69  ON file containi
0ea0: 6e 67 20 33 31 32 36 20 6b 65 79 73 20 61 6e 64  ng 3126 keys and
0eb0: 20 33 38 32 35 20 76 61 6c 75 65 73 2e 20 54 68   3825 values. Th
0ec0: 61 74 20 61 76 65 72 61 67 65 73 20 6f 75 74 20  at averages out 
0ed0: 74 6f 20 61 62 6f 75 74 20 36 30 20 62 79 74 65  to about 60 byte
0ee0: 73 20 70 65 72 20 6b 65 79 20 6f 72 20 76 61 6c  s per key or val
0ef0: 75 65 2c 20 61 6e 64 20 74 68 61 74 20 73 65 65  ue, and that see
0f00: 6d 73 20 68 69 67 68 20 74 6f 20 6d 65 20 28 74  ms high to me (t
0f10: 68 6f 75 67 68 20 74 68 65 20 64 61 74 61 20 63  hough the data c
0f20: 6f 6e 74 61 69 6e 65 64 20 73 65 76 65 72 61 6c  ontained several
0f30: 20 6c 61 72 67 65 20 73 74 72 69 6e 67 73 29 2e   large strings).
0f40: 0d 0a 20 20 20 2a 20 20 55 73 65 20 74 68 65 20  ..   *  Use the 
0f50: 4a 53 4f 4e 5f 70 61 72 73 65 72 20 63 6f 64 65  JSON_parser code
0f60: 27 73 20 6f 70 74 69 6f 6e 20 74 6f 20 61 6c 6c  's option to all
0f70: 6f 77 20 75 73 20 74 6f 20 73 65 6c 66 2d 70 61  ow us to self-pa
0f80: 72 73 65 20 64 6f 75 62 6c 65 20 76 61 6c 75 65  rse double value
0f90: 73 2c 20 73 6f 20 74 68 61 74 20 77 65 20 63 61  s, so that we ca
0fa0: 6e 20 73 75 70 70 6f 72 74 20 6c 6f 6e 67 20 64  n support long d
0fb0: 6f 75 62 6c 65 2e 0d 0a 0d 0a 52 61 6e 64 6f 6d  ouble.....Random
0fc0: 20 74 68 6f 75 67 68 74 73 20 6f 6e 20 66 75 72   thoughts on fur
0fd0: 74 68 65 72 20 6d 65 6d 6f 72 79 20 6f 70 74 69  ther memory opti
0fe0: 6d 69 7a 61 74 69 6f 6e 73 3a 0d 0a 0d 0a 20 20  mizations:....  
0ff0: 20 2a 20 20 41 64 64 20 72 65 66 65 72 65 6e 63   *  Add referenc
1000: 65 20 63 6f 75 6e 74 69 6e 67 20 74 6f 20 63 73  e counting to cs
1010: 6f 6e 5f 73 74 72 69 6e 67 2e 20 44 75 72 69 6e  on_string. Durin
1020: 67 20 70 61 72 73 69 6e 67 2c 20 22 69 6e 74 65  g parsing, "inte
1030: 72 6e 61 6c 69 7a 65 22 20 61 6c 6c 20 6b 65 79  rnalize" all key
1040: 73 20 69 6e 74 6f 20 61 20 73 6f 72 74 65 64 20  s into a sorted 
1050: 6c 69 73 74 2c 20 61 6e 64 20 69 6e 63 72 65 61  list, and increa
1060: 73 65 20 74 68 65 20 72 65 66 63 6f 75 6e 74 20  se the refcount 
1070: 69 6e 73 74 65 61 64 20 6f 66 20 61 6c 6c 6f 63  instead of alloc
1080: 61 74 69 6e 67 20 61 6e 65 77 2e 20 54 68 69 73  ating anew. This
1090: 20 63 6f 75 6c 64 20 71 75 69 63 6b 6c 79 20 67   could quickly g
10a0: 65 74 20 75 67 6c 79 2c 20 61 6e 64 20 72 65 71  et ugly, and req
10b0: 75 69 72 65 73 20 75 73 20 74 6f 20 73 74 6f 72  uires us to stor
10c0: 65 20 28 61 6e 64 20 73 6f 72 74 29 20 61 20 6c  e (and sort) a l
10d0: 69 73 74 20 6f 66 20 28 75 6e 69 71 75 65 20 6b  ist of (unique k
10e0: 65 79 20 63 6f 75 6e 74 29 20 63 73 6f 6e 5f 73  ey count) cson_s
10f0: 74 72 69 6e 67 20 70 6f 69 6e 74 65 72 73 2e 20  tring pointers. 
1100: 42 75 74 20 69 74 20 77 6f 75 6c 64 20 62 65 20  But it would be 
1110: 6b 69 6e 64 61 20 63 6f 6f 6c 2e 20 49 66 20 77  kinda cool. If w
1120: 65 20 75 73 65 64 20 61 20 68 61 73 68 74 61 62  e used a hashtab
1130: 6c 65 20 69 74 27 73 20 62 65 20 65 61 73 69 65  le it's be easie
1140: 72 2c 20 62 75 74 20 74 68 61 74 20 77 6f 75 6c  r, but that woul
1150: 64 20 68 61 76 65 20 61 20 6c 6f 74 20 6d 6f 72  d have a lot mor
1160: 65 20 6d 65 6d 6f 72 79 20 6f 76 65 72 68 65 61  e memory overhea
1170: 64 2e 20 54 68 69 73 20 77 6f 75 6c 64 20 69 6e  d. This would in
1180: 74 72 6f 64 75 63 65 20 74 68 72 65 61 64 69 6e  troduce threadin
1190: 67 20 69 73 73 75 65 73 2c 20 73 69 6e 63 65 20  g issues, since 
11a0: 74 68 65 20 69 6e 74 65 72 6e 61 6c 69 7a 65 64  the internalized
11b0: 20 73 74 72 69 6e 67 73 20 77 6f 75 6c 64 20 6e   strings would n
11c0: 65 65 64 20 74 6f 20 62 65 20 73 68 61 72 65 64  eed to be shared
11d0: 20 74 6f 20 62 65 20 6f 66 20 61 6e 79 20 62 65   to be of any be
11e0: 6e 65 66 69 74 2e 0d 0a 20 20 20 2a 20 20 57 65  nefit...   *  We
11f0: 20 6d 69 67 68 74 20 62 65 20 61 62 6c 65 20 74   might be able t
1200: 6f 20 63 6f 6d 65 20 75 70 20 77 69 74 68 20 61  o come up with a
1210: 6e 20 69 6e 74 65 72 66 61 63 65 20 77 68 69 63  n interface whic
1220: 68 20 6c 65 74 73 20 74 68 65 20 63 6c 69 65 6e  h lets the clien
1230: 74 20 70 72 6f 76 69 64 65 20 73 74 72 69 6e 67  t provide string
1240: 20 64 65 2f 61 6c 6c 6f 63 61 74 69 6f 6e 20 72   de/allocation r
1250: 6f 75 74 69 6e 65 73 2c 20 61 6e 64 20 74 68 65  outines, and the
1260: 6e 20 68 65 20 63 6f 75 6c 64 20 61 64 64 20 68  n he could add h
1270: 69 73 20 6f 77 6e 20 62 61 63 6b 2d 65 6e 64 20  is own back-end 
1280: 6d 6f 72 65 20 73 75 69 74 65 64 20 74 6f 20 68  more suited to h
1290: 69 73 20 64 61 74 61 2e 20 48 6d 6d 2e 20 28 53  is data. Hmm. (S
12a0: 74 72 69 6e 67 73 20 61 72 65 20 75 73 65 64 20  trings are used 
12b0: 68 65 61 76 69 6c 79 20 62 79 20 74 68 65 20 41  heavily by the A
12c0: 50 49 2c 20 61 73 20 61 6c 6c 20 6f 62 6a 65 63  PI, as all objec
12d0: 74 20 6b 65 79 73 20 61 72 65 20 73 74 72 69 6e  t keys are strin
12e0: 67 73 2e 29 0a 0a 5a 20 39 65 64 66 34 32 66 65  gs.)..Z 9edf42fe
12f0: 37 31 32 32 39 64 32 64 33 33 63 31 30 64 65 31  71229d2d33c10de1
1300: 61 30 62 66 65 65 63 34 0a                       a0bfeec4.