技术控

    今日:122| 主题:49552
收藏本版 (1)
最新软件应用技术尽在掌握

[其他] Haskell SuperBuffer

[复制链接]
你穿过的墙 发表于 2016-12-2 06:58:12
60 2

立即注册CoLaBug.com会员,免费获得投稿人的专业资料,享用更多功能,玩转个人品牌!

您需要 登录 才可以下载或查看,没有帐号?立即注册

x
Haskell SuperBuffer

  The    superbufferpackages was designed to efficiently build up bytestrings from    IOactions producing smaller chunks. The goal was to reduce memory overhead as much as possible while still being as fast as possible. In our use case, it reduced total memory usage of the program from    350 MB(    bytestringbuilder) to    50 MB(    superbuffer). For speed see benchmarks below. Note that the speed heavily depends on a good choice of the initial buffer size and the size of the chunks written. For small chunks the    superbufferoutperforms the    bytestringalternatives consistently. Note that the library is currently not thread-safe, but it seems that it could be added (from outside) easily by making sure only one thread at a time can call    appendBuffer(making the call slower).  
  Usage

  1. {-# LANGUAGE OverloadedStrings #-}
  2. module Example where
  3. import Data.ByteString.SuperBuffer
  4. import qualified Data.ByteString as BS
  5. myBS :: IO BS.ByteString
  6. myBS =
  7.     -- note: performance of superbuffer heavily depends on a
  8.     -- smart choice of the initial buffer size. Benchmark to
  9.     -- find what suits your needs.
  10.     withBuffer 1024 $ \buf ->
  11.     do appendBuffer buf "Hello "
  12.        appendBuffer buf "World!"
复制代码
Benchmarks

  1. benchmarking main/small/superbuffer (init=128 bytes)
  2. time                 22.20 ms   (20.81 ms .. 24.69 ms)
  3.                      0.973 R²   (0.946 R² .. 0.992 R²)
  4. mean                 22.47 ms   (21.70 ms .. 23.45 ms)
  5. std dev              1.905 ms   (1.515 ms .. 2.685 ms)
  6. variance introduced by outliers: 38% (moderately inflated)
  7. benchmarking main/small/superbuffer (init=4000 bytes)
  8. time                 19.92 ms   (19.28 ms .. 20.58 ms)
  9.                      0.996 R²   (0.993 R² .. 0.998 R²)
  10. mean                 22.30 ms   (21.56 ms .. 23.60 ms)
  11. std dev              2.230 ms   (1.324 ms .. 3.614 ms)
  12. variance introduced by outliers: 46% (moderately inflated)
  13. benchmarking main/small/superbuffer (init=8000 bytes)
  14. time                 22.72 ms   (21.85 ms .. 23.92 ms)
  15.                      0.994 R²   (0.989 R² .. 0.997 R²)
  16. mean                 23.25 ms   (22.73 ms .. 23.95 ms)
  17. std dev              1.496 ms   (1.007 ms .. 2.375 ms)
  18. variance introduced by outliers: 24% (moderately inflated)
  19. benchmarking main/small/superbuffer (init=16000 bytes)
  20. time                 23.28 ms   (21.77 ms .. 25.14 ms)
  21.                      0.978 R²   (0.953 R² .. 0.994 R²)
  22. mean                 23.41 ms   (22.79 ms .. 24.34 ms)
  23. std dev              1.727 ms   (1.209 ms .. 2.455 ms)
  24. variance introduced by outliers: 29% (moderately inflated)
  25. benchmarking main/small/superbuffer (init=20000000 bytes)
  26. time                 35.78 ms   (34.57 ms .. 37.21 ms)
  27.                      0.989 R²   (0.972 R² .. 0.998 R²)
  28. mean                 36.45 ms   (35.25 ms .. 37.34 ms)
  29. std dev              2.167 ms   (1.281 ms .. 3.677 ms)
  30. variance introduced by outliers: 18% (moderately inflated)
  31. benchmarking main/small/bytestring builder
  32. time                 31.34 ms   (28.98 ms .. 33.54 ms)
  33.                      0.987 R²   (0.974 R² .. 0.999 R²)
  34. mean                 30.73 ms   (29.54 ms .. 31.59 ms)
  35. std dev              2.205 ms   (1.699 ms .. 2.841 ms)
  36. variance introduced by outliers: 28% (moderately inflated)
  37. benchmarking main/small/bytestring fromChunks
  38. time                 26.35 ms   (25.53 ms .. 27.40 ms)
  39.                      0.996 R²   (0.991 R² .. 0.999 R²)
  40. mean                 26.35 ms   (25.88 ms .. 27.79 ms)
  41. std dev              1.685 ms   (675.3 μs .. 3.068 ms)
  42. variance introduced by outliers: 25% (moderately inflated)
  43. benchmarking main/small/bytestring concat
  44. time                 30.54 ms   (29.83 ms .. 31.13 ms)
  45.                      0.998 R²   (0.997 R² .. 0.999 R²)
  46. mean                 31.45 ms   (30.94 ms .. 33.55 ms)
  47. std dev              1.658 ms   (563.0 μs .. 3.317 ms)
  48. variance introduced by outliers: 17% (moderately inflated)
  49. benchmarking main/med/superbuffer (init=128 bytes)
  50. time                 20.98 ms   (20.11 ms .. 21.97 ms)
  51.                      0.992 R²   (0.983 R² .. 0.997 R²)
  52. mean                 23.11 ms   (22.53 ms .. 24.12 ms)
  53. std dev              1.686 ms   (1.020 ms .. 2.914 ms)
  54. variance introduced by outliers: 29% (moderately inflated)
  55. benchmarking main/med/superbuffer (init=40000 bytes)
  56. time                 21.62 ms   (20.92 ms .. 22.43 ms)
  57.                      0.996 R²   (0.991 R² .. 0.998 R²)
  58. mean                 23.65 ms   (23.06 ms .. 24.72 ms)
  59. std dev              1.735 ms   (1.044 ms .. 2.732 ms)
  60. variance introduced by outliers: 29% (moderately inflated)
  61. benchmarking main/med/superbuffer (init=80000 bytes)
  62. time                 20.65 ms   (19.91 ms .. 21.35 ms)
  63.                      0.994 R²   (0.985 R² .. 0.998 R²)
  64. mean                 22.64 ms   (22.09 ms .. 23.84 ms)
  65. std dev              1.767 ms   (971.0 μs .. 3.008 ms)
  66. variance introduced by outliers: 33% (moderately inflated)
  67. benchmarking main/med/superbuffer (init=160000 bytes)
  68. time                 23.35 ms   (22.15 ms .. 24.56 ms)
  69.                      0.992 R²   (0.987 R² .. 0.998 R²)
  70. mean                 22.50 ms   (22.15 ms .. 23.08 ms)
  71. std dev              1.038 ms   (639.2 μs .. 1.502 ms)
  72. variance introduced by outliers: 14% (moderately inflated)
  73. benchmarking main/med/superbuffer (init=20000000 bytes)
  74. time                 35.02 ms   (31.20 ms .. 37.83 ms)
  75.                      0.983 R²   (0.970 R² .. 0.998 R²)
  76. mean                 32.02 ms   (31.12 ms .. 33.32 ms)
  77. std dev              2.159 ms   (1.456 ms .. 3.304 ms)
  78. variance introduced by outliers: 24% (moderately inflated)
  79. benchmarking main/med/bytestring builder
  80. time                 22.03 ms   (21.53 ms .. 22.48 ms)
  81.                      0.998 R²   (0.997 R² .. 0.999 R²)
  82. mean                 22.50 ms   (22.06 ms .. 23.71 ms)
  83. std dev              1.614 ms   (467.3 μs .. 3.159 ms)
  84. variance introduced by outliers: 29% (moderately inflated)
  85. benchmarking main/med/bytestring fromChunks
  86. time                 23.88 ms   (21.62 ms .. 26.14 ms)
  87.                      0.975 R²   (0.954 R² .. 0.998 R²)
  88. mean                 22.81 ms   (22.25 ms .. 23.95 ms)
  89. std dev              1.812 ms   (784.9 μs .. 2.692 ms)
  90. variance introduced by outliers: 33% (moderately inflated)
  91. benchmarking main/med/bytestring concat
  92. time                 21.79 ms   (21.28 ms .. 22.23 ms)
  93.                      0.998 R²   (0.997 R² .. 0.999 R²)
  94. mean                 22.52 ms   (22.05 ms .. 23.70 ms)
  95. std dev              1.646 ms   (554.1 μs .. 3.042 ms)
  96. variance introduced by outliers: 29% (moderately inflated)
  97. benchmarking main/large/superbuffer (init=128 bytes)
  98. time                 25.97 ms   (25.22 ms .. 26.62 ms)
  99.                      0.994 R²   (0.984 R² .. 0.999 R²)
  100. mean                 26.01 ms   (25.18 ms .. 26.90 ms)
  101. std dev              1.943 ms   (1.274 ms .. 3.107 ms)
  102. variance introduced by outliers: 30% (moderately inflated)
  103. benchmarking main/large/superbuffer (init=400000 bytes)
  104. time                 21.51 ms   (21.13 ms .. 21.88 ms)
  105.                      0.999 R²   (0.997 R² .. 1.000 R²)
  106. mean                 22.14 ms   (21.84 ms .. 22.75 ms)
  107. std dev              939.7 μs   (407.0 μs .. 1.669 ms)
  108. variance introduced by outliers: 14% (moderately inflated)
  109. benchmarking main/large/superbuffer (init=800000 bytes)
  110. time                 21.76 ms   (21.35 ms .. 22.34 ms)
  111.                      0.997 R²   (0.995 R² .. 0.999 R²)
  112. mean                 22.09 ms   (21.77 ms .. 22.54 ms)
  113. std dev              858.0 μs   (532.7 μs .. 1.421 ms)
  114. variance introduced by outliers: 14% (moderately inflated)
  115. benchmarking main/large/superbuffer (init=1600000 bytes)
  116. time                 31.34 ms   (30.55 ms .. 32.36 ms)
  117.                      0.997 R²   (0.992 R² .. 0.999 R²)
  118. mean                 30.42 ms   (29.34 ms .. 31.35 ms)
  119. std dev              2.043 ms   (1.383 ms .. 3.018 ms)
  120. variance introduced by outliers: 22% (moderately inflated)
  121. benchmarking main/large/superbuffer (init=20000000 bytes)
  122. time                 38.79 ms   (36.27 ms .. 41.72 ms)
  123.                      0.983 R²   (0.964 R² .. 0.995 R²)
  124. mean                 33.84 ms   (32.32 ms .. 35.51 ms)
  125. std dev              3.268 ms   (2.816 ms .. 3.755 ms)
  126. variance introduced by outliers: 36% (moderately inflated)
  127. benchmarking main/large/bytestring builder
  128. time                 21.89 ms   (21.35 ms .. 22.37 ms)
  129.                      0.998 R²   (0.995 R² .. 0.999 R²)
  130. mean                 23.02 ms   (22.46 ms .. 24.92 ms)
  131. std dev              2.169 ms   (461.3 μs .. 4.197 ms)
  132. variance introduced by outliers: 43% (moderately inflated)
  133. benchmarking main/large/bytestring fromChunks
  134. time                 21.91 ms   (21.49 ms .. 22.31 ms)
  135.                      0.999 R²   (0.998 R² .. 0.999 R²)
  136. mean                 22.47 ms   (22.13 ms .. 23.63 ms)
  137. std dev              1.230 ms   (383.5 μs .. 2.326 ms)
  138. variance introduced by outliers: 19% (moderately inflated)
  139. benchmarking main/large/bytestring concat
  140. time                 22.12 ms   (21.82 ms .. 22.42 ms)
  141.                      0.999 R²   (0.998 R² .. 1.000 R²)
  142. mean                 22.60 ms   (22.27 ms .. 23.51 ms)
  143. std dev              1.198 ms   (404.6 μs .. 2.244 ms)
  144. variance introduced by outliers: 19% (moderately inflated)
复制代码
友荐云推荐




上一篇:GUI for Data Modeling with Elasticsearch
下一篇:Let’s stop copying C
酷辣虫提示酷辣虫禁止发表任何与中华人民共和国法律有抵触的内容!所有内容由用户发布,并不代表酷辣虫的观点,酷辣虫无法对用户发布内容真实性提供任何的保证,请自行验证并承担风险与后果。如您有版权、违规等问题,请通过"联系我们"或"违规举报"告知我们处理。

姜祯禹 发表于 2016-12-2 09:23:14
看帖要回,回帖才健康,我使劲踩,楼主辛苦了!
回复 支持 反对

使用道具 举报

孤晴 发表于 5 天前
你嘴角三十度的微笑,百度搜索不到。
回复 支持 反对

使用道具 举报

*滑动验证:
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

我要投稿

推荐阅读

扫码访问 @iTTTTT瑞翔 的微博
回页顶回复上一篇下一篇回列表手机版
手机版/CoLaBug.com ( 粤ICP备05003221号 | 文网文[2010]257号 )|网站地图 酷辣虫

© 2001-2016 Comsenz Inc. Design: Dean. DiscuzFans.

返回顶部 返回列表