AgilePHP » 大数据量 http://www.agilephp.net 开发可以敏捷，人生需要慢慢体味 Thu, 03 Nov 2011 11:53:07 +0000 en hourly 1 http://wordpress.org/?v=3.3.1 大数据量系统 http://www.agilephp.net/2010/02/system-scalability-and-performance/ http://www.agilephp.net/2010/02/system-scalability-and-performance/#comments Fri, 05 Feb 2010 02:54:58 +0000 bbiao http://www.agilephp.net/2010/02/%e5%a4%a7%e6%95%b0%e6%8d%ae%e9%87%8f%e7%a8%8b%e5%ba%8f/ 相关文章
  1. 使用JDK进行Performance Tuning
  2. Java中线程同步的简单用法
  3. Python and RRD
]]> 这半个月一直在忙，忙着改程序，做实验，原来的系统的处理能力是10^4/10^5，我现在需要处理的数据量是10^6/10^7。原来正常的程序却出现了各种各样的异常，最明显的问题有两个，一个是OutOfMemory，一个是Connection Reset。

前一个问题有很多种不同的解决方法，就是增加机器的物理内存，调优jvm的启动参数，如果这些都解决不了问题，那就是程序本身的问题。我遇到的最多的就是BufferedReader溢出、ArrayList的不正确使用。这些问题都解决了还是会发现莫明其妙的溢出的话，还是增加物理内存吧。jvm虽然有垃圾收集机制，但是如果程序设计的初衷就没有为大数据量的数据考虑过的话，内存消耗真是件杯具而且及其不好解决在问题，特别是在code base有10^5级别的时候。

后一个问题，目前我还没有找到好的解决办法，目前能想到的，就是增加发送和接收缓存，平滑发送的速率，可是16*16的链接还是会莫明其妙的断掉。

郁闷了！还是需要再接再厉，外围的方案解决不了问题的话，只能去动核心的代码了。身边也没有有经验的人可以请教，我自己现在倒是对大数据量、巨数据量系统的可伸缩性和性能有了很强的兴趣。

相关文章

  1. 使用JDK进行Performance Tuning
  2. Java中线程同步的简单用法
  3. Python and RRD
]]> http://www.agilephp.net/2010/02/system-scalability-and-performance/feed/ 6