AgilePHP » 技术

Xen Cloud Platform 0.1.1

bbiao — Sat, 22 May 2010 01:50:49 +0000

Xen Cloud Platform 是一个基本Xen虚拟化技术的云计算基础平台，这半年一直在使用另外一个商业版本XenServer，少对XCP有所关注，今天看了它的官方主页，XCP今年有一个新的版本发布，版本号是0.1.1，我去年使用XCP的时候，其版本还是0.1，这里对新版本做一个简单的介绍。

版本0.1.1发布于今年1月18号（汗，现在才知道），新增加的功能包括：

Openvswitch
XCP Console Documentation
VNC Console Proxy and Web Front-End
Standalone Front-End – *openxencenter*
VM Lifecycle Queuing Deadlock Fixed
Rare Post-Fork() Spinning XAPI Process Fixed
Active Directory Authentication Fixes
Memory Ballooning Fixes

其中描述的单独的前端就是XenCenter的一个开源Python实现，试用了一下，与XenCenter 5.5还是有一定差距的，但是总算是有一个前端可以选择了，之前用xe cli和Web管理太痛苦了，详细信息和下载，可以到XCP的主页查看。

Xen Cloud Platform

使用JDK进行Performance Tuning

bbiao — Mon, 12 Apr 2010 13:40:41 +0000

JDK里有三个很好用的工具，jmap，jconsole和jvisualvm，三个工具都各有所侧重，但是如果你的系统遇到性能瓶颈（内存不足或是CPU占用率过高），你可以通过这三个工具来发现应用里的hot spot。我今天只记一下大概的用法，给自己做个备忘，详细的使用说明，等忙完了这段时间，整理一下。

先介绍一个小工具，jps，这也是jdk自带的工具之一，可以列出系统里所有的java进程。

jmap可以查看程序中堆的使用情况，具体的用法是：

jmap –histo:live ；

以及可以将堆dump到一个文件，命令是：

jmap –dump:format=b,file=heap.bin ；

请在处填入相应的进程的id。

jconsole可以查看某个java进程的内存使用、CPU占用率等，

如果想要远程查看某一java程序，则需要在该程序启动参数里加下如下参数：

-Dcom.sun.management.jmxremote
-Dcom.sun.management.jmxremote.port=9001
-Dcom.sun.management.jmxremote.authenticate=false
-Dcom.sun.management.jmxremote.ssl=false

上文使用的9001是监听的端口号，你可以指定其他的值。然后在你的终端键入jconsole，选择连接远程进程，并填入相应的主机名和端口即可。如果无法连接，请修改/etc/hosts里的内容，将localhost绑定到机器的外部ip地址。

相应的数据可以导出为一个csv文件，这个很方便。

jvisualvm功能与jconsole的基本类似，但是可以做性能分析。

即可以分析出CPU时间被哪些线程所占用了，等等，并且它支持jmx，这东西我只听说过没用过，先放一边不表。

配置jvisualvm不需要改动原程序的启动参数，只需要在远程主机上运行jstatd即可。

新建一个叫jstatd.all.policy的文件，内容是：

grant codebase "file:${java.home}/../lib/tools.jar" {
permission java.security.AllPermission;
};

然后使用如下命令启动jstatd，

jstatd -J-Djava.security.policy=jstatd.all.policy

然后在jvisualvm里选择添加远程主机即可。如果无法连接，请修改/etc/hosts里的内容，将localhost绑定到机器的外部ip地址。

第一次参加QClub的活动

bbiao — Sat, 10 Apr 2010 14:43:07 +0000

去年也报过一次名，但是最后有事情所以就没有去。这周一收到的邮件，QClub有一个技术沙龙的活动，定在周六，想来自己周六也没有别的什么事情，就报名参加了，看到题目也是我感兴趣的内容。其一是由百度的黄容芳讲的《Web数据交互的艺术》，其二是由豆瓣的刘洪清讲的《分布式数据库BeansDB在豆瓣的应用》。

黄的演讲，如果去掉艺术二字，个人认为还是一个很好的演讲，其讲了Web数据的几种不同实现，其对长连接的分析十分清晰明了，不过黄把“轮询”写成了“轮循”，虽然是个小错误，但我觉得“轮询”解释了此事件的本质，即间隔一段时间轮流（轮）询问（询），而轮循仅能表达轮流循环的意思；关于数据压缩，主要讲到了两种主要的实施手段，一是使用类似YUI Compressor的压缩器主动对需要传输的内容进行“精简”，我觉得称之为“精简”更明确一点。另外一种是使用GZIP来做压缩，对于大型网站为了提高用户体验，加快网页的加载时间，这是两个很好的方法。后面说到的跨浏览器通信，则是我完全没有接触过的内容，主要是想解决当客户在同一台机器上打开不同的浏览器，或是使用同一浏览器同时打开某一页面时，各页面之间内容同步的问题，主要的解决方案是Flash。后面说到了数据在客户端的存储，提到了ie的UserData，Firefox的localStorage以及Flash和HTM5，却没有提Google Gears，百度是不是跟Google有仇？

说到Flash，黄说Flash的覆盖率还不是很高，只有97%，百度能在乎剩下的3%，着实是挺令我惊讶，想中国的大多数网银和几年前的淘宝支付宝都不支持Firefox。不过我倒是很赞赏Apple的作法，宁愿支持html5也不愿意支持FLASH，不论苹果是否只是由商业利益做出的考虑，但是阻止flash来扰乱本来就已经很混乱的web标准，我是很赞同这样的作法的。

另外一位豆瓣的工程师刘讲的内容也吸引了很多人，我自己也被他的话题所吸引。说到分布式key-value数据库，自己早有耳闻，但是我一直不明白也一直不是很清楚这种类型的数据库如何被有效的利用在web2.0的应用中。豆瓣的作法是没有完全将MySQL替换掉，而是将那些结构化的数据依然保留在MySQL中，而将另外一些依据应用场景数量多，对一致性要求不是十分高、许多场景下是一次写入多次读出的数据存储在他们的分布式key-value数据库中。工业界追求第一位的并不是程序的理论上的最优性，而是在应用需求前提之下的性能和成本。key-value分布式数据库不是万能的，但是在一些场景之下，却可以解决应用的许多问题。豆瓣网的现行用户有3000多万，其每天处理的数据我觉得还算是一个不是非常巨大的场景，与twitter和facebook相比，其还要差一到两个层级。随着豆瓣的成长，希望能从他们那里得到更多的经验。

最近很忙，少有更新博客，可以在twitter上联系我。@bbiao

没有相关文章

大数据量系统

bbiao — Fri, 05 Feb 2010 02:54:58 +0000

这半个月一直在忙，忙着改程序，做实验，原来的系统的处理能力是10^4/10^5，我现在需要处理的数据量是10^6/10^7。原来正常的程序却出现了各种各样的异常，最明显的问题有两个，一个是OutOfMemory，一个是Connection Reset。前一个问题有很多种不同的解决方法，就是增加机器的物理内存，调优jvm的启动参数，如果这些都解决不了问题，那就是程序本身的问题。我遇到的最多的就是BufferedReader溢出、ArrayList的不正确使用。这些问题都解决了还是会发现莫明其妙的溢出的话，还是增加物理内存吧。jvm虽然有垃圾收集机制，但是如果程序设计的初衷就没有为大数据量的数据考虑过的话，内存消耗真是件杯具而且及其不好解决在问题，特别是在code base有10^5级别的时候。后一个问题，目前我还没有找到好的解决办法，目前能想到的，就是增加发送和接收缓存，平滑发送的速率，可是16*16的链接还是会莫明其妙的断掉。郁闷了！还是需要再接再厉，外围的方案解决不了问题的话，只能去动核心的代码了。身边也没有有经验的人可以请教，我自己现在倒是对大数据量、巨数据量系统的可伸缩性和性能有了很强的兴趣。 Related Posts 使用JDK进行Performance Tuning

使用JDK进行Performance Tuning

CentOS配置vsftpd遇到550错误的解决办法

bbiao — Wed, 27 Jan 2010 03:24:31 +0000

安装vsftpd很简单：yum install vsftpd

启动vsftpd也很简单：service vsftpd start

默认情况下用root是无法连接的，你可以创建一个非root帐户登录，但是登录是可以登录，却没有办法创建或是上传文件。有人说，可以把SELinux关掉，可是这样未免也有点尺度太大了，其实是SELinux里的设置问题，只要修改相应的配置就可以了。

发现问题的方法：

# getsebool -a | grep ftp
allow_ftpd_anon_write –> off
allow_ftpd_full_access –> off
allow_ftpd_use_cifs –> off
allow_ftpd_use_nfs –> off
ftp_home_dir –> off
httpd_enable_ftp_server –> off
tftp_anon_write –> off

将红色字体部分的值改成on就可以了，设置的方法如下：

# setsebool -P ftp_home_dir 1

然后就可以上传文件，做你想做的事情了。

Refactor

bbiao — Sun, 24 Jan 2010 06:32:57 +0000

为什么要重构？我不知道教科书是或是别人都会怎么讲，但是重构对我来说，基本上就是把一个糟糕的设计重新写一遍。那么，什么是我定义的两糟糕的设计？又怎么样来重写，并且期望能够达到一个怎么样的目的才算是一个好的重构呢？

糟糕的设计：

因为时间紧，任务重，没有进行设计，基本上是随心所欲的写出来的代码；
充斥着“if…else…”，打了无数的补丁，新增功能的时候，就得多增加判断条件；
代码变得越来越复杂，相同的代码出现在了不同的地方，修改一处，必须时刻记着也要修改别的地方

那怎么样来重写呢？完全抛弃以前的代码么？

完全抛弃以前的代码：之前的代码写得实在是太糟糕，没有任何可取之处。而且没有办法使用一些重构工具一进行梳理。我自己没有遇到过这种情况。每一小段代码还不至于写得面目全非，这应该算是代价相对较重的一种重构方法，与其说是重构，不如说是重新写。
使用之前的代码：之前的代码，小的部分还是可以使用的，将它们独立出来，形成单独的模块，并使用一定的模块调用机制（如使用事件机制、插件系统）等，来调合各个不同的模块之间进行谐调工作。

我希望能达到一个几样的效果呢？

简单的说，我比较追求系统的可扩展性（scalability & extensibility）、可维护性、较高的系统性能。
scalability是期望在一个较大的数据集前，系统也可以有一个比较好的表现；
extensibility是期望系统能够容易的增减功能；
可维护性是期望系统在需要做出修改的时候，可以更加方便；
较高的系统性能，这个就不必说了，谁都希望自己的程序跑得更快。

有些时候，做重构并不是一个简单的决定，因为你要做出更多的工作，还不一定能搞出一个可用的系统来，但是，有风险的事情，做成功了会收获很大的好处，大部分时间，我还是咬咬牙会去选择重构代码。

==eof==

这篇文章也发表在AgilePHP上，快去看看，Refactor

没有相关文章

Python and RRD

bbiao — Fri, 08 Jan 2010 01:33:33 +0000

RRD是Round Robin Database的意思，RRDTool是用来管理RRD的一个工具。RRDTool的主页在这里，Wikipedia的页面在这里。RRD其实就是一个时序数据库，使用一个固定大小的环型buffer，适用于存储一些统计性的信息，如CPU负载呀，气温变化呀。我为什么要说这个东西呢，因为XenServer里的性能统计是用的RRD，你可以访问诸如http://xenserver-host/rrd_updates?cf=AVERAGE&interval=5&start=123131321形式的网址来获取统计信息。XenServer将返回一个XML文件，这个XML文件其实就是用rrdtool里的export工具导出的。

好，下载完成了这个文件以后，我们假设文件名是data.xml，你可以使用rrdtool restore data.xml data.rrd的方式将数据重新恢复成rrd的格式，然后就可以使用rrdtool进行一系列操作。rrdtool的操作可以写十篇博客，这不是我今天想说的重点。

我今天想说的是，当我把rrdtool跟Python集成的时候，发现Python提供了若干封装的工具，比如Python-PyRRD，Python-rrd，Python-rrdtool，我想没几个人能搞明白这几者之间的关系吧。我来说一下。

Python-rrdtool，这个就是rrdtool的一个Python封装，调用方式与rrdtool里命令的格式是一致的。

Python-rrd，这个据说应该是rrdtool的前身，命名方式不符合Python的命名策略，所以改名成了Python-rrdtool，但是debian和ubuntu的源里还保留了一个过渡性质的傀儡包（transitional dummy package），其实就是Python-rrdtool

Python-PyRRD，这个是OO化的rrdtool封装，个人比较推荐用这个包，方便，代码也更容易让人理解。

另外，Java也提供了两个rrdtool的封装，一个是JRobin，一个是rrd4j，后者是在前者的基础上做的，提供了更好的OO的支持和性能。但是这两个项目似乎更新得很慢，XenServer导出的rrd数据（version 0003）他们现在不支持（只支持到version 0001）。所以想用Java分析XenServer的性能，还是自己去解析那个xml文件吧。

Xen Cloud Platform

bbiao — Sat, 12 Dec 2009 04:03:33 +0000

Xen Cloud Platform现在发布的版本是0.1，其实他的功能与XenServer 5.5的基本功能是几乎一样的。不过XenServer 5.5可以通过XenCenter来管理，XCP只有一个丑陋的Web界面。我没有深入的hack进去，也许存在某种方法，可以使用XenCenter来管理XCP，那样即可以使用一个开源的服务端版本，同时管理工具又很人性化。由于我的切入点是XCP，官方又混淆了许多XCP与XenServer的文档，所以开始配置的时候相当郁闷，后来才慢慢的都搞通了。

我现在手头上用做实验的还都是PC机，四台ThinkCentre M8000T，每个机器有一颗Q95504核的CPU，4G的内存。每台机器上跑3个CentOS的性能与我之前实验室里的单独的一台PC（2005年的Dell吧，1G内存，2.8GHz的CPU）的性能差得不是特别多。因为我也给每个虚拟机分配了一个CPU，1G的内存。说到这里，用到的还都是虚拟化的技术。在XCP里，不同的VM可以在Host（物理主机）间迁移，并且这种迁移可以是在VM运行的时候进行的。XCP在其文档里宣称了有Load Balancing的功能，~~不过到现在我都没有找到在哪里下载，又怀疑这是文档跑在了发布前的一种现象~~。找到了文档里说的Load Balancing下载的地方，不过这个是XenServer高级版本里才有的功能，要付费的，可以免费用30天，应该可以供我实验的时候用了吧？这种可以动态的负载均衡和动态迁移的特点，则有许多“云”的感觉了。这两天准备再找找其Load Balancing的资料，做做实验。

另外，你如果在XenServer上安装Windows 7，创建完VM后，不要自动执行，需要设置一下，才可以，命令如下：

xe vm-param-set uuid= platform:viridian=false

Xen Cloud Platform 0.1.1

Google Wave 邀请提名

bbiao — Sun, 01 Nov 2009 05:19:09 +0000

Loading…

Google Wave 邀请11枚

Java中线程同步的简单用法

bbiao — Wed, 28 Oct 2009 02:14:36 +0000

应用场景：应用程序需要新建若干线程进行事务处理，这些线程处理完毕后，应用程序会进行一些后续的操作。

解决办法：使用Object.wait()，Object.notify()方法。Object.wait()方法会阻断当前线程的执行，直到其他线程调用Object.notify()。

于是可以很快的写出一个示例程序：

public static void main(String[] args) {
    final Object syncObj = new Object();

    Thread thread = new Thread() {
        public void run() {
            try {
                Thread.sleep(3000);

                synchronized(syncObj) {
                    syncObj.notify();
                }
            } catch (InterruptedException e) {
                e.printStackTrace();
            }
        }
    };

    thread.start();

    synchronized(syncObj) {
        try {
            syncObj.wait();
        } catch (InterruptedException e) {
            e.printStackTrace();
        }
    }

    System.out.println("Exit");
}

调用wait和notify方法前，一定要用synchronized(syncObj)，否则会抛出IllegalMonitorStateException。

有空再写写Concurrence Util里的工具类，简化上面的操作。