Writing Future Rotating Header Image

Posts under ‘自省’

BUG

本来上一篇日志是: Java与性能,写了一半,发现实在是心有余而力不足,于是就让它躺在了草稿箱,等将来对这个问题有更深入了解的时候,再写。
1月份开始感冒,之后就是好不了的咳,脑子都咳坏了,写代码时考虑不周,结构不好,BUG多多,清醒的脑子跟不清醒的脑子差别还真是蛮大的。
第一个麻烦是日志。
我接手的一个CPP 写的系统,用的日志系统是自己做的,为了支持32位机器,我给它增加了一个快到2G时,就按size轮转的机制,没想到这样一个简单的功能竟然出现了3个BUG,折腾了我快1天,SA被我折腾了好几次。
第二个麻烦是一个Java写的Mail相关系统。
为了支持Mail解析器可以不堵塞的写入数据到分布式存储系统,我在这两者之间加了Buffer层,这个Buffer由内存和文件组成。后来有了新的需求,需要有多个观察者观察Buffer上的数据变动,以便异步的将数据组装并发送给不同的需要数据的Server(比如,反垃圾服务)。

我第一个土鳖的地方是:Buffer上的观察者引用计数计算错误,从而导致Buffer用完后无法被收回;
第二个土鳖的地方是:采用了可重入(每个观察者拿到的是独立的Buffer对象,虽然它们底层的数据存储部分是共享的)的方式来读Buffer(DataBuffer.read(buf, off, len, bufPossion),可虑到内存Buffer,该可重入方式实现简单,就算是文件做的Buffer,在内核较新的Linux Server上,该操作也可以被映射为(ssize_t pread(int fildes, void *buf, size_t nbyte, off_t offset);的系统调用),不用加锁,非常迅速。这种考虑其实是不错的,但是我竟然忘了自己去维护当前的POSITION,导致buf永远从position 0开始读数据。
第三个土鳖的地方是:在向外写数据时,我用了Mina框架来维护客户端和数据传输。我写了类似代码:
if (cachePosition > 0) {
buffer = IoBuffer.wrap(cache, 0, cachePosition);
session.write(buffer);
}
悲剧的是cache是一个byte array buf, 就是说该方法调用完后,cache是完全可能被新的数据更新的,可是,IoBuffer is backed by cache. session.write()又是异步的,这就导致了一件悲剧的事情:真正发生的数据可能乱掉,或者被覆盖掉。最后改成了:
if (cachePosition > 0) {
buffer = IoBuffer.wrap(cache, 0, cachePosition);
WriteFuture future = session.write(buffer);
future.awaitUninterruptibly();
}
这个悲剧的事情折腾了我1整天,写了n多测试代码来找原因。
其他还有一堆考虑不周,架构乱的土鳖地方。

头脑要清醒,能力急需提高啊。

thrift, close wait

上篇日志提到Thrift ThreadPoolServer有时候会出现较多的close wait状态,有朋友问我这是不是thrift的bug?写过Server比较多的同志们应该能意识到这个问题的原因,不值得说,可是我今天实在是太郁闷无聊了,我就写写我的想法吧。
我觉得这当然不能算是Thrift的Bug,如果出现了这样的问题,其实是因为错误的选择了Server的类型,错误的实现了Client,过于保守的Server Max Connection配置等等原因。
对于ThreadPoolServer而言,每一个客户端连接,Server端都需要提供一个固定的线程来维护,在空闲时,线程堵塞在read()操作,等待客户端数据的到来。Thrift ThreadPoolServer中使用的默认线程池是定长线程池,意味着Server端能提供的线程池数是有限的。当线程用完时,新的连接将不能得到Server殷勤的服务,它不会在乎你的生死,你必须等待。
举个例子:
我有一个用Thrift ThreadPoolServer(使用SimpleThreadPool)实现的Server,最大支持100个连接,现在有100个客户端连接到我的Server。实现客户端的程序员都很在乎TCP连接建立的开销,因此,他们都维护了一个长连接。这个时候,如果有第101个客户端连接到Server了,会发生什么情况呢?

Server会接受这个连接,连接成功建立;
Server没有合适的线程来处理这个连接,于是将这个连接放到暂存列表;
如果这个时候有线程空闲了,则一切顺利,这个线程将接管这个连接;
但遗憾的是,我们没有空闲线程,所以这个连接一直处于空闲状态,直到客户端程序timeout(如果设置了timeout的话);
连接timeout,意味着暂存列表里的连接已经失效了,此时对应的socket处于CLOSE_WAIT中(出现了本文开头的情况),遗憾的是,我们依然没有空闲的线程来处理这个连接,所以它一直处于CLOSE_WAIT中。
终于,某一个时刻,有一个客户端关闭了连接,我们有了空闲线程,它去查看暂存列表。发现有一个socket fd,尝试去接管它,对这个fd执行read(),然后得到一个Connection Reset error,终于,我们可以优雅的关闭它了(CLOSE_WAIT结束)。
以上就是全部的故事。

那么,要怎么办?

如果连接数太多,为什么不用NonBlockingServer呢?Thrift有基于libevent的实现,虽然它的ThreadPool限制了NonblockingServer的性能,但是,你可以方便的实现一个存/取线程更高效的ThreadPool.
你可以实现一个TimeoutCachedThreadPool来替代SimpleThreadPool.
提高Max Connection的值.

过去和近况(三)

11月初,我把座位从公司7楼的一端搬到了另一端(我至今还没弄清楚具体的方位),就这样,从网易杭研搬到了网易邮件部。
一切都在从头开始。
我读了一遍cyrus-sasl的代码,弄清楚其逻辑及各种结构后,为它写了一个新的认证机制。测试完后,我想我短期内不会再有C/C++的活了吧。
抽空大概的浏览了ZimbraServer的代码,我们并不打算从里面借鉴什么,我只是想尽快熟悉下邮件系统到底是怎么回事。我开始写一些底层的模块,主要是存储/解析,以及抽象一些结构,用Java开发真是感觉良好。
正在集中精神开发新Server的时候,我又同时参与了一个C++项目N(目前就我1个开发人员),项目已经开始稳定,不过还有很多后续功能要开发。我记得在1个月前做过一个梦,梦见自己开始接手这个N项目,程序不稳定,服务器一直坏,压力很大。没想到前半部分成真了,后半部分是否成真,那还得看天意。

过去和近况(二)

我和同事两人干了一件有趣的事情,我们把自己的Map-Reduce/DFS系统与Hadoop,以及另外一套某搜索引擎使用的Map-Reduc/DFS做了较为深入的分析和性能/功能测试。测试的结果非常符合我们的期望,NEMR/DFS的组合从文件的存取效率,Map-Reduce的任务分发/容错/易用性等都要明显好于Hadoop与另一套系统。当然,这三个系统的定位并不一致。
四月份,我接到的任务是重新整理DFS的Java接口,除了整理了一下包结构与异常机制,我基本没有做什么有价值的事情。原有的Java代码有较深的C/C++风格,另外,代码结构虽然凌乱但能完美的工作,我有些无从下手。当把整理完的结果commit,并关掉任务的时候,我有一种深深的负罪感。
我们组与其他部门开始合作一个应用于廉价存储设备的支持大文件的分布式文件系统(大文件意味着整个系统的元数据基本很小)。支持大文件的分布式系统开发其实比较简单,这是一个C++的项目,作为一个不是很称职的Java程序员,刚开始做C++项目的时候充满了惊奇的体验。我只负责一些边缘的开发工作,比如为这个文件系统做一个shell, 并参与了部分系统对外接口的开发,做为一个C++初学者都算不上的家伙,我在这个项目里每写一行代码都十分的小心,倒也没有出什么问题。
我一直期望把分布式文件系统的接口做的不让人惊奇。处理DFS里的文件像本地文件那样open/write/read/close/unlink,支持流式写入等。(最近开始全面接手上面的项目,可以对其好好改造啦!嘿嘿)
6月份开始了一个较大的项目,我们组开始做一个全新的支持廉价设备的(且低碳省电的)大量小文件存储的分布式文件系统。我负责开发文件的对外Java接口,以及文件系统的存储节点(C++)。其他同事开发管理工具和master。由于考虑到自己只是一个C++新人,我有意识的只使用C++的一个子集来开发系统以避免额外的复杂性。虽然在一开始就约束自己不要重做轮子,可是到了最后,还是造了很多基础设施(线程安全的集合, BlockingQueue, ThreadPool, Runnable, DailyRollingLog等等),  Hacker了一个库的部分代码。可能是因为没有找到简单,可靠的C++实用库吧。这次开发感觉很顺利,我想很大程度上要归功于我们使用了一个非常酷的通信/rpc框架,它引起的麻烦远远要小于它所克服的麻烦。
之后的精力花在了大量线上数据的迁移/线上系统的维护上面,大概有10000亿个线上文件需要迁移到新开发的文件系统。

过去和近况(一)

从2009年7月份从天津大学毕业到现在,在网易杭州研究院工作已经快1年半了,这一年半发生了很多事情,跟老婆登记了/买房了/买车了/买了Mac,还做了一次甲状腺囊肿的手术,住了一个星期院,低调的涨了一回工资,生活压力巨大,基本入不敷出。
刚入职的时候那一个月里,基本都在熟悉组里的东西。分布式开发,都我而言,是个非常新鲜的领域。记得那段日子里,我大把大把的时间都在读Map-Reduce/DFS相关的论文,阅读/部署/安装/测试组里的MPR/DFS系统,阅读Hadoop/HDFS的代码。那个时候不知道自己有没有在进步,只是一直在尝试着往前努力。
慢慢的我开始负责完善我们的Map-Reduce系统,一点功能一点功能的加,到12月底,基本上重新调整了系统的架构,我们把他叫2.0。1.0->2.0从版本上看可是个巨大的进步,统计组的同事也开始使用新版本来进行日志分析/数据统计,由于系统压力的不断增大(说明我们公司在往前发展:) ),以及我欠缺的经验,2.0版本运行的非常不稳定,基本上隔几天就会有许多计算任务失败的情况发生,给统计组的同事填了许多麻烦,我也非常的懊恼。同事(大牛)建议我重写通信模块,先写一个基于事件的NIO框架,然后基于该框架重写所有通信模块,而不是像现在那样把一堆异步通信代码参杂在业务逻辑里。
我大概花了3天时间,写出了一个包含Server/Client,基于NIO,基于事件的异步通信框架,在处理Java NIO 的一些问题(包括JDK BUG,  READ/WRITE事件的注册策略等 )上参考了Mina等其他流行系统的实现。用该框架重写Map-Reduce系统的通信模块后,果然少了很多之前觉得怪异的BUG。
之后的开发算是锦上添花之作,自定义调度策略/API支持/流程优化/动态改变作业参数 等,另一位同事实现了将我们的Map-Reduce与Hadoop在接口上的兼容,为此我们也改动了我们的DFS系统,做完这些工作后,我们实现了与HIVE的兼容!到2月底,这些工作基本完成了,而我,抽空去医院做了一个甲状腺囊肿的手术。
<待续>

难舍难分

有一天,跟人聊起来,说:“不敢于描述我的眼睛所看到的世界,我的每个词都可以让你们窥探到我的世界”。
讲自己喜欢的书,重复听的歌,闻过的花香,对于现在的我来说,都是一种怪异的行为。
人有许多表达的欲望,指尖落到键盘,却战战兢兢的感到害怕。
这些惶恐,似乎是来于对人生的审视,过去的和现在的,神奇,捉摸不定的人生,真是让人不知道怎么办才好。
很想见见以前的朋友,见识下过去的一分一秒,在我似乎忘了它们之时。
回忆,只要不是太痛苦的经历,总是会让人微笑。喜欢接触自己的老友,也是喜欢接触自己的过去,他们是自己逝去年华的见证者。
难舍难分的是朋友,因为自己已不再能重回的一分一秒。