过去和近况(一)
从2009年7月份从天津大学毕业到现在,在网易杭州研究院工作已经快1年半了,这一年半发生了很多事情,跟老婆登记了/买房了/买车了/买了Mac,还做了一次甲状腺囊肿的手术,住了一个星期院,低调的涨了一回工资,生活压力巨大,基本入不敷出。
刚入职的时候那一个月里,基本都在熟悉组里的东西。分布式开发,都我而言,是个非常新鲜的领域。记得那段日子里,我大把大把的时间都在读Map-Reduce/DFS相关的论文,阅读/部署/安装/测试组里的MPR/DFS系统,阅读Hadoop/HDFS的代码。那个时候不知道自己有没有在进步,只是一直在尝试着往前努力。
慢慢的我开始负责完善我们的Map-Reduce系统,一点功能一点功能的加,到12月底,基本上重新调整了系统的架构,我们把他叫2.0。1.0->2.0从版本上看可是个巨大的进步,统计组的同事也开始使用新版本来进行日志分析/数据统计,由于系统压力的不断增大(说明我们公司在往前发展:) ),以及我欠缺的经验,2.0版本运行的非常不稳定,基本上隔几天就会有许多计算任务失败的情况发生,给统计组的同事填了许多麻烦,我也非常的懊恼。同事(大牛)建议我重写通信模块,先写一个基于事件的NIO框架,然后基于该框架重写所有通信模块,而不是像现在那样把一堆异步通信代码参杂在业务逻辑里。
我大概花了3天时间,写出了一个包含Server/Client,基于NIO,基于事件的异步通信框架,在处理Java NIO 的一些问题(包括JDK BUG, READ/WRITE事件的注册策略等 )上参考了Mina等其他流行系统的实现。用该框架重写Map-Reduce系统的通信模块后,果然少了很多之前觉得怪异的BUG。
之后的开发算是锦上添花之作,自定义调度策略/API支持/流程优化/动态改变作业参数 等,另一位同事实现了将我们的Map-Reduce与Hadoop在接口上的兼容,为此我们也改动了我们的DFS系统,做完这些工作后,我们实现了与HIVE的兼容!到2月底,这些工作基本完成了,而我,抽空去医院做了一个甲状腺囊肿的手术。
<待续>
