摘要：随着大数据的发展，Hadoop系统成为了大数据处理中的重要工具之一。在实际应用中，Hadoop的I／O操作制约系统性能的提升。通常Hadoop系统通过软件压缩数据来减少I／O操作，但是软件压缩速度较慢，因此使用硬件压缩加速器来替换软件压缩。Hadoop运行在Java虚拟机上，无法直接调用底层I／O硬件压缩加速器。通过实现Hadoop压缩器／解压缩器类和设计C＋＋动态链接库来解决从Hadoop系统中获得压缩数据和将数据流向I／O硬件压缩加速器两个关键技术，从而将I／O硬件压缩加速器集成到Hadoop系统框架。实验结果表明，I／O硬件压缩加速器的每赫兹压缩速度为15．9Byte／s／Hz，集成I／O硬件压缩加速器提升Hadoop系统性能2倍。

关键词：hadoop 硬件压缩加速器 

单位：浙江大学信息与电子工程学院; 浙江杭州310027; 华为技术有限公司; 浙江杭州310051