您现在的位置是:首页 >财经 > 2021-05-02 23:27:02 来源:

LinkedIn大规模开源测试仪用于Hadoop性能测试

导读 LinkedIn今天发布了一个 名为Dynamometer的开源项目 ,帮助企业在不使用大量基础设施的情况下对大规模Hadoop大数据处理系统进行压力测试

LinkedIn今天发布了一个 名为Dynamometer的开源项目 ,帮助企业在不使用大量基础设施的情况下对大规模Hadoop大数据处理系统进行压力测试。

LinkedIn大规模开源测试仪用于Hadoop性能测试

该工具旨在防止企业社交网络在2015年初遇到的问题,该公司在其Hadoop分布式文件系统(HDFS)群集中添加了500台计算机以试图提高性能。相反,团队遇到了一个只能大规模出现并导致针对群集的工作超时的错误。

测力计以用于测试汽车的工具命名,模拟大规模集群,同时仅需要大约5%%的实际底层基础设施。这有助于开发人员解决大规模测试软件的一个关键问题:实际上,即使在公共云环境中,配置所有机器也可能成本很高。

相反,客户可以使用测功机测试他们在生产中看到的相同类型的工作负载,并确保系统能够经得起软件更改。LinkedIn使用该工具分析公司HDFS集群从Hadoop 2.3到2.6的迁移,这一变化需要调整集群的某些参数以避免性能问题。

Dynamometer的首席工程师Erik Krogen在一封电子邮件中告诉VentureBeat,该工具既适用于大规模Hadoop公司(如LinkedIn),也适用于提议更改HDFS开源项目的小型商店,并希望确保它们不会影响大规模的性能。

从长远来看,Krogen希望测功机将成为HDFS发布测试的一部分,以及在发布之间定期持续集成新的代码更改。这就是LinkedIn将其作为开源项目向公众发布的原因。该公司已经使用Dynamometer来帮助发布Hadoop 2.7.4,这使它能够验证维护版本不会对性能产生负面影响。