AI优化不共享?IBM推出分布式计算深度学习优化方案,只支持自己的硬件设备

  IBM今天推出了一个新技术,这项技术通过提升多设备连接的传输效率,来减少分布式深度学(DDL)习任务花费的时间。

  虽然目前分布式深度学习可以使用众包的形式将运算压力分布到不同的电脑上进行,但是目前在实际运算时,硬件之间连接需要花费大量的时间,使得这种方法变得越来越低效。IBM这次的技术就是希望解决这个瓶颈。

  同时IBM还发布了一个带有说明书的名为PowerAI DDL的通信库。其作用在于帮助IBM确定目前正在运行的系统运用到了所有硬件设施最优的连接状态。在PowerAI DDL的帮助下,目前IBM使用64个4GPU服务器训练Resnet-50深度神经网络来学习ImageNet的数据库只需要50分钟。

  IBM的通讯库是和PowerAI软件部分打包推出的,数据科学家和数据工程师可以使用IBM的这项技术来优化自己正在进行的数据研究。IBM测试使用的硬件是64个带有4个Nvidia Tesla P100-SXM2 GPU的Power8 S822LC服务器。

  显然这些硬件设施都非常昂贵,但是对于资金实力充足的数据研究机构,使用IBM的这项硬件连接优化技术应该可以减短研究成果的计算时间,从而提高研究的效率。

  然而和以往IBM的技术发布不太一样的是,这次PowerAI DDL系统只支持IBM自己的硬件设备。这和Facebook前段时间在做的分布式神经网络优化项目大相径庭。Facebook的这个项目可以在各大open source license上使用。Facebook的技术训练Resnet-50需要256个GPU工作1个小时来完成。

  不过虽然通过训练Resnet来显示效果是一个比较标准化的做法,但是目前还不能完全肯定IBM或者Facebook的技术同样适用于其他的数据应用。目前IBM的PowerAI DDL附带的说明书中还未披露是否做了其他的应用测试。

声明:本文由入驻搜狐公众平台的作者撰写,除搜狐官方账号外,观点仅代表作者本人,不代表搜狐立场。
推荐阅读