当前位置:  软件>java软件

Hadoop 迭代式计算框架 Guagua

    来源:    发布时间:2015-02-21

    本文导语:  Hadoop 迭代式计算框架 Guagua 是 PayPal 的一个开源机器学习框架 Shifu 的子项目。Guagua 主要解决了模型训练的分布式问题。同时 Guagua 并没有将自己局限在分类模型,Guagua 是一个基于 Hadoop 的迭代式计算框架,几乎任何基于迭代的...

Hadoop 迭代式计算框架 Guagua 是 PayPal 的一个开源机器学习框架 Shifu 的子项目。Guagua 主要解决了模型训练的分布式问题。同时 Guagua 并没有将自己局限在分类模型,Guagua 是一个基于 Hadoop 的迭代式计算框架,几乎任何基于迭代的算法都可以利用 Guagua 为其添加分布式功能。此外由于Guagua对分 布式的良好支持,我们以前许多想做又不能做的工作比如模型特征自动选取都可以得以进行。

Guagua目前主要支持的是同步的Master-Workers结构的迭代式计算框架,今后我们希望能够支持异步方式的迭代计算框架,2012年Google MapReduce之父Jeff Dean发表了一篇论文,上面提到了对神经网络深度模型的支持,文章介绍他们的DistBelief框架训练的神经网络的数学模型可以支持10亿级别的参数。这也是Guagua的另一个方向,支持超大规模的深度神经网络模型。

Hadoop 迭代式计算框架 Guagua[图片]

介绍内容摘自 InfoQ


    
 
 
 
本站(WWW.)旨在分享和传播互联网科技相关的资讯和技术,将尽最大努力为读者提供更好的信息聚合和浏览方式。
本站(WWW.)站内文章除注明原创外,均为转载、整理或搜集自网络。欢迎任何形式的转载,转载请注明出处。












  • 相关文章推荐
  • Hadoop 2.1.0-beta 版发布
  • Hadoop开发插件 Hadoop Studio
  • Apache Hadoop 项目主页及介绍
  • Hadoop部署管理和扩展 Serengeti
  • Hadoop 2.0.5-alpha版发布
  • Spring Hadoop
  • Hadoop开发插件 Hadoop Studio iis7站长之家
  • Hadoop标准化安装工具 Cloudera
  • 安装hadoop时出现内存不够及其它一些常见的hadoop错误解决办法
  • Hadoop日志聚合器 White Elephant
  • Hadoop中MultipleOutputFormat示例代码
  • Hadoop的Jython封装 Happy
  • hadoop 1.2.1 总体介绍
  • Hadoop集群监控工具 HTools
  • Hadoop介绍及最新稳定版Hadoop 2.4.1下载地址及单节点安装
  • Hadoop和数据库数据迁移工具 Sqoop
  • Hadoop 1.2.1 单节点安装(Single Node Setup)步骤
  • Hadoop 开发工具 Apache HDT
  • Hadoop 2.0.4-alpha 版发布
  • 分布式系统基础架构 Hadoop
  • hadoop-clusternet


  • 站内导航:


    特别声明:169IT网站部分信息来自互联网,如果侵犯您的权利,请及时告知,本站将立即删除!

    ©2012-2021,,E-mail:www_#163.com(请将#改为@)

    浙ICP备11055608号-3