当前位置:  软件>java软件

Hadoop的Jython封装 Happy

    来源:    发布时间:2015-01-10

    本文导语:  Hadoop + Python = Happy Happy 为Jython开发者使用Hadoop框架提供了便利,Happy框架封装了Hadoop的复杂调用过程,让Map-Reduce开发变得更为容易。Happy中的Map-Reduce作业过程在子类happy.HappyJob中定义,当用户创建类实例后,设置作业任务的输...

Hadoop + Python = Happy

Happy 为Jython开发者使用Hadoop框架提供了便利,Happy框架封装了Hadoop的复杂调用过程,让Map-Reduce开发变得更为容易。Happy中的Map-Reduce作业过程在子类happy.HappyJob中定义,当用户创建类实例后,设置作业任务的输入输出参数,然后调用run()方法即可启动分治规约处理,此时,Happy框架将序列化用户的作业实例,并将任务及相应依赖库拷贝到Hadoop集群执行。目前,Happy框架已被数据集成站点freebase.com采纳,用于进行站点的数据挖掘与分析工作。


    
 
 

您可能感兴趣的文章:

 
本站(WWW.)旨在分享和传播互联网科技相关的资讯和技术,将尽最大努力为读者提供更好的信息聚合和浏览方式。
本站(WWW.)站内文章除注明原创外,均为转载、整理或搜集自网络。欢迎任何形式的转载,转载请注明出处。












  • 相关文章推荐
  • Hadoop 2.1.0-beta 版发布
  • Hadoop开发插件 Hadoop Studio
  • Apache Hadoop 项目主页及介绍
  • Hadoop部署管理和扩展 Serengeti
  • Hadoop 2.0.5-alpha版发布
  • Spring Hadoop
  • Apache hadoop当前各个版本说明
  • Hadoop标准化安装工具 Cloudera
  • 安装hadoop时出现内存不够及其它一些常见的hadoop错误解决办法
  • Hadoop日志聚合器 White Elephant
  • Hadoop中MultipleOutputFormat示例代码
  • Hadoop集群监控工具 HTools
  • hadoop 1.2.1 总体介绍
  • Hadoop和数据库数据迁移工具 Sqoop
  • Hadoop介绍及最新稳定版Hadoop 2.4.1下载地址及单节点安装
  • Hadoop 开发工具 Apache HDT
  • 基于Hadoop的数据挖掘框架
  • 分布式系统基础架构 Hadoop
  • Hadoop框架及各部分组件介绍
  • hadoop-clusternet
  • Hadoop 1.2.1 单节点安装(Single Node Setup)步骤
  • Hadoop资源管理器 YARN


  • 站内导航:


    特别声明:169IT网站部分信息来自互联网,如果侵犯您的权利,请及时告知,本站将立即删除!

    ©2012-2021,,E-mail:www_#163.com(请将#改为@)

    浙ICP备11055608号-3