当前位置:  编程语言>java/jsp

spring xd 介绍及如何下载及安装

 
    发布时间:2014-2-6  


    本文导语: spring xd 介绍 Spring XD 简化了解决通用大数据问题,例如数据的摄入和导出、实时的分析和批工作量编排的功能。具体文档请参考:http://docs.spring.io/spring-xd/docs/1.0.0.M2/reference/html/ Spring XD是一个统一的,分布式,可扩展的系统...

spring xd 介绍

Spring XD 简化了解决通用大数据问题,例如数据的摄入和导出实时分析和批工作量编排的功能。

具体文档请参考:

http://docs.spring.io/spring-xd/docs/1.0.0.M2/reference/html/

  Spring XD是一个统一的,分布式,可扩展系统用于 data ingestion,实时分析,批量处理和数据导出。该项目的目标是简化大数据应用开发。 建立真实世界的大数据的应用程序的大部分复杂性是在于将许多不同的系统为一个完整的,在一个范围内的使用情况。创建一个综合的大数据中常见的用例是高吞吐量的分布式数据的从各种输入源为大数据存储诸如HDFS或splunk收集  在收集时进行实时分析,例如采集数据和计算值  通过批处理进行工作流程管理。 这些工作将通过标准企业系统(RDBMS)和Hadoop操作(MapReduce,HDFS,PigHive or Cascading(流注)整合在一起。
 
 下载Spring XD

  http://repo.spring.io/simple/libs-milestone-local/org/springframework/xd/spring-xd/1.0.0.M4/spring-xd-1.0.0.M4-dist.zip
  解压,这将产生的安装目录spring-xd-1.0.0.m2。

cp spring-xd-1.0.0.M4-dist.zip /opt/
cd /opt/
unzip spring-xd-1.0.0.M4-dist.zip
drwxr-xr-x  7 root   root        4096 Nov 12 13:39 spring-xd-1.0.0.M4/
$ cd spring-xd-1.0.0.M2
设置环境变量
Set the environment variable XD_HOME to the installation directory
spring-xdxd
vi /etc/profile
export XD_HOME=/opt/spring-xd-1.0.0.M4/xd
source /etc/profile
root@master:/etc# echo $xd_home
/opt/spring-xd-1.0.0.M4/xd

安装 Spring XD
启动命令
chmod -R 777 spring-xd-1.0.0.M4
xd/bin>$ ./xd-singlenode

启动后会看的
INFO: Starting Servlet Engine: Apache Tomcat/7.0.35
XD Configuration:
       XD_HOME=/opt/spring-xd-1.0.0.M4/xd
       XD_TRANSPORT=local
       XD_STORE=memory
       XD_ANALYTICS=memory
       XD_HADOOP_DISTRO=hadoop12

在一个单独的终端 cd into the shell directory and start the XD shell, which you can use to issue commands.

cd /opt/spring-xd-1.0.0.M4/shell/bin
shell/bin>$ ./xd-shell
在spring XD中,基本流定义了事件驱动的源数据到一个接收器的摄取过程通过任意数量的处理器

  • 本站(WWW.)旨在分享和传播互联网科技相关的资讯和技术,将尽最大努力为读者提供更好的信息聚合和浏览方式。
    本站(WWW.)站内文章除注明原创外,均为转载,整理或搜集自网络.欢迎任何形式的转载,转载请注明出处.
    转载请注明:文章转载自:[169IT-IT技术资讯]
    本文标题:spring xd 介绍及如何下载及安装
相关文章推荐:


站内导航:


特别声明:169IT网站部分信息来自互联网,如果侵犯您的权利,请及时告知,本站将立即删除!

©2012-2021,,E-mail:www_#163.com(请将#改为@)

浙ICP备11055608号-3