当前位置: 技术问答>linux和unix
求助:shell脚本如何把需要执行的代码传入另一个环境(spark-shell)?
来源: 互联网 发布时间:2017-05-24
本文导语: 我是一个实习生,碰到搞不定的问题了,求助: 最近做MLlib,./spark-shell运行以后,会进入一个特殊的scala环境,然后在命令行输入scala代码段,已跑通。 之所以说是特殊的scala环境,是因为我保存代码段到scala文件后...
我是一个实习生,碰到搞不定的问题了,求助:
最近做MLlib,./spark-shell运行以后,会进入一个特殊的scala环境,然后在命令行输入scala代码段,已跑通。
之所以说是特殊的scala环境,是因为我保存代码段到scala文件后,用scala filename.scala命令运行会报错。
现在我想做的事,是想要用shell脚本,将那一段scala代码,传递给spark-shell运行,同时屏幕输出结果(或者返回结果)
但我在
#!/usr/lib/spark/bin/spark-shell sh
代码代码代码
和
#!/usr/lib/spark/bin/spark-shell sh
scala kmeans.scala
这两种情况都失败了,程序只会进入spark-shell的环境,而不执行我想要它做的
我的目的:
用脚本,
启动spark-shell,在该环境下输入我想执行的scala代码段并执行
所有结果都输出在屏幕上
有没有大神能告诉我该怎么做?
或者,如果我这是痴心妄想,那么,还有别的什么办法能做到吗?
最近做MLlib,./spark-shell运行以后,会进入一个特殊的scala环境,然后在命令行输入scala代码段,已跑通。
之所以说是特殊的scala环境,是因为我保存代码段到scala文件后,用scala filename.scala命令运行会报错。
现在我想做的事,是想要用shell脚本,将那一段scala代码,传递给spark-shell运行,同时屏幕输出结果(或者返回结果)
但我在
#!/usr/lib/spark/bin/spark-shell sh
代码代码代码
和
#!/usr/lib/spark/bin/spark-shell sh
scala kmeans.scala
这两种情况都失败了,程序只会进入spark-shell的环境,而不执行我想要它做的
我的目的:
用脚本,
启动spark-shell,在该环境下输入我想执行的scala代码段并执行
所有结果都输出在屏幕上
有没有大神能告诉我该怎么做?
或者,如果我这是痴心妄想,那么,还有别的什么办法能做到吗?
|
1. “启动spark-shell,在该环境下输入我想执行的scala代码段并执行”
可以使用expect程序。或者试试/usr/lib/spark/bin/spark-shell
可以使用expect程序。或者试试/usr/lib/spark/bin/spark-shell
您可能感兴趣的文章:
本站(WWW.)旨在分享和传播互联网科技相关的资讯和技术,将尽最大努力为读者提供更好的信息聚合和浏览方式。
本站(WWW.)站内文章除注明原创外,均为转载、整理或搜集自网络。欢迎任何形式的转载,转载请注明出处。
本站(WWW.)站内文章除注明原创外,均为转载、整理或搜集自网络。欢迎任何形式的转载,转载请注明出处。