当前位置: 软件>JavaScript软件
极简MapReduce框架 Mincemeat-node
本文导语: Mincemeat-node 是使用Node.js实现的极简MapReduce框架，可以快速的部署投入工作，免去Hadoop繁琐的配置，享受随心大数据。Mincemeatpy实现的是一种非常简单的MapReduce模型，仅仅实现了任务的分布计算，并没有类似HDFS这样的支撑，因此...
Mincemeat-node 是使用Node.js实现的极简MapReduce框架，可以快速的部署投入工作，免去Hadoop繁琐的配置，享受随心大数据。
Mincemeatpy实现的是一种非常简单的MapReduce模型，仅仅实现了任务的分布计算，并没有类似HDFS这样的支撑，因此只适合做计算量很 大的工作，但是相对于Hadoop的好处在于部署非常的方便，单文件随处运行，在实际使用中非常的方便，这也是我想用Node.js去实现的原因之一。 Node.js的网络异步处理模型非常适合于这种突发通信量较大，性能要求比较高的场景，并且也是单文件随处运行的典型。相对的，Node.js也有一个 很严重的缺点：无法很好的利用多核CPU。因此在代码的实现上，我还是使用了多进程的方式来达到最大化的利用计算资源，并且对Client的负载进行检测 以便做负载均衡。
您可能感兴趣的文章:
本站(WWW.)旨在分享和传播互联网科技相关的资讯和技术，将尽最大努力为读者提供更好的信息聚合和浏览方式。
本站(WWW.)站内文章除注明原创外，均为转载、整理或搜集自网络。欢迎任何形式的转载，转载请注明出处。
本站(WWW.)站内文章除注明原创外，均为转载、整理或搜集自网络。欢迎任何形式的转载，转载请注明出处。