WEB开发网
开发学院服务器虚拟化 Hadoop集群运行JNI程序 阅读

Hadoop集群运行JNI程序

 2013-07-27 07:51:17 来源:开发学院   
核心提示: 要在Hadoop集群运行上运行JNI程序,首先要在单机上调试程序直到可以正确运行JNI程序,Hadoop集群运行JNI程序,之后移植到Hadoop集群就是水到渠成的事情,Hadoop运行程序的方式是通过jar包,命令如下:hadoop jarSegment.jar Segment -files ./bin/lib**

 要在Hadoop集群运行上运行JNI程序,首先要在单机上调试程序直到可以正确运行JNI程序,之后移植到Hadoop集群就是水到渠成的事情。

Hadoop运行程序的方式是通过jar包,所以我们需要将所有的class文件打包成jar包。在打包的过程中,无需将动态链接库包含进去。

在集群中运行程序之前,Hadoop会首先将jar包传递到所有的节点,然后启动运行。我们可以在这个阶段将动态链接库作为附件和jar包同时传递到所有的节点。方法就是给jar命令指定-files参数。命令如下:

hadoop jarSegment.jar Segment -files ./bin/lib***.so input output

通过该命令,jar包和动态链接库都会传递到所有节点,然后启动mapreduce任务。
 

Tags:Hadoop 集群 运行

编辑录入:爽爽 [复制链接] [打 印]
赞助商链接