`
cloudeagle_bupt
  • 浏览: 541209 次
文章分类
社区版块
存档分类
最新评论

hadoop 增加classpath的jar包

阅读更多

1. 最简单的方式是所有东西全放到一个大的jar包中,但是比较麻烦。


2. 使用hadoop jar的-libjars参数来设置第三方依赖的jar

  1. hadoopjarmy-example.jarcom.example.MyTool-libjarsmysql-connector-java.jar,abc.jar

多个jar包间使用逗号分隔。

但是这个我试了没有成功,不知道问题在哪。


3. 直接修改hadoop的classpath的脚本变量:

这里有个问题就是直接:

 CLASSPATH=/opt/giraph-1.1.0-for-hadoop-1.2.1/lib/*.jar</span>

这种方式是不行的,必须一个个添加:

# add giraph jars for test for f in /opt/giraph-1.1.0-for-hadoop-1.2.1/lib/*.jar; do CLASSPATH=${CLASSPATH}:$f; done


分享到:
评论

相关推荐

    flink-shaded-hadoop-3-uber-3.1.1.7.1.1.0-565-9.0.jar

    Flink-1.11.2与Hadoop3集成JAR包,放到flink安装包的lib目录下,可以避免Caused by: org.apache.flink.core.fs.UnsupportedFileSystemSchemeException: Hadoop is not in the classpath/dependencies.这个报错,实现...

    hadoop-lzo-0.4.20-SNAPSHOT.jar

    编译后的hadoop-lzo源码,将hadoop-lzo-0.4.21-SNAPSHOT.jar放到hadoop的classpath下 如${HADOOP_HOME}/share/hadoop/common。hadoop才能正确支持lzo,免去编译的烦恼

    hadoop-core-0.20.2-cdh3u3.jar

    export CLASSPATH="$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar:${HADOOP_HOME}/lib/commons-logging-1.0.4.jar:${HADOOP_HOME}/lib/guava-r09-jarjar.jar:${HADOOP_HOME}/hadoop-core-0.20.2-cdh3u3.jar:/usr/...

    hadoop-eclipse-plugin-1.1.2.jar

    ${hadoop.root}/build/hadoop-core-${version}.jar" tofile="${build.dir}/lib/hadoop-core.jar" verbose="true"/&gt; ${hadoop.root}/build/ivy/lib/Hadoop/common/commons-cli-${commons-cli.version}.jar" todir="${...

    hive-jdbc-3.1.2-standalone.jar包 - dbeaver连接hive.zip

    同时,需要将hive-jdbc-3.1.2-standalone.jar包添加到dbeaver的classpath中,以使软件能够正确识别并调用该jar包提供的功能。用户可以根据具体情况选择合适的jar包版本,并确保版本兼容性和稳定性。

    hadoop-eclipse-plugin-2.7.0.jar

    1. update the following jar filename(htrace-core-3.1.0-incubating.jar) and add servlet-api-2.5.jar file to classpath. 2.Tested with eclipse-jee-luna-SR2-win32-x86_64.

    GraphiteMetrics2:与metrics2一起使用的石墨的hadoop上下文包

    在您的 hadoop-env.sh 文件(通常在 /etc/hadoop/conf/ 中)中,将 GraphiteContext.jar 文件的位置添加到 HADOOP_CLASSPATH 示例:export HADOOP_CLASSPATH="/[path_to]/GraphiteMaven-1.1-SNAPSHOT.jar 配置: ...

    hadoop1.1.2 eclipse 插件

    在用eclipse 搭建hadoop插件时,apache不会提供插件,插件必须自己编译并且声称jar包。 1、将hadoop-1.1.2.tar.gz解压。比如:D:\hadoop-1.1.2。 2、进入D:\hadoop-1.1.2\src\contrib目录。将build-contrib.xml...

    spark-2.4.5-bin-without-hadoop.tgz

    spark-2.4.5-bin-without-hadoop.tgz spark最新已编译好的包,不包含hadoop jar。 使用时需要在spark-env.sh中配置 export SPARK_DIST_CLASSPATH=$(hadoop --config /opt/bigdata/hadoop-2.9.2/etc/hadoop ...

    hadoop-findaverage

    export HADOOP_CLASSPATH=$(/usr/bin/hadoop classpath) mkdir target cd target javac -classpath ${HADOOP_CLASSPATH} ../CustomAverageTuple.java jar cf findaverage-1.0-SNAPSHOT.jar *.class cd ../ ...

    hadoop-eclipse-plugin-2.8.1.jar,可用

    对比网上的版本,主要的问题是MANIFEST.MF少hadoop-hdfs-client-2.8.1.jar包的描述; 故在编译原码时,只要在build.xml文件中加入以下内容即可&lt;attribute name="Bundle-ClassPath" value="classes/, lib/hadoop-...

    hadoop安装

    export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar export JAVA_HOME JAVA_BIN PATH CLASSPATH 重启你的系统 或 source /etc/profile [root@a1 ~]# /usr/java/jdk1.6.0_38/bin/java -version ...

    基于Hadoop的Java实现用户协同过滤算法源码

    项目主要采用Java语言开发,共包含53个文件,其中Java源文件32个,独立的Java文件14个,以及3个必要的JAR包。此外,还包括1个classpath配置文件,1个项目配置文件,1个偏好设置文件,和1个Markdown文档用于说明。 ...

    云计算技术实验报告三运行Hadoop MapReduce程序

    Linux 按照步骤完成命令行方式下Hadoop MR程序的编辑,编译,运行过程。 1)编辑java文件 可以采用任意的文本工具编辑Java代码 ...(3)打jar包 4)执行 bin/hadoop jar xxx.jar packagename.classname input output

    flink-shaded-hadoop-3-uber-3.1.1.7.2.1.0-327-9.0.jar

    flink 找不到 Hadoop 依赖 Hadoop is not in the classpath/dependencies 放入flink lib下面即可

    data-science-project:数据科学课程小组项目

    要知道它应该具有的值: $ hadoop classpath然后,您可以从根目录开始按如下所示编译您的(和其他)UDF: $ cd trunk$ javac -cp pig.jar:$HADOOP_CLASSPATH ../udfs/udf1.java ../udfs/udf2.java$ cd .

    parquet-mr-example:Avro Parquet MapReduce实现示例

    木地板先生的例子Avro Parquet MapReduce实现示例显示以下内容: 谓词下推列投影基本MR作业设置实木复合地板样本文件user.parquet通过Maven构建后执行该应用程序的步骤: 将HADOOP_CLASSPATH设置为包括可以在其中...

    Hadoop_Genomic_Analysis:这是一个 Hadoop 版本的 HiC 数据基因组分析工具,目的是将 HiC 内部相互作用映射到基因,然后获得基因-基因相互作用网络并进行进一步研究

    如何编译和运行: mkdir 基因组分析javac -classpath /usr/local/hadoop-1.2.1/hadoop-core-1.2.1.jar -d ./GenomeAnalysis/ *.java jar -cvf GenomeAnalysis.jar -C ./GenomeAnalysis/ . /usr/local/hadoop-1.2.1/...

    hdfs-default.xml

    export CLASSPATH="$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar:${HADOOP_HOME}/lib/commons-logging-1.0.4.jar:${HADOOP_HOME}/lib/guava-r09-jarjar.jar:${HADOOP_HOME}/hadoop-core-0.20.2-cdh3u3.jar:/usr/...

    java笔试题算法-hadoop-s3a:适用于Hadoop的AWSSDK支持的文件系统驱动程序

    java笔试题算法请注意:此文件系统现在包含在 Hadoop 2.6 版本中。 这里的代码不再维护。 可在以下位置找到更多信息: 适用于 Hadoop ...Hadoop ...jar ...hadoop ...目录(运行“hadoop classpath”以找到合适的 li

Global site tag (gtag.js) - Google Analytics