2012 年文章归档
共 58 篇文章
Yarn目录文件介绍
转帖请注明本空间地址: http://blog.csdn.net/chenpingbupt 1、sbin目录下的 1、distribute-exclude.sh 这个脚本用来将exclude文件分发到各个Namenode上。 2、hadoop-setup-conf.sh 1、这个脚本用来从模板xml配置文件中生成到etc目录下的配置文件。 2、针对特定的配置文件增加配置项 3、配置其他多个配置项 3、httpfs.sh 1、配置tomcat启动参数 2、配置httpfs-config.sh 3、启动tomcat,提供httpfs服务 4、hadoop-setup-hdfs.sh 1、在hdf…
2012-12-28 16:45
Yarn目录文件介绍
转帖请注明本空间地址: http://blog.csdn.net/chenpingbupt 1、sbin目录下的 1、distribute-exclude.sh 这个脚本用来将exclude文件分发到各个Namenode上。 2、hadoop-setup-conf.sh 1、这个脚本用来从模板xml配置文件中生成到etc目录下的配置文件。 2、针对特定的配置文件增加配置项 3、配置其他多个配置项 3、httpfs.sh 1、配置tomcat启动参数 2、配置httpfs-config.sh 3、启动tomcat,提供httpfs服务 4、hadoop-setup-hdfs.sh 1、在hdf…
2012-12-28 16:45
Yarn目录文件介绍
转帖请注明本空间地址: http://blog.csdn.net/chenpingbupt 1、sbin目录下的 1、distribute-exclude.sh 这个脚本用来将exclude文件分发到各个Namenode上。 2、hadoop-setup-conf.sh 1、这个脚本用来从模板xml配置文件中生成到etc目录下的配置文件。 2、针对特定的配置文件增加配置项 3、配置其他多个配置项 3、httpfs.sh 1、配置tomcat启动参数 2、配置httpfs-config.sh 3、启动tomcat,提供httpfs服务 4、hadoop-setup-hdfs.sh 1、在hdf…
2012-12-28 16:45
Yarn目录文件介绍
转帖请注明本空间地址: http://blog.csdn.net/chenpingbupt 1、sbin目录下的 1、distribute-exclude.sh 这个脚本用来将exclude文件分发到各个Namenode上。 2、hadoop-setup-conf.sh 1、这个脚本用来从模板xml配置文件中生成到etc目录下的配置文件。 2、针对特定的配置文件增加配置项 3、配置其他多个配置项 3、httpfs.sh 1、配置tomcat启动参数 2、配置httpfs-config.sh 3、启动tomcat,提供httpfs服务 4、hadoop-setup-hdfs.sh 1、在hdf…
2012-12-28 16:45
Yarn目录文件介绍
转帖请注明本空间地址: http://blog.csdn.net/chenpingbupt 1、sbin目录下的 1、distribute-exclude.sh 这个脚本用来将exclude文件分发到各个Namenode上。 2、hadoop-setup-conf.sh 1、这个脚本用来从模板xml配置文件中生成到etc目录下的配置文件。 2、针对特定的配置文件增加配置项 3、配置其他多个配置项 3、httpfs.sh 1、配置tomcat启动参数 2、配置httpfs-config.sh 3、启动tomcat,提供httpfs服务 4、hadoop-setup-hdfs.sh 1、在hdf…
2012-12-28 16:45
yarn fairscheduler原理与配置
MAPREDUCE-3451, 把fairScheduler引入到2.0.2-alpha, 本文介绍一下hadoop 2.0.2-alpha的fairscheduler. 包括调度算法和配置方法. 代码 在org.apache.hadoop.yarn.server.resourcemanager.scheduler.fair包下, 主要包括如下的类: 各个类作用的简要描述: 1. AllocationConfigurationException, 如果配置文件出错会抛出此异常. 2. AppSchedulable 一个可以提交task的实体, 继承于Schedulable, 3. FairS…
2012-12-28 11:53
yarn fairscheduler原理与配置
MAPREDUCE-3451, 把fairScheduler引入到2.0.2-alpha, 本文介绍一下hadoop 2.0.2-alpha的fairscheduler. 包括调度算法和配置方法. 代码 在org.apache.hadoop.yarn.server.resourcemanager.scheduler.fair包下, 主要包括如下的类: 各个类作用的简要描述: 1. AllocationConfigurationException, 如果配置文件出错会抛出此异常. 2. AppSchedulable 一个可以提交task的实体, 继承于Schedulable, 3. FairS…
2012-12-28 11:53
yarn fairscheduler原理与配置
MAPREDUCE-3451, 把fairScheduler引入到2.0.2-alpha, 本文介绍一下hadoop 2.0.2-alpha的fairscheduler. 包括调度算法和配置方法. 代码 在org.apache.hadoop.yarn.server.resourcemanager.scheduler.fair包下, 主要包括如下的类: 各个类作用的简要描述: 1. AllocationConfigurationException, 如果配置文件出错会抛出此异常. 2. AppSchedulable 一个可以提交task的实体, 继承于Schedulable, 3. FairS…
2012-12-28 11:53
yarn fairscheduler原理与配置
MAPREDUCE-3451, 把fairScheduler引入到2.0.2-alpha, 本文介绍一下hadoop 2.0.2-alpha的fairscheduler. 包括调度算法和配置方法. 代码 在org.apache.hadoop.yarn.server.resourcemanager.scheduler.fair包下, 主要包括如下的类: 各个类作用的简要描述: 1. AllocationConfigurationException, 如果配置文件出错会抛出此异常. 2. AppSchedulable 一个可以提交task的实体, 继承于Schedulable, 3. FairS…
2012-12-28 11:53
yarn fairscheduler原理与配置
MAPREDUCE-3451, 把fairScheduler引入到2.0.2-alpha, 本文介绍一下hadoop 2.0.2-alpha的fairscheduler. 包括调度算法和配置方法. 代码 在org.apache.hadoop.yarn.server.resourcemanager.scheduler.fair包下, 主要包括如下的类: 各个类作用的简要描述: 1. AllocationConfigurationException, 如果配置文件出错会抛出此异常. 2. AppSchedulable 一个可以提交task的实体, 继承于Schedulable, 3. FairS…
2012-12-28 11:53
yarn fairscheduler原理与配置
MAPREDUCE-3451, 把fairScheduler引入到2.0.2-alpha, 本文介绍一下hadoop 2.0.2-alpha的fairscheduler. 包括调度算法和配置方法. 代码 在org.apache.hadoop.yarn.server.resourcemanager.scheduler.fair包下, 主要包括如下的类: 各个类作用的简要描述: 1. AllocationConfigurationException, 如果配置文件出错会抛出此异常. 2. AppSchedulable 一个可以提交task的实体, 继承于Schedulable, 3. FairS…
2012-12-28 11:53
yarn fairscheduler原理与配置
MAPREDUCE-3451, 把fairScheduler引入到2.0.2-alpha, 本文介绍一下hadoop 2.0.2-alpha的fairscheduler. 包括调度算法和配置方法. 代码 在org.apache.hadoop.yarn.server.resourcemanager.scheduler.fair包下, 主要包括如下的类: 各个类作用的简要描述: 1. AllocationConfigurationException, 如果配置文件出错会抛出此异常. 2. AppSchedulable 一个可以提交task的实体, 继承于Schedulable, 3. FairS…
2012-12-28 11:53
yarn fairscheduler原理与配置
MAPREDUCE-3451, 把fairScheduler引入到2.0.2-alpha, 本文介绍一下hadoop 2.0.2-alpha的fairscheduler. 包括调度算法和配置方法. 代码 在org.apache.hadoop.yarn.server.resourcemanager.scheduler.fair包下, 主要包括如下的类: 各个类作用的简要描述: 1. AllocationConfigurationException, 如果配置文件出错会抛出此异常. 2. AppSchedulable 一个可以提交task的实体, 继承于Schedulable, 3. FairS…
2012-12-28 11:53
yarn目录结构
1.Hadoop2.0简述[1] 与之前的稳定的hadoop-1.x相比,Apache Hadoop 2.x有较为显著的变化。这里给出在HDFS和MapReduce两方面的改进。 HDFS:为了保证name服务器的规模水平,开发人员使用了多个独立的Namenodes和Namespaces。这些Namenode是联合起来的,它们之间不需要相互协调。Datanode可以为所有Namenode存放数据块,每个数据块要在平台上所有的Namenode上进行注册。Datenode定期向Namenode发送心跳信号和数据报告,接受和处理Namenodes的命令。 YARN(新一代MapReduce):在h…
2012-12-28 11:45
yarn目录结构
1.Hadoop2.0简述[1] 与之前的稳定的hadoop-1.x相比,Apache Hadoop 2.x有较为显著的变化。这里给出在HDFS和MapReduce两方面的改进。 HDFS:为了保证name服务器的规模水平,开发人员使用了多个独立的Namenodes和Namespaces。这些Namenode是联合起来的,它们之间不需要相互协调。Datanode可以为所有Namenode存放数据块,每个数据块要在平台上所有的Namenode上进行注册。Datenode定期向Namenode发送心跳信号和数据报告,接受和处理Namenodes的命令。 YARN(新一代MapReduce):在h…
2012-12-28 11:45
yarn目录结构
1.Hadoop2.0简述[1] 与之前的稳定的hadoop-1.x相比,Apache Hadoop 2.x有较为显著的变化。这里给出在HDFS和MapReduce两方面的改进。 HDFS:为了保证name服务器的规模水平,开发人员使用了多个独立的Namenodes和Namespaces。这些Namenode是联合起来的,它们之间不需要相互协调。Datanode可以为所有Namenode存放数据块,每个数据块要在平台上所有的Namenode上进行注册。Datenode定期向Namenode发送心跳信号和数据报告,接受和处理Namenodes的命令。 YARN(新一代MapReduce):在h…
2012-12-28 11:45
yarn目录结构
1.Hadoop2.0简述[1] 与之前的稳定的hadoop-1.x相比,Apache Hadoop 2.x有较为显著的变化。这里给出在HDFS和MapReduce两方面的改进。 HDFS:为了保证name服务器的规模水平,开发人员使用了多个独立的Namenodes和Namespaces。这些Namenode是联合起来的,它们之间不需要相互协调。Datanode可以为所有Namenode存放数据块,每个数据块要在平台上所有的Namenode上进行注册。Datenode定期向Namenode发送心跳信号和数据报告,接受和处理Namenodes的命令。 YARN(新一代MapReduce):在h…
2012-12-28 11:45
yarn目录结构
1.Hadoop2.0简述[1] 与之前的稳定的hadoop-1.x相比,Apache Hadoop 2.x有较为显著的变化。这里给出在HDFS和MapReduce两方面的改进。 HDFS:为了保证name服务器的规模水平,开发人员使用了多个独立的Namenodes和Namespaces。这些Namenode是联合起来的,它们之间不需要相互协调。Datanode可以为所有Namenode存放数据块,每个数据块要在平台上所有的Namenode上进行注册。Datenode定期向Namenode发送心跳信号和数据报告,接受和处理Namenodes的命令。 YARN(新一代MapReduce):在h…
2012-12-28 11:45
yarn目录结构
1.Hadoop2.0简述[1] 与之前的稳定的hadoop-1.x相比,Apache Hadoop 2.x有较为显著的变化。这里给出在HDFS和MapReduce两方面的改进。 HDFS:为了保证name服务器的规模水平,开发人员使用了多个独立的Namenodes和Namespaces。这些Namenode是联合起来的,它们之间不需要相互协调。Datanode可以为所有Namenode存放数据块,每个数据块要在平台上所有的Namenode上进行注册。Datenode定期向Namenode发送心跳信号和数据报告,接受和处理Namenodes的命令。 YARN(新一代MapReduce):在h…
2012-12-28 11:45
yarn目录结构
1.Hadoop2.0简述[1] 与之前的稳定的hadoop-1.x相比,Apache Hadoop 2.x有较为显著的变化。这里给出在HDFS和MapReduce两方面的改进。 HDFS:为了保证name服务器的规模水平,开发人员使用了多个独立的Namenodes和Namespaces。这些Namenode是联合起来的,它们之间不需要相互协调。Datanode可以为所有Namenode存放数据块,每个数据块要在平台上所有的Namenode上进行注册。Datenode定期向Namenode发送心跳信号和数据报告,接受和处理Namenodes的命令。 YARN(新一代MapReduce):在h…
2012-12-28 11:45