`
cloudeagle_bupt
  • 浏览: 539234 次
文章分类
社区版块
存档分类
最新评论

MapReduce的容错性

 
阅读更多
MapReduce的容错性,其思路很简单,出问题的话,重做就是了:
1. map: 重执行
2. reduce: 重执行的话,需要保存中间数据,否则reduce一旦坏了的话,之前的取得的数据全部浪费了,这也是为什么reduce不使用诸如
消息机制传递数据的原因。

这样map和reduce实现了异步读写,同时其容错也得到了保证。
分享到:
评论

相关推荐

    hadoop-mapreduce-examples-2.6.0

    HDFS有高容错性的特点,并且设计用来部署在低廉的(low-cost)硬件上;而且它提供高吞吐量(high throughput)来访问应用程序的数据,适合那些有着超大数据集(large data set)的应用程序。HDFS放宽了(relax)...

    mapreduce:实现一个类似于 Hadoop 的 Map-Reduce Facility 基于 RMI by Java,具有可扩展性和容错性

    映射还原 使用 Java 实现基于 RMI 的类似于 Hadoop 的具有可扩展性和容错性的 Map-Reduce Facility project3

    大数据分析——RDBMS与MapReduce的竞争与共生

    而以MapReduce 为代表的非关系数据管理和分析技术异军突起,以其良好的扩展性、容错性和大规模并行处理的优势,从互联网信息搜索领域开始,进而在数据分析的诸多领域和关系数据管理技术展开了竞争.关系数据管理技术阵营...

    【1】MapReduce概述

    (3)高容错性 (4)适合PB级别以上海量数据的离线处理 缺点: (1)不擅长实时计算 (2)不擅长流式计算(MapReduce的输入数据集是静态的) 3.MapReduce核心思想 分析WordCount 数据流走向深入理解MapReduce 核心...

    论文研究-基于MapReduce计算模型的并行关联规则挖掘算法研究综述.pdf

    MapReduce是一种流行的分布式并行计算模型,因其使用简单、伸缩性好、自动负载均衡和自动容错等优点,得到了广泛的应用。对已有的基于MapReduce计算模型的并行关联规则挖掘算法进行了分类和综述,对其各自的优缺点和...

    大数据分析_RDBMS与MapReduce的竞争与共生_覃雄派.pdf

    而以MapReduce为代表的非关系数据管理和分析技术异军突起,以其良好的扩展性、容错性和大规模并行处理的优势,从互联网信息搜索领域开始,进而在数据分析的诸多领域和关系数据管理技术展开了竞争.关系数据管理技术阵营...

    MapReduce 论文翻译_copy1

    3.1 执行概览通过自动将输入数据分割成M个切片在多机器间分布式地调用Map函数 3.2 主数据结构主节点保存着若干个数据结构 3.3 容错性由于MapRedu

    为MapReduce框架使用SQL类语言

    在过去二十年中,计算能力的稳步增强催生了铺天盖地的数据量,这反过来引起...尽管并行数据库系统适用于这些数据分析应用中的其中一些,但是它们太过昂贵,难以管理,并缺乏对长期运行查询的容错性。MapReduce是Googl

    hadoop安装与配置.pdf

    Hadoop的创始人是Doug Cutting,它具有高可靠性、高扩展性、高效性和高容错性四大优势。具体来说,Hadoop底层维护多个数据副本,因此即使某个计算元素或存储出现故障,也不会导致数据的丢失。此外,Hadoop能在集群间...

    Hadoop集群高可用与性能优化

    HDFS是一个高度容错性的系统,适合部署在廉价的机器上。HDFS能提供搞吞吐量的数据访问,非常适合大规模数据集上的应用。Hadoop MapReduce是一个使用简易的编程模型,基于它写出来的应用程序能够运行在由成千上万个商用...

    实战Hadoop

    HDFS 的高容错性、高伸缩性等优点允许用户将Hadoop部署在低廉的硬件上,成分布式系统;MapReduce分布式编程模型允许用户在不了解分布式系统底层细节的情况下开发并行应用程序。所以用户可以利用Hadoop轻松地组织...

    Hadoop实战中文版

    HDFS 的高容错性、高伸缩性等优点允许用户将 Hadoop 部署在低廉的硬件上,形成分布式系统 ; MapReduce 分布式编程模型允许用户在不了解分布式系统底层细节的情况下开发并行应用程序。所以用户可以利用 Hadoop 轻松...

    Hadoop简介

    HDFS 的高容错性、高伸缩性等优点允许用户将 Hadoop 部署在低廉的硬件上,形成分布式系统 ;MapReduce 分布式编程模型允许用户在不了解分布式系统底层细节的情况下开发并行应用程序。所以用户可以利用 Hadoop 轻松地...

    大数据hadoop视频教程

    Hadoop分布式文件系统(HDFS):用于存储大规模数据集的分布式文件系统,具有高容错性和高可靠性。 Hadoop YARN(Yet Another Resource Negotiator):用于集群资源管理和作业调度的框架,可以有效地管理集群中的...

    Hadoop各组件详解(Hive篇)

    一、Hive简介 1.什么是Hive Hive是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张数据库表,并提供类SQL查询功能... 良好的容错性,节点出现问题SQL仍可完成执行 3.Hive与传统数据库的对比图 4.Hiv

    hadoop大数据处理3709937.azw3

    第1章大数据处理概论1.1什么是大数据1.2数据处理平台的基础架构1.3大数据处理的存储1.3.1提升容量1.3.2提升吞吐量1.4大数据处理的计算模式1.4.1多处理技术1.4.2并行计算1.5大数据处理系统的容错性1.5.1数据存储容错...

    完全分布式搭建

    HDFS有高容错性的特点,并且设计用来部署在低廉的(low-cost)硬件上;而且它提供高吞吐量(high throughput)来访问应用程序的数据,适合那些有着超大数据集(large data set)的应用程序。HDFS放宽了(relax)...

    hadoop-3.0.0.tar.gz

    HDFS有高容错性的特点,并且设计用来部署在低廉的(low-cost)硬件上;而且它提供高吞吐量(high throughput)来访问应用程序的数据,适合那些有着超大数据集(large data set)的应用程序。HDFS放宽了(relax)...

    hadoop权威指南第3版

    HDFS有高容错性的特点,并且设计用来部署在低廉的(low-cost)硬件上;而且它提供高吞吐量(high throughput)来访问应用程序的数据,适合那些有着超大数据集(large data set)的应用程序。HDFS放宽了(relax)...

    hadoop的简单安装.pdf

    HDFS有高容错性的特点,并且设计用来部署在低廉的(low-cost)硬件上;而且它提供高吞吐量(high throughput)来访问应用程序的数据,适合那些有着超大数据集(large data set)的应用程序。HDFS放宽了(relax)...

Global site tag (gtag.js) - Google Analytics