`
cloudeagle_bupt
  • 浏览: 541031 次
文章分类
社区版块
存档分类
最新评论

修改HDFS遇到的问题

 
阅读更多
改HDFS遇到个问题,需要每个datanode上面的数据块在当前写入的时候能够知道当前其所属的分布式文件的名称,但是查了代码后发现
块所属的文件名只能在namenode包里的BlocksMap才能查到数据块所属文件等一些元数据信息,具体见http://blog.csdn.net/cloudeagle_bupt/article/details/20933045,

为了方便所有的块都能读取到当前写入的文件名,改写了DFSClient,在文件写入的时候就将其名称存入distributedCache, 让大家都能读取。

恩,也是没有办法的办法了。

分享到:
评论

相关推荐

    HDFS常见问题维护手册V1.01

    HDFS常见问题维护手册V1.01

    HDFS Comics HDFS 漫画

    HDFS能 够提供对数据的可扩展访问,通过简单地往集群里添加节点就可以解决大量客户端同时访问的问题。HDFS支持传统的层次文件组织结构,同现 有的一些文件系 统类似,如可以对文件进行创建、删除、重命名等操作。

    HadoopHA集群部署、HDFSHA配置、启动与验证教学课件.pptx

    任务二 修改hdfs-site.xml配置文件(一);任务二 修改hdfs-site.xml配置文件(二);任务二 修改hdfs-site.xml配置文件(三);任务二 修改hdfs-site.xml配置文件(四);任务二 修改hdfs-site.xml配置文件(五);任务...

    HDFS相关问题.zip

    HDFS相关问题.zip

    HDFS管理工具HDFS Explorer下载地址、使用方法.docx

    windows平台下的HDFS文件浏览器,就像windows管理器一样管理你的hdfs文件系统。现在官网已经停止更新这款软件。具体配置如下: HDFS配置页面及端口http://master:50070 配置HDFS服务器 配置WebHDFS HDFS Explorer...

    HDFS文件的查看

    hdfs文件的查看 hdfs fs -cat /文件名

    hdfs源码.zip

    第1章 HDFS 1 1.1 HDFS概述 1 1.1.1 HDFS体系结构 1 1.1.2 HDFS基本概念 2 1.2 HDFS通信协议 4 1.2.1 Hadoop RPC接口 4 1.2.2 流式接口 20 1.3 HDFS主要流程 22 1.3.1 HDFS客户端读流程 22 1.3.2 ...

    HDFS实例基本操作

    在安装好HDFS的前提下,此项目包含HDFS的基本操作,上传,下载,创建文件夹等。

    HDFS相关问题.docx

    此文章用以相互学习、交流。 谢谢大家能够一起参与相互学习与交流 能够和大家一起大数据整体架构的技术,

    MR处理HDFS日志样例

    MR处理HDFS日志样例

    基于MapFile+的HDFS+小文件存储效率问题

    基于MapFile+的HDFS+小文件存储效率问题

    HDFS配置文件hdfs-site

    HDFS测试环境配置文件,稳定运行无异常,分享给大家学习参考用;

    HDFS体系架构汉化文档.pdf

    Hadoop分布式文件系统( HDFS )是一种旨在在商品硬件上运行的分布式文系统。它与现有的分布式文件系统许多相似之处。 但是,与其他分布式文件系统的区别很明显。 HDFS 具有高度的容错能力,旨在部署低成本硬件上。 ...

    HDFS集群搭建

    HDFS能 够提供对数据的可扩展访问,通过简单地往集群里添加节点就可以解决大量客户端同时访问的问题。HDFS支持传统的层次文件组织结构,同现 有的一些文件系 统类似,如可以对文件进行创建、删除、重命名等操作。

    HDFS文件的上传

    hdfs 文件的上传,hdfs fs -put /文件名

    HDFS文件操作命令与HDFS编程

    文档详细的讲述了Hadoop中HDFS文件操作命令和HDFS编程

    java操作hdfs.rar

    java操作hdfs 修改参数配置与本机一致; 有五个示例文档,有用到springboot, Big data projects using HDFS and MapReduce

    HDFS文件的下载

    hdfs文件的下载

    实验二:熟悉常用的HDFS操作

    A.2实验二:熟悉常用的HDFS操作 本实验对应第4章的内容。 A.2.1 实验目的 (1)理解 HDFS在Hadoop体系结构中的角色。(2)熟练使用HDFS操作常用的 Shell命令。(3)熟悉HDFS操作常用的Java API。 A.2.2 实验平台 (1)操作...

    分布式存储系统——HDFS

    1. 分布式文件系统与HDFS 2. HDFS 的shell 操作 3. HDFS 体系结构与基本概念 4 HDFS 的web 接口 5. HDFS 的java 访问接口 6. HDFS 的RPC 机制 7. NameNode 的接口分析 8. DataNode 的接口分析 9. HDFS 的写数据过程...

Global site tag (gtag.js) - Google Analytics