转自:http://blog.csdn.net/liangliyin/article/details/5984072
当向HDFS上写文件时,可以通过设置dfs.block.size配置项来设置文件的block size,这导致HDFS上不同文件的block size是不同的。有时候我们需要知道HDFS上某个文件的block size,比如想知道该该文件作为job的输入会创建几个map等。Hadoop
FS Shell提供了一个-stat选项可以达到目的。官方文档描述这个选项时遗漏了可选参数。-stat选项的使用格式是:
{HADOOP_HOME}/bin/hadoop fs –stat [format]
其中可选的format被官方文档遗漏了。下面列出了format的形式:
%b:打印文件大小(目录为0)
%n:打印文件名
%o:打印block size (我们要的值)
%r:打印备份数
%y:打印UTC日期 yyyy-MM-dd HH:mm:ss
%Y:打印自1970年1月1日以来的UTC微秒数
%F:目录打印directory, 文件打印regular file
当使用-stat选项但不指定format时候,只打印文件创建日期,相当于%y:
bin/hadoop fs -stat /liangly/teradata/part-00099
2010-11-02 08:03:49
下面的例子打印文件的block size和备份个数:
bin/hadoop fs -stat "%o %r" /liangly/teradata/part-00099
67108864 3
从打印结果可以看到文件/liangly/teradata/part-00099的block size是64m,有3个备份。
分享到:
相关推荐
下面我将这个文件分割器的运行流程简单列出如下: 1、 选择要分割原文件,用OpenFileDialog控件实现,变量SplitSourceFileName 记录文件路径。 2、 选择分割后文件的保存地址,用FolderBrouserDialog控件实现,变量...
if (buflen >= (9 + BlockSize)) { //缓冲区大小减去已读数据 byte[] blockdb = new byte[BlockSize]; buf.get(blockdb); //读取文件块数据 buf.compact(); //删除已读数据 buflen -= (9 + BlockSize); buf....
// size_t block_size = remain_size / 100; size_t block_size = 512; 可以改成512,或者索性除了1000,没什么问题了,另一要注意的下载地址 // *((unsigned long*)file_buffer) = 0x32000000; //load address *(...
本文实例讲述了Python实现读取文件最后n行的方法。分享给大家供大家参考,具体如下: ... blocksize = 1024 dat_file = open(inputfile, 'r') last_line = "" lines = dat_file.readlines() co
squash 文件系统在linux系统内编译成功了, 能生成打包和解包工具, 分享文件系统的属性
描述android 多线程下载文件的详细步骤+断点续传 多线程下载步骤分析 1、获取服务器文件大小 conn.getContentLength(); 2、在客户端创建一个和服务大小一模一样的... 最后一个线程 开始n*blockSize----结束length-1
表空间数据文件容量与DB_BLOCK_SIZE有关,在初始建库时,DB_BLOCK_SIZE要根据实际需要,设置为 4K,8K、16K、32K、64K等几种大小,ORACLE的物理文件最大只允许4194304个数据块(由操作系统决定),表空间数据文件的...
./make_ext4fs [filesystem] [output_file] [-S binary_policy -f spec_file -a mount_point] [-b block_size] [-O feature] [-l image_size] [-L volume_label] 参数说明: filesystem_dir:文件系统路径。 output...
Delphi演示通过文件读写的方式复制文件,本示例是通过读文件、重新写入文件的方式,来模拟出文件复制的功能,并不是使用Delphi中固有的copyFile函数来直接操作文件,有兴趣可参考以下的代码: AssignFile(ToF,...
#define MAXUSER 10 //假想文件系统最多支持的人数 #define BLOCKSIZE 32 //虚拟磁盘中物理块为每块32字节 #define DISKSIZE BLOCKSIZE*1000 //虚拟磁盘容量为1000*32=32K struct UFD //说明文件项的结构数组 { char...
BlockSize:磁盘每块大小(B) HeaderSize:文件系统大小(B) BitMapSize:位图大小(B) 4.本程序完成以下功能 A.创建文件 B.创建文件夹 C.打开 D.编辑 E.保存 F.删除 G.复制 H.剪切 I.粘帖 J.格式化磁盘 ...
const int BlockFcbCount = BlockSize/sizeof(FCB);//目录文件的最多FCB数 int OpenFileCount = 0; struct OPENLIST //用户文件打开表 { int files; //当前打开文件数 FCB f[OPEN_MAX]; //FCB拷贝 OPENLIST() ...
在linux系统上,可以用命令tune2fs ,测试如下 [root@localhost test10g]# tune2fs -help tune2fs 1.35 (28-Feb-2004) tune2fs: invalid option -- h Usage: tune2fs [-c max-mounts-count] [-e errors-behavior] ...
将文件内容写入inode空间和block空间。修改当前目录的结构,修改 inode位图,block位图,写入模拟硬盘。详细过程如流程图1.2所示: 、打开文件函数 对文件进行关闭操作,若此时文件不存在或处于读状态或写状态,则...
[block_size][block_data][block_size][block_data][block_size][block_data]... 可能的block_size值: 将Block8编码为1个字节,最大块长度为255个字节 将Block16编码为2个字节,最大块长度为65535字节 将Block32...
sudo /sbin/tune2fs -l /dev/sda1|grep Block size 需要注意到系统可能有多个盘多个文件系统,可通过df命令查看 数值单位是字节,如图示: 二:查看内存页大小 getconf PAGESIZE 数值单位是字节,如图示: 以上...
64k block-size, support compatible to Linux ext4 and e2fsprogs OS: 2k, xp, vista, server 2003/2008, win7 Features Ext2Fsd doesn’t support: fully ext3 journal support ext4 extent support LVM and ...
lbMesg.Caption := lbMesg.Caption IntToStr(FileSize(FormF)) 'bytes已经拷贝完成!'; repeat BlockRead(FormF,Buf,SizeOf(BUf),NumRead); BlockWrite(ToF,Buf,NumRead,NumWritten); until (NumRead = 0)...
本文实例讲述了python下载文件时显示下载进度的方法。分享给大家供大家参考。...def report(count, blockSize, totalSize): percent = int(count*blockSize*100/totalSize) sys.stdout.write("\r%d%%" % perc
文件同步文件同步的... 允许客户端在开始同步之前指定BlockSize。 服务器启动并等待客户端连接。 客户端启动,并在命令行上给出BlockSize。 服务器从客户端接收到指示BlockSize的消息。技术方面使用TCP。 这将确保可