当前位置： 首页 >> Hadoop >> HDFS小文件归档

---

HDFS小文件归档

2021-07-25 11:52:39 星期日  阅读：1231

---

#### HDFS小文件问题 每个文件均按块存储，每个块的元数据存储在NameNode的内存中，因此HDFS存储小文件会非常低效。因为大量的小文件会耗尽NameNode中的大部分内存。 但注意，存储小文件所需要的磁盘容量和数据块的大小无关。例如，一个1MB的文件设置为128MB的块存储，实际使用的是1MB的磁盘空间，而不是128MB  #### HAR文件 HDFS存档文件或HAR文件，是一个更高效的文件存档工具，它将文件存入HDFS块，在减少NameNode内存使用的同时，允许对文件进行透明的访问。 `具体说来，HDFS存档文件对内还是一个一个独立文件，对NameNode而言却是一个整体，减少了NameNode的内存。`  #### 案例 把HDFS的/input目录里面的所有文件归档成一个叫input.har的归档文件，并把归档后的文件存储到/output路径下 ```shell # 首先需要启动Yarn进程，因为归档过程中涉及计算 start-yarn.sh hadoop archive -archiveName input.har -p/input/output ``` 查看归档后的文件 ```shell hadoop fs -ls /output/input.har ``` 使用har协议查看归档文件中包含的所有小文件 ```shell hadoop fs -ls har:///output/input.har ``` 解归档文件 ```shell # 把input.har包含的所有小文件复制到hdfs /tmp目录下 hadoop fs -cp har:///output/input.har/* /tmp ```