HDFS能够存储哪几种文件格式?看你存什么视频了,百兆以上大文件的话可以考虑hdfs。而大量百KB或几MB小文件的话,比如你存原始的hls格式,元数据压力太大,hdfs不合适,tfs不支持指定文件名(存进去的时候它给你分配一个),你可能需要自己维护文件namespace
HDFS能够存储哪几种文件格式?
看你存什么视频了,百兆以上大文件的话可以考虑hdfs。而大量百KB或几MB小文件的话,比如你存原始的hls格式,元数据压力太大,hdfs不合适,tfs不支持指定文件名(存进去的时候它给你分配一个),你可能需要自己维护文件namespace。另外一个选择是一致性hash的方案,ceph或swift,ceph是c 开发的,维护难度较大,swift是python写的,openstack的python代码也是挺风骚的。综合来看,小文件的开源方案,个人觉得基于tfs做二次开发,还是比较靠谱的。另外你要搭建流媒体服务的话,还要考虑你的流媒体服务器跟存储的对接,hls当然最方便,mp4的话有些服务器软件或nginx插件只支持访问本地文件,能否优雅的挂载为本地文件系统也是要考虑的怎么用命令行删除hdfs上的文件?
命令:hadoop fs -rmr /home/mm/lily2(要求是你把hadoop的bin加到PATH中,并开启hadoop)rm -rf /home/mm/lily2(这是删除linux文件系统的文件夹)。删除目录rd /s /q "c:hello"rem 加引号可以防止因路径中有空格而出错rem 上面的代码意为:删除c:hello目录下所有的内容(包括"c:hello")删除文件del /f /q /s "c:hello*.*"rem 删除chello文件夹下所有的文件,包括子文件夹的内容,(不包括子文件夹,也不包括c:hello文件夹)rem 文件夹=目录本文链接:http://21taiyang.com/Gyms/21228815.html
hdfs常用命令整《pinyin:zhěng》理转载请注明出处来源