一、大量较为频繁读写的文件一般如何进行存储

如果数据量不是很大（G级别以下），文件不是特别零碎，可以直接存在硬盘上。

但是如果数据量已经/可能超过T级别，或者文件小且零碎，建议还是放在HDFS等分布式文件系统上。

我存储爬虫的html以及图片数据，是通过HDFS的MapFile格式存储的。MapFile是个已排序的键值对文件格式，我的键采用的是url的hash+采集时间，值就是文件内容。并且封装了原生的MapFile.Reader实现了读取和一定程度的缓存（目前只用了LRU）。

在HDFS提倡一次写入，多次读取的前提下，文件的更新只能是通过失效旧，使用新的策略。即把旧的元数据标记为失效，插入新的元数据，并把更新的文件写入HDFS。读取是通过新的元数据定位到文件。同时，要定期的清除已失效的文件，即把未失效的元数据读出来，将对应的文件写到新的MapFile，删除旧的MapFile，即可实现物理删除。

当然还可以使用HBase。HBase是面向列的，二进制存储的，可横向拓展的NoSQL。可以把不大于64M的数据作为单元格数据直接写进去。但是有一定的学习成本，而且对集群的硬件要求比较高。

二、***站数据储存怎么解决

近日，***站YouTube宣布，其全球视频日播放量已经超过10亿小时的里程碑，每分钟新上传视频400小时，相当于1天有65年时长的节目内容更新。这无疑是一个非常庞大的数据，穷我们一生不吃不喝，也不过能看完其一天的视频上传量。

这还仅仅是YouTube一家***站，全球范围内所有的***站加起来，其数据量已经大到我们无法想象，那么问题来了，这么多的视频，是如何存储的，那得多少硬盘来装啊？

海量硬盘加压缩去重来解决大量数据存储

首先说明一个问题，来普及一下数据量级的问题。1MB=1024KB，1GB=1024MB，1TB=1024GB，1PB=1024TB，1EB=1024PB，1ZB=1024EB，1YB=1024ZB，1BB=1024YB，1NB=1024BB，1DB=1024NB。其中我们手机拍摄一张照片约3M，一个高清电影约2G，1TB的硬盘，可以存储500部高清电影。

很多大型网站其实是有自己的专属机房，也就是现在动辄占地几千亩的大型数据中心。如百度已经在山西阳泉建了云计算中心了，占地2000多亩，基本都是存储。我们日常用的百度网盘，里面的数据都存储在了百度的机房里。

大型的企业网站如爱奇艺、腾讯等公司，都有专有机房，这些机房内具有大量硬盘。毕竟相对来说，硬盘的价钱真实是太低了。想想我们只需求四百块钱就能购置1T的硬盘资源，对于大型公司来说，完整有准备大量硬盘的实力。

在用户上传文件或者视频之后，一般会有专门的转码紧缩效劳器。用来把上传的文件进行压缩，所以有时可以看到，本人上传的高清视频，在停止查看时，明晰度并不是很高，这是由于停止压缩的效果。

而在真正保管到硬盘之前，需求对上传的文件去重。检测硬盘中是会否曾经有相关的文件了。假如有的话就直接指定过去了。这也就是为什么很多网盘上面，会有秒传的功用，好几G的文件，几面就能上传完成就是这个原理。

缓存热点数据来保证数据高效分发

对于***站来说，绝大部分视频都是冷门资源，用户观看带有非常强的选择性。如当前正在热播的《人民的名义》，在一定的时间段类，可能用户都去看这部电视剧，对于这种热点数据，存储上主要运用散布式存储加散布式文件系统，保证高并发高带宽，存储底层会选用分层技术。

很多视频点击量*高，此时系统会判别此类数据，并存储到大容量缓存中，外加外置UPS维护，那么当视频没人看的时分，就自动迁移到廉价的7200转或5400转的HDD存储层中。如今的硬盘大做到60TB了，企业级大容量氦气盘曾经有10TB、12TB了。特别老的视频文件且为普通用户上传的会被后台剖析平台挑选出来删除来释放空间。

可能热点数据在***站庞大的存储资源库中，只占据了不到1%的比重，这个时候，网站只需要将高质量带宽分配给这些热点数据即可，并不会明显影响到用户的实际使用。如《人民的名义》现在是绝对热点，可能有1000万人同时观看；而BBC纪录片《地球脉动》在刚推出时是绝对热点，现在随着大家都看过了，每天只有很小一部分人观看。网站根据数据请求量，来酌情分配带宽，并会将热点数据缓存起来，甚至分发到离你家很近很近的机房，这样速度会很快，保证优良的用户使用体验。

可以理解为，有很多货物需要运输，但网民经常购买的物品带有一定的规律性，比如冬天北京雾霾天的时候，买空气净化器的人非常多，这个时候，网站会在仓库里放很多空气净化器，一旦有人购买就可以直接运输出去；而到了春天空气非常好，买空气净化器的人锐减，仓库就会只放很少的库存。通过对于热点的把控，可以高效地提升整个系统的运行效率和用户体验。

总结起来就是，网站会持续购买大量硬盘来存储源源不断的数据，但数据毕竟是有限的，通过压缩、去重等手段，可以有效减轻存储压力；再通过对于热点内容的缓存，来提升用户的实际使用体验。大数据时代，大家都知道数据就是金钱，和未来可以赚到的钱相比，眼前几百块钱一个的硬盘，网站还是舍得花钱买的。

三、大量小文件存储,如何选择存储方案

1、光盘、磁带存储，对于不常用的冷数据可以考虑这两种，价格便宜。

2、硬盘，小量的、常用的文件可以存，成本贵一点，容易损坏。

3、文件存储服务器，通过电脑上的客户端调取文件，现在市场上有很多产品，有不同的功能倾向，比如实惠、安全、小巧、*作便捷、协作，可以根据自己的具体需求评估后选择。

哈哈~大家可以试一下我的经验，要是有用，记得给我点个赞，谢谢啦~

四、大量视频文件怎么存储***才能保存较长时间

大量视频文件的存储好的方法就是使用硬盘，理论存储时间一般可以达到十年到三十年。

硬盘保存数据时间非常长，可以长达十年以上，但是硬盘存储和使用条件要求很高，不能在强磁场附近使用，不能在高温，高湿条件下使用，不能剧烈震动。