百亿级别小文件传输慢,如何解决?

516 阅读2分钟

生活中,互联网社交、音频视频、电商、科学实验等各种应用在不断地生产着千万级、亿级甚至百亿级的海量小文件。对于海量小文件的理解,通常我们由量化来定义,把大小在1MB以内的文件称为小文件,百万级数量及以上称为海量小文件,LOSF(lots of samll file)。

![](https://p1-tt-ipv6.byteimg.com/large/pgc-image/15b2e2271cbf487c936164b3bba6775a)

小文件传输的难点

海量小文件的传输与大文件传输有很大差异,传输大文件的性能消耗和瓶颈归结是在带宽上,而海量小文件的传输则不一样。由于海量小文件传输需要频繁打开/关闭文件句柄,但是文件打开后需要读取和写入的内容却极少,故海量小文件的传输瓶颈在IO性能上。

海量小文件传输是科技界公认的难题,众多技术人员一直为之努力,以下为镭速传输——企业级大文件传输的头部品牌给出的两个解题思路。

海量小文件传输解决方案突破点

I/O读写优化技术

I/O输入/输出(Input/Output) ,镭速传输利用的是优异的I/O读写优化技术(可靠、可操作、可升级),支持高达5000个/秒的读写能力,针对海量小文件提供高效支持,提供海量文件高速传输支持服务。

高速传输协议

镭速传输拥有自主研发的raysync高速传输协议,突破传统FTP,HTTP的传输缺陷,能将现有传输效率进行高效提升,达到传统数据传输效率100倍以上,确保海量小文件数据高频,极速传输。

前往试用>>

本文来源于:镭速传输www.raysync.cn/news/post-i…