深圳市亿乐科技有限公司
地址:深圳市福田区梅林街道梅丰社区北环路梅林多丽工业区厂房3栋3层3315室
电话:宋先生 13923488935、0755-23912352
乐先生 15920077677
邮箱:595396453@qq.com
摘要
浪潮按照数据读取的热度,将数据分为寒带、温带、亚热带和热带数据,并通过不同速率的存储介质和不同处理速度的CPU的配比,实现数据存储的成本最优,使数据存储更适合上层业务应用。
背景介绍
大数据时代,每天产生的数据量成爆炸式增长,传统的统一存储方式出现了数据存储瓶颈和成本激增。数据分级存储就是为了解决存储瓶颈和降低存储成本,将不同“体温”数据安置到不同的容器中,能够变统一为分级,提升存储的利用效率,降低数据存储成本。基于此,我们将存储设备分为寒带存储、温带存储、亚热带存储和热带存储,以适应不同“体温”的数据。
终端用户和数据的关系就像人与人之间的关系疏密一样,热门的新闻、视频、数据是粉丝居多的热门明星,N月前的邮件、照片就是无人问津的昔日小生。对于不能温度的数据,服务商需要提供的IO响应也是不同的,热门数据自然需要数万甚至数十万的IO来满足,被遗落的数据有几个IO就够了。当前大部分的互联网数据还是统一存储在一个大的存储池,使用的设备也一般为2U存储服务器,这必然会出现需要高IO时无法提供造成客户体验差,且TCO居高不下,如何解决一直是困扰运维工程师的难题。
解决方案介绍
分级存储方案——合久必分
为了更进一步细分数据等级,能够更好分配资源和提高收益,浪潮分级存储方案将互联网客户大数据按照温度分为寒带存储、温带存储、亚热带存储和热带存储。浪潮SA5112M4 NVMe机型最多支持4片NVMe SSD,可以提供100k级别IOPS,满足极热数据的高并发访问需求,完美解决被数据频繁的访问;对于亚热地数据,SATA SSD的性能可以满足,所以浪潮服务器满足单节点最多配置8块SATA SSD,单盘提供10k级别的IOPS响应能力;温带数据相比热数据体量陡然增高,所以相比较需要成本更低的存储方案,浪潮SA5212M4满足12块3.5寸大容量硬盘配置,最大容量高达120TB,满足分布式大容量数据存储;对于沉淀下来的冷数据,自然要使用最低成本、低功耗的方案,才可以降低TCO,由于要求IOPS低,SA5224L4满足36块大容量云盘存储硬盘,最高提供288TB的海量空间,冷存储方案绝佳方案。
数据分级 | 访问频次 | IOPS需求 | 解决方案 |
热带数据 | 实时、大量 | 100K级别 | SA5112M4+NVMe |
亚热带数据 | 几十次/天 | 10K级别 | SA5112M4+SSD |
温带数据 | 几次/周 | 100级别 | SA5212M4+企业级SATA |
寒带数据 | 几次/月 | 10级别 | SA5224L4+云盘 |