忆联携手南大通用提供数据密集型存储新范式

16 0 2023-12-20

  双十二的结束,意味着2023年的所有大促已落下帷幕。双十一全网11386亿元的销售额背后是消费的狂欢,更是一场场数据洪峰,单天猫平台在双十一期间累计访问用户数就已超8亿,数据访问的压力不言而喻。

  面对瞬时流量高并发、海量数据查询等应用场景,固态硬盘凭借其高吞吐量、低时延等特征逐渐成为大数据时代下数据存储的重要载体,是当前本地部署的数据仓库产品重要搭载硬件,可满足电商大促场景下大规模数据的存储和查询需求。

  为更好应对含电商在内的数据密集型行业对高性能、高可靠存储的要求,忆联特联合国内大数据仓储的佼佼者——南大通用(下称:GBase)共同探索大数据时代下数字化转型存储新方案。

  双十二的结束,意味着2023年的所有大促已落下帷幕。双十一全网11386亿元的销售额背后是消费的狂欢,更是一场场数据洪峰,单天猫平台在双十一期间累计访问用户数就已超8亿,数据访问的压力不言而喻。

  面对瞬时流量高并发、海量数据查询等应用场景,固态硬盘凭借其高吞吐量、低时延等特征逐渐成为大数据时代下数据存储的重要载体,是当前本地部署的数据仓库产品重要搭载硬件,可满足电商大促场景下大规模数据的存储和查询需求。

  为更好应对含电商在内的数据密集型行业对高性能、高可靠存储的要求,忆联特联合国内大数据仓储的佼佼者——南大通用(下称:GBase)共同探索大数据时代下数字化转型存储新方案。

  一、GBase 8a MPP Cluster简介南大通用大规模分布式并行数据库集群系统(简称GBase 8a MPP Cluster),是在GBase 8a系列存储数据库基础上开发的一款 Shared Nothing 架构的分布式并行数据库集群,具备高性能、高可用、高扩展等特性,可为各种规模数据管理提供高性价比的通用计算平台,广泛用于支撑各类数据仓库系统、BI系统和决策支持系统。

忆联携手南大通用提供数据密集型存储新范式

  GBase 8a MPP Cluster采用 MPP+Shared Nothing的分布式联邦架构,节点间通过 TCP/IP网络进行通信,每个节点采用本地磁盘来存储数据。GBase 8a MPP Cluster系统中的每一个节点都是相对独立的、自给的,整个系统具有非常强的扩展性,可从几个节点扩展到上百节点,满足业务规模增长的要求。

  3、验证结果本次在 GBase 8a MPP场景下验证结果 如下:忆联SAS SSD在Raid逻辑卷带宽性能测试下的表现

  在本次测试中,将6个SAS SSD配置Raid5,12块SATA配置Raid50,在Server主机使用FIO测试工具进行128KB顺序读写带宽性能压测。从图3结果表现可知,SAS SSD读写带宽更优,读带宽比SATA有19.6% 左右提升,写带宽提升34% 左右,展现了SAS SSD在Raid逻辑卷带宽下的绝对优势,可为高并发的业务场景提供稳定、顺畅的数据服务体验。

  单盘降级读性能是指RAID组在单盘故障或拔出情况下的RAID组逻辑卷读业务性能,重构性能是指单盘故障后,RAID同时进行热备盘数据重构和业务下发时的业务侧性能。本次通过将6块忆联SAS SSD配置Raid5后,在一块SSD故障条件下进行测试。

  如图4所示,不管是在单盘降级读性能还是在重构读带宽条件下,SAS盘的表现都优于SATA,单盘降级读性能优于SATA 22.7% 左右,重构读带宽性能上比SATA最大有38.4% 左右的提升,满足在各种复杂场景下业务不中断、数据不丢失的超高可用性要求。

  TPC-DS测试是通过FTP协议加载数据到GBase数据库表。从图5可见,在相同物理硬件环境下,SAS SSD不管是在数据导入还是在SQL用例执行时间上所用时间都略低于SATA SSD,具备一定时间优势,通过降低系统延迟,提供更快的数据访问速度来提升用户体验。

  TPC-H测试是通过FTP协议加载数据到GBase数据库表。图6展现了SAS SSD以及SATA SSD在TPC-H测试下的表现,其中SAS SSD总用时略优于SATA SSD ,数据导入时间优于SATA约6% ,对SQL用例执行时间上相比SATA SSD降低了3% 左右,可为业务系统提供快速、可靠的决策支持服务。

  总结:本次验证充分体现了忆联SAS SSD 在GBase 8a MPP场景下的性能优势,可有效支持业务高效开展,具备单盘带宽更高,盘故障重构、降级性能更优等特点,不仅可以帮助企业节约硬件采购成本,也可帮助互联网数据中心、运营商解决海量数据下的大数据存储和计算问题,高效处理海量结构化数据。

  忆联深耕固态硬盘领域多年,已发布多款高性能、高可靠产品,具备应对复杂的业务环境和数据库挑战的能力,可满足行业用户海量数据处理需求。未来,忆联将持续联合GBase共同打造数字化转型背景下的存储新方案。