近日,中国信息通信研究院(以下简称“中国信通院”)公布了第十四批大数据产品能力评测结果。大华股份大数据平台,经过评审专家资料审核、测试报告审核、质询与答疑、集中评议的层层专业评测,最终获得中国信通院“可信大数据”评估评测证书,是业界首家通过中国信通院“分布式批处理大规模稳定性”资质认证的产品。
评测过程中,大华大数据平台在7048节点大集群规模下进行测试,单次查询10000亿+条数据,测试覆盖17种常见业务场景,7x24小时持续触发专项异常评测项,业务稳定运行无中断,系统可容忍CPU、磁盘、内存、网络等10大类异常情况,在持续异常测试中,业务查询时间抖动<5%, 通过分布式批处理大规模稳定性专项测试,显示出大华大数据平台具备解决大规模分布式系统扩展、性能、容灾等稳定性问题的能力。
同时,大华大数据平台凭借稳定性评估的优异表现,获得中国信通院云计算与大数据研究所的颁发的“稳定性实践先锋”的授牌。
大华大数据平台(HDP)定位于数据智能引擎的统一核心数据底座,基于云原生自主可信,提供包含海量视图数据存储、物联感知数据离线批处理、视频流任务实时分析能力等一站式智慧物联大数据平台能力,广泛应用于城市、交通、教育、能源、金融等行业,赋能千行百业数智化转型。大华大数据平台,在计算和存储的大规模技术能力已具备万台节点规模集群下长周期系统性稳定运行,全流程打通实现yarn on k8s,支持动态资源弹性扩缩,让业务更敏捷,让计算更高效,实现普惠数据价值。其具有如下优势:
拥抱开源,降低使用门槛
基于业界主流开源技术,大华大数据平台经过深度自研,平台全面兼容Hadoop2.X/3.X,并涵盖Hdfs、Yarn、Hbase、Hive、ZooKeeper、Spark等20+个组件,为客户提供高性能、低成本、灵活易用的全栈大数据平台。
融入云原生,优化资源效能
平台基于k8s基本架构,对全局资源进行监控、运维、分析,从而更合理与充分利用集群计算资源。平台全流程打通实现yarn on k8s,支持动态资源扩缩,让资源调度计算更加高效。
异构融合,挖掘数据价值
平台将视频图像分为非结构化数据和结构化数据,采用统一元数据管理,构建逻辑数据湖,在数据不入湖的前提下,实现跨多种数据源的联合查询计算,并支持对接多种计算引擎,打破数据孤岛,进一步挖掘业务价值。基于异构计算框架,贯通数据融合存储统一应用,结合智能计算和数据计算构建业务模型,让数据计算创造价值,辅助业务向纵深发展。
智能计算框架,提升计算性能
平台提供离线,实时、流式等多种计算框架,支持行业大规模节点高复杂业务计算场景闭环,兼顾数据大规模以及实时性,提升数据计算效率,使得数据分析结果可以更高效迅速的展现出来。计算框架深度融合GPU能力调度计算,AI诊断流式/批处理任务业务,提升任务最优资源参数,数据库执行性能全面提升。
多重机制,保障数据安全
管理平台集成kerberos与ranger组件,保障集群环境认证统一及用户权限精细,SQL任务权限管理精细可控,提升数据安全可信可靠。此外,平台从冗余结构、数据备份、故障预警等方面考虑,健全完善多层级容灾系统结构设计,提高数据的持续可用性,保障平台稳定运行。
围绕“Dahua Think# 云联万物 数智未来”战略,大华股份将“以数据为基础,以业务为牵引”,依托自身大数据能力和技术优势,结合千行百业数智解决方案业务沉淀,持续聚焦数据智能能力建设和数据安全隐私保护,积极推动大数据技术与实体经济深度融合,让数据驱动业务创新,赋能千行百业数智化转型。