人大金仓KINGBASE分布式数据库助力“数据大脑”建设

来源：钥城网

　　随着城市建设的快速发展，市政务服务中心已成为政府对外形象的最佳窗口。打造服务型政府，为市民提供精准、高效的服务离不开大数据、人工智能等先进技术的支撑。在某市政务服务数据管理局统筹“数据大脑”建设中，金仓分析型数据库系统KingbaseAnalyticsDB通过提供高价值密度的结构化数据存储及分析，为平台日常运行提供了关键决策依据。

项目整体架构图

　　注： “一湖四平台”：数据湖、大数据基础平台、大数据汇聚平台、大数据治理平台、大数据服务平台

　　该市“数据大脑”共汇集政务数据资源目录6000+个，政务数据总量千亿条，在“数据大脑”的支撑下，该市完成了一站式综合服务平台的打造，以及“一窗通办”政务服务的实现。KADB作为“数据大脑”大数据基础支撑平台中的重要角色，通过20个节点集群部署，提供多节点并行计算，快速响应各种查询、统计分析、机器学习、行列混存、高压缩比算法等手段，在当前数据容量100+TB的情况下，为数据大脑提供了精准的决策依据。

　　此外，相对于传统关系型数据解决方案，金仓分析型数据库系统KADB具备如下优势：

　　无共享MPP架构，横向扩展能力：提供与远高于ORACLE等传统数据库的计算能力，数据分布在所有的并行节点上，每个节点只处理其中一部分数据，所有的节点同时进行并行处理，同时由于所有节点之间完全无共享，无I/O冲突，所以可以做到最优化的I/O处理。随着数据量及计算需求的不断增加，可横向扩展节点满足算力需求，查询性能具备随横向扩展准线性提升能力

　　优秀的空间数据/遥感数据管理分析能力：集群对空间数据的管理及分析，为城市空间数据及行业业务数据的统一管理及分析提供支撑，如：市域管理中直观分析热点区域、区域内统计分析、基于地理位置的服务等提供良好的支持

　　行列混合存储提升海量数据的分析效率：可定义的行列混合存储，将活跃的交互数据保存在行存分区表中，而非活跃的仓库数据保存在列存分区表中，空间的使用和性能的优化都能达到需求。支持多种压缩方式，列存储支持对不同列指定不同的压缩方式和压缩等级，支持zlib、quicklz、zstd、RLE等高效率压缩算法，压缩比可达1:20；支持用户选择最适合数据的存储方式获得最佳存储效率。满足业务系统海量数据下的秒级、毫秒级查询响应，相较于传统行存，可实现数量级级别的性能提升

　　高可靠性、高可用：集群部署副本冗余机制，每个节点上的数据都会有一份冗余，在解析主节点日志后通过基于日志的数据同步方式，保证主控节点和数据节点主备之间的数据一致。如果相关主节点出现故障，备节自动接替主节点继续提供服务，无需人工干预

　　内置AI，支持机器学习：集群机器学习算法库，将复杂的AI分析内置在数据库中，系统通过SQL可实现诸如聚类、线性回归等分析能力，简化了机器学习的难度，同时为数据大脑提供图计算、机器学习、数据处理、统计分析、模型评估的常用算法；系统中调用了数据库自带的挖掘算法创建自定义函数用于实现库内并行分析，这些算法包括了t-统计量、p-值、朴素贝叶斯等。

　　除产品能力“硬核”之外，KADB团队始终秉承以客户为中心的服务理念，对客户需求的即时响应，得到了客户的充分认可。在国产化浪潮下，KADB产品广泛应用于政务、能源、军工、金融、公安、卫生等关键领域，产品及服务能力得到了充分的证明。未来，人大金仓将持续打磨产品能力，优化服务质量，为更多客户客户决策提供精准的依据。