谈谈企业如何构建现代数据平台

一 什么是数据平台数据平台是一组集成的技术，它们共同满足组织的端到端数据需求。它支持数据的获取、存储、准备、交付和治理，以及用户和应用程序的安全。

数据平台是释放数据价值的关键。

但数据平台可能是一个复杂的课题。数据平台背后到底是什么 是如何进行设计的 客户数据平台、大数据平台和运营数据平台有什么区别呢 二 数据平台的优势在过去的20年里，IT供应商一直在努力开发和提供解决方案，以解决公司面临的来自业务内部和外部产生的大量数据。云原生数据仓库现在被大规模并行处理。

数据管道可以处理TB级的数据。

存储变得便宜而快速，像Spark这样的数据处理框架可以处理大量数据。NoSQL扩充了关系型数据库，而Graph扩充了SQL等传统语言，而AI/ML应用程序则随处可见。尽管这些单独的技术已经成熟，但大多数企业还无法集成这些工具。

其结果是数据竖井通常无法扩展，包含重复的、经常过时的数据，被锁定在专有解决方案中，并且没有统一的安全层。现代数据平台试图解决这个问题。

它是可互操作、可扩展和可替换技术的组合，共同提供企业的总体数据需求。

三 数据平台vs大数据平台人们经常用不同的名字来称呼数据平台。有时候这些名字的意思是一样的。有时它们指的是它们托管的不同类型的数据以及它们处理的工作负载类型。

更复杂的是，它们的一些用例之间有重叠。企业数据平台提供对企业数据资产的集中访问。通常，EDP存在于本地或混合环境中，由传统数据源组成。例如，一个EDP可以包括OLTP数据库、数据仓库和数据湖。

EDP还包括数据采集、准备和分析报告的工具和流程。现代数据平台是电子数据处理的自然演变。除了电子数据处理之外，它还有更广泛的灵活和防未来的能力。一般来说，现代数据平台的诞生是为了存储和处理不同种类和容量的数据。

例如，它可以在EDP更传统的批处理工作负载之外处理流数据。它可能允许大规模本地处理结构化、半结构化或非结构化数据，开发AI/ML应用程序，并执行像自然语言处理这样的复杂操作。现代数据平台经常使用云技术来实现可负担的成本模型、弹性可伸缩性和灵活的托管服务。然而，重要的是要记住，MDP并不总是完全基于云。

云数据平台是一个笼统的术语，指完全由云计算技术和数据存储构建的数据平台。例如，云数据平台可以包含无限的对象存储、托管关系和NoSQL数据库、MPP数据仓库、Spark集群、Analytics笔记本，以及将它们连接在一起的消息队列和中间件。现代数据平台可以跨越EDP和云数据平台。

例如，企业的EDP可能包括其ERP、供应链管理、CRM和财务数据存储。业务可能决定通过从一个服务中添加更多的服务来增强他们的能力。这些服务可能都来自云数据平台。

一些云计算和数据库供应商已经创建了解决方案，允许客户在托管平台上以多种格式存储和处理大量数据。云数据库是公共云套件的一部分。它们是完全作为服务管理的关系和非关系数据库，包括软件、基础设施、补丁、高可用性、可伸缩性和备份。客户不必担心数据库操作。

数据分析平台、大数据平台或大数据分析平台是专门用于数据分析的数据平台。它是一组服务和特性的集合，使用户能够以任何形式对大量数据运行复杂的查询，然后分析、组合和探索这些查询结果，以创建有意义的可视化。数据分析平台通常将多个大数据工具和实用工具组合在一起，并在幕后处理可伸缩性、可用性、安全性和性能。

通常情况下，数据分析平台是云套件或SaaS解决方案的一部分，并作为数据即服务提供。它的功能远远超出了在结构化数据上运行传统SQL。通常，数据分析平台与企业、现代或客户数据平台的运营数据一起使用。客户数据平台只关注与客户相关的数据。

它汇集了来自CRM、交易系统、社交媒体、电子邮件、网站、数字广告或电子商务商店等多个来源的客户数据。聚合的数据构建了一个完整的用户配置文件，可用于市场营销和其他业务目的，如行为细分。尽管传统的客户关系管理经常谈论提供360度的客户视图，但与客户关系管理不同的是，CDP可以从多个来源聚合已知和匿名的客户数据。

四 现代数据体系结构:数据平台的要素构建现代数据平台需要采用现代数据体系结构，该体系结构指定如何收集、清理、存储、转换、处理数据，并使数据对消费者可用。现代数据体系结构包含以下特点:1用户权限最终用户处于现代数据平台体系结构的中心。用户不再局限于一组预先开发好的数据资产及其来源，而是可以将自己的数据带。