浅谈数据架构

这一期我们聊数据架构

数据架构定义了用来支持业务的各种数据，以及他们之间的关系。重点考虑“数据需求”，关注持久数据的组织，数据架构设计以数据为核心，梳理整个业务处理流程。

为应用架构设计提供数据框架支撑，为应用数据资源采集、存储、处理和交换提供建设性依据。

数据架构设计一般包含五方面：

需求：依据不同领域的业务需求，识别生产库、历史库、BI库对应的数据类型，然后做跨部门跨业务的分析，识别主数据对应的数据类型，最后扩大到大数据的应用，识别类型广泛的非结构化数据、半结构化数据。（如文本、日志、邮件、图片、音频、视频等等）

通过业务需求分析，找出所有的业务实体，抽取出满足用户场景的实体对象及他们之间的关系。

设计：包含静态与动态设计，静态指逻辑数据模型、物理存储与分布；动态指数据传递与使用路径、数据和数据源头之间的关系、数据交换格式。

管理：统一规范对数据命名、类型、长度、业务含义、归属部门统一要求

不同的颗粒度业务定义能驱动不同的数据建模。

每行代表业务主题/业务功能域，每列代表数据域。

业务域包含一组业务功能，每个业务功能由业务流程来实现和支撑，由业务流程识别出相关数据实体。

业务流程驱动数据建模是否成功，依赖把主干流程+分支流程要想的全面，否则会有遗漏。

业务流程围绕业务，功能阐述的是业务能力和系统能力，功能特性提供了更多的信息量，功能特性可以用于细化数据实体、属性、关系。

数据模型确定下来后，最重要的一步就是明确业务规则，通过明确规则验证数据模型是否已经覆盖，如果在数据建模时未经过业务规则验证研发后期就会不停的改模型和程序。

如果业务中的规则为，商品类目深度， 不做限制，可以允许多级同时一个商品可以同时属于多个父类目，那么依据这两个规则，调整上述数据模型如下：

数据模型就是不断思考验证，不断细化的过程，在大量业务驱动下，数据模型会越来越细，越来越贴近业务。

数据架构与应用架构相互呼应，在应用架构的基础上考虑结构化数据、非结构化数据存储方式和存储位置。先将生产数据与历史数据分离，再将结构化数据与非结构化数据分离，将音频文件单独保存，在接线记录数据库表里保存地址。采用关系型数据库进行结构化数据存储。