数据集成治理套件

      使用特定工具和实践，企业实施这些方法以产生有价值的见解。企业利用数据的最常见方式之一是商业智能(BI)，这是一组将原始数据转换为可操作信息的实践和技术。这些数据可用于各种目的：进行分析或创建机器学习模型。但它不能以其原始格式使用。任何处理数据处理的系统都需要从存储中移动信息并在此过程中将其转换以供人或机器使用。此过程称为Extract, Transform, Load, or ETL。

      ETL 开发分为三个主要阶段：

• Extract：企业将历史信息或实时数据流式传输到许多系统中。这些信息分散在不同的软件中，并以各种格式构建。提取阶段需要定义所需的数据源，无论是 ERP、CRM 还是第三方系统，并从中收集数据。

• Transform：当从其来源收集数据时，它通常被放置在一个名为Staging Area的临时存储中。放置在该区域中时，数据会根据定义的标准和模型进行格式化。例如，不同格式的财务数字 $34.50、0.90 美分、01,65 将更改为单一的连贯格式：$34.50、$0.90、$1.65。

• Load：ETL 过程的最后阶段是将结构化和格式化的数据加载到数据库中。如果数据量很小，可以使用任何类型的数据库。BI、大数据处理和机器学习中使用的一种特定类型的数据库称为数据仓库。

仓库的结构不同于通常的数据库：它可能包含多种工具来表示来自多个维度的数据，并使其可供每个用户访问。数据表示 工具连接到仓库，以便用户可以将其拖出并进行操作。表示工具是通过交互式仪表板和报告工具提供分析数据的实际 BI 工具。

      通常，ETL 开发人员是数据工程团队的一员——负责数据提取、处理、存储和维护相应基础架构的酷孩子。数据工程团队的主要任务是获取原始数据，决定它应该如何被消费，使其成为消费，然后存储在某个地方。

      团队的名单取决于项目的范围、目标、数据处理的步骤和所需的技术。因此，数据工程团队可能包括以下角色：

• 数据架构师：可以是数据科学或数据工程团队的一员。数据架构师的职责是规划数据工程师将开发的基础设施。

• 数据工程师：这是一种特定类型的软件工程师，他们开发接口和生态系统以获取信息。

• 数据分析师：该团队成员负责定义数据收集方法、数据模型、类型并概述转换过程。

• 数据库/仓库开发人员：数据作为任何其他信息必须存储在某个地方。它可以是普通的 SQL 数据库，也可以是特殊类型的存储数据仓库。数据库/仓库开发人员负责数据存储的建模、开发和维护。

• DBA 或数据库管理员：如果有多个数据库，或者一个数据库/仓库的结构，像火箭科学一样复杂，这是一个负责数据库管理的人。

• 数据科学家：处理机器学习的项目还包括数据科学专家，甚至是专门的部门。

• 商业智能开发人员：这是一位专注于开发 BI 接口的软件工程师。

• ETL 开发人员：通过开发/管理相应的基础设施来涵盖数据处理的提取、转换和加载阶段。ETL 开发人员的职责是什么？

      就 BI 项目而言，ETL 开发人员是主要的工程角色之一。虽然主要职责是负责提取、转换、加载阶段，但 ETL 开发人员执行与数据分析、测试和系统架构相关的任务。为了概述 ETL 开发人员可以执行的所有可能任务，我们将很快介绍所有可能的任务：

      ETL process management

      ETL 开发人员或专门的开发人员团队的主要任务是：

• 设计ETL流程设计

• 系统架构设计

• 需求管理及开发

• ETL工具的实际开发/实施

• 对工具和数据测试

      Data Modeling

      在从源中提取数据之前，ETL 开发人员应定义所需的格式。将在仓库（和用户界面）中表示的数据的最终格式称为数据模型。

通过与业务分析师、数据分析师和数据科学家合作，构建和记录数据模型。ETL 开发人员将使用这些模型来定义转换阶段和执行格式化的底层技术。

      Data Warehouse Architecture

      仓库是用于保存结构化数据的大型存储设施。它通常被分解成更小的元素，如数据集市。数据集市用于为专门的部门提供对具有特定属性的所需数据的访问权限。例如，如果仓库是收集所有信息的大型存储区域，则数据集市是存储主题数据（会计、网站指标等）的较小数据库。

      仓库本身或数据集市连接到最终用户界面，帮助用户访问信息、操作信息、进行查询和形成报告。此外，数据可以在格式化阶段用元数据丰富，这也涉及到整个仓库架构的变化。

      ETL 开发人员负责定义数据仓库架构以及将数据加载到其中的工具。仓储是一个复杂的过程，其开发通常由专门类型的数据库开发人员进行。但是，ETL 开发人员可以拥有构建它所需的所有技能和知识。

      Data Pipeline Development

      每个系统组件独立设计后的最后阶段是数据管道的开发。数据管道是一种技术基础设施，它将作为单个系统自动执行以下操作：

      Data extraction from a given sources.只要信息存储在各种系统中，ETL 工具就应该与每个系统集成。

      Data uploading into a staging area.暂存区是格式化发生的地方。在某些情况下，可以在仓库中完成，但大多数情况下使用单独的数据库来加快流程并保持仓库清洁。

      Data formatting. 当数据传输到暂存区时，它会被格式化以满足定义的标准。这可能包括以下操作：

• 数据清洗，删除无用数据字段的过程

• 数据结构/映射，定义数据类型的过程以及它们之间的连接

• 添加元数据以丰富详细信息

      Loading structured data into the warehouse. 数据可以按部分加载或不断更新。动态信息可能需要查询方法来从数据源请求更新的数据。如果不需要更新，则按部分加载数据。

      ETL testing

      在开发过程中，ETL 开发人员负责测试系统、单元、数据模型和仓库架构。除了常规的 QA 活动外，ETL 测试还需要检查以下方面：

• Data model testing

• Data warehouse architecture testing

• Representation tools check

• Data flow validation

• Uploading/downloading/querying speed testing

• System performance tests