大数据中台战略开发-大数据中台战略开发文档介绍内容-阿里云

技术架构选型

在数据模型设计之前，您需要首先完成技术架构的选型。本教程中使用阿里云大数据产品MaxCompute配合DataWorks，完成整体的数据建模和研发流程。...DataWorks则包括数据开发、数据质量、数据安全、数据管理等在内的一系列功能。

GetFile

该参数与 DataWorks控制台中，EMR Spark Streaming和EMR Streaming SQL数据开发任务，编辑页面右侧导航栏的“配置>时间属性>启动方式“对应。InputParameters Array of InputContextParameter 节点上下文输入参数。该参数与 DataWorks控制...

GetIDEEventDetail

该参数与 DataWorks控制台中，数据开发任务的“调度配置>调度依赖”配置为“上一周期”后，依赖项选择”其他节点“时配置的内容对应。ResourceGroupId Long 375827434852437 文件发布成任务后，任务执行时使用的资源组。您可以调用 ...

客户案例

基于飞天大数据平台产品DataWorks+MaxCompute大大提高了数据业务的开发效率，构建大润发的数据中台体系。新金融行业：某互联网金融公司湖仓一体案例客户架构如下。客户简介公司的第一代数据湖是基于Hadoop+OSS搭建的，同时引入的数据中台...

概述

EMR数据开发于2022年2月21日停止功能更新，2023年9月30日停止全面支持。如果您在2022年2月21日21点前未使用过数据开发功能，推荐您通过EMR Workflow进行...您也可以迁移到大数据开发治理平台DataWorks，详情请参见 EMR数据开发停止更新公告。

DataWorks快速入门指引

DataWorks基于MaxCompute、Hologres、EMR、AnalyticDB、CDP等大数据引擎，为数据仓库、数据湖、湖仓一体等解决方案提供统一的全链路大数据开发治理平台，为了便于新用户快速了解DataWorks的数据开发治理操作全流程，DataWorks为您提供了...

必读：简单模式和标准模式的区别

附录：不同工作空间模式下，DataWorks模块对应操作的数据源您可以在数据开发>数据源界面下查看数据开发中已绑定的数据源信息。绑定后不同工作空间模式下，DataWorks模块对应操作的数据源如下表所示：DataWorks模块标准模式简单模式 ...

EMR数据开发停止更新公告

作为一站式大数据开发治理平台，DataWorks沉淀阿里巴巴十多年大数据建设方法论，为客户完成从入湖、建模、开发、调度、治理、安全等全链路数据湖开发治理能力，帮助客户提升数据的应用效率。迁移流程阿里云DataWorks on EMR团队提供了完善...

应用示例：数据开发过程触发事件检查

支持的扩展点事件 DataWorks数据开发中，目前支持对以下的扩展点事件进行消息通知，通过扩展程序实现校验并响应。DataStudio-运行文件 DataStudio-提交文件 DataStudio-发布文件 DataStudio-删除文件 DataStudio-提交表 DataStudio-发布表 ...

什么是DataWorks

从2009年起，DataWorks不断沉淀阿里巴巴大数据建设方法论，支撑数据中台建设，同时与数万名政务、央国企、金融、零售、互联网、能源、制造、工业等行业的客户携手，不断提升数据应用效率，助力产业数字化升级。产品架构 DataWorks十多年...

数据地图概述

说明如果需要在 数据开发 中表管理进行可视化建表操作，请先在数据地图进行元数据采集，可视化建表操作仅支持绑定为引擎类型的数据源。详情请参见表管理。网络连通如果您需要将数据源中的元数据导入数据地图进行统一的元数据管理，...

UpdateFile

该参数与 DataWorks控制台中，数据开发任务的“调度配置>时间属性>出错自动重跑”的”重跑间隔“配置对应。控制台中“重跑间隔”的时间单位为分钟，请在调用时注意转换时间。RerunMode String 否 ALL_ALLOWED 重跑属性。取值如下：ALL_...

CreateFile

调用CreateFile，在数据开发中创建一个文件。目前不支持调用该接口创建数据集成节点任务。调试您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。请求参数名称 ...

用户价值

用户角色功能能力详述数据生产方数据开发设计数据模型 开发数据加工逻辑设计标准、稳定的数据模型：通过数据标准和数据建模，设计标准化数据模型，提高数据模型的稳定性，减少重复开发工作。高效完成数据加工与运维：通过数据同步、...

通过OpenAPI创建、修改、删除离线同步任务

该参数与 DataWorks控制台中，数据开发任务的“调度配置>调度依赖”中的“从代码解析输入输出”对应。SchedulerType String 否 NORMAL 调度的类型，取值如下：NORMAL：正常调度任务。MANUAL：手动任务，不会被日常调度，对应手动业务流程...

通过OpenAPI创建、修改、删除离线同步任务

该参数与 DataWorks控制台中，EMR Spark Streaming和EMR Streaming SQL数据开发任务，编辑页面右侧导航栏的“配置>时间属性>启动方式“对应。InputParameters String 否[{"ValueSource":"project_001.first_node:bizdate_param",...

DataWorks交流钉钉群

说明从2009年飞天大数据平台写下第一行代码开始，DataWorks历经10年发展，形成一套成熟的产品功能体系，满足企业数据中台搭建需求。在阿里巴巴内部，每天有数万数据、算法开发工程师正在使用DataWorks。您需要先单击申请链接加入“阿里...

产品优势

产品功能全功能涵盖数据传输、开发、生产、治理、安全全领域，每个领域深度覆盖大数据全生命周期，轻松帮助企业应对在搭建数仓、搭建数据中台、数字化转型项目中遇到的难题。支持复杂网络环境、常见数据源的数据同步上云以及实时、历史...

规划工作空间

大型数仓，企业数仓公共层，数据中台。优点工作空间成员与组织架构一致，人员组成最稳定，数据安全性最高。同时计算、存储成本归属清晰。工作空间内业务专一，人员可根据业务动态调整，数据链路清晰，易运维。数据架构清晰，共享便利，...

操作指南

您可以在Dataphin工作台进行数据开发、数据治理等操作。功能文档 Dataphin全托管数仓规划概述数据引入概述数据开发概述发布中心概述运维中心概述分析平台概述标签工厂概述资产全景及目录概述数据标准概述资产质量概述资源治理...

搭建茶园监控应用概述

设计思路先在业务逻辑开发工作台，创建三个服务，分别是：一个设备触发服务：用于获取温度探测器上报的温度数据，并存储到云数据库RDS版MySQL数据表中。一个定时触发服务：用于每个整点统计前一小时的最高温度数据，并存储到另一个云数据...

基于DLF、RDS或Flink、OSS支持Delta Lake或Hudi存储...

对于不带分区的Hudi格式，您也可使用单表离线同步方案，但无需在DataWorks数据开发模块创建离线同步任务，直接在DLF控制台中创建关系数据库全量入湖类型的任务即可，具体操作可参考 OSS数据进行格式转换入湖。单表离线同步在DataWorks ...

概述

数据开发 的核心功能如下：文件夹用于存放并管理数据库中的数据开发节点。详情请参见文件夹。Hologres开发用于周期性调度作业。详情请参见 Hologres开发：周期性调度。一键MaxCompute表结构同步支持使用可视化方式批量创建外部表，加速...

受众与核心能力

同时，DataWorks持续打造符合企业级数仓、数据中台构建要求的功能模块，为企业业务的数字化转型提供支持。产品受众从事数据开发、算法开发等岗位的技术人员从事销售运营、商业智能分析等岗位的业务人员从事数据安全与合规工作的管理人员...

查看运维大屏

进入运维大屏登录 DataWorks控制台，单击左侧导航栏的数据建模与开发>运维中心，在下拉框中选择对应工作空间后单击进入运维中心。查看运维概览运维概览页面通过整体运维稳定性、异常运维问题、周期实例及周期任务运行、资源组使用、...

数据服务

背景信息数据服务提供了数据中台建设过程中的数据服务化能力，面向数据开发者提供覆盖各个加工阶段统一体验的、便捷的数据查询转服务、服务管理、服务运维能力；面向数据资产管理者提供服务的统计分析、服务用量统计分析，实现数据中台...

数据开发功能索引

进入数据开发登录 DataWorks控制台，单击左侧导航栏的数据建模与开发>数据开发，在下拉框中选择对应工作空间后单击进入数据开发。进入数据开发后，您可以创建业务流程及不同类型的节点进行相关开发操作，详情请参见创建业务流程及 ...

将云消息队列 Kafka 版的数据迁移至MaxCompute

本文以 select*from testkafka 为例，具体步骤如下：登录 DataWorks控制台，单击左侧导航栏的数据建模与开发>数据开发，在下拉框中选择对应工作空间后单击进入数据开发。在临时查询面板，右键单击临时查询，选择新建节点>ODPS SQL。...

使用DataWorks（离线与实时）

操作入口与通用操作指导登录 DataWorks控制台，单击左侧导航栏的数据建模与开发>数据开发，在下拉框中选择对应工作空间后单击进入数据开发，可在以下入口导入本地文件至MaxCompute。在数据开发页面的头部菜单栏中。在数据开发页面...

接口

重要只有关联到项目的数据服务资产，才能在项目内的应用和业务逻辑开发中访问和使用。关联数据资产的具体操作，请参见数据资产。数据服务接口的每秒请求数（QPS）最大限制为1。更多信息，请参见 API调用相关限制。自定义接口：调用开发者...

功能简介

在数据中台建设过程中，搭建核心处理平台，并根据相关标准要求，将源数据或治理后的数据，按照“全面、高效、统筹”的共享原则，“低延时”、“精准化”地传递给用户，方便更多应用消费数据，实现数据价值。协同管控各种组织机构，为智慧化...

建立性能基准

MaxCompute性能表现优劣，...记录查询执行时间及预估费用登录 DataWorks控制台，进入 数据开发 页面，创建 ODPS sql 节点。您可以在运行任务时或通过单击图标直接通过图形页面查看预估费用。任务完成运行后，可在运行日志中查看到运行时间。

导入

进入导入页面登录 DataWorks控制台，单击左侧导航栏的数据建模与开发>数据建模，在下拉框中选择对应工作空间后单击进入数据建模。在智能数据建模页面的顶部菜单栏，单击通用工具，进入导入页面。在该页面，您可新建导入任务，也可对...

运维中心入门

进入运维中心登录 DataWorks控制台，单击左侧导航栏的数据建模与开发>运维中心，在下拉框中选择对应工作空间后单击进入运维中心。操作流程阶段一：测试验证调度任务步骤一：查看周期任务配置为避免周期任务调度不符合预期，建议您在...

概览

功能项说明任务编排通过一个或多个任务编排而成的任务组，实现数据归档、数据集成、数仓数据开发、数据挖掘等需求。数据服务将DMS上管控的数据以API的形式快速对外输出。数据可视化提供灵活布局和丰富的自定义样式能力，及大量可视化...

统一服务

在数据中台建设过程中，搭建核心处理平台，并根据相关标准要求，将源数据或治理后的数据，按照“全面、高效、统筹”的共享原则，“低延时”、“精准化”的传递给用户，方便更多应用消费数据，实现数据价值。协同管控各种组织机构，为智慧化...

功能简介

面向数据资产管理者提供服务的统计分析、服务用量统计分析、热门数据统计分析能力，实现数据中台建设后半场“数据应用”的有效落地，支撑数据智能应用的高效开发。通用资源提供了自定义函数和函数资源的能力，帮助用户在数据开发等过程中...

功能简介

在数据中台建设过程中，搭建核心处理平台，并根据相关标准要求，将源数据或治理后的数据，按照“全面、高效、统筹”的共享原则，“低延时”、“精准化”地传递给用户，方便更多应用消费数据，实现数据价值。协同管控各种组织机构，为智慧化...

EMR Studio概述

EMR Studio是E-MapReduce提供的开源大数据开发套件，包含Apache Zeppelin、Jupyter Notebook和Apache Airflow等开源组件。能够无缝关联EMR集群（EMR on ECS和EMR on ACK）的计算引擎提交任务，并提供了交互式开发、任务调度和任务监控等...

大数据中台战略开发

新品推荐