大数据数据中台开发-大数据数据中台开发文档介绍内容-阿里云

技术架构选型

在数据模型设计之前，您需要首先完成技术架构的选型。本教程中使用阿里云大数据产品MaxCompute配合DataWorks，完成整体的数据建模和研发流程。...DataWorks则包括数据开发、数据质量、数据安全、数据管理等在内的一系列功能。

教程概述

本文为您介绍当需要通过DataV展示海量数据的分析结果时，如何使用DataWorks的数据服务开发数据API，并快速在DataV中调用API，最终将来自MaxCompute的数据成果展示在DataV大屏中，数据开发到数据服务再到数据分析展现一气呵成。注意本案例...

GetFile

该参数与 DataWorks控制台中，EMR Spark Streaming和EMR Streaming SQL数据开发任务，编辑页面右侧导航栏的“配置>时间属性>启动方式“对应。InputParameters Array of InputContextParameter 节点上下文输入参数。该参数与 DataWorks控制...

概述

EMR数据开发于2022年2月21日停止功能更新，2023年9月30日停止全面支持。如果您在2022年2月21日21点前未使用过数据开发功能，推荐您通过EMR Workflow进行...您也可以迁移到大数据开发治理平台DataWorks，详情请参见 EMR数据开发停止更新公告。

EMR数据开发停止更新公告

作为一站式大数据开发治理平台，DataWorks沉淀阿里巴巴十多年大数据建设方法论，为客户完成从入湖、建模、开发、调度、治理、安全等全链路数据湖开发治理能力，帮助客户提升数据的应用效率。迁移流程阿里云DataWorks on EMR团队提供了完善...

DataWorks快速入门指引

DataWorks基于MaxCompute、Hologres、EMR、AnalyticDB、CDP等大数据引擎，为数据仓库、数据湖、湖仓一体等解决方案提供统一的全链路大数据开发治理平台，为了便于新用户快速了解DataWorks的数据开发治理操作全流程，DataWorks为您提供了...

应用示例：数据开发过程触发事件检查

支持的扩展点事件 DataWorks数据开发中，目前支持对以下的扩展点事件进行消息通知，通过扩展程序实现校验并响应。DataStudio-运行文件 DataStudio-提交文件 DataStudio-发布文件 DataStudio-删除文件 DataStudio-提交表 DataStudio-发布表 ...

必读：简单模式和标准模式的区别

附录：不同工作空间模式下，DataWorks模块对应操作的数据源您可以在数据开发>数据源界面下查看数据开发中已绑定的数据源信息。绑定后不同工作空间模式下，DataWorks模块对应操作的数据源如下表所示：DataWorks模块标准模式简单模式 ...

空间数据（邀测中）

数据处理支持倾斜数据处理能力，可以将OSGD格式数据转化为S3M数据，再将处理后的数据添加到数据管理中，以便被用于数仓建设、标签管理等数据中台任务。支持对数据处理任务进行管理。支持查看数据处理任务详情，包括任务的基本信息、处理的...

功能简介

数据处理支持倾斜数据处理能力，可以将OSGB格式数据转化为S3M数据，再将处理后的数据添加到数据管理中，以便被用于数仓建设、标签管理等数据中台任务。支持对数据处理任务进行管理。支持查看数据处理任务详情，包括任务的基本信息、处理的...

客户案例

基于飞天大数据平台产品DataWorks+MaxCompute大大提高了数据业务的开发效率，构建大润发的数据中台体系。新金融行业：某互联网金融公司湖仓一体案例客户架构如下。客户简介公司的第一代数据湖是基于Hadoop+OSS搭建的，同时引入的数据中台...

数据地图概述

说明如果需要在 数据开发 中表管理进行可视化建表操作，请先在数据地图进行元数据采集，可视化建表操作仅支持绑定为引擎类型的数据源。详情请参见表管理。网络连通如果您需要将数据源中的元数据导入数据地图进行统一的元数据管理，...

什么是DataWorks

从2009年起，DataWorks不断沉淀阿里巴巴大数据建设方法论，支撑数据中台建设，同时与数万名政务、央国企、金融、零售、互联网、能源、制造、工业等行业的客户携手，不断提升数据应用效率，助力产业数字化升级。产品架构 DataWorks十多年...

UpdateFile

该参数与 DataWorks控制台中，数据开发任务的“调度配置>时间属性>出错自动重跑”的”重跑间隔“配置对应。控制台中“重跑间隔”的时间单位为分钟，请在调用时注意转换时间。RerunMode String 否 ALL_ALLOWED 重跑属性。取值如下：ALL_...

CreateFile

调用CreateFile，在数据开发中创建一个文件。目前不支持调用该接口创建数据集成节点任务。调试您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。请求参数名称 ...

操作指南

您可以在Dataphin工作台进行数据开发、数据治理等操作。功能文档 Dataphin全托管数仓规划概述数据引入概述数据开发概述发布中心概述运维中心概述分析平台概述标签工厂概述资产全景及目录概述数据标准概述资产质量概述资源治理...

概述

数据开发 的核心功能如下：文件夹用于存放并管理数据库中的数据开发节点。详情请参见文件夹。Hologres开发用于周期性调度作业。详情请参见 Hologres开发：周期性调度。一键MaxCompute表结构同步支持使用可视化方式批量创建外部表，加速...

流程管控

DataWorks提供了全链路的数据开发治理能力，为您提供了统一的数据开发治理流程，同时也支持您在DataWorks的默认流程上基于自己的业务需求在关键的流程节点进行流程管控。本文为您介绍DataWorks在数据开发过程中支持的流程管控能力。背景...

基于DLF、RDS或Flink、OSS支持Delta Lake或Hudi存储...

对于不带分区的Hudi格式，您也可使用单表离线同步方案，但无需在DataWorks数据开发模块创建离线同步任务，直接在DLF控制台中创建关系数据库全量入湖类型的任务即可，具体操作可参考 OSS数据进行格式转换入湖。单表离线同步在DataWorks ...

DataWorks交流钉钉群

说明从2009年飞天大数据平台写下第一行代码开始，DataWorks历经10年发展，形成一套成熟的产品功能体系，满足企业数据中台搭建需求。在阿里巴巴内部，每天有数万数据、算法开发工程师正在使用DataWorks。您需要先单击申请链接加入“阿里...

规划工作空间

大型数仓，企业数仓公共层，数据中台。优点工作空间成员与组织架构一致，人员组成最稳定，数据安全性最高。同时计算、存储成本归属清晰。工作空间内业务专一，人员可根据业务动态调整，数据链路清晰，易运维。数据架构清晰，共享便利，...

手动添加数据源

您可以通过数据库备份DBS 的手动添加数据源功能，将不同环境的数据库添加至数据库备份DBS 中，便于后续对数据源进行管理与备份。费用说明添加数据源操作不会产生费用，只有在添加数据源后开启备份才会产生费用。如何开启备份，请参见 ...

清除数据

您可以在控制台清除云原生内存数据库Tair 实例中的所有过期数据或所有数据。操作步骤说明在参数设置中禁用 FLUSHALL 命令不会影响控制台中清除数据功能。访问 Tair实例列表，在上方选择地域，然后单击目标实例ID。在实例信息页面...

产品优势

产品功能全功能涵盖数据传输、开发、生产、治理、安全全领域，每个领域深度覆盖大数据全生命周期，轻松帮助企业应对在搭建数仓、搭建数据中台、数字化转型项目中遇到的难题。支持复杂网络环境、常见数据源的数据同步上云以及实时、历史...

数据开发功能索引

进入数据开发登录 DataWorks控制台，单击左侧导航栏的数据建模与开发>数据开发，在下拉框中选择对应工作空间后单击进入数据开发。进入数据开发后，您可以创建业务流程及不同类型的节点进行相关开发操作，详情请参见创建业务流程及 ...

清除数据

您可以在控制台清除云数据库 Redis 版实例中的所有过期数据或所有数据。操作步骤说明在参数设置中禁用 FLUSHALL 命令不会影响控制台中清除数据功能。访问 Redis实例列表，在上方选择地域，然后单击目标实例ID。在实例信息页面，...

申请、续期和交还表权限

若关闭生产数据安全模式，则您加入目标项目，且您在项目中的角色包含项目资产权限-新建的权限点，即可在开发环境创建表，如何开启生产数据安全模式，请参见安全设置。若开启跨项目安全模式，则仅可在任务所在的项目中创建表，不能跨项目...

将云消息队列 Kafka 版的数据迁移至MaxCompute

本文以 select*from testkafka 为例，具体步骤如下：登录 DataWorks控制台，单击左侧导航栏的数据建模与开发>数据开发，在下拉框中选择对应工作空间后单击进入数据开发。在临时查询面板，右键单击临时查询，选择新建节点>ODPS SQL。...

概览

功能项说明任务编排通过一个或多个任务编排而成的任务组，实现数据归档、数据集成、数仓数据开发、数据挖掘等需求。数据服务将DMS上管控的数据以API的形式快速对外输出。数据可视化提供灵活布局和丰富的自定义样式能力，及大量可视化...

通用参考：切换资源组

登录 DataWorks控制台，切换至目标地域后，单击左侧导航栏的数据建模与开发>数据开发，在下拉框中选择对应工作空间后单击进入数据开发。修改数据集成资源组。离线同步任务单个任务修改在左侧导航栏，单击数据开发，找到目标离线同步...

数据服务

背景信息数据服务提供了数据中台建设过程中的数据服务化能力，面向数据开发者提供覆盖各个加工阶段统一体验的、便捷的数据查询转服务、服务管理、服务运维能力；面向数据资产管理者提供服务的统计分析、服务用量统计分析，实现数据中台...

建立性能基准

MaxCompute性能表现优劣，...记录查询执行时间及预估费用登录 DataWorks控制台，进入 数据开发 页面，创建 ODPS sql 节点。您可以在运行任务时或通过单击图标直接通过图形页面查看预估费用。任务完成运行后，可在运行日志中查看到运行时间。

使用DataWorks（离线与实时）

操作入口与通用操作指导登录 DataWorks控制台，单击左侧导航栏的数据建模与开发>数据开发，在下拉框中选择对应工作空间后单击进入数据开发，可在以下入口导入本地文件至MaxCompute。在数据开发页面的头部菜单栏中。在数据开发页面...

连接方式概述

可以在 OceanBase 控制台中访问使用。ODC 支持连接 OceanBase 数据库的 MySQL 租户和 Oracle 租户，同时为数据库开发者提供了数据库日常开发操作、WebSQL、SQL 诊断、会话管理和数据导入导出等功能。使用 OceanBase 开发者中心连接 ...

MaxCompute函数管理

登录 DataWorks控制台，切换至目标地域后，单击左侧导航栏的数据建模与开发>数据开发，在下拉框中选择对应工作空间后单击进入数据开发。展开左侧导航栏中的 MaxCompute，单击 MaxCompute函数。MaxCompute函数默认按照创建时间倒序排列，...

运维中心入门

进入运维中心登录 DataWorks控制台，单击左侧导航栏的数据建模与开发>运维中心，在下拉框中选择对应工作空间后单击进入运维中心。操作流程阶段一：测试验证调度任务步骤一：查看周期任务配置为避免周期任务调度不符合预期，建议您在...

EMR Studio概述

EMR Studio是E-MapReduce提供的开源大数据开发套件，包含Apache Zeppelin、Jupyter Notebook和Apache Airflow等开源组件。能够无缝关联EMR集群（EMR on ECS和EMR on ACK）的计算引擎提交任务，并提供了交互式开发、任务调度和任务监控等...

功能简介

在数据中台建设过程中，搭建核心处理平台，并根据相关标准要求，将源数据或治理后的数据，按照“全面、高效、统筹”的共享原则，“低延时”、“精准化”地传递给用户，方便更多应用消费数据，实现数据价值。协同管控各种组织机构，为智慧化...

导入

进入导入页面登录 DataWorks控制台，单击左侧导航栏的数据建模与开发>数据建模，在下拉框中选择对应工作空间后单击进入数据建模。在智能数据建模页面的顶部菜单栏，单击通用工具，进入导入页面。在该页面，您可新建导入任务，也可对...

大数据数据中台开发

新品推荐