UpdateFile
该参数与 DataWorks控制台 中，数据开发任务的“调度配置>时间属性>出错自动重跑”的”重跑间隔“配置对应。控制台中“重跑间隔”的时间单位为分钟，请在调用时注意转换时间。RerunMode String 否 ALL_ALLOWED 重跑属性。取值如下：ALL_...
GetFile
该参数与 DataWorks控制台 中，数据开发任务的“调度配置>时间属性>出错自动重跑”的”重跑间隔“配置对应。控制台中“重跑间隔”的时间单位为分钟，请在调用时注意转换时间。CronExpress String 00 05 00*?文件定时调度的cron表达式。...
CreateFile
调用CreateFile，在数据开发中创建一个文件。目前不支持调用该接口创建数据集成节点任务。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。请求参数 名称 ...
通过OpenAPI创建、修改、删除离线同步任务
该参数与 DataWorks控制台 中，数据开发任务的“调度配置>时间属性>出错自动重跑”的“重跑间隔”配置对应。控制台中“重跑间隔”的时间单位为分钟，请在调用时注意转换时间。RerunMode String 否 ALL_ALLOWED 重跑属性。取值如下：ALL_...
通过OpenAPI创建、修改、删除离线同步任务
该参数与 DataWorks控制台 中，数据开发任务的“调度配置>时间属性>出错自动重跑”的”重跑间隔“配置对应。控制台中“重跑间隔”的时间单位为分钟，请在调用时注意转换时间。RerunMode String 否 ALL_ALLOWED 重跑属性。取值如下：ALL_...
应用示例：数据开发过程触发事件检查
支持的扩展点事件 DataWorks数据开发中，目前支持对以下的扩展点事件进行消息通知，通过扩展程序实现校验并响应。DataStudio-运行文件 DataStudio-提交文件 DataStudio-发布文件 DataStudio-删除文件 DataStudio-提交表 DataStudio-发布表 ...
ListFiles
该参数与 DataWorks控制台 中，数据开发任务的“调度配置>调度依赖”选择“同周期”时的“代码解析”对应。Owner String 3872572*文件责任人的阿里云用户ID。CreateTime Long 1593950832000 文件创建时间的毫秒时间戳。FileType Integer 10...
数据地图概述
说明 如果需要在 数据开发 中 表管理 进行可视化建表操作，请先在数据地图进行元数据采集，可视化建表操作仅支持绑定为引擎类型的数据源。详情请参见 表管理。网络连通 如果您需要将数据源中的元数据导入数据地图进行统一的元数据管理，...
开发ODPS Spark任务
说明 由于数据开发中的ODPS Spark节点没有运行入口，因此您需要在开发环境的运维中心执行Spark任务。查看返回结果。待补数据实例运行成功后，进入其运行日志的 tracking URL 中查看运行结果，如下：False True True True True 编辑代码：...
DataWorks HoloStudio下线公告
尊敬的DataWorks用户：为给您提供一致...如您仍未手动迁移文件，平台将按照 默认迁移逻辑，将HoloStudio中的开发成果自动迁移至数据开发（DataStudio）。联系我们 如您存在相关疑问，请扫码加入DataWorks公共服务钉钉群进行反馈，二维码如下：
客户案例
基于飞天大数据平台产品DataWorks+MaxCompute大大提高了数据业务的开发效率，构建大润发的数据中台体系。新金融行业：某互联网金融公司湖仓一体案例 客户架构如下。客户简介 公司的第一代数据湖是基于Hadoop+OSS搭建的，同时引入的数据中台...
GetIDEEventDetail
该参数与 DataWorks控制台 中，数据开发任务的“调度配置>调度依赖”配置为“上一周期”后，依赖项选择”其他节点“时配置的内容对应。ResourceGroupId Long 375827434852437 文件发布成任务后，任务执行时使用的资源组。您可以调用 ...
操作指南
您可以在Dataphin工作台进行数据开发、数据治理等操作。功能 文档 Dataphin全托管 数仓规划概述 数据引入概述 数据开发概述 发布中心概述 运维中心概述 分析平台概述 标签工厂概述 资产全景及目录概述 数据标准概述 资产质量概述 资源治理...
个人设置
进入个人设置 登录 DataWorks控制台，单击左侧导航栏的 数据建模与开发>数据开发，在下拉框中选择对应工作空间后单击 进入数据开发。在DataStudio界面左侧导航栏底部单击 图标，进入 设置>个人设置 页面。在该页面，您可进行如下操作：设置...
什么是自动驾驶开发平台
阿里云自动驾驶开发平台包含自动驾驶研发过程中需要数据管理、仿真、车云协同采集相关能力与产品。帮助客户在云上充分利用阿里云的存储计算能力，实现自动驾驶研发过程中全链路降本提效。功能特性 当前已在公测的部分为数据管理相关功能。...
快速体验
DataWorks为您提供智能建模、数据清洗、周期调度运维、数据治理等一站式大数据开发管理能力，本文以一个零售电商行业的数仓搭建实验为例，为您介绍DataWorks在数仓搭建过程中的技术选型、技术流程以及流程实现，帮助您深入了解阿里云...
概述
数据开发 的核心功能如下：文件夹 用于存放并管理数据库中的数据开发节点。详情请参见 文件夹。Hologres开发 用于周期性调度作业。详情请参见 Hologres开发：周期性调度。一键MaxCompute表结构同步 支持使用可视化方式批量创建外部表，加速...
Transaction Table2.0概述
增全量数据存储和处理一体化架构 上图所示即为MaxCompute高效支持上述综合业务场景的全新架构，支持丰富的数据源方便地通过定制开发的接入工具实现增量和离线批量数据导入到统一的存储中，由后台数据管理服务自动优化编排数据存储结构，...
数据服务
背景信息 数据服务提供了数据中台建设过程中的数据服务化能力，面向数据开发者提供覆盖各个加工阶段统一体验的、便捷的数据查询转服务、服务管理、服务运维能力；面向数据资产管理者提供服务的统计分析、服务用量统计分析，实现数据中台...
连接方式概述
可以在 OceanBase 控制台中访问使用。ODC 支持连接 OceanBase 数据库的 MySQL 租户和 Oracle 租户，同时为数据库开发者提供了数据库日常开发操作、WebSQL、SQL 诊断、会话管理和数据导入导出等功能。使用 OceanBase 开发者中心连接 ...
DataWorks On Hologres使用说明
二、数据建模与开发 模块 描述 相关文档 数据建模 数据建模是全链路数据治理的第一步，沉淀阿里巴巴数据中台建模方法论，从数仓规划、数据标准、维度建模、数据指标四个方面，以业务视角对业务的数据进行诠释，让企业内部实现“数同文”的...
技术架构选型
在数据模型设计之前，您需要首先完成技术架构的选型。本教程中使用阿里云大数据产品MaxCompute配合...MaxCompute作为整个大数据开发过程中的离线计算引擎。DataWorks则包括数据开发、数据质量、数据安全、数据管理等在内的一系列功能。
通过脚本模式配置离线同步任务
登录 DataWorks控制台，单击左侧导航栏的 数据建模与开发>数据开发，在下拉框中选择对应工作空间后单击 进入数据开发。开发流程 步骤一：新建离线同步节点 步骤二：配置同步网络链接 步骤三：转脚本模式并导入模板 步骤四：编辑脚本，配置...
通过向导模式配置离线同步任务
登录 DataWorks控制台，单击左侧导航栏的 数据建模与开发>数据开发，在下拉框中选择对应工作空间后单击 进入数据开发。开发流程 步骤一：新建离线同步节点 步骤二：配置同步网络链接 步骤三：配置数据来源与去向 步骤四：配置字段映射关系 ...
DataWorks On CDP/CDH使用说明
二、数据建模与开发 模块 说明 相关文档 数据建模 数据建模是全链路数据治理的第一步，沉淀阿里巴巴数据中台建模方法论，从数仓规划、数据标准、维度建模、数据指标四个方面，以业务视角对业务的数据进行诠释，让企业内部实现“数同文”的...
DataWorks On EMR使用说明
开始使用 一、数据建模与开发 模块 说明 相关文档 数据建模 数据建模是全链路数据治理的第一步，沉淀阿里巴巴数据中台建模方法论，从数仓规划、数据标准、维度建模、数据指标四个方面，以业务视角对业务的数据进行诠释，让企业内部实现“数...
流程管控
DataWorks提供了全链路的数据开发治理能力，为您提供了统一的数据开发治理流程，同时也支持您在DataWorks的默认流程上基于自己的业务需求在关键的流程节点进行流程管控。本文为您介绍DataWorks在数据开发过程中支持的流程管控能力。背景...
使用节点组
登录 DataWorks控制台，单击左侧导航栏的 数据建模与开发>数据开发，在下拉框中选择对应工作空间后单击 进入数据开发。在左侧业务流程目录下，双击目标业务流程，进入该业务流程的编辑面板。新建节点组。生成节点组。您可根据业务需求，...
自动运维
进入自动运维 登录 DataWorks控制台，切换至目标地域后，单击左侧导航栏的 数据建模与开发>运维中心，在下拉框中选择对应工作空间后单击 进入运维中心。在左侧导航栏，选择 智能监控>自动运维，进入自动运维页面。运维规则管理 自动运维...
通用参考：切换资源组
数据开发页面 重要 数据开发中修改的资源组不会同步到生产环境中，您需要通过 发布流程 将任务发布后，才能在生产环境中生效。进入数据开发页面。登录 DataWorks控制台，切换至目标地域后，单击左侧导航栏的 数据建模与开发>数据开发，在...
RDS迁移至MaxCompute实现动态分区
自动创建分区 准备工作完成后，需要将RDS中的数据定时每天同步到MaxCompute中，自动创建按天日期的分区。详细的数据同步任务的操作和配置请参见 DataWorks数据开发和运维。登录 DataWorks控制台。在MaxCompute上创建目标表。在左侧导航栏，...
后台管理
在 数据 页面，全部数据表格 中展示应用开发界面中数据模型的实体列表。单击某个实体名称，在页面右上角单击 添加数据，添加实体数据。在操作列单击 编辑，编辑数据。在操作列单击 删除，删除数据。管理API数据。在 API 页面，API列表 中，...
项目分配与安全
在为企业级大数据平台创建项目时，建议您对ODS层、DWD及DWS层的数据按照业务板块的粒度建立项目，对于ADS层的数据...同时要为在数据开发过程中的资源使用赋权，并做好数据安全隔离。关于MaxCompute数仓安全和权限配置详情，请参见 安全模型。
连接方式概述
ODC 支持连接 OceanBase 数据库的 MySQL 租户和 Oracle 租户，同时为数据库开发者提供了数据库日常开发操作、WebSQL、SQL 诊断、会话管理和数据导入导出等功能。使用 OceanBase 开发者中心连接 OceanBase 租户的具体操作示例请参见 通过 ...
图表管理
在控制台首页顶部菜单栏中，选择 集成与开发（DTS）>数据应用>数据可视化（老）。在左侧图标中选择并单击 图表。在图表管理页，单击 图标。选择目标数据集。单击页面右上角的 保存。修改图表 登录 数据管理DMS 5.0。在控制台首页顶部菜单栏...
开发ODPS SQL任务
在数据开发DataStudio中运行：将合并当前任务代码内所有的关键字（set、use）语句，作为所有SQL的前置语句。在调度环境运行：将按照实际编写顺序执行。假设在节点中定义的代码如下。set a=b;create table name1(id string);set c=d;create ...
权限管理与规范化数据开发
本实践将基于DataWorks标准模式空间完成从“数据建模”到“数据生产”的基本流程，帮助您快速掌握规范化的数据体系建设流程，提升在数据开发过程中的规范性、安全性、稳定性。背景信息 DataWorks采取RBAC权限模型供用户管理DataWorks所有...
功能简介
在数据中台建设过程中，搭建核心处理平台，并根据相关标准要求，将源数据或治理后的数据，按照“全面、高效、统筹”的共享原则，“低延时”、“精准化”地传递给用户，方便更多应用消费数据，实现数据价值。协同管控各种组织机构，为智慧化...
开发前准备：绑定数据源或集群
登录 DataWorks控制台，单击左侧导航栏的 数据建模与开发>数据开发，在下拉框中选择对应工作空间后单击 进入数据开发。在左侧导航栏单击 数据源，进入数据源或集群绑定页面。若左侧导航栏未显示 数据源 模块，则您需 进入个人设置 页面，...
数据脱敏
项目管理员在 ODC 目标项目>敏感数据 中手动添加敏感列；如果通过自动扫描方式添加敏感列，需要先创建识别规则。用户在执行查看表数据、SQL 窗口查询、结果集导出、导出工单、数据库变更工单操作时，包含的敏感列输出为脱敏数据。前提条件 ...
- 产品推荐
- 这些文档可能帮助您