DataWorks OpenAPI概述
2级 数据开发 API名称 API描述 API级别 最低版本要求（本版本及以上版本支持）CreateFile 调用CreateFile，在数据开发中创建一个文件。3级 CreateUdfFile 调用CreateUdfFile，在数据开发中创建函数类型文件。2级 CreateBusiness 调用...
下载建模工具（DDM）
登录 DataWorks控制台，切换至目标地域后，单击左侧导航栏的 数据建模与开发>数据开发，在下拉框中选择对应工作空间后单击 进入数据开发。单击左上方的 图标，选择 全部产品>数据建模>DATABLAU。单击页面右上方的 下载DDM。说明 如果单击...
数据源开发和生产环境隔离
在同步任务执行过程中，可由执行环境控制离线同步任务所访问的数据源对应的数据库地址，以此实现开发环境测试和生产数据产出的数据隔离需求。关于标准模式工作空间的介绍，详情请参见 必读：简单模式和标准模式的区别。标准模式工作空间下...
修饰词
登录 DataWorks控制台，单击左侧导航栏的 数据建模与开发>数据建模，在下拉框中选择对应工作空间后单击 进入数据建模。在 智能数据建模 页面，单击顶部导航栏的 数据指标，在 数据指标 页面的左侧导航栏，单击 修饰词，进入 修饰词 页面。...
创建PolarDB数据源
连接重试次数将默认应用于 离线集成任务 与 全域质量（需开通资产质量功能模块），离线集成任务中支持单独配置任务级别的重试次数 单击 测试连接，测试数据源是否可以和Dataphin进行正常的连通。重要 如果连接测试失败，您可以根据网络连通...
数据服务概述
数据服务（OneService）是基于Dataphin建设数据中台的最后一步。数据服务作为统一的数据服务出口，实现了数据的统一市场化管理，有效地降低数据开放门槛的同时，保障了数据开放的安全。前提条件 已购买 数据服务 增值服务，开通Dataphin ...
迁移Oracle数据至MaxCompute最佳实践
通过DataWorks将数据从Oracle迁移至MaxCompute 登录 DataWorks控制台，单击左侧导航栏的 数据建模与开发>数据开发，在下拉框中选择对应工作空间后单击 进入数据开发。在 数据开发 页面创建目标表，用于接收从Oracle迁移的数据。右键单击已...
批量操作
操作步骤 登录DataWorks控制台，进入 数据开发 页面后，在顶部的快捷操作按钮中单击 批量操作 按钮，即可打开批量操作页面。批量修改。在 批量操作 页面中，您可以在顶部页签中选择对 节点、资源 或者 函数 进行批量处理。您可以在页签中的...
用户价值
数据资源平台为用户提供了一站式数据资产定义、生产、管理与服务平台，提供企业级...自主挖掘数据的业务价值：通过画像分析、业务模型编辑器，从业务视角更直观地探索数据，更高效的从数据中获取业务价值，并不断丰富客户的标签等数据资产。
创建Hologres数据源
说明 通常情况下，生产数据源和开发数据源需配置非同一个数据源，以使开发数据源与生产数据源的环境隔离，降低开发数据源对生产数据源的影响。但Dataphin也支持配置成同一个数据源，即相同参数值。参数 描述 Endpoint Hologres实例的...
配置监控报告模板
新增报告模板 登录 DataWorks控制台，切换至目标地域后，单击左侧导航栏的 数据建模与开发>数据质量，在下拉框中选择对应工作空间后单击 进入数据质量。在左侧导航栏，单击 配置>报告模板管理。单击 新增报告模板。在 新增报告模板 页面，...
建表并上传数据
数据开发中绑定MaxCompute数据源，请在数据开发控制台左侧导航栏单击 数据源，根据提示进行操作。背景信息 表bank_data用于存储业务数据，表result_table用于存储数据分析后产生的结果。创建表bank_data 进入 数据开发 页面。登录 ...
入仓解决方案
入仓解决方案包括：实时同步任务：基于离线数据集成的数据传输服务。新建实时同步任务，请参见 新建实时同步任务。实时迁移任务：基于数据传输服务DTS的数据传输服务。新建实时迁移任务，请参见 新建实时迁移任务。说明 基于DTS的数据同步...
查看历史信息
在数据 开发 页面，单击项目名称后的 图标，选择数据开发的项目空间（Dev 或 Basic 项目）。如果您当前访问的是 Dev 或 Basic 项目，且项目空间为您的数据开发空间，则不需要选择项目空间。在数据 开发 页面，将鼠标悬停在顶部菜单栏的 ...
查看历史信息
在数据 开发 页面，单击项目名称后的 图标，选择数据开发的项目空间（Dev 或 Basic 项目）。如果您当前访问的是 Dev 或 Basic 项目，且项目空间为您的数据开发空间，则不需要选择项目空间。在数据 开发 页面，将鼠标悬停在顶部菜单栏的 ...
mPaaS Android 工程如何在多套开发环境间切换
mPaaS Android 60 基线提供了多套开发环境间切换的能力，能够帮助开发者在多套开发环境间（如：开发 DEV/测试 TEST/体验 UAT/线上 PROD）方便自如地进行切换。涉及 mPaaS 的改动 对于 mPaaS 开发者，在切换开发环境的过程中，涉及到以下...
步骤二：规划数仓
数仓规划是基于Dataphin建设数据中台的第一步，同时也是数据体系的顶层设计中至关重要的一步。在开始数据开发前，需要完成数据仓库的规划，包括定义数据板块、项目、数据源、计算源和统计周期。本文将指导您完成本教程的规划数仓。背景信息...
步骤二：规划数仓
数仓规划是基于Dataphin建设数据中台的第一步，同时也是数据体系的顶层设计中至关重要的一步。在开始数据开发前，需要完成数据仓库的规划，包括定义数据板块、项目、数据源、计算源和统计周期。本文将指导您完成本教程的规划数仓。背景信息...
DataWorks数据服务对接DataV最佳实践
过去，如果您想要通过DataV展示海量数据的分析结果，需要自建一套离线数据计算自动导入MySQL的任务流程，过程繁琐且成本高。现在通过DataWorks为您提供的 数据集成>数据开发>数据服务 的全链路数据研发平台，结合MaxCompute即可快速搭建...
创建AnalyticDB for PostgreSQL数据源
若您要使用DataWorks进行AnalyticDB for PostgreSQL任务的开发、管理，需先将您的AnalyticDB for PostgreSQL实例创建为DataWorks的AnalyticDB for PostgreSQL数据源。创建完成后，可在DataWorks的各功能模块使用该数据源连接AnalyticDB for...
通过函数计算节点实现GitHub实时数据分析与结果发送
DataWorks：在数据集成模块中创建名为“github_events_share”的MySQL数据源，在数据开发模块中创建名为“*_Github十大热门编程语言”的业务流程。案例参数配置 服务器地址 发送端服务器，格式为smtp.*.com，例如：smtp.163.com。说明 以...
JSON数据从OSS迁移至MaxCompute
登录 DataWorks控制台，切换至目标地域后，单击左侧导航栏的 数据建模与开发>数据开发，在下拉框中选择对应工作空间后单击 进入数据开发。在 数据开发 页面，鼠标悬停至 图标，单击 新建表>表。在 新建表 对话框中，选择相应的 路径，输入 ...
创建业务流程
登录 DataWorks控制台，单击左侧导航栏的 数据建模与开发>数据开发，在下拉框中选择对应工作空间后单击 进入数据开发。鼠标悬停至 图标，单击 新建业务流程。在 新建业务流程 对话框中，输入 业务名称 和 描述。单击 新建。创建完成后：您...
基于AnalyticDB构建企业数仓
创建离线同步任务 右键单击新建业务流程下的 数据集成，选择 新建>离线同步。在 新建节点 对话框中，输入 节点名称，单击 提交。设置 数据来源 和 数据去向。选择字段的映射关系。左侧的源头表字段和右侧的目标表字段为一一对应关系。单击 ...
公共节点
公共场景支持计算引擎，提供节点统一定义、版本管理功能，提供在各个数据加工场景中跨存储/计算平台复用的能力，通过节点版本管理，定制适合不用业务或时期的数据加工流程，提高数据开发效率。操作步骤 登录 数据资源平台控制台。在页面...
创建AnalyticDB for MySQL3.0数据源
若您要使用DataWorks进行AnalyticDB for MySQL3.0任务的开发、管理，需先将您的AnalyticDB for MySQL3.0实例创建为DataWorks的AnalyticDB for MySQL3.0数据源。创建完成后，可在DataWorks的各功能模块使用该数据源连接AnalyticDB for MySQL...
独享资源组
切换数据集成任务开发环境测试运行时使用数据集成任务执行资源组：在数据开发界面打开离线同步任务，选择右侧的 数据集成资源组配置。说明 如果生产环境执行也需要使用该资源组，请修改资源组后进行节点提交发布操作。切换生产调度运行时...
SelectDB数据源
获取独享数据集成资源组EIP地址如下：数据同步任务开发：SelectDB同步流程指导 创建数据源 在进行数据同步任务开发时，您需要在DataWorks上创建一个对应的数据源，操作流程请参见 创建并管理数据源。下面对SelectDB数据源的几个配置项进行...
我的地盘
登录 DataWorks控制台，单击左侧导航栏的 数据建模与开发>数据开发，在下拉框中选择对应工作空间后单击 进入数据开发。单击左上方的 图标，选择 全部产品>数据建模>DATABLAU。选择 我的地盘 页签，在我的地盘页面中查看模型的相关信息。
创建ClickHouse数据源
后续操作 数据源创建完成后，您可根据需要执行如下操作：计算任务开发与调度：DataWorks的数据开发与运维中心模块，为您提供ClickHouse任务的开发与调度能力，若您需要基于该ClickHouse数据源进行ClickHouse任务开发，或周期性调度...
文档修订记录
DataWorks数据安全治理路线 2023年12月更新记录 时间 特性 类别 描述 产品文档 2023.12.29 新增功能 数据开发 若您要在DataWorks中进行数据建模、数据开发或使用运维中心周期性调度任务，需先将已创建的数据源或集群绑定至数据开发...
虚拟节点
登录 DataWorks控制台，单击左侧导航栏的 数据建模与开发>数据开发，在下拉框中选择对应工作空间后单击 进入数据开发。创建 业务流程。如果您已有 业务流程，则可以忽略该步骤。鼠标悬停至 图标，选择 新建业务流程。在 新建业务流程 ...
透视分析：按研发链路
支持您按照研发链路（数据同步和数据开发）查看和分析工作空间内DataWorks离线同步任务和DataWorks调度任务运行情况及资源消耗详情。便于您了解当前花费较多的资源类别、识别运行失败的任务，合理调整消费结构，发现阻塞任务运行的问题并...
通过DataWorks导入数据
数据同步任务开发 新增数据源 在进行数据同步任务开发时，您需要在DataWorks上分别创建MySQL和SelectDB数据源。创建MySQL数据源，详情请参见 MySQL数据源。创建SelectDB数据源，详情请参见 创建并管理数据源。SelectDB数据源的部分配置参数...
IoT数据自动化同步至云端解决方案
登录 DataWorks控制台，单击左侧导航栏的 数据集成，在下拉框中选择对应工作空间后单击 进入数据集成。新增OSS数据源和MaxCompute数据源，详情请参见 配置OSS数据源 和 配置MaxCompute数据源。单击当前页面左上角的 图标，选择 全部产品>...
创建MaxCompute数据源
数据源创建完成后，您可根据需要执行如下操作：计算任务开发与调度：DataWorks的数据开发与运维中心模块，为您提供MaxCompute任务的开发与调度能力，若您需要基于该MaxCompute数据源进行MaxCompute任务开发，或周期性调度MaxCompute相关...
开发前准备：绑定数据源或集群
登录 DataWorks控制台，单击左侧导航栏的 数据建模与开发>数据开发，在下拉框中选择对应工作空间后单击 进入数据开发。在左侧导航栏单击 数据源，进入数据源或集群绑定页面。若左侧导航栏未显示 数据源 模块，则您需 进入个人设置 页面，...
采集数据
本教程以MySQL中的用户基本信息（ods_user_info_d）表及OSS中的网站访问日志数据（user_log.txt）文件，通过数据集成离线同步任务分别同步至MaxCompute的ods_user_info_d、ods_raw_log_d表为例，为您介绍如何通过DataWorks数据集成实现异构...
创建并管理数据源
例如，执行离线同步任务时，可由运行环境控制任务所访问的数据库地址（配置生产、开发数据源对应不同数据库），使开发环境和生产环境的数据隔离。说明 简单模式工作空间仅拥有一个环境，无法做到开发、生产隔离。关于工作空间模式的介绍，...
采集数据
本教程以MySQL中的用户基本信息（ods_user_info_d）表及OSS中的网站访问日志数据（user_log.txt）文件，通过数据集成离线同步任务分别同步至MaxCompute的ods_user_info_d、ods_raw_log_d表为例，为您介绍如何通过DataWorks数据集成实现异构...
- 产品推荐
- 这些文档可能帮助您