MySQL节点
配置白名单 若MySQL数据库存在白名单访问控制，您需要在MySQL数据库添加独享调度资源组对应的白名单，获取独享调度资源组白名单，详情请参见：添加白名单。测试连通性 您可前往 配置MySQL数据源 页面，在 资源组连通性 区域选择 任务调度，...
创建Hologres数据源
数据源创建完成后，您可根据需要执行如下操作：计算任务开发与调度：DataWorks的数据开发与运维中心模块，为您提供Hologres任务的开发与调度能力，若您需要基于该Hologres数据源进行Hologres任务开发，或周期性调度Hologres相关任务，需先...
DataWorks On Hologres使用说明
费用 说明 数据库费用 数据同步时，读写上下游数据库中的数据，可能会产生数据库费用。计算和存储费用 运行计算引擎任务时，可能会产生计算引擎的计算和存储费用。例如，运行一个Hologres SQL任务，查询Hologres的数据，可能会产生Hologres...
创建ClickHouse数据源
您可登录 云数据库ClickHouse控制台，获取相关数据库及端口信息。用户名 访问ClickHouse集群的用户名。密码 访问ClickHouse集群的用户密码。认证选项 选择后续访问ClickHouse集群时是否需要SSL认证。开启该认证服务后，ClickHouse数据源不...
受众与核心能力
产品定位 DataWorks致力于为数据开发者、数据分析师、数据资产管理者，打造一个具备开放自主开发与全栈数据研发能力的一站式、标准化、可视化、透明化的智能大数据全生命周期云研发平台。DataWorks赋予用户仅通过单一平台，即可实现数据...
数据下载
在DataWorks的数据开发（DataStudio）、数据分析、安全中心模块下载的CSV、XLSX格式文件数据将同步保存至数据下载功能。通过该功能，您可将所需历史下载文件重新下载至本地使用，也可追溯历史下载记录的操作详情。前提条件 已通过如下模块...
通用开发流程
创建并使用MaxCompute资源 创建并使用自定义函数 创建和使用EMR资源 创建EMR函数 步骤七：编辑节点代码 根据节点类型，在节点编辑页面通过对应引擎与数据库语法编写业务代码。不同节点所使用的语法可能存在差异，具体请以实际使用为准。...
查看数据开发操作记录
进入数据开发DataStudio 登录 DataWorks控制台，单击左侧导航栏的 数据建模与开发>数据开发，在下拉框中选择对应工作空间后单击 进入数据开发。查看操作历史 在数据开发DataStudio左侧边栏点击 图标进入 操作历史 页面，可通过操作类型、...
用户管理
登录 DataWorks控制台，切换至目标地域后，单击左侧导航栏的 数据建模与开发>数据开发，在下拉框中选择对应工作空间后单击 进入数据开发。单击左上方的 图标，选择 全部产品>数据建模>DATABLAU。选择 用户管理 页签，在用户管理页面中查看...
DeleteQualityFollower
通过该规则帮助您第一时间感知源端数据的变更与ETL（Extract Transformation Load）中产生的脏数据，自动拦截问题任务，有效阻断脏数据向下游蔓延。避免任务产出不符合预期的问题数据，影响正常使用和业务决策。您可以通过订阅管理，为分区...
DataWorks On MaxCompute使用说明
费用 说明 数据库费用 数据同步时，读写上下游数据库中的数据，可能会产生数据库费用。计算和存储费用 运行计算引擎任务时，可能会产生计算引擎的计算和存储费用。例如，运行一个MaxCompute的SQL任务，新建表并写入表数据，可能会产生...
模型目录
登录 DataWorks控制台，单击左侧导航栏的 数据建模与开发>数据开发，在下拉框中选择对应工作空间后单击 进入数据开发。单击左上方的 图标，选择 全部产品>数据开发>DATABLAU。选择 模型目录 页签，在模型目录页面中查看模型的详细信息。...
ClickHouse SQL
在 新建节点 对话框中输入节点 名称，单击 确认，节点创建完成，您可在节点中进行对应任务的开发与配置。步骤二：开发ClickHouse SQL任务（可选）选择ClickHouse数据源 如果您的工作空间创建了多个ClickHouse数据源，则需先在ClickHouse ...
MaxCompute函数管理
登录 DataWorks控制台，切换至目标地域后，单击左侧导航栏的 数据建模与开发>数据开发，在下拉框中选择对应工作空间后单击 进入数据开发。展开左侧导航栏中的 MaxCompute，单击 MaxCompute函数。MaxCompute函数默认按照创建时间倒序排列，...
代码搜索
登录 DataWorks控制台，切换至目标地域后，单击左侧导航栏的 数据建模与开发>数据开发，在下拉框中选择对应工作空间后单击 进入数据开发。在数据开发目录树区域，单击顶部菜单栏的 图标，进入代码搜索页面。配置搜索条件并查看搜索结果。...
场景：工作空间模式升级（简单模式升级标准模式）
若您当前使用的是简单模式工作空间，但希望将开发与生产环境隔离，可将简单模式工作空间升级为标准模式工作空间。本文为您介绍如何升级工作空间模式。操作须知 升级工作空间模式前，您需先了解以下内容：了解简单模式与标准模式工作空间的...
独享资源组模式
如果做过网络打通，即存在数据库和DataWorks不在同一个region、数据库和DataWorks不在同一个阿里云账号、数据库在本地IDC环境下等需要网络打通的情况，请为独享绑定数据库已经打通的VPC，请参见 新增和使用独享数据集成资源组，再在绑定...
相关的云服务
DataWorks作为阿里云一站式大数据开发与治理平台，通常会与计算引擎产品联合使用，此外使用DataWorks进行数据集成时通常联合进行数据传输的数据源产品一起使用。本文为您介绍典型场景下，使用DataWorks时通常会使用到的其他云产品。计算...
数据开发概述
DataWorks数据开发（DataStudio）模块用于定义周期调度任务的开发及调度属性，与运维中心配合使用，面向各引擎（MaxCompute、Hologres、EMR等）提供可视化开发主界面，支持智能代码开发、多引擎混编工作流、规范化任务发布等能力，帮助您...
创建解决方案
登录 DataWorks控制台，切换至目标地域后，单击左侧导航栏的 数据建模与开发>数据开发，在下拉框中选择对应工作空间后单击 进入数据开发。开启解决方案配置。在左侧导航栏底部，单击 图标。在 设置 页面的 个人设置 页签，勾选 显示解决...
阶段一：基础防护建设
数据开发与生产链路：开发人员在开发环境先开发代码、配置调度依赖、调试任务，待冒烟测试无误后可申请提交发布，此时应由一个运维/部署/管理员角色来进行代码Review，确认无误后即可发布到生产环境，让规范、安全的代码在生产环境定期运行...
DataWorks on EMR Serverless StarRocks最佳实践
数据开发与运维中心 DataWorks为您提供 数据开发 与 运维中心 两个子模块，可实现在数据开发中开发并调试任务，完成后将任务提交发布至运维中心，实现周期性自动运行。数据开发模块介绍请参见 数据开发概述。运维中心模块介绍请参见 运维...
创建业务流程
您可以在数据集成下，通过离线同步和实时同步组件节点，来将某个数据库的数据同步到另一个数据库。您可以基于业务流程对应引擎分组下的数据开发节点来进行具体的数据清洗工作，例如MaxCompute引擎下的ODPS SQL节点，如果代码开发过程中需要...
DataWorks On CDP/CDH使用说明
费用 说明 数据库费用 数据同步时，读写上下游数据库中的数据时，可能会产生数据库费用。计算和存储费用 运行计算引擎任务时，可能会产生计算引擎的计算和存储费用。网络服务费用 连通DataWorks和其他相关产品的网络环境时，可能会产生网络...
执行冒烟测试
登录 DataWorks控制台，单击左侧导航栏的 数据建模与开发>数据开发，在下拉框中选择对应工作空间后单击 进入数据开发。开启强制冒烟测试 空间管理员可开启工作空间强制进行冒烟测试，开启强制冒烟测试功能后，当前工作空间任务发布前需要...
行业模型模版
登录 DataWorks控制台，单击左侧导航栏的 数据建模与开发>数据开发，在下拉框中选择对应工作空间后单击 进入数据开发。单击左上方的 图标，选择 全部产品>数据建模>维度建模。在顶部菜单栏单击 行业模型模版，进入行业模型模版页面。该页面...
准备数据
新建业务流程 单击当前页面左上角的 图标，选择 全部产品>数据开发与运维>DataStudio（数据开发）。右键单击 业务流程，选择 新建业务流程。在 新建业务流程 对话框中，输入 业务名称 和 描述。说明 业务名称的长度不能超过128个字符，且...
一键MaxCompute表结构同步节点
DataWorks支持一键导入表结构功能，帮助您使用DataStudio快速批量创建与目标MaxCompute表结构相同的Hologres外部表，后续您可使用Hologres外部表加速查询MaxCompute表的数据。本文为您介绍如何创建并使用一键MaxCompute表结构同步节点。...
通用参考：切换资源组
登录 DataWorks控制台，切换至目标地域后，单击左侧导航栏的 数据建模与开发>数据开发，在下拉框中选择对应工作空间后单击 进入数据开发。修改数据集成资源组。离线同步任务 单个任务修改 在左侧导航栏，单击 数据开发，找到目标离线同步...
创建Hologres外部表
提交到开发环境 提交表至DataWorks的开发环境，即在开发环境所绑定的Hologres数据库创建当前表。提交后您可在DataWorks数据开发相应业务流程（即创建表时所选的路径）的Hologres目录，查看该表结构。从生产环境加载 用于从生产环境加载生产...
创建数据脱敏场景
该场景下，数据在存储过程中便会按照配置的脱敏规则识别敏感数据并将其脱敏，脱敏完成后再将数据存储至指定数据库位置。权限控制 新增、编辑、删除脱敏场景：租户管理员、租户安全管理员 可选择的数据范围为租户下所有项目空间。空间管理员...
入门实践
基于DataWorks的数据建模流程如下：空间管理员角色创建数据标准 模型设计师角色创建数据模型 模型设计师角色修改数据模型 模型设计师角色保存模型至模型库 开发角色提交模型至开发环境计算引擎 运维、部署或空间管理员角色发布模型至生产...
数据开发：开发者
背景信息 DataWorks的数据开发（DataStudio）面向各引擎（MaxCompute、Hologres、EMR、CDH等）提供可视化开发界面，包括智能代码开发、数据清洗加工、规范化任务开发与发布等，保证数据开发的高效与稳定。更多数据开发模块的使用，详情请...
数据开发功能索引
节点：代码开发的最小单位，支持对应引擎、算法、数据集成、数据库、通用节点进行代码开发。表：使用可视化方式操作表。资源：使用可视化方式上传资源。说明 当前仅支持MaxCompute、E-MapReduce、CDH引擎使用可视化方式上传资源。函数：...
创建并管理MaxCompute节点
在弹框中配置节点的名称，完成后单击 确认，完成MaxCompute节点创建操作，后续您即可在节点中进行对应MaxCompute任务开发与配置。开发MaxCompute任务 当前DataWorks支持多种MaxCompute节点类型，便于您开发不同类型的MaxCompute任务。节点...
创建Hologres内部表
提交到开发环境 提交表至DataWorks的开发环境，即在开发环境所绑定的Hologres数据库创建当前表。提交后您可在DataWorks数据开发相应业务流程（即创建表时所选的路径）的Hologres目录，查看该表结构。从生产环境加载 用于从生产环境加载生产...
入门概述
DataWorks V2.0常见问题与难点分析 DataWorks V2.0数据开发功能与用法解析 DataWorks V2.0数据集成简介与最佳实践 DataWorks V2.0智能监控简介与最佳实践 DataWorks V2.0数据服务功能及用法解析 DataWorks V2.0数据质量简介及最佳实践 ...
安装宽表SQL Driver
数据库驱动 Lindorm面向目前主流的应用开发语言分别提供了以下数据库驱动（Database Driver，可以简单理解为执行SQL的SDK）。Java Lindorm面向Java语言应用开发提供了遵循 JDBC 接口规范的Driver。关于该Driver的安装和使用，请参见 使用...
场景：数据开发定制化展示
登录 DataWorks控制台，切换至目标地域后，单击左侧导航栏的 数据建模与开发>数据开发，在下拉框中选择对应工作空间后单击 进入数据开发。调整DataStudio左侧导航栏模块（即区域2展示的功能）。新用户可根据区域1的提示，在DataStudio界面...
DataWorks On EMR使用说明
费用 说明 数据库费用 数据同步时，读写上下游数据库中的数据时，可能会产生数据库费用。计算和存储费用 运行计算引擎任务时，可能会产生计算引擎的计算和存储费用。网络服务费用 连通DataWorks和其他相关产品的网络环境时，可能会产生网络...
- 产品推荐
- 这些文档可能帮助您