任务调试流程
前提条件 已完成任务开发，详情请参见 数据开发概述。背景信息 您可根据业务需要，选择 调试运行单个任务 或 调试运行业务流程。运行完成后，可通过 查看运行历史、新建临时查询文件 查看运行结果，并 对查询结果进行相关操作。说明 调试...
首页
登录 DataWorks控制台，单击左侧导航栏的 数据建模与开发>数据开发，在下拉框中选择对应工作空间后单击 进入数据开发。单击左上方的 图标，选择 全部产品>数据建模>数仓规划，默认进入 数仓分层 页面。单击顶部菜单栏右侧的 首页，进入智能...
子账号使用DataWorks
开发 负责数据开发页面的设计和维护工作。运维 负责在运维中心页面管理全部任务的运行情况并进行相应处理。部署 仅在多工作空间模式时审核任务代码并决定是否提交运维。访客 仅有只读权限，可以查看数据开发页面的业务流程设计和代码内容。...
客户案例
基于飞天大数据平台产品DataWorks+MaxCompute大大提高了数据业务的开发效率，构建大润发的数据中台体系。新金融行业：某互联网金融公司湖仓一体案例 客户架构如下。客户简介 公司的第一代数据湖是基于Hadoop+OSS搭建的，同时引入的数据中台...
数据模型概述
DDM目前支持逻辑模型和物理模型建模，其中物理模型又分为关系型数据模型和非关系型数据模型，支持的大数据引擎为MaxCompute、Hive。说明 Hadoop的MR调优参数属于底层，DDM是数据建模工具，支持设置表、字段等物理属性。
数据标准
数据是由特定的环境产生的，这些环境因素包括生产者、时间、系统等，从而造成了同一个语义的数据，有...说明 目前使用DDM进行数据建模可以进行逻辑建模和物理建模，但物理建模仅支持MaxCompute和Hive两种大数据引擎，不支持自定义数据源类型。
创建Hologres数据源
创建完成后，可在DataWorks的各功能模块使用该数据源连接Hologres实例，进行相应的数据同步、数据开发、数据分析等操作。前提条件 已购买Hologres实例并创建数据库。操作详情请参见 购买Hologres、创建数据库。说明 建议购买Hologres实例时...
ClickHouse SQL
登录 DataWorks控制台，切换至目标地域后，单击左侧导航栏的 数据建模与开发>数据开发，在下拉框中选择对应工作空间后单击 进入数据开发。右键单击目标业务流程，选择 新建节点>ClickHouse>ClickHouse SQL。在 新建节点 对话框中输入节点 ...
数据服务
背景信息 数据服务提供了数据中台建设过程中的数据服务化能力，面向数据开发者提供覆盖各个加工阶段统一体验的、便捷的数据查询转服务、服务管理、服务运维能力；面向数据资产管理者提供服务的统计分析、服务用量统计分析，实现数据中台...
流程管控
DataWorks提供了全链路的数据开发治理能力，为您提供了统一的数据开发治理流程，同时也支持您在DataWorks的默认流程上基于自己的业务需求在关键的流程节点进行流程管控。本文为您介绍DataWorks在数据开发过程中支持的流程管控能力。背景...
表管理
登录 DataWorks控制台，切换至目标地域后，单击左侧导航栏的 数据建模与开发>数据开发，在下拉框中选择对应工作空间后单击 进入数据开发。在左侧导航栏单击 表管理。新建、查找及编辑目标表 新建表及导入表数据 在表管理页面，您可单击 及 ...
其他问题
为什么不能在调度资源组上进行大数据计算？其他 如何设置任务优先级？如何查看任务优先级？周期任务与周期实例、补数据实例、测试实例是什么关系？DataWorks每晚将根据周期任务，批量生成第二天自动调度的周期实例，周期实例自动生成并且...
下载建模工具（DDM）
登录 DataWorks控制台，切换至目标地域后，单击左侧导航栏的 数据建模与开发>数据开发，在下拉框中选择对应工作空间后单击 进入数据开发。单击左上方的 图标，选择 全部产品>数据建模>DATABLAU。单击页面右上方的 下载DDM。说明 如果单击...
账单数据订阅及查询分析
DataWorks及MaxCompute：DataWorks基于MaxCompute等大数据引擎，支持您在线进行SQL分析、业务洞察、编辑和分享数据，以及将查询结果保存为可视化图表卡片，快速搭建可视化数据报告。订阅账单数据后，用户中心会将相关账单数据同步至指定...
基于模型生成ETL代码
维度表、明细表、汇总表等模型表发布后，DataWorks智能数据建模的模型开发功能支持快速生成代码框架，帮助您提高后续数据开发效率。本文为您介绍如何通过模型开发功能生成代码框架。前提条件 模型表已发布，操作详情请参见 发布模型至引擎...
数仓开发任务流
配置DTS数据迁移节点 配置离线数据集成节点 数据开发 显示任务流中的数据开发节点：除数据集成节点之外的其他节点。数据开发节点，试运行和发布后的调度功能相同。任务类型介绍 配置DTS位点检查节点 表 数仓表可被其任务流引用并操作，您...
功能发布记录（2024年）
2024.2.20 所有地域 所有DataWorks用户 DataWorks on EMR Serverless StarRocks最佳实践 数据地图新增数据开发代码搜索 DataWorks数据地图新增数据开发代码搜索功能，支持跨工作空间全局代码检索，通过关键字精确定位目标代码，帮助您提升...
创建Log Service数据源
说明 通常情况下，生产数据源和开发数据源需配置非同一个数据源，以使开发数据源与生产数据源的环境隔离，降低开发数据源对生产数据源的影响。但Dataphin也支持配置成同一个数据源，即相同参数值。参数 描述 LogHub Endpoint Log Service的...
开发管控：管理者
作为工作空间的管理者，在使用数据开发（DataStudio）时，您可以针对用户的开发行为实施有效的管控措施，进行开发流程、数据安全、审计等相关操作，本文将帮助您快速掌握DataStudio的相关功能，实现对数据开发过程的有效管控。背景信息 ...
为工作空间添加空间成员
如果您需要其他RAM用户基于工作空间进行协同开发操作，可以将其添加为工作空间成员并授予相应的角色权限。本文将介绍如何将RAM用户添加至工作空间并授予相关的角色权限。前提条件 已创建工作空间，详情请参见 创建并管理DataWorks工作空间...
行业模型模版
登录 DataWorks控制台，单击左侧导航栏的 数据建模与开发>数据开发，在下拉框中选择对应工作空间后单击 进入数据开发。单击左上方的 图标，选择 全部产品>数据建模>维度建模。在顶部菜单栏单击 行业模型模版，进入行业模型模版页面。该页面...
DataWorks节点合集
DataWorks的数据开发（DataStudio）模块为您提供多种类型的节点，包括用于数据同步的数据集成节点，用于数据清洗的引擎计算节点（例如，ODPS SQL、Hologres SQL、EMR Hive），以及可对引擎计算节点进行复杂逻辑处理的通用节点（例如，可...
同步节点
运行配置 运行配置用于设置同步节点的云计算资源类型和输入输出链路，关键参数说明如下：参数 说明 同步资源 源端配置 开发数据源 开发环境中传输链路输入端的云计算资源类型和资源。逻辑表 输入表的数据格式，由数据模型定义，在下拉列表...
按应用关联
根据应用关联对应资源信息，选中目标应用后，系统自动选中关联此应用的上线API、有产出关系的场景、场景下包含的所有场景节点以及场景节点包含的所有逻辑表以及数据标准、数据源和全局配置。说明 工作组若有创建数据标准、数据源和全局变量...
创建手动任务
登录 DataWorks控制台，切换至目标地域后，单击左侧导航栏的 数据建模与开发>数据开发，在下拉框中选择对应工作空间后单击 进入数据开发。在 数据开发 页面左侧导航栏选择 手动业务流程。若您界面没有该菜单，请参见 改变布局：定制化展示...
使用节点组
登录 DataWorks控制台，单击左侧导航栏的 数据建模与开发>数据开发，在下拉框中选择对应工作空间后单击 进入数据开发。在左侧业务流程目录下，双击目标业务流程，进入该业务流程的编辑面板。新建节点组。生成节点组。您可根据业务需求，...
对接使用CDH与CDP
登录 DataWorks控制台，切换至目标地域后，单击左侧导航栏的 数据建模与开发>数据开发，在下拉框中选择对应工作空间后单击 进入数据开发。创建业务流程，根据界面提示填写业务流程信息。单击创建好的业务流程，在 CDH 引擎文件夹上右键选择...
创建Aliyun HBase数据源
说明 通常情况下，生产数据源和开发数据源需配置非同一个数据源，以使开发数据源与生产数据源的环境隔离，降低开发数据源对生产数据源的影响。但Dataphin也支持配置成同一个数据源，即相同参数值。参数 描述 服务类型 根据数据源HBase选择...
建模空间
登录 DataWorks控制台，切换至目标地域后，单击左侧导航栏的 数据建模与开发>数据建模，在下拉框中选择对应工作空间后单击 进入数据建模。在 智能数据建模 页面的顶部菜单栏，单击 数仓规划，默认进入 数仓分层 页面。在 数仓规划 页面的...
创建Tablestore数据源
说明 通常情况下，生产数据源和开发数据源需配置非同一个数据源，以使开发数据源与生产数据源的环境隔离，降低开发数据源对生产数据源的影响。但Dataphin也支持配置成同一个数据源，即相同参数值。参数 描述 Endpoint 即实例访问地址。推荐...
概述
DataWorks为您提供了多个实验教程，帮助您从前期的环境准备、数据采集，到后期的数据开发、结果展示，端到端了解DataWorks使用的全流程，更加熟悉产品的核心功能。DataWorks目前提供的产品教程如下：简单开发应用教程 简单用户画像分析...
创建DataHub数据源
说明 通常情况下，生产数据源和开发数据源需配置非同一个数据源，以使开发数据源与生产数据源的环境隔离，降低开发数据源对生产数据源的影响。但Dataphin也支持配置成同一个数据源，即相同参数值。参数 描述 Endpoint DataHub的Endpoint，...
创建DataHub数据源
说明 通常情况下，生产数据源和开发数据源需配置非同一个数据源，以使开发数据源与生产数据源的环境隔离，降低开发数据源对生产数据源的影响。但Dataphin也支持配置成同一个数据源，即相同参数值。参数 描述 Endpoint DataHub的Endpoint，...
参数节点
本文为您介绍如何创建参数节点，引导您高效使用DataWorks进行数据开发。背景信息 参数节点本质上是一种虚拟节点，不会运行数据计算任务产生数据，主要用于跨节点传参、参数管理的场景。跨节点传参 当数据开发的业务流程中，某个下游节点的...
创建Vertica数据源
说明 通常情况下，生产数据源和开发数据源需配置非同一个数据源，以使开发数据源与生产数据源的环境隔离，降低开发数据源对生产数据源的影响。但Dataphin也支持配置成同一个数据源，即相同参数值。参数 描述 JDBC URL 链接地址的格式为 ...
GetFile
该参数与 DataWorks控制台 中，EMR Spark Streaming和EMR Streaming SQL数据开发任务，编辑页面右侧导航栏的“配置>时间属性>启动方式“对应。InputParameters Array of InputContextParameter 节点上下文输入参数。该参数与 DataWorks控制...
系统管理
登录 DataWorks控制台，切换至目标地域后，单击左侧导航栏的 数据建模与开发>数据建模，在下拉框中选择对应工作空间后单击 进入数据建模。在 智能数据建模 页面的顶部菜单栏，单击 数仓规划，进入 数仓分层。在左侧导航栏，单击 系统管理，...
创建IBM DB2数据源
说明 通常情况下，生产数据源和开发数据源需配置非同一个数据源，以使开发数据源与生产数据源的环境隔离，降低开发数据源对生产数据源的影响。但Dataphin也支持配置成同一个数据源，即相同参数值。参数 描述 JDBC URL 链接地址的格式为 ...
创建Log Service数据源
说明 通常情况下，生产数据源和开发数据源需配置非同一个数据源，以使开发数据源与生产数据源的环境隔离，降低开发数据源对生产数据源的影响。但Dataphin也支持配置成同一个数据源，即相同参数值。参数 描述 LogHub Endpoint Log Service的...
OpenEvent概述
通过OpenEvent订阅任务变更，实现定制化开发实时任务大屏的数据监控。本文为您介绍OpenEvent支持订阅的事件类型与配置流程。权限说明 开放平台管理员 和 租户管理员 拥有 开发者后台 的读写权限，其他租户级角色、空间级角色仅拥有开发者...
- 产品推荐
- 这些文档可能帮助您