表结构发布流程化
DMS推出的结构设计为多套研发环境开发，且在开发过程中自动检测企业需遵循的表结构研发规范，并支持多人在Web页面协同开发的功能。结构设计功能可保障研发自助变更的同时满足企业的设计规范、不同环境之间相关表结构的一致性，同时大大提升...
数仓开发任务流
数仓开发的项目空间由入仓解决方案和业务场景两部分组成。每个项目空间内可以创建多个业务场景，每个业务场景下又可添加多个任务流，用于实现复杂的数据处理和任务调度。前提条件 已创建项目空间。具体操作，请参见 创建项目空间。创建数仓...
创建RocketMQ数据源
若您的数据源配置选择 生产+开发数据源，则需配置 生产+开发数据源 的连接信息。如果您的数据源配置为 生产数据源，仅需配置 生产数据源 的连接信息。说明 通常情况下，生产数据源和开发数据源需配置非同一个数据源，以使开发数据源与生产...
创建MaxCompute数据源
若您的数据源配置选择 生产+开发数据源，则需配置 生产+开发数据源 的连接信息。如果您的数据源配置为 生产数据源，仅需配置 生产数据源 的连接信息。说明 通常情况下，生产数据源和开发数据源需配置非同一个数据源，以使开发数据源与生产...
Data Lake Analytics节点
背景信息 Data Lake Analytics节点用于接入阿里云产品Data Lake Analytics，详情请参见 什么是Data Lake Analytics。重要 Data Lake Analytics节点仅支持使用独享调度资源组执行任务，详情请参见 新增和使用独享调度资源组。操作步骤 进入 ...
创建MaxCompute数据源
若您的数据源配置选择 生产+开发数据源，则需配置 生产+开发数据源 的连接信息。如果您的数据源配置为 生产数据源，仅需配置 生产数据源 的连接信息。说明 通常情况下，生产数据源和开发数据源需配置非同一个数据源，以使开发数据源与生产...
常见问题
数据安全中心对于结构化数据源的扫描机制是什么样的？数据安全中心扫描数据源中的字段名称、字段值综合判断该数据是否为敏感数据，只通过字段值无法判断数据是否敏感。例如：年龄数据。敏感数据识别是如何实现的？敏感数据识别是在完成数据...
常见问题
魔笔开发中，组件开发使用的是哪些技术栈？魔笔应用可以部署到任意地方去运行吗？物料中心 魔笔初始化自定义组件报错？魔笔脚手架怎么安装？魔笔目前想要更复杂的图表展示，需要怎么支持？魔笔的输入框金额字段显示，能否自动带上千分位的...
数据建模：智能数据建模
智能数据建模是阿里云DataWorks自主研发的智能数据建模产品，沉淀了阿里巴巴十多年来数仓建模方法论的最佳实践，包含数仓规划、数据标准、维度建模及数据指标四大模块，帮助企业在搭建数据中台、数据集市建设过程中提升建模及逆向建模的...
创建Hologres数据源
若您的数据源配置选择 生产+开发数据源，则需配置 生产+开发数据源 的连接信息。如果您的数据源配置为 生产数据源，仅需配置 生产数据源 的连接信息。说明 通常情况下，生产数据源和开发数据源需配置非同一个数据源，以使开发数据源与生产...
创建Tablestore数据源
数据源配置 选择需要配置的数据源：如果业务数据源区分生产数据源和开发数据源，则选择 生产+开发数据源。如果业务数据源不区分生产数据源和开发数据源，则选择 生产数据源。标签 您可根据标签给数据源进行分类打标，如何创建标签，请参见 ...
创建Aliyun HBase数据源
数据源配置 选择需要配置的数据源：如果业务数据源区分生产数据源和开发数据源，则选择 生产+开发数据源。如果业务数据源不区分生产数据源和开发数据源，则选择 生产数据源。标签 您可根据标签给数据源进行分类打标，如何创建标签，请参见 ...
创建ClickHouse数据源
若您的数据源配置选择 生产+开发数据源，则需配置 生产+开发数据源 的连接信息。如果您的数据源配置为 生产数据源，仅需配置 生产数据源 的连接信息。说明 通常情况下，生产数据源和开发数据源需配置非同一个数据源，以使开发数据源与生产...
创建MongoDB数据源
数据源配置 选择需要配置的数据源：如果业务数据源区分生产数据源和开发数据源，则选择 生产+开发数据源。如果业务数据源不区分生产数据源和开发数据源，则选择 生产数据源。标签 您可根据标签给数据源进行分类打标，如何创建标签，请参见 ...
数据服务
数据管理DMS 的数据服务是将您在DMS上管控的数据以API的形式快速对外输出的功能，本文将介绍如何新增、发布、测试与调用API。前提条件 已开通 API网关。准备工作 本示例已提前创建 student_courses 表，并插入部分测试数据，SQL语句如下：/...
配置仪表盘推送节点
任务编排的仪表盘推送节点通过联动数据分析功能，可以将数据分析的图表直接推送至您（责任人、相关人员）的钉钉、钉钉机器人或邮箱中，免去您前往DMS数据服务查看图表的步骤。本文介绍如何配置仪表盘节点。准备工作 创建并配置仪表盘 登录 ...
从这里开始
工作空间 单击工作台左上角 默认工作空间 下拉框，单击 管理，进入 工作空间管理 页面，在页面中可自定义工作空间的数据看板配额、收藏组件配额、三维城市配额、预案配额和管理成员的权限等。操作步骤 快速入门文档介绍使用DataV数据可视化...
创建MongoDB数据源
数据源配置 选择需要配置的数据源：如果业务数据源区分生产数据源和开发数据源，则选择 生产+开发数据源。如果业务数据源不区分生产数据源和开发数据源，则选择 生产数据源。标签 您可根据标签给数据源进行分类打标，如何创建标签，请参见 ...
DataWorks On CDP/CDH使用说明
二、数据建模与开发 模块 说明 相关文档 数据建模 数据建模是全链路数据治理的第一步，沉淀阿里巴巴数据中台建模方法论，从数仓规划、数据标准、维度建模、数据指标四个方面，以业务视角对业务的数据进行诠释，让企业内部实现“数同文”的...
DataWorks on EMR Serverless StarRocks最佳实践
登录 DataWorks控制台，切换至目标地域后，单击左侧导航栏的 数据建模与开发>数据开发，在下拉框中选择对应工作空间后单击 进入数据开发。创建离线同步节点，设置数据来源为MySQL，数据去向为StarRocks数据源。选择资源组后，并分别测试与...
独享资源组
切换数据集成任务开发环境测试运行时使用数据集成任务执行资源组：在数据开发界面打开离线同步任务，选择右侧的 数据集成资源组配置。说明 如果生产环境执行也需要使用该资源组，请修改资源组后进行节点提交发布操作。切换生产调度运行时...
调用API
调用方式 调用方式 适用场景 说明 安全级别 加密签名身份认证 应用程序开发、数据采集等。该方式需要在SDK中使用数据服务中的AppKey和AppSecret。具体操作，请参见 使用SDK调用API。高 简单身份认证 一般用于可视化场景，如DataV调用。该...
创建业务流程
创建业务流程 登录 DataWorks控制台，单击左侧导航栏的 数据建模与开发>数据开发，在下拉框中选择对应工作空间后单击 进入数据开发。在 数据开发 页面，鼠标悬停至 图标，单击 新建业务流程。在 新建业务流程 对话框中，输入 业务名称 和 ...
创建ClickHouse数据源
若您的数据源配置选择 生产+开发数据源，则需配置 生产+开发数据源 的连接信息。如果您的数据源配置为 生产数据源，仅需配置 生产数据源 的连接信息。说明 通常情况下，生产数据源和开发数据源需配置非同一个数据源，以使开发数据源与生产...
测试数据构建
实际开发过程中可能伴随频繁的数据准备过程，同时需要保障数据安全、数据的离散性特征可控、高效率。DMS提供的测试数据构建，能够满足您的需求。注意事项 当前仅支持按需操作单个表，如需多个表生成需要多次处理。单次生成上限阈值为100万...
创建Hologres数据源
若您的数据源配置选择 生产+开发数据源，则需配置 生产+开发数据源 的连接信息。如果您的数据源配置为 生产数据源，仅需配置 生产数据源 的连接信息。说明 通常情况下，生产数据源和开发数据源需配置非同一个数据源，以使开发数据源与生产...
数据库导出
当您需要进行数据库备份、导出数据库表进行数据分析等操作，您可使用 数据管理DMS 的数据导出功能，该功能可通过提交工单的方式导出数据库。前提条件 数据库类型如下：MySQL系列：自建MySQL、RDS MySQL、PolarDB MySQL版、AnalyticDB ...
配置DTS数据迁移节点
DTS数据迁移节点可以实现跨库、全量、单表或整库的数据迁移，迁移的类型包括数据和结构。本文介绍配置DTS数据迁移节点的方法。背景信息 DTS数据迁移节点基于数据传输服务DTS，赋予任务流基于DTS进行数据传输的能力。更多信息，请参见 数据...
创建PolarDB-X数据源
若您的数据源配置选择 生产+开发数据源，则需配置 生产+开发数据源 的连接信息。如果您的数据源配置为 生产数据源，仅需配置 生产数据源 的连接信息。说明 通常情况下，生产数据源和开发数据源需配置非同一个数据源，以使开发数据源与生产...
仪表盘
图表附属了某个仪表盘或大屏，图表的生成过程是依据数据集提供的数据模型对 SQL结果进行二次聚合分组，然后将二次加工的数据进行可视化编码。维度：维度指看待事物的角度，如时间维度、其他分类角度等，维度字段的值通常可枚举，如饼图的...
创建PolarDB数据源
若您的数据源配置选择 生产+开发数据源，则需配置 生产+开发数据源 的连接信息。如果您的数据源配置为 生产数据源，仅需配置 生产数据源 的连接信息。说明 通常情况下，生产数据源和开发数据源需配置非同一个数据源，以使开发数据源与生产...
普通数据变更
说明 若您使用的是极简模式的控制台，请单击控制台左上角的 图标，选择 全部功能>数据库开发>数据变更>普通数据变更。配置工单信息。部分配置信息说明如下：SQL文本：输入语法正确的、可直接执行的SQL语句。多条SQL之间，使用英文分号;隔开...
创建项目空间
数据管理DMS数仓开发通过项目空间、业务场景和任务流三级目录讲行项目管理，同时支持数仓分层管理，有利于清晰地管理某一情景下的数据仓库管理需求，充分满足各类复杂的数仓开发和管理需求。项目空间是数仓开发、管理和运维的基本单位，...
操作权限控制
权限控制：管理者可以使用EMR集群内的Ranger组件对每个用户进行权限管控，最终实现不同阿里云主账号、任务责任人或RAM用户在DataWorks上运行EMR任务时，拥有对应不同的数据权限。使用其他引擎时的权限问题 当前工作空间使用的其他引擎时，...
新功能发布记录
DMS控制台切换 07月 功能名称 变更类型 功能描述 相关文档 离线集成 新增 离线集成是一种低代码开发数据加工任务的工具，您可以组合各类任务节点，形成数据流，通过周期调度运行达到数据加工、数据同步的目的。离线集成概述 DevOps 新增 ...
创建CDH Hive节点
登录 DataWorks控制台，切换至目标地域后，单击左侧导航栏的 数据建模与开发>数据开发，在下拉框中选择对应工作空间后单击 进入数据开发。右键单击某个业务流程，选择 新建节点>CDH>CDH Hive。说明 鼠标悬停至顶部 新增 按钮，根据界面提示...
创建CDH Presto节点
登录 DataWorks控制台，切换至目标地域后，单击左侧导航栏的 数据建模与开发>数据开发，在下拉框中选择对应工作空间后单击 进入数据开发。右键单击某个业务流程，选择 新建节点>CDH>CDH Presto。说明 鼠标悬停至顶部 新增 按钮，根据界面...
数据开发：开发者
进入数据开发 登录 DataWorks控制台，切换至目标地域后，单击左侧导航栏的 数据建模与开发>数据开发，在下拉框中选择对应工作空间后单击 进入数据开发。操作流程 步骤一：新建业务流程 数据开发基于业务流程组织与开发代码，您需要先新建...
数据追踪
说明 若您使用的是极简模式的控制台，请单击控制台左上角的 图标，选择 全部功能>数据库开发>数据追踪工单>数据追踪。在页面右上角，单击 数据追踪。在 数据追踪工单申请 页面，配置如下信息：参数名 说明 任务名称 便于后续检索，并提供给...
创建MaxCompute数据源
创建完成后，可在DataWorks的各功能模块使用该数据源连接MaxCompute项目，进行相应的数据同步、数据开发、数据分析等操作。前提条件 已购买MaxCompute，详情请参见 开通MaxCompute。说明 建议购买MaxCompute的 地域 与创建MaxCompute数据源...
- 产品推荐
- 这些文档可能帮助您