预览区块
测试 操作 测试样式项 在样式页签内配置不同的样式，参考 配置项说明 中的配置说明。如下图所示，在样式页签中，将 轮播列表 组件中的 表头 配置项内的 背景颜色 设置成红色。测试数据 在数据页签内，输入不同的数据内容，并查看内部组件的...
二维码
如果此配置项和数据中都配置了内容，则优先使用数据中的配置。填充颜色：二维码组件的前景和背景的颜色。边框样式：二维码组件边框的样式，包括边框的线类型、边框的圆角角度、线的宽度值和线颜色。LOGO：二维码中间的LOGO图标样式，可单击...
采集数据
本文为您介绍如何新建HttpFile和MySQL数据源来访问本教程所提供的用户信息与网站日志数据，配置数据同步链路至私有OSS数据源，并通过EMR Hive节点建表去查询同步后的数据，完成数据同步的操作过程。前提条件 开始本文的操作前，请准备好...
DataWorks On MaxCompute使用说明
二、数据建模与开发 模块 描述 相关文档 数据建模 数据建模是全链路数据治理的第一步，沉淀阿里巴巴数据中台建模方法论，从数仓规划、数据标准、维度建模、数据指标四个方面，以业务视角对业务的数据进行诠释，让企业内部实现“数同文”的...
创建MaxCompute数据源
后续操作 为保障您的开发过程更加顺畅，建议先阅读 DataWorks On MaxCompute使用说明，了解在DataWorks使用MaxCompute的开发流程、相关费用、环境准备、权限控制等内容。数据源创建完成后，您可根据需要执行如下操作：计算任务开发与调度：...
计费逻辑说明
计费项 计费方式 计费项说明 购买场景 使用说明 独享数据集成资源组 包年包月 独享数据集成资源组属于平台托管类型的资源组，购买后您将拥有该资源组的独立使用权，此类资源组仅用于运行数据集成任务。资源组详情请参见 独享数据集成资源组...
创建并管理数据源
若您想在DataWorks操作您的数据库或数据仓库（例如，MaxCompute项目数据），需先在DataWorks的数据源管理页面，将数据库或数据仓库创建为DataWorks的数据源，并将该数据源绑定至DataWorks相应的功能模块使用。例如，同步MaxCompute数据前，...
从自建MySQL同步至阿里云消息队列Kafka版
说明 若数据传输控制台自动跳转至数据管理DMS控制台，您可以在右下角的 中单击，返回至旧版数据传输控制台。在左侧导航栏，单击 数据同步。在 同步作业列表 页面顶部，选择同步的目标实例所属地域。定位至已购买的数据同步实例，单击 配置...
级联选择器
图表样式 级联选择器是控件组件的一种，可以作为级联表单在可视化应用中使用，将用户选择的数据提交到后端进行处理或者通过交互配置，在其他组件上显示用户选择的内容。配置面板 搜索配置：单击 配置 面板右上角的 搜索配置，可在 搜索配置...
新增和使用独享数据集成资源组
使用内网连通数据源与独享资源组：添加独享资源组绑定专有网络时的交换机网段至数据源白名单中。您需要为独享资源组绑定专有网络后，进入DataWorks的 资源组列表>独享资源组 页面，单击相应资源组后的 网络设置，进入 专有网络绑定 页面...
数据库高级特性管理
您可以在RDS管理控制台查看或修改数据库中的各类属性，也可以手动收缩数据库事务日志和更新数据库统计信息，以优化数据库性能和提高查询效率。前提条件 已创建数据库。创建方法，请参见 创建数据库。实例所在地域必须在：华东1（杭州）、...
2020年
2020-08-31 全部区域 查询加速（MCQA）使用说明 2020-07 功能名称 功能描述 发布时间 发布区域 相关文档 新增项目的默认数据类型版本从1.0变更为2.0 MaxCompute通过DataWorks控制台新增项目时，项目的默认数据类型版本从1.0变更为2.0。...
配置转换组件
本文介绍数据库传输服务DTS提供的ETL功能支持的转换组件及其配置方法。背景信息 ETL支持的转换组件如下：表JOIN 字段计算器 表记录过滤 使用限制 ETL支持的转换组件存在如下限制：表JOIN：仅支持两个表之间做JOIN操作。字段计算器 和 表...
数据库迁移
说明 若您使用的是极简模式的控制台，请单击控制台左上角的 图标，选择 全部功能>解决方案>数据库迁移。在 新建数据库迁移工单 页面，配置数据库迁移任务工单。配置项 描述 任务名称 输入明确、清晰的任务名称，以减少沟通成本。业务背景 ...
配置资源组与网络连通
在数据同步任务配置前，您需要确保用于执行同步任务的独享数据集成资源组与您将要同步的数据来源端与目的端数据库的网络连通性，您可以根据数据库所在网络环境，选择合适的网络解决方案来实现网络连通。...离线数据同步。实时数据同步。
配置跨库Spark SQL节点
说明 若您使用的是极简模式的控制台，请单击控制台左上角的 图标，选择 全部功能>集成与开发（DTS）>数据开发>任务编排。单击目标任务流名称，进入任务流详情页面。说明 如果您需要新增任务流，请参见 新增任务流。在画布左侧 任务类型 ...
冷数据归档
冷数据的判定标准如下：当前时间-数据的时间戳>=冷热分界线(天)设置冷热分界线的方法 有以下两个方式设置冷热分界线：通过SQL语句在Database的创建或修改中设置冷热分界线。说明 通过SQL设置冷热分界线的方法可参见 CREATE DATABASE 或 ...
EMR Hive数据整库离线同步至MaxCompute
调度参数使用说明请参见 数据集成使用调度参数的相关说明。重跑属性。可根据业务需求设置不同的重跑策略，设置失败可重跑策略可以有效降低因为网络抖动等偶发问题导致的任务失败。配置调度依赖。可根据业务需求设置不同的调度依赖。您可以...
EMR Hive数据整库离线同步至MaxCompute
调度参数使用说明请参见 数据集成使用调度参数的相关说明。重跑属性。可根据业务需求设置不同的重跑策略，设置失败可重跑策略可以有效降低因为网络抖动等偶发问题导致的任务失败。配置调度依赖。可根据业务需求设置不同的调度依赖。您可以...
Tab列表（v3.0及以上版本）
单击 添加过滤器，可在 设置数据源 面板配置数据过滤器脚本，详情请参见 过滤器使用说明。数据响应结果 展示数据请求的响应结果。当数据源发生改变时，可单击右侧的 图标，实时查看数据响应结果。数据面板（分析模式）重要 在使用DataV数据...
DataWorks On Hologres使用说明
二、数据建模与开发 模块 描述 相关文档 数据建模 数据建模是全链路数据治理的第一步，沉淀阿里巴巴数据中台建模方法论，从数仓规划、数据标准、维度建模、数据指标四个方面，以业务视角对业务的数据进行诠释，让企业内部实现“数同文”的...
一键建仓
本文介绍如何在数据管理DMS中使用一键建仓功能。背景信息 传统创建数据仓库的方法为：通过离线脚本将数据周期性地从源数据库采集至数据仓库，再进行ETL开发，这种方法的时间性较差，通常需要T+1天才能看到数据分析报表，且技术成本较高。...
资产大盘
数据管理DMS 的资产大盘功能支持T+1离线汇总当前 DMS 租户下的所有实例、数据库、表数据，并图形化展示数据资产的引擎、环境、地域、来源、类目的分布占比及数量趋势。本文介绍如何使用DMS的资产大盘。注意事项 DMS 资产大盘的 表分布占比 ...
文档修订记录
账单数据订阅及查询分析 2024.2.21 新增功能 引擎使用说明 新增DataWorks On CDP/CDH使用说明。为您介绍在DataWorks上使用CDP/CDH的基本开发流程，以及相关费用说明、环境准备、权限控制等内容。DataWorks On CDP/CDH使用说明 2024.2.19 ...
离线集成概述
代码脚本开发：对于脚本任务，您可在代码编辑器中，使用代码开发离线管道任务。④ 配置及管理 配置及管理支持集成任务的属性配置、质量监控、相关、历史。属性配置：配置离线管道任务的属性，包括基本信息、调度配置、调度依赖、运行配置等...
通用标题
参数 说明 超链接 URL链接地址，也可在数据中进行配置，优先使用数据中的配置。是否新开窗口 打开开关，在预览或发布页，单击标题区域可跳转至新的页面显示链接内容。关闭开关，仅在当前页面进行跳转。数据面板（默认模式）说明 组件数据...
使用说明
本文介绍 PolarDB 高压缩引擎（X-Engine）相关的使用说明。使用限制 引擎功能限制 X-Engine引擎在功能上有如下限制。分类 功能 说明 SQL功能 外键 不支持 临时表 不支持 Generated Column 不支持 Handler API 不支持 列属性 最大列长度...
通过DataWorks导入数据
云数据库 SelectDB 版 支持使用DataWorks的数据集成功能，通过SelectDB Writer导入表数据。本文以MySQL数据源为例，介绍如何通过DataWorks同步数据至 云数据库 SelectDB 版。使用限制 DataWorks的数据集成功能仅支持离线写入 云数据库 ...
Github实时数据同步与分析
最终效果如下：（可选）历史离线数据分析 实时数仓Hologres与大数据计算服务MaxCompute深度融合，可以组成一体化的大数据查询与分析架构。在MaxCompute公共数据集中，存储了历史GitHub全量数据。如果想要做更长时间的数据分析，有两种方式...
导入接口介绍
已将数据文件上传至Bucket中，上传方法请参见 使用OSS控制台上传数据文件 或 使用ossutil工具上传。添加导入任务 使用HTTP POST请求发送至<gdb-endpoint>:<port>/loader 终端，将数据从OSS的Bucket导入至图数据库GDB实例中。注意 MIME类型...
状态卡片
参数 说明 状态类型名 状态的类型名称，需要与数据中的value字段值对应。状态圆点颜色 此类型下，状态圆点的颜色。圆点样式：状态卡片中的圆点样式。参数 说明 位置 圆点相对于文本的位置，可选：在前 或 在后。圆角大小 圆点的圆角大小，...
等待资源
说明 数据集成任务等待资源组，可参考 离线同步任务调优 进行处理。通过智能诊断查看 您可进入 运维中心>智能诊断，输入实例ID，对任务进行全链路分析，查看当前任务执行、排队情况，以及当前任务等待资源时，哪些任务占用了资源。快速定位...
数据开发概述
各引擎开发说明：DataWorks支持绑定各种引擎并进行引擎开发任务，不同引擎任务所需的配置存在差异，其中主要引擎任务的开发说明请参见：DataWorks On MaxCompute使用说明 DataWorks On Hologres使用说明 DataWorks On EMR使用说明 通用开发...
轮播页面
图表样式 轮播页面是基础交互组件的一种，仅支持在数据中配置页面的属性，包括ID、页面名称和链接，适用于在可视化应用中轮播展示多个网页。配置面板 搜索配置：单击 配置 面板右上角的 搜索配置，可在 搜索配置 面板中输入您需要搜索的...
多行文本
单击 添加过滤器，可在 设置数据源 面板配置数据过滤器脚本，详情请参见 过滤器使用说明。数据响应结果 展示数据请求的响应结果。当数据源发生改变时，可单击右侧的 图标，实时查看数据响应结果。数据面板（分析模式）重要 在使用DataV数据...
数据归档至专属存储
说明 若您使用的是极简模式的控制台，请单击控制台左上角的 图标，选择 全部功能>解决方案>数据归档。在页面右上角，单击 数据归档。在 新建数据归档工单 页面，配置以下信息：配置项 是否必填 说明 归档目标 是 选中 专属存储。源数据库 ...
数据归档概述
当线上数据库中的历史数据（访问率很低的数据）越来越多，占用的存储越来越大，以至于会影响数据库的查询性能与业务运转，此时您可以使用 数据管理DMS 的数据归档功能，周期性地将指定表的数据归档至其他数据库或存储服务中。同时，该功能...
使用MaxCompute控制台（离线）
说明 例如：待上传的数据中，某列值为含字母的字符串类型，但对应目标表的列是BIGINT类型，那么该数据将被视为脏数据。若选择了剔除脏数据，则该条数据不会被上传。是：剔除待上传文件中与目标表中的列类型不统一的数据。否：数据全量上传...
数据库克隆
说明 若您使用的是极简模式的控制台，请单击控制台左上角的 图标，选择 全部功能>数据库开发>环境构建>数据库克隆。单击页面右上角的 数据库克隆。在 数据库克隆工单申请 页面，配置工单参数。参数名 说明 任务名称 输入具有业务意义的任务...
DLA Lakehouse实时入湖
您需要在DTS中进行以下操作：说明 目前DLA中RDS数据源的入湖分析工作负载，会先利用RDS做数据的全量同步，然后依赖DTS数据订阅功能做增量同步，最终实现完整的RDS数据入湖。创建RDS MySQL数据订阅通道 说明 由于DLA Lakehouse只支持专有...
- 产品推荐
- 这些文档可能帮助您