未来规划
数据处理与分析：海量数据分析在线化（实时在线交互式分析）。如何对海量数据进行在线分析和计算，支持实时在线交互式分析，需要做并行处理（DSP 模型、MPP 模型等等），对并行调度计算进行优化。系统能力提升：智能化+安全（使用方便可靠...
应用场景
EMR Serverless Spark可以满足企业级用户的多种数据处理与分析需求。本文介绍EMR Serverless Spark的应用场景以及相应的解决方案。建立数据平台 得益于其开放式架构设计，EMR Serverless Spark极大地简化并提升了在数据湖环境中对结构化和...
通用数据开发
通常数据开发的总体流程包括数据产生、数据收集与存储、数据分析与处理、数据提取和数据展现与分享。说明 上图中，虚线框内的开发流程均可基于阿里云大数据平台完成。数据开发的流程如下所示：数据产生：业务系统每天会产生大量结构化的...
功能特性
支持数据质量检验和控制 可以设置数据质量规则和异常报警策略，及时发现和处理数据质量问题。支持实时监控任务运行状态和查看日志 用户可以实时了解任务的执行情况，并设置异常告警，保证任务的稳定运行。支持多种数据库产品组合 支持多种...
配置学区地图Tab列表交互
在 id=2：初中 的 串行数据处理 节点与 公办初中点 和 民办初中 的连线中分别添加两个 串行数据处理 节点，并分别命名为 schooltype=公办 和 schooltype=民办。串行数据处理 节点添加完成后，最终效果实现双重判断标准，部分截图如下所示。...
配置学区地图Tab列表交互
在 id=2：初中 的 串行数据处理 节点与 公办初中点 和 民办初中 的连线中分别添加两个 串行数据处理 节点，并分别命名为 schooltype=公办 和 schooltype=民办。串行数据处理 节点添加完成后，最终效果实现双重判断标准，部分截图如下所示。...
通过脚本模式配置离线同步任务
当您需要实现更精细化的配置管理时，您可以使用脚本模式配置离线同步任务，通过编写数据同步的JSON脚本并结合DataWorks调度参数使用，将源端单表或分库分表的全量或增量数据周期性同步至目标数据表。本文为您介绍脚本模式配置离线同步任务...
什么是数据库备份DBS
常见问题和故障处理 使用DBS时遇到的各类问题，例如需要修改备份源数据库、数据库恢复失败、如何备份RDS只读实例等，您可以在 常见问题 或 常见报错 内查找，可以解决您的绝大部分问题。说明 若在文档中未找到您遇到的异常或报错，或按照...
配置学区地图单选框交互
将 公办 的 串行数据处理 节点分别与 公办小学点 的 显示 动作和 民办小学 的 隐藏 动作连线。将 民办 的 串行数据处理 节点分别与 公办小学点 的 隐藏 动作和 民办小学 的 显示 动作连线。最终的连线效果如下。使用同样的方式对 初中 节点...
配置学区地图单选框交互
将 公办 的 串行数据处理 节点分别与 公办小学点 的 显示 动作和 民办小学 的 隐藏 动作连线。将 民办 的 串行数据处理 节点分别与 公办小学点 的 隐藏 动作和 民办小学 的 显示 动作连线。最终的连线效果如下。使用同样的方式对 初中 节点...
数据模型架构规范
公共处理逻辑下沉及单一 底层公用的处理逻辑应该在数据调度依赖的底层进行封装与实现，不要让公用的处理逻辑暴露给应用层实现，不要让公共逻辑在多处同时存在。成本与性能平衡 适当的数据冗余可换取查询和刷新性能，不宜过度冗余与数据复制...
使用SDK示例代码消费订阅数据
在完成数据订阅通道的配置（创建好订阅任务和消费组）后，您可以自行编写SDK示例代码或使用DTS提供的SDK示例代码来订阅数据变更信息，本文介绍示例代码的使用方法。操作步骤 重要 如果数据源是PolarDB-X 1.0或DMS LogicDB，消费订阅数据的...
轮播列表
事件 事件 说明 当数据接口请求完成时 数据接口请求返回并经过过滤器处理后抛出的事件，同时抛出处理后的JSON格式的数据。具体数据示例请参见画布编辑器中组件右侧配置面板 数据源 页签的 数据响应结果 区域。当点击单行时 当单击轮播列表...
配置学区地图区域热力层交互
将 top3 的 串行数据处理 节点分别与 第五步 中所有的 name、average 和 count 节点的 导入数据接口 动作连线。部分连线结果如下。在上一步的九条连线中各添加一个 串行数据处理 节点，分别命名为 1-name、1-count、1-average、2-name、2-...
配置学区地图区域热力层交互
将 top3 的 串行数据处理 节点分别与 第五步 中所有的 name、average 和 count 节点的 导入数据接口 动作连线。部分连线结果如下。在上一步的九条连线中各添加一个 串行数据处理 节点，分别命名为 1-name、1-count、1-average、2-name、2-...
客户案例
这个时候存储系统的扩展性就显得非常重要，如果一开始我们就预估 5-10 年的存储资源，在前期数据规模不大的情况下，必然存在严重的资源浪费，如果前期预估得太少，随着数据增长，MySQL+中间件的集群扩容带来的数据搬迁问题又费时费力。...
双轴折线图
图表样式 双轴折线图是折线图的一种，与基本折线图相比，双轴折线图的一个类目对应两个值，仅支持两个系列的数据配置，能够以折线和区域相结合的方式，智能地展示两维的数据变化趋势。样式面板 搜索配置：单击 样式 面板右上角的搜索配置项...
基本散点图
事件 事件 说明 当散点图接口请求完成时 数据接口请求返回并经过过滤器处理后抛出的事件，同时抛出处理后的JSON格式的数据。具体数据示例请参见画布编辑器中组件右侧配置面板 数据源 页签的 数据响应结果 区域。当点击数据项时 当单击基本...
自定义区域下钻层（v4.x版本）
当自定义topojson数据接口请求完成时 自定义topojson数据接口请求返回并经过过滤器处理后抛出的事件，同时抛出处理后的JSON格式的数据。具体数据示例请参见画布编辑器中组件右侧配置面板 数据源 页签的 数据响应结果 区域。当区域被点击...
自定义区域下钻层（v3.x版本）
当自定义topojson数据接口请求完成时 自定义topojson数据接口请求返回并经过过滤器处理后抛出的事件，同时抛出处理后的JSON格式的数据。具体数据示例请参见画布编辑器中组件右侧配置面板 数据源 页签的 数据响应结果 区域。当区域被点击...
梯形柱状图
事件 事件 说明 当梯形柱状图接口请求完成时 数据接口请求返回并经过过滤器处理后抛出的事件，同时抛出处理后的JSON格式的数据。具体数据示例请参见画布编辑器中组件右侧配置面板 数据源 页签的 数据响应结果 区域。当点击数据项时 当选中...
水平胶囊柱状图
事件 事件 说明 当水平胶囊柱状图接口请求完成时 数据接口请求返回并经过过滤器处理后抛出的事件，同时抛出处理后的JSON格式的数据。具体数据示例请参见画布编辑器中组件右侧配置面板 数据源 页签的 数据响应结果 区域。当点击数据项时 当...
分组柱状图
图表样式 分组柱状图是柱状图的一种，支持根据数据类目自动分组展示，能够更加清晰智能地展示各类别之间和各类别内部的数据差异，但在数据看板中所占空间较大。样式面板 搜索配置：单击 样式 面板右上角的搜索配置项图标，可在搜索配置面板...
斑马柱状图
图表样式 斑马柱状图是柱状图的一种，与基本柱图相比，斑马柱状图中的柱子是由不连续的可配置的线条组成，能够更加智能美观地展示多维的数据差异，但在可视化应用中占的空间较大。样式面板 搜索配置：单击 样式 面板右上角的搜索配置项图标...
区块概述
更新样式 动作接口，用于在获取数据之后，通过 串行数据处理 逻辑节点处理数据后，最后调用了 垂直胶囊柱状图 组件的 更新组件配置 动作。下图是上述案例的区块在使用时对外展示的 数据源配置、交互配置 和 蓝图参数内容 的样式。数据源...
区块概述
更新样式 动作接口，用于在获取数据之后，通过 串行数据处理 逻辑节点处理数据后，最后调用了 垂直胶囊柱状图 组件的 更新组件配置 动作。下图是上述案例的区块在使用时对外展示的数据配置、交互配置和蓝图参数内容的样式。图 1.数据配置 ...
DataWorks On Hologres使用说明
一、数据集成 DataWorks的数据集成模块为您提供读取和写入数据至Hologres的能力，您可将其他数据源的数据同步至Hologres数据源，或将Hologres数据源的数据同步至其他数据源。同时，可根据需要选择离线同步、实时同步、全增量同步任务等场景...
常见问题
数据库连接问题 数据同步问题 数据迁移问题 数据订阅问题 其他问题 说明 若您有其他疑问或需求，可以 通过钉钉（钉钉通讯客户端下载地址）进入到DTS客户交流钉钉群（群号：68325004196或68640008972），进行咨询。计费问题 DTS如何计费？...
DataWorks On CDP/CDH使用说明
一、数据集成 DataWorks的数据集成模块为您提供读取和写入数据至CDP/CDH Hive、CDP/CDH HBase的能力，您需要将Hive或HBase组件创建为 DataWorks的 Hive或HBase数据源，实现将其他数据源的数据同步至Hive或HBase数据源，或将Hive或HBase数据...
2023年
ListJobInfos-查看作业列表 2023-12-04 新增SKEWJOIN HINT 新说明 当两张表Join存在热点，导致出现长尾问题时，您可以通过取出热点key，将数据分为热点数据和非热点数据两部分处理，最后合并的方式，提高Join效率。SkewJoin Hint可以通过...
DataWorks On MaxCompute使用说明
一、数据集成 DataWorks的数据集成模块为您提供读取和写入数据至MaxCompute的能力，您可将其他数据源的数据同步至MaxCompute数据源，或将MaxCompute数据源的数据同步至其他数据源。同时，可根据需要选择离线同步、实时同步、全增量同步任务...
查看数据迁移项目的详情
数据传输支持校验中或校验失败的项目跳过全量校验。在 全量校验 页面，单击 跳过全量校验，并在弹出对话框中，单击 确定。重要 跳过全量校验后，您将无法恢复该校验任务进行数据比对和数据订正，您需要通过克隆当前项目再次发起全量校验，...
云数据库Redis开发运维规范
云数据库Redis拥有极强的性能，阿里云结合多年的运维经验，从业务部署、Key的设计、SDK、命令、运维管理等维度展示云数据库Redis开发运维规范，为您设计高效的业务系统提供参考，帮助您充分发挥Redis的能力。了解Redis性能边界 图 1.Redis...
Tair开发运维规范
云原生内存数据库Tair 拥有极强的性能，阿里云结合多年的运维经验，从业务部署、Key的设计、SDK、命令、运维管理等维度展示 Tair 开发运维规范，为您设计高效的业务系统提供参考，帮助您充分发挥Tair的能力。了解 Tair 性能边界 图 1.Tair ...
查看并管理治理工作台
您可以在治理工作台查看数据质量在校验过程中的出错情况及针对该质量校验问题发起整改、忽略、通知等治理操作，从而实现资产质量从制定计划到实现整改的PDCA完整流程，有效提升数据质量。本文为您介绍如何查看并管理治理工作台。权限说明 ...
查看并管理治理工作台
您可以在治理工作台查看数据质量在校验过程中的出错情况及针对该质量校验问题发起整改、忽略、通知等治理操作，从而实现资产质量从制定计划到实现整改的PDCA完整流程，有效提升数据质量。本文为您介绍如何查看并管理治理工作台。权限说明 ...
功能发布记录（2023年）
2023.3.15 所有地域 所有DataWorks用户 处理治理项问题 数据服务的加速服务启动商业化 加速服务面向MaxCompute数据源生成在线API服务，无需导出MaxCompute数据，即可提供良好的查询性能与效率，满足在线查询需求。2023.3.1 华东2（上海）、...
SmartData常见问题
本文汇总了使用SmartData时的常见问题。基本概念 什么是JindoFS？已经有阿里云OSS，为什么还要使用JindoFS？JindoFS有哪些使用方式？使用场景是什么？JindoFS SDK和缓存模式的区别是什么？JindoFS缓存模式和Block模式的区别是怎么？JindoFS...
文档修订记录
处理治理项问题 处理检查项事件 2023.7.25 更新功能 管理控制台 新版管理控制台更新上线。管理控制台功能概览 2023.7.18 新增功能 数据集成 为您介绍如何LogHub（SLS）实时ETL同步至Hologres任务 LogHub（SLS）实时ETL同步至Hologres 2023....
DataWorks节点合集
ODPS SQL、Hologres SQL、EMR Hive），以及可对引擎计算节点进行复杂逻辑处理的通用节点（例如，可统筹管理多个节点的虚拟节点、可循环执行代码的do-while节点），多种节点配合使用，满足您不同的数据处理需求。数据开发（DataStudio）支持...
- 产品推荐
- 这些文档可能帮助您