确定需求
明细数据层和汇总数据层应该如何设计？公共维度层该如何设计？是否有公共的指标？数据是否需要冗余或沉淀到汇总数据层中？举例：数据分析师需要了解A公司电商业务中厨具类目的成交金额。当获知这个需求后，您需要分析：根据什么（维度）...
确定需求
明细数据层和汇总数据层应该如何设计？公共维度层该如何设计？是否有公共的指标？数据是否需要冗余或沉淀到汇总数据层中？举例：数据分析师需要了解A公司电商业务中厨具类目的成交金额。当获知这个需求后，您需要分析：根据什么（维度）...
确定需求
基于上个问题，进一步思考明细数据层的事实模型和公共可引用的维度模型、汇总数据层的汇总模型应该如何设计？是否有公共使用，命名及逻辑相似的统计指标，目前已经重复建设使用，需要通过上述设计规范化？举例：数据分析师需要了解A公司...
资产安全概述
通过数据分类分级、敏感数据识别、敏感数据脱敏等措施，帮助客户建立完善的数据安全体系，确保数据使用的安全合规性。前提条件 已购买 资产安全 增值服务，详情请参见 开通Dataphin。应用场景 基于Dataphin实现数据安全保护的一些典型的...
资产安全概述
通过数据分类分级、敏感数据识别、敏感数据脱敏等措施，帮助客户建立完善的数据安全体系，确保数据使用的安全合规性。前提条件 已购买 资产安全 增值服务并且当前租户已开通 资产安全 模块。应用场景 基于Dataphin实现数据安全保护的一些...
如何处理Tair集群数据倾斜
您可以在 性能监控 的 数据节点 页面中查看各数据分片节点的对应指标，通常情况下，若某数据分片节点（最高）的性能指标高出其他数据分片节点（最低）20%及以上时，可认为已产生数据倾斜，差值越大，数据倾斜程度越严重。下图介绍两个典型...
如何处理Redis集群数据倾斜
您可以在 性能监控 的 数据节点 页面中查看各数据分片节点的对应指标，通常情况下，若某数据分片节点（最高）的性能指标高出其他数据分片节点（最低）20%及以上时，可认为已产生数据倾斜，差值越大，数据倾斜程度越严重。下图介绍两个典型...
X-Engine引擎常见问题
主索引LSM-Tree分为3层，大部分数据集中在第1层和第2层，其中第0层是从内存直接转储的数据，不进行数据压缩。因此，查询压缩率的SQL语句中使用 LEVEL in(1,2)来计算这两层压缩比的加权平均值，从而得到X-Engine中的表数据的压缩比。如果要...
X-Engine简介
X-Engine使用了 LSM-Tree 作为分层存储的架构基础，并进行了重新设计：热数据层和数据更新使用内存存储，通过内存数据库技术（Lock-Free index structure/append only）提高事务处理的性能。流水线事务处理机制，把事务处理的几个阶段并行...
RDS术语
此外，它还提供了用于部署、监视和升级数据层组件（如应用程序使用的数据库和数据仓库）的工具以生成查询和脚本。实例 一个独立占用物理内存的数据库服务进程，是虚拟化的数据库服务器。可以设置不同的内存大小、磁盘空间和数据库类型。您...
RDS术语
此外，它还提供了用于部署、监视和升级数据层组件（如应用程序使用的数据库和数据仓库）的工具以生成查询和脚本。实例 一个独立占用物理内存的数据库服务进程，是虚拟化的数据库服务器。可以设置不同的内存大小、磁盘空间和数据库类型。您...
PolarDB-X 2.0迁移至阿里云消息队列Kafka
本文介绍如何使用数据传输服务DTS（Data Transmission Service），您可以将 PolarDB-X 2.0 迁移至阿里云消息队列Kafka，从而扩展消息处理能力。前提条件 已创建源 PolarDB-X 2.0 实例，且需兼容MySQL 5.7版本。目标Kafka实例中已创建用于...
自建Oracle迁移至阿里云消息队列Kafka版
本文介绍如何使用数据传输服务DTS（Data Transmission Service），将自建Oracle迁移至阿里云消息队列Kafka。前提条件 已创建源数据库自建Oracle和目标实例 阿里云消息队列Kafka版。说明 源数据库和目标实例支持的版本，请参见 迁移方案概览...
PolarDB MySQL版迁移至Kafka
本文介绍如何使用数据传输服务DTS（Data Transmission Service），将 PolarDB MySQL版 集群迁移至Kafka集群，扩展消息处理能力。前提条件 已创建目标自建Kafka集群实例或 阿里云消息队列Kafka版 实例。说明 若目标实例为 阿里云消息队列...
DQL操作常见问题
解决措施 将SQL拆分为两层，内层处理没有常量的DISTINCT逻辑，外层加入常量数据。在执行MaxCompute SQL过程中，报错Expression not in GROUP BY key，如何解决？问题现象 执行MaxCompute SQL时，返回报错如下。FAILED:ODPS-0130071:...
文档修订记录
DataWorks数据安全治理路线 2023年12月更新记录 时间 特性 类别 描述 产品文档 2023.12.29 新增功能 数据开发 若您要在DataWorks中进行数据建模、数据开发或使用运维中心周期性调度任务，需先将已创建的数据源或集群绑定至数据开发...
PolarDB-X 1.0迁移至阿里云消息队列Kafka
本文介绍如何使用数据传输服务DTS（Data Transmission Service）将PolarDB-X 1.0迁移至阿里云消息队列Kafka。前提条件 已创建源PolarDB-X 1.0实例。具体操作，请参见 创建实例。说明 PolarDB-X 1.0的存储类型支持为RDS MySQL（包括私有定制...
Db2 for LUW同步至自建Kafka集群
如为全量同步和增量同步任务，DTS要求源数据库的数据日志至少保留7天以上（您可在全量同步完成后将数据日志保存时间设置为24小时以上），否则DTS可能因无法获取数据日志而导致任务失败，极端情况下甚至可能会导致数据不一致或丢失。...
PolarDB-X 2.0同步至阿里云消息队列Kafka
是否使用Kafka Schema Registry Kafka Schema Registry是元数据提供服务层，提供了一个RESTful接口，用于存储和检索Avro Schema。否：不使用Kafka Schema Registry。是：使用Kafka Schema Registry。您需要输入Avro Schema在Kafka Schema ...
Db2 for LUW迁移至阿里云消息队列Kafka版
数据传输服务DTS（Data Transmission Service）支持将 Db2 for LUW 数据库迁移至 阿里云消息队列Kafka版。前提条件 已创建存储空间大于源 Db2 for LUW 数据库占用存储空间的目标 阿里云消息队列Kafka版 实例。更多信息，请参见 概述。说明 ...
模型加载器
当模型层请求失败时 模型层数据接口请求失败时（请求失败的情况可能是：网络问题或接口报错等）返回并经过过滤器处理后抛出的事件，同时抛出处理后的object或array类型数据。左键点击模型 当鼠标左键单击模型时抛出的事件，抛出被点击的...
移动图标层
当移动图标层请求失败时 数据接口请求失败时（请求失败的情况可能是：网络问题或接口报错等）返回并经过过滤器处理后抛出的事件，同时抛出处理后的JSON格式的数据。具体数据示例请参见画布编辑器中组件右侧配置面板 数据 页签的 数据响应...
散点层（线性渐变）
当散点层请求失败时 数据接口请求失败时（请求失败的情况可能是：网络问题或接口报错等）返回并经过过滤器处理后抛出的事件，同时抛出处理后的JSON格式的数据。具体数据示例请参见画布编辑器中组件右侧配置面板 数据 页签的 数据响应结果 ...
轨迹层
当数据接口请求失败时 轨迹线层请求失败时（请求失败的情况可能是：网络问题或接口报错等）返回并经过过滤器处理后抛出的事件，同时抛出处理后的JSON格式的数据。具体数据示例请参见画布编辑器中组件右侧配置面板 数据 页签的 数据响应结果...
路网轨迹层
当轨迹层请求完成时 轨迹层请求失败时（请求失败的情况可能是：网络问题或接口报错等）返回并经过过滤器处理后抛出的事件，同时抛出处理后的JSON格式的数据。具体数据示例请参见画布编辑器中组件右侧配置面板 数据 页签的 数据响应结果 ...
热力线层
当热力线层请求失败时 热力线层请求失败时（请求失败的情况可能是：网络问题或接口报错等）返回并经过过滤器处理后抛出的事件，同时抛出处理后的JSON格式的数据。具体数据示例请参见画布编辑器中组件右侧配置面板 数据 页签的 数据响应结果...
级联选择器
当数据接口请求失败时 数据接口请求失败时（请求失败的情况可能是：网络问题或接口报错等）返回并经过过滤器处理后抛出的事件，同时抛出处理后的JSON格式的数据。具体数据示例请参见画布编辑器中组件右侧配置面板 数据 页签的 数据响应结果...
图标散点层
当数据接口请求失败时 数据接口请求失败时（请求失败的情况可能是：网络问题或接口报错等）返回并经过过滤器处理后抛出的事件，同时抛出处理后的JSON格式的数据。具体数据请参见上文的 数据示例。当点击点时 当单击图标散点层的散点时抛出...
地图容器（v3.x版本）
当自定义下钻层级数据接口请求失败时 数据接口请求失败时（请求失败的情况可能是：网络问题或接口报错等）返回并经过过滤器处理后抛出的事件，同时抛出处理后的JSON格式的数据。具体数据示例请参见画布编辑器中组件右侧配置面板 数据 页签...
区域热力层（v2.x版本）
当地理边界geojson数据接口请求失败时 地理边界geojson数据接口请求失败时（请求失败的情况可能是：网络问题或接口报错等）返回并经过过滤器处理后抛出的事件，同时抛出处理后的JSON格式的数据。具体数据示例请参见画布编辑器中组件右侧...
区域下钻热力层（v2.x版本）
当自定义区域数据请求失败时 自定义区域数据接口请求失败时（请求失败的情况可能是：网络问题或接口报错等）返回并经过过滤器处理后抛出的事件，同时抛出处理后的JSON格式的数据。具体数据示例请参见画布编辑器中组件右侧配置面板 数据 页...
区域热力层（v3.x版本）
当地理边界geojson数据接口请求失败时 地理边界geojson数据接口请求失败时（请求失败的情况可能是：网络问题或接口报错等）返回并经过过滤器处理后抛出的事件，同时抛出处理后的JSON格式的数据。具体数据示例请参见画布编辑器中组件右侧...
数据迁移与同步FAQ
本文为您列出数据迁移与数据同步的常见问题和相关解答。什么是数据迁移、数据同步？DTS的数据迁移与数据同步工作原理是什么？DTS的数据迁移与数据同步有什么区别？使用DTS遇到预检查报错，如何解决？什么是数据迁移、数据同步？数据迁移：...
混合散点层（v2.x版本）
当数据接口请求失败时 数据接口请求失败时（请求失败的情况可能是：网络问题或接口报错等）返回并经过过滤器处理后抛出的事件，同时抛出处理后的JSON格式的数据。具体数据示例请参见画布编辑器中组件右侧配置面板 数据 页签的 数据响应结果...
自定义区域下钻层（v3.x版本）
当自定义topojson数据接口请求失败时 自定义topojson数据接口请求失败时（请求失败的情况可能是：网络问题或接口报错等）返回并经过过滤器处理后抛出的事件，同时抛出处理后的JSON格式的数据。具体数据示例请参见画布编辑器中组件右侧配置...
轨迹线层（v3.x版本）
当数据接口请求失败时 数据接口请求失败时（请求失败的情况可能是：网络问题或接口报错等）返回并经过过滤器处理后抛出的事件，同时抛出处理后的JSON格式的数据。具体数据示例请参见画布编辑器中组件右侧配置面板 数据 页签的 数据响应结果...
二维图标层（v3.x版本）
当数据接口请求失败时 数据接口请求失败时（请求失败的情况可能是：网络问题或接口报错等）返回并经过过滤器处理后抛出的事件，同时抛出处理后的JSON格式的数据。具体数据示例请参见画布编辑器中组件右侧配置面板 数据 页签的 数据响应结果...
图标散点层（v2.x版本）
当数据接口请求失败时 数据接口请求失败时（请求失败的情况可能是：网络问题或接口报错等）返回并经过过滤器处理后抛出的事件，同时抛出处理后的JSON格式的数据。具体数据示例请参见画布编辑器中组件右侧配置面板 数据 页签的 数据响应结果...
文字标注层（v2.x版本）
当数据接口请求失败时 数据接口请求失败时（请求失败的情况可能是：网络问题或接口报错等）返回并经过过滤器处理后抛出的事件，同时抛出处理后的JSON格式的数据。具体数据示例请参见画布编辑器中组件右侧配置面板 数据 页签的 数据响应结果...
矢量散点层（v2.x版本）
当映射数据接口请求失败时 映射数据接口请求失败时（请求失败的情况可能是：网络问题或接口报错等）返回并经过过滤器处理后抛出的事件，同时抛出处理后的JSON格式的数据。具体数据示例请参见画布编辑器中组件右侧配置面板 数据 页签的 数据...
- 产品推荐
- 这些文档可能帮助您