开启冷数据归档
本文介绍了如何开启冷数据归档功能，以及查看开启该功能后OSS中冷数据的归档信息。前提条件 集群版本要求如下：当产品系列为 集群版 时，版本需为如下版本之一：PolarDB MySQL版 8.0.1版本且修订版本为8.0.1.1.31及以上。PolarDB MySQL版 8...
设置透明数据加密TDE
在安全合规或静态数据加密等场景下，推荐使用透明数据加密TDE（Transparent Data Encryption）功能，对数据文件执行实时I/O加密和解密，确保敏感数据在写入磁盘之前进行加密，从磁盘读入内存时进行解密，阻止可能的攻击者绕过数据库直接从...
离线同步数据质量排查
如果写出数据和目标存储已有数据发生数据约束（主键冲突、唯一键约束、外键约束等），数据库则使用来源数据update更新目标表已有数据行，在目标表存在多个数据约束的情况下，数据替换可能会失败并产生脏数据 如果写出数据和目标存储已有...
补数据
周、月任务如何执行补数据操作 补数据功能说明 补数据支持补历史一段时间区间的数据或者需要补未来一段时间的数据时，可以选择补数据功能。节点使用的调度参数会根据补数据选择的业务时间自动替换为对应的值。将MySQL增量数据写入...
使用限制
数据库小版本 如果您的数据库小版本过期或者不在维护列表内，当执行实例版本升级、数据迁移、变更实例配置或数据恢复等操作时，为保证提供更出色的性能和稳定性，系统会默认将您的数据库小版本升级至最新版。数据库连接 不支持切换网络类型...
配置逻辑表数据延迟
使用限制 事实逻辑表数据时效须为天时效（离线T+1）且该逻辑表设置了 事件时间 字段，才可配置是否开启数据延迟。当前逻辑表无设置事件时间字段、无主键时，不支持开启延迟数据处理。操作步骤 请参见 数据开发入口 进入数据 开发 页面。在...
配置逻辑表数据延迟
使用限制 事实逻辑表数据时效须为天时效（离线T+1）且该逻辑表设置了 事件时间 字段，才可配置是否开启数据延迟。当前逻辑表无设置事件时间字段、无主键时，不支持开启延迟数据处理。操作步骤 请参见 数据开发入口，进入数据 开发 页面。在...
配置MySQL输入
DataWorks的数据集成实时同步MySQL数据是基于实时订阅MySQL实现的，实时同步MySQL数据目前仅支持配置MySQL数据源为RDS的 5.x 或 8.x 版本的MySQL，如果需要同步DRDS的MySQL，请不要将DRDS的MySQL配置为MySQL数据源，您可以参考 配置DRDS...
功能概述
当您的数据库中有数据需要被保护时，可以使用RDS MySQL全密态数据库功能，该功能提供的加密解决方案能够在遵守数据保护法规的前提下保障您的数据安全，使被保护数据免受未授权访问。本文介绍全密态数据库的概念、应用场景和安全分级。什么...
资产安全概述
通过数据分类分级、敏感数据识别、敏感数据脱敏等措施，帮助客户建立完善的数据安全体系，确保数据使用的安全合规性。前提条件 已购买 资产安全 增值服务，详情请参见 开通Dataphin。应用场景 基于Dataphin实现数据安全保护的一些典型的...
资产安全概述
通过数据分类分级、敏感数据识别、敏感数据脱敏等措施，帮助客户建立完善的数据安全体系，确保数据使用的安全合规性。前提条件 已购买 资产安全 增值服务并且当前租户已开通 资产安全 模块。应用场景 基于Dataphin实现数据安全保护的一些...
敏感数据溯源
解决方案：您需要检查目标文件是否开启 数据水印，DataWorks仅支持对开启 数据水印 功能之后所执行的数据访问操作进行溯源。查看并开启 数据水印 功能，详情请参见 创建数据脱敏规则。您所溯源的文件不存在信息泄露，可能是其他外部系统的...
添加RDS for MySQL数据源
但是由于VPC网络实现机制的原因，有时控制台显示的实例ID并不是DataV数据源配置VPC网络需要的实例ID。因此您需要通过数据库产品的OpenAPI获取DataV需要的VPC实例ID，通常为数据库实例详情中的 VPCCloudInstanceId 或 VPCInstanceId，具体...
添加RDS for MySQL数据源
但是由于VPC网络实现机制的原因，有时控制台显示的实例ID并不是DataV数据源配置VPC网络需要的实例ID。因此您需要通过数据库产品的OpenAPI获取DataV需要的VPC实例ID，通常为数据库实例详情中的 VPCCloudInstanceId 或 VPCInstanceId，具体...
添加RDS for PostgreSQL数据源
但是由于VPC网络实现机制的原因，有时控制台显示的实例ID并不是DataV数据源配置 VPC网络需要的实例ID。因此您需要通过数据库产品的OPEN API获取DataV需要的VPC实例ID，通常为数据库实例详情中的VpcCloudInstanceId或VpcInstanceId，具体...
添加RDS for PostgreSQL数据源
但是由于VPC网络实现机制的原因，有时控制台显示的实例ID并不是DataV数据源配置 VPC网络需要的实例ID。因此您需要通过数据库产品的OPEN API获取DataV需要的VPC实例ID，通常为数据库实例详情中的VpcCloudInstanceId或VpcInstanceId，具体...
实时数据订阅概述
非SSD实例不建议开启数据订阅功能，由于数据订阅功能中导出整行数据的最新值或更新前的值时为了获取更新前的值会对Lindorm实例增加读操作，每一次写入操作都会增加一次读操作。如果您不需要OldImage/NewImage功能，仅需要变更Delta数据，请...
数据脱敏
可选：开启数据水印开关，并单击 下一步。数据水印支持配置水印字段、水印算法和添加自定义备注水印信息，帮您实现泄漏数据的溯源。例如：员工A需要导出一份订单数据，管理员将“某年某月某日导出XX数据给员工A”设为水印信息并在导出时填...
数据库高级特性管理
您可以在RDS管理控制台查看或修改数据库中的各类属性，也可以手动收缩数据库事务日志和更新数据库统计信息，以优化数据库性能和提高查询效率。前提条件 已创建数据库。创建方法，请参见 创建数据库。实例所在地域必须在：华东1（杭州）、...
多可用区数据强一致
对已购买的集群开启数据强一致 当前暂不支持对已购买的集群开启数据强一致功能。如有需求，您可以创建新集群，并在创建时开启数据强一致功能，然后通过 数据传输服务（DTS）进行数据迁移，将原有数据迁移到新集群上。具体操作可参见 ...
资源组操作及网络连通
请检查是否使用了公共资源组，公共资源组网络不稳定，建议使用独享数据集成资源组，以保证连接的稳定性。已经购买独享资源组，但在数据源测试连通性时或任务执行时找不到该资源组怎么办？请确认独享资源组已经绑定DataWorks工作空间。详情...
按时间戳冷热分离
注意事项 若某一行数据同时包含热数据和冷数据，例如更新了部分列导致一行数据中既存在热数据又存在冷数据的场景，开启查询热数据优先功能会导致该行的查询结果分两次返回，即Scanner返回的Result集合中，对于同一个Rowkey会有两个对应的...
HBase数据同步与迁移
如果您想要将自建HBase或阿里云HBase中的数据迁移或同步至Lindorm 宽表引擎，可以通过LTS服务完成存量数据迁移和实时数据同步。本文介绍HBase数据同步与迁移的使用场景、功能列表、迁移优势、使用限制以及迁移任务等操作。使用场景 自建...
DLA Presto CU版本快速入门
配置数据源网络 说明 如果需要连接您VPC内的数据源（如VPC内的RDS、AnalyticDB等）,您需要配置数据源网络，如不需要连接，忽略此步骤即可。在配置数据源网络前，您需要授予DLA账户访问您VPC相关API的权限，详细操作步骤请参见 配置数据源...
数据探查全局配置
数据探查配置可开启自动探查的数据表范围，管控数据探查记录、并发运行任务数、任务探查时间及配置set参数，从而更合理的运用资源。本文为您介绍如何进行数据探查的全局配置。前提条件 需开通数据质量功能模块才可使用数据探查功能。权限 ...
数据探查全局配置
数据探查配置可开启自动探查的数据表范围，管控数据探查记录、并发运行任务数、任务探查时间及配置set参数，从而更合理的运用资源。本文为您介绍如何进行数据探查的全局配置。前提条件 需开通数据质量功能模块才可使用数据探查功能。使用...
同步时源库为Redis的注意事项及限制
如果同步的源数据库类型为Redis，如自建Redis、云数据库Redis，您需要在配置具体的同步任务前，参考本文的注意事项及限制，以保障数据同步任务的正常运行。源库为Redis的同步方案概览 根据如下同步方案，查看同步任务的注意事项及限制：...
全增量数据同步
增量同步中的日志管理 开启增量同步后，如果不消费数据，默认日志会保留48小时，超时后订阅关系自动取消，保留的数据自动删除。什么场景会导致“不消费数据”：没有终止任务的前提下直接释放LTS集群；同步任务暂停；任务异常阻塞 注意事项 ...
MySQL实例间的双向同步
同步源数据库 同步目的数据库 RDS MySQL实例 ECS上的自建数据库 通过专线、VPN网关或智能网关接入的自建数据库 通过数据库网关接入的自建数据库 通过云企业网CEN接入的自建数据库 RDS MySQL实例 ECS上的自建数据库 通过专线、VPN网关或智能...
冷热分离
由于是先返回热数据，再返回冷数据，开启热数据优先功能后，无法保证后返回的冷数据结果的Rowkey一定大于先返回的热数据结果的Rowkey，即Scan得到的Result集不保序，但热数据和冷数据的各自返回集仍保证按Rowkey有序排列（参见下面的demo）...
创建DMS逻辑库的数据订阅任务
若 RDS MySQL 为经典网络实例，则不支持通过公网IP方式进行数据订阅。操作步骤 进入订阅任务的列表页面。登录 DMS数据管理服务。在顶部菜单栏中，单击 集成与开发（DTS）。在左侧导航栏，选择 数据传输（DTS）>数据订阅。说明 实际操作可能...
使用限制
在使用云数据库MongoDB前，您需要了解不同类型云数据库MongoDB实例本身存在的约束信息，使您初步了解不同类型云数据库MongoDB实例的使用限制，以帮助您选择更适合业务场景的实例。单节点实例 功能 约束 实例部署 目前不是所有地域和可用区...
常见问题
A：这是因为主表和索引表的冷数据归档过程是独立的，并且归档主表和索引表冷数据的操作是周期性触发的，导致了主表和索引表滞留在热存储的数据不一致，进而出现查询到的冷数据不一致的现象。您可以在查询条件中添加热数据的时间范围，避免...
数据加密
本文介绍RDS提供的数据加密功能。SSL RDS提供MySQL、SQL Server和PostgreSQL的安全套接层协议（Secure Sockets Layer，简称SSL）。您可以使用RDS提供的服务器端的根证书来验证目标地址和端口的数据库服务是不是RDS提供的，从而可有效避免...
数据加密
本文介绍RDS提供的数据加密功能。SSL RDS提供MySQL、SQL Server和PostgreSQL的安全套接层协议（Secure Sockets Layer，简称SSL）。您可以使用RDS提供的服务器端的根证书来验证目标地址和端口的数据库服务是不是RDS提供的，从而可有效避免...
大版本升级常见问题
A：同步数据能够保证同步过程不丢失数据，停机（即暂停业务，不产生增量数据，而非停用数据库）时间小于10分钟，如果有需要还可以进行回滚。Q：取消升级会有什么影响？A：取消升级会有如下影响：会切断源集群到目标集群的同步链路，导致源...
数据加密
本文介绍RDS提供的数据加密功能。SSL RDS提供MySQL、SQL Server和PostgreSQL的安全套接层协议（Secure Sockets Layer，简称SSL）。您可以使用RDS提供的服务器端的根证书来验证目标地址和端口的数据库服务是不是RDS提供的，从而可有效避免...
创建PolarDB-X 2.0数据订阅任务
若源库为经典网络的实例，则不支持通过公网IP方式进行数据订阅。注意事项 类型 说明 源库限制 待订阅的表需具备主键或唯一约束，且字段具有唯一性，否则可能会导致订阅到的重复数据。如订阅对象为表级别，则单次订阅任务仅支持至多500张表...
创建PolarDB-X 1.0数据订阅任务
若源库为经典网络的实例，则不支持通过公网IP方式进行数据订阅。注意事项 类型 说明 源库限制 待订阅的表需具备主键或唯一约束（仅具有唯一约束的表不支持订阅结构更新，建议使用主键约束），且字段具有唯一性，否则可能会导致订阅到的重复...
创建RDS MySQL数据订阅任务
通过数据订阅功能，您可以实时订阅源库的增量数据，轻松帮助业务实现轻量级缓存更新、业务异步解耦、含ETL逻辑的数据实时同步等场景。本文将介绍如何创建 RDS MySQL 数据订阅任务。前提条件 已创建源 RDS MySQL 实例，创建方式，请参见 ...
- 产品推荐
- 这些文档可能帮助您