云数据库ClickHouse集群间的数据迁移
当您计划切换云数据库ClickHouse的版本时，可以使用 云数据库ClickHouse 控制台的数据迁移功能进行数据迁移。该功能支持数据的全量迁移和增量迁移，来确保您数据的完整性。前提条件 源集群和目标集群均为社区兼容版集群。源集群和目标集群...
配置规则：按表（单表）
数据质量支持按照数据表配置质量监控规则，用来监控表数据是否符合要求，自动拦截问题任务，阻断脏数据向下游蔓延，保障产出的表数据符合预期。规则配置完成后，您可先试跑该规则，确保质量规则的配置符合预期。同时，还可对质量规则执行...
使用数据传输同步数据
数据同步能够保持源端和目标端的数据一致性，实现关键业务的数据实时流动。本文以同步 OceanBase 数据库的数据至 Kafka 为例，介绍如何使用数据传输同步数据。前提条件 在同步数据之前，您需要确认以下信息：数据传输已具备云资源访问权限...
功能更新动态（2023年）
创建MySQL数据源 创建PolarDB-X数据源 创建AnalyticDB for MySQL 2.0数据源 创建AnalyticDB for PostgreSQL数据源 创建达梦（DM）数据源 创建TiDB数据源 创建Kafka数据源 离线集成 新增Apache Doris数据源的离线集成。整库迁移任务支持...
文档更新动态（2023年）
更新说明 创建MySQL数据源 创建PolarDB-X数据源 创建AnalyticDB for MySQL 2.0数据源 创建AnalyticDB for PostgreSQL数据源 创建达梦（DM）数据源 创建TiDB数据源 创建Kafka数据源 离线集成配置优化 新增Apache Doris数据源的离线集成。...
OceanBase 数据库 MySQL 租户之间的数据同步
本文为您介绍如何创建 OceanBase 数据库 MySQL 租户（简称为 OB_MySQL）至 OceanBase 数据库 MySQL 租户的数据同步项目。前提条件 数据传输已具备云资源访问权限。详情请参见 数据传输迁移角色授权。已为 OceanBase 数据库创建专用于数据...
同步 OceanBase 数据库的数据至 RocketMQ
本文为您介绍如何使用数据传输同步 OceanBase 数据库的数据至 RocketMQ。背景信息 消息队列 RocketMQ 是阿里云基于 Apache RocketMQ 构建的低延迟、高并发、高可靠的分布式消息中间件。数据传输的数据同步功能可以帮助您实现 OceanBase ...
同步 OceanBase 数据库 MySQL 租户的数据至 Analytic...
本文为您介绍如何同步 OceanBase 数据库 MySQL 租户的数据至云原生数据仓库 AnalyticDB MySQL 版。背景信息 AnalyticDB MySQL 版的基本介绍请参见 基础数据类型。AnalyticDB MySQL 版的建表、分区表和分布表的详情请参见 CREATE TABLE。...
同步 RDS PostgreSQL 实例的数据至 OceanBase 数据库 ...
目标端表对象存在记录时处理策略 选择 忽略：目标端表对象存在数据时，如果原数据与写入数据冲突，数据传输采用将冲突数据记录日志，保留原数据不变的策略进行数据写入。重要 选择 忽略，全量校验将使用 IN 模式拉取数据，无法校验目标端多...
同步 OceanBase 数据库的数据至 Kafka
背景信息 Kafka 是目前广泛应用的高性能分布式流计算平台，数据传输支持 OceanBase 数据库两种租户与自建 Kafka 数据源之间的数据实时同步，扩展消息处理能力，广泛应用于实时数据仓库搭建、数据查询和报表分流等业务场景。前提条件 数据...
数据追踪
基本概念 检测点 当一个数据追踪工单被提交时，系统会校验该工单是否符合检测点的相关规则。基础配置项：配置 数据追踪默认审批模板，当 审批规则校验 中未配置审批流程时，系统会采用此默认的审批模板。您可以更改默认审批模板的审批流程...
数据库克隆
本文介绍设置数据库克隆工单审批流程的操作步骤。注意事项 当数据克隆 审批规则校验 中未配置审批流程时，系统会采用默认的审批模板。您可以通过 切换审批模板 来 修改默认审批模板。配置项说明 检测点 当一个测试数据构建工单被提交时，...
管理识别模型
识别模型是 DMS 敏感数据识别能力的升级，在敏感数据识别能力的基础上，扩充了内置的模型数量，同时，也支持自定义识别模型，您可以通过使用内置和自定义模型构建专属的敏感数据识别能力。本文介绍如何查看识别模型、添加、编辑和删除...
通过检测外发文件保障数据安全
为了避免企业员工在日常办公中，通过多种渠道（例如即时通讯、邮件通道等）外发敏感文件导致业务遭受重大损失，建议您通过 SASE 的办公数据保护功能（DLP）及时对外发的文件进行检测和管控，使您能够实时掌握敏感数据外发动态，监控数据...
质量评估
质量评估通过用户自定义质量检查计划，根据用户设置的数据质量规则执行面向不同计算资源的质量检查任务，通过数据质量监控报告展现系统整体数据质量概览及多维度细分数据的质量情况。质量评估通过完整性、准确性、一致性、唯一性、时效性、...
识别任务说明
文件或表扫描限制 为了避免数据源中文件或表过大影响整体扫描进度，数据安全中心对可以扫描的文件大小或表的字段大小做了限制，请您在进行敏感数据扫描前了解以下规则：结构化数据（RDS MySQL、RDS PostgreSQL、PolarDB等）、大数据...
性能异常检测
通过机器学习和智能算法，支持数据库实例核心指标的异常检测和预测，并自动联动一键诊断模块，帮助您直接定位异常根因。前提条件 数据库实例需要满足以下条件：当前仅支持 RDS MySQL。数据库实例已接入DAS，并且接入状态显示为 接入正常，...
连通性检测
本文介绍云数据库HBase连通性检测和与云数据库HBase网络不通的可能原因。背景信息 云数据库HBase为了保障安全性，不提供Ping的ICMP协议，请不要使用Ping来访问，判断是否连通云数据库HBase，请使用Telnet。平台提供了公网访问及内网访问，...
ModifyRuleStatus-修改识别规则的检测功能状态
调用本接口开启或关闭敏感数据识别规则的检测功能。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 下表是API对应的授权信息，可以在RAM权限...
一键诊断
建表与表访问检测 表访问检测 表访问检测会自动检测指定时间段内被访问的表，包括最大数据读取量、平均数据读取量、最大数据读取耗时、平均数据读取耗时和表访问次数5个指标，并按照当前检测指标降序排列。数据分布倾斜表详情 AnalyticDB ...
发展历程
MaxCompute通过全国首批大数据平台稳定性认证，被证明为韧性型系统。深度参与和推动全球大数据领域标准化建设 MaxCompute代表阿里巴巴计算平台，成为国际TPC（Transaction Processing Performance Council）委员会大数据评测标准BigBench的...
功能特性
数据安全中心 功能集 功能 功能描述 参考文档 数据分类分级 数据资产接入 支持自动发现并接入阿里云上的数据资产。支持通过一键连接或账密连接方式连接数据库，一键接入支持：RDS、PolarDB、PolarDB-X（原DRDS）、Redis、OSS、TableStore、...
SQL处理优化
为了方便用户操作Transactional Table 2.0，MaxCompute计算引擎对SQL全套的数据查询DQL语法和数据操作DML语法进行了支持，并且SQL引擎内核模块包括Compiler、Optimizer、Runtime等都做了专门适配开发以支持相关功能和优化。本文为您介绍...
一键实时同步至Elasticsearch
一键实时同步至Elasticsearch方案支持全增量一体化同步，先进行全量数据迁移，然后再实时同步增量数据至目标端。本文为您介绍如何创建一键实时同步至Elasticsearch任务。前提条件 已完成数据源配置。您需要在数据集成同步任务配置前，配置...
操作流程
新建数据字典并物理化 通过新建并维护数据模型中使用的数据字典，制定并管理平台遵循的统一数据标准，为数据元、指标、维度引用数据字典提供数据基础，帮助平台管理者和数据管理者管控治理后数据的一致性和数据质量。具体操作，请参见 新建...
操作流程
新建数据字典并物理化 通过新建并维护数据模型中使用的数据字典，制定并管理平台遵循的统一数据标准，为数据元、指标、维度引用数据字典提供数据基础，帮助平台管理者和数据管理者管控治理后数据的一致性和数据质量。具体操作，请参见 新建...
整库离线同步至Elasticsearch
您需要在数据集成同步任务配置前，配置好您需要同步的源端和目标端数据库，以便在同步任务配置过程中，可通过选择数据源名称来控制同步任务的读取和写入数据库。同步任务支持的数据源及其配置详情请参见 支持的数据源及同步方案。说明 数据...
开发环境场景画布概览
就绪检测节点：检测公共节点流程的数据源是否已准备就绪。只有数据准备就绪后，节点流程才可以正常运行。节点组：对依赖相同计算资源的算法节点进行组合，方便您管理算法节点。节点组中的算法节点在部署和运行时均被打包在一起进行调度。...
开发环境场景画布概览
就绪检测节点：检测公共节点流程的数据源是否已准备就绪。只有数据准备就绪后，节点流程才可以正常运行。节点组：对依赖相同计算资源的算法节点进行组合，方便您管理算法节点。节点组中的算法节点在部署和运行时均被打包在一起进行调度。...
新建指标
指标可以协助您在数据分析和质量检测的过程中对数据进行聚合。本文介绍如何新建指标。前提条件 已创建度量和时间修饰的指标属性，具体操作，请参见 新建度量 和 新建时间修饰。操作步骤 登录 数据资源平台控制台。在页面左上角，单击 图标...
新建指标
指标可以协助您在数据分析和质量检测的过程中对数据进行聚合。本文介绍如何新建指标。前提条件 已创建度量和时间修饰的指标属性，具体操作，请参见 新建度量 和 新建时间修饰。操作步骤 登录企业数据智能平台。在页面左上角，单击 图标，...
备份恢复
单击 预检测，检查是否存在有效的备份集可供恢复数据。如果预检测失败，则无法恢复数据。预检测成功后，单击 去开通，前往确认订单页面。确认订单完成后，单击 去开通，开始恢复数据，页面右上角的任务列表中可查看数据恢复进度。数据恢复...
Schema约束
写入数据的相同字段的数据类型发生变化时，时序引擎会检测到字段的数据类型不匹配而写入失败。此时，请您执行ALTER TABLE语句手动修改字段的数据类型。说明 弱约束策略并不意味着完全没有校验。例如给标签（Tag）字段写入非字符串数据，或...
PolarDB MySQL版间的双向同步
数据传输服务DTS（Data Transmission Service）支持两个 PolarDB MySQL版 集群间的双向数据同步，适用于异地多活、异地容灾等多种应用场景。本文介绍双向数据同步的配置步骤。前提条件 已购买源和目标 PolarDB MySQL版 集群（简称PolarDB...
PolarDB MySQL版间的双向同步
数据传输服务DTS（Data Transmission Service）支持两个 PolarDB MySQL版 集群间的双向数据同步，适用于异地多活、异地容灾等多种应用场景。本文介绍双向数据同步的配置步骤。前提条件 已购买源和目标 PolarDB MySQL版 集群（简称PolarDB...
MySQL实例间的双向同步
同步源数据库 同步目的数据库 RDS MySQL实例 ECS上的自建数据库 通过专线、VPN网关或智能网关接入的自建数据库 通过数据库网关接入的自建数据库 通过云企业网CEN接入的自建数据库 RDS MySQL实例 ECS上的自建数据库 通过专线、VPN网关或智能...
云数据库MongoDB版（副本集架构）间的双向同步
数据传输服务DTS（Data Transmission Service）支持 云数据库MongoDB版（副本集架构）间的双向同步。前提条件 已创建源和目标 云数据库MongoDB版（副本集架构）实例，创建方式，请参见 创建副本集实例。重要 支持的版本，请参见 同步方案...
云数据库MongoDB版（副本集架构）间的双向同步
数据传输服务DTS（Data Transmission Service）支持 云数据库MongoDB版（副本集架构）间的双向同步。前提条件 已创建源和目标 云数据库MongoDB版（副本集架构）实例，创建方式，请参见 创建副本集实例。重要 支持的版本，请参见 同步方案...
行为模型学习配置
智能分析是指数据库审计系统可以学习用户的数据库操作习惯，通过对用户操作所涉及的IP、客户端操作工具等信息进行统计分析，实现对异常行为的告警，可以帮助您发现数据库异常行为。本文介绍了在云盾数据库审计系统中，如何添加行为模型学习...
云数据库MongoDB版（分片集群架构）间的双向同步
数据传输服务DTS（Data Transmission Service）支持 云数据库MongoDB版（分片集群架构）间的双向同步，适用于异地多活（单元化）、数据异地容灾等多种应用场景。本文介绍双向数据同步的配置步骤。前提条件 已创建源和目标 云数据库MongoDB...
- 产品推荐
- 这些文档可能帮助您