数据相关性可以做什么-数据相关性可以做什么文档介绍内容-阿里云

常见问题

数据安全中心DSC根据为不同行业预先定义的敏感数据关键字段，扫描MaxCompute、OSS、阿里云数据库服务（RDS、PolarDB-X、PolarDB、OceanBase、表格存储等）和自建数据库中的数据，通过敏感数据规则，判断和打标敏感数据，为数据安全审计、...

常见问题

为什么数据同步的价格要高于数据迁移的价格？因为数据同步具有更多的高级特性，例如支持在线调整同步对象、支持配置MySQL数据库之间的双向数据同步；且数据同步基于内网传输，可以保证更低的网络延时。账户欠费有什么影响？账户欠费的影响...

组复制简介

特性组复制半同步复制异步复制数据可靠性★数据一致性保证主备数据一致性不保证不保证全局事务一致性支持不支持不支持数据强可靠性组复制的数据强可靠性来源于Paxos协议的多数派原则，即当多数派收到事务的Binlog后，事务...

资源组操作及网络连通

如果您需要使用独享数据集成资源组通过内网同步ECS自建的数据库，您需要为独享数据集成资源组做相关的网络配置，详情可参见新增和使用独享数据集成资源组，连通方案核心点为：独享数据集成资源组绑定ECS所在VPC，会自动添加一个路由指向...

大数据安全治理的难点

用户大数据系统的用户基数大，覆盖所有与数据相关的角色。使用大数据系统的常见人员包括开发、运营、分析师，甚至销售及HR都会来查询自己所需的数据。如此多类型的用户，授权、管理难度加大，什么样的人员需要授予什么样的权限？如果他们...

离线同步并发和限流之间的关系

同步速率：数据同步速率和任务期望最大并发数是比较强相关的参数，两者结合在一起可以保护数据来源和数据去向端的读写压力，以避免数据同步任务对数据源带来较大压力，影响数据源的稳定性。同步速率（不限流）是指按照用户配置的任务期望...

SmartData常见问题

您可以使用JindoFS缓存模式，通过预加载将OSS数据提前写入内存或者SSD做缓存，然后训练引擎可以通过JindoFuse支持直接读取。基于MaxCompute数仓上的数据，JindoFS如何帮助机器学习训练？有如下两种方式：MaxCompute数仓作业将数据通过...

资产安全概述

通过数据分类分级、敏感数据识别、敏感数据脱敏等措施，帮助客户建立完善的数据安全体系，确保数据使用的安全合规性。前提条件已购买资产安全增值服务，详情请参见开通Dataphin。应用场景基于Dataphin实现数据安全保护的一些典型的...

资产安全概述

通过数据分类分级、敏感数据识别、敏感数据脱敏等措施，帮助客户建立完善的数据安全体系，确保数据使用的安全合规性。前提条件已购买资产安全增值服务并且当前租户已开通资产安全模块。应用场景基于Dataphin实现数据安全保护的一些...

新功能发布记录

功能发布更新 2024年 03月功能名称变更类型功能描述相关文档数据工作站新增支持以文档形式交付查询的数据和数据变化趋势等信息，并支持在交付后使用智能工具解答数据相关问题。使用数据工作站功能可以提高数据交付效率和数据自助...

从Oracle迁移应用至阿里云PolarDB全流程指南

割接前预留足够的时间做数据一致性校验。必须保证所有的校验订正完成才能进行割接。割接方案：（1）一刀切；（2）按照业务线灰度割接；（3）流量灰度一刀切对应用的要求最低，只要数据一致性校验通过，增量追齐就可以开始割接流程。按照...

DLF+EMR之统一权限最佳实践

通过DLF提供的统一元数据视图访问湖上数据，解决湖上数据面临的元数据一致性及数据难以共享的问题，同时各引擎也可通过集成DLF统一权限服务获得企业级的权限管理能力。相关概念说明 EMR：阿里云 E-MapReduce产品，详见什么是E-MapReduce。...

常见问题

为什么数据写入后不可见？为什么optimize任务很慢？为什么optimize后数据仍未主键合并？为什么optimize后数据TTL仍未生效？为什么optimize后更新删除操作没有生效？如何进行DDL增加列、删除列、修改列操作？为什么DDL执行慢，经常卡住？...

实时同步常见问题

这是Postgres本身数据库的特性，如果接受不了延迟，您可以停止任务，并重新启动任务做一次全增量数据同步。报错信息与解决方案 Kafka实时同步报错：Startup mode for the consumer set to timestampOffset,but no begin timestamp was ...

RDS SQL Server实例间数据迁移

如为增量迁移任务，DTS要求源数据库的数据日志保存24小时以上，如为全量迁移和增量迁移任务，DTS要求源数据库的数据日志至少保留7天以上（您可在全量迁移完成后将数据日志保存时间设置为24小时以上），否则DTS可能因无法获取数据日志而导致...

RDS SQL Server实例间的迁移

如为增量迁移任务，DTS要求源数据库的数据日志保存24小时以上，如为全量迁移和增量迁移任务，DTS要求源数据库的数据日志至少保留7天以上（您可在全量迁移完成后将数据日志保存时间设置为24小时以上），否则DTS可能因无法获取数据日志而导致...

查看数据校验详情

本文介绍如何查看数据传输服务DTS（Data Transmission Service）数据校验任务的详情。前提条件已创建并配置数据校验任务，详情请参见配置数据校验。注意事项在DTS同步或迁移实例中配置的校验任务，支持在实例详情和校验任务列表查看；...

新功能发布记录

OceanBase 数据库之间的数据迁移支持 TiDB 数据库至 OceanBase 数据库 MySQL 租户的结构迁移、全量迁移、增量同步、全量校验和反向增量迁移 TiDB 数据库的数据至 OceanBase 数据库 MySQL 租户支持 PolarDB-X 1.0 数据库至 OceanBase ...

Presto FAQ

为什么同一个SQL从HDFS同步数据到OSS，在DLA中查询是11万数据量，自建的集群查询是19万数据量？性能相关问题如何解决查询报错：“Query exceeded distributed user memory limit of 2.00TB or Query exceeded per-node user memory limit ...

自建SQL Server迁移至RDS SQL Server

数据传输服务DTS（Data Transmission Service），可以将自建SQL Server迁移至 RDS SQL Server。前提条件自建SQL Server数据库支持的版本，请参见迁移方案概览。已创建目标 RDS SQL Server 实例，具体请参见快速创建RDS SQL Server实例。...

PolarDB PostgreSQL版（兼容Oracle）间的迁移

通过数据传输服务DTS（Data Transmission Service），可以实现 PolarDB PostgreSQL版（兼容Oracle）集群间的迁移。背景信息 PolarDB PostgreSQL版（兼容Oracle）作为一款企业级关系型数据库管理系统，具有广泛的应用和强大的社区支持。每个...

MyBase SQL Server迁移至RDS SQL Server

如为增量迁移任务，DTS要求源数据库的数据日志保存24小时以上，如为全量迁移和增量迁移任务，DTS要求源数据库的数据日志至少保留7天以上（您可在全量迁移完成后将数据日志保存时间设置为24小时以上），否则DTS可能因无法获取数据日志而导致...

RDS SQL Server迁移至云原生数据仓库 AnalyticDB ...

数据传输服务DTS（Data Transmission Service）支持将SQL Server（包括 RDS SQL Server、自建SQL Server）迁移至云原生数据仓库AnalyticDB MySQL版 3.0，帮助您轻松实现数据的传输，用于实时数据分析。支持的源数据库 SQL Server迁移至云...

RDS SQL Server迁移至云原生数据仓库 AnalyticDB ...

数据传输服务DTS（Data Transmission Service）支持将SQL Server（包括 RDS SQL Server、自建SQL Server）迁移至云原生数据仓库AnalyticDB MySQL版 3.0，帮助您轻松实现数据的传输，用于实时数据分析。支持的源数据库 SQL Server迁移至云...

配置备份计划

数据库所在位置待备份数据库实例的所在位置，支持类型如下：RDS实例有公网IP:Port的自建数据库 ECS上的自建数据库通过专线/VPN网关/智能网关接入的自建数据库 PolarDB 无公网IP:Port的自建数据库(通过数据库网关DG接入)说明本示例为...

数据库代理常见问题

数据库代理地址（读写分离地址）可以修改，具体操作，请参见设置数据库代理连接地址。主实例写的频率不高，能不能让读请求也发送给主实例？能。设置读权重分配时，为主实例也设置权重即可。如何为主实例设置权重，请参见开通数据库代理。...

RDS SQL Server迁移至云原生数据仓库 AnalyticDB ...

数据传输服务DTS（Data Transmission Service）支持将 RDS SQL Server 的数据迁移至云原生数据仓库AnalyticDB PostgreSQL版，帮助您轻松实现数据的传输。通过 AnalyticDB PostgreSQL版提供的数据在线分析服务和离线数据处理功能，您可以...

X-Engine简介

因为目标是面向大规模的海量数据存储，提供高并发事务处理能力和降低存储成本，在大部分大数据量场景下，数据被访问的机会是不均等的，访问频繁的热数据实际上占比很少，X-Engine根据数据访问频度的不同将数据划分为多个层次，针对每个层次...

自建SQL Server迁移至AnalyticDB for PostgreSQL

数据传输服务DTS（Data Transmission Service）支持将自建SQL Server迁移至云原生数据仓库AnalyticDB PostgreSQL版，帮助您轻松实现数据的传输，用于实时数据分析。前提条件该迁移任务仅支持在新版控制台配置。自建SQL Server数据库支持...

离线同步常见问题

文档概述问题分类相关文档离线同步任务运维常见问题为什么数据源测试连通性成功，但是离线同步任务执行失败？如何切换数据集成任务执行资源组？脏数据如何排查和定位？如何查看脏数据？如果离线同步传输数据时，脏数据超出限制，是否...

PolarDB PostgreSQL版间的迁移

通过数据传输服务DTS（Data Transmission Service），可以实现 PolarDB PostgreSQL版集群间的迁移。前提条件已创建源和目标 PolarDB PostgreSQL版数据库集群，详情请参见创建PolarDB PostgreSQL版数据库集群。已将源和目标 PolarDB ...

RDS SQL Server迁移至RDS MySQL

如为增量迁移任务，DTS要求源数据库的数据日志保存24小时以上，如为全量迁移和增量迁移任务，DTS要求源数据库的数据日志至少保留7天以上（您可在全量迁移完成后将数据日志保存时间设置为24小时以上），否则DTS可能因无法获取数据日志而导致...

RDS SQL Server迁移至PolarDB MySQL版

如为增量迁移任务，DTS要求源数据库的数据日志保存24小时以上，如为全量迁移和增量迁移任务，DTS要求源数据库的数据日志至少保留7天以上（您可在全量迁移完成后将数据日志保存时间设置为24小时以上），否则DTS可能因无法获取数据日志而导致...

常见问题

A：该问题可能是由于一致性级别的配置导致的，PolarDB 的集群地址支持如下几种一致性级别：最终一致性：不论是同一会话（连接）或不同会话，最终一致性都不保证读能够马上读到刚插入的数据。会话一致性：一定能够读到同一会话插入之后的...

文档修订记录

DataWorks数据安全治理路线 2023年12月更新记录时间特性类别描述产品文档 2023.12.29 新增功能数据开发若您要在DataWorks中进行数据建模、数据开发或使用运维中心周期性调度任务，需先将已创建的数据源或集群绑定至数据开发...

A100使用指南

用户指南访问入口功能模块操作指南链接管理数据库审计实例启用数据库审计实例配置数据库审计实例管理数据库审计实例的标签管理数据库登录数据库审计系统添加数据库实例部署Agent程序查看SQL语句存储空间用量开启系统管理员和...

云数据库MongoDB版（分片集群架构）间的双向同步

数据传输服务DTS（Data Transmission Service）支持云数据库MongoDB版（分片集群架构）间的双向同步，适用于异地多活（单元化）、数据异地容灾等多种应用场景。本文介绍双向数据同步的配置步骤。前提条件已创建源和目标云数据库MongoDB...

云数据库MongoDB版（分片集群架构）间的双向同步

数据传输服务DTS（Data Transmission Service）支持云数据库MongoDB版（分片集群架构）间的双向同步，适用于异地多活（单元化）、数据异地容灾等多种应用场景。本文介绍双向数据同步的配置步骤。前提条件已创建源和目标云数据库MongoDB...

RDS SQL Server同步至云原生数据仓库 AnalyticDB ...

数据传输服务DTS（Data Transmission Service）支持将 RDS SQL Server 实例的数据同步至云原生数据仓库AnalyticDB PostgreSQL版，帮助您轻松实现数据的流转。通过 AnalyticDB PostgreSQL版提供的数据在线分析服务和离线数据处理功能，您...

数据相关性可以做什么

新品推荐