数据倾斜诊断
目前 AnalyticDB PostgreSQL版 支持的数据分布方式有如下三种：随机（RANDOMLY）分布 该分布方式的表无法充分利用数据的特征。例如，多表关联查询场景下无法采用本地关联（Collocated Join），从而导致查询性能不如采用基于分布键HASH值...
个人数据中心
入口介绍 有三种方式可以进入个人数据中心。方式一：在Dataphin首页，单击顶部菜单栏的 资产。在 资产 页面，按照下图操作指引，进入 我负责的资产 页面。点击资产后默认进入数据 目录 页面。方式二：在资产列表页面，点击右上角的 个人...
个人数据中心
入口介绍 有三种方式可以进入个人数据中心。方式一：在Dataphin首页，单击顶部菜单栏的 资产。在 资产 页面，按照下图操作指引，进入 我负责的资产 页面。点击资产后默认进入数据 目录 页面。方式二：在资产列表页面，点击右上角的 个人...
查询和修改数据复制方式
常见问题 使用哪种数据复制方式好呢？根据您的业务需求进行选择。如果需要确保数据的强一致性，实现金融级的可靠性，建议您使用组复制（仅集群系列实例支持）；如果要求极高的响应速度，建议您使用异步；其他情况下可以使用折中的方案，即...
MMA概述
MaxCompute数据迁移原理 MaxCompute数据迁移包含同Region项目迁移、EMR+DLF+OSS迁移MaxCompute、跨Region项目迁移三种方式，本文为您介绍三种数据迁移方式的原理。同Region项目迁移。获取源项目中的所有表、分区，在目的项目中建表、分区。...
产品功能
数据查询 TSDB 支持通过 HTTP 协议、TSDB Java Client 以及 TSDB 控制台三种方式进行数据的查询操作。您也可以通过 TSDB 产品控制台的数据查询功能进行数据分组、降采样、空间聚合的可视化数据查询展现。数据管理 数据时效设置 您可以通过...
备份集查询功能概览
背景信息 传统的备份数据查询有两种方式：将备份数据文件导入至数据库，再通过数据库操作对数据进行查询，但是这种方式耗费时间长，且可能会导致数据文件被修改。通过 Hive 的方式直接对文件进行查询，但是这种方式对数据文件格式有严格的...
离线同步常见问题
脏数据限制设置为多少就是不允许有多少条脏数据，若限制为0即在发现第一条脏数据时就会停止任务，此时有可能已经传几条数据了，或者没有传输数据（脏数据在所有数据中位于第一条时）。如何排查离线同步任务运行时间长的问题？可能原因1：...
数据标准
添加数据标准 添加数据标准的方式有两种，第一种是手动在平台中单个添加标准，第二种是通过Excel的形式批量将数据标准维护到平台中去。进入【数据标准】模块，点击‘“创建数据标准”按钮即可进入数据标准添加页面。根据选项填写数据标准的...
排序数据集
您可以根据名称、创建时间和修改时间这三种排序方式，对数据集进行排序。操作步骤 登录 DataV控制台。选择 我的数据 页签，在左侧列表中单击 数据集管理。在 数据集管理 页面，将鼠标移至页面右侧的 按修改时间排序 下拉列表上方。在排序...
排序数据源
您可以根据名称、创建时间和修改时间这三种排序方式，对数据源进行排序。操作步骤 登录 DataV控制台。单击 我的数据>数据源管理，进入数据源列表页。在 数据源管理 页面，将鼠标移至页面右侧的 按修改时间排序（默认）上。在排序方式下拉...
PyODPS读取分区表数据
print("第三种方式查询分表数据：")for record in o.read_table('user_detail',partition='dt=20190715,region=beijing'):print record["userid"],record["job"],record["education"]单击 高级运行（带参数运行）。在 参数 对话框填写配置...
统计信息收集
手动收集统计信息命令 如果gp_autostats_mode配置的不是on_change而需要进行手动收集统计信息的时候，有如下三种方式：不带任何参数运行ANALYZE命令会为数据库中所有的表收集统计信息，该统计信息收集方式运行时间可能会比较长。...
外部表概述
以OSS为例，如果您需要在MaxCompute中处理OSS上的数据，通常有以下两种方式：通过OSS SDK或者其他工具从OSS下载数据，然后再通过MaxCompute Tunnel将数据导入表里。编写UDF，在UDF里直接调用OSS SDK访问OSS数据。但这两种方法都有不足之处...
接入其他自建或其他云厂商数据库实例
三种不同接入方式的功能对比 功能 直连接入 集中模式数据库网关 主机模式数据库网关（推荐）数据库监控指标 支持 支持 支持 实时性能 支持 支持 支持 实时会话 支持 支持 支持 空间分析 支持 支持 支持 慢请求分析 支持 支持 支持 主机监控...
什么是Topic
Topic分类和通信说明 物联网平台预定义的产品Topic类对应的设备Topic包含基础通信Topic、物模型通信Topic和自定义Topic三种类型，详细说明见下表。类型 Topic类及数据格式 说明 基础通信Topic OTA升级 设备OTA升级消息的Topic，包括设备...
如何设计Rowkey
Rowkey的设计限制了数据的查询方式，HBase有两种查询方式。根据完整的Rowkey查询（get方式），例如 SELECT*FROM table WHERE Rowkey=‘abcde’。说明 get方式需要知道完整的Rowkey，即组成Rowkey所有字段的值都是确定的。根据Rowkey的范围...
从自建SQL Server增量迁移至RDS SQL Server
DTS支持结构迁移、全量数据迁移以及增量数据迁移，同时使用这三种迁移类型可以实现在自建应用不停服的情况下，平滑地完成自建SQL Server数据库迁移上云。说明 如果仅需要全量数据迁移，请参见 从自建SQL Server全量迁移至RDS SQL Server。...
使用云数据库Redis版实现即时通信场景中的多端同步
1001 100103 HSET bob dev_1002 100202 总结 IM通信已经成为互联网环境中最常见通信方式之一，借助云数据库Redis版丰富的数据结构，您可以构建出高可用的IM系统。不仅是本文提到的消息同步模块，IM系统的消息存储模块也可以使用Redis进行...
资产安全概述
Dataphin内置了 公司数据（如公司财务报告）、业务数据（如业务客户数量）、个人数据（如消费者隐私数据）三种数据分类；同时也支持客户根据企业情况进行自定义分级。识别规则 识别规则是自动化识别敏感字段的策略。因为在实际的生产过程中...
资产安全概述
Dataphin内置了 公司数据（如公司财务报告）、业务数据（如业务客户数量）、个人数据（如消费者隐私数据）三种数据分类；同时也支持客户根据企业情况进行自定义分级。识别规则 识别规则是自动化识别敏感字段的策略。因为在实际的生产过程中...
从自建TiDB增量迁移至RDS MySQL
本文介绍如何使用数据传输服务DTS（Data Transmission Service），结合Kafka集群与TiDB数据库的Pump、Drainer组件，完成增量数据迁移，实现在应用不停服的情况下，平滑地完成数据库的迁移上云。前提条件 说明 增量迁移前，您可先将自建TiDB...
创建MaxCompute数据源
根据使用场景不同，资源组分为数据集成（用于数据同步）、数据调度（用于任务调度）、数据服务（用于数据服务任务）三种类型。各类资源组的详细介绍，请参见 DataWorks资源组概述。您需根据数据源后续的用途，在 连接配置 区域对应资源组...
存储加密
您需要根据业务情况选择合适的数据类型版本，三种数据类型版本的区别请参见 数据类型版本说明。是否加密 选择 需要加密，指定创建的MaxCompute项目开启数据存储加密功能，需要选择密钥和对应算法：密钥：项目空间使用的密钥类型，包含默认...
RDS SQL Server实例间数据迁移
DTS支持结构迁移、全量数据迁移以及增量数据迁移，同时使用这三种迁移类型可以实现在自建应用不停服的情况下，平滑地完成数据库的迁移。前提条件 已创建源和目标 RDS SQL Server 实例。支持的版本，请参见 迁移方案概览。创建方式，请参见 ...
常见问题
有如下三种方法可以减少DTS任务对源库的影响：提高源库实例的规格。先暂停DTS任务，等源库负载降低后再重启任务。调小DTS任务的速率。调整速率的方法，请参见 调整全量迁移速率。为什么源库为PolarDB-X 1.0的同步实例不显示延迟？源库为...
MongoDB（无分片键）同步至MongoDB（分片集群架构）
分片集群架构：提供Mongos、Shard和ConfigServer三种组件，可自由选择Mongos和Shard的个数和配置，详细信息，请参见 分片集群架构。实例ID 选择源 云数据库MongoDB版 实例ID。鉴权数据库名称 填入源 云数据库MongoDB版 实例数据库账号所属...
配置资源组与网络连通
在数据同步任务配置前，您需要确保用于执行同步任务的独享数据集成资源组与您将要同步的数据来源端与目的端数据库的网络连通性，您可以根据数据库所在网络环境，选择合适的网络解决方案来实现网络连通。本文为您介绍数据库在不同网络环境中...
从MongoDB单节点实例迁移至副本集或分片集群实例
如果您的数据库小版本过期或者不在维护列表内，当执行 实例版本升级、数据迁移、变更实例配置、按备份点将备份数据恢复至新建实例、按时间点将备份数据恢复至新建实例 或 恢复云数据库MongoDB单个或多个数据库 等操作时，为保证提供更出色...
RDS MySQL实例间的迁移
DTS支持结构迁移、全量数据迁移以及增量数据迁移，同时使用这三种迁移类型可以实现在业务不停服的情况下，平滑地完成数据库的迁移。支持的源和目标数据库 本文以 RDS MySQL 实例为源和目标数据库介绍配置流程，其他数据源配置流程与本案例...
从自建MySQL迁移至MyBase MySQL
DTS支持结构迁移、全量数据迁移以及增量数据迁移，同时使用这三种迁移类型可以实现在自建应用不停服的情况下，平滑地完成自建MySQL数据库的迁移上云。本文是以新版数据传输服务DTS（Data Transmission Service）控制台为例，旧版数据传输...
Redis数据源
expireTime 的配置方式有以下两种：seconds 方式：指定了从现在开始多长时间后数据失效，取值是失效时间相对当前时间的秒数。unixtime 方式：指定了从1970.1.1开始多长时间后数据失效。取值是失效时间相对1970.1.1时间的秒数。否 0（0表示...
云数据库MongoDB版（单节点架构）全量迁移至云数据库...
源数据库（单节点架构）目标数据库（所有架构）云数据库MongoDB版 云数据库MongoDB版 ECS上的自建数据库 ECS上的自建数据库 通过专线、VPN网关或智能网关接入的自建数据库 通过专线、VPN网关或智能网关接入的自建数据库 有公网IP的自建数据...
如何设计宽表主键
主键的设计限制了数据的查询方式，一条 SELECT 查询语句，Lindorm服务器端会编译为两种查询方式。根据完整的主键查询（get方式），例如 SELECT*FROM table WHERE userid='abc' AND orderid=123。说明 get方式需要知道所有的主键列，即组成...
使用DTS将MongoDB Atlas数据库迁移至阿里云
分片集群架构：提供Mongos、Shard和ConfigServer三种组件，可自由选择Mongos和Shard的个数和配置，详细信息，请参见 分片集群架构。实例ID 选择目标阿里云MongoDB实例ID。鉴权数据库名称 填入鉴权数据库名，即数据库账号所属的数据库。说明...
使用DTS将MongoDB Atlas数据库迁移至阿里云
分片集群架构：提供Mongos、Shard和ConfigServer三种组件，可自由选择Mongos和Shard的个数和配置，详细信息，请参见 分片集群架构。实例ID 选择目标阿里云MongoDB实例ID。鉴权数据库名称 填入鉴权数据库名，即数据库账号所属的数据库。说明...
使用DTS将华为云文档数据库迁移至阿里云
分片集群架构：提供Mongos、Shard和ConfigServer三种组件，可自由选择Mongos和Shard的个数和配置，详细信息，请参见 分片集群架构。实例ID 选择目标阿里云MongoDB实例ID。鉴权数据库名称 填入鉴权数据库名，默认为 admin。数据库账号 填入...
使用DTS将华为云文档数据库迁移至阿里云
分片集群架构：提供Mongos、Shard和ConfigServer三种组件，可自由选择Mongos和Shard的个数和配置，详细信息，请参见 分片集群架构。实例ID 选择目标阿里云MongoDB实例ID。鉴权数据库名称 填入鉴权数据库名，默认为 admin。数据库账号 填入...
通过向导模式配置离线同步任务
数据集成提供向导式的开发引导，您无需编写任何代码，通过在界面勾选数据来源与去向，并结合DataWorks调度参数，实现将源端单表或分库分表的全量或增量数据周期性同步至目标数据表。本文为您介绍向导模式配置离线同步任务的常规配置，各...
自建Oracle间迁移
DTS支持结构迁移、全量数据迁移以及增量数据迁移，同时使用这三种迁移类型可以平滑地完成Oracle数据库的数据迁移。前提条件 自建Oracle数据库的版本为9i、10g、11g、12c、18c或19c版本。自建Oracle数据库已开启ARCHIVELOG（归档模式），...
- 产品推荐
- 这些文档可能帮助您