不同阿里云账号下RDS实例间的数据同步
注意事项 DTS在执行全量数据初始化时将占用源库和目标库一定的读写资源，可能会导致数据库的负载上升，在数据库性能较差、规格较低或业务量较大的情况下（例如源库有大量慢SQL、存在无主键表或目标库存在死锁等），可能会加重数据库压力，...
流式数据通道概述
MaxCompute流式数据通道服务可以解决流式服务使用批量数据通道写入数据引发的各种问题，优势如下：更优化的数据存储结构，解决高QPS写入导致的碎片文件问题。提供了增量数据异步处理机制，可以在使用过程中无感知情况下对新写入的增量数据...
文档修订记录
规则管理 2023.08.07 新增功能 数据分析 数据分析提供卡片和报告功能，您无需下载数据，即可快速完成数据可视化分析与报告创作，轻松打造个性化可视化作品，讲述数据故事、表达数据观点。增强分析（卡片和报告）2023.08.04 新增功能 数据...
功能特性
创建反向实例 容灾&多活 双向同步 支持创建两个数据库之间（比如RDS MySQL与自建MySQL）的双向数据实时同步，适用于异地多活（单元化）、数据异地容灾等多种应用场景。MySQL实例间的双向同步 PolarDB PostgreSQL版（兼容Oracle）集群间的...
导入与导出
若源库中存在 AnalyticDB MySQL 不支持的数据类型（例如地理位置数据等类型），AnalyticDB MySQL 在进行结构初始化时会丢弃掉不支持数据类型的列。支持的数据类型，请参见 基础数据类型 和 复杂数据类型 DTS同步数据至AnalyticDB MySQL集群...
PolarDB MySQL版间的双向同步
注意事项 DTS在执行全量数据初始化时将占用源库和目标库一定的读写资源，可能会导致数据库的负载上升，在数据库性能较差、规格较低或业务量较大的情况下（例如源库有大量慢SQL、存在无主键表或目标库存在死锁等），可能会加重数据库压力，...
高效数据治理实施指南
背景信息 在多人协作的数据团队中，数据治理是重要且繁琐的工作，在解决“如何制定客观的数据治理目标”、“如何高效推动团队达成治理目标”的过程中，通常包含以下挑战：问题难定位：传统数据治理方式难以快速、完整、精准地定位潜在问题...
行业趋势与背景
专注解决海量数据存储、超高并发吞吐、大表瓶颈以及复杂计算效率等数据库瓶颈问题，历经各届天猫双十一及阿里云各行业客户业务的考验，助力企业加速完成业务数字化转型。PolarDB-X 核心能力通过标准关系型数据库技术实现，配合完善的管控运...
PolarDB PostgreSQL版间的迁移
表结构不一致的情况下，可能会导致无法初始化数据、只能同步部分列的数据或同步失败，请谨慎操作。目标库对象名称大小写策略 您可以配置目标实例中同步对象的库名、表名和列名的英文大小写策略。默认情况下选择 DTS默认策略，您也可以选择...
全增量实时同步至Hologres
数据写入 支持写入分区表与非分区表，分为以下三阶段：库表结构初始化：从源端数据库拉取库表结构迁移至Hologres。全量历史数据同步（可选）：将源库中待迁移对象的存量数据，全部迁移到Hologres中。实时数据增量同步（可选）：持续将源库...
X-Engine简介
这两个问题虽然可以通过扩展数据库节点的分布式方案解决，但是堆机器不是一个高效的手段，我们更想用技术的手段将数据库性价比提升，实现以少量资源换取性能大幅提高的目的。传统数据库架构的性能已经被仔细的研究过，数据库领域的泰斗，...
如何基于LSM-tree架构实现一写多读
本文主要阐述如何基于LSM-tree结构的存储引擎实现数据库的一写多读能力。LSM-tree数据库引擎 LSM-Tree全称是Log Structured Merge Tree，是一种分层、有序，面向磁盘设计的数据结构，其核心思想是利用磁盘批量的顺序写要比随机写性能高的...
DataV使用静态资源&组件兼容介绍
本文从静态资源的使用和组件兼容更新两方面介绍自定义组件开发问题的解决方法。静态资源 在自定义组件中，经常会使用到本地的一些静态资源，但是有时您可能会遇见，本地可以运行的资源，在线上却报出 找不到资源 的错误，所以本文将从以下...
常见问题
数据库连接问题 数据同步问题 数据迁移问题 数据订阅问题 其他问题 说明 若您有其他疑问或需求，可以 通过钉钉（钉钉通讯客户端下载地址）进入到DTS客户交流钉钉群（群号：68325004196或68640008972），进行咨询。计费问题 DTS如何计费？...
备份数据库
数据库备份DBS 的 批量备份 功能支持备份单个数据库和多个数据库。本文以批量配置MySQL逻辑备份为例，向您介绍如何备份数据库。说明 关于各类数据库备份方案，请参见 备份方案概览。前提条件 已添加数据源。如何添加数据源，请参见 手动...
Tunnel命令常见问题
解决措施 根据DataWorks提供的可视化导入数据功能进行操作，请参见 上传数据。使用Tunnel Upload命令上传数据时，如果数据中有回车或空格，为什么上传会失败？如果数据中有回车或空格，可以给数据设置不同于回车或空格的分隔符后，用-rd 和...
PolarDB PostgreSQL版（兼容Oracle）间的迁移
表结构不一致的情况下，可能会导致无法初始化数据、只能同步部分列的数据或同步失败，请谨慎操作。目标库对象名称大小写策略 您可以配置目标实例中同步对象的库名、表名和列名的英文大小写策略。默认情况下选择 DTS默认策略，您也可以选择...
功能特性
云原生内存数据库Tair 云原生内存数据库Tair是阿里云自研数据库，兼容Redis的同时提供更多数据结构和企业级能力，包括全球多活、任意时间点恢复和透明加密等。支持多种存储介质和不同场景性价比需求：内存型支持超高吞吐，性能为Redis三倍...
通过无锁变更工单实现无锁结构变更
为解决变更数据库表结构时的锁表问题，数据管理DMS 推出了无锁结构变更功能，该功能可以较好地规避因锁表以致于阻塞业务和数据库原生OnlineDDL带来的主备延迟问题。本文介绍通过提交无锁变更工单实现数据库无锁结构变更的方法。前提条件 ...
应用场景
数据传输服务DTS（Data Transmission Service）支持数据迁移、数据订阅和数据实时同步功能，帮助您实现多种典型应用场景。不停机迁移数据库 传输方式：数据迁移 为了保证数据的一致性，传统的迁移过程需要您在迁移数据时停止向源数据库写入...
云数据库录入
本文介绍如何将阿里云数据库录入至数据管理DMS中。前提条件 支持录入的云数据库类型，请参见 支持的云数据库。系统角色为DBA或管理员。查看系统角色的操作，请参见 查看我的系统角色。已在云数据库的白名单中添加DMS的服务器访问地址。详细...
区域热力层
在数据配置的过程中，可能会出现区域文字标注有偏移的问题，解决方法请参考 基础平面地图 中 区域热力层 子组件内的 文字标注偏移解决方案。热力值数据接口 您可以通过配置热力值数据接口，自定义区域热力层的样式。区域热力层支持数据优先...
他云/自建数据库录入
RegisterInstance-录入新的数据库实例（旧）常见问题 Q：已将DMS IP地址添加至Azure SQL数据库白名单，但是在DMS控制台进行新增数据库实例操作时，仍然出现如下图的报错信息，该如何解决？A：请您在配置 新增实例 信息时，在数据库账号一栏...
区域热力层（v1.x版本）
在数据配置的过程中，可能会出现区域文字标注有偏移的问题，解决方法如下。查看下您的区域热力层版本，目前可以使用的区域热力层组件包括区域热力层v0.2.4及以上版本。如果您使用的区域热力层版本较低，需要先删除该层，再重新添加。...
数据开发概述
与运维中心配合使用，面向各引擎（MaxCompute、Hologres、EMR等）提供可视化开发主界面，支持智能代码开发、多引擎混编工作流、规范化任务发布等能力，帮助您轻松构建离线数仓、实时数仓与即席分析系统，保证数据生产的高效稳定。...
玄武分析型存储
多种索引类型多路归并查找的过程如下所示：结构化与非结构化融合 玄武存储层索引管理器实现结构化索引与非结构化索引的统一管理，如数值类的BKD索引、字符串类的倒排索引、非结构化的JSON索引及向量索引，还有文本数据的全文索引。...
DataWorks V2.0
当离线MaxCompute数据发生变化时，数据质量会对数据进行校验并阻塞生产链路，避免问题数据污染扩散。同时，数据质量提供了历史校验结果的管理，以便您对数据质量分析和定级。数据服务（新增）数据服务 提供了快速将数据表生成数据API的能力...
概述
PolarDB for AI 功能通过一系列MLOps和内置的模型解决了数据、特征和模型的割裂状态，实现了基于数据库的数据智能的一站式服务。本文介绍了 PolarDB for AI 功能的相关特性。背景信息 随着数据的累积，数据驱动的智能应用（例如：搜索、...
区域热力层（v2.x版本）
在数据配置的过程中，可能会出现区域文字标注有偏移的问题，解决方法如下。查看下您的区域热力层版本，目前可以使用的区域热力层组件包括区域热力层v0.2.4及以上版本。如果您使用的区域热力层版本较低，需要先删除该层，再重新添加。...
核心能力
统一数据服务封装 实时、离线、半结构化、非结构化、消息队列的数据服务封装。支持向导模式和SQL模式等的服务封装。简单身份认证和加密签名身份认证模式。数据服务调用流量管控。行业知识敏捷交付 工作组下API服务、模型、节点、场景、指标...
解决方案：免费体验AnalyticDB PostgreSQL版以文搜图
这些非结构化数据随着智慧城市、短视频、商品个性化推荐、视觉商品搜索等应用的出现而爆发式增长。为了能够处理这些非结构化数据，通常会使用人工智能技术提取这些非结构化数据的特征，并将其转化为特征向量，再对这些特征向量进行分析和...
面临的业务挑战
数据散乱不一致 传统企业的数据具有多样性，包括结构化、半结构化以及非结构化的数据。数据来源上包含数据库数据、日志数据、对象数据以及已有数仓上的存量数据等。这些不同来源、不同格式的数据，各自又有不同的访问和分析方式，而大量...
数据集成
数据集成目前支持40种以上的数据源类型（包括关系型数据库、非结构化存储、大数据存储、消息队列等），通过定义来源与去向数据源，并使用数据集成提供的数据抽取插件（Reader）、数据写入插件（Writer），实现任意结构化、半结构化数据源...
云数据库RDS简介
数据结构多样时，可以选择将结构化数据存储在RDS，将非结构化数据存储在MongoDB，满足业务的多样化存储需求。MaxCompute 大数据计算服务MaxCompute（原名ODPS）是一种快速、完全托管的TB/PB级数据仓库解决方案，提供了完善的数据导入方案...
应用场景
金融风控场景 金融领域中，个人和企业开卡、开户、登记、填写信息的过程中，地址信息存在行政区划缺、漏、错、假的现象，对于地址不全、错误、虚假等非标准化数据与风险，智能地址解析，可以快速识别此类型数据风险，有效提升数据质量，...
应用场景
该场景可实现：实时多源数据同步 支持多业务数据源，结构化非结构化数据的实时同步。营销效果实时反馈 支持对海量日志数据和业务进行即时的复杂关联计算，提高营销效果反馈及时性。商业智能报表 该场景要求支持海量数据实时入库和计算，...
支持的云服务
MaxCompute处理非结构化数据时，通过RAM对非结构化数据进行授权。MaxCompute支持直接处理非结构化数据（包含OSS和表格存储），但是需要提前在RAM中授予MaxCompute访问OSS或表格存储的权限，详情请参见 OSS外部表 和 Tablestore外部表。阿里...
添加数据集
DataV数据集支持多种数据源的接入，如数据库、excel表格文件等，通过对数据的结构化存储和元数据的汇集整理，提供高效实用的数据建模能力，可用的算子包括常见的数据聚合函数、按不同时间粒度划分、地理信息处理等。本文为您介绍如何在...
基本概念
数据结构多样时，可以选择将结构化数据存储在Lindorm，将非结构化数据存储在MongoDB，满足业务的多样化存储需求。更多信息，请参见 什么是云数据库MongoDB版。O OSS 对象存储服务（Object Storage Service，简称OSS）是阿里云提供的海量、...
功能特性
数据驱动三维世界生成 提供官方基底、空间构建和模型建筑等三维城市功能，能够快速接入结构化的城市地理数据，以数据驱动城市模型的自动化生成。低代码交互功能开发 提供简单连线的方式实现组件间的交互配置，使复杂的交互逻辑可视化呈现，...
- 产品推荐
- 这些文档可能帮助您