从Oracle迁移应用至阿里云PolarDB全流程指南
数据传输DTS：数据传输服务（Data Transmission Service）DTS支持关系型数据库、NoSQL、大数据（OLAP）等数据源间的数据传输。它是一种集数据迁移、数据订阅及数据实时同步于一体的数据传输服务。数据传输致力于在公共云、混合云场景下，...
内存型
云原生内存数据库Tair 内存型（简称内存型）适合并发量大、读写热点多、高性能场景，内存型重点增强了多线程性能并集成多个自研扩展数据结构。购买方式 创建实例 主要优势 类别 说明 兼容性 100%兼容原生Redis，无需修改业务代码，提供 ...
深度解析Lindorm搜索索引（SearchIndex）特性
索引是加速数据库查询的重要手段，Lindorm除了提供高性能的二级索引外，同时支持搜索索引(SearchIndex)，主要面向复杂的多维查询场景，并能够覆盖模糊查询、聚合分析、排序、分页等场景。本文主要介绍SearchIndex的技术原理和核心能力。...
淘宝万亿级交易订单背后的存储引擎
第二阶段 由于历史订单数据量越来越大，单一数据库已经不能同时满足性能和容量需求，于是对交易订单库进行拆分，分为在线库和历史库，将三个月之前的历史订单迁移进历史库，但是由于数据量巨大，不能满足查询需求，因此当时的用户只能查询...
恢复全量数据
如果您拥有原实例的数据备份和日志备份，可以将其恢复到新实例中，可用于误操作后恢复以及分析历史数据等场景。前提条件 原实例需要满足如下条件：实例运行状态为 运行中 且没有被锁定。当前没有进行中的迁移任务。已完成备份。RDS默认有...
按时间戳冷热分离
注意事项 若某一行数据同时包含热数据和冷数据，例如更新了部分列导致一行数据中既存在热数据又存在冷数据的场景，开启查询热数据优先功能会导致该行的查询结果分两次返回，即Scanner返回的Result集合中，对于同一个Rowkey会有两个对应的...
行业趋势与背景
分布式数据库是发展方向 近年来，随着互联网、大数据的飞速发展，特别是“双十一”指数型的成交总额发展曲线，让世界看到了中国电子商务业务的火箭式发展势头。而同时，对于背后的业务支撑系统来说，同样经历了火箭式的系统压力增长。以...
二级索引
Lindorm原生二级索引功能在阿里云应用多年，经历了多次双11的考验，更加适用于解决海量数据的全局索引。Lindorm与Phoenix在索引场景下的性能对比如下图所示。读写RT对比 产品 单行写RT 单行读RT 批量写100行RT Lindorm 1.409 0.492 10.447 ...
RDS术语
DMS Data Management，数据管理，是一种阿里云提供的图形化的数据管理工具，集数据管理、结构管理、访问安全、BI图表、数据趋势、数据轨迹、性能与优化和服务器管理于一体的数据管理服务。支持MySQL、SQL Server、PostgreSQL、MongoDB、...
RDS术语
DMS Data Management，数据管理，是一种阿里云提供的图形化的数据管理工具，集数据管理、结构管理、访问安全、BI图表、数据趋势、数据轨迹、性能与优化和服务器管理于一体的数据管理服务。支持MySQL、SQL Server、PostgreSQL、MongoDB、...
行协议参考
行协议（Line Protocol）是一种基于文本的格式，用于将数据点写入TSDB For InfluxDB®。行协议 语法[,<tag_key>=[,<tag_key>=]]<field_key>=[,<field_key>=][]使用换行符 分隔每一行，每一行表示TSDB For InfluxDB®中的一个数据点。行协议...
他云/自建数据库录入
本文介绍如何将他云/自建数据库录入至数据管理DMS中。前提条件 支持录入的他云/自建数据库类型，请参见 支持的他云/自建数据库。已在他云/自建数据库的白名单中添加DMS的服务器访问地址。详细信息，请参见 设置IP白名单。目标数据库实例的...
RDS MySQL修改字符集（平滑方案）
由于业务需求，需要变更表的字符集（例如从gbk变更为utf8mb4），如果直接使用ALTER命令修改字符集会锁表，当数据表过大时，对业务的影响较大。本文介绍的操作方法需要先在目标实例中创建表结构信息（新字符集），再通过DTS将源实例的数据...
技术原理
PolarDB-X采用X-Paxos复制协议，X-Paxos是阿里巴巴自研的Paxos协议实现，在功能、性能上都做了大量优化，且经历了数十载的双十一考验，稳定可靠。基于Paxos复制协议，PolarDB-X可以部署到多个机房中，以实现机房级容灾。常见的部署方式有...
ApsaraDB For OceanBase数据源
ApsaraDB for OceanBase数据源提供读取和写入ApsaraDB for OceanBase数据的双向功能，您可以使用ApsaraDB for OceanBase数据源配置同步任务同步数据。本文为您介绍DataWorks的ApsaraDB For Oceanbase数据同步能力支持情况。支持的版本 离线...
按自定义时间列冷热分离
购买容量型云存储后，您可以指定表或二级索引中的某个时间列作为冷热分离的依据，将数据分别存储于不同的介质中，有效提升热数据查询效率，降低冷数据存储成本。本文介绍按自定义时间列冷热分离的具体操作步骤及相关注意事项。前提条件 已...
二进制数据类型
本文介绍了二进制数据类型的定义及相关语法。名称 存储大小 说明 BINARY 二进制字符串的长度。定长二进制字符串，取值范围：1~8300。BLOB 实际二进制字符串加1字节（如果二进制字符串小于127字节）或4字节（如果二进制字符串大于等于127...
无感集成（Zero-ETL）
云原生数据仓库 AnalyticDB PostgreSQL 版 提供无感集成（Zero-ETL）功能，可以帮助您一站式完成数据同步和管理，实现事务处理和数据分析一体化，专注于数据分析业务。公测时间 2024年4月1日至6月30日。公测地域 华东2（上海）。方案概述 ...
管理数据集
数据集是基于特定数据库和SQL查询生成，并且以二维表呈现的一种数据集合。本文介绍创建、编辑、删除数据集的方法。注意事项 数据分析后续所有的分析工作、仪表盘制作和大屏制作都是基于数据集进行的，因此在进行其他功能前，必须先创建数据...
核心概念
当数据的业务含义存在较大差异时，您可以创建不同的数据板块，独立管理不同的业务，后续数据仓库的建设将按照数据板块进行划分。在Dataphin中，项目可以归属至数据板块以实现规范建模功能，同一个数据板块中可能包含多个不同的项目，所以...
PostgreSQL数据源
由于主备数据同步存在一定的时间差，特别在于某些特定情况，例如网络延迟等问题，导致备库同步恢复的数据与主库有较大差别，从备库同步的数据不是一份当前时间的完整镜像。一致性约束 PostgreSQL在数据存储划分中属于RDBMS系统，对外可以...
Oracle数据源
由于主备数据同步存在一定的时间差，在网络延迟等特定情况下，会导致备库同步恢复的数据与主库有较大差别，从备库同步的数据不是一份当前时间的完整镜像。一致性约束 Oracle在数据存储划分中属于RDBMS系统，对外可以提供强一致性数据查询...
高效数据治理实施指南
DataWorks数据治理中心可协助数据治理团队建立数据治理框架、优化治理过程、提升治理效率，从而实现治理目标的高效突破。本文通过治理负责人的实操过程，为您介绍如何通过数据治理计划能力，高效设定和达成数据治理目标。背景信息 在多人...
FAQ
本页面讨论了经常容易混淆的内容，以及跟其它数据库系统相比TSDB For InfluxDB®以意想不到的方式运行的地方。管理（Administration）如何识别TSDB For InfluxDB®的版本？shard group duration和保留策略之间的关系是什么？当更改保留策略...
云数据库录入
本文介绍如何将阿里云数据库录入至数据管理DMS中。前提条件 支持录入的云数据库类型，请参见 支持的云数据库。系统角色为DBA或管理员。查看系统角色的操作，请参见 查看我的系统角色。已在云数据库的白名单中添加DMS的服务器访问地址。详细...
AnalyticDB MySQL 2.0数据导入
如果业务存在实时写入流量，则需要在同步数据之前启动业务双写（即同时写入 AnalyticDB for MySQL 2.0和 数仓版（3.0）），以保证不会丢失数据同步期间产生的增量数据。通过MySQL客户端连接 AnalyticDB for MySQL 2.0集群。mysql-h host-P ...
仪表盘
仪表盘是 数据管理DMS 数据分析的其中一种可视化应用类型，其提供自动布局和可交互能力，您可以通过使用仪表盘来进行数据分析和制作可视化报表。本文介绍仪表盘的基本概念、功能展示及操作步骤。基本概念 仪表盘集合：仪表盘集合是用户管理...
新建事实逻辑表
业务活动（过程）添加多个属性后生成事实逻辑表。事实逻辑表包含主键、度量和事实属性字段。主键用于定义事实逻辑表从来源表中的取数逻辑；度量是数值类型的字段，表示某个方面的大小、多少或者程度。本文为您介绍如何新建及配置事实逻辑表...
新建事实逻辑表
业务活动（过程）添加多个属性后生成事实逻辑表。事实逻辑表包含主键、度量和事实属性字段。主键用于定义事实逻辑表从来源表中的取数逻辑；度量是数值类型的字段，表示某个方面的大小、多少或者程度。本文为您介绍如何新建及配置事实逻辑表...
pg_dump
pg_dump是 PolarDB PostgreSQL版（兼容Oracle）提供的一种逻辑备份工具，用于将集群中的单个数据库备份为脚本文件或其他存档文件。简介 pg_dump用于备份单个数据库。即使当前数据库正在被访问，也会对正在访问的数据进行一致的备份，并且在...
功能发布记录（2022年）
英国（伦敦），美国（硅谷），美国（弗吉尼亚），阿联酋（迪拜）所有DataWorks用户 数据集成概述 DataWorks支持EMR新版数据湖DataLake DataWorks支持基于EMR计算引擎新版数据湖DataLake，实现基于EMR引擎的数据集成、数据建模、数据开发...
图表管理
背景信息 图表是数据进行可视化的最小单元，图表的生成过程是依据数据集提供的数据模型对SQL结果进行二次聚合分组，然后将二次加工的数据进行可视化编码。每一个图表均需要关联一个数据集，图表编辑器通过将数据集中的原始SQL语句与数据...
数据开发：开发者
本文以使用MaxCompute数据源，在DataWorks上运行MaxCompute作业任务为例，为您介绍开发人员如何使用数据开发（DataStudio）创建一个周期调度任务，帮助您快速了解数据开发（DataStudio）模块的基本使用。前提条件 已完成开发前的环境准备，...
整库离线同步至OSS
您需要在数据集成同步任务配置前，配置好您需要同步的源端和目标端数据库，以便在同步任务配置过程中，可通过选择数据源名称来控制同步任务的读取和写入数据库。同步解决方案支持的数据源及其配置详情请参见 支持的数据源与读写能力。说明 ...
混合检索使用指南
当结构化数据与非结构化数据需要同时检索时，您可以使用 AnalyticDB PostgreSQL版 向量数据库的混合查询，既支持结构化字段过滤，也支持半结构化字段过滤，同时支持和文本字段的全文检索一起进行双路召回。混合检索简介 ANNS（Approximate ...
文档更新动态（2022年）
新功能 安全设置 2022年05月08日 新增支持ClickHouse数据源 新增支持ClickHouse数据源，您可以将ClickHouse数据源业务数据引入至Dataphin或将Dataphin数据导出至ClickHouse。新功能 创建ClickHouse数据源 2022年05月08日 脚本实例和逻辑表...
新功能发布记录
云数据库RDS、云原生数据库PolarDB、云数据库MongoDB、云数据库Redis、云原生内存数据库Tair、云原生数据仓库AnalyticDB PostgreSQL版产品的备份恢复功能均由DBS提供，各产品功能动态详情如下。说明 更多产品动态详情，请参见 数据库备份...
云数据库RDS简介
安全稳定可靠 历经考验：已支撑数十万用户的业务稳定运行，且经过双十一高并发、大数据量的考验。高可用性：支持主备容灾架构、自动故障切换、跨可用区容灾，最高可保障 99.99%可用性。备份恢复：提供自动备份，支持异地备份、按时间点恢复...
混合存储型（已停售）
场景分类 混合存储型实例 社区版实例 数据量与预算 数据量大，有降低成本需求。正在使用Pika、SSDB或者ARDB等。正在使用大容量的主备或者集群Redis。数据量小，或者预算充足且暂时无需降低存储成本。冷热数据分布 业务中冷热数据区分明显。...
常见问题
1.售前咨询渠道 尊敬的“准”大数据专家服务用户您好：如果您准备购买阿里云大数据专家服务，但是遇到如服务范围、规格、服务选择等售前方面的问题，您可以通过钉钉与我们联系，您将“当面”获得阿里云大数据专家咨询专家的建议。...
- 产品推荐
- 这些文档可能帮助您