exZset
通过TairZset（exZset）可实现256维度的double类型的分值排序，适用于游戏、直播、音乐、电商等行业的排行榜场景，可极大提升数据处理效率，且客户端适配简易，无需任何编解码封装。TairZset简介 原生Redis支持的排序结构Sorted Set（也称...
基本对象概念
在本章的上下文中，对象类型和对象是指SPL编程语言支持的特定数据结构，用于实现面向对象的概念。在Oracle中，抽象数据类型(ADT)用于描述 PL/SQL 中的对象类型。对象类型的SPL实现旨在与Oracle抽象数据类型兼容。PolarDB兼容Oracle数据库还...
迁移HBase至Hologres
本文为您介绍如何迁移HBase的语法和数据至Hologres上进行数据开发。背景信息 Hologres支持行存表模式，在该模式下，提供高性能基于主键的点查能力，广泛应用在Flink维度表、ID-Mapping、标签获取、订单明细查询等场景中。相比传统的HBase等...
设计阶段
设计工作包含数据探查和系分设计两部分：数据探查旨在了解来源数据的数据形态，例如数据质量、数据分布等。结合业务场景，帮助分析和判断需求实现的可行性以及找出潜在的数据问题和风险。系分设计则包括表设计、Mapping设计和调度设计等最...
Beam概述（公测）
Beam自研存储引擎采用统一的存储设计（行存Detla和PAX结构的列存Base），既能够承载OLTP的高并发读写负载，也能够应对OLAP的批量写入和大量扫描场景。Beam是 AnalyticDB PostgreSQL版 基于PostgreSQL 12的Table Access Method开发的下一代...
创建Kudu数据源
背景信息 Kudu提供接近于关系数据库管理系统（RDBMS）的功能和数据模型，提供类似于关系型数据库的存储结构来存储数据，允许用户以和关系型数据库相同的方式插入、更新、删除数据。Kudu仅仅是一个存储层，并不存储数据，因此需要依赖外部的...
Iceberg概述
您可以借助Iceberg快速地在HDFS或者阿里云OSS上构建自己的数据湖存储服务，并借助开源大数据生态的Spark、Flink、Hive和Presto等计算引擎来实现数据湖的分析。核心能力 Apache Iceberg设计初衷是为了解决Hive数仓上云的问题，经过多年迭代...
我是安全管理员
结构设计 在新项目、新需求或者优化等业务场景中，一般会涉及到新建表、修改表等结构的变更操作，此时可以使用DMS的结构设计功能。库表同步 库表同步功能可以在多套不同环境之间（如测试环境、生产环境）进行表结构的对比，从而保证环境...
常见问题
数据备份与容灾：您对数据的安全性和可用性有极高的要求，对所有写入的数据，都希望在另一个数据中心显式地维护一份副本，以备发生特大灾难，如地震、海啸等导致一个OSS数据中心损毁时，还能启用另一个OSS数据中心的备份数据。数据复制：...
什么是OSS-HDFS服务
OSS-HDFS服务（JindoFS服务）是一个云原生数据湖存储功能。基于统一的元数据管理能力，完全兼容HDFS文件系统接口，满足大数据和AI等领域的数据湖计算场景。注意事项 警告 当您为某个Bucket开通OSS-HDFS服务后，通过该服务写入的数据将保留...
我是管理员
数据库开发 结构设计 在新项目、新需求或者优化等业务场景中，一般会涉及到新建表、修改表等结构的变更操作，此时可以使用DMS的结构设计功能。库表同步 库表同步功能可以在多套不同环境之间（如测试环境、生产环境）进行表结构的对比，从而...
表设计
本章节主要为您介绍表格存储表设计的最佳实践。说明 关于表格存储索引选择的最佳实践，参见 存储和索引的引擎详解。主键设计——数据散列 为什么需要数据散列 数据散列是分布式数据系统中的通常要考虑的问题，散列的目的是让数据分布更均匀...
概述
为应对数据爆炸式增长的挑战，PolarDB分布式版本基于对象存储设计了一套列存索引（Clustered Columnar Index，CCI）功能，支持将行存数据实时同步到列存存储上，并支持以下功能：在线事务处理和实时数据分析的一体化能力，满足OLTP和OLAP...
迁移时源库为PolarDB MySQL版的注意事项及限制
如果迁移的源集群为 PolarDB MySQL版，您需要在配置具体的迁移任务前，参考本文的注意事项及限制，以保障数据迁移任务的正常运行。源库为PolarDB MySQL版的迁移方案概览 根据如下迁移方案，查看迁移任务的注意事项及限制：PolarDB MySQL版...
通过Logstash导入数仓版
Logstash是开源的服务器端数据处理管道，能够同时从多个数据源采集数据，然后对数据进行转换，并将数据写入指定的存储中。AnalyticDB MySQL 完全兼容MySQL，您可以将Logstash Input插件支持的任一数据源中的数据写入 AnalyticDB MySQL。...
迁移时源库为Oracle的注意事项及限制
如果迁移的源数据库类型为自建Oracle，您需要在配置具体的迁移任务前，参考本文的注意事项及限制，以保障数据迁移任务的正常运行。源库为Oracle的迁移方案概览 根据如下迁移方案，查看迁移任务的注意事项及限制：自建Oracle迁移至PolarDB ...
产品架构
数据库分层架构 在数据库分层架构中，使用 Tablestore 配合MySQL来完成应用系统的业务需求，利用MySQL的事务能力来处理对事务强需求的写操作与部分读操作，利用 Tablestore 的数据检索能力和大数据存储来实现数据存储、查询与分析。...
高维向量检索（PASE）
本文介绍 PolarDB PostgreSQL版 如何通过PASE插件（基于IVFFlat或HNSW算法）实现高维向量检索。背景信息 近年来，深度学习领域内的表示学习技术，作为人工智能的代表性技术，取得了长足性进展，在工业界中已经被大量应用，例如广告投放、...
高维向量检索（PASE）
本文介绍 PolarDB PostgreSQL版（兼容Oracle）如何通过PASE插件（基于IVFFlat或HNSW算法）实现高维向量检索。背景信息 近年来，深度学习领域内的表示学习技术，作为人工智能的代表性技术，取得了长足性进展，在工业界中已经被大量应用，...
新功能发布记录
什么是数据管理DMS 02月 功能名称 变更类型 功能描述 相关文档 数据库迁移 新增 通过产品化解决方案的封装，实现数据库迁移、校验和清理的闭环操作。同时支持库名称修改、迁移前预校验、迁移后数据一致性校验及来源数据库的清理，保证数据...
现代IM系统中的消息系统—模型
本章节主要介绍表格存储（Tablestore）的Timeline模型基本功能以及核心组件，并且会通过IM消息系统场景，介绍如何基于Timeline实现IM场景下消息同步、存储和索引等基本功能。Timeline模型 Timeline模型以简单为设计目标，核心模块主要包括...
多元索引介绍
多元索引（Search Index）基于倒排索引和列式存储，可以解决大数据的多维查询和统计分析难题。当日常业务中有非主键列查询、多列组合查询、模糊查询等多维查询需求以及求最值、统计行数、数据分组等数据分析需求时，您可以将这些属性作为...
云存储网关
适用场景 云存储网关适用于以下场景：云存储扩容和迁移 集成智能缓存算法，自动识别冷热数据，将热数据保留在本地缓存，保证数据访问体验，无感知的将海量云存储数据接入本地数据中心，拓展存储空间。同时在云端保留全量数据，保证数据的...
功能特性
功能集 功能 功能描述 参考文档 上传数据 Tunnel（离线）MaxCompute的客户端（odpscmd）、Studio等数据上传下载工具均通过Tunnel功能实现数据的上传与下载。Tunnel（离线）Kafka（离线与实时）支持将消息队列Kafka版数据导入MaxCompute。...
功能支持情况
不适用 存储冗余类型概述 OSS提供本地冗余存储和同城冗余存储两种存储冗余类型，覆盖从单可用区到多可用区的数据冗余机制，以保证数据的持久性和可用性。支持本地冗余存储，不支持同城冗余存储 OSS高防 OSS高防是OSS结合DDoS高防推出的DDoS...
Serverless模式
AnalyticDB PostgreSQL版 全新推出Serverless模式，利用云基础设施提供的资源池化和海量存储能力，结合传统MPP数据库技术、离在线一体化技术和Serverless技术，实现了计算存储分离、秒级扩缩容和多实例数据实时共享的特性。简介 AnalyticDB...
数据集成概述
离线（批量）的数据通道通过定义数据来源和去向的数据源和数据集，提供一套抽象化的数据抽取插件（Reader）、数据写入插件（Writer），并基于此框架设计一套简化版的中间数据传输格式，从而实现任意结构化、半结构化数据源之间数据传输。...
Oracle物理备份
数据库备份DBS 支持对Windows或Linux操作系统上的Oracle数据库进行物理备份，支持备份Oracle单实例、Data Guard Physical Standby、RAC等多种架构的Oracle数据库。本文介绍Oracle物理备份，关于Oracle逻辑备份的信息，请参见 Oracle逻辑...
无锁结构变更方案对比
Online修改工具：PT-Online（PT-Online-Schema-Change）：工作原理是创建和源表A一样的表A_gst执行DDL操作，同时在A上创建一个DML触发器，然后将A中的数据拷贝到A_gst，在拷贝过程中产生的增量变更就用触发器完成同步更新。拷贝结束后执行...
计费常见问题
如果您开启了生命周期管理功能，当数据满足生命周期管理策略后会转储到低频存储或归档存储，归档存储容量和您在访问这部分数据时会产生低频存储或归档存储读写流量费用，这些费用仅支持按量付费，因此会产生欠费。更多信息，请参见 通用型...
概览
功能项 说明 结构设计 便捷、规范地完成表结构变更。普通数据变更 通过SQL Console直接输入SQL语句或通过数据变更工单提交数据变更。测试数据构建 批量生成各类随机值、地区名、虚拟IP地址等信息，大大减轻您准备测试数据的负担。无锁结构...
轨迹抽稀
以下是一个轨迹分析场景中，使用时空函数优化查询的示例：某物联网平台客户使用Lindorm存储轨迹数据，需要实时将轨迹显示在大屏中，为减少前端渲染计算量，需要按照指定规则，根据不同的精度需求对轨迹进行抽稀，抽稀前后结果如下图所示。...
如何对JSON类型进行高效分析
PolarDB 列存索引（In Memory Column Index，IMCI）功能推出了完备的虚拟列与列式JSON功能等，可以快速处理大数据和多种数据类型（包括结构化数据与半结构化数据等），并提供高效的数据分析、查询与流计算能力，适用于数据分析、数据仓库与...
基本概念
MySQL Binlog：实时数据同步模式，通过同步并解析记录所有数据库表结构变更（例如CREATE、ALTER TABLE…）以及表数据修改（INSERT、UPDATE、DELETE…）的二进制日志，实现数据的秒级同步。SQLServer CDC：实时数据同步模式，开启CDC的源表...
创建数据表
使用CreateTable接口创建数据表时，需要指定数据表的结构信息和配置信息，高性能实例中的数据表还可以根据需要设置预留读/写吞吐量。创建数据表时支持创建一个或者多个索引表。注意事项 创建数据表后需要几秒钟进行加载，在此期间对该数据...
管理迭代
数据管理DMS的DevOps迭代提供了逐阶段推进研发流程的功能，每个迭代的阶段内都可以直接新建相应类型的工单，使得开发协同性更好，开发更高效。新建迭代 登录 数据管理DMS 5.0。在顶部菜单栏中，选择 数据库开发>研发空间>DevOps。单击 迭代...
PolarDB PostgreSQL版架构介绍
PolarDB PostgreSQL版 是一款阿里云自主研发的企业级数据库产品，采用计算存储分离架构，兼容PostgreSQL与Oracle。PolarDB PostgreSQL版 的存储与计算能力均可横向扩展，具有高可靠、高可用、弹性扩展等企业级数据库特性。同时，PolarDB ...
从自建MySQL迁移至MyBase MySQL
DTS支持结构迁移、全量数据迁移以及增量数据迁移，同时使用这三种迁移类型可以实现在自建应用不停服的情况下，平滑地完成自建MySQL数据库的迁移上云。本文是以新版数据传输服务DTS（Data Transmission Service）控制台为例，旧版数据传输...
Kafka单表实时入湖OSS（HUDI）
在 数据输出预览 窗口，您可以根据需要修改输入数据，或者单击 手工构造数据 按钮自定义输入数据，然后单击 预览 按钮，查看当前数据处理节点对数据的处理结果，当数据处理节点处理异常，或者产生脏数据时，也会实时反馈异常信息，能够帮助...
自建SQL Server迁移至AnalyticDB for PostgreSQL
数据传输服务DTS（Data Transmission Service）支持将自建SQL Server迁移至 云原生数据仓库AnalyticDB PostgreSQL版，帮助您轻松实现数据的传输，用于实时数据分析。前提条件 该迁移任务仅支持在新版控制台配置。自建SQL Server数据库支持...
- 产品推荐
- 这些文档可能帮助您