PolarDB HTAP实时数据分析技术解密
MySQL+专用AP数据库的搭积木方案 专用分析型数据库产品众多，一个可选方案为：使用两套系统来分别满足OLTP和OLAP型需求，在两套系统中间通过数据同步工具进行数据实时同步。用户甚至可以增加一层proxy，自动将TP型负载路由至MySQL数据库，...
元数据仓库共享模型标准访问方式
元数据共享模型是一系列元数据相关的物理表，基于Dataphin的系统元数据和相应计算引擎的元数据加工汇总而成，存储在Dataphin元仓租户下的元仓项目中，产出时效为T+1。若您需访问元仓共享模型，可以通过集成任务将元仓中所需的元仓共享模型...
管理数据库资产
在审计数据库前，您必须在数据库审计系统中添加要审计的数据库。本文介绍如何在数据库审计系统中管理数据库。背景信息 关于数据库审计支持的数据库类型，请参见 支持的数据库类型。添加数据库 您可以参考以下步骤在数据库审计系统中添加要...
如何对JSON类型进行高效分析
PolarDB 列存索引（In Memory Column Index，IMCI）功能推出了完备的虚拟列与列式JSON功能等，可以快速处理大数据和多种数据类型（包括结构化数据与半结构化数据等），并提供高效的数据分析、查询与流计算能力，适用于数据分析、数据仓库与...
列存索引技术架构介绍
MySQL+专用AP数据库的搭积木方案 该方案由两套系统来分别满足OLTP和OLAP型需求，在两套系统中间通过数据同步工具进行数据的实时同步。用户甚至 可以增加一层Proxy，自动将TP型负载路由到MySQL上，将分析性负载路由到OLAP数据库上，对应用层...
表分布定义
数据倾斜会导致部分计算节点存储的数据过多，查询负载大，查询耗时变长。因此请不要选择bool类型、时间日期类型的列作为分布键。选择经常作为查询条件的列作为分布键，可以实现按分布键进行节点裁剪。您可以选择一个或多个列作为分布键，...
领域模型概述
异步通信的优势如下：系统拓扑简单 由于调用方和被调用方统一和中间代理通信，系统是星型结构，易于维护和管理。上下游耦合性弱 上下游系统之间弱耦合，结构更灵活，由中间代理负责缓冲和异步恢复。上下游系统间可以独立升级和变更，不会...
使用批量更新
本文介绍了 AnalyticDB PostgreSQL版 中数据合并的方法和背后的原理，进而介绍如何使用批量操作，快速地更新数据。更新，又称为合并（Merge），指把数据最新版本更新到 AnalyticDB PostgreSQL版 中。如果数据已经存在，则将它们替换为新...
使用指南
账本数据服务返回数据为 JSON 格式，具体格式参考账本数据结构部分。合约开发请参考 开发指南。合约消息推送开发流程 用户智能合约使用合约消息推送服务API接口，开发流程如下：在 BaaS 平台上获取消息合约名称。获取合约消息推送 API 接口...
企业版和标准版功能对比
支持 不支持 OSS外表 若集群中某些库表的数据几乎没有更新、插入和修改操作，且读取频率非常低，如果您有降本需求，可以使用 PolarDB MySQL版 提供的冷数据归档功能，将这部分数据转存至低成本的OSS上存储，以降低数据存储成本。...
自动SQL限流
SQL限流是限制数据库上执行SQL的并发度，通过限制问题SQL的并发度后，保障数据库正常响应业务请求，保障大部分的业务正常运转，即通过小部分业务受损，保障大部分业务正常运行。背景信息 随着技术的发展，尤其是云数据库的普及，数据库系统...
Teradata应用迁移至AnalyticDB PostgreSQL
云原生数据仓库PostgreSQL版和Teradata的核心数据类型是互相兼容的，仅部分数据类型需要进行修改，通过 AnalyticDB PostgreSQL 的自动化转化工具，可以批量进行TD建表DDL语句的转换。详情请参见下表：Teradata AnalyticDB PostgreSQL char ...
文档更新动态（2023年）
更新说明 创建MySQL数据源 创建PolarDB-X数据源 创建AnalyticDB for MySQL 2.0数据源 创建AnalyticDB for PostgreSQL数据源 创建达梦（DM）数据源 创建TiDB数据源 创建Kafka数据源 离线集成配置优化 新增Apache Doris数据源的离线集成。...
功能更新动态（2023年）
创建MySQL数据源 创建PolarDB-X数据源 创建AnalyticDB for MySQL 2.0数据源 创建AnalyticDB for PostgreSQL数据源 创建达梦（DM）数据源 创建TiDB数据源 创建Kafka数据源 离线集成 新增Apache Doris数据源的离线集成。整库迁移任务支持...
资源组管理
如果MEMORY_SHARED_QUOTA参数值小于100%，系统将根据设定的比例将内存划分为固定部分和共享部分，固定部分是每个任务独占的内存，而共享部分是所有任务共享的内存空间。默认值：80，非必填；取值范围：0-100。MEMORY_SPILL_RATIO 内存敏感...
开发文档
账本数据服务返回数据为 JSON 格式，具体格式参考 账本数据结构 部分。API 使用流程 用户合约调用账本数据合约的账本数据访问接口发起查询请求，账本数据合约同步返回查询请求句柄，即请求单据号（request_id）。账本数据合约获取到查询...
数据导入性能优化
云原生数据仓库AnalyticDB MySQL版 提供的多种数据导入方法，满足不同场景下的数据导入需求。然而数据导入性能依然受各种各样的因素影响，如表的建模不合理导致长尾、导入配置低无法有效利用资源等。本文介绍不同场景下的数据导入调优方法...
数据导入性能优化
云原生数据仓库AnalyticDB MySQL版 提供的多种数据导入方法，满足不同场景下的数据导入需求。然而数据导入性能依然受各种各样的因素影响，如表的建模不合理导致长尾、导入配置低无法有效利用资源等。本文介绍不同场景下的数据导入调优方法...
专业术语
本文档主要介绍了时序数据库 InfluxDB®版的常见术语。aggregation（聚合）InfluxQL函数，能够返回一组数据点的聚合...在TSDB For InfluxDB®进程启动时，必须在系统接受新的写入请求前，将WAL中的所有数据点flush到存储空间。相关术语：tsm。
文档更新动态（2024年）
部分数据源支持配置数据库连接超时、重试次数，此外，离线集成任务中也可以单独配置任务级别的重试次数。对离线集成任务和全域数据质量监控规则运行生效，支持的数据源包括MySQL、PolarDB-X（原DRDS）、PolarDB、AnalyticDB for MySQL 2.0...
云数据库ClickHouse企业版兼容性指导
联邦查询 云数据库 ClickHouse 企业版 支持在云中进行跨集群通信和与外部的自建ClickHouse集群通信，目前支持的整合引擎有：Deltalake Hudi MySQL MongoDB NATS PostgreSQL OSS 云数据库 ClickHouse 企业版 目前不支持某些与外部数据库和表...
从PolarDB-X同步至云原生数据仓库 AnalyticDB MySQL ...
术语/概念对应关系 MySQL 云原生数据仓库AnalyticDB MySQL 数据库 云原生数据仓库AnalyticDB MySQL（2.0）：表组 云原生数据仓库AnalyticDB MySQL（3.0）：数据库 表 云原生数据仓库AnalyticDB MySQL（2.0）：表 云原生数据仓库AnalyticDB ...
系统配置
您可在数据保护伞的系统配置页面，设置数据保护伞的识别内容、识别范围，水印文件保存时间，是否展示风险识别的数据安全等级，以及告警信息的接收邮件及WebHook地址，以便及时发现并处理潜在安全风险。进入系统配置页面 进入数据开发页面。...
使用Redis搭建电商秒杀系统
秒杀活动是绝大部分电商选择的低价促销、推广品牌的方式。不仅可以给平台带来用户量，还可以提高平台知名度。一个好的秒杀系统，可以提高平台系统的稳定性和公平性，获得更好的用户体验，提升平台的口碑，从而提升秒杀活动的最大价值。本文...
应用场景
OceanBase 数据库可以利用分区表特性将数据打散后分布到集群的多个节点上，从而满足一部分的查询需求，之后利用强一致性全局索引功能来满足其它维度的查询和分析需求，在数据库层面实现了数据分片和水平扩展能力，并且对用户透明。...
从自建TiDB同步至云原生数据仓库AnalyticDB MySQL
本文介绍如何使用数据传输服务DTS（Data Transmission Service），结合Kafka集群与TiDB数据库的Pump、Drainer组件，将自建TiDB数据库同步至 云原生数据仓库AnalyticDB MySQL。前提条件 已创建 云原生数据仓库AnalyticDB MySQL 3.0版本，...
功能发布记录 2022年之前
提供的实时数据同步功能，可以将源端数据库中部分或全部表的数据变化实时同步至目标数据库中，实现目标库实时保持和源库的数据对应。利用解决方案可以实现全增量一体化同步。2021.4.15 全部地域。解决方案介绍 实时同步介绍 2020-07 功能...
技术原理
扩展性原理 扩展性本质在于分而治之，PolarDB-X 1.0 计算资源通过水平拆分（分库分表）和垂直拆分，将数据分散到多个存储资源MySQL以实现获取数据读写并发和存储容量分散的效果。水平拆分（分库分表）PolarDB-X 1.0 具备数据水平拆分的能力...
从PolarDB MySQL版同步至云原生数据仓库 AnalyticDB ...
术语/概念对应关系 PolarDB MySQL版 云原生数据仓库AnalyticDB MySQL 数据库 云原生数据仓库AnalyticDB MySQL（2.0）：表组 云原生数据仓库AnalyticDB MySQL（3.0）：数据库 表 云原生数据仓库AnalyticDB MySQL（2.0）：表 云原生数据仓库...
X-Engine简介
通常存储系统的数据访问都有局部性，大量的访问都集中在少部分数据上，这也是缓存系统能有效工作的基本前提。在LSM存储结构中，如果把访问频率高的数据尽可能放在较高的层次上，存放在快速存储设备中（例如NVM、DRAM），而把访问频率低的...
从PolarDB MySQL版同步至云原生数据仓库AnalyticDB ...
术语/概念对应关系 PolarDB MySQL版 云原生数据仓库AnalyticDB MySQL 数据库 云原生数据仓库AnalyticDB MySQL（2.0）：表组 云原生数据仓库AnalyticDB MySQL（3.0）：数据库 表 云原生数据仓库AnalyticDB MySQL（2.0）：表 云原生数据仓库...
RSS指标
RSS指标包含以下部分：RssMaster RssWorker RssMaster 参数 指标 描述 RegisterShuffle rss_master_metrics_RegisteredShuffleCount_Value 当前RSS节点注册的活跃shuffle数量。BlacklistedWorkerCount rss_master_metrics_...
从RDS同步到云原生数据仓库 AnalyticDB MySQL 版
术语/概念对应关系 MySQL 云原生数据仓库AnalyticDB MySQL 数据库 云原生数据仓库AnalyticDB MySQL（2.0）：表组 云原生数据仓库AnalyticDB MySQL（3.0）：数据库 表 云原生数据仓库AnalyticDB MySQL（2.0）：表 云原生数据仓库AnalyticDB ...
导入概述
原子性 StarRocks中所有导入方式都提供原子性保证，即同一个导入作业内的所有有效数据要么全部生效，要么全部不生效，不会出现仅导入部分数据的情况。此处的有效数据不包括由于类型转换错误等数据质量问题而被过滤的数据。MySQL和HTTP协议 ...
从RDS同步到云原生数据仓库AnalyticDB MySQL
术语/概念对应关系 MySQL 云原生数据仓库AnalyticDB MySQL 数据库 云原生数据仓库AnalyticDB MySQL（2.0）：表组 云原生数据仓库AnalyticDB MySQL（3.0）：数据库 表 云原生数据仓库AnalyticDB MySQL（2.0）：表 云原生数据仓库AnalyticDB ...
从ECS上的自建SQL Server同步至云原生数据仓库...
数据传输服务DTS（Data Transmission Service）支持将自建SQL Server同步至 云原生数据仓库AnalyticDB PostgreSQL，实现增量数据的实时同步。前提条件 自建SQL Server数据库版本为2008、2008 R2、2012、2014、2016、2017或2019版本。说明 ...
pg_dump
如果需要备份这部分数据，可以在备份时添加-blobs 命令行选项。N pattern 即-exclude-schema=pattern 备份除 pattern 之外的其他模式。说明 如果-n 和-N 同时出现，备份时至少匹配一个-n 模式而不匹配-N 模式，如果只出现-N，备份时将排除...
迁移 TiDB 数据库的数据至 OceanBase 数据库 MySQL ...
本文为您介绍如何使用数据传输迁移 TiDB 数据库的数据至 OceanBase 数据库 MySQL 租户。重要 如果数据迁移项目长期处于非活跃状态（项目状态为 失败、已暂停 或 已完成），受增量日志保留时长等影响，项目可能无法恢复。数据传输将主动释放...
导入概述
原子性 StarRocks中所有导入方式都提供原子性保证，即同一个导入作业内的所有有效数据要么全部生效，要么全部不生效，不会出现仅导入部分数据的情况。此处的有效数据不包括由于类型转换错误等数据质量问题而被过滤的数据，数据质量问题可以...
PostgreSQL数据源
PostgreSQL数据源为您提供读取和写入PostgreSQL双向通道的功能，方便您后续可以通过向导模式和脚本模式配置数据同步任务。本文为您介绍DataWorks的PostgreSQL数据同步能力支持情况。支持的版本 目前仅支持配置PostgreSQL数据源为PostgreSQL...
- 产品推荐
- 这些文档可能帮助您