概述
相关概念 并行扫描 在并行扫描中，每个Worker并行独立扫描数据表中的数据。Worker扫描产生的中间结果集将会返回给Leader线程，Leader线程通过Gather操作收集产生的中间结果，并将所有结果汇总返回到客户端。多表并行连接 并行查询会将多表...
配置Hologres输入组件
输入过滤 配置Hologres输入组件读取数据时需要过滤掉的数据。例如，ID>112。输出字段 输出字段区域展示了已选中表的所有字段。如果不需要将某些字段输出至下游组件，则您可以删除对应的字段：如果需要删除少量的字段，则可以单击 操作 列下...
配置Hologres输入组件
输入过滤 配置Hologres输入组件读取数据时需要过滤掉的数据。例如，ID>112。输出字段 输出字段区域展示了已选中表的所有字段。如果不需要将某些字段输出至下游组件，则您可以删除对应的字段：如果需要删除少量的字段，则可以单击 操作 列下...
并行创建空间索引
注意事项 空间排序方法仅适用于点数据（Point），其他空间类型的数据使用此方法将会降低索引的查询性能。使用方法 说明 以下命令示例中的Worker数量及Worker内存使用总量均为样例，请根据实际情况进行配置。打开GiST Sort功能。set polar_...
并行创建空间索引
注意事项 空间排序方法仅适用于点数据（Point），其他空间类型的数据使用此方法将会降低索引的查询性能。使用方法 说明 以下命令示例中的Worker数量及Worker内存使用总量均为样例，请根据实际情况进行配置。打开GiST Sort功能。set polar_...
多值数据写入
返回时，会将该批次数据中写入失败的数据全部返回，返回的响应内容和指定 details 时相同，只是此时通过 errors 字段返回的将是该一批次数据中所有的失败数据，未被返回的数据可以认为写入成功。名称 数据类型 描述 success Integer 写入...
数据库导出
当您需要进行数据库备份、导出数据库表进行数据分析等操作，您可使用 数据管理DMS 的数据导出功能，该功能可通过提交工单的方式导出数据库。前提条件 数据库类型如下：MySQL系列：自建MySQL、RDS MySQL、PolarDB MySQL版、AnalyticDB ...
设计阶段
设计工作包含数据探查和系分设计两部分：数据探查旨在了解来源数据的数据形态，例如数据质量、数据分布等。结合业务场景，帮助分析和判断需求实现的可行性以及找出潜在的数据问题和风险。系分设计则包括表设计、Mapping设计和调度设计等最...
导出数据
在页面左侧的 数据库实例 列表区域，找到目标数据库。左键双击数据库名称，进入SQL Console。右键单击目标表，选择 导出>导出表结构。说明 您也可以在页面右上方选择>整库表结构。在 导出表结构 页面，导出数据字典文档。支持导出Word、...
写入数据
此时TSDB写入成功或失败时会按下述响应内容返回成功的数据点数和失败的数据点数方便业务端进行统计 名称 数据类型 描述 success Integer 写入成功的数据点数 failed Integer 未能成功写入的数据点数 示例如下：{"failed":0,"success":20 } ...
一键建仓
数据管理DMS一键建仓功能可以实现一键创建实时同步的数据仓库，数据可在秒级的延迟下，同步至AnalyticDB MySQL版数据库中，帮助您更实时、准确地掌握业务情况，以便更好地进行业务分析和决策，提升业务效果。本文介绍如何在数据管理DMS中...
配置任务时测试连接失败的排查及解决方法
本文根据不同的实例类型介绍可能失败的原因及对应的解决方案。详细信息 当连接性预检查失败时，可能是由于如下原因：诊断内容 可能原因 解决方法 JDBC 数据库账号密码填写有误，或者是数据库的IP、Port连接地址填写错误。数据库账号授权...
准备数据
说明 如果是通过自定义资源组调度RDS的数据同步任务，必须把自定义资源组的机器IP也加入RDS的白名单中。下载本教程使用的原始数据 indicators_data、steal_flag_data 和 trend_data。上传原始数据至RDS数据源，详情请参见 将Excel的数据...
使用DataWorks
MaxCompute支持通过DataWorks的数据集成功能将MaxCompute中的数据以离线方式导出至其他数据源。当您需要将MaxCompute中的数据导出至其他数据源执行后续数据处理操作时，您可以使用数据集成功能导出数据。本文为您介绍如何将MaxCompute的...
MySQL实例间的双向同步
此类情况须要将目标实例中的对应触发器删除掉，表B的数据由源实例同步过去，详情请参见 源库存在触发器时如何配置同步作业。RENAME TABLE限制 RENAME TABLE操作可能导致同步数据不一致。例如同步对象只包含某个表，如果同步过程中源实例对...
Kafka实时ETL同步至Hologres
在弹出对话框中指定好 开始时间 和 采样条数 后，单击 开始采集 按钮，可以对指定的Kafka Topic进行数据采样，同时您可以预览Topic中的数据，为后续数据处理节点的数据预览和可视化配置提供输入。编辑数据处理节点。单击 图标可以增加数据...
PyODPS概述
调用persist接口会将产生的数据直接写到另一张MaxCompute表中，所有的数据产生与消费都在 MaxCompute集群完成，也节约了本地的网络与内存。在这个例子中也使用到了三方包，MaxCompute是支持自定义函数中使用三方包的（示例中的 jieba），...
基于AnalyticDB构建企业数仓
进入工作空间管理中心页面后，单击左侧导航栏的 数据源，进入数据源页面。单击左侧导航栏中的 数据源，在 数据源列表 页面，单击 新增数据源。在 新增数据源 对话框中，选择数据源类型为 AnalyticDB for MySQL(V3.0)。配置AnalyticDB for ...
PolarDB MySQL版8.0版本内核参数发布日志
2024.01.25 类型 参数 级别 说明 新增 loose_polar_archive_thread_cnt Global 对冷数据进行并行归档时的最大线程数量。取值范围：1~1024。默认值为1。单位为个。说明 该参数仅适用于8.0.2版本。修改 loose_max_oss_connections Global 将...
对分区表使用跨机并行查询
通过对分区表使用跨机并行查询，提升数据库的性能。功能介绍 当前对分区表使用跨机并行查询支持的功能如下所示：支持range分区的并行查询。支持list分区的并行查询。支持hash分区的并行查询。支持分区裁剪。支持带有索引的分区表并行查询。...
对分区表使用跨机并行查询
通过对分区表使用跨机并行查询，提升数据库的性能。功能介绍 当前对分区表使用跨机并行查询支持的功能如下所示：支持range分区的并行查询。支持list分区的并行查询。支持hash分区的并行查询。支持分区裁剪。支持带有索引的分区表并行查询。...
MongoDB数据源
对于支持读取的数据类型，数据集成在读取时：基本类型的数据，会根据同步任务配置的读取字段（column，详见下文的 附录：MongoDB脚本Demo与参数说明）中的name自动读取对应path下的数据，并根据数据类型做自动转换，您无需指定column的type...
PolarDB PostgreSQL版：ePQ架构详解
其中最本质的原因是传统mpp数据库的数据默认是哈希分布的，当两张表的join key是各自的分布键时，可以不用shuffle直接进行本地的Wise Join。而 PolarDB PostgreSQL版 的底层是共享存储池，PxScan算子并行扫描出来的数据等价于随机分布，...
常见问题
数据同步过程中如果源实例中的数据库名、表名或者列名中含有划线（-）会报错吗？...若源库中存在ADB不支持的数据类型（例如地理位置数据等类型），ADB在进行结构初始化时会丢弃掉不支持数据类型的列，ADB常见数据类型请参见 数据类型。
并行查询使用限制和兼容性问题
本文为您介绍并行查询的使用限制以及与串行执行结果可能...加了行锁的数据记录数增多 当并行执行 SELECT.FROM.FOR SHARE 语句时，InnoDB会将访问到的每一行数据都加锁，因此加了行锁的记录数可能会比非并行执行的情况下要多，这属于正常现象。
使用OSS Foreign Table进行数据湖分析
本文介绍如何使用OSS Foreign Table（OSS外表，简称OSS FDW）导入OSS中的数据并进行数据分析。功能介绍 OSS FDW基于PG FDW（PostgreSQL Foreign Data Wrapper）框架进行开发，通过OSS FDW，您可以进行如下操作：将OSS数据导入本地表（行存...
并行INSERT
并行查询进程从存储中并行读取各自负责的数据分片，并将数据发送到Motion算子。并行写入进程从Motion算子中获取数据，向存储并行写入数据。参数说明 通过 polar_px_dop_per_node 参数调整 INSERT INTO.SELECT.中查询的并行度。通过 polar_...
并行INSERT
并行查询进程从存储中并行读取各自负责的数据分片，并将数据发送到Motion算子。并行写入进程从Motion算子中获取数据，向存储并行写入数据。参数说明 通过 polar_px_dop_per_node 参数调整 INSERT INTO.SELECT.中查询的并行度。通过 polar_...
数据源读取时间超时的优化思路
如果您的数据源访问经常超时，则需要从整体数据架构上做一定的优化。本文介绍导致DataV读取数据源超时的常见原因和解决方法。使用SQL查询的业务数据表数量太大，查询超时 针对查询条件所使用的字段添加索引，减少扫描行数。在数据库中增加...
数据源读取时间超时的优化思路
如果您的数据源访问经常超时，则需要从整体数据架构上做一定的优化。本文介绍导致DataV读取数据源超时的常见原因和解决方法。使用SQL查询的业务数据表数量太大，查询超时 针对查询条件所使用的字段添加索引，减少扫描行数。在数据库中增加...
PolarDB PostgreSQL版：ePQ架构详解
其中最本质的原因是传统mpp数据库的数据默认是哈希分布的，当两张表的join key是各自的分布键时，可以不用shuffle直接进行本地的Wise Join。而 PolarDB PostgreSQL版（兼容Oracle）的底层是共享存储池，PxScan算子并行扫描出来的数据等价于...
PolarDB PostgreSQL（兼容Oracle）2.0版本商业化公告
并行 VACUUM（垃圾回收）VACUUM 机制在 PolarDB PostgreSQL版（兼容Oracle）2.0版本 的数据库管理中非常重要，能够释放掉已经不再使用的表空间，以缓解常见的表膨胀问题。为了进一步优化垃圾回收的效率和性能，PolarDB PostgreSQL版（兼容...
弹性并行查询（ePQ）发布说明
PolarDB 基于共享存储的ePQ架构，在跨节点一致性视图机制的保证下，子任务在任意节点执行都能读取到正确的数据。核心优势 弹性并行查询（ePQ）能够有效利用集群内所有节点的计算资源进行并行加速。具体优势如下：实时性分析，统一的底层...
并行DDL
当数据库硬件资源空闲时，您可以通过并行DDL功能加速DDL执行，避免阻塞后续相关的DML操作，缩短执行DDL操作的窗口期。前提条件 创建二级索引时，PolarDB 集群版本需满足如下条件之一：PolarDB MySQL版 8.0.2版本且修订版本为8.0.2.1.7及...
PolarDB PostgreSQL（兼容Oracle）2.0版本与1.0版本...
并行 VACUUM（垃圾回收）VACUUM 机制在 PolarDB PostgreSQL版（兼容Oracle）2.0版本 的数据库管理中非常重要，能够释放掉已经不再使用的表空间，以缓解常见的表膨胀问题。为了进一步优化垃圾回收的效率和性能，PolarDB PostgreSQL版（兼容...
概述
PolarDB PostgreSQL版（兼容Oracle）提供了跨机并行查询（Parallel Execution）的功能，支持多个计算节点分布式地执行SQL查询，加速 PolarDB PostgreSQL版（兼容Oracle）的分析型查询性能，充分发挥存储层PolarFileSystem的高I/O吞吐能力，...
概述
PolarDB PostgreSQL版（兼容Oracle）提供了跨机并行查询（Parallel Execution）的功能，支持多个计算节点分布式地执行SQL查询，加速 PolarDB PostgreSQL版（兼容Oracle）的分析型查询性能，充分发挥存储层PolarFileSystem的高I/O吞吐能力，...
互联网金融：上海富友支付服务股份有限公司
主要原因有：PolarDB 100%兼容MySQL协议和语法，存储计算分离的云原生架构外加新硬件的加持，同时内核上也做了大量优化，如支持并行查询、并行加索引，大表写入、DDL优化等，相比开源MySQL有3倍的性能提升。PolarDB历经了7年的发展，在各个...
使用OSS外表高速导入OSS数据
在 AnalyticDB PostgreSQL 数据库中执行如下命令，将OSS上的数据并行导入到 AnalyticDB PostgreSQL 数据库。INSERT INTO<目标表>SELECT*FROM<外部表>操作示例 本文以目标表example为例，介绍将OSS的数据通过外部表导入目标表example。创建...
基本概念
消费时间点 消费时间点是指客户端消费掉的最新一条增量数据对应的时间戳。每次客户端消费并提交数据更新时，DTS都会将最新的提交时间标记为消费时间点。如果客户端停止响应，DTS会自动从消费时间点恢复，将数据更新发送给下一个健康的消费...
- 产品推荐
- 这些文档可能帮助您