PyODPS节点实现避免将数据下载到本地
本文为您介绍PyODPS如何避免将数据下载到本地。背景信息 PyODPS提供了多种方便下载数据到本地的方法。因此，在设备允许的情况下，可以把数据下载到本地处理，然后再上传至MaxCompute。但是这种操作非常低效，数据下载到本地进行处理，无法...
Dataphin补数据提示：“下游节点数超过系统支持选中的...
问题描述 Dataphin补数据提示：“下游节点数超过系统支持选中的最大限制3000”。问题原因 查出列表模式的最大查询范围。解决方案 选用海量模式补数据。更多信息 补数据 适用于 Dataphin
通过函数计算节点实现GitHub实时数据分析与结果发送
开发人员在基于GitHub开源项目进行开发时会产生海量事件，GitHub会记录每次事件的类型、详情、开发...本实践使用的公共Github数据存储在公共的MySQL数据库中，您需要先创建一个MySQL数据源，用于后续同步数据至MaxCompute时对接MySQL数据库。...
节点/数据库/表/分区/二级分区
介绍节点、数据库、表、分区表和二级分区的概念。节点 在HybridDB for MySQL中，节点是一个资源单位（比如当前C2规格对应：8 Core 32GB Memory 512GB SSD）。当前在阿里云的控制台中最多能够购买64个节点，如果有需要更多节点，可以通过...
物理节点管理概述
因此，在使用数据访问代理进行数据库的管理之前，您需要通过数据访问代理控制台添加已购买的数据节点，这些数据节点可以是 RDS 或 OceanBase 实例，使数据访问代理可以接入并管控这些数据节点。当数据访问代理接入数据节点后，您可以通过...
强一致分布式事务
事务2PC提交 以转账场景为例，假设用户账户是一张分区表，那么同一笔转账交易的转入方和转出方很可能位于不同的数据节点上，因此需要分布式事务来保证转账结果正确。BEGIN;UPDATE account SET balance=balance-20 WHERE name='Alice';...
分区迁移
执行以下SQL，将p1、p3迁移到指定的存储节点DN2（其中DN2是存储节点的ID）中：alter table tb1 move partitions p1,p3 to 'DN2';表组级用法 说明 对表组的分区进行迁移，意味着表组内所有表的相应分区会同步的迁移到指定存储节点。假设表tb...
慢日志
数据节点（DN）慢SQL：即物理慢SQL，PolarDB-X 发送到存储层节点的慢SQL，不支持优化操作。每个 PolarDB-X 节点最多保存30天慢日志，超过时间将会被自动删除。慢日志查看 登录 PolarDB分布式版控制台。在页面左上角选择目标实例所在地域。...
AUTO模式核心特性及典型场景
由于分表不能随意的迁移到其他DN（数据节点），调度的基本单位就是一个分库，要调度必须整个分库一起调度，粒度很大，如果某个分库的数据量很大，不管怎么调度，DN之间都无法做到数据均衡。但是，AUTO模式的分区表由于采用了一致性哈希的...
分区热力图
DN节点：该分区所在的数据节点。说明 如果显示-，表示该展示分区当前已经不存在，可能是DDL变更或热力信息统计过程中对分区进行重新合并引起的。库：分区所在逻辑库名。表：分区所在逻辑表名。分区：逻辑分区名。自定义操作 关闭分区热力...
分区热力图
DN节点：该分区所在的数据节点。说明 如果显示-，表示该展示分区当前已经不存在，可能是DDL变更或热力信息统计过程中对分区进行重新合并引起的。库：分区所在逻辑库名。表：分区所在逻辑表名。分区：逻辑分区名。自定义操作 关闭分区热力...
术语表
数据节点（Data Node，简称DN）PolarDB-X实例是存储计算分离架构，存储层由多个存储节点构成，每一个节点关系对等，规格相同。存储节点负责数据的持久化，基于多数派Paxos协议提供数据高可靠、强一致保障。元数据节点 PolarDB-X实例的...
如何选择升配与扩容
此种形式的升配耗时比较短，特别是数据节点的升配，不涉及数据的迁移；如果节点宿主机没有足够的资源做原地升配，则会进行节点的迁移，相对会消耗更多的时间。一般情况下，节点规格相对较小的时候，能更容易做到原地升配。相应的，降配操作...
计算层变量
FALSE：路由给只读DN的流量读取数据的新鲜程度依赖于主备之间的同步延迟。SUPPORT_INSTANT_ADD_COLUMN 否 OFF[ON|OFF]秒级加字段（Instant Add Column）功能的开关，通过 SET GLOBAL 语句开启。ENABLE_STATEMENTS_SUMMARY 否 true[true|...
绑定OpenLDAP
节点的 Base DN 也会有变化，为避免节点路径调整导致 LDAP 数据同步出错，您在 IDaaS 中配置同步来源节点的 Base DN 时，IDaaS 也会将该节点的 ObjectGuid 作为节点指纹，当节点的 Base DN 有变动导致和节点指纹不匹配时，将阻断数据同步...
绑定AD
节点的 Base DN 也会有变化，为避免节点路径调整导致 AD 数据同步出错，您在 IDaaS 中配置同步来源节点的 Base DN 时，IDaaS 也会将该节点的 ObjectGuid 作为节点指纹，当节点的 Base DN 有变动导致和节点指纹不匹配时，将阻断数据同步行为...
产品概述
存储节点（Data Node，DN），主要提供数据存储引擎，基于多数派Paxos共识协议提供高可靠存储、分布式事务的MVCC多版本存储，另外提供计算下推能力满足分布式的计算下推要求（比如Project/Filter/Join/Agg等下推计算），可支持本地盘和共享...
通过LOCALITY指定存储位置（AUTO模式）
DATABASE|CREATE DATABASE|+-+-+|db1|CREATE DATABASE `db1`/*MODE='auto' LOCALITY="dn=polardbx-ng28-dn-0,polardbx-ng28-dn-1,polardbx-ng28-dn-2"*/|+-+-+1 row in set(0.04 sec)您还可以通过如下命令查看创建在该数据库下的逻辑...
变更表的表组（AUTO模式）
在 PolarDB-X 的AUTO模式数据库中，所有表都从属且只属于一个表组，同一个表组内的表分区方式一致，同一表组内的表之间的关联查询可以下推到存储节点执行，执行效率得到了很大的提高。本语法仅适用于AUTO模式数据库。为了方便将表关联到同...
CREATE DATABASE
DEFAULT_SINGLE（版本要求：PolarDB-X 5.4.17-16921956及以上）指定AUTO模式数据库是否使用单表自动打散至各个DN节点的分布策略，该选项仅对AUTO模式数据库有效，对DRDS模式数据库无效。参数取值如下：当DEFAULT_SINGLE='on' 时，AUTO模式...
计算资源监控
物理QPS 平均每秒处理的发送给DN节点的请求的个数。逻辑慢SQL 每秒逻辑（用户请求）慢SQL数量。物理慢SQL 每秒物理（发送给DN的请求）慢SQL数量。网络吞吐量 网络接收/网络接收量 每秒应用到计算节点的网络接收量，单位为KB/s。网络输出/...
PolarDB-X 2.0和1.0功能对比
PolarDB-X中，核心功能全部内聚到内核：X-DB作为其DN（数据节点）。GMS（Global Meta Service）节点支持以下功能：提供分布式事务所使用的全局自增的时间戳。根据负载情况，调度数据的分布，使节点之间达到均衡。提供统一的元数据，例如...
技术原理
以下图为例，shop库中的orders表根据每行数据的ID属性的哈希，被分区水平切分成orders_00～orders_11共计12个分区，均匀分布在4个数据节点上。对于用户来说，通常无需关心具体的数据分布，PolarDB-X的分布式SQL层将会自动完成查询路由、...
性能参数表
本文分别介绍了计算节点、数据/GMS节点、CDC节点的监控参数和含义。计算节点 API参数名 含义 Cpu_Usage CPU使用率，单位为%。Mem_Usage JVM（Java Virtual Machine，Java虚拟机）堆内存使用率。计算方法：堆内存使用总量/堆内存分配的大小*...
概述
存储节点（Data Node，DN）负责数据的持久化（面向行存数据），基于多数派Paxos协议提供数据高可靠、强一致保障，同时通过MVCC维护分布式事务的可见性，另外提供计算下推能力，以满足分布式的计算下推要求（例如Project/Filter/Join/Agg等...
慢日志
单击 计算节点（CN）或 数据节点（DN）页签，可以分别查看计算节点慢日志和数据节点慢日志。在 慢日志趋势 图中单击某个时间点，可以查看该时间点的 慢日志统计 和 慢日志明细。说明 如果SQL语句内容过长，没有完整展示，您可以将鼠标指针...
实时性能
PolarDB-X 提供实例级别的实时性能，帮助...单击 计算节点(CN)、数据节点(DN)、GMS节点 或 集群 页签，可分别查看相关节点的性能信息。单击 选择节点 下拉列表可查看不同节点的性能信息。说明 PolarDB-X 支持 实时图表 和 实时表格 两种视图。
容量评估
您可以通过容量评估功能查看容量评估建议、性能容量情况、存储容量的使用情况和剩余可用时间。...单击 计算节点(CN)或 数据节点(DN)，可分别查看计算节点或数据节点的容量信息。单击 节点 下拉列表可查看不同节点的信息。
如何优化Batch Insert
场景二：并行度 判断并行度是否合适的标准是将 PolarDB-X 数据节点的CPU使用率压满或将IOPS打满，以达到较好性能，因为Batch Insert语句基本无计算，所以 PolarDB-X 计算节点开销不大，主要开销在 PolarDB-X 数据节点。并行度过小或者过大...
分布式线性扩展
以下图为例，shop库中的orders表根据每行数据的ID属性进行哈希，被分区水平切分成orders_00～orders_11共计12个分区，均匀分布在4个数据节点上。PolarDB-X 的分布式SQL层将会自动完成查询路由、结果合并等。扩容迁移 随着业务的增长，数据...
概述
全局一致性 PolarDB-X 是一款分布式数据库，数据存放在多个数据节点（DN）上，当分布式事务存在的情况下，恢复后的实例需要保证多个数据节点间的数据一致性。下图通过转账测试给出了全局一致性的示例：PolarDB-X 中存放了一张用户的账户...
技术架构
存储节点（Data Node，DN），主要提供数据存储引擎，基于多数派Paxos共识协议提供高可靠存储、分布式事务的MVCC多版本存储，另外提供计算下推能力满足分布式的计算下推要求（比如Project/Filter/Join/Agg等下推计算），可支持本地盘和共享...
DescribeDBNodePerformance
DBNodeIds String 是 pxc-i-*,pxc-i-*节点名称，多个用英文逗号分隔，CDC节点和计算节点一次最多支持10个节点，数据节点一次最多支持1个节点。CharacterType String 是 polarx_cn 节点类型。目前包含polarx_cn、polarx_dn、polarx_cdc、...
如何支持超大事务
8分片，以ID为拆分键将上述实验表拆分成8个分片，每个存储节点（DN）2 个分片；16分片，以ID为拆分键将上述实验表拆分成16个分片，每个存储节点（DN）4 个分片；场景一 在该场景下，执行SQL语句数量中等，每条语句携带数据量较大，事务写入...
CDC测试
本文介绍了对 PolarDB-X 的CDC节点（Change Data Captur，日志节点）进行性能测试的方法。您可以参照本文进行测试，来了解您所购买的 PolarDB-X 实例CDC节点的性能情况。背景信息 PolarDB-X 的CDC节点是 PolarDB-X 数据库实例的日志节点，...
X-Pack集成LDAP认证最佳实践
准备和阿里云Elasticsearch同VPC下的LDAP服务和用户数据，本文以OpenLDAP 2.4.44版本为例。具体操作，请参见 LDAP官方文档。注意事项 自2020年10月起，阿里云Elasticsearch对不同地域进行了网络架构的调整，对创建的实例有以下影响：旧网络...
alicloud_drds_polardbx_instance
Provides a DRDS Polardb X Instance resource.For information about DRDS Polardb X Instance and how to use it,see What is Polardb X Instance.->NOTE:Available since v1.211.0.Example Usage Basic Usage ...zone="ap-southeast-1a...
alicloud_drds_polardbx_instance
Provides a DRDS Polardb X Instance resource.For information about DRDS Polardb X Instance and how to use it,see What is Polardb X Instance.->NOTE:Available since v1.211.0.Example Usage Basic Usage ...zone="ap-southeast-1a...
通过LOCALITY指定存储位置（DRDS模式）
在该实例中创建一个数据库，并通过如下命令指定其存储位置为 polardbx-storage-0-master 节点：CREATE DATABASE db1 LOCALITY='dn=polardbx-storage-0-master';说明 若在创建数据库时未指定数据库的存储位置，系统将默认在所有存储节点中...
Binlog日志服务
它可以看做是一个消息队列，队列中按顺序保存了MySQL中详细的增量变更信息，通过消费队列中的变更条目，下游系统或工具实现了与MySQL的实时数据同步，此机制也称为CDC（Change Data Capture，增量数据捕捉）。PolarDB-X 是兼容MySQL生态的...
- 产品推荐
- 这些文档可能帮助您