本文介绍在使用图数据库GDB过程中的常见问题。产品介绍 问:什么是图数据库GDB?答:GDB是Graph Database的简写。GDB是一种支持Property Graph图模型、用于处理高度连接数据查询与存储的实时、可靠的在线数据库服务。它支持Apache ...
在调用API时会消耗一定的资源组,为了防止资源组不能正常访问数据源,或资源(CPU、内存)不足导致API调用异常、高频调用请求被限流等问题,您需要确保资源组的网络连通性和充足的性能。本文为您介绍资源组规划时的注意项及不同资源组类型...
数据库所在位置 待备份数据库实例的所在位置,支持类型如下:RDS实例 有公网IP:Port的自建数据库 ECS上的自建数据库 通过专线/VPN网关/智能网关接入的自建数据库 PolarDB 无公网IP:Port的自建数据库(通过数据库网关DG接入)说明 本示例为...
数据集成提供向导式的开发引导,您无需编写任何代码,通过在界面勾选数据来源与去向,并结合DataWorks调度参数,实现将源端单表或分库分表的全量或增量数据周期性同步至目标数据表。本文为您介绍向导模式配置离线同步任务的常规配置,各...
本文为您介绍如何使用数据传输迁移 OceanBase 数据库 Oracle 租户的增量数据至 MySQL 数据库。重要 如果数据迁移项目长期处于非活跃状态(项目状态为 失败、已暂停 或 已完成),受增量日志保留时长等影响,项目可能无法恢复。数据传输将...
慢日志问题极大地影响数据库的稳定性,当数据库出现负载高、性能抖动等问题时,数据库管理员或开发首先会查看是否有慢日志在执行。数据库自治服务DAS(Database Autonomy Service)支持慢日志分析功能,会统计并分析数据库中执行时间超过...
通常情况下,在磁盘均衡度⽅⾯,hash分⽚的策略会⽐ranged好很多,因为根据不同的key值,云数据库MongoDB通过内部的哈希函数可以使得数据均匀地分布在不同地分⽚上,⽽range分⽚⼀般是根据key的⼤⼩范围进⾏数据分布,所以往往会造成这样的...
此处的有效数据不包括由于类型转换错误等数据质量问题而被过滤的数据,数据质量问题可以参见 数据导入常见问题。MySQL和HTTP协议 StarRocks提供MySQL协议和HTTP协议两种访问协议接口来提交作业。Broker Load Broker导入,即通过部署的...
FTP数据源为您提供读取和写入FTP双向通道的功能,本文为您介绍DataWorks的FTP数据同步的能力支持情况。使用限制 FTP Reader实现了从远程FTP文件读取数据并转为数据同步协议的功能,远程FTP文件本身是无结构化数据存储。对于数据同步而言,...
PolarDB-X 2.0数据源为您提供读取和写入PolarDB-X 2.0的双向通道,本文为您介绍DataWorks的PolarDB-X 2.0数据同步的能力支持情况。使用限制 PolarDB-X 2.0数据源仅支持使用 独享数据集成资源组。支持的版本 离线读写:支持PolarDB-X 2.0,...
云原生多模数据库 Lindorm 内含宽表引擎、时序引擎、搜索引擎、文件引擎、计算引擎和流引擎,兼容HBase/Cassandra/S3、OpenTSDB、Solr、HDFS、Kafka等多种开源标准接口,同时提供SQL查询、时序处理、文本检索分析等能力。为应对动态变化的...
为什么会产生数据倾斜 Tair 集群架构作为一个分布式系统,整个数据库空间会被分为16384个槽(Slot),每个数据分片节点将存储与处理指定Slot的数据(Key),例如3分片集群实例,3个分片分别负责的Slot为:[0,5460]、[5461,10922]、[10923,...
为什么会产生数据倾斜 Redis 集群架构作为一个分布式系统,整个数据库空间会被分为16384个槽(Slot),每个数据分片节点将存储与处理指定Slot的数据(Key),例如3分片集群实例,3个分片分别负责的Slot为:[0,5460]、[5461,10922]、[10923,...
本文介绍如何查看数据传输服务DTS(Data Transmission Service)数据校验任务的详情。前提条件 已创建并配置数据校验任务,详情请参见 配置数据校验。注意事项 在DTS同步或迁移实例中配置的校验任务,支持在实例详情和校验任务列表查看;...
本文为您介绍使用Tunnel命令过程中的常见问题。问题类别 常见问题 Tunnel Upload Tunnel Upload是否支持通配符或正则表达式?Tunnel Upload对文件大小是否有限制?记录大小是否有限制?是否要使用压缩?同一个表或分区是否可以并行上传数据...
本文汇总了搜索索引的常见问题。开通与购买 为什么已购买搜索引擎,使用搜索索引还需要单独开通?功能特性 什么是搜索索引?搜索索引的适用场景有哪些?搜索索引与二级索引的区别是什么?模糊查询和分词查询的区别及适用的场景有哪些?分区...
支持的数据库部署位置(接入方式)阿里云实例 有公网IP的自建数据库 通过数据库网关DG接入的自建数据库 通过云企业网CEN接入的自建数据库 ECS上的自建数据库 通过专线/VPN网关/智能接入网关接入的自建数据库 阿里云实例 通过数据库网关DG接...
背景信息 您可以在数据传输控制台创建从 OceanBase 数据库迁移数据至 OceanBase 数据库同类型租户的数据迁移项目,通过结构迁移、全量迁移和增量同步,无缝迁移源端数据库中的存量业务数据和增量数据至目标端数据库。前提条件 数据传输已...
限流:考虑到速度过高可能对数据库造成过大的压力从而影响生产,数据集成同时提供了限速选项,您可以通过限流控制同步速率,从而保护读取端数据库,避免抽取速度过大,给数据库造成太大的压力。限速最小配置为1MB/S,最高上限为30MB/s。离...
本文为您介绍影响数据同步速度的因素、如何通过调整同步任务的并发配置来实现同步速度最大化、作业的限速选项,以及数据同步过慢的场景。文档概述 同步速度受同步任务本身配置、数据库、网络等多方面影响,详情请参见:数据同步速度的影响...
本文为您介绍如何通过创建同步任务,导出MaxCompute中的数据至MySQL数据源中。前提条件 已通过RDS创建MySQL实例,获取RDS实例ID,并在RDS控制台添加白名单。详情请参见 快速创建RDS MySQL实例 和 添加白名单。说明 如果是通过自定义资源组...
本文汇总了 AnalyticDB MySQL版 集群中的常见查询报错问题及处理建议。查询报错 QUERY_EXCEED_LIMIT ErrMsg:groups 100000001 exceed limit=>10000000 用户在执行SQL查询用limit处理分页时,如果start值限制10000无法获取10000以后的数据,...
背景信息 在数据传输控制台创建从 OceanBase 数据库 Oracle 租户迁移数据至 Oracle 数据库的数据迁移项目,您可以通过结构迁移、全量迁移和增量同步,无缝迁移源端数据库中的存量业务数据和增量数据至 Oracle 数据库。同时,数据传输支持将...
即多流binlog日志(也称为Binlog-X),并不是将所有DN的binlog归并到一个全局队列,而是将数据进行Hash打散并分发到不同的日志流,在一定程度上牺牲了事务的完整性,但大大提升了扩展性,可以解决大规模集群下单流binlog存在的单点瓶颈问题...
这些情况有可能影响到线上业务平稳运行、数据丢失、Kafka集群容错能力下降,单块盘故障甚至有可能因为IO处理能力下降导致集群出现雪崩效应、引起重大生产事故。因此需要对磁盘故障进行有效监控以便及时发现故障。当磁盘发生故障时,应及时...
数据集成的离线同步功能为您提供数据读取(Reader)和写入插件(Writer),方便您通过定义来源与去向数据源,并结合DataWorks调度参数使用,将源端数据库中全量或增量数据的同步至目标数据库中。本文为您介绍离线同步的相关能力。使用限制 ...
项目启动成功后,PolarDB-X 1.0 数据库至 OceanBase 数据库 MySQL 租户的数据迁移项目会自动删除,数据传输会保存 PolarDB-X 1.0 数据库下挂载的数据库至 OceanBase 数据库 MySQL 租户的数据迁移项目,并自动创建相应的数据源。您可以在弹...
如果您想要将自建HBase或阿里云HBase中的数据迁移或同步至Lindorm 宽表引擎,可以通过LTS服务完成存量数据迁移和实时数据同步。本文介绍HBase数据同步与迁移的使用场景、功能列表、迁移优势、使用限制以及迁移任务等操作。使用场景 自建...
DM(达梦)数据源作为数据中枢,为您提供读取和写入DM数据库的双向通道,能够快速解决海量数据的计算问题。本文为您介绍DataWorks的DM数据同步的能力支持情况。使用限制 离线同步支持读取视图表。DM Reader和DM Writer仅支持使用 独享数据...
数据传输服务DTS(Data Transmission Service)支持在源端MongoDB的数据中分片键字段缺失的情况下,将数据同步至分片集群架构的MongoDB中,并指定分片键的默认值。本文以 云数据库MongoDB版(副本集架构)为源且 云数据库MongoDB版(分片...
数据传输服务DTS(Data Transmission Service)支持在源端MongoDB的数据中分片键字段缺失的情况下,将数据同步至分片集群架构的MongoDB中,并指定分片键的默认值。本文以 云数据库MongoDB版(副本集架构)为源且 云数据库MongoDB版(分片...
它能通过一定的算法将k个原始数据块计算出m个冗余数据块,只要在这 k+m 个数据块中选择任意k个数据块就能计算得到所有的原始数据。当 k=4,m=2 时,在存储效率上等价于1.5副本,并可以允许最多2个数据块损坏。因此纠删码相比于多副本,可以...
停止全面支持时间 2023年9月30日0点 影响 您在停止全面支持时间点前创建的数据开发(旧版)项目不会受到影响,可正常使用EMR数据开发(旧版)模块,包括运行作业和工作流调度,但阿里云不再提供EMR数据开发(旧版)的用户答疑、问题解决和...
本文为您介绍如何使用数据传输迁移 OceanBase 数据库 MySQL 租户的数据至 MySQL 数据库。重要 如果数据迁移项目长期处于非活跃状态(项目状态为 失败、已暂停 或 已完成),受增量日志保留时长等影响,项目可能无法恢复。数据传输将主动...
数据传输服务DTS(Data Transmission Service)支持在源端MongoDB的数据中分片键字段缺失的情况下,将数据迁移至分片集群架构的MongoDB中,并指定分片键的默认值。本文以 云数据库MongoDB版(副本集架构)为源且 云数据库MongoDB版(分片...
数据传输服务DTS(Data Transmission Service)支持在源端MongoDB的数据中分片键字段缺失的情况下,将数据迁移至分片集群架构的MongoDB中,并指定分片键的默认值。本文以 云数据库MongoDB版(副本集架构)为源且 云数据库MongoDB版(分片...
常见问题 读取Loghub同步某字段有数据但是同步过来为空 读取Loghub同步少数据 读取Loghub字段映射时读到的字段不符合预期 更多其他数据集成常见问题请参见 数据集成常见问题。附录:LogHub(SLS)脚本Demo与参数说明 附录:离线任务脚本...
本文为您介绍如何使用数据传输迁移 TiDB 数据库的数据至 OceanBase 数据库 MySQL 租户。重要 如果数据迁移项目长期处于非活跃状态(项目状态为 失败、已暂停 或 已完成),受增量日志保留时长等影响,项目可能无法恢复。数据传输将主动释放...
升级资源组规格:当源端数据量增大,或者同步解决方案任务重新编辑过同步任务(将任务由读取单库单表变更为读取多库多表),导致当前资源组消耗不了当前同步数据量级,此时您可选择扩大资源组规格,资源组规格调整详情请参考:变更规格操作...
问题类别 常见问题 插入或更新数据 执行INSERT操作过程中出现错误,会损坏原有数据吗?执行INSERT INTO或INSERT OVERWRITE操作时,提示Table xxx has n columns,but query has m columns,如何解决?执行INSERT INTO或INSERT OVERWRITE...