迁移 OceanBase 数据库 Oracle 租户的数据至 Oracle ...
对于无主键且包含 LOB 类型字段的表，反向增量会出现数据质量问题。如果源端字符集为 UTF-8，建议目标端使用兼容源端的字符集（例如，UTF-8、UTF-16 等），避免产生因字符集不兼容导致目标端出现乱码等问题。节点之间的时钟不同步，或者...
迁移 Oracle 数据库的数据至 OceanBase 数据库 Oracle...
对于无主键且包含 LOB 类型字段的表，反向增量会出现数据质量问题。数据源标识和用户账号等，在数据传输系统内全局唯一。Oracle 数据库的增量日志解析最大支持 5T/天。Oracle 数据库 11G 及之前版本不支持创建超过 30 个字节的数据库对象。...
如何把数据库迁移到RDS
详细信息 数据库迁移过程中，会出现数据库中断或者闪断的情况。如出现闪断的情况，请参见 更多信息。以下是不同数据库迁移到RDS的方法。RDS MySQL版 关于将MySQL数据库迁移到RDS，请参见 从自建MySQL迁移至RDS for MySQL。RDS SQL Server版...
概述
随着业务的快速发展，企业数据呈几何倍增长，数据量庞大、复杂、各类数据间标准不一致，往往会出现数据难以管理的现象。DataWorks智能数据建模服务，将无序、杂乱、繁琐、庞大且难以管理的数据，进行结构化有序的管理。使企业中的数据产生...
补数据
问题现象 补数据选择业务时间昨天和今天，会出现等待时间的情况。产生原因 从平台维度来看，业务时间昨天的数据，今天调度运行。补数据补对应业务时间的数据相当于重新执行了一次对应业务时间的周期实例。如果您需要过滤今天的周期实例，您...
一键实时同步至Kafka
例如，CPU、内存、网络等互相影响，可能会导致离线任务变慢或实时任务延迟等问题，甚至在资源不足的极端情况下，可能会出现任务被OOM KILLER杀掉等问题。步骤六：执行同步任务 进入 数据集成>同步任务 界面，找到已创建的同步方案。单击...
数据库迁移
背景信息 随着业务的发展，数据库会出现升降配、数据库整体迁移的需求，为支持此类业务场景，DMS推出数据库迁移功能，支持对多种数据库的结构、数据进行同构迁移，同时支持库名称修改、迁移前预校验、迁移后数据一致性校验及来源数据库的...
2023年
修复并发插入数据过程中，会出现误报主键冲突的问题。2023年04月（V2.0.0.2）类别 功能 功能描述 相关文档 缺陷修复 修复实时写入时，执行Flush、Compact以及并发DDL等操作可能出错的问题。2023年03月（V2.0.0.1）类别 功能 功能描述 相关...
离线同步常见问题
任务运行在独享数据集成资源上，日志中会出现如下信息：running in Pipeline[basecommon_S_res_group_xxx]。如果凌晨任务调度时偶尔失败，但重跑又能成功，请检查数据库在报错时间点的负载情况。如何切换数据集成任务执行资源组？您可以在 ...
性能优化与诊断简介
自动SQL优化 可以进行自动SQL诊断优化和索引创建，在数据库实例出现慢SQL问题时，及时进行诊断和优化，帮助数据库系统运行在最佳状态。自动SQL限流 可以设置触发条件，当相关条件满足时会自动触发SQL限流来控制数据库请求访问量和SQL并发量...
实例介绍
主实例 PolarDB-X 1.0 主实例专注于解决单机关系型数据库扩展性问题，用于处理实时高并发的在线事务业务。只读实例 PolarDB-X 1.0 只读实例是对主实例的补充，您可以将复杂SQL计算或有并发诉求的普通查询在只读实例上执行。通过物理资源...
聚水潭：云原生数据仓库助力企业实现商业洞察
本文介绍聚水潭通过引入 AnalyticDB PostgreSQL版 构建企业级云原生数据仓库，解决业务需求过大、资源弹性扩展难等问题。客户介绍 上海聚水潭网络科技有限公司成立于2014年，是一家从事SaaS ERP应用服务研发且拥有完全自主知识产权的软件...
2023年
无 缺陷修复 修复智能诊断功能统计表大小时可能会出现数字溢出的问题，现已将统计表大小的列由integer数据类型修改为bigint数据类型。修复分区表UPDATE分布键列时出现 tuple already updated by self 错误信息的问题。修复Master节点不回收...
云数据库Redis实例间单向数据迁移
如果您需要将一个 云数据库 Redis 版 实例的数据迁移到另一个 云数据库 Redis 版 实例中，且您未创建新实例，推荐您通过 备份集克隆、数据闪回功能 将数据克隆至新实例，若您已创建新实例，建议您通过数据传输服务DTS（Data Transmission ...
时序引擎版本说明
修复最新值查询在扩容后可能会出现返回多条数据的问题。修复降采样查询中不支持常量折叠计算的问题。修复正则查询降采样数据时间条件不生效的问题。3.4.10 2022年02月28日 新特性 SQL查询语句tags支持通过正则表达式过滤。支持non_negative...
应用场景
数据传输服务DTS（Data Transmission Service）支持数据迁移、数据订阅和数据实时同步功能，帮助您实现多种典型应用场景。不停机迁移数据库 传输方式：数据迁移 为了保证数据的一致性，传统的迁移过程需要您在迁移数据时停止向源数据库写入...
确认表血缘
导致下游取数出现问题 若当前节点 Job_B 代码中配置了依赖A表的数据，但未将产出A表数据的节点 Job_A 作为当前节点依赖的上游，则可能会出现A表数据未产出，当前节点便开始执行，最终导致 Job_B 节点产出的表数据出现问题。虽然 Job_A 的...
VARIANCE/VAR_POP
在同一条SQL语句中同时使用多个聚合函数时，如果项目资源不足，会出现内存溢出问题，请您根据实际业务情况优化SQL或购买计算资源。命令格式 double variance()double var_pop()参数说明 colname：必填。数据类型为数值的列。参数为其他类型...
LTS（原BDS）服务介绍
主备容灾 通过LTS在主备集群之间实现实时数据的双向同步，当主集群出现问题，可以切换到备集群，尽可能减少对业务产生的影响，当主集群服务恢复之后，通过LTS同步服务补齐主集群遗漏的数据。RDS历史库 对于交易订单等存储场景，随着数据量...
异常检测
及时发现数据库的异常问题是数据库日常运维的重点。数据库自治服务DAS提供异常检测功能，基于机器学习和细粒度的监控数据，无需手动开启，自动实现7x24小时的异常检测。相比基于规则或阈值的告警方式，能够更及时地发现数据库异常变化。...
应用场景
而 OceanBase 数据库利用分区表的方案及其带来的水平扩展能力，完美地解决了这一问题。只需要将原来的 N 份数据，每一份都通过分区表打散为 M 个数据分区，利用分区表打破单机的容量限制，就可以从数据层完成这一拆分过程，无需业务改造，...
LTS（原BDS）服务介绍
主备容灾 通过LTS在主备集群之间实现实时数据的双向同步，当主集群出现问题，可以切换到备集群，尽可能减少对业务产生的影响，当主集群服务恢复之后，通过LTS同步服务补齐主集群遗漏的数据。RDS历史库建设 对于交易订单等存储场景，随着...
互联网服务：小打卡
在单机RDS的情况下，由于单表数据量大，会出现读性能瓶颈导致APP卡顿甚至崩溃。基于 PolarDB-X+RDS的分布式数据库解决方案能在表拆分成小的物理表后，提供海量数据平稳高并发读能力，保证了客户核心业务的稳定性和高性能。小打卡的圈子打卡...
COLLECT_SET
在同一条SQL语句中同时使用多个聚合函数时，如果项目资源不足，会出现内存溢出问题，请您根据实际业务情况优化SQL或购买计算资源。命令格式 array collect_set()参数说明 将 colname 指定的列值聚合为一个无重复元素的数组。此函数为...
数据资产定级
局部性质：数据直接或间接用于某些业务线的运营、报告等，如果出现问题会给业务线造成一定的影响或造成工作效率降低。标记为A3。一般性质：数据主要用于日常数据分析，出现问题带来的影响极小。标记为A4。未知性质：无法明确数据的应用场景...
离线同步并发和限流之间的关系
在一些数据同步场景，脏数据的出现会导致任务同步效率下降，以关系数据库写出为例，默认是执行batch批量写出模式，在遇到脏数据时会退化为单条写出模式（以找出batch批次数据具体哪一条是脏数据，保障正常数据正常写出），但单条写出效率会...
时空引擎版本发布记录
修复由于栅格数据带有 NAN 和 INF 等数据，在导入和统计值会出错的问题。4.3 新特性 ST_PixelAsPolygon：将栅格像素转换为Polygon对象。ST_PixelAsPolygons：将栅格像素转换为Polygon对象集合。ST_PixelAsPoint：将栅格像素转换为基于点...
数据资产定级
局部性质：数据直接或间接用于某些业务线的运营、报告等，如果出现问题会给业务线造成一定的影响或造成工作效率降低。标记为A3。一般性质：数据主要用于日常数据分析，出现问题带来的影响极小。标记为A4。未知性质：无法明确数据的应用场景...
数据授权
您授权允许 数据安全中心（DSC）访问MaxCompute、RDS和对象存储OSS数据时，可能会出现授权失败的情况。您可以参考以下原因排查数据授权问题。RDS连接授权失败有哪些原因？RDS数据库账号或密码输入错误。您自行删除了RDS访问白名单中 DSC ...
时空数据库版本发布记录
修复 ST_Union 函数在未执行扩展升级时会崩溃的问题。Raster SQL 修复等值线/等值面生成函数 ST_Contour 中band参数变为从0开始的问题。Trajectory SQL 修复轨迹模块因为依赖pg_type导致无法安装的问题。Importer SQL 修复 ST_ImportOSGB ...
时空数据库版本发布记录
修复 ST_Union 函数在未执行扩展升级时会崩溃的问题。Raster SQL 修复等值线/等值面生成函数 ST_Contour 中band参数变为从0开始的问题。Trajectory SQL 修复轨迹模块因为依赖pg_type导致无法安装的问题。Importer SQL 修复 ST_ImportOSGB ...
HISTOGRAM
在同一条SQL语句中同时使用多个聚合函数时，如果项目资源不足，会出现内存溢出问题，请您根据实际业务情况优化SQL或购买计算资源。命令格式 map,bigint>histogram(K input);参数说明 input：输入字段，将作为Map的Key。返回值说明 返回构造...
BITWISE_OR_AGG
在同一条SQL语句中同时使用多个聚合函数时，如果项目资源不足，会出现内存溢出问题，请您根据实际业务情况优化SQL或购买计算资源。命令格式 bigint bitwise_or_agg(bigint value)参数说明 value：必填。BIGINT类型的值，NULL值不参与计算。...
BITWISE_AND_AGG
在同一条SQL语句中同时使用多个聚合函数时，如果项目资源不足，会出现内存溢出问题，请您根据实际业务情况优化SQL或购买计算资源。命令格式 bigint bitwise_and_agg(bigint value)参数说明 value：必填。BIGINT类型的值，NULL值不参与计算...
技术面临的挑战与革新
会存在资源浪费的情况，并且share nothing架构的数据库在存储扩展的过程中要做数据重分配，这种记录级别的迁移需要耗费大量的计算资源，会导致迁移过程中服务性能的显著下降。并且因为数据无法共享，因此这样的数据库系统往往会形成数据的...
Binlog日志服务
例如，uk(name)=a先后被id=1和id=2的数据所持有，但因无法保证 delete(id=1,name=1)和 insert(id=2,name=a)在目标库的执行顺序，当 insert(id=2,name=2)先于 delete(id=1,name=1)执行时，会出现写入冲突。此类场景建议设置拆分级别为表级。...
数据资产等级定义
局部性质：数据直接或间接用于某些业务线的运营、报告等，如果出现问题会给业务线造成一定的影响或造成工作效率降低。标记为A3。一般性质：数据主要用于日常数据分析，出现问题带来的影响极小。标记为A4。未知性质：无法明确数据的应用场景...
MAP_AGG
在同一条SQL语句中同时使用多个聚合函数时，如果项目资源不足，会出现内存溢出问题，请您根据实际业务情况优化SQL或购买计算资源。命令格式 map,V>map_agg(K a,V b);参数说明 a：输入字段，将作为Map的Key。b：输入字段，将作为Map的value...
迁移时源库为SQL Server的注意事项及限制
当超出数量限制，会出现稳定性和性能问题的风险，此时建议您拆分待迁移的表，分批配置任务。如需进行增量迁移，数据日志：需开启，备份模式设置为Full，且已成功执行过全量物理备份。如为增量迁移任务，DTS要求源数据库的数据日志保存24...
迁移 PolarDB-X 2.0 数据库的数据至 OceanBase 数据库...
如果源端和目标端的表结构不完全一致，可能会出现数据不一致的情况。目前已知场景如下：用户手动创建表结构时，因超出数据传输的支持范围，可能产生隐式的转换问题导致源端和目标端列的类型不一致。目标端的数据长度小于源端的数据长度时，...
- 产品推荐
- 这些文档可能帮助您