客户案例
客户需求 希望优化数据体系结构，解决如下难点、痛点问题：业务团队对全域数据资产无感知，且数据需求响应时间长。组件繁多，运维、开发成本高。昼夜资源使用量不均，资源利用率低。扩展性差，扩容、升级存在一定难度和风险。数据质量难...
Cost-based SQL诊断引擎
基于规则的方式很难给出精确的回答，会出现模棱两可的局面。在这个例子中，SQL只是简单的单表查询，那对于再复杂一点的SQL，例如多个表Join，以及带有复杂的子查询，情况又会如何呢？情况变得更糟糕，更加难以为继。基于代价模型 与基于...
SQL查询
数据源白名单访问控制 当使用数据分析操作MaxCompute表数据时，如果MaxCompute项目空间开启了白名单访问控制，数据分析的相关服务（例如，费用计算、数据下载、维表使用、数据上传等）可能会出现报错。为保证DataWorks数据分析服务能顺利...
高效数据治理实施指南
除了对存量问题的治理，作为工作空间的管理员，还需要进行增量数据治理问题的事前管控，避免在存量治理目标需要达成的情况下又出现新的问题。数据治理中心通过 配置检查项，进行增量治理问题的管控，作用于数据开发和数据提交的研发环节。...
新功能发布记录
迁移 RDS PostgreSQL 实例的数据至 OceanBase 数据库 Oracle 租户 同步 RDS PostgreSQL 实例的数据至 OceanBase 数据库 Oracle 租户 数据库至数据库的数据同步项目新增支持匹配规则能力，可以助力用户在数据同步项目中通过简单的配置通配符...
RDS SQL Server间的同步
当超出数量限制，会出现稳定性和性能问题的风险，此时建议您拆分待同步的表，分批配置任务。不支持同步内存优化表。DTS是用fn_log函数获取源库日志，而该函数有一定的性能瓶颈，请不要过早清理源库日志，否则可能会导致任务失败。数据日志...
数据开发概述
DataWorks数据开发（DataStudio）模块用于定义周期调度任务的开发及调度属性，与运维中心配合使用，面向各引擎（MaxCompute、Hologres、EMR等）提供可视化开发主界面，支持智能代码开发、多引擎混编工作流、规范化任务发布等能力，帮助您...
MaxCompute数据离线同步至ClickHouse
说明 此处会展示ClickHouse数据源开发环境地的表列表和表结构，如果您的ClickHouse数据源开发和生产环境的表定义不同，则可能出现任务在开发环境配置正常但提交生产运行后报错表不存在、列不存在的问题。导入前准备语句、导入后完成语句 您...
OceanBase 数据库之间的数据迁移
如果源端和目标端的表结构不完全一致，可能会出现数据不一致的情况。目前已知场景如下：用户手动创建表结构时，因超出数据传输的支持范围，可能产生隐式的转换问题导致源端和目标端列的类型不一致。目标端的数据长度小于源端的数据长度时，...
迁移 PolarDB-X 2.0 数据库的数据至 OceanBase 数据库...
如果源端和目标端的表结构不完全一致，可能会出现数据不一致的情况。目前已知场景如下：用户手动创建表结构时，因超出数据传输的支持范围，可能产生隐式的转换问题导致源端和目标端列的类型不一致。目标端的数据长度小于源端的数据长度时，...
迁移 MySQL 数据库的数据至 OceanBase 数据库 MySQL ...
如果源端和目标端的表结构不完全一致，可能会出现数据不一致的情况。目前已知场景如下：用户手动创建表结构时，因超出数据传输的支持范围，可能会产生隐式的转换问题，导致源端和目标端列的类型不一致。目标端的数据长度小于源端的数据长度...
迁移 TiDB 数据库的数据至 OceanBase 数据库 MySQL ...
如果源端和目标端的表结构不完全一致，可能会出现数据不一致的情况。目前已知场景如下：用户手动创建表结构时，因超出数据传输的支持范围，可能会产生隐式的转换问题，导致源端和目标端列的类型不一致。目标端的数据长度小于源端的数据长度...
MySQL分库分表同步至MaxCompute
例如，CPU、内存、网络等互相影响，可能会导致离线任务变慢或实时任务延迟等问题，甚至在资源不足的极端情况下，可能会出现任务被OOM KILLER杀掉等问题。步骤八：执行同步任务 进入 数据集成>同步任务 界面，找到已创建的同步方案。单击...
离线同步数据质量排查
对于数据同步质量（数据条数、数据内容）有相关疑问，在写出端您可以尝试从下列常见情况对照排查：原因 问题描述 解决方案 写出模式选择导致 Writer插件会使用选择的写出模式将源头数据在目标端执行重放，如果源头数据和目标表结构出现数据...
迁移 PolarDB-X 1.0 数据库的数据至 OceanBase 数据库...
如果源端和目标端的表结构不完全一致，可能会出现数据不一致的情况。目前已知场景如下：用户手动创建表结构时，因超出数据传输的支持范围，可能会产生隐式的转换问题，导致源端和目标端列的类型不一致。目标端的数据长度小于源端的数据长度...
迁移 OceanBase 数据库 MySQL 租户的数据至 MySQL ...
如果源端和目标端的表结构不完全一致，可能会出现数据不一致的情况。目前已知场景如下：用户手动创建表结构时，因超出数据传输的支持范围，可能产生隐式的转换问题导致源端和目标端列的类型不一致。目标端的数据长度小于源端的数据长度时，...
补数据
问题现象 补数据选择业务时间昨天和今天，会出现等待时间的情况。产生原因 从平台维度来看，业务时间昨天的数据，今天调度运行。补数据补对应业务时间的数据相当于重新执行了一次对应业务时间的周期实例。如果您需要过滤今天的周期实例，您...
2023年
修复并发插入数据过程中，会出现误报主键冲突的问题。2023年04月（V2.0.0.2）类别 功能 功能描述 相关文档 缺陷修复 修复实时写入时，执行Flush、Compact以及并发DDL等操作可能出错的问题。2023年03月（V2.0.0.1）类别 功能 功能描述 相关...
内存型
云原生内存数据库Tair 内存型（简称内存型）适合并发量大、读写热点多、高性能场景，内存型重点增强了多线程性能并集成多个自研扩展数据结构。购买方式 创建实例 主要优势 类别 说明 兼容性 100%兼容原生Redis，无需修改业务代码，提供 ...
全增量实时同步至Hologres
例如，CPU、内存、网络等互相影响，可能会导致离线任务变慢或实时任务延迟等问题，甚至在资源不足的极端情况下，可能会出现任务被OOM KILLER杀掉等问题。步骤九：执行同步解决方案任务 进入 数据集成>同步任务 界面，找到已创建的同步方案...
管理问题数据
支持保留问题数据的规则列表与问题数据口径 目前支持保留问题数据的监控规则，及各规则问题数据的定义，详情请参见：附录：支持保留问题数据的规则列表与问题数据口径。注意事项 目前仅MaxCompute表支持配置保留问题数据功能。目前仅部分...
层级生成器功能介绍
层级生成器是一款用于生成自定义下钻区域树形结构数据的小工具，本文介绍层级生成器的详细功能。进入层级生成器 单击 DataV.GeoAtlas地理小工具系列，选择 层级生成器 页签，即可打开 层级生成器 工具页面。层级生成器界面 层级生成器界面...
Tair小版本发布日志
缺陷修复 修复开启全球多活后，集群架构实例在扩缩容时可能会小概率出现崩溃的问题。5.0.25 LOW 2023-01-13 功能优化 TairSearch全面支持分词器框架，更多信息请参见 Search分词器。TairSearch中的term和terms查询支持设置 lowercase 参数...
迁移 Oracle 数据库的数据至 OceanBase 数据库 Oracle...
转换后可以确保源端不同字符集中的数据能成功迁移至目标端，但割接后反向增量可能会出现数据超长无法写回源端的问题。如果源端存在包含时区信息的数据类型（例如 TIMESTAMP WITH TIME ZONE），请您确保目标端数据库支持并存在源端对应的...
层级生成器功能介绍
层级生成器是一款用于生成自定义下钻区域树形结构数据的小工具，本文介绍层级生成器的详细功能。进入层级生成器 单击 DataV.GeoAtlas地理小工具系列，即可打开 层级生成器 工具页面。层级生成器界面概述 层级生成器界面主要分成两大主要...
流式数据通道概述
热数据存储量会出现增长情况：在开启异步处理的场景下（Merge或Zorder），MaxCompute流式数据通道服务会对最近一小时写入的数据保存两份，一份为原始数据，一份为异步聚合后的数据，数据的存储量会有一定程度的冗余。冗余数据的保存周期...
大数据安全治理的难点
大数据系统以数据类型多（结构化、非结构化、半结构化）、数据量大（动辄PB级别）著称，某些巨头组织一天就能新增数十万甚至数百万张表，如此体量给数据分级分类带来了极大挑战，通过人工进行数据分级分类显然是不现实的，难免会出现遗漏的...
一键MaxCompute任务出错恢复
出现脏数据导致的实时任务报错 常见的场景有目标列类型和源端数据不兼容，查看实时任务运行日志、查看脏数据的输出内容，请确认是源端数据问题还是目标端问题，如果是目标表结构问题，可能需要重建目标表以恢复实时任务。重新加载表：需要...
RDS MySQL同步至AnalyticDB for PostgreSQL ...
类型 说明 源库限制 待同步的表需具备主键或唯一约束，且字段具有唯一性，否则可能会导致目标数据库中出现重复数据。如同步对象为表级别，且需进行编辑（如表列名映射），则单次同步任务仅支持同步至多1000张表。当超出数量限制，任务提交...
迁移时源库为PolarDB-X 2.0的注意事项及限制
待迁移的表需具备主键或唯一约束，且字段具有唯一性，否则可能会导致目标数据库中出现重复数据。如迁移对象为表级别，且需进行编辑（如表列名映射），则单次迁移任务仅支持迁移至多1000张表。当超出数量限制，任务提交后会显示请求报错，...
RDS SQL Server同步至云原生数据仓库AnalyticDB ...
当超出数量限制，会出现稳定性和性能问题的风险，此时建议您拆分待同步的表，分批配置任务。DTS是用fn_log函数获取源库日志，而该函数有一定的性能瓶颈，请不要过早清理源库日志，否则可能会导致任务失败。数据日志：需开启，备份模式设置...
离线同步常见问题
任务运行在独享数据集成资源上，日志中会出现如下信息：running in Pipeline[basecommon_S_res_group_xxx]。如果凌晨任务调度时偶尔失败，但重跑又能成功，请检查数据库在报错时间点的负载情况。如何切换数据集成任务执行资源组？您可以在 ...
迁移时源库为PolarDB MySQL版的注意事项及限制
待迁移的表需具备主键或唯一约束，且字段具有唯一性，否则可能会导致目标数据库中出现重复数据。如迁移对象为表级别，且需进行编辑（如表列名映射），则单次迁移任务仅支持迁移至多1000张表。当超出数量限制，任务提交后会显示请求报错，...
迁移时源库为MongoDB的注意事项及限制
如果迁移的源数据库类型为MongoDB，如自建MongoDB、云数据库MongoDB，您需要在配置具体的迁移任务前，参考本文的注意事项及限制，以保障数据迁移任务的正常运行。源库为MongoDB的迁移方案概览 根据如下迁移方案，查看迁移任务的注意事项及...
2023年
无 缺陷修复 修复智能诊断功能统计表大小时可能会出现数字溢出的问题，现已将统计表大小的列由integer数据类型修改为bigint数据类型。修复分区表UPDATE分布键列时出现 tuple already updated by self 错误信息的问题。修复Master节点不回收...
SQL其他常见问题
由于复杂结构的超大字段在数据开发和分析中会严重影响计算性能，因此建议根据数据仓库建设规范来设计您的数据架构，避免出现超大字段：具有复杂结构的原始数据，作为ODS层，最好以压缩的方式归档。定时（例如每天）对ODS层的增量数据做数据...
迁移时源库为MySQL的注意事项及限制
待迁移的表需具备主键或唯一约束，且字段具有唯一性，否则可能会导致目标数据库中出现重复数据。如迁移对象为表级别，且需进行编辑（如表列名映射），则单次迁移任务仅支持迁移至多1000张表。当超出数量限制，任务提交后会显示请求报错，...
全球多活使用限制
若各子实例的规格不一致，可能会出现性能或容量问题。一个分布式实例中最多可包含三个子实例，且各子实例不能位于同一可用区。第一个子实例支持从已创建的实例进行转换，第二、第三个子实例需新购。一个分布式实例中的子实例必须都在中国...
迁移时源库为Oracle的注意事项及限制
迁移对象要求：待迁移的表需具备主键或唯一约束，且字段具有唯一性，否则可能会导致目标数据库中出现重复数据。说明 您也可以使用Oracle中的ROWID作为无主键和唯一约束表的主键。如果您的自建Oracle版本为12c及以上，待迁移表的名称长度需...
导入与导出
通过创建MaxCompute外表导入数据时，为什么会出现ErrorCode=ServiceUnavailable,ErrorMessage=Service is temporarily unavailable,Please try again later报错？通过创建MaxCompute外表导入数据时，为什么会出现ErrorCode=Local Error,...
- 产品推荐
- 这些文档可能帮助您