迁移 OceanBase 数据库 Oracle 租户的数据至 Oracle ...
对于无主键且包含 LOB 类型字段的表，反向增量会出现数据质量问题。如果源端字符集为 UTF-8，建议目标端使用兼容源端的字符集（例如，UTF-8、UTF-16 等），避免产生因字符集不兼容导致目标端出现乱码等问题。节点之间的时钟不同步，或者...
迁移 Oracle 数据库的数据至 OceanBase 数据库 Oracle...
对于无主键且包含 LOB 类型字段的表，反向增量会出现数据质量问题。数据源标识和用户账号等，在数据传输系统内全局唯一。Oracle 数据库的增量日志解析最大支持 5T/天。Oracle 数据库 11G 及之前版本不支持创建超过 30 个字节的数据库对象。...
如何把数据库迁移到RDS
详细信息 数据库迁移过程中，会出现数据库中断或者闪断的情况。如出现闪断的情况，请参见 更多信息。以下是不同数据库迁移到RDS的方法。RDS MySQL版 关于将MySQL数据库迁移到RDS，请参见 从自建MySQL迁移至RDS for MySQL。RDS SQL Server版...
概述
随着业务的快速发展，企业数据呈几何倍增长，数据量庞大、复杂、各类数据间标准不一致，往往会出现数据难以管理的现象。DataWorks智能数据建模服务，将无序、杂乱、繁琐、庞大且难以管理的数据，进行结构化有序的管理。使企业中的数据产生...
时序引擎版本说明
修复最新值查询在扩容后可能会出现返回多条数据的问题。修复降采样查询中不支持常量折叠计算的问题。修复正则查询降采样数据时间条件不生效的问题。3.4.10 2022年02月28日 新特性 SQL查询语句tags支持通过正则表达式过滤。支持non_negative...
数据库迁移
背景信息 随着业务的发展，数据库会出现升降配、数据库整体迁移的需求，为支持此类业务场景，DMS推出数据库迁移功能，支持对多种数据库的结构、数据进行同构迁移，同时支持库名称修改、迁移前预校验、迁移后数据一致性校验及来源数据库的...
2023年
无 缺陷修复 修复智能诊断功能统计表大小时可能会出现数字溢出的问题，现已将统计表大小的列由integer数据类型修改为bigint数据类型。修复分区表UPDATE分布键列时出现 tuple already updated by self 错误信息的问题。修复Master节点不回收...
概述
当应用程序通过规则中指定的账号连接至数据库并查询规则中指定的列时，Proxy会先将数据库返回的数据脱敏转换，再将脱敏后的数据返回给客户端。上图的脱敏规则为：仅当使用 testAcc 账号连接数据库进行查询时生效。仅对查询结果中 name 和 ...
冷数据归档
功能概要 在时序数据库持续写入的场景下，早先写入的时序数据会随着时间推移，查询频度逐渐降低。这样的数据通常被称为“冷数据”，与之相对的概念被称为“热数据”。随着冷数据体量的不断变大，存储成本也会水涨船高。所以降低冷数据存储...
MongoDB数据源
在并发大于1的情况下，同步任务配置的集合中所有_id 字段类型必须一致（例如，_id 字段都为string类型或者ObjectId类型），否则会出现部分数据无法同步的问题。说明 并发大于1时，任务拆分会使用_id 字段进行划分，因而在此场景下_id 字段...
转换函数
但是，CLOB可以通过隐式数据转换作为参数传入。语法 TO_SINGLE_BYTE(char)参数 参数 说明 char char的数据类型可以是CHAR、VARCHAR2、NCHAR或NVARCHAR2。返回类型 返回的值与 char 的数据类型相同。示例 SELECT to_single_byte('123$test')...
SDK概述
修复Tablestore数据格式转换错误问题。修复DataHub数据源在作业Failover时重试offset错误的问题。v1.7.0 Spark Structured Streaming支持DataHub数据源。Spark Structured Streaming支持JDBC数据源。Spark Structured Streaming支持HBase...
数据类型转换
本文为您介绍迁移 MySQL 数据库的数据至 OceanBase 数据库 MySQL 租户时，数据类型转换的支持范围。支持的转换类型 数值类型 分类 MySQL 数据库 OceanBase 数据...重要 如果出现不支持转换的数据类型，会导致输出空语句。不支持 SERIAL 类型。
实例状态与影响
切换中 HASwitching 手动执行主备切换 执行切换的数据节点将出现秒级的连接闪断，同时，为避免主备切换引起潜在的数据丢失风险（例如主备节点数据同步延迟引起数据不一致）、DNS缓存引起的数据双写，该数据节点还会出现30秒内的只读状态。...
实例状态与影响
切换中 HASwitching 手动执行主备切换 执行切换的数据节点将出现秒级的连接闪断，同时，为避免主备切换引起潜在的数据丢失风险（例如主备节点数据同步延迟引起数据不一致）、DNS缓存引起的数据双写，该数据节点还会出现30秒内的只读状态。...
配置Hive输出组件
同步其他数据源的数据至Hive数据源的场景中，完成源数据源的信息配置后，需要配置Hive输出组件写入数据的目标数据源。本文为您介绍如何配置Hive输出组件。使用限制 Hive输出组件支持写入文件格式为 orc、parquet、text、iceberg（iceberg...
时空数据库版本发布记录
本文介绍PolarDB PostgreSQL版时空数据库（Ganos）的版本更新说明。6.X 6.3 类别 说明 新增特性 Trajectory SQL 新增 ST_InsertAttr 函数，支持为轨迹增加新的属性。GeomGrid SQL 新增 ST_Degeneralize 函数，支持将低层级网格分解成高层级...
时空数据库版本发布记录
本文介绍PolarDB PostgreSQL版（兼容Oracle）时空数据库（Ganos）的版本更新说明。6.X 6.3 类别 说明 新增特性 Trajectory SQL 新增 ST_InsertAttr 函数，支持为轨迹增加新的属性。GeomGrid SQL 新增 ST_Degeneralize 函数，支持将低层级...
时空引擎版本发布记录
修复由于栅格数据带有 NAN 和 INF 等数据，在导入和统计值会出错的问题。4.3 新特性 ST_PixelAsPolygon：将栅格像素转换为Polygon对象。ST_PixelAsPolygons：将栅格像素转换为Polygon对象集合。ST_PixelAsPoint：将栅格像素转换为基于点...
2021年
修复栅格数据导入时可能会出现崩溃的问题。2021年4月 内核小版本（V1.1.11）类别 名称 描述 相关文档 新增 idle_session_timeout参数 新增idle_session_timeout参数，用于控制空闲会话的保留时间，超出保留时间的会话将会被释放。取值范围...
2021年
2021年5月 修复栅格数据导入时可能会出现崩溃的问题。2021年5月 V1.1.11 内核小版本 类别 名称 描述 相关文档 发布时间 新增 idle_session_timeout参数 新增idle_session_timeout参数，用于控制空闲会话的保留时间，超出保留时间的会话将会...
东软案例
目前，东软在物联网、互联网等新场景下面临的IT系统运维主要问题与挑战有：多模型数据融合分析困难，面向海量数据采集终端同时写入数据的并发能力弱，数据量大且价值密度低导致存储成本高，基于开源软件自建数据存储集群稳定性低运维成本...
后续指引
介绍：数据迁移 实践：数据迁移最佳实践 常见问题：数据上传下载常见问题 大规模数据迁移 MaxCompute提供MMA（MaxCompute Migration Assist）迁移工具支撑大规模数据迁移。开发与分析 数据类型 MaxCompute支持三种数据类型版本，为您介绍各...
ODPS-0123091
0123091:Illegal type cast 错误1：in function cast,value 'xx' cannot be casted from yy to zz 错误信息示例 ODPS-0123091:Illegal type cast-in function cast,value 'xx' cannot be casted from YY to ZZ 问题描述 执行数据类型转换的...
补数据
问题现象 补数据选择业务时间昨天和今天，会出现等待时间的情况。产生原因 从平台维度来看，业务时间昨天的数据，今天调度运行。补数据补对应业务时间的数据相当于重新执行了一次对应业务时间的周期实例。如果您需要过滤今天的周期实例，您...
2023年
修复并发插入数据过程中，会出现误报主键冲突的问题。2023年04月（V2.0.0.2）类别 功能 功能描述 相关文档 缺陷修复 修复实时写入时，执行Flush、Compact以及并发DDL等操作可能出错的问题。2023年03月（V2.0.0.1）类别 功能 功能描述 相关...
离线同步常见问题
任务运行在独享数据集成资源上，日志中会出现如下信息：running in Pipeline[basecommon_S_res_group_xxx]。如果凌晨任务调度时偶尔失败，但重跑又能成功，请检查数据库在报错时间点的负载情况。如何切换数据集成任务执行资源组？您可以在 ...
新建数据处理任务
DXT：减少显存占用，显卡直接支持该格式的渲染，渲染时无需进行转换，但数据总量会增加。WEBP：适用于Web，压缩率较高，大幅减少数据总量，有利于缓解带宽压力。NONE：默认的纹理格式。纹理重映射 选择是否纹理重映射，用于解决部分倾斜...
Delta Lake概述
但该套方案存在如下问题：数据导入可能会失败，失败后清理脏数据和恢复作业困难。方案中没有ETL（Extract Transform Load）过程，缺少必要的数据质量监管。方案中没有事务将读和写隔离，致使流式和批式读写无法相互隔离。Delta数据湖方案...
配置数据过滤转换
数据过滤插件可以对数据进行规则过滤，例如过滤字段的大小等，符合规则的数据才会被保留。前提条件 配置数据过滤节点前，您需要先配置好相应的输入节点，详情请参见 实时同步支持的数据源。操作步骤 进入 数据开发 页面。登录 DataWorks...
修改时区
如果RDS PostgreSQL实例的时区设置与业务逻辑需要的时区不一致，或者应用程序需要处理多个时区的数据，则需要修改数据库实例的时区配置，以确保数据在不同时区之间的转换和展示正确无误。前提条件 RDS PostgreSQL云盘版实例。注意事项 SET ...
基本概念
对于异构数据库之间的结构迁移，DTS会将源库的结构定义转换为目标库支持的结构定义，例如将Oracle数据库中的NUMBER数据类型转换为MySQL数据库中的DECIMAL数据类型。全量数据迁移 在全量数据迁移阶段，DTS会将源数据库的存量数据全部迁移到...
CAST函数
输入值类型 DECIMAL(m,d)、FLOAT、INT/INTEGER、SMALLINT、TINYINT BIGINT DOUBLE VARCHAR JSON 转换规则 表达式 expr 的数值超过目标数据类型的数值范围时，类型转换会返回 null。例如，将BIGINT类型的数据 99999999 转换成SMALLINT类型，...
SQL 条件过滤数据
本文为您介绍创建数据迁移或数据同步项目时，选择迁移或同步对象后通过 SQL 条件过滤数据的适用场景、使用限制和操作步骤。适用场景 创建数据迁移或数据同步项目时，您可以设置 SQL 过滤条件来过滤数据。完成设置后，只有满足过滤条件的...
区域热力层（v3.x版本）
文字标注偏移问题 在数据配置的过程中，可能会出现区域文字标注有偏移的问题，解决方法如下。查看当前区域热力层版本，目前可以使用的区域热力层组件包括 区域热力层v0.2.4及以上版本。如果您使用的区域热力层版本较低，需要先删除该层，再...
数据集成概述
背景信息 面对各行各业对大数据的应用，数据集成会有很多的诉求，包括能够简单高效的配置大量数据表的同步任务、能够集成多种异构数据源、能够实现对数据源的数据进行轻度预处理、能够实现数据同步任务的调优（例如容错，限速，并发）等。...
数据迁移方案概览
数据迁移功能帮助您实现同构或异构数据源之间的数据迁移，适用于数据上云迁移、阿里云内部跨实例数据迁移、数据库拆分扩容等业务场景。本文将介绍数据迁移功能支持的数据库、版本和迁移类型，以及具体的配置文档。收费策略 DTS数据迁移涉及...
计费概述
产品定价 DTS提供数据迁移、数据同步、数据订阅及数据校验四种功能，每种功能的计费方式略有不同。数据迁移：仅支持按量付费模式，收取配置费用及公网流量费，其中配置费用只对增量迁移的正常运行时间收取。数据订阅：支持包年包月及按量...
添加Open API数据源
新添加的数据源会自动显示在数据源列表中。使用Open API数据源操作步骤 登录 DataV控制台。在 工作台 页面中，将鼠标移动至需要编辑的数据看板上，单击 编辑。重要 如果您的 工作台 页面内还没有创建任何数据看板，请参见 使用模板创建PC端...
加载样本数据集
为方便您快速体验或测试 AnalyticDB PostgreSQL版 实例，您可以将样本数据集加载至数据库...说明 样本数据加载时有可能会出现加载失败的情况，您重新执行加载样本数据操作即可。相关文档 管理样本数据集 数据集信息和示例查询 下一步 查询数据
- 产品推荐
- 这些文档可能帮助您