2021年
新说明 FROM_JSON函数可以将JSON转换成MaxCompute的数据类型，或提取JSON中的信息，根据JSON字符串jsonStr和schema信息，返回ARRAY、MAP或STRUCT类型。TO_JSON函数可以将给定的复杂类型ARRAY、MAP或STRUCT，以JSON字符串格式输出。字符串...
从ECS上的自建Redis同步至Tair实例
警告 完成数据同步作业的配置后，请勿变更源数据库或目标数据库的架构类型，否则会导致数据同步失败。前提条件 已创建源自建Redis实例和目标 云原生内存数据库Tair。目标 云原生内存数据库Tair 实例的创建方式，请参见 步骤1：创建实例。...
跨云账号单向同步云数据库Redis实例
若目标数据库内存不足，触发数据逐出时，由于 云数据库Redis版 的默认数据逐出策略（maxmemory-policy）为 volatile-lru，会导致目标库与源库数据不一致的情况，但不会影响任务的正常运行。为避免该情况发生，建议将目标库的数据逐出策略...
从自建Redis迁移至Tair实例
DTS支持全量数据迁移以及增量数据迁移，同时使用这两种迁移类型可以实现在自建应用不停服的情况下，平滑地完成自建Redis数据库的迁移上云。前提条件 已创建源自建Redis实例和目标 云原生内存数据库Tair。目标 云原生内存数据库Tair 实例的...
同步 RDS PostgreSQL 实例的数据至 OceanBase 数据库 ...
源端 目标端 PostgreSQL（RDS 实例）OB_Oracle（OceanBase 集群实例）数据类型映射 RDS PostgreSQL 实例 OceanBase 数据库 Oracle 租户 int NUMBER(10)smallint NUMBER(5)bigint NUMBER(20)decimal NUMBER(p,s)numeric NUMBER(p,s)real ...
COPY
出于安全原因，最好使用一个固定的命令字符串，或者至少避免传递任何用户输入到其中。STDIN 指定输入来自客户端应用。STDOUT 指定输出会去到客户端应用。boolean 指定选中的选项是应该被关闭还是打开。可以写 TRUE、ON 或 1 来启用选项，写...
同步 OceanBase 数据库的数据至 Kafka
目前使用 LOB 列进行存储的数据类型包括 JSON、GIS、XML、UDT（用户定义类型），以及 LONGTEXT、MEDIUMTEXT 等各类 TEXT。如果 LOB 列为非更新列，LOB 列在 UPDATE 或 DELETE 操作前或操作后的值均为 NULL。节点之间的时钟不同步，或者电脑...
检测攻击类型说明和防护建议
对输出的数据也要检查，数据库里的值有可能会在一个大网站的多处都有输出，即使在输入做了编码等操作，在各处的输出点时也要进行检查。表达式注入 表达式组件提供了十分丰富的功能，支持在运行时查询和处理数据等，但很多表达式组件也提供...
跨云账号单向同步云数据库Redis实例
忽略报错并继续执行：跳过 目标库对象数据存在性检查 的检查项。警告 选择为 忽略报错并继续执行 后，如果在同步过程中遇到目标端的Key与源端中的Key相同，会将源端的数据覆盖写入目标端中，从而可能会导致目标端原有的数据丢失，请谨慎...
文档更新动态（2023年）
支持配置探查数据范围、探查频率（仅自动探查需要配置）、探查字段范围、探查场景（空值统计、字段值分布、唯一值统计，受数据类型限制）及探查结果查看权限。支持预览生成的探查SQL。支持查看探查记录及对应的探查日志，可一键快速终止...
OceanBase 数据库之间的数据迁移
本文为您介绍如何使用数据传输迁移 OceanBase 数据库的数据至 OceanBase 数据库同类型租户中。重要 如果数据迁移项目长期处于非活跃状态（项目状态为 失败、已暂停 或 已完成），受增量日志保留时长等影响，项目可能无法恢复。数据传输将...
配置数据校验
每秒读取的最大数据行数rps 全量数据校验会占用数据库一定的读取资源，您可以根据实际情况对全量校验任务进行限速设置（每秒读取的数据行数和数据量），以缓解数据库的压力。说明 参数值为0时表示无限制，当 每秒读取的最大数据行数rps 和 ...
OceanBase 数据库 MySQL 租户之间的数据同步
本文为您介绍如何创建 OceanBase 数据库 MySQL 租户（简称为 OB_MySQL）至 OceanBase 数据库 MySQL 租户的数据同步项目。前提条件 数据传输已具备云资源访问权限。详情请参见 数据传输迁移角色授权。已为 OceanBase 数据库创建专用于数据...
功能更新动态（2023年）
支持配置探查数据范围、探查频率（仅自动探查需要配置）、探查字段范围、探查场景（空值统计、字段值分布、唯一值统计，受数据类型限制）及探查结果查看权限。支持预览生成的探查SQL。支持查看探查记录及对应的探查日志，可一键快速终止...
新功能发布记录
OceanBase 数据库之间的数据迁移 支持 TiDB 数据库至 OceanBase 数据库 MySQL 租户的结构迁移、全量迁移、增量同步、全量校验和反向增量 迁移 TiDB 数据库的数据至 OceanBase 数据库 MySQL 租户 支持 PolarDB-X 1.0 数据库至 OceanBase ...
MySQL物理备份
数据库备份DBS 支持对MySQL数据库的物理文件进行全量备份、增量备份、Binlog日志文件备份。本文向您介绍如何通过配置MySQL物理备份计划，实现全量备份和增量备份，以满足数据灾难恢复、数据迁移等需求。前提条件 数据库为 Linux系统 的自建...
从备库备份MongoDB数据库
DBS支持从备库读取数据进行全量备份，从而降低对主库的影响。本文介绍如何配置备份任务计划。前提条件 数据库为MongoDB多节点副本集实例。已创建备份计划。具体请参见 创建备份计划。说明 备份方式为逻辑备份。支持的源库部署位置 云数据库...
MongoDB逻辑备份
支持类型如下：有公网IP:Port的自建数据库 ECS上的自建数据库 云数据库MongoDB 通过专线/VPN网关/智能网关接入的自建数据库 无公网IP:Port的自建数据库（通过数据库网关DG接入）说明 当您选择云数据库MongoDB时，系统会自动从备库读取数据...
通过向导模式创建API（Dataphin表）
在集成中配置同步任务，输入组件选择 逻辑表输入配置（LogicalTable），输出组件选择 MySQL输出组件，具体操作请参见 配置LogicalTable输入组件、配置MySQL输出组件。配置完同步任务后，且成功发布后，可在数据服务创建逻辑表API并进行提交...
配置任务常见错误码及排查方法
本文介绍了用户在使用控制台或OpenAPI配置任务时系统返回的错误码、出现报错的场景及解决方法。用户配置使用类错误码 错误码 报错场景 原因及解决方法 DTS.Msg.LXCreateOrderError 购买DTS实例时创建订单不成功。原因：未将UID添加至白名单...
数据导入概览
④ 图数据库GDB加载程序从满足RAM角色的Bucket中读取数据并将数据加载至图数据GDB实例。使用DataWorks数据集成同步数据到GDB DataWorks 是阿里云上的一站式大数据智能云研发平台，其中数据集成服务支持导出数据到GDB，您也可以使用平台完成...
ODPS-0123091
in function cast,value 'xx' cannot be casted from yy to zz 错误信息示例 ODPS-0123091:Illegal type cast-in function cast,value 'xx' cannot be casted from YY to ZZ 问题描述 执行数据类型转换的时候出错，大多数情况下是由输入的...
创建MySQL表并读取数据
本文介绍如何在DLA中创建MySQL表并读取数据。登录 DLA控制台。单击左侧导航栏的 SQL访问点，然后单击 登录DMS，在DLA中创建如下表所示的MySQL表。CREATE EXTERNAL TABLE hello_mysql_vpc_rds.tbl_person(id int,name varchar(1023),age int...
Python 2 UDAF
说明 在编写UDAF代码过程中，您可以根据MaxCompute项目的数据类型版本选取合适的数据类型，更多数据类型版本及各版本支持的数据类型信息，请参见 数据类型版本说明。合法函数签名示例如下。函数签名示例 说明@annotate('bigint,double->...
UDF开发（Python2）
说明 在编写UDF代码过程中，您可以根据MaxCompute项目的数据类型版本选取合适的数据类型，更多数据类型版本及各版本支持的数据类型信息，请参见 数据类型版本说明。合法的函数签名示例如下。函数签名示例 说明 'bigint,double->string' ...
使用列索引加速ETL
当查询的结果集数据量比较大时，从只读列存节点读取数据并传入RW节点，以及在RW节点上将数据写入表成为主要瓶颈，使用该功能会导致性能下降。性能比对 使用TPCH-10 GB数据集测试较复杂的查询。示例如下：查询结果为1行数据。select sum(l_...
基础HAL
接口说明 获取KV数据,获取 key 对应的KV对数据,可以通过读取Flash或读取文件的方式实现持久化数据的读取 参数说明 参数 数据类型 方向 说明 key const char*输入 指向key字符串的指针 buffer void*输出 指向存放获取数据的指针 buffer_len ...
Java UDTF
Java UDTF中输入或返回值的数据类型是对象，数据类型首字母必须大写，例如String。SQL中的NULL值通过Java中的NULL表示。Java Primitive Type无法表示SQL中的NULL值，不允许使用。Resolve注解@Resolve 注解格式如下。Resolve()signature 为...
CREATE TYPE
执行此命令的用户自动成为新数据类型的拥有者。该命令允许用户为数据库创建具有特定属性和行为的自定义数据结构。如果在执行 CREATE TYPE 命令时指定了一个模式名称，那么新创建的数据类型将位于该指定模式内。如果没有指定模式名称，则该...
CREATE TYPE
执行此命令的用户自动成为新数据类型的拥有者。该命令允许用户为数据库创建具有特定属性和行为的自定义数据结构。如果在执行 CREATE TYPE 命令时指定了一个模式名称，那么新创建的数据类型将位于该指定模式内。如果没有指定模式名称，则该...
离线同步数据质量排查
Reader插件连接具体的数据源头读取数据，并将数据放到内部缓冲队列，Writer插件从数据缓冲队列消费数据并将数据写出到目标存储中。由Reader插件和Writer插件完成具体的数据同步过程，同步插件会遵循数据源本身的数据读写协议，以及数据读写...
半结构化分析
对于用户输入JSON对象中具有重复键的情况，不保存重复键的对象，如果有重复键输入的话，只有最后一个值会被保存下来。在大部分场景下，建议业务上应该使用JSONB类型来存储JSON数据，除非有特殊的需求，比如需要保留原来数据的顺序等。
UDF开发（Python3）
说明 在编写UDF代码过程中，您可以根据MaxCompute项目的数据类型版本选取合适的数据类型，更多数据类型版本及各版本支持的数据类型信息，请参见 数据类型版本说明。合法的函数签名示例如下。函数签名示例 说明 'bigint,double->string' ...
Tablestore数据源
类型分类 Tablestore数据类型 整数类 INTEGER 浮点类 DOUBLE 字符串类 STRING 布尔类 BOOLEAN 二进制类 BINARY 说明 Tablestore本身不支持日期型类型。应用层通常使用Long保存时间的Unix TimeStamp。您需要将INTEGER类型的数据，在脚本模式...
2020年
2020-07-29 全部区域 数据类型版本说明 创建MaxCompute项目 Python UDF支持更多数据类型 Python 2 UDF和Python 3 UDF支持的数据类型增加DECIMAL、数据类型2.0的DECIMAL、复杂数据类型（ARRAY、MAP和STRUCT）和复杂数据类型嵌套。...
从自建Redis迁移至MyBase Redis
DTS支持全量数据迁移以及增量数据迁移，同时使用这两种迁移类型可以实现在自建应用不停服的情况下，平滑地完成自建Redis数据库的迁移上云。本文是以新版数据传输服务DTS（Data Transmission Service）控制台为例，旧版数据传输服务DTS...
Dataphin支持的数据源
在使用Dataphin前，您需要选择符合业务场景需求的数据库或数据仓库作为数据源，用于读取原始数据和写入数据建设过程中的数据。Dataphin集成了丰富的数据引擎，支持接入MaxCompute等数据仓库，也支持对接企业传统数据库，如MySQL、Oracle等...
SQL错误码（ODPS-01CCCCX）
处理方法：检查创建外部表语句，确保外部表各列的数据类型与所映射的源表的列数据类型一致。更多创建外部表语法信息，请参见 外部表。ODPS-0130071:Semantic analysis exception-max depth of expression is xxxx,which exceeds limit of ...
步骤二：规划数仓
数据源：业务数据中读取原始数据和写入数据仓库过程中的数据。步骤一：创建数据板块 在Dataphin首页，单击顶部菜单栏的 规划。按照下图操作指引，进入 新建数据板块 对话框。在 生产开发类型 步骤中选择 Basic模式 并单击 下一步。在 板块...
CoAP连云HAL
参数说明：参数 数据类型 方向 说明 p_socket intptr_t 输入 读取数据所用的socket。p_data char*输入 存放结果的指针。datalen int 输入 待读取数据的长度。返回结果说明：返回结果 说明连接出现错误。0 发送成功。0 读取到的数据字节数。...
- 产品推荐
- 这些文档可能帮助您