数据类型转换
参数说明 IN端口-输入参数 参数名 参数描述 是否必填 输入数据类型 数据源类型 待转换变量 需要类型转换处理的变量数据。是 不限 csv组件。igateoffline组件。平台上其他数据处理组件。按照平台组件开发的自定义组件。OUT端口-输出参数 ...
组件与数据类型的兼容
2.0新增的数据类型中仅支持INT 部分功能支持map数据类型 不支持 不支持 PyODPS 支持 DataFrame不支持2.0数据类型 其它功能都支持2.0数据类型 支持 DataFrame不支持2.0数据类型 其它功能不支持2.0数据类型中的DATE 不支持 JDBC 支持 支持 ...
Hive兼容数据类型版本
Hive兼容数据类型版本是MaxCompute三种数据类型版本之一，该数据类型版本下仅支持Hive兼容数据类型。本文为您介绍Hive兼容数据类型版本的定义、支持的数据类型以及与其他数据类型版本的差异。定义 项目空间选择数据类型版本为Hive兼容数据...
2.0数据类型版本
本文为您介绍MaxCompute 2.0数据类型版本的定义、使用场景、支持的数据类型以及与其它数据类型版本的差异。定义 项目空间选择数据类型版本为2.0数据类型版本时，项目空间的数据类型属性参数定义如下。setproject odps.sql.type.system.odps...
重载子程序
使用 PSQL \d 命令可显示表定义，“类型”列根据表定义中的数据类型显示内部分配给每个列的数据类型：\d data_type_aliases Column|Type|Modifiers-+-+-dt_blob|bytea|dt_long_raw|bytea|dt_raw|bytea(4)|dt_bytea|bytea|dt_integer|...
数据页面管理
在管理数据页面中，数据的类型分为 矢量、栅格、地理服务、三维模型、三维瓦片 和 业务数据 六种。本文介绍数据页面中各个数据功能的使用方法。数据页面分为两大模块，包括 我的数据分组 和 数据管理 页面。我的数据分组 在 我的数据分组 ...
数据页面管理
在管理数据页面中，数据的类型分为 矢量、栅格、地理服务、三维模型、三维瓦片 和 业务数据 六种。本文介绍数据页面中各个数据功能的使用方法。数据页面分为两大模块，包括 我的数据分组 和 数据管理 页面。我的数据分组 在 我的数据分组 ...
异构数据库间的数据类型映射关系
不同类型的数据库（异构数据库）支持的数据类型不一样，DTS在进行异构数据库之间的数据迁移时，会在结构迁移阶段进行数据类型映射，即将源库中的数据类型转为目标库支持的数据类型。本文为您列出详细数据类型映射关系，便于您查阅和评估...
结构初始化涉及的数据类型映射关系
不同类型的数据库（异构数据库）支持的数据类型不一样，DTS在进行异构数据库之间的数据同步时，会在结构初始化阶段进行数据类型映射，即将源库中的数据类型转为目标库支持的数据类型。本文为您列出详细数据类型映射关系，便于您查阅和评估...
常见问题
块存储FAQ 快照FAQ 计费FAQ 安全FAQ 网络FAQ 运维与监控FAQ API FAQ 迁云工具FAQ 最新发布 使用ping命令测试ECS实例时ping不通的排查方法 如何在Linux实例中自定义配置DNS 如何迁移Linux实例系统盘中的数据 Linux系统的ECS中没有禁ping却...
Dataphin在Shell脚本中引用全局变量时显示的为什么是...
问题描述 Dataphin在Shell脚本中引用全局变量时，显示的为什么是本地变量？问题原因 Shell任务中使用全局变量时，引用的是全局变量的编码，而不是变量名称。解决方案 在Shell中使用全局变量的编码即可。适用于 Dataphin 基于独立部署3.4.1...
JSON类型
根据 RFC 7159 中的说明，JSON 数据类型是用来存储 JSON（JavaScript Object Notation）数据的。这种数据也可以被存储为 text，但是 JSON 数据类型的优势在于能强制要求每个被存储的值符合 JSON 规则。也有很多 JSON 相关的函数和操作符...
polar_comp_redwood_date
无论 polar_comp_redwood_date 的设置如何，当DATE在任何其他上下文中显示为数据类型（例如 SPL 声明部分中变量的数据类型、SPL存储过程或SPL函数中形参的数据类型或SPL函数的返回类型）时，它始终在内部转换为TIMESTAMP，因此，可以处理...
数据类型版本说明
MaxCompute目前提供了三种不同类型的数据类型版本，包括1.0数据类型、2.0数据类型以及Hive兼容数据类型，您可以根据业务需求选择合适的数据类型版本。本文为您介绍三种数据类型版本、选择数据类型版本以及查看和修改项目的数据类型版本。...
OSS Foreign Table数据类型对照表
Avro文件数据类型对照表 Avro数据类型对应 AnalyticDB PostgreSQL版 列的数据类型，Avro数据类型组成的Records类型对应 AnalyticDB PostgreSQL版 的数据表。Avro数据类型（主类型、逻辑类型和元素类型）AnalyticDB PostgreSQL版 数据类型 ...
安装脚本配置说明
安装脚本支持包含bash、python等可以在Linux Shell环境中运行的脚本类型，脚本第一行必须加上注解指明运行时调用的命令，例如bash脚本第一行为#!bin/bash。脚本示例 该脚本示例输出集群环境变量、集群元数据、节点角色到/root目录下对应的...
Shell
Zeppelin支持Shell脚本（以%sh开头）。与开源Zeppelin相比，E-MapReduce（简称EMR）数据开发集群中的Shell解释器支持在不同EMR集群环境里切换。本文通过示例为您介绍如何在Zeppelin中使用Shell。使用示例 运行hadoop命令 执行如下命令会...
从游标提取行
这样，即使更改了数据库列的数据类型，也不必更改 SPL 程序中的目标变量声明。TYPE 将自动选取指定列的新数据类型。CREATE OR REPLACE PROCEDURE cursor_example IS v_empno emp.empno%TYPE;v_ename emp.ename%TYPE;CURSOR emp_cur_3 IS ...
数据类型
本文介绍了 PolarDB-X 1.0 支持的数据类型。PolarDB-X 1.0 支持四种主要数据类型：数值类型 字符串类型 日期时间类型 JSON 数据类型 不支持的数据类型：空间数据类型 关于数据类型的详细信息可参考 MySQL 数据类型 文档。
记录类型和记录变量
请注意，无需指定数据类型名称，可以为记录类型定义中的字段数据类型使用%TYPE 属性。下面是执行此存储过程的输出。EXEC emp_sal_query(7698);Employee#:7698 Name:BLAKE Job:MANAGER Hire Date:01-MAY-81 00:00:00 Salary:2850.00 Dept#:...
Python 2 UDAF
说明 在编写UDAF代码过程中，您可以根据MaxCompute项目的数据类型版本选取合适的数据类型，更多数据类型版本及各版本支持的数据类型信息，请参见 数据类型版本说明。合法函数签名示例如下。函数签名示例 说明@annotate('bigint,double->...
创建同步RDS/MySQL/ADS3.0
会根据DataHub Field的数据类型同步到对应的RDS数据类型中，对应的类型映射关系如下所示：DataHub RDS TINYINT TINYINT SMALLINT SMALLINT INTEGER INT BIGINT BIGINT STRING VARCHAR BOOLEAN BOOLEAN/TINYINT FLOAT FLOAT DOUBLE DOUBLE ...
数据源管理概述
在使用Dataphin前，您可将需要引入Dataphin的数据源接入到Dataphin中，已接入的数据源可用于读取原始数据和写入数据建设过程中的数据。Dataphin具备丰富的数据源类型接入，支持对接如MaxCompute、Hive等数据仓库，也支持对接企业传统数据库...
数据源管理概述
在使用Dataphin前，您可将需要引入Dataphin的数据源接入到Dataphin中，已接入的数据源可用于读取原始数据和写入数据建设过程中的数据。Dataphin具备丰富的数据源类型接入，支持对接如MaxCompute、Hive等数据仓库，也支持对接企业传统数据库...
添加数据集
DataV数据集支持多种数据源的接入，如数据库、excel表格文件等，通过对数据的结构化存储和元数据的汇集整理，提供高效实用的数据建模能力，可用的算子包括常见的数据聚合函数、按不同时间粒度划分、地理信息处理等。本文为您介绍如何在...
定义敏感数据
为了能够明确区分普通数据和敏感数据，全密态数据库为敏感数据单独定义了新的数据类型，并提供了常用的SQL算子。更多敏感数据类型及其SQL算子请参见 支持的数据类型和相关算子。全新定义敏感数据 您需要根据业务场景特性，判断哪些数据属于...
定义敏感数据
为了能够明确区分普通数据和敏感数据，全密态数据库为敏感数据单独定义了新的数据类型，并提供了常用的SQL算子。更多敏感数据类型及其SQL算子请参见 支持的数据类型和相关算子。全新定义敏感数据 您需要根据业务场景特性，判断哪些数据属于...
定义敏感数据
为了能够明确区分普通数据和敏感数据，全密态数据库为敏感数据单独定义了新的数据类型，并提供了常用SQL算子。更多敏感数据类型及其SQL算子请参见 支持的数据类型和相关算子。全新定义敏感数据 您需要根据业务场景特性，判断哪些数据属于...
Dataphin支持的数据源
在使用Dataphin前，您需要选择符合业务场景需求的数据库或数据仓库作为数据源，用于读取原始数据和写入数据建设过程中的数据。Dataphin集成了丰富的数据引擎，支持接入MaxCompute等数据仓库，也支持对接企业传统数据库，如MySQL、Oracle等...
日期型
当关键字DATE作为变量的数据类型在SPL程序的声明部分出现，或者作为SPL存储过程或SPL函数中形参的数据类型出现，或者作为一个SPL函数返回值类型出现的时候，总是被转换成 TIMESTAMP(0)类型，因此它可以处理出现的时间部分值。我们可以在...
SET
如果输出的表中的复杂数据类型过多或输出表中含有的某个单独的复杂类型变量大小过大，可以设置该参数。如果输出的表有3个列的Schema是复杂数据类型，例如列类型为（STRING、MAP、STRUCT、ARRAY或BINARY），则默认情况下MaxCompute将会为写...
常见问题
数据同步过程中，可以修改源表中的字段类型，目前仅支持整型数据类型之间、浮点数据类型之间的列类型更改，并且只能将取值范围小的数据类型更改为取值范围大的数据类型，或者将单精度数据类型更改为双精度数据类型。整型数据类型：支持...
Dataphin支持的数据源
在使用Dataphin前，您需要选择符合业务场景需求的数据库或数据仓库作为数据源，用于读取原始数据和写入数据建设过程中的数据。Dataphin集成了丰富的数据引擎，支持接入MaxCompute、Hive等数据仓库，也支持对接企业传统数据库，如MySQL、...
缺失值处理
参数说明 IN端口-输入参数 参数名 参数描述 是否必填 输入数据类型 数据源类型 保留变量 配置不需要做缺失值处理的变量，原样输出。否 不限 csv组件 igateoffline组件 平台上其他数据处理组件 按照平台组件开发的自定义组件 时间变量 配置...
数据类型转换
本文为您介绍迁移 MySQL 数据库的数据至 OceanBase 数据库 MySQL 租户时，数据类型转换的支持范围。支持的转换类型 数值类型 分类 MySQL 数据库 OceanBase 数据库 MySQL 租户 整型 支持指定字段长度，SIGNED、UNSIGNED、ZEROFILL。INT INT ...
离线同步数据质量排查
如果写出数据和目标存储已有数据发生数据约束（主键冲突、唯一键约束、外键约束等），数据库则使用来源数据update更新目标表已有数据行，在目标表存在多个数据约束的情况下，数据替换可能会失败并产生脏数据 如果写出数据和目标存储已有...
页面编排设计器内节点说明
执行表单验证 支持选择页面中的表单容器，根据表单容器内部各个组件设定的校验条件，分别对内部组件进行是否满足校验条件的验证操作。您可以通过组件的唯一标识对页面内的表单容器进行选择，并选择一个Boolean类型的变量作为验证结果的输出...
DM（达梦）节点
开发SQL代码：使用调度参数 DataWorks提供的 调度参数 可实现周期调度场景下代码动态入参，您可在节点任务中通过${变量名} 的方式定义代码中的变量，并在节点编辑页面右侧导航栏的 调度配置>调度参数，为该变量赋值。调度参数支持的格式及...
UDF开发（Java）
附录：数据类型 数据类型映射 为确保编写Java UDF过程中使用的数据类型与MaxCompute支持的数据类型保持一致，您需要关注二者间的数据类型映射关系。具体映射关系如下。说明 在MaxCompute中不同数据类型版本支持的数据类型不同。从...
Java UDAF
说明 在编写UDAF代码过程中，您可以根据MaxCompute项目的数据类型版本选取合适的数据类型，更多数据类型版本及各版本支持的数据类型信息，请参见 数据类型版本说明。合法@Resolve 注解示例如下。Resolve注解示例 说明@Resolve('bigint,...
- 产品推荐
- 这些文档可能帮助您