离线同步读取MongoDB数据
附录1：同步过程中的数据格式转换说明 数组类型数据转换为JSON格式输出：col_array_to_json MongoDB原始数据 字段映射配置 输出至MaxCompute的结果 {"col_array_to_json":["a","b"]} {"name":"col_array_to_json","type":"string"} 字段...
OSS Foreign Table数据类型对照表
LIST(INT)int4[]LIST(LONG)int8[]LIST(FLOAT)float4[]LIST(DOUBLE)float8[]说明 对于ORC中的LIST数据类型，目前仅支持转换成 AnalyticDB PostgreSQL版 的一维数组。Parquet文件数据类型对照表 Parquet文件中没有提供Logical Types的情况下...
NULL值相关的函数
返回类型 如果所有出现的 expr 都是数字数据类型或任何可以隐式转换为数字数据类型的非数字数据类型，则数据库将确定具有最高数字优先级的参数，隐式将其余参数转换为该数据类型，并返回该数据类型。示例 SELECT coalesce(null,3.934,1)...
事件内容转换
事件内容转换（Event Transform）可以让您对事件内容进行处理，比如拆分、映射、富化等，让事件在路由到目标端之前，将事件内容转换为目标端能接受、或者需要的事件内容。例如，您源端的事件来自 云消息队列 RocketMQ 版，而目标端是消息...
访问增强版HBase数据
云原生多模数据库 Lindorm 支持通过Lindorm计算引擎访问云数据库HBase增强版集群中的数据。前提条件 已开通Lindorm计算引擎。如何开通，请参见 开通与变配。已阅读并了解通过Lindorm计算引擎访问数据时的使用须知。详细内容，请参见 使用...
FLATTEN
将数组类型的数组转换为单个数组。命令格式 flatten(arrayOfArray)参数说明 arrayOfArray：为数组类型的数组。返回值说明 将数组类型的数组按元素顺序展开为单个数组。如果输入值为 null，则返回NULL。如果输入参数不是数组类型的数组，则...
Array数组类型
array_to_string(ARRAY[1,2,3,NULL,5],',','*')1,2,3,*,5 array_upper(anyarray,int)int 返回数组维数的上界。array_upper(ARRAY[1,8,3,7],1)4 cardinality(anyarray)int 返回数组中的总元素数量。如果数组是空，则为0。cardinality(ARRAY...
复杂类型函数
FLATTEN 将数组类型的数组转换为单个数组。INDEX 返回ARRAY数组指定位置的元素值。NGRAMS 返回指定数组元素的N元语法（n-gram）数组。POSEXPLODE 将指定的ARRAY展开，每个Value一行，每行两列分别对应数组从0开始的下标和数组元素。REVERSE...
多元索引数组类型
数据类型映射 数据表中数据类型 多元索引中数据类型 SQL数据类型 字符串 数组元素的实际类型，同时开启该列的数组属性（即在控制台打开对应列的数组选项或使用SDK将对应列的IsArray设置为true）VARCHAR（主键）MEDIUMTEXT（预定义列）创建...
编写自定义脚本
JavaScript脚本示例 脚本模板/*将设备自定义Topic数据转换为JSON格式数据，设备上报数据到物联网平台时调用。入参：data，byte[]数组，不能为空。出参：jsonObj，对象，不能为空。function executeScript(data){ var jsonObj={};return ...
散点层
说明 该配置项为一个数组，配合数据分级使用，从类型1到类型n为递增的设置，例：类型1设置为10，则表示 value 值为0~10的数据将展示为10的大小，类型2设置为20，则表示 value 值为11~20的数据将展示为20的大小，如果数据分级配置项设置为3...
云数据库MongoDB版（分片集群架构）同步至函数计算FC
数据传输服务DTS（Data Transmission Service）支持将 云数据库MongoDB版（分片集群架构）实例的增量数据同步至函数计算FC的指定函数。您可以编写函数代码，结合同步至函数中的数据，对数据进行二次加工。前提条件 已创建源 云数据库...
轨迹层
说明 该配置项为一个数组，配合数据分级使用，从类型1到类型n为递增的设置，例：类型1设置为10，则表示 value 值为0~10的数据将展示为10的大小，类型2设置为20，则表示 value 值为11~20的数据将展示为20的大小，如果数据分级配置项设置为3...
内建函数概述
当MaxCompute项目打开2.0新数据类型开关时，部分隐式类型转换会被禁用，包括STRING转换为BIGINT、STRING转换为DATETIME、DOUBLE转换为BIGINT、DECIMAL转换为DOUBLE、DECIMAL转换为BIGINT，都有精度损失或报错的风险。此时，您可以通过 CAST...
CONCAT
将多个ARRAY数组中的所有元素连接在一起，生成一个新的ARRAY数组，或将多个字符串连接在一起，生成一个新的字符串。命令格式 array<T>concat(array<T><a>,array<T><b>[,.])string concat(string,string[,.])参数说明 a、b：必填。ARRAY数组...
FILTER
将ARRAY数组 a 中的元素利用 func 进行过滤，返回一个新的ARRAY数组。命令格式 array<T>filter(array<T><a>,function,boolean>)参数说明 a：必填。ARRAY数组。array中的 T 指代ARRAY数组元素的数据类型，数组中的元素可以为任意类型。func...
TRANSFORM
将ARRAY数组 a 的元素利用 func 进行转换，返回一个新的ARRAY数组。命令格式 array<R>transform(array<T><a>,function,R>)参数说明 a：必填。ARRAY数组。array中的 T 指代ARRAY数组元素的数据类型，数组中的元素可以为任意类型。func：必填...
MongoDB数据源
您可以通过参数的特殊配置，将字符串转换为MongoDB中的数组。转换类型后，即可并行写入MongoDB。自建MongoDB数据库不支持公网访问，仅支持阿里云内网访问。数据集成目前不支持在数据查询（参数 query）配置中读取指定列的数据。支持的字段...
数组类型
上述命令将创建一个名为 sal_emp 的表，它有一个类型为 text 的列（name），一个表示雇员的季度工资的一维 integer 类型数组（pay_by_quarter），以及一个表示雇员每周日程表的二维 text 类型数组（schedule）。CREATE TABLE 的语法允许...
动态列
对于一个字节数组{0x00,0xFF}，它的HexString就是00FF，将字节数组转换为HexString的代码请参见 字节数组转换为HexString的实现示例。写入动态列的场景示例如下：执行以下语句在 t_dynamic_columns 表中写入c3列，c3列为动态列，写入成功。...
ARRAY_REDUCE
对ARRAY数组 a 中的元素进行聚合。命令格式 R array_reduce(array<T><a>,buf,function,T,buf>,function,R>)参数说明 a：必填。ARRAY数组。array中的 T 指代ARRAY数组元素的数据类型，数组中的元素可以为任意类型。init：必填。用于聚合的...
数组函数和操作符
array_replace(anyarray,anyelement,anyelement)→anyarray array_replace(ARRAY[1,2,5,4],5,3)→{1,2,3,4} 将每个数组元素转换为它的文本表现形式，并连接由 delimiter 符字符串分隔的元素。如果给出了 null_string 且不为 NULL，则 NULL ...
功能支持
enc_float4 加密后的浮点数，对应的明文数据为4字节单精度浮点数。enc_float8 加密后的浮点数，对应的明文数据为8字节双精度浮点数。pow enc_decimal 加密后的十进制数，对应的明文数据类型为decimal。pow、...
功能支持
enc_float4 加密后的浮点数，对应的明文数据为4字节单精度浮点数。enc_float8 加密后的浮点数，对应的明文数据为8字节双精度浮点数。pow enc_decimal 加密后的十进制数，对应的明文数据类型为decimal。pow、...
功能支持
enc_float4 加密后的浮点数，对应的明文数据为4字节单精度浮点数。enc_float8 加密后的浮点数，对应的明文数据为8字节双精度浮点数。pow enc_decimal 加密后的十进制数，对应的明文数据类型为decimal。pow、...
数据类型
本文描述 云数据库ClickHouse 的数据类型。数据类型列表 ClickHouse完整数据类型介绍，请参考 开源官方数据类型介绍。分类 关键字 数据类型 取值/取值范围 整数类型 Int8 Int8 取值范围：128-127。Int16 Int16 取值范围：32768-32767。Int...
使用float2类型压缩存储向量
当前float2的数组类型转换，实现了两种转换算法：针对数组中的每个float2的数据，使用C程序进行转化，每次只转换一个float2数据。对于特定的硬件（支持AVX和SSE2指令集的硬件），调用硬件特定的接口函数，每次可以支持同时转换4个float2...
概览
PL/SQL拥有三种集合类型：变长数组（varray，variable-size array），嵌套表（nested table）和关联数组（associative array）。它们可以被声明在全局、包或者PL/SQL块里，并拥有一系列独特的用法。例如，您可以使用集合类型构造函数初始化...
即席分析表格中的操作
右键维值 操作内容 单维值 两维值 多维值 隐藏 支持 不支持 不支持 仅保留 支持 支持 支持 排除 支持 支持 支持 抑制 支持 支持 支持 计算 支持（自定义计算）支持（百分比、差异百分比、四则运算）支持（总和、平均值、最值）移除维值 ...
步骤七：运维补数据
本文为您介绍如何为本教程的维度逻辑表、事实逻辑表、汇总逻辑表和管道任务补数据。背景信息 您需要为产品表、客户表、订单表集成任务和明细及汇总表 dim_customer、dim_products、fct_order_buy_di、dws_all 补数据。集成任务和明细及汇总...
步骤七：运维补数据
本文为您介绍如何为本教程的维度逻辑表、事实逻辑表、汇总逻辑表和管道任务补数据。背景信息 您需要为产品表、客户表、订单表集成任务和明细及汇总表 dim_customer、dim_products、fct_order_buy_di、dws_all 补数据。集成任务和明细及汇总...
CREATE TYPE
input_function 是将用户定义类型的外部文本表示转换为数据库内部使用的格式，这种内部格式适用于该类型定义的所有操作符和函数。output_function 则执行相反的转换过程，把内部格式转换回可读的文本表示。输入函数可以接受一个单一的 ...
CREATE TYPE
input_function 是将用户定义类型的外部文本表示转换为数据库内部使用的格式，这种内部格式适用于该类型定义的所有操作符和函数。output_function 则执行相反的转换过程，把内部格式转换回可读的文本表示。输入函数可以接受一个单一的 ...
数据集成概述
说明 以业务数据库数据同步到MaxCompute数据仓库为例，当有大量的数据存储在数据库系统里，需要将数据库中的全量及增量数据同步到MaxCompute进行数仓分析时，数据集成传统方式是通过全量同步或者依赖数据库表中的 modify_time 等字段进行...
JSON类型
右边的数组不会被认为包含在左边的数组中，-即使其中嵌入了一个相似的数组：SELECT '[1,2,[1,3]]':jsonb@>'[1,3]':jsonb;得到假-但是如果同样也有嵌套，包含就成立：SELECT '[1,2,[1,3]]':jsonb@>'[[1,3]]':jsonb;类似的，这个例子也不会被...
Btree-GIST
GIST允许用户为新的数据类型自定义索引策略，常用于处理复杂数据类型（多维数据、地理信息系统数据）的索引需求，并提供高效的搜索性能。功能简介 Btree-GIST插件提供了GIST索引操作符类，为基础数据类型 ① 以及所有枚举类型实现了等同于B...
Trino概述
应用场景 Trino是定位在数据仓库和数据分析业务的分布式SQL引擎，适合以下应用场景：ETL Ad-Hoc查询 海量结构化数据或半结构化数据分析 海量多维数据聚合或报表分析 重要 Trino是一个数仓类产品，因为其对事务支持有限，所以不适合在线业务...
离线同步写入MongoDB数据
DataWorks的数据集成为您提供MongoDB Writer插件，可从其他数据源中读取数据，并将数据同步至MongoDB。本文以一个具体的示例，为您演示如何通过数据集成将MaxCompute的数据离线同步至MongoDB。前提条件 本实践进行操作时，需满足以下条件。...
转换函数
作为SQL内置函数，如果参数的数据类型不是RAW，则此函数会将使用某些数据字节数表示的参数值转换为具有相同数据字节数的RAW值。数据本身不会以任何方式进行修改，但数据类型会重新转换为RAW数据类型。语法 RAWTOHEX(raw)参数 参数 说明 raw...
表达式函数概览
ct_float 将字段或表达式的值转换为浮点数。ct_str 将字段或表达式的值转换为字符串。ct_bool 将字段或表达式值转换为布尔值。ct_chr 将字段或表达式的ANSI值、Unicode值转换为对应字符。ct_ord 将字段或表达式的字符转换为对应ANSI值、...
- 产品推荐
- 这些文档可能帮助您