读API
说明 从返回值中提取的数据必须是数组类型。以下是返回值和映射关系配置的示例：{"code":"SUCCESS","data":{"pageSize":20,"pageNum":1,"list":[/需要提取的数组 {"name":{"firstName":"Alice","lastName":"Brown"},"age":22,"email":...
数据脱敏
提取水印 如果对分发的数据添加水印，当信息泄露时，您可以从泄露的数据中提取水印标识。通过读取水印标识，可以追溯数据流转过程，精准定位泄露单位及责任人，实现数据溯源追责。对分发的数据添加水印，不会影响分发数据的正常使用。仅...
ZIP_WITH
array、array中的 T、S 指代ARRAY数组元素的数据类型，数组中的元素可以为任意类型。combiner：必填。用于合并ARRAY数组 a、b 中元素的函数（内置函数或自定义函数）或表达式。它的两个输入参数类型分别与ARRAY数组 a、b 中元素的数据类型...
复杂类型函数
array中的 T 指代ARRAY数组元素的数据类型，数组中的元素可以为任意类型。predicate：必填。用于对ARRAY数组 a 中的元素进行判断的函数（内建函数或自定义函数）或表达式。输入参数的数据类型必须与ARRAY数组 a 中元素的数据类型一致。返回...
函数概览
json_extract函数 从JSON对象或JSON数组中提取一组JSON值（数组或对象）。json_extract_scalar函数 从JSON对象或JSON数组中提取一组标量值（字符串、整数或布尔值）。类似于json_extract函数。json_format函数 把JSON类型转化成字符串类型...
RestAPI（HTTP形式）数据源
} },"order":{"hops":[{"from":"Reader","to":"Writer"}]} } 脚本模式配置说明如下：Restapi插件发出http(s)请求后，会获得请求响应body（body是一个json），dataPath用来配置从body中提取数据的json path路径。举2个示例如下：以接口返回...
接口出参
则需要在前置接口中提取出消费能力等级作为出参，在当前的产品推荐接口中，使用该出参。操作步骤如下：登录 PTS控制台，在左侧导航栏选择 性能测试>创建场景，然后单击 PTS压测。在 创建PTS场景 页面，添加 消费能力（含出参）和 产品推荐 ...
接口出参
则需要在前置接口中提取出消费能力等级作为出参，在当前的产品推荐接口中，使用该出参。操作步骤如下：登录 PTS控制台，在左侧导航栏选择 性能测试>创建场景，然后单击 PTS压测。在 创建PTS场景 页面，添加 消费能力（含出参）和 产品推荐 ...
JSON类型
但是记住做包含匹配时数组元素的顺序是没有意义的，并且重复的数组元素实际也只会考虑一次。结构必须匹配的一般原则有一种特殊情况，一个数组可以包含一个基本值：这个数组包含基本字符串值：SELECT '["foo","bar"]':jsonb@>'"bar"':jsonb;...
组复制简介
认证信息数组还必须及时清理无用数据，以节省内存空间。当一个事务在所有节点上都被执行之后，任何其他事务都不会跟它冲突了，此事务修改的所有行都可以从认证信息数组中清理掉。在组复制中每60秒会清理一次已执行的事务的数据。AliSQL对组...
内建函数概述
之后对于每一行数据（当前行），会按照窗口定义中的 frame_clause 从数据流中截取一段数据，构成当前行的窗口。窗口函数会根据窗口中包含的数据，计算得到窗口函数针对当前行对应的输出结果。partition by[,.]：可选。指定分区。分区列的值...
JSON数据类型
Lindorm宽表引擎支持在建表、插入数据和更新数据时使用JSON数据类型。...json_extract_type 通过 json_extract_type 从JSON列中提取对应的数据类型的字段作为二级索引的，如果数据类型不匹配则不构建二级索引。支持以下函数类型：...
SPL概述
本文介绍 日志服务 SPL语言的基本信息，包括工作原理、语法、指令表达...弱结构化数据提取指令 parse-csv 提取指定字段中的CSV格式信息。parse-json 提取指定字段中的第一层JSON信息。parse-regexp 提取指定字段中的正则表达式分组匹配信息。
PostgreSQL数据源
订阅者从他们订阅的发布中提取数据。表的逻辑复制通常从对发布者数据库上的数据进行快照并将其复制到订阅者开始。完成后，发布者上的更改会实时发送给订阅者。创建账号。操作详情请参见 创建账号和数据库。配置权限。检查账号是否有 ...
离线同步常见问题
源端数据为string"[1,2,3,4,5]"，如何以数组形式同步至ES中存储？自建的索引中nested的属性类型type为keyword，为什么自动生成之后类型会变成 keyword？（自动生成是指配置cleanup=true执行同步任务）向ES写入数据时，会做一次无用户名的...
新功能发布记录
功能发布更新 2024年 03月 功能名称 变更类型 功能描述 相关文档 数据工作站 新增 支持以文档形式交付查询的数据和数据变化趋势等信息，并支持在交付后使用智能工具解答数据相关问题。使用数据工作站功能可以提高数据交付效率和数据自助...
从游标提取行
如果表中的所有列都按该表中定义的顺序进行检索，则可使用%ROWTYPE 定义一个记录，FETCH 语句会将检索到的数据放入该记录中。这样，便可使用点表示法访问该记录中的每个字段。CREATE OR REPLACE PROCEDURE cursor_example IS v_emp_rec emp...
查询和分析JSON日志的常见问题
json_extract函数和json_extract_scalar函数都是用于从JSON对象或JSON数组中提取内容，用法类似，主要区别如下：json_extract函数的返回值是JSON类型，json_extract_scalar函数的返回值是varchar类型。说明 此类型是指SQL语法中的数据类型...
ARRAY_MAX
计算ARRAY数组 a 中的最大元素。命令格式 T array_max(array<T><a>)参数说明 a：必填。ARRAY数组。array中的 T 指代ARRAY数组元素的数据类型。数组中的元素可以为如下类型：TINYINT、SMALLINT、INT、BIGINT FLOAT、DOUBLE BOOLEAN DECIMAL...
ARRAY_MIN
计算ARRAY数组 a 中的最小元素。命令格式 T array_min(array<T><a>)参数说明 a：必填。ARRAY数组。array中的 T 指代ARRAY数组元素的数据类型。数组中的元素可以为如下类型：TINYINT、SMALLINT、INT、BIGINT FLOAT、DOUBLE BOOLEAN DECIMAL...
ARRAYS_OVERLAP
array中的 T 指代ARRAY数组元素的数据类型，数组中的元素可以为任意类型。a 和 b 中元素的数据类型必须一致。数组中的元素可以为如下类型：TINYINT、SMALLINT、INT、BIGINT FLOAT、DOUBLE BOOLEAN DECIMAL、DECIMALVAL DATE、DATETIME、...
FILTER
将ARRAY数组 a 中的元素利用 func 进行过滤，返回一个新的ARRAY数组。命令格式 array<T>filter(array<T><a>,function,boolean>)参数说明 a：必填。ARRAY数组。array中的 T 指代ARRAY数组元素的数据类型，数组中的元素可以为任意类型。func...
CREATE TYPE
这是因为表在数据库中也被看作是一种数据类型，所以数据类型的名称必须在其所属模式中保持唯一，以避免任何潜在的命名冲突。CREATE TYPE 命令有五种不同的变体。这五种变体分别用于创建如下类型：组合类型（composite type）、枚举类型...
CREATE TYPE
这是因为表在数据库中也被看作是一种数据类型，所以数据类型的名称必须在其所属模式中保持唯一，以避免任何潜在的命名冲突。CREATE TYPE 命令有五种不同的变体。这五种变体分别用于创建如下类型：组合类型（composite type）、枚举类型...
ARRAY_JOIN
将ARRAY数组 a 中的元素使用 delimiter 拼接为字符串。当数组中元素为NULL时，用 nullreplacement 替代，没有设置 nullreplacement 时，会忽略NULL元素。命令格式 array_join(array<T><a>,[,])参数说明 a：必填。ARRAY数组。array中的 T ...
ARRAY_UNION
array中的 T 指代ARRAY数组元素的数据类型，数组中的元素可以为任意类型。a 和 b 中元素的数据类型必须一致。数组中的元素可以为如下类型：TINYINT、SMALLINT、INT、BIGINT FLOAT、DOUBLE BOOLEAN DECIMAL、DECIMALVAL DATE、DATETIME、...
ALL_MATCH
判断ARRAY数组 a 中是否所有元素都满足 predicate 条件。命令格式 boolean all_match(array<T><a>,function,boolean>)参数说明 a：必填。ARRAY数组。array中的 T 指代ARRAY数组元素的数据类型，数组中的元素可以为任意类型。predicate：必...
SLICE
array中的 T 指代ARRAY数组元素的数据类型，数组中的元素可以为任意类型。start：必填。切片起点，从1开始，表示从数组的首个元素开始向右切片。start 可以为负数，表示从数组的末尾元素开始向右切片。length：必填。切片长度，必须大于或...
ANY_MATCH
判断ARRAY数组 a 中是否存在元素满足 predicate 条件。命令格式 boolean any_match(array<T><a>,function,boolean>)参数说明 a：必填。ARRAY数组。array中的 T 指代ARRAY数组元素的数据类型，数组中的元素可以为任意类型。predicate：必填...
TRANSFORM
array中的 T 指代ARRAY数组元素的数据类型，数组中的元素可以为任意类型。func：必填。用于对 a 中元素进行转换的函数（内建函数或自定义函数）或表达式，其输入类型应与 a 中的元素类型一致。R 指代输出结果的数据类型。返回值说明 返回...
SIZE
array中的 T 指代ARRAY数组元素的数据类型，数组中的元素可以为任意类型。b：必填。MAP对象。map,V>中的 K、V 指代MAP对象的Key、Value。返回值说明 返回INT类型。使用示例 示例1：计算ARRAY数组 array('a','b')中的元素数目。命令示例如下...
PolarDB数据源
将独享数据资源组所在的VPC网段添加至PolarDB集群白名单中，操作如下：查看并记录独享数据资源组所在的VPC网络。登录 DataWorks控制台。在左侧导航栏，单击 资源组列表。在 独享资源组 页签下，单击目标数据集成资源组后的 查看信息。复制...
CONCAT
将多个ARRAY数组中的所有元素连接在一起，生成一个新的ARRAY数组，或将多个字符串连接在一起，生成一个新的字符串。命令格式 array<T>concat(array<T><a>,array<T><b>[,.])string concat(string,string[,.])参数说明 a、b：必填。ARRAY数组...
ARRAY_REMOVE
在ARRAY数组 a 中删除与 element 相等的元素。命令格式 array<T>array_remove(array<T><a>,T)参数说明 a：必填。ARRAY数组。array中的 T 指代ARRAY数组元素的数据类型。支持的数据类型如下：TINYINT、SMALLINT、INT、BIGINT FLOAT、DOUBLE ...
DataV区块编辑器介绍
按照从左往右的顺序依次为图层栏、组件列表、画布编辑器和配置面板。配置面板：设置组件的常用样式；图层栏：展示在画布编辑器中用到的组件；组件列表：展示常用的组件；画布编辑器：编辑添加到画布中的组件；图标：数据源配置按钮，可以对...
通过Logstash导入数仓版
Logstash是开源的服务器端数据处理管道，能够同时从多个数据源采集数据，然后对数据进行转换，并将数据写入指定的存储中。AnalyticDB MySQL 完全兼容MySQL，您可以将Logstash Input插件支持的任一数据源中的数据写入 AnalyticDB MySQL。...
从 MySQL 到 TSDB 的数据迁移
本文主要介绍如何使用阿里巴巴的开源工具Datax 实现从 MySQL 到 TSDB 的数据迁移。背景 本文主要介绍如何使用阿里巴巴的开源工具Datax 实现从 MySQL 到 TSDB 的数据迁移。DataX相关使用介绍请参阅 DataX 的 README 文档。下面将首先介绍 ...
PolarDB技术内幕
另外，分布式存储的网络延迟较大，在高负载下，网络中的Inflight IO会较多，IO组中的IO请求数量也会很多，而这种组织方式下，IO数组中的槽位状态都无序的，向数组中添加IO请求和移除IO请求的开销都很大。所以，PolarDB 在高负载下的性能...
函数总览
e_csv 使用自定义的分隔符与预定义的字段名，从特定字段中提取多个字段。默认分隔符为半角逗号（,）。e_tsv 使用自定义的分隔符与预定义的字段名，从特定字段中提取多个字段。默认分隔符为 \t。e_psv 使用自定义的分隔符与预定义的字段名，...
添加自增主键导致主从节点查询数据不一致
在没有主键的情况下，数据在表中的顺序是由存储引擎内部的RowID决定的，同样的数据在主从节点上的RowID可能不同，因此无主键表中的数据在主从节点中的排列顺序不同，从而导致同样的数据对应的自增主键值不同，即用相同的自增主键值分别在主...
- 产品推荐
- 这些文档可能帮助您