数组类型
注意数组元素是普通 SQL 常数或表达式，例如，字符串文字使用单引号而不是双引号包围，因为双引号可以出现在一个数组文字中。访问数组 现在，我们可以在该表上运行一些查询。首先，我们展示如何访问一个数组中的一个元素。下面的查询检索在...
SPLIT
通过 pat 将 str 分割后返回数组。命令格式 split(,,[])参数说明 str：必填。STRING类型。指被分割的字符串。pat：必填。STRING类型的分隔符。支持正则表达式。更多正则表达式信息，请参见 正则表达式规范。trimTailEmpty:可选参数，默认值...
配置FTP输出组件
可自由选择需要的参数与分隔符。任务级标记完成文件中将依次换行写入每个文件的信息。空值转换 非必选，表示null值的字符串。字段映射 输入字段 从上游输入组件读取的字段。输出字段 您需要配置输出字段。Dataphin支持通过 批量添加 和 ...
配置FTP输出组件
可自由选择需要的参数与分隔符。任务级标记完成文件中将依次换行写入每个文件的信息。空值转换 非必选，表示null值的字符串。字段映射 输入字段 从上游输入组件读取的字段。输出字段 您需要配置输出字段。Dataphin支持通过 批量添加 和 ...
语言简介
字段值提取函数 支持通过正则表达式、GROK、KV、KV分隔符、CSV、TSV、PSV、Syslog等方式提取字段中的多个值或键值对。支持JSON数据提取并进行富化。映射富化函数 支持基于字典、表格进行映射或搜索。支持从规则配置、外部OSS Bucket、RDS ...
HttpFile数据源
BYTES 字节数组，将读取到的文本内容转为UTF-8编码的字节数组。BOOL 布尔型。DOUBLE 小数。DATE 日期时间类型，支持以下日期时间格式：yyyy-MM-dd HH:mm:ss yyyy-MM-dd HH:mm:ss 数据同步任务开发：HttpFile同步流程引导 HttpFile数据同步...
配置图表字段
使用千分位分隔符 支持勾选使用千分位分隔符。百分比 小数位数 默认无，支持设置1、2、3、4、5位小数。负数 支持设置负数的格式为-1234或(1234)。使用千分位分隔符 支持勾选使用千分位分隔符。手动输入 适配方式 手动输入适配方式，例如#,#...
SPL指令
字段数多于值时，多余字段输出空字符串。True：严格配对，不输出任何字段。默认为关闭，需要开启时，请添加此参数。field Field 是 需要解析的原字段名称。要求数据内容包含该字段，类型须为 VARCHAR，且其值为非 null。否则，不执行提取...
Logstash配置文件说明
my_path=>"/tmp/logstash"字符串 字符串必须是单个字符序列，且必须用双引号或单引号括起来。转义序列 默认情况下，Logstash不启用转义序列。如果您希望在带引号的字符串使用转义序列，需要在 logstash.yml 中设置 config.support_escapes:...
SelectDB数据源
如果您没有指定行、列分隔符，则默认传入的数据均会被转为字符串，并以 \t 作为列分隔符，作为行分隔符，组成csv文件进行SelectDB导入操作。loadProps":{"format":"csv","column_separator":"\\x01","line_delimiter":"\\x02"} 否 无 ...
pg_similarity
例如，字符串"euler taveira"（使用n=3）被分词为"eul"、"ule"、"ler"、"er"、"r t"、"ta"、"tav"、"ave"、"vei"、"eir"和"ira。有些会将"e"、"eu"、"ra"和"a"添加到分词集中，即为完整n-grams（该选项可以在编译时设置，参见源代码中的 ...
JSON函数和操作符
text[]→boolean 文本数组中的字符串是否作为顶级键或数组元素存在?'{"a":1,"b":2,"c":3}':jsonb?array['b','d']→t jsonb?text[]→boolean 文本数组中的所有字符串都作为顶级键或数组元素存在吗?'["a","b","c"]':jsonb?array['a','b']→t ...
配置Kafka输出组件
例如源端记录有三列，值为a、b和c：当写入模式配置为text、分隔符配置为#时，写入Kafka的记录Value为字符串a#b#c。当写入模式配置为JSON、目标表字段配置为["col1","col2","col3"]时，写入Kafka的记录Value为字符串{"col1":"a","col2":"b",...
配置Kafka输出组件
例如源端记录有三列，值为a、b和c：当写入模式配置为Text、分隔符配置为#时，写入Kafka的记录Value为字符串a#b#c。当写入模式配置为JSON、目标表字段配置为["col1","col2","col3"]时，写入Kafka的记录Value为字符串{"col1":"a","col2":"b",...
OSS-HDFS数据源
对于text类型，需要保证写入OSS-HDFS文件的分隔符与在Hive上创建表时的分隔符一致，从而实现写入OSS-HDFS数据与Hive表字段关联。实现过程 OSS-HDFS Writer的实现过程如下所示：根据您指定的path，创建一个OSS-HDFS文件系统上不存在的临时...
复杂类型函数
SPLIT 将字符串按照指定的分隔符分割后返回数组。TRANSFORM 将ARRAY数组中的元素进行转换。ZIP_WITH 将2个ARRAY数组按照位置进行元素级别的合并。MAP函数 EXPLODE 将一行数据转为多行的UDTF。INDEX 返回MAP类型参数中满足指定条件的Value。...
Fn:Split
调用内部函数Fn:Split，通过指定分隔符对字符串进行切片，并返回所有切片组成的列表。函数声明 JSON {"Fn:Split":["delimiter","original_string"]} YAML 完整函数的语法。Fn:Split:delimiter-original_string 缩写形式。Split[delimiter,...
其他函数
TRANS_ARRAY 将一行数据转为多行的UDTF，将列中存储的以固定分隔符格式分隔的数组转为多行。TRANS_COLS 将一行数据转换为多行数据的UDTF，将不同的列拆分为不同的行。UNBASE64 将BASE64编码格式字符串转换为二进制表示值。UNIQUE_ID 返回...
OSS数据离线同步至MaxCompute
每条记录由字段组成，字段间的分隔符是其它字符或字符串，最常见的是逗号或制表符。通常，所有记录都有完全相同的字段序列。文件路径 填写您要同步的文件路径。当指定单个OSS Object时，OSS Reader暂时只能使用单线程进行数据抽取。当指定...
OSS数据离线同步至MaxCompute
每条记录由字段组成，字段间的分隔符是其它字符或字符串，最常见的是逗号或制表符。通常，所有记录都有完全相同的字段序列。文件路径 填写您要同步的文件路径。当指定单个OSS Object时，OSS Reader暂时只能使用单线程进行数据抽取。当指定...
SelectObject
子节点：None 父节点：CSV（输入、输出），JSON（输出）FieldDelimiter 字符串 指定CSV列分隔符，以Base64编码。默认值为,（可选）。未编码前的值必须为一个字符，以字符的ANSI值表示，例如在Java中使用,表示逗号。子节点：None 父节点：...
参数映射与校验规则
如果参数类型设置为 ARRAY 数组类型，只有 query,formData,header 三个位置的参数支持数组格式，数组参数的校验规则对可以对每个数组元素生效，类型由数组参数类型字段指定，默认为字符串 4.3.后端参数映射规则 用户可以设置参数的 后端...
DescribeProtectionModuleRules
Query String 否 e2ZpbHRlcjp7InJ1bGVJZCI6NDI3NTV9LG9yZGVyQnk6ImdtdF9tb2RpZmllZCIsZGVzYzp0cnVlfQ=设置规则的过滤和排序，以JSON格式字符串表达，具体包含以下参数：说明 该参数必须使用Base64编码格式，请按照以下参数说明构造JSON格式...
正则表达式入门教程
示例三：匹配一个完整字符串 筛选出格式为[时间][级别][模块][信息]的日志，其中时间为 yyyy-mm-dd hh:mm:ss 格式，级别包括DEBUG、INFO、WARN和ERROR，模块和信息为任意的字符串。日志样例：[2021-09-23 10:23:45][INFO][user login][user...
基本概念
分隔符名称 分隔符 含义 处理分隔符@区分Object名称和处理字符串。样式分隔符@！区分Object跟样式内容，详情请参见 样式访问。管道分隔符|区分多种操作，详情请参见 管道。数据中心及访问域名 图片服务的数据中心和OSS的数据中心相对应。...
配置Redis输出组件
列分隔符：列分隔符用于分隔字段名与字段类型，默认英文逗号，可支持（,）字段类型可缺省，默认为（,）。同时您也可以对已添加的字段执行如下操作：单击 操作 列下的 图标，编辑已有的字段。单击 操作 列下的 图标，删除已有的字段。映射...
参考：Proxima CE全量参数说明
分隔符是以字符串的形式识别的，因此只需要输入字符本身即可，不需要带单引号或双引号。例如 ',' 会被当成完整的字符串 ',' 而不是逗号,。binary_to_int 用否用int32来表示BINARY数据，该参数只对BINARY类型的数据有效，其它参数不支持，...
HDFS数据源
对于TextFile，需要保证写入HDFS文件的分隔符与在Hive上创建表时的分隔符一致，从而实现写入HDFS数据与Hive表字段关联。目前插件中的Hive版本为1.1.1，Hadoop版本为2.7.1（Apache为适配JDK1.7）。在Hadoop2.5.0、Hadoop2.6.0和Hive1.2.0...
配置Redis输出组件
列分隔符：列分隔符用于分隔字段名与字段类型，默认英文逗号，可支持（,）字段类型可缺省，默认为（,）。同时您也可以对已添加的字段执行如下操作：单击 操作 列下的 图标，编辑已有的字段。单击 操作 列下的 图标，删除已有的字段。映射...
使用限制
项 值 INT64-2^63~2^63-1 FLOAT+-3.40282e+038 DOUBLE+-1.79769e+308 LITERAL 65535个字节 TEXT 65536个词 SHORT_TEXT 100字节，超过后截断 LITERAL_ARRAY 字段长度总体不能超过65535个字节（算上元素之间的2字节的系统内置分隔符），如果...
同步增量数据到OSS
fieldDelimiterOrigin":",","nullFormat":"null",/定义null值的字符串标识符方式，可以是空字符串。dateFormat":"yyyy-MM-dd HH:mm:ss",/时间格式。datasource":"osssource",/OSS数据源名称，请根据实际填写。envType":1,...
签名算法：HMAC-SHA1
其中 QUERY_STRING 是URI中请求参数按字典序排序后的字符串，其中参数名和值之间用=相隔组成字符串，并对参数名和值按照字典序升序排序，然后以&符号连接构成字符串。其公式化描述如下：QUERY_STRING="KEY1=VALUE1"+"&"+"KEY2=VALUE2"生成...
字符串转为数字类型
1.组件介绍 说明 必要前置组件：无 利用本组件可以实现字符串转为数字类型 2.输入项 说明 请参照可视化编辑器内组件面板中各输入项的帮助信息 3.输出项 说明 请参照可视化编辑器内组件面板中各输出项的帮助信息 4.组件使用示例 4.1.组件...
API 概览
完成 Mac 操作,base64编码，将byte数组转换为字符串 return new String(Base64.encodeBase64(textFinal));} Shell 签名算法#config sign timestamp=`echo$[$(date+s%N)/1000000]` signStr=$namespace+$group+$timestamp signContent=`echo-...
polar_comp_redwood_strings
在Oracle中，当字符串与null变量或null列串联时，结果是原字符串；但是，在PostgreSQL中，字符串与null变量或null列的串联会产生null结果。如果polar_comp_redwood_strings参数设置为true，则上述串联运算像Oracle执行的一样生成原字符串。...
加签机制
bodyStream为字节数组 Headers Headers是指参与签名计算的Header的Key、Value拼接的字符串，建议对 X-Ca 开头的Header和自定义Header计算签名。说明 以下参数不参与Headers签名计算：X-Ca-Signature、X-Ca-Signature-Headers、Accept、...
数据结构
说明 空字符串与None、null的数据类型不同。列表（List）数组，例如[1,2,3,4]。某些函数参数接收的对象是列表，例如 e_dict_map("dict data",["f1","f2","f3"],.)。某些函数返回的结果是列表，例如当 json_select 选择一个数组时会返回列表...
通过DataWorks导入数据
如果您没有指定行、列分隔符，则默认传入的数据均会被转为字符串，并以 \t 作为列分隔符，作为行分隔符，组成CSV文件进行SelectDB导入操作。loadProps":{"format":"csv","column_separator":"\\x01","line_delimiter":"\\x02"} 支持的字段...
CreateProtectionModuleRule
选择自定义资源组时，需要再传入 extensions参数，以字符串格式指定具体的资源后缀名，多个后缀名间以英文逗号（,）分隔，例如 css,jpg,xls。minRequestCountPerIp：Integer类型|必选|检测周期中检测IP的范围，大于等于一定访问请求数量的...
v3 API 签名机制
签名的方法用 RFC 2104 中定义的 HMAC-SHA1 方法 签名的字符串必须为UTF-8格式 含有中文字符的签名字符串必须先进行UTF-8编码，再与AccessKeySecret计算最终签名 签名参数先后顺序，必须和上面保持一致 参数 描述 AccessKeyId 不能为空，...
- 产品推荐
- 这些文档可能帮助您