高级应用：实现复杂作业逻辑
for-each节点 DataWorks的for-each节点主要用于有循环遍历的场景，且需要与 赋值节点 联合使用，将赋值节点作为for-each节点的上游节点，将赋值节点的输出结果赋值给for-each节点后，一次次循环来遍历赋值节点的输出结果。for-each节点的...
HDFS数据源
当指定通配符，HDFS Reader尝试遍历出多个文件信息。例如指定/代表读取/目录下所有的文件，指定/bazhen/代表读取bazhen目录下游所有的文件。HDFS Reader目前只支持*和?作为文件通配符，语法类似于通常的Linux命令行文件通配符。请注意以下...
SearchMedia-搜索媒体信息
接口说明 获取命中数据条数限制说明如下：方法一：分页遍历 对于命中的搜索结果，您可以通过设置分页参数“PageNo”（页码）和“PageSize”（每页显示的记录数）来逐步遍历最多 5000 条数据。如果搜索结果超出了 5000 条，为了保证有效地遍...
通用功能插件
是否遍历子目录 用于设置在上传构建产物时，是否遍历指定目录的所有子目录。文件后缀 用于设置文件后缀，上传指定文件类型的构建产品。如设置多个后缀，用“,”分隔。是否公开 用于设置构建产物上传完成后，是否所有人可访问读取。说明 如...
FLATTEN
将数组类型的数组转换为单个数组。命令格式 flatten(arrayOfArray)参数说明 arrayOfArray：为数组类型的数组。返回值说明 将数组类型的数组按元素顺序展开为单个数组。如果输入值为 null，则返回NULL。如果输入参数不是数组类型的数组，则...
模型优化
遍历次数一般不建议修改（除非您想快速训练完成），学习率参数有时对于模型的影响非常大，可以尝试在 0.001~0.0001 进行调整。有时候上述对于模型的调整可能对于性能的提升都不是很大，这时可以考虑从数据层面来优化。比如数据的预处理阶段...
XMSSMiner挖矿蠕虫分析
XMSSMiner通过不同方式收集key、host、username、sshport，而后通过循环遍历方式进行横向移动或对外传播，其收集方式如下表所示：类型 文件或命令 说明 获取key id_rsa*遍历/root和/home，最多遍历3层目录.ssh/config 指定路径.ssh/config....
模型优化
对于模型的优化，我们提供如下几个建议：如果您的数据集不大(例如仅几百条)，建议调整遍历次数（例如调整到10或者20次），使模型得到更充分的训练。换一个不同模型试试。不同的模型架构在不同的任务上表现可能不同，如果您发现LSTM+CRF ...
ST_HMTAsArray
返回值 返回一个二维的float8数组，每一个值代表热力图的统计值。参数 参数名称 描述 hmt 基于protobuf表示的HMT二进制。描述 将热力图瓦片转换为基于数组矩阵的表示方法，方便进行查看。热力图瓦片需要通过 ST_AsHMT 函数生成。示例 ...
ST_HMTAsArray
返回值 返回一个二维的float8数组，每一个值代表热力图的统计值。参数 参数名称 描述 hmt 基于protobuf表示的HMT二进制。描述 将热力图瓦片转换为基于数组矩阵的表示方法，方便进行查看。热力图瓦片需要通过 ST_AsHMT 函数生成。示例 ...
ST_HMTAsArray
返回值 返回一个二维的float8数组，每一个值代表热力图的统计值。参数 参数名称 描述 hmt 基于protobuf表示的HMT二进制。描述 将热力图瓦片转换为基于数组矩阵的表示方法，方便进行查看。热力图瓦片需要通过 ST_AsHMT 函数生成。示例 ...
ARRAY_EXCEPT
找出在ARRAY数组 a 中，但不在ARRAY数组 b 中的元素，并去掉重复的元素后，返回新的ARRAY数组。命令格式 array<T>array_except(array<T><a>,array<T><b>)参数说明 a、b：必填。ARRAY数组。array中的 T 指代ARRAY数组元素的数据类型，数组中...
LIMIT
对于已初始化的动态数组，LIMIT返回由动态数组类型定义确定的最大大小限制。如果动态数组未初始化（即，它是空值数组），则将引发异常。对于关联数组或已初始化的嵌套表，LIMIT返回NULL。如果嵌套表未初始化（即，它是空值嵌套表），则将...
性能优化
Traverses（遍历）：通过该步骤过滤的去重后的遍历数量。Time(ms)（时间）：该步骤主动执行遍历的总时间，单位：毫秒。Dur：该步骤的耗时占总时间的百分比。说明 DMS不支持 profile()命令，建议您通过Gremlin Console连接实例后使用该命令...
路由算法
说明 若未配置路由算法，则在对逻辑表的数据进行操作时，会遍历逻辑表对应的每一个物理表，整体操作时间会成倍增加。路由算法由路由字段+算法组成。使用场景 分表数据查询 分表数据变更 分表数据导出 配置说明 您可通过目标逻辑库找到对应...
ARRAYS_OVERLAP
判断ARRAY数组 a 和 b 是否存在相同元素。命令格式 boolean arrays_overlap(array<T><a>,array<T><b>)参数说明 a、b：必填。ARRAY数组。array中的 T 指代ARRAY数组元素的数据类型，数组中的元素可以为任意类型。a 和 b 中元素的数据类型...
ARRAY_DISTINCT
去除ARRAY数组 a 中的重复元素。命令格式 array<T>array_distinct(array<T><a>)参数说明 a：必填。ARRAY数组。array中的 T 指代ARRAY数组元素的数据类型，数组中的元素可以为任意类型。返回值说明 返回ARRAY类型。返回规则如下：新ARRAY数...
多元索引数组类型
多元索引除了提供Long、Double、Boolean、Keyword、Text等基本类型外，还提供了数组类型。数组类型属于附加类型，可以附加在Long、Double、Boolean、Keyword、Text等基本类型之上。例如Long类型+数组后，即为数组长整型。本文介绍如何通过...
Java线程栈分析-CPU利用率持续升高
再结合业务同学的反馈，大概有500多个jar包，所以根据线程栈分析得出的初步猜测是：在反序列化过程中遇到未加载的类，然后触发URLClassLoader从500多个jar包中遍历查找类，这个查找过程导致了CPU利用率持续升高。根据上述的栈名称，我们从...
ARRAYS_ZIP
合并多个给定数组并返回一个结构数组，其中第N个结构包含输入数组的所有第N个值。命令格式 array,U,.>>arrays_zip(array<T><a>,array<U><b>[,.])参数说明 a、b：必填。ARRAY数组。array及 array中的 T 和 U 指代ARRAY数组元素的数据类型，...
ARRAY_NORMALIZE
参数说明 array：输入数组，数组元素只支持 Float 和 Double 类型。p:数组的p Norm。返回值说明 返回规范化之后的数组。如果数组为null或者有null数组元素，则返回NULL。如果 p=0 则返回原数组；p则抛出异常。示例 SELECT array_normalize...
页面编排设计器内节点说明
例如，对于以下对某个 list 变量内元素遍历并操作的场景：List<Structure_A>aList;for(var i=0;i;i+){ Structure_A a=aList[i];func(a);} 在遍历节点内时，集合变量为 aList，条目变量则为 a，条目下标为 i。循环中对 a 变量的操作，则在遍...
java_lang_ArrayIndexOutOfBoundsException
问题分析 数组索引越界，引用的对象超出了数组的大小。解决方案 数组索引越界，引用的对象超出了数组的大小。因此在操作数组之前查看数组大小，判断对象是否存在，如果存在则返回，否则返回null。示例代码 public String arrayOutOfBounds...
数组函数和操作符
数组必须是一维的。使用 IS NOT DISTINCT FROM 语义完成比较，所以可以搜索 NULL。只有当数组为 NULL 时才返回 NULL;如果在数组中没有找到该值，则返回空数组。array_positions(anyarray,anyelement)→integer[]array_positions(ARRAY['A',...
ALL_MATCH
判断ARRAY数组 a 中是否所有元素都满足 predicate 条件。命令格式 boolean all_match(array<T><a>,function,boolean>)参数说明 a：必填。ARRAY数组。array中的 T 指代ARRAY数组元素的数据类型，数组中的元素可以为任意类型。predicate：必...
ARRAY_MAX
计算ARRAY数组 a 中的最大元素。命令格式 T array_max(array<T><a>)参数说明 a：必填。ARRAY数组。array中的 T 指代ARRAY数组元素的数据类型。数组中的元素可以为如下类型：TINYINT、SMALLINT、INT、BIGINT FLOAT、DOUBLE BOOLEAN DECIMAL...
ARRAY_MIN
计算ARRAY数组 a 中的最小元素。命令格式 T array_min(array<T><a>)参数说明 a：必填。ARRAY数组。array中的 T 指代ARRAY数组元素的数据类型。数组中的元素可以为如下类型：TINYINT、SMALLINT、INT、BIGINT FLOAT、DOUBLE BOOLEAN DECIMAL...
ZIP_WITH
将ARRAY数组 a 和 b 的元素按照位置，使用 combiner 进行元素级别的合并，返回一个新的ARRAY数组。命令格式 array<R>zip_with(array<T><a>,array<S><b>,function,S,R>)参数说明 a、b：必填。ARRAY数组。array、array中的 T、S 指代ARRAY数...
ANY_MATCH
判断ARRAY数组 a 中是否存在元素满足 predicate 条件。命令格式 boolean any_match(array<T><a>,function,boolean>)参数说明 a：必填。ARRAY数组。array中的 T 指代ARRAY数组元素的数据类型，数组中的元素可以为任意类型。predicate：必填...
ARRAY_INTERSECT
MaxCompute ARRAY_INTERSECT函数用于计算两个ARRAY数组之间的交集，并返回一个包含两个数组中都存在的相同值的新数组。本文为您介绍ARRAY_INTERSECT函数的命令格式、参数说明以及使用示例。命令格式 array<T>array_intersect(array<T><a>,...
SLICE
对ARRAY数组切片，截取从 start 位置开始长度为 length 的元素组成新的ARRAY数组。命令格式 array<T>slice(array<T><a>,,)参数说明 a：必填。ARRAY数组。array中的 T 指代ARRAY数组元素的数据类型，数组中的元素可以为任意类型。start：必...
访问增强版HBase数据
函数 函数说明 参数说明 to_hstring(bin,offset,length)将字节数组转换成HSTRING字符串，返回值类型为STRING。bin：待转换的字节数组。offset：待转换字节数组的起始位置。取值为大于等于0的整数。length：待转换字节数组的长度。取值为...
使用ROS模板选择和设置对象
资源编排支持通过新增对象数组、元素数组和参数对象对JSON数据进行扩展，增强JSON对象的校验逻辑。对象数组 对象数组为单一对象，数组元素支持所有的ROS模板参数类型。模板示例 ROSTemplateFormatVersion:'2015-09-01' Parameters:...
转码
本文提供了Java SDK转码相关功能的API调用示例，包含提交转码作业、查询转码作业、取消转码作业和遍历转码作业。前提条件 使用前请先初始化客户端，详细操作请参见 初始化。提交转码作业 调用SubmitJobs接口，完成提交转码作业。说明 通过...
SHUFFLE
返回指定数组的元素随机排列数组。命令格式 shuffle(array)参数说明 array：输入数组。返回值说明 返回指定数组的元素随机排列数组。如果输入值为null，则返回NULL。该函数的返回结果是不确定的。示例 SELECT shuffle(array(1,20,3,5));...
告警规则指标说明
指标维度 节点机IP，筛选条件如下：遍历：遍历每个节点机IP，针对每台节点机的指标数据单独进行监控告警。指定筛选固定的几台节点机进行监控告警。示例：=172.20.XX.XX。无维度：汇总所有节点机的指标数据，针对所有节点机的指标数据进行...
ARRAY_REMOVE
在ARRAY数组 a 中删除与 element 相等的元素。命令格式 array<T>array_remove(array<T><a>,T)参数说明 a：必填。ARRAY数组。array中的 T 指代ARRAY数组元素的数据类型。支持的数据类型如下：TINYINT、SMALLINT、INT、BIGINT FLOAT、DOUBLE ...
MULTIMAP_FROM_ENTRIES
返回由结构体数组中的Key和包含所有Value的数组所组成的Map。命令格式 multimap_from_entries(array,V>>)参数说明 array,V>>：为Key/Value组成的结构体数组。返回值说明 返回由结构体数组中的Key和包含所有Value的数组所组成的Map，Map格式...
InnoDB Physiological Logging
优点 高效率，并且可以直接修改物理格式，任何操作都不需要重新遍历Btree到指定页面。缺点 产生的日志量大。例如：一次 DELETE 操作，逻辑日志只需要记录MLOG_COMP_REC_DELETE offset，但实际执行过程中需要修改prev_record->next_record、...
COMBINATIONS
返回输入数组元素的N元组合组成的数组。命令格式 combinations(array(T),n)参数说明 array：为输入数组。n：元数。返回值说明 返回输入数组元素的N元组合组成的数组。如果输入数组没有重复项，则返回N元子集数组。子集是确定的但顺序不保证...
- 产品推荐
- 这些文档可能帮助您