版本及存储引擎
改进$graphLookup 对图遍历的支持。提升$lookup 性能，部分场景中性能提升可达百倍。说明$lookup 和$graphLookup 的更多信息，请参见$lookup(aggregation)和$graphLookup(aggregation)。查询 新增$maxN、$topN、$minN、$bottomN、$lastN 和...
性能说明FAQ
原因分析 执行目录遍历操作时，如果此目录同时正在被修改（如创建、删除、重命名文件），目录遍历会由于缓存频繁失效而响应非常慢。对大目录执行目录遍历操作时，目录遍历会由于缓存淘汰而响应非常慢。解决方案 避免目录体量过大，控制单...
for-each节点逻辑原理介绍
DataWorks为您提供遍历节点（for-each节点），您可以通过for-each节点来循环遍历赋值节点传递的结果集。同时您也可以重新编排for-each节点内部的业务流程。本文为您介绍for-each节点的组成与应用逻辑。使用说明 您可通过以下内容了解遍历...
图解MySQL 8.0优化器查询转换篇
本文档介绍了优化器的...遍历这些子查询，判断是否可以增加一个额外的转换（transform_grouped_to_derived）：把隐性的GROUP BY标量子查询变成derived table。SELECT SUM(c1),(SELECT SUM(c1)FROM t3)scalar FROM t1;转换为=>SELECT derived...
功能概览
否则，返回输入 repeat 循环遍历 unoin 合并子遍历的结果 修饰符 as 打标 by 为其他单步提供参数 emit 记录循环的中间结果 indexQuery[*]倒排查询 option 指定分支查询的条件 times 指定循环遍历的次数 until 指定循环遍历的终止条件 ...
MySQL深潜-MDL锁的实现与获取机制
key 是由 MDL_key表示的，用字符串的形式表示对象的名称。完整的字符串由namespace、按层次每一级的名称组成，多种命名空间可以将不同类型的同名对象区分开。命名空间包括GLOBAL、SCHEMA、TABLE、FUNCTION、PROCEDURE等数据库中可以创建的...
高级应用：实现复杂作业逻辑
for-each节点 DataWorks的for-each节点主要用于有循环遍历的场景，且需要与 赋值节点 联合使用，将赋值节点作为for-each节点的上游节点，将赋值节点的输出结果赋值给for-each节点后，一次次循环来遍历赋值节点的输出结果。for-each节点的...
性能优化
Traverses（遍历）：通过该步骤过滤的去重后的遍历数量。Time(ms)（时间）：该步骤主动执行遍历的总时间，单位：毫秒。Dur：该步骤的耗时占总时间的百分比。说明 DMS不支持 profile()命令，建议您通过Gremlin Console连接实例后使用该命令...
Python SDK示例：Table
print(partition.name)#具体的遍历步骤，这里是打印分区名 for partition in table.iterate_partitions(spec='dt>20230119'):#遍历 dt>20230119 分区下的二级分区 print(partition.name)#具体的遍历步骤，这里是打印分区名 重要 PyODPS自0....
FETCH
用 ABSOLUTE 取行并不比用相对移动快多少：不管怎样，底层实现都必须遍历所有的中间行。用负绝对值获取的情况更糟：必须读到查询尾部来找到最后一行，并且接着从那里反向开始遍历。不过，回卷到查询的开始（正如 FETCH ABSOLUTE 0）是很快...
数据导出指令
指定数据导出的参数为数组参数：当您需要使用数据遍历的时候，必须使用数据导出指令，并指定其为数组参数。仅支持选择一个对象导出。若选择导出出参，请保证单个出参数据不超过10 KB。如果精准控制导出量级请关联数据文件。操作样例 使用...
数据导出指令
指定数据导出的参数为数组参数：当您需要使用数据遍历的时候，必须使用数据导出指令，并指定其为数组参数。仅支持选择一个对象导出。若选择导出出参，请保证单个出参数据不超过10 KB。如果精准控制导出量级请关联数据文件。操作样例 使用...
表
表分区 使用PyODPS判断是否为分区表、遍历表全部分区、判断分区是否存在、创建分区等。数据上传下载通道 使用PyODPS操作Tunnel向MaxCompute中上传或者下载数据。说明 更多PyODPS方法说明，请参见 Python SDK方法说明。前提条件：准备运行...
Steps O-T
optional 功能：（branch）如果子遍历能产生结果，则返回遍历结果；否则，返回输入object。输出朋友关系或者没朋友的可怜人自己的信息 g("thinkerpop").V("1;2;4;6").hasLabel("person").optional(outE("knows"))=>{"label":"knows","pk":...
ListDomains-列举Domain
该接口会返回 next_marker，可将 next_marker 设置该值来遍历所有 domain 信息 NWQ1Yjk4YmI1ZDRlYmU1Y2E0YWE0NmJhYWJmODBhNDQ2NzhlMTRhMg limit long 否 本次分页获取的数量，默认 50，不可超过 100 60 返回参数 名称 类型 描述 示例值 ...
如何清理孤立文档
shardNames.forEach(function(shardName){/遍历指定的数据库列表 databasesToProcess.forEach(function(dbName){ var dbInstance=db.getSiblingDB(dbName);获取该数据库实例的所有集合名称 var collectionNames=dbInstance....
WAF目录遍历误拦截
问题描述 WAF报目录遍历误拦截。解决方案 目录遍历防护，如果出现误拦截，客户端IP在指定的 检测时间范围 内发起的 请求总次数超过 指定数量 且404响应码占比超过 指定比例。自动封禁在短时间内发起多次目录遍历攻击的客户端IP。如果用户...
配置for-each节点
DataWorks为您提供遍历节点（for-each节点），您可以通过for-each节点来循环遍历赋值节点传递的结果集。同时您也可以重新编排for-each节点内部的业务流程。本文以一个具体示例，通过for-each节点2次循环遍历赋值节点输出结果，并在每次循环...
设置扫描防护
扫描防护帮助网站自动阻断包含指定特征的访问请求，例如请求源IP在短期内发起多次Web攻击或目录遍历攻击、请求源IP来自常见扫描工具或阿里云恶意扫描攻击IP库。前提条件 已开通Web应用防火墙实例，且实例满足以下要求：包年包月实例：实例...
XMSSMiner挖矿蠕虫分析
XMSSMiner通过不同方式收集key、host、username、sshport，而后通过循环遍历方式进行横向移动或对外传播，其收集方式如下表所示：类型 文件或命令 说明 获取key id_rsa*遍历/root和/home，最多遍历3层目录.ssh/config 指定路径.ssh/config....
层次查询伪列
层次查询伪列如下：CONNECT_BY_ISCYCLE CONNECT_BY_ISLEAF LEVEL CONNECT_BY_ISCYCLE CONNECT_BY_ISCYCLE 用于标识层次遍历过程中环的起始位置。如果当前节点的子节点中也存在其祖先节点，CONNECT_BY_ISCYCLE 伪列返回1，否则返回0。下图中...
特殊用法
上界的写法 FORALL i IN lower_bound.upper_bound single SQL-仅允许使用单条 SQL 或动态 SQL 语句-遍历索引的写法(对于关联数组来说，仅支持使用索引为数值的关联数组)FORALL i IN INDICES OF collection single SQL-遍历值的写法(仅支持...
Redis过期Key的逐出策略
Redis的过期Key清理策略和淘汰策略都会遍历各个库，因此将Key分布在不同的库有助于过期Key的及时清理。另外不同业务使用不同库，也有助于问题排查和无用数据的及时下线。相关文档 如果需要查看详细的介绍，请参见 Key的过期及逐出策略。...
通过DataWorks操作Hologres的多个分区子表
当您需要对Hologres中分区父表的多个分区子表进行操作（例如执行INSERT、DELETE或UPDATE）时，可以通过DataWorks的for-each节点的循环遍历功能实现，简化复杂的循环处理逻辑，数据更新成功后即可在父表中查看所有分区数据。背景信息 ...
统计聚合
通过统计聚合接口可以实现求最小值、求最大值、求和、求平均值、统计行数、去重统计行数、按字段值分组、按范围分组、按地理位置分组、按过滤条件分组、直方图统计、日期直方图统计、嵌套功能；同时支持多个统计聚合功能组合使用，满足复杂...
动画控制器
本文介绍如何选择动画渲染类型。曲线动画控制器 使用场景 让...参数配置 属性 说明 纹理分割数量 根据雪碧图包含的小图数量设置，比如上图是2行10列，共20个小图，那么设置 X:10,Y:2 动画播放时长 多长时间播放一遍所有的序列帧小图，单位是秒
缓冲区管理
一种获取一致性位点的方法是遍历Buffer Pool中所有Buffer，找到最小值，但遍历代价较大，CPU开销和耗时都很大。为高效获取一致性位点，PolarDB 引入FlushList机制，将Buffer Pool中所有脏页按照Oldest LSN从小到大排序。借助FlushList，...
扫描完全下推（FastTraverse）
在社区MySQL版本8.0.18中，其并行扫描虽然实现了在InnoDB引擎中快速遍历page中的行记录，但引擎会忽视优化器选择的路径，强制选择主键路径。PolarDB MySQL版 真正实现了扫描的完全下推，它会在优化器选择的索引page上快速遍历...
列存索引中HashMatch算子的实现
PolarDB IMCI执行器默认用行号表示执行的中间结果，当大查询所需数据量无法完全存放于内存时则可能会引发大量随机且重复IO，从而影响执行效率。为了解决上述问题，IMCI执行器实现了基于中间结果物化的算子集合，本文介绍了HashJoin算子的...
DescribeDcdnWafDefaultRules-查询WAF规则默认配置
directory_traversal：目录遍历封禁。scan_tools：扫描工具封禁。waf_group Name string 规则默认名称。Default_WafGroup_Rule Status string 规则默认状态，取值如下：on：开启规则。off：关闭规则。on Config string 规则默认配置。{\...
专业术语
points per second 这是一个现在已经弃用的术语，原来表示数据写入TSDB For InfluxDB®的速率，因为TSDB For InfluxDB®的数据模型（schema）允许甚至鼓励每个数据点记录多个测量值（metric），所以这个概念有歧义。写入速率现在通常是按...
Java线程栈分析-CPU利用率持续升高
再结合业务同学的反馈，大概有500多个jar包，所以根据线程栈分析得出的初步猜测是：在反序列化过程中遇到未加载的类，然后触发URLClassLoader从500多个jar包中遍历查找类，这个查找过程导致了CPU利用率持续升高。根据上述的栈名称，我们从...
数字类型
如果一个从序列中分配的值被用在一行中，即使该行最终没有被成功地插入到表中，该值也被“用掉”了。例如，当插入事务回滚时就会发生这种情况。要使用 serial 列插入序列的下一个数值到表中，请指定 serial 列应该被赋予其缺省值。我们可以...
列出表名称列表
columns:=response.ResultSet.Columns()fmt.Printf("response table schema:%v",columns)/通过SQL ResultSet遍历获取SQL的返回结果。fmt.Println("response resultset:")resultSet:=response.ResultSet for resultSet.HasNext(){ row:=...
步骤三：实验2-根据车次查询城市天气
类型为Entity Entity eBody=rep.getBody()/使用Entity的内置功能，自动将json字符串反序列化为HashMap HashMap,Object>m=eBody.getValue()/取出城市列表信息，做为目标遍历的集合 return m.get('result').get('list')} } 循环查询城市天气 ...
日志开启
'Code':'NoSuchKey','RequestId':'5BF3C7DA236B3A201CE64679','Key':'exampledir/exampleobject.txt' } } 根据以上日志信息可知初始化一个Bucket会遍历其中所有的Object，当请求的Object不存在时会发生错误，错误信息为 NoSuchKey。
数据序列化和持久化
T*字符串，每个元素为字符类型 元素字符用 utf-8 编码 先入以 LEB128 编码的 uint32 表达元素个数，然后遍历放入元素。hello世界"=>0B,68,65,6C,6C,6F,E4,B8,96,E7,95,8C std:string Utf8String 数组，元素必为上述内置整型或string类型 ...
数据序列化和持久化
T*字符串，每个元素为字符类型 元素字符用 utf-8 编码 先入以 LEB128 编码的 uint32 表达元素个数，然后遍历放入元素。hello世界"=>0B,68,65,6C,6C,6F,E4,B8,96,E7,95,8C std:string Utf8String 数组，元素必为上述内置整型或string类型 ...
Python 2 UDAF
返回值为GENERATOR类型，调用者以遍历方式获取表的内容，每次遍历可得到以数组形式存在的表中的一条记录。具体使用方法请参见 引用资源（Python UDF 2）和 引用资源（Python UDTF 2）。使用说明 按照 开发流程，完成Python 2 UDAF开发后，...
Web服务端漏洞类型
暴力破解 暴力破解是指攻击者通过遍历或字典的方式，向目标发起大量请求，通过判断返回数据包的特征来找出正确的验证信息，从而绕过验证机制。随着互联网众多网站的数据库被泄露，攻击者选择的样本可以更具针对性，暴力破解的成功率也在...
- 产品推荐
- 这些文档可能帮助您