循环字典键值对
流程搭建示例 搭建流程 利用 设置变量值 组件，设置字典变量的值 利用 循环字典键值对 组件，循环操作字典中的键值对 利用 记录日志 组件，打印循环中每项键值对中的key值 利用 记录日志 组件，打印循环中每项键值对中的value值 执行结果 ...
for-each节点逻辑原理介绍
DataWorks为您提供遍历节点（for-each节点），您可以通过for-each节点来循环遍历赋值节点传递的结果集。同时您也可以重新编排for-each节点内部的业务流程。本文为您介绍for-each节点的组成与应用逻辑。使用说明 您可通过以下内容了解遍历...
UDF示例：获取字符串（含分隔符）Value
string UDF_EXTRACT_KEY_VALUE_WITH_SPLIT(string,string,string,string)函数功能：在键值对字符串 s 中使用 split1 分割出键值对后，再根据 split2 分割键值对获得键和值，最后返回键 keyname 对应的值。与 获取键值对字符串中指定Key的...
Beam排序优化（7.0版）
Beam组合排序键和多维排序键查询效果对比 以下是对数据量1 TB的SSB Benchmark中 lineorder_flat Beam表分别建立的组合排序键和多维排序键后，对比不同场景筛选条件下的查询效果，其中排序键为 LO_ORDERDATE 和 P_BRAND。筛选条件 组合排序...
通过命令行工具创建排序脚本
排序脚本生命周期简介 排序脚本在opensearch中的生命周期描述如下：创建排序脚本，创建脚本时需要指定应用名称、对应的版本ID和脚本名称，为了区分脚本名称不要和在opensearch控制台上创建的表达式名称相同。上传脚本代码，脚本是使用...
通过命令行工具创建排序脚本
排序脚本生命周期简介 排序脚本在opensearch中的生命周期描述如下：创建排序脚本，创建脚本时需要指定应用名称、对应的版本ID和脚本名称，为了区分脚本名称不要和在opensearch控制台上创建的表达式名称相同。上传脚本代码，脚本是使用...
Beam使用（公测）
同时Beam会对指定的排序键和主键列收集最大（Max）或最小（Min）信息，从而加速包含排序键过滤条件的查询。例如，SQL语句中包含 sale_date='20230715' 的条件，则数据基于 sale_date 列排序会获得额外的性能收益。您可以在 ORDER BY 子句中...
通过ASM实现gRPC链路追踪
context.invocation_metadata()，返回值类型为2-tuple数组，2-tuple的形式为('k','v')，使用 m.key,m.value 获取键值对。Unary RPC 使用Java语言通过服务端获取Headers实现Unary RPC。对Headers无感知。使用Go语言通过服务端获取Headers...
通过ASM实现gRPC链路追踪
context.invocation_metadata()，返回值类型为2-tuple数组，2-tuple的形式为('k','v')，使用 m.key,m.value 获取键值对。Unary RPC 使用Java语言通过服务端获取Headers实现Unary RPC。对Headers无感知。使用Go语言通过服务端获取Headers...
字段值映射处理
您在使用Logtail采集日志时，可以使用processor_dict_map插件进行字段值映射。本文介绍processor_dict_map插件的参数说明和配置示例。重要 表单配置方式：采集文本日志和容器标准输出时可用。JSON配置方式：采集文本日志时不可用。功能入口...
创建应用路由（Nginx Ingress）
说明 采样率：EDAS支持为匹配到Ingress路由规则的请求提供链路追踪能力，在Ingress监控页面的 日志分析 面板中可以查询到访问日志中注入的ARMS TraceId，并能够联动ARMS链路追踪进行请求异常分析。采样率表示ARMS链路追踪采样百分比，取值...
脚本模式：高级SQL（Mybatis语法）示例
其中，高级SQL涵盖了Mybatis语法的常见标签类型（例如，if、choose、when、otherwise、trim、foreach、where），您可以借助标签语法来灵活实现空值校验、多值遍历、动态查表、动态排序及聚合等复杂查询逻辑。使用说明 本文主要为您介绍使用...
管理和使用保密字典（K8s Secret）
保密字典（K8s Secret）是一种用于存储和管理密钥、证书等敏感信息的资源类型。为避免敏感数据暴露到镜像或应用 与任务 的部署参数中，推荐您使用 SAE 命名空间级别的保密字典。配置保密字典后，您可以在创建或部署时，通过镜像将配置信息...
使用OpenAPI示例
本文为您介绍使用OpenAPI查询公网IP资产归属地域的完整示例。查看OpenAPI文档 通过阅读 API概览 得知，查询公网IP资产归属地域的OpenAPI为 DescribeIpLocationService。请您根据文档，了解调用该接口需要准备的数据和权限。创建RAM用户并...
Python 3 UDTF
返回值为GENERATOR类型，调用者以遍历方式获取表的内容，每次遍历可得到以数组形式存在的表中的一条记录。引用文件资源和表资源的代码示例如下。from odps.udf import annotate from odps.udf import BaseUDTF from odps.distcache import ...
新建路由规则
匹配过程是从高优先级规则向低优先级规则进行遍历。如果与某条规则匹配成功，则转发请求至规则中配置的目标服务；如果匹配失败，则会返回404错误。路由匹配优先级 存在多条路由规则时，按照 关联域名>路径（Path）>请求头（Header）>请求...
全局操作函数概览
本文介绍日志服务提供的全局操作函数清单。日志服务LOG DSL（Domain Specific Language）提供近三十种全局操作函数，您可以在数据加工中通过全局操作函数控制加工逻辑。全局操作函数列表如下表所示。函数类型 函数 操作说明 流程控制函数 e...
创建应用路由（ALB Ingress）
创建保密字典的具体操作，请参见 创建保密字典。注解 为Ingress添加注解键值对。添加特定的注解能够实现ALB Ingress的高级能力，详情请参见 ALB Ingress服务高级用法。标签 为Ingress添加标签键值对。使用标签能够便于对已配置特定标签的...
UDAF概述
MaxCompute支持您通过Java、Python语言编写代码创建UDAF，扩展MaxCompute的函数能力，满足个性化业务需求。本文为您介绍UDAF类型、使用限制、注意事项、开发流程及使用说明等信息。背景信息 UDAF为用户自定义聚合函数，适用于多进一出业务...
在PyODPS节点中调用第三方包
PyODPS 2底层Python语言版本为Python 2，PyODPS 3底层Python语言版本为Python 3，请您根据实际使用的Python语言版本创建PyODPS节点。更多创建PyODPS节点信息，请参见 开发PyODPS 2任务 和 开发PyODPS 3任务。使用限制 在PyODPS节点中调用第...
语言简介
字段值提取函数 支持通过正则表达式、GROK、KV、KV分隔符、CSV、TSV、PSV、Syslog等方式提取字段中的多个值或键值对。支持JSON数据提取并进行富化。映射富化函数 支持基于字典、表格进行映射或搜索。支持从规则配置、外部OSS Bucket、RDS ...
创建路由
匹配过程是从高优先级规则向低优先级规则进行遍历。如果与某条规则匹配成功，则转发请求至规则中配置的目标服务；如果匹配失败，则会返回404错误。路由匹配优先级 存在多条路由规则时，按照 关联域名>路径（Path）>请求头（Header）>请求...
UDTF概述
MaxCompute支持您通过Java、Python语言编写代码创建UDTF，扩展MaxCompute的函数能力，满足个性化业务需求。本文为您介绍UDTF类型、使用限制、注意事项、开发流程及使用说明等信息。背景信息 UDTF为用户自定义表值函数，适用于一进多出业务...
Python前言
本文介绍 表格存储 Python SDK的使用流程、下载和版本兼容性。使用流程 表格存储 提供了宽表模型、时序模型、消息模型等多种数据模型，表格存储 Python SDK只支持使用宽表模型的功能操作。宽表模型的一般使用流程如下：初始化客户端用于...
API概览
QueryDataMessageStatistics 查询用户数据表中的更新消息统计数据 用户数据表中的更新消息统计数据查询。QueryExceptionHistory 异常数据历史分段查询 异常数据历史分段查询。QueryRawData 用户数据表中的原始数据查询 用户数据表中的原始...
管理保密字典
本文介绍如何在Kubernetes集群中管理保密字典。前提条件 已创建Kubernetes集群，请参见 创建ACS集群。背景信息 若您需要在Kubernetes集群中使用一些敏感的配置，例如密码、证书等信息时，建议使用保密字典（Secret），即密钥。保密字典有...
Python 3 UDAF
返回值为GENERATOR类型，调用者以遍历方式获取表的内容，每次遍历可得到以数组形式存在的表中的一条记录。具体使用方法请参见 引用资源（Python UDF 3）和 引用资源（Python UDTF 3）。使用说明 按照 开发流程，完成Python 3 UDAF开发后，...
开发PyODPS 2任务
PyODPS 2底层Python语言版本为Python 2，PyODPS 3底层Python语言版本为Python 3，请您根据实际使用的Python语言版本创建PyODPS节点。使用限制 DataWorks建议您在PyODPS节点内获取到本地处理的数据不超过50 MB，该操作受限于DataWorks执行...
基本概念
您可以在数据库中创建、更新或删除表，以及执行与函数相关的操作。购买Hologres实例后，系统自动创建 postgres 数据库。该数据库分配到的资源较少，仅用于管理，开发实际业务需要新建数据库。新建数据库请参见 CREATE DATABASE。Schema ...
管理保密字典
本文为您介绍如何在Kubernetes集群中管理保密字典。前提条件 已创建Kubernetes集群，请参见 创建Kubernetes托管版集群。背景信息 若您需要在Kubernetes集群中使用一些敏感的配置，例如密码、证书等信息时，建议使用保密字典（Secret），即...
管理保密字典
本文为您介绍如何在Kubernetes集群中管理保密字典。前提条件 已创建Kubernetes集群，请参见 创建Kubernetes托管版集群。背景信息 若您需要在Kubernetes集群中使用一些敏感的配置，例如密码、证书等信息时，建议使用保密字典（Secret），即...
开发PyODPS 3任务
PyODPS 2底层Python语言版本为Python 2，PyODPS 3底层Python语言版本为Python 3，请您根据实际使用的Python语言版本创建PyODPS节点。若通过PyODPS节点执行SQL无法正常产生数据血缘关系，即数据血缘在数据地图无法正常展示，您可在任务代码...
使用OpenAPI示例
本文为您介绍使用OpenAPI查询已创建的以图搜图应用实例列表的完整示例。查看OpenAPI文档 查询已创建的以图搜图应用实例列表的OpenAPI：QueryPictureSearchApps。请您根据文档，了解调用该接口需要准备的数据和权限。创建RAM用户并授权 身份...
使用OpenAPI示例
调用OpenAPI 本文以Python语言为例，为您介绍OpenAPI的调用方法。准备Python环境 下载并安装Python。Python 3的下载地址，请参见 Python 3。查看Python版本。Linux和macOS系统 打开终端，输入 python-version。Windows系统 在Python的安装...
使用OpenAPI示例
本文为您介绍使用OpenAPI查询指定密钥的密钥详情的完整示例。查看OpenAPI文档 通过阅读 API概览 得知，查询指定密钥的密钥详情的OpenAPI为 DescribeKey。请您根据文档，了解调用该接口需要准备的数据和权限。创建RAM用户并授权 身份 您可以...
云数据库查询优化
遍历整个集合 您应该避免使用find+Skip+Limit的查询方式来遍历整个集合，因为这种方式随着Skip数量的增长响应时间会越来越慢，还可能会造成请求超时。您可以改为使用find+RangeQuery+Limit+Sort的方式。下面的代码给出了一个示例。将数据按...
开发PyODPS 3任务
PyODPS 2底层Python语言版本为Python 2，PyODPS 3底层Python语言版本为Python 3，请您根据实际使用的Python语言版本创建PyODPS节点。若通过PyODPS节点执行SQL无法正常产生数据血缘关系，即数据血缘在数据地图无法正常展示，您可在任务代码...
UDF开发（Python3）
返回值为Generator类型，调用者通过遍历获取表的内容，每次遍历得到的是以数组形式存在的表中的一条记录。引用表资源示例如下。from odps.udf import annotate from odps.distcache import get_cache_table@annotate('->string')class ...
A/B Test
实验管理：创建好实验组和实验后，会在实验组详情页中生成对应的实验列表：实验列表内展现了实验名称、查询分析类型与策略、排序策略类型与策略、流量占比和操作等基本信息：用户可对已创建的 实验 进行基础的管理操作：编辑实验：支持对...
Python SDK示例：Table
本文为您介绍Python SDK中表相关的典型场景操作示例。列出所有表 通过调用入口对象的 list_tables()方法可以列出项目空间下的所有表。for table in odps.list_tables():#处理每张表。判断表是否存在 通过调用入口对象的 exist_table()方法...
- 产品推荐
- 这些文档可能帮助您