高级应用：实现复杂作业逻辑
实现有循环或遍历逻辑的作业 DataWorks为您提供两种循环类节点：for-each节点、do-while节点。如果您的作业设计循环逻辑，可以考虑使用这两类DataWorks通用节点。for-each节点 DataWorks的for-each节点主要用于有循环遍历的场景，且需要与 ...
在容器组中使用保密字典
使用保密字典配置Pod数据卷 以下两种配置方法您可任选其一进行配置。通过命令行配置 保密字典可以在Pod中作为文件使用。如示例所示，secret-test保密字典的username和password以文件方式保存在/srt 目录下。创建并复制以下内容到 example0....
在容器组中使用保密字典
使用保密字典配置Pod数据卷 以下两种配置方法您可任选其一进行配置。通过命令行配置 保密字典可以在Pod中作为文件使用。如示例所示，secret-test保密字典的username和password以文件方式保存在/srt 目录下。创建并复制以下内容到 example0....
在容器组中使用保密字典
使用保密字典配置Pod数据卷 以下两种配置方法您可任选其一进行配置。通过命令行配置 保密字典可以在Pod中作为文件使用。如示例所示，secret-test保密字典的username和password以文件方式保存在/srt 目录下。创建并复制以下内容到 example0....
for-each节点逻辑原理介绍
DataWorks为您提供遍历节点（for-each节点），您可以通过for-each节点来循环遍历赋值节点传递的结果集。同时您也可以重新编排for-each节点内部的业务流程。本文为您介绍for-each节点的组成与应用逻辑。使用说明 您可通过以下内容了解遍历...
通过ASM实现gRPC链路追踪
metadata=call.metadata.getMap()metadata.add(key,headers[key])使用Python语言通过客户端发送Headers实现基本方法。metadata_dict={} 变量填充 metadata_dict[c.key]=c.value，最终转为 list tuple 类型 list(metadata_dict.items())。...
通过ASM实现gRPC链路追踪
metadata=call.metadata.getMap()metadata.add(key,headers[key])使用Python语言通过客户端发送Headers实现基本方法。metadata_dict={} 变量填充 metadata_dict[c.key]=c.value，最终转为 list tuple 类型 list(metadata_dict.items())。...
Python 3 UDTF
返回值为GENERATOR类型，调用者以遍历方式获取表的内容，每次遍历可得到以数组形式存在的表中的一条记录。引用文件资源和表资源的代码示例如下。from odps.udf import annotate from odps.udf import BaseUDTF from odps.distcache import ...
模型优化
对于模型的优化，我们提供如下几个建议：如果您的数据集不大(例如仅几百条)，建议调整遍历次数（例如调整到10或者20次），使模型得到更充分的训练。换一个不同模型试试。不同的模型架构在不同的任务上表现可能不同，如果您发现LSTM+CRF ...
请求处理程序（Handler）
对Python语言的 FC 函数而言，您的请求处理程序格式为 文件名.方法名。例如，您的文件名为 main.py，方法名为 handler，则请求处理程序为 main.handler。关于 FC 函数的具体定义和相关操作，请参见 管理函数。配置说明 请求处理程序的具体...
字典类型相关函数
outer,'dictA')if v { v=get(v,'name')if v { add_rsp_header('X-DSL-NESTED-DICT',v)} } 输出：X-DSL-NESTED-DICT:inner ascript foreach 项目 描述 语法 foreach(d,f,user_data)说明 遍历字典d中的元素，依次回调函数f。f原型要求为 f...
Python 3 UDAF
返回值为GENERATOR类型，调用者以遍历方式获取表的内容，每次遍历可得到以数组形式存在的表中的一条记录。具体使用方法请参见 引用资源（Python UDF 3）和 引用资源（Python UDTF 3）。使用说明 按照 开发流程，完成Python 3 UDAF开发后，...
开发PyODPS 2任务
PyODPS节点分为PyODPS 2和PyODPS 3两种，二者的区别在于底层Python语言版本不同。PyODPS 2底层Python语言版本为Python 2，PyODPS 3底层Python语言版本为Python 3，请您根据实际使用的Python语言版本创建PyODPS节点。使用限制 DataWorks建议...
UDAF概述
MaxCompute支持您通过Java、Python语言编写代码创建UDAF，扩展MaxCompute的函数能力，满足个性化业务需求。本文为您介绍UDAF类型、使用限制、注意事项、开发流程及使用说明等信息。背景信息 UDAF为用户自定义聚合函数，适用于多进一出业务...
UDTF概述
MaxCompute支持您通过Java、Python语言编写代码创建UDTF，扩展MaxCompute的函数能力，满足个性化业务需求。本文为您介绍UDTF类型、使用限制、注意事项、开发流程及使用说明等信息。背景信息 UDTF为用户自定义表值函数，适用于一进多出业务...
开发PyODPS 3任务
PyODPS节点分为PyODPS 2和PyODPS 3两种，二者的区别在于底层Python语言版本不同。PyODPS 2底层Python语言版本为Python 2，PyODPS 3底层Python语言版本为Python 3，请您根据实际使用的Python语言版本创建PyODPS节点。若通过PyODPS节点执行...
开发PyODPS 2任务
PyODPS节点分为PyODPS 2和PyODPS 3两种，二者的区别在于底层Python语言版本不同。PyODPS 2底层Python语言版本为Python 2，PyODPS 3底层Python语言版本为Python 3，请您根据实际使用的Python语言版本创建PyODPS节点。若通过PyODPS节点执行...
开发PyODPS 3任务
PyODPS节点分为PyODPS 2和PyODPS 3两种，二者的区别在于底层Python语言版本不同。PyODPS 2底层Python语言版本为Python 2，PyODPS 3底层Python语言版本为Python 3，请您根据实际使用的Python语言版本创建PyODPS节点。若通过PyODPS节点执行...
列运算
同时，两种集合均有 explode 方法，用于展开集合中的内容。对于List，explode 默认返回一列，当传入参数 pos 时，将返回两列，其中一列为值在数组中的编号（类似Python的 enumerate 函数）。对于Dict，explode 会返回两列，分别表示keys及...
在PyODPS节点中调用第三方包
PyODPS节点分为PyODPS 2和PyODPS 3两种，二者的区别在于底层Python语言版本不同。PyODPS 2底层Python语言版本为Python 2，PyODPS 3底层Python语言版本为Python 3，请您根据实际使用的Python语言版本创建PyODPS节点。更多创建PyODPS节点信息...
UDF示例：获取字符串（含分隔符）Value
本文为您介绍如何分别通过Java UDF和Python UDF实现获取键值对字符串中指定Key对应的Value值，其中Key或Value本身含有二级分隔符。命令说明 本示例将注册一个名称为 UDF_EXTRACT_KEY_VALUE_WITH_SPLIT 的自定义函数，下面对命令格式和入参...
VPC高速直连调用
调用方式 为方便用户调用服务，EAS 提供了以下两种方式实现VPC高速直连调用：使用官方SDK调用 EAS 封装了调用逻辑并提供了Python SDK、Java SDK和Golang SDK的调用方法，您可以直接使用SDK实现VPC高速直连调用。自行实现调用逻辑 推荐使用...
赋值节点
赋值节点支持ODPS SQL、SHELL和Python三种赋值语言，将节点最后一条查询或输出结果自动赋值给节点自带的输出参数（outputs），便于赋值节点的下游节点引用。您可结合节点上下文配置，参考本文使用赋值节点。注意事项 部分节点可通过节点...
Python SDK示例：Table
print(partition.name)#具体的遍历步骤，这里是打印分区名 for partition in table.iterate_partitions(spec='dt>20230119'):#遍历 dt>20230119 分区下的二级分区 print(partition.name)#具体的遍历步骤，这里是打印分区名 重要 PyODPS自0....
Python前言
从5.2.0开始默认返回结果为SearchResponse对象，SearchResponse已实现_iter_方法，支持遍历；如果需要返回Tuple类型的结果，请使用 SearchResponse.v1_response()方法实现。新增ParallelScan接口。默认返回结果为ParallelScanResponse对象...
Python 2 UDTF
返回值为GENERATOR类型，调用者以遍历方式获取表的内容，每次遍历可得到以数组形式存在的表中的一条记录。引用文件资源和表资源的代码示例如下。coding:utf-8-*-from odps.udf import annotate from odps.udf import BaseUDTF from odps....
UDF开发（Python3）
返回值为Generator类型，调用者通过遍历获取表的内容，每次遍历得到的是以数组形式存在的表中的一条记录。引用表资源示例如下。from odps.udf import annotate from odps.distcache import get_cache_table@annotate('->string')class ...
MaxCompute UDF（Python）常见问题
本文为您介绍使用Python语言编写的MaxCompute UDF的常见问题。类或资源问题 调用MaxCompute UDF运行代码时的常见类或资源问题如下：问题现象一：运行报错描述为 function 'xxx' cannot be resolved。产生原因：原因一：调用MaxCompute UDF...
Python 2 UDAF
返回值为GENERATOR类型，调用者以遍历方式获取表的内容，每次遍历可得到以数组形式存在的表中的一条记录。具体使用方法请参见 引用资源（Python UDF 2）和 引用资源（Python UDTF 2）。使用说明 按照 开发流程，完成Python 2 UDAF开发后，...
模型训练
训练时间说明 模型的训练时间受到好几方面的影响，比如所选的模型架构，设置的遍历次数，还有数据量的大小等。对于模型架构，fasttext长文本分类融合模型。遍历次数一般与训练时间成正比，也就是说 10 次的时间会是 5 次的两倍。为了节省...
通过Python SDK开发Spark应用
说明 配置Spark日志存储地址的两种方法如下：在 AnalyticDB MySQL 控制台的 Spark Jar开发 页面，单击页面右上角的 日志配置，设置Spark日志的存储地址。使用配置项 spark.app.log.rootPath 指定一个OSS路径来存储Spark作业的执行日志。...
UDF开发（Python2）
返回值为GENERATOR类型，调用者以遍历方式获取表的内容，每次遍历可得到以数组形式存在的表中的一条记录。引用表资源示例如下。from odps.udf import annotate from odps.distcache import get_cache_table@annotate('->string')class ...
语言简介
SLS DSL基于Python语言开发，提供两百多个内置函数来简化数据加工任务。自由编排 通过SLS DSL自由编辑函数，对各种逻辑进行复杂组合，可以满足大部分数据加工场景。例如，可以自由编排完成如下场景：动态分发 支持根据业务需求，将数据按照...
集成SDK
本文将以 Python 语言调用 短信服务 SMS（Short Message Service）的发送短信接口为例，讲解完整的集成步骤。环境要求 Python版本>=3.0。第一步：设置访问凭据 调用阿里云OpenAPI通常需要设置访问密钥（AccessKey），详情参见 凭据。为了...
创建并使用自定义函数
DataWorks创建自定义函数时支持使用JAR及Python两种类型的MaxCompute资源，不同类型资源的类名配置如下：当资源类型为JAR时，配置的 类名 格式为 Java包名称.实际类名，您可以在IDEA中通过 copy reference 语句获取。例如，...
Python SDK常见问题
使用PyODPS向表写入数据的两种方式open_writer()和write_table()有什么区别？为什么DataWorks PyODPS节点上查出的数据量要少于本地运行的结果？DataFrame如何获得Count实际数字？使用PyODPS时，报错sourceIP is not in the white list，...
配置实例生命周期
codeUri:'./code.zip'.instanceLifecycleConfig:preStop:handler:""timeout:60 不同语言运行时实现函数实例生命周期回调的方法请参见 函数实例生命周期回调方法。通过SDK配置回调 您可以通过SDK部署和更新扩展函数。本文介绍如何获取在创建...
PyODPS常见问题
使用PyODPS向表写入数据的两种方式open_writer()和write_table()有什么区别？为什么DataWorks PyODPS节点上查出的数据量要少于本地运行的结果？DataFrame如何获得Count实际数字？使用PyODPS时，报错sourceIP is not in the white list，...
常见问题
您可以通过以下两种方式修改Python的版本：临时生效方式 通过SSH方式登录集群，详情请参见 登录集群。执行以下命令，修改Python的版本。export PYSPARK_PYTHON=usr/bin/python3 执行以下命令，查看Python的版本。pyspark 当返回信息中包含...
Python SDK
本文介绍如何使用阿里云智能语音服务提供的Python SDK，包括SDK的安装方法及SDK代码示例。前提条件 在使用SDK前，请先阅读接口说明，详情请参见 接口说明。下载安装 说明 SDK仅支持Python3，暂不支持Python2。请确认已安装Python包管理工具...
- 产品推荐
- 这些文档可能帮助您