使用Python开发自定义Processor
您可以使用Python开发自定义Processor文件，结合模型文件在本地调试后分别上传至OSS，在部署服务时挂载使用。本文为您介绍使用Python开发自定义Processor的详细步骤。背景信息 说明 建议将模型文件和Processor的实现分开，这样在将来需要...
请求处理程序（Handler）
对Python语言的 FC 函数而言，您的请求处理程序格式为 文件名.方法名。例如，您的文件名为 main.py，方法名为 handler，则请求处理程序为 main.handler。关于 FC 函数的具体定义和相关操作，请参见 管理函数。请求处理程序的具体配置均需...
Flink
PyFlink(%flink.pyflink)PyFlink是Flink on Zeppelin上Python语言的入口，Flink Interpreter内部会创建Python Shell。Python Shell内部会创建Flink的各种Environment，但是PyFlink里的各种Environment变量对应的Java变量都是Scala Shell...
赋值节点
赋值节点支持ODPS SQL、SHELL和Python三种赋值语言，使用不同赋值语言时，赋值节点的参数（outputs）输出格式不同，下游节点需要根据outputs的具体情况，以${参数名} 的格式，使用 一维数组 或 二维数组 的方式在代码中获取赋值节点传递的...
使用Python SDK上传文件
本文通过示例详细介绍如何使用服务端上传SDK（Python语言）将各类媒体文件上传至点播存储。整体说明 从内部逻辑角度看，Python上传SDK遵循点播服务端SDK的通用流程。详情请参见 上传流程。从操作角度看，使用Python上传SDK的基础流程如下：...
PyODPS使用第三方包
示例 下面以实现scipy中的psi函数为例，为您介绍如何在Python UDF中使用三方包。使用以下命令打包scipy。pyodps-pack-o scipy-bundle.tar.gz scipy 编写以下代码，并将其保存为 test_psi_udf.py。import sys from odps.udf import annotate...
查询可用的变配资源
本文通过阿里云ECS Python SDK调用DescribeResourcesModification查询变更ECS实例配置时的可用规格资源列表，使用的Python语言为2.7版本。适用于作为升降配ECS实例规格操作的准备工作。前提条件 请确保您已获取了AccessKey和资源所属的地域...
使用MaxCompute分析IP来源最佳实践
说明 如果您需要使用自己的IP地址，请自行下载IP地址库，具体的下载地址和使用方式请参见 MaxCompute中实现IP地址归属地转换。上传IP地址库数据 在MaxCompute客户端执行如下语句，创建表 ipresource 存放IP地址库数据。DROP TABLE IF ...
使用MaxCompute分析IP来源最佳实践
说明 如果您需要使用自己的IP地址，请自行下载IP地址库，具体的下载地址和使用方式请参见 MaxCompute中实现IP地址归属地转换。上传IP地址库数据 在MaxCompute客户端执行如下语句，创建表 ipresource 存放IP地址库数据。DROP TABLE IF ...
GetLogsV2
使用过程中注意指定压缩方法，不同语言实现的压缩算法不同，详情参考入参Accept-Encoding。更多相关说明请参见 GetLogs。鉴权资源 下表列出了API对应的授权信息。您可以在RAM权限策略语句的Action元素中添加该信息，用于为RAM用户或RAM角色...
UDF示例：Python UDF使用第三方包
MaxCompute支持您在Python UDF中引用第三方包，例如Numpy包、需要编译的第三方包或依赖动态链接库的第三方包。本文为您介绍如何通过Python UDF引用第三方包。背景信息 通过Python UDF使用第三方包支持的场景如下：使用Numpy包（Python 3 ...
ALIYUN:FC:Function
取值：true（默认值）：表示需要在容器镜像中实现Web Server来监听端口并处理请求。false：表示需要容器运行后主动退出进程，并且ExitCode需要为0。AsyncConfiguration语法"AsyncConfiguration":{"Destination":Map"MaxAsyncRetryAttempts...
PySpark开发示例
spark.executorEnv.PYTHONPATH=.spark.yarn.appMasterEnv.PYTHONPATH=.-指定需要引用的资源 spark.hadoop.odps.cupid.resources=public.python-2.7.13-ucs4.tar.gz spark.pyspark.python=./public.python-2.7.13-ucs4.tar.gz/python-2.7.13...
求解器用户手册
Linux以及macOS下，假设用户根据安装文档将MindOpt安装到环境变量$MINDOPT_HOME指定目录：mindopt$MINDOPT_HOME/examples/data/afiro.mps Windows下 mindopt%MINDOPT_HOME%\examples\data\afiro.mps C/C++/C#Java/Python语言调用示例：说明...
正排索引特性
多值排重 可以在schema配置中，将多值正排字段配置为去重正排索引，引擎会通过将doc的正排字段取值进行Hash的方式，将值相同的doc对应的值存储在同一地址，从而达到共用存储空间，存储去重的目的。去重的效果依赖于字段的取值情况。单值正...
正排索引特性
多值排重 可以在schema配置中，将多值正排字段配置为去重正排索引，引擎会通过将doc的正排字段取值进行Hash的方式，将值相同的doc对应的值存储在同一地址，从而达到共用存储空间，存储去重的目的。去重的效果依赖于字段的取值情况。单值正...
Web函数
本文介绍Custom Runtime中函数调用的方式、使用限制及代码示例。背景信息 Custom Runtime支持托管用户的HTTP Server，并将函数调用的请求转换为HTTP请求发送到HTTP Server，将HTTP Server的响应转换为函数调用的响应返回给Client。过程示意...
服务编排功能介绍
{"return1":"$.data.rows.user_id","return2":"$.data.rows.user_name"} Python节点的请求参数 单击Python节点，在 请求参数 编辑栏中，输入请求参数的内容。Python节点的返回参数 单击Python节点，在面板中勾选 设置输出结果，并使用JSON...
精确查询
TermQuery采用完整精确匹配的方式查询表中的数据，类似于字符串匹配。对于Text类型字段，只要分词后有词条可以精确匹配即可。接口 精确查询的接口为Search或者ParallelScan，具体的Query类型为TermQuery。使用 您可以使用如下语言的SDK实现...
Python SDK示例：SQL
本文为您介绍Python SDK中执行SQL命令相关的典型场景操作示例。注意事项 PyODPS支持MaxCompute SQL查询，并可以读取执行的结果，使用时有以下注意事项。入口对象的 execute_sql('statement')和 run_sql('statement')方法可以执行SQL语句，...
K8s任务
Python脚本 如果想通过Pod运行Python脚本，不需要自己构建镜像，只需要在任务管理创建一个K8s任务，资源类型选择Python-Script，镜像默认是Python（也可以替换为自己的镜像）。单击 运行一次，在Kubernetes集群中可以看到Pod启动，Pod名称...
K8s任务
Python脚本 如果想通过Pod运行Python脚本，不需要自己构建镜像，只需要在任务管理创建一个K8s任务，资源类型选择Python-Script，镜像默认是Python（也可以替换为自己的镜像）。单击 运行一次，在Kubernetes集群中可以看到Pod启动，Pod名称...
什么是EMR Notebook
通过EMR Notebook可以完成对SQL、Python、Markdown等多种语言程序的代码的编写、调试和执行。公测说明 详细信息，请参见 EMR Notebook公测说明。产品优势 EMR Notebook可以为大数据用户带来全新的数据分析和数据开发体验。统一平台 EMR ...
UDF示例：复杂数据类型
本文为您介绍如何在Java UDF和Python UDF中使用复杂数据类型。命令说明 本示例将注册一个名称为 UDF_COMPLEX_DATA 的自定义函数。说明 本示例将介绍array、map、struct三种复杂数据类型的使用。Java UDF通过重载的方式使用同一个自定义函数...
DescribeEmgVulItem-查询应急漏洞信息
操作 访问级别 资源类型 条件关键字 关联操作 yundun-sas:DescribeEmgVulItem Read 全部资源 acs:yundun-sas:*:{#accountId}:*无 无 请求参数 名称 类型 必填 描述 示例值 Lang string 否 指定请求和接收消息的语言类型，默认值为 zh。...
排序和翻页
使用多元索引查询数据时，通过预先定义排序方式或者查询时指定排序方式，您可以按照指定排列方式获取到返回数据。当返回结果行数较多时，通过使用跳转翻页或者连续翻页可以快速定位到所需数据。使用场景 分类 使用方式 功能 使用场景 排序 ...
0002-00000103
示例中键值对 AdditionalHeadershost 中的key（AdditionalHeaders）与value（host）之间缺少冒号。解决方案 确保V2版本签名请求中的 Authorization 字段格式符合以上要求，示例如下：GET/oss.jpg ...
专属KMS Python SDK
专属KMS SDK for Python帮助您通过简单的编程访问专属KMS的API，实现加密解密、签名验签和获取凭据信息的业务诉求。背景信息 如果您使用Python3访问专属KMS SDK，可以查看 Python3开源代码仓库。如果您使用Python2访问专属KMS SDK，可以...
专属KMS Python SDK
专属KMS SDK for Python帮助您通过简单的编程访问专属KMS的API，实现加密解密、签名验签和获取凭据信息的业务诉求。背景信息 如果您使用Python3访问专属KMS SDK，可以查看 Python3开源代码仓库。如果您使用Python2访问专属KMS SDK，可以...
通信消息相关问题
类目 问题 上下行消息 设备重复收到消息，如何去重？设备使用MQTT协议接入物联网平台后，接收不到通信数据，怎么办？物联网平台发送消息比较慢，存在超时情况，为什么？物联网平台支持遗嘱消息和保留消息吗？为什么发送QoS 2消息失败？如何...
使用Hologres和大模型免费定制专属聊天机器人
你是如何实现的、架构是怎样的 我采用Langchain框架进行开发，Langchain是一个简单易用的python大语言模型开发框架，其中集成封装了很多实用工具。我的后端采用Hologres进行向量数据存储，可以存储大量文本以及向量数据并进行快速向量近似...
匹配查询
MatchQuery采用近似匹配的方式查询表中的数据。对Text类型的列值和查询关键词会先按照设置好的分词器做切分，然后按照切分好后的词去查询。对于进行模糊分词的列，建议使用MatchPhraseQuery实现高性能的模糊查询。场景 匹配查询一般应用于...
Python SDK示例：Table
本文为您介绍Python SDK中表相关的典型场景操作示例。列出所有表 通过调用入口对象的 list_tables()方法可以列出项目空间下的所有表。for table in odps.list_tables():#处理每张表。判断表是否存在 通过调用入口对象的 exist_table()方法...
Airflow调度Spark
Airflow是比较流行的开源调度工具，可以实现各类工作负载的DAG编排与调度。您可以通过 AnalyticDB MySQL Spark Airflow Operator、Spark-Submit命令行工具来实现Airflow调度Spark任务。本文介绍如何通过Airflow调度 AnalyticDB MySQL Spark...
使用自定义函数及Python第三方库
本文为您介绍如何使用自定义函数及Python第三方库。使用自定义函数 DataFrame函数支持对Sequence使用 map，它会对它的每个元素调用自定义函数。iris.sepallength.map(lambda x:x+1).head(5)sepallength 0 6.1 1 5.9 2 5.7 3 5.6 4 6.0 说明...
公网地址调用
EAS支持使用通用公网对服务进行公网地址调用，通用公网调用又包括使用官方的Python SDK、Java SDK及自行实现调用逻辑三种方式。本文介绍详细介绍每种调用方式的实现方法。通用公网调用 在PAI-EAS部署模型服务后，系统会自动生成一个公网...
镜像管理
内置镜像说明 功能分类 镜像名称 内置三方包及版本信息 编程语言及版本 说明 科学计算 numpy numpy 1.21.6 Python 3.7 数值计算 scipy scipy 1.7.3 Python 3.7 科学计算 数据分析 pandas pandas 1.3.5 Python 3.7 数据处理与分析 统计建模 ...
自定义标量函数（UDSF）
Flink Python自定义函数示例中包含了Python UDSF、Python UDAF和Python UDTF的实现。本文以Windows操作系统为例，为您介绍如何进行UDSF开发。下载并解压 python_demo-master 示例到本地。说明 python_demo-master 属于第三方搭建的网站，...
自定义Python脚本
Python脚本组件支持直接在画布上随拖随写代码、定义输入输出字段，形成一个代码黑盒。本文为您介绍如何自定义Python脚本算法组件。使用流程说明 在 实时算法编排 的画布中，将Python脚本组件从左侧 平台组件>自定义 列表中拖入画布编辑区。...
Python SDK
本文介绍如何使用智能语音交互一句话识别的Python SDK，包括SDK的安装方法及SDK代码示例等。前提条件 在使用SDK前，请先阅读接口说明，详情请参见 接口说明。SDK仅支持Python3，暂不支持Python2。已安装Python包管理工具setuptools。如果未...
- 产品推荐
- 这些文档可能帮助您