UDF开发（Python2）
UDF代码结构 您可以通过 MaxCompute Studio 工具使用Python 2语言编写UDF代码，代码中需要包含如下信息：编码声明：可选。固定声明格式为#coding:utf-8 或#-*-coding:utf-8-*-，二者等效。当Python 2代码中出现中文字符时，运行程序会报错...
API概览
我们已经为开发者封装了常见编程语言的SDK，开发者可通过 下载SDK 直接调用本产品OpenAPI而无需关心技术细节。如果现有SDK不能满足使用需求，可通过签名机制进行自签名对接。由于自签名细节非常复杂，需花费 5个工作日左右。因此建议加入...
OSS有哪些批量操作？
对象存储OSS提供丰富的访问和管理文件（Object）的方式，为提升操作效率，您可以参照本文所示的方法批量管理文件，例如批量上传、下载、复制、删除文件等。批量上传 您可以使用以下方法，批量上传文件：ossimport工具 支持从服务器本地、第...
Python SDK常见问题
x,df.from_y,df.to_x,df.to_y).rename('distance')distance 0 0.392670 1 0.625334 2 0.193841 3 0.658966 4 0.131577 5 0.537088 6 0.114198 7 0.575175 8 0.702558 9 0.132617 利用Python语言的条件和循环语句。如果用户要计算的表保存在...
API概览
BatchIndexFileMeta 批量文件元信息建立索引 批量索引文件元信息，对输入的文件进行数据处理如标签识别、人脸检测、地点检测等，并将文件元信息索引到数据集内，支持多样化的数据检索。UpdateFileMeta 更新文件元数据 更新数据集内已索引的...
访问实例
批量计算固定集群申请的实例信息默认不支持公网访问能力，若希望能够登录到机器做操作做些操作可以通过以下途径，临时访问方式和生产访问形式；临时访问支持做些简单的操作、如问题debug等；若存在数据拷贝则无法通过临时方案，需要走生产...
环境说明
本文介绍在 函数计算 中使用Custom Runtime编写函数的运行环境信息。背景信息 Custom Runtime是自定义运行环境。基于Custom Runtime，您可以打造您的专属运行环境。定制个性化语言，例如Rust。定制编程语言指定版本的运行环境，例如Node.js...
环境说明
本文介绍在 函数计算 中使用Custom Runtime编写函数的运行环境信息。背景信息 Custom Runtime是自定义运行环境。基于Custom Runtime，您可以打造您的专属运行环境。定制个性化语言，例如Rust。定制编程语言指定版本的运行环境，例如Node.js...
语法简介
SLS DSL基于Python语言开发，提供两百多个内置函数来简化数据加工任务。本文介绍DSL的语言模式、分类和运行原理等。语言模式 SLS DSL兼容Python，标准模式下，SLS DSL可视为Python的子集。除基本的数据结构与表达方式外，语法规则是以函数...
使用Python SDK上传文件
本文通过示例详细介绍如何使用服务端上传SDK（Python语言）将各类媒体文件上传至点播存储。整体说明 从内部逻辑角度看，Python上传SDK遵循点播服务端SDK的通用流程。详情请参见 上传流程。从操作角度看，使用Python上传SDK的基础流程如下：...
字段值提取函数
本文介绍字段值提取函数的语法规则，包括参数解释、函数示例等。函数列表 类型 函数 说明 正则提取 e_regex 根据正则表达式提取字段的值并赋值给其他字段。支持和其他函数组合使用。相关示例，请参见 解析Java报错日志。JSON提取 e_json 对...
数据科学计算概述
背景信息 Python作为目前机器学习、AI模型开发的主流编程语言，提供了如NumPy、SciPy、Scikit-Learn、Matplotlib等丰富的科学计算、可视化库，用于数据科学和数据分析。同时支持TensorFlow、PyTorch、XGBoost、LightGBM等丰富的训练框架。...
导出开源引擎任务
Python节点：DataWorks没有单独的Python节点，Python节点目前是转换为Python文件资源和一个调用该Python资源的Shell节点，调度参数传递可能存在问题，您需自行调试检查。调度参数介绍，详情请参见 调度参数配置。Depend节点：暂不支持转换...
API概览
我们已经为开发者封装了常见编程语言的SDK，开发者可通过 下载SDK 直接调用本产品OpenAPI而无需关心技术细节。如果现有SDK不能满足使用需求，可通过签名机制进行自签名对接。由于自签名细节非常复杂，需花费 5个工作日左右。因此建议加入...
NAS挂载
目前，批量计算的用户也可以在API和SDK中通过配置用户NAS相关信息使用阿里云NAS服务。1.相关概念 说明 从安全、性能以及便捷性来考虑，目前批量计算仅支持在专有网络中使用阿里云NAS，以下是专有网络和阿里云NAS的一些基本概念：专有网络...
MaxCompute UDF（Python）常见问题
本文为您介绍使用Python语言编写的MaxCompute UDF的常见问题。类或资源问题 调用MaxCompute UDF运行代码时的常见类或资源问题如下：问题现象一：运行报错描述为 function 'xxx' cannot be resolved。产生原因：原因一：调用MaxCompute UDF...
新旧版本使用指引
GetProject-获取项目信息 GetProject-获取项目的信息 UpdateProject-更新项目 UpdateProject-更新项目的CU或服务角色信息 ListProjects-列出所有项目信息的列表 ListProjects-列出已创建的所有项目信息 DeleteProject-删除项目 ...
部署作业
假如您的Python作业文件名为word_count.py，则Entrypoint main args需要填写为-py/flink/usrlib/word_count.py。Python作业文件的路径需要填写为完整路径，/flink/usrlib/不能省略，且不能更改。附加依赖文件（推荐）选择您已上传的目标...
Flink Python作业快速入门
Python 部署模式 请选择部署为流模式或批模式。流模式 部署名称 填写对应的Python作业名称。flink-streaming-test-python 引擎版本 当前作业使用的Flink的引擎版本。引擎版本号含义、版本对应关系和生命周期重要时间点详情请参见 引擎版本...
视频点播VOD的审计事件
DeleteMezzanines 批量删除源文件信息及存储。DeleteMultipartUpload 立即删除上传中产生的碎片文件。DeleteStorage 删除存储地址。DeleteStream 删除媒体流（视频流、音频流）。DeleteTranscodeTemplateGroup 删除转码配置信息。...
Dataphin PyODPS
Dataphin PyODPS是基于MaxCompute PyODPS开发的Dataphin Python版本的SDK。在Dataphin中使用Python时，您可以使用Dataphin PyODPS安全地访问Dataphin项目内存储在MaxCompute的数据。背景信息 Dataphin PyODPS依赖于MaxCompute的 PyODPS。...
Dataphin PyODPS
Dataphin PyODPS是基于MaxCompute PyODPS开发的Dataphin Python版本的SDK。在Dataphin中使用Python时，您可以使用Dataphin PyODPS安全地访问Dataphin项目内存储在MaxCompute的数据。背景信息 Dataphin PyODPS依赖于MaxCompute的 PyODPS。...
数据开发与运行
DataWorks不支持对业务流程配置调度信息，对于业务流程内的节点，您无法批量配置调度信息，只能逐个配置节点的调度信息。例如，一个业务流程中包含20个节点，您只能为每个节点逐个配置调度信息。节点被删除，实例是否受影响？调度系统每天...
获取批量计算Metrics
本文主要介绍批量计算metrics统计项以及获取方式。批量计算对外的资源主要表现在集群和作业两个维度，因此metrics统计也从以上2个维度展现。集群 Metrics Metrics 项目 集群对外提供的 Metrics 统计项包括如下：统计项 名称 单位 聚合统计...
概述
实时计算Flink版支持在Flink SQL作业中使用Python自定义函数，本文为您介绍Flink Python自定义函数的分类、Python依赖使用方法和能调优方式。自定义函数分类 分类 描述 UDSF（User Defined Scalar Function）用户自定义标量值函数，将0个、...
AttachCluster最佳实践
0 背景 AttachCluster作业是批量计算最新推出的 作业类型。它结合了固定集群作业和AutoCluster作业的优势，既能自动管理集群生命周期，弹性伸缩资源，又能使用分布式缓存节省资源。本文的目的在于介绍在阿里云批量计算服务上运行...
数据脱敏
当数据出现泄露时，管理员可以在获取到泄露的数据后，通过提取水印，将数据中的备注信息提取出来，就可以定位到泄漏数据的是员工A。水印使用限制详情，请参见 水印使用限制。设置敏感数据要移动的目标位置，测试 写入权限，并单击 下一步。...
URL批量拉取上传
说明 URL批量拉取上传是异步任务，非实时，不保证时效性，一般提交后会在数小时、甚至数天内完成迁移上传。如果对时效性要求较高，建议使用上传SDK上传。推荐集成点播服务端SDK后调用点播的 URL拉取上传 接口完成上传。开发语言 调用参考 ...
应用场景
办公场景 实时会议记录：线上、线下会议使用通义听悟实时呈现多语言字幕；会后检索关键内容，可结合录音反复听取其中含义。完整会议录音和语音转文字结果，保证会议内容不被遗漏；音频与转写结果逐字对应，确保纪要撰写理解正确。待办事项...
SDK使用指南
本文介绍了数据可视化分析Quick BI提供的SDK语言版本，列举了最新版本SDK的获取地址。SDK概览 简介 数据可视化分析Quick BI SDK封装了API，以访问密钥（AccessKey）识别调用者身份，提供自动签名等功能，方便您通过API创建和管理资源。实现...
SGE集群1.1版本
批量计算支持自动化搭建 Sun Grid Engine（SGE）集群。批量计算使用的是 CentOS 自带的 SGE 版本，请参考 SGE。批量计算提供了名为 BatchCompute SGE 的公共镜像，使用该镜像可快速、可靠的构建 SGE 集群，具体的流程如下：请在 云市场 ...
客户信息管理
功能概述 客户信息管理是指对客户的基本信息、交流记录、服务需求、工单等进行记录、分类、分析和管理的过程。功能入口 您可以按照下图提示进入到具体的 客户信息管理 界面。功能操作 添加客户 点击“添加客户”按钮，输入系统默认的字段...
API概览
DescribeContainerLog 获取容器日志信息 调用DescribeContainerLog获取容器组内某个容器的日志信息。CommitContainer 创建CommitContainer任务 调用CommitContainer接口创建异步任务，将ECI实例中的指定容器保存为镜像，并推送至阿里云ACR...
Cromwell 工作流引擎支持
Cromwell 是 Broad Institute 开发的工作流管理系统，当前已获得 阿里云批量计算服务 的支持。通过 Cromwell 可以将 WDL 描述的 workflow 转化为批量计算的作业（Job）运行。用户将为作业运行时实际消耗的计算和存储资源付费，不需要支付...
PyODPS概述
示例场景 用户需要通过分析每天产生的日志字符串来提取一些信息，有一个只有一列的表，类型是string，通过jieba分词可以将中文语句分词，然后再找到想要的关键词存储到信息表里。低效处理代码demo import jieba t=o.get_table('word_split'...
概述
通过Holo Client读写数据 Python Python是一种高级编程语言，由于其简洁易读的语法和丰富的第三方库生态系统，在数据分析领域被广泛应用。使用Python访问Hologres DataGrip DataGrip是一个多连接数据库开发工具，可让您在一个应用程序中...
数据开发常见问题
MaxCompute引擎 开发相关：SQL：SQL常见问题 内建函数：内建函数常见问题 UDF：MaxCompute UDF（Java）常见问题、MaxCompute UDF（Python）常见问题 MapReduce：MapReduce常见问题 Pyodps：PyODPS是否支持调用自定义函数来使用第三方包？...
准备环境
在使用Python SDK收发消息前，您需按照本文提供的内容来准备环境。环境要求 安装Python。更多信息，请参见 安装...安装完成后，您可以执行 python-V 命令查看Python语言版本。安装SDK 执行以下命令，安装Python SDK。pip install mq_http_sdk
部署Node.js、Python、PHP应用至SAE
SAE支持如Node.js、Python、PHP等多种编程语言开发的应用，如果您的Node.js应用、Python应用或者PHP应用等想要部署到SAE，那么您可以使用云效部署。本文介绍如何使用云效部署应用至SAE。前提条件 注册阿里云账号 将业务代码上传至阿里云...
云速搭API模板实现应用架构批量部署
查询应用信息 python3 getApplication.py {application-id} 在部署服务器执行以下命令，通过模板批量创建应用。python3 createAppliationFromTemplate.py XPQE4N36BLZMOWTB 根据脚本配置，这里批量创建了10个应用：记录以上输出结果的应用...
- 产品推荐
- 这些文档可能帮助您