机器学习
图计算模型相关算法如下表：类别 模型/功能 说明 最短路径 所有顶点之间最短路径 计算所有顶点之间的最短路径并保存到指定结果表，根据结果表查找任意起点到任意终点的最短路径。给定顶点到其他之间最短路径 计算给定顶点到其他顶点之间的...
机器学习（MADlib）
图计算模型相关算法如下表：类别 模型/功能 说明 最短路径 所有顶点之间最短路径 计算所有顶点之间的最短路径并保存到指定结果表，根据结果表查找任意起点到任意终点的最短路径。给定顶点到其他之间最短路径 计算给定顶点到其他顶点之间的...
智能负载均衡
什么是智能负载均衡 智能负载均衡表示为WAF实例配备至少三个不同地域的防护节点，以实现异地多节点自动容灾，同时通过智能DNS解析能力和Least-time回源算法，保证业务流量从接入防护节点到转发回源站服务器整个链路的路径和时延最短。...
性能优化
示例：推荐方案（将过滤属性限制在10~30内）g.V().hasLabel("person").has("age",P.gt(10).and(lt(30))).limit(5)普通方案 g.V().has("age",P.gt(10))查询最短路径 图数据库GDB采用DFS（深度优先搜索）策略实现最短路径，当您的业务中图...
图算法
支持选择多条边，对于部分可以用到边的权重字段的算法，可以选择边的权重字段，比如单源最短距离时可以用边的score字段表示边的长度，如果不选择权重字段，则边的长度默认为1 单源最短距离，需要填写的扩展参数为sourceIdLabel和...
多语言API访问
HBase增强版通过Thrift支持多语言访问。前提条件 已获取集群连接地址 查看集群连接地址。背景信息 Thrift1接口不支持权限认证，且单个Core节点支持的连接数为1000，请注意连接数。Thrift2只支持HTTPClient访问，并且需要添加用户名和密码。...
单源最短路径
单源最短路径使用Dijkstra算法，用于查找从一个起始节点到所有其他节点的最短路径。单源最短路径组件能够输出起始节点到其他关联节点的最短路径及其数量。配置组件 方法一：可视化方式 在Designer工作流页面添加 单源最短路径 组件，并在...
OSS SDK使用中常见问题的解决方法
Allow-Origin'”的错误 对象存储OSS使用Java实现签名Header上传的示例 OSS Java SDK的常见错误 Python 对象存储OSS使用Python语言实现签名Header上传的示例 使用Python操作OSS时出现“No module named oss2”报错 OSS Python SDK常见错误 ...
Python 3 UDTF
def process(self,arg):props=arg.split(',')for p in props:self.forward(p)说明 Python 2 UDTF与Python 3 UDTF区别在于底层Python语言版本不一致，请您根据对应版本语言支持的能力编写UDTF。使用限制 Python 3与Python 2不兼容。在您使用...
开发PyODPS 2任务
PyODPS 2底层Python语言版本为Python 2，PyODPS 3底层Python语言版本为Python 3，请您根据实际使用的Python语言版本创建PyODPS节点。使用限制 DataWorks建议您在PyODPS节点内获取到本地处理的数据不超过50 MB，该操作受限于DataWorks执行...
配置加密转换组件
针对上游输入的数据，可以选择加密算法和密钥，对敏感的字段进行加密，从而实现对敏感数据的保护。本文为您介绍如何配置加密转换组件。前提条件 已创建离线单条管道，详情请参见 通过离线单条管道配置集成任务。操作步骤 请参见 离线管道...
基于图算法实现金融风控
本文为您介绍如何基于图算法，实现金融风控。背景信息 图算法通常适用于关系网状的业务场景。与常规结构化数据不同，图算法将数据整理为首尾相连的关系图谱，需要考虑边和点。PAI提供了丰富的图算法组件，包括K-Core、最大联通子图及标签...
开发PyODPS 3任务
PyODPS 2底层Python语言版本为Python 2，PyODPS 3底层Python语言版本为Python 3，请您根据实际使用的Python语言版本创建PyODPS节点。若通过PyODPS节点执行SQL无法正常产生数据血缘关系，即数据血缘在数据地图无法正常展示，您可在任务代码...
开发PyODPS 3任务
PyODPS 2底层Python语言版本为Python 2，PyODPS 3底层Python语言版本为Python 3，请您根据实际使用的Python语言版本创建PyODPS节点。若通过PyODPS节点执行SQL无法正常产生数据血缘关系，即数据血缘在数据地图无法正常展示，您可在任务代码...
开发PyODPS 2任务
PyODPS 2底层Python语言版本为Python 2，PyODPS 3底层Python语言版本为Python 3，请您根据实际使用的Python语言版本创建PyODPS节点。若通过PyODPS节点执行SQL无法正常产生数据血缘关系，即数据血缘在数据地图无法正常展示，您可在任务代码...
Python 2 UDAF
json_locale、_lsprof math、_md5、_multibytecodec operator_random_sha256、_sha512、_sha、_struct、strop time unicodedata_weakref cPickle 沙箱限制了您的代码最多可向标准输出和标准错误输出写入数据的大小为20 KB，即 sys.stdout/...
Python 2 UDTF
json_locale、_lsprof math、_md5、_multibytecodec operator_random_sha256、_sha512、_sha、_struct、strop time unicodedata_weakref cPickle 沙箱限制了您的代码最多可向标准输出和标准错误输出写入数据的大小为20 KB，即 sys.stdout/...
配置解密转换组件
更多加密算法高级设置范围详情请参见 遮盖掩码安全算法示例。FPE保留格式加密（FF1）加密算法。参数 描述 解密区间 解密算法为 FPE保留格式加密（FF1）时，支持配置 解密区间。包括 指定区间 和 全部。指定区间：定义需要进行解密的字符...
UDF开发（Python2）
json_locale、_lsprof math、_md5、_multibytecodec operator_random_sha256、_sha512、_sha、_struct、strop time unicodedata_weakref cPickle 沙箱限制了您的代码最多可向标准输出和标准错误输出写入数据的大小为20 KB，即 sys.stdout/...
编写Graph
本文将以单源最短距离（Single Source Shortest Path，SSSP）算法为例，为您介绍如何提交Graph作业。前提条件 已安装并配置MaxCompute客户端。安装与配置MaxCompute客户端，详情请参见 MaxCompute客户端。已安装并配置MaxCompute Studio。...
SELECT TRANSFORM
返回结果如下：+-+-+|key|value|+-+-+|1|4|2|5|3|6|+-+-+调用Python脚本使用示例 准备Python文件，脚本文件名为 myplus.py，命令示例如下。usr/bin/env python import sys line=sys.stdin.readline()while line:token=line.split('\t')if...
SELECT TRANSFORM
返回结果如下：+-+-+|key|value|+-+-+|1|4|2|5|3|6|+-+-+调用Python脚本使用示例 准备Python文件，脚本文件名为 myplus.py，命令示例如下。usr/bin/env python import sys line=sys.stdin.readline()while line:token=line.split('\t')if...
MQTT连接签名示例
签名计算代码示例 若您不使用阿里云物联网平台的设备端SDK，本产品文档提供了使用开源的Paho MQTT库将设备接入物联网平台的代码示例，不同开发语言的相关代码示例及签名算法文件见下表。您可参考对应语言的签名计算代码，相关参数和使用的...
UDF示例：获取URL中指定位置的字符
本文为您介绍如何分别通过Java UDF和Python UDF实现获取URL中指定位置的字符。命令说明 本示例将注册一个名称为 UDF_GET_URL_CHAR 的自定义函数，下面对命令格式和入参进行说明。string UDF_GET_URL_CHAR(string,bigint)函数功能：该函数...
UDF示例：获取字符串（含分隔符）Value
本文为您介绍如何分别通过Java UDF和Python UDF实现获取键值对字符串中指定Key对应的Value值，其中Key或Value本身含有二级分隔符。命令说明 本示例将注册一个名称为 UDF_EXTRACT_KEY_VALUE_WITH_SPLIT 的自定义函数，下面对命令格式和入参...
配置加密转换组件
针对上游输入的数据，可以选择加密算法和密钥，对敏感的字段进行加密，从而实现对敏感数据的保护。本文为您介绍如何配置加密转换组件。前提条件 已创建离线单条管道，详情请参见 通过单条管道创建集成任务。操作步骤 请参见 离线管道组件...
UDF示例：获取字符串（不含分隔符）Value
本文为您介绍如何分别通过Java UDF和Python UDF实现获取不包含分隔符的键值对字符串中指定Key对应的Value值。命令说明 本示例将注册一个名称为 UDF_EXTRACT_KEY_VALUE 的自定义函数，下面对命令格式和入参进行说明。命令格式：string UDF_...
创建并使用自定义函数
如果MaxCompute提供的内建函数无法支撑您的业务实现，您可以通过编写代码逻辑创建自定义函数，满足您的业务需求。背景内容 UDF（User-Defined Function）指的是自定义函数，它允许用户根据自身需求编写特定的函数以扩展数据处理的功能。...
行业算法模型介绍
重要 算法实验功能仅对标准版实例开放。智能推荐根据不同的行业提供了归档的如下几类算法模型，您可以通过在线实验平台的实验参数配置针对性的进行开启或关闭以及具体算法子类型的优化。一、基于物品的协同过滤算法 协同过滤算法主要分为...
赋值节点
当您需要将上游节点任务的查询或输出结果提供给下游节点使用时，可通过赋值节点实现。赋值节点支持ODPS SQL、SHELL和Python三种赋值语言，将节点最后一条查询或输出结果自动赋值给节点自带的输出参数（outputs），便于赋值节点的下游节点...
运行示例
通过Python示例调用录音文件转写 Python脚本示例，可上传长语音文件（512 MB以内）。通过SDK调用语音合成 使用Java开发语言调用SDK，可用于生产环境。通过Curl命令调用异步长文本合成RESTful接口 命令行操作，无需开发，合成语音可下载。...
组件参考：所有组件汇总
PS-SMART多分类 参数服务器PS（Parameter Server）致力于解决大规模的离线及在线训练任务，SMART（Scalable Multiple Additive Regression Tree）是GBDT（Gradient Boosting Decision Tree）基于PS实现的迭代算法。K近邻 该组件进行分类的...
使用Python SDK上传文件
本文通过示例详细介绍如何使用服务端上传SDK（Python语言）将各类媒体文件上传至点播存储。整体说明 从内部逻辑角度看，Python上传SDK遵循点播服务端SDK的通用流程。详情请参见 上传流程。从操作角度看，使用Python上传SDK的基础流程如下：...
数据科学计算概述
MaxFrame是由阿里云自研的分布式科学计算框架，是对历史相关产品功能（PyODPS、Mars）的重大升级，在MaxCompute之上提供一套完全兼容Pandas接口的API，让用户用更为熟悉、更符合Python社群习惯的方式使用MaxCompute。本文为您介绍...
mysqlclient 连接 OceanBase 数据库
db.py 代码介绍 db.py 文件是一个 Python 语言编写的封装数据库操作的模块，主要用于实现数据库的增删改查操作。该文件中主要包括以下几个部分：导入 MySQLdb 模块和导入数据库连接参数。代码如下：import MySQLdb from config import ...
KMS实例SDK for Python
KMS实例SDK for Python帮助您通过简单的编程访问KMS实例API，实现加密解密、签名验签和获取凭据值的业务诉求。本文介绍如何安装SDK以及如何调用接口进行加密解密、签名验签和获取凭据值。背景信息 KMS提供了多种类型的开发工具（SDK），请...
函数实例生命周期
函数实例生命周期回调方法 Python 通过Python实现并应用函数实例生命周期回调方法。函数实例生命周期回调方法 PHP 通过PHP实现并应用函数实例生命周期回调方法。函数实例生命周期回调方法 Java 通过Java运行时实现函数实例生命周期回调的...
核心文件监控
为实现对/etc/sysctl.conf文件路径的监控，您需要配置两条规则：规则1：处置方式为告警，进程路径为*（表示匹配所有进程），文件路径为/etc/sysctl.conf，文件操作选择所有操作。规则2：处置方式为放行，进程路径为/usr/lib/systemd/...
PyAlink脚本
PyAlink脚本支持通过编写代码的方式来调用Alink的所有算法。您可以使用PyAlink脚本调用Alink的分类算法做分类、调用回归算法做回归、调用推荐算法做推荐等。PyAlink脚本也支持与其他Designer的算法组件无缝衔接，完成业务链路的搭建及效果...
Python脚本
Designer 提供自定义Python脚本的功能，您可以使用Python脚本组件自定义安装依赖包及运行自定义的Python函数。本文为您介绍Python脚本组件的配置方法及使用示例。背景信息 Python脚本 组件位于 Designer 组件的 自定义算法组件 文件夹下。...
- 产品推荐
- 这些文档可能帮助您