风险场景
关联诊断决策树 选填 手动选择诊断决策树。如需新增诊断决策树，请参见 新建诊断决策树。添加触发项 选填 可选 巡检规则 或 监控规则。如果选择 巡检规则，则需要选择对应的关联规则。如需新增巡检规则，请参见 新建规则。如果选择 监控...
Docker 作业示例
作业准备 本作业程序使用 python 编写，目的是统计一个日志文件中“INFO”，”WARN”，”ERROR”，”DEBUG”出现的次数。该作业包含3个任务：split,count 和 merge。split 任务会把日志文件分成 3 份。count 任务会统计每份日志文件中...
诊断节点
诊断节点是诊断决策树的子节点，通过节点之间的关联，实现一棵完整的决策树。新建节点 登录高可用管理控制台。在左侧导航栏上，单击 故障诊断>诊断节点。单击 新建，在 新建节点 页面，配置新节点的信息，包括节点名称、描述，选择节点类型...
梯度提升回归树算法（GBRT）
前向分布算法的思想是基于当前模型和拟合函数来选择合适的决策树函数，从而最小化损失函数。GBRT主要有以下两部分组成：回归树（Regression Tree（RT））：回归树是决策树类别之一，用来预测实际值。GBRT算法是一种迭代的回归树算法，由多...
性能指标
算法类型 数据规模 特征规模 任务类型 任务平均运行时间 决策树-XGBoostWithDp 100万 2000维*2000维 训练 180分钟 决策树-GBDTWithDp 500万 100维*100维 训练 15分钟 线性回归-LinearRegressionWithHe 100万 100维*100维 训练 150分钟 逻辑...
使用Apache Airflow调度MaxCompute
背景信息 Apache Airflow是Airbnb开源的、基于Python编写的调度工具，基于有向无环图（DAG），可以定义一组有依赖的作业，并按照依赖顺序依次执行作业。还支持通过Python定义子作业，并支持各种Operators操作器，灵活性大，能满足用户的...
git-filter-repo
介绍 git-filter-repo 是官方推荐用于修改 commit ...python 编写对应的 call-back 函数来定义修改规则。更多高级功能参见 https://htmlpreview.github.io/?https://github.com/newren/git-filter-repo/blob/docs/html/git-filter-repo.html
分类管理
阿里云视频点播为您提供分类管理功能，您可以对资源的类别进行划分，让您的检索和管理更加便捷。操作步骤 登录 视频点播控制台。在点播控制台左侧导航栏选择 配置管理>媒资管理配置>分类管理，进入分类管理页面。在 音视频/图片分类 页签下...
随机森林回归算法（Random Forest Regression）
随机森林回归模型通过随机抽取样本和特征，建立多棵相互不关联的决策树，通过并行的方式获得预测结果。每棵决策树都能通过抽取的样本和特征得出一个预测结果，通过综合所有树的结果取平均值，得到整个森林的回归预测结果。使用场景 随机...
普通作业快速开始
准备任务程序 本例的作业程序是使用 python 编写的，下载本例所需的程序：log-count.tar.gz 使用下面的目录解压：mkdir log-count&tar-xvf log-count.tar.gz-C log-count 解压后的log-count/目录结构如下 log-count|-conf.py#配置|-split....
通过JDBC连接Spark Thrift Server提交Spark作业
Python：编写Python代码进行连接。Beeline客户端连接Spark Thrift Server 执行如下命令，进入Beeline客户端。beeline 返回如下信息 Beeline version 2.3.7 by Apache Hive 执行如下命令，连接Spark Thrift Servert。connect jdbc:hive2:/{...
Python SDK 快速开始
(2)上传任务程序到OSS 本例的作业程序是使用 python 编写的，下载本例子所需的程序：log-count.tar.gz 本例不需要改动示例代码。直接将 log-count.tar.gz 上传到 oss，如上传到：oss:/your-bucket/log-count/log-count.tar.gz 如何上传前面...
PyODPS概述
提供简单方便的Python编程接口，以便您使用Python编写MaxCompute作业、查询MaxCompute表和视图，以及管理MaxCompute资源。PyODPS提供了与ODPS命令行工具类似的功能，例如上传和下载文件、创建表、运行ODPS SQL查询等，同时提供了一些高级...
创建PYTHON计算任务
为了满足丰富的Python应用场景，Dataphin支持创建可以使用Python语法的PYTHON计算任务。本文为您介绍如何基于Dataphin新建PYTHON计算任务。使用限制 Python 3.7无法向下兼容Python 2.7，无法直接升级历史的Python 2任务。2.9.3版本后，...
Dataphin如何创建基于MaxCompute引用Python脚本的...
编写Python脚本（注：脚本中需根据Spark版本初始化Spark context，详情可参考MaxCompute关于PySpark的官方文档）2.上传该Python脚本至Dataphin，作为Dataphin中的资源。3.创建SPARK_JAR_ON_MAX_COMPUTE任务，并在任务中引用该资源，以下...
创建并使用MaxCompute资源
如果您的代码或函数中需使用MaxCompute资源文件，则需先创建或上传资源至目标工作空间后再...添加后，您可通过DataWorks在线编写Python资源，并使用资源注册函数的方式实现IP来源分析最佳实践，详情请参见 使用MaxCompute分析IP来源最佳实践。
Python SDK快速入门
本文介绍如何快速使用日志服务Python SDK完成常见操作，包括创建项目（Project）、创建日志库（Logstore）、写入日志和查询日志等。前提条件 已创建RAM用户并完成授权。具体操作，请参见 创建RAM用户并完成授权。已配置环境变量 ALIBABA_...
UDF示例：Python UDF使用第三方包
MaxCompute支持您在Python UDF中引用第三方包，例如Numpy包、需要编译的第三方包或依赖动态链接库的第三方包。本文为您介绍如何通过Python UDF引用第三方包。背景信息 通过Python UDF使用第三方包支持的场景如下：使用Numpy包（Python 3 ...
使用MaxCompute分析IP来源最佳实践
本文为您介绍如何使用MaxCompute分析IP来源，包括下载、上传IP地址库数据、编写UDF函数和编写SQL四个步骤。前提条件 开通MaxCompute和DataWorks。在DataWorks上完成创建业务流程，本例使用DataWorks简单模式。详情请参见 创建业务流程。...
使用MaxCompute分析IP来源最佳实践
本文为您介绍如何使用MaxCompute分析IP来源，包括下载、上传IP地址库数据、编写UDF函数和编写SQL四个步骤。前提条件 开通MaxCompute和DataWorks。在DataWorks上完成创建业务流程，本例使用DataWorks简单模式。详情请参见 创建业务流程。...
访问OSS数据源
云原生数据仓库AnalyticDB MySQL版 数据库产品 编写Python程序，将Python程序上传至OSS。本文示例的Python程序名为 example.py，用于读取文本文件readme.txt的第一行内容。import sys from pyspark.sql import SparkSession#初始Spark ...
Llama2-WebUI基于EAS的一键部署
Llama2-Chat模型适用于多种自然语言生成场景。EAS提供的Chat-LLM-WebUI在其基础上进行了封装，提供更加简洁易操作的UI。您可以通过EAS一键部署基于Llama2-Chat模型的ChatLLM-WebUI应用，并启动WebUI来执行模型推理。此外，您还可以通过...
Notebook开发编辑器
Notebook开发 支持 Spark SQL和Python两种 编程语言编写Spark应 用程序。前提条件 已创建AnalyticDB MySQL湖仓版（3.0）集群。具体操作，请参见 创建湖仓版集群。已创建Job型资源组，且计算最大资源需大于等于8 ACU。具体操作，请参见 湖仓...
5分钟使用EAS一键部署ChatGLM及LangChain应用
运行命令 模型类型 方式 运行命令 Llama2 API+WebUI python webui/webui_server.py-port=8000-model-path=data-model-type=llama2-precision=fp16 ChatGlm2 API+WebUI python webui/webui_server.py-port=8000-model-path=data-model-type=...
5分钟使用EAS一键部署LLM大语言模型应用
运行命令 模型类型 运行命令 Llama2 python webui/webui_server.py-port=8000-model-path=data-model-type=llama2 ChatGlm2 python webui/webui_server.py-port=8000-model-path=data-model-type=chatglm2 ChatGlm3 python webui/webui_...
XGBOOST多分类
一、组件说明 XGBoost是一种基于梯度提升决策树（Gradient Boosting Decision Tree）的机器学习算法。它通过改进传统梯度提升决策树的方式，加入正则化项、特征子采样和并行化等优化技术。XGBoost的优点是能够自动处理缺失值、异常值和噪声...
XGBOOST二分类
一、组件说明 XGBoost是一种基于梯度提升决策树（Gradient Boosting Decision Tree）的机器学习算法。它通过改进传统梯度提升决策树的方式，加入正则化项、特征子采样和并行化等优化技术。XGBoost的优点是能够自动处理缺失值、异常值和噪声...
Notebook概述
全面兼容Apache Zeppelin，您可以使用Scala、Python、Spark SQL、R等语言编写Spark程序。相关操作 有关Notebook的更多操作，请参见：管理Notebook 使用Notebook 说明 每个Databricks数据洞察集群都会部署独立DataInsight Notebook服务。...
LightGBM
lightgbm是一个梯度Boosting框架，使用基于决策树的学习算法。它可以说是分布式的，高效的，有以下优势：更快的训练效率 低内存使用 更高的准确率 支持并行化学习 可以处理大规模数据 与常见的机器学习算法对比，速度是非常快的。计算逻辑...
Python脚本示例
本文提供Python语言的物模型数据解析脚本模板和示例。脚本模板 您可以基于以下Python脚本模板编写数据解析脚本。说明 本模板仅适用于 数据格式 为 透传/自定义 的产品。将设备的自定义格式数据转换为Alink协议的数据，设备上报数据到物联网...
Python脚本
如果物联应用开发（IoT Studio）平台提供的节点不能满足您的需求，您可以使用Python脚本节点，编写Python代码来实现功能逻辑。目前支持Python v2.7.9版本。且仅支持使用基本库和基本语法，不支持扩展库。编码说明 在业务逻辑编辑页面的 ...
功能特性
风险场景 风险场景 是针对特定风险事件进行集中化处理的模块，风险场景中包含了处理风险事件所需要诊断决策树、应急预案、业务影响等信息。目前应急场景升级后，需要将风险场景和应急响应联动，所以需要添加更多属性。日常巡检 日常巡检 是...
术语解释
自定义步骤 指基于Appium引擎与Python语言编写脚本，在录制脚本中，添加非常规操作。测试状态 指兼容/功能/性能测试的执行状态，包括 等待中/运行中/已完成/已取消。执行结果 指兼容/功能/性能测试的执行结果，包括 通过/未通过/异常/未...
Python脚本示例
本文提供Python语言的物模型消息解析脚本模板和示例。脚本模板 您可以基于以下Python脚本模板编写消息解析脚本。说明 本模板仅适用于 数据格式 为 透传/自定义 的产品。将设备的自定义格式数据转换为Alink协议的数据，设备上报数据到物联网...
梯度提升决策树算法（GBDT）
本文介绍了梯度提升决策树算法（Gradient Boosting Decision Tree，下文简称GBDT）相关内容。简介 GBDT是一款基于梯度提升的决策树算法。可解释性强，预测速度快。同时，GBDT算法相比于其它算法需要更少的特征工程，可以不用做特征标准化，...
Python
前提条件 确保本地已部署 Python 语言运行环境。Python 3.x 连接 OceanBase 数据库 Python 3.x 需要 PyMySQL 驱动进行 OceanBase 数据库连接及使用。步骤一：获取数据库连接参数 参考 获取连接参数 文档，获取相应的租户连接参数，例如：$...
脚本任务
本文介绍如何在创建任务时通过编写Shell、Python或Go脚本创建脚本任务。创建脚本任务 步骤一：选择脚本语言 在 任务管理 页面创建任务，具体操作，请参见 任务管理。任务类型 选择 脚本任务，然后选择 脚本语言。当前支持的脚本语言类型：...
脚本任务
本文介绍如何在创建任务时通过编写Shell、Python或Go脚本创建脚本任务。创建脚本任务 步骤一：选择脚本语言 在 任务管理 页面创建任务，具体操作，请参见 任务管理。任务类型 选择 脚本任务，然后选择 脚本语言。当前支持的脚本语言类型：...
集成SDK
本文将以 Python 语言调用 短信服务 SMS（Short Message Service）的发送短信接口为例，讲解完整的集成步骤。环境要求 Python版本>=3.0。第一步：设置访问凭据 调用阿里云OpenAPI通常需要设置访问密钥（AccessKey），详情参见 凭据。为了...
Common错误码（ODPS-00CCCCX）
本文为您介绍Common错误码列表、触发条件及处理方法。...使用Python 2编写自定义函数，或者在SQL语句中增加 limit 关键字，将作业拆分为Map和Reduce两个Stage。ODPS-0030001:Authorization exception 无权限 1 权限问题。需要完成授权操作。
- 产品推荐
- 这些文档可能帮助您