对象存储OSS使用Python语言实现签名Header上传的示例
概述 对象存储OSS SDK提供了集成签名、上传和下载的SDK，但实际使用中，有时需要使用API的方式实现在签名的情况下进行上传和下载，本文以PutObject接口为例，提供了Python语言实现的示例。说明 建议优先使用OSS提供SDK，本文提供的只是签名...
Python 3 UDTF
def process(self,arg):props=arg.split(',')for p in props:self.forward(p)说明 Python 2 UDTF与Python 3 UDTF区别在于底层Python语言版本不一致，请您根据对应版本语言支持的能力编写UDTF。使用限制 Python 3与Python 2不兼容。在您使用...
迁移CLB
迁移中：迁移时将MSE云原生网关的节点挂载到用户SLB的指定虚拟服务器组中，并设置新挂载节点的总权重值，例如设置为10%，然后将SLB的调度算法调整为加权轮询，此时Client请求SLB的流量就会按照权重值进行分流，会有10%的流量进入MSE云原生...
Python 3 UDAF
Python 2 UDAF迁移 Python 2官方即将停止维护，建议您根据项目类型执行迁移操作：全新项目：新MaxCompute项目，或第一次使用Python语言编写UDAF的MaxCompute项目。建议所有的Python UDAF都直接使用Python 3语言编写。存量项目：创建了大量...
Python 2 UDAF
具体标准库的可用模块说明如下：所有基于标准Python实现（不依赖扩展模块）的模块都可用。C扩展模块中下列模块可用：array、audioop binascii、bisect cmath、_codecs_cn、_codecs_hk、_codecs_iso2022、_codecs_jp、_codecs_kr、_codecs_...
使用Apache Airflow调度MaxCompute
MaxCompute支持您使用Apache Airflow通过Python接口实现作业调度。本文为您介绍如何使用Apache Airflow的Python Operator调度MaxCompute作业。背景信息 Apache Airflow是Airbnb开源的、基于Python编写的调度工具，基于有向无环图（DAG），...
功能特性
功能 4层 CLB 7层 CLB 调度算法 CLB 支持轮询、加权轮询（WRR）和一致性哈希（CH）调度算法。✔ ✔ 说明 七层 CLB 暂不支持一致性哈希（CH）调度算法。健康检查 CLB 会检查后端服务器的运行状况。当探测到后端服务器运行状况不佳时，会停止...
开发PyODPS 2任务
在DataWorks中，您可通过PyODPS节点实现Python任务的调度运行，以及与其他作业的集成操作。注意事项 DataWorks支持可视化创建Python资源，如果您需要在 PyODPS节点中调用第三方包，请使用 独享调度资源组 并通过 运维助手 进行安装。...
Python 2 UDTF
具体标准库的可用模块说明如下：所有基于标准Python实现（不依赖扩展模块）的模块都可用。C扩展模块中下列模块可用：array、audioop binascii、bisect cmath、_codecs_cn、_codecs_hk、_codecs_iso2022、_codecs_jp、_codecs_kr、_codecs_...
开发PyODPS 3任务
本文为您介绍如何通过DataWorks实现Python任务的配置与调度。前提条件 已创建PyODPS 3节点，详情请参见 创建并管理MaxCompute节点。背景信息 PyODPS是MaxCompute的Python版本的SDK，提供简单方便的Python编程接口，以便您使用Python编写...
开发PyODPS 3任务
本文为您介绍如何通过DataWorks实现Python任务的配置与调度。前提条件 已创建PyODPS 3节点，详情请参见 创建并管理MaxCompute节点。背景信息 PyODPS是MaxCompute的Python版本的SDK，提供简单方便的Python编程接口，以便您使用Python编写...
UDF开发（Python2）
具体标准库的可用模块说明如下：所有基于标准Python实现（不依赖扩展模块）的模块都可用。C扩展模块中下列模块可用：array、audioop binascii、bisect cmath、_codecs_cn、_codecs_hk、_codecs_iso2022、_codecs_jp、_codecs_kr、_codecs_...
开发PyODPS 2任务
在DataWorks中，您可通过PyODPS节点实现Python任务的调度运行，以及与其他作业的集成操作。注意事项 DataWorks支持可视化创建Python资源，如果您需要在 PyODPS节点中调用第三方包，请使用 独享调度资源组 并通过 运维助手 进行安装。...
添加TCP监听
调度算法 选择调度算法。加权轮询(WRR)：权重值越高的后端服务器，被轮询到的概率越高。轮询(RR)：按照访问顺序依次将外部请求分发到后端服务器。一致性哈希（CH）：四元组：基于四元组（源IP、目的IP、源端口和目的端口）的一致性哈希，...
预测式外呼
调度算法会综合考虑当前坐席的在线数量、空闲情况、外呼号码的呼叫频率限制、电话接通率、通话等待时长、通话时长、话后处理时长等因素，并考虑呼损（客户接通后等待坐席服务过程中挂机）的情况下，通过自动尝试、自动调整、自动学习来控制...
通过Docker安装并使用cGPU服务
cGPU服务可以隔离GPU资源，实现多个容器共用一张GPU卡。该服务作为阿里云容器服务Kubernetes版ACK（Container Service for Kubernetes）的组件对外提供服务，本文介绍如何通过Docker安装并使用cGPU服务。前提条件 在进行本操作前，请确保...
创建工作空间
调度PAI算法任务 如需进行周期性调度算法任务，则可启用该功能。您也可在创建工作空间后，进入管理中心，在 工作空间 页面开启。说明 该功能开启后无法关闭，请根据需要开启。调度PAI算法任务详情，请参见 机器学习。描述 用于辅助标识工作...
加工数据
增量数据加工：使用 调度参数，通过 分区名+动态参数 的方式，实现调度场景下，每日将增量数据写入目标表对应时间分区。数据加工过程：使用可视化方式上传资源并注册自定义函数getregion，将系统日志数据中的IP信息转换为地域信息。依赖...
加工数据
2.配置调度属性 通过以下配置实现调度场景下，每日00:15待上游 ods_raw_log_d 节点将存储于OSS的user_log.txt数据同步至MaxCompute的ods_raw_log_d表后，可触发当前 dwd_log_info_di 节点对ods_raw_log_d表数据进行加工，加工结果写入dwd_...
弹性伸缩概述
例如，HPA是典型的调度层弹性组件，通过HPA可以调整应用的副本数，调整的副本数会改变当前负载占用的调度容量，从而实现调度层的伸缩。资源层弹性，主要是集群的容量规划不能满足集群调度容量时，会通过弹出ECI资源的方式进行调度容量的...
什么是工业大脑AICS
传统与AI有机结合：AICS内置的控制流程编排，依托人工智能算法实现产线数据的智能优化，将优化结果实时写入传统DCS、PLC控制系统，实现产线的智能反控。低成本快速算法搭建：使用拖拽的方式即可搭建机器学习，低代码开发机器学习算法。全栈...
弹性伸缩概述
例如，HPA是典型的调度层弹性组件，可以调整应用的副本数，调整的副本数会改变当前负载占用的调度容量，从而实现调度层的伸缩。节点伸缩（资源层弹性）：在集群的容量规划不能满足集群调度容量时，会扩容节点资源，进行调度容量的补充。两...
创建CDH Impala节点
开发SQL代码：使用调度参数 DataWorks提供 调度参数，可实现调度场景下代码动态入参，您可在节点中通过${变量名} 的方式定义代码中的变量，并在 调度配置>参数 处，为该变量赋值。调度参数支持的格式，详情请参见 调度参数支持的格式。...
创建CDH Presto节点
开发SQL代码：使用调度参数 DataWorks提供 调度参数，可实现调度场景下代码动态入参，您可在节点中通过${变量名} 的方式定义代码中的变量，并在 调度配置>参数 处，为该变量赋值。调度参数支持的格式，详情请参见 调度参数支持的格式。...
通过SkyWalking上报Python应用数据
Skywalking-python是SkyWalking的Python Agent官方库，可以通过接入Skywalking-python实现对Python应用的监控，Skywalking-python支持Kafka、HTTP、AIOHTTP、Redis、WebSockets等多种第三方库的自动埋点。展开查看支持监控的第三方库 库 ...
通过SkyWalking上报Python应用数据
Skywalking-python是SkyWalking的Python Agent官方库，可以通过接入Skywalking-python实现对Python应用的监控，Skywalking-python支持Kafka、HTTP、AIOHTTP、Redis、WebSockets等多种第三方库的自动埋点。展开查看支持监控的第三方库 库 ...
创建CDH Hive节点
开发SQL代码：使用调度参数 DataWorks提供 调度参数，可实现调度场景下代码动态入参，您可在节点中通过${变量名} 的方式定义代码中的变量，并在 调度配置>参数 处，为该变量赋值。调度参数支持的格式，详情请参见 调度参数支持的格式。...
使用Azkaban调度MaxCompute
您需要将待调度作业依赖的源数据、建表及导入数据脚本、查询数据脚本等以文件形式压缩后上传至Azkaban才可进一步实现调度操作。本文中假设您需要在Azkaban上通过调度功能实现创建表、导入数据、查询数据这一套SQL处理逻辑。基于此场景，您...
创建EMR Presto节点
开发SQL代码：使用调度参数 DataWorks提供 调度参数，可实现调度场景下代码动态入参，您可在节点中通过${变量名} 的方式定义代码中的变量，并在 调度配置>参数 处，为该变量赋值。调度参数支持的格式，详情请参见 调度参数支持的格式。...
服务初始化
调度PAI算法任务 如需进行周期性调度算法任务，则可启用该功能。您也可在创建工作空间后，进入管理中心，在 工作空间 页面开启。说明 该功能开启后无法关闭，请根据需要开启。调度PAI算法任务详情，请参见 机器学习。描述 用于辅助标识工作...
调度参数支持的格式
背景信息 您可在代码中通过${变量名} 的方式定义变量，并在 调度配置>参数 界面，通过调度参数表达式为代码中的变量赋值，实现调度场景下的代码动态入参。部分节点的调度参数配置存在差异（例如，通用Shell节点中的变量只能以$1、$2、$3....
DataWorks大数据开发治理平台
DataWorks提供的调度参数，可实现调度场景下代码动态传参。在节点编辑页面定义函数变量后，需进入调度配置中为变量赋值。本文示例为变量 bizdate 赋值为前一天，即在函数计算节点定时运行时间的前一天，DataWorks会调度运行该节点。更多...
在ACK专有版集群中使用共享GPU调度
如您需要在 ACK专有版集群 中使用共享GPU调度基础版，请参见...基础版迁移专业版 安装共享GPU调度组件 运行共享GPU调度组件 使用共享GPU调度实现仅共享不隔离能力 使用共享GPU调度实现cGPU算力分配策略 解决专业版集群升级共享GPU调度失效问题
函数计算节点
DataWorks提供的调度参数，可实现调度场景下代码动态传参。在节点编辑页面定义函数变量后，需进入调度配置中为变量赋值。本文示例为变量 bizdate 赋值为前一天，即在函数计算节点定时运行时间的前一天，DataWorks会调度运行该节点。更多...
配置调度日历
DataWorks在原有调度配置基础上，新增自定义调度日历功能，您可通过该功能实现更灵活的任务调度日期与调度方式定义。本文为您介绍自定义调度日历的典型应用场景及如何在DataWorks上新增并使用自定义调度日历。背景信息 自定义调度日历适用...
共享GPU调度
容器服务 Kubernetes 版 ACK（Container Service for Kubernetes）开源了GPU共享调度之后，您能在阿里云、AWS、Google Compute Engine和自己数据中心的容器集群上通过GPU共享调度框架实现多个容器运行在同一个GPU设备上的目标。ACK开源GPU...
推荐解决方案综述
获得足够的User和Item数据后，您可以通过协同过滤etrec算法或矩阵分解算法计算得到Item-Item数据，详情请参见 组件配置 或 使用ALS算法实现音乐评分预测（旧版）。说明 etrec算法中可以设置权重 weight。例如，对点击、收藏及购买设置不同...
基于图算法实现金融风控
本文为您介绍如何基于图算法，实现金融风控。背景信息 图算法通常适用于关系网状的业务场景。与常规结构化数据不同，图算法将数据整理为首尾相连的关系图谱，需要考虑边和点。PAI提供了丰富的图算法组件，包括K-Core、最大联通子图及标签...
异构计算集群概述
支持GPU拓扑感知调度功能：通过Node节点获取异构计算资源的拓扑结构，调度器端基于节点的拓扑信息，完成调度决策，为NVLINK、PCIe Switch、QPI和RDMA NIC提供最佳的调度选择，实现最优的运行性能。更多信息，请参见 GPU拓扑感知调度概述。...
在ASM网关中实现会话保持
一致性哈希算法实现的负载均衡是一种软会话保持（Soft Session Affinity），在有端点变化时会有一小部分请求的会话保持失效。基于一致性哈希算法的会话保持能实现更好的负载均衡，对分布式系统更加友好。关于一致性哈希负载均衡的配置介绍...
- 产品推荐
- 这些文档可能帮助您