RESTful API
本文及SDK示例中有相关流式处理示例代码可供参考。下载nls-restful-java-demo。新增RESTful语音合成Java示例代码。前提条件 已获取项目Appkey，详情请参见 创建项目。已获取Access Token，详情请参见 获取Token概述。服务地址 访问类型 ...
创建CDH Impala节点
步骤三：配置任务调度 如果您需要周期性执行创建的节点任务，可以单击节点编辑页面右侧的 调度配置，根据业务需求配置该节点任务的调度信息：配置任务调度的基本信息，详情请参见 配置基础属性。配置时间调度周期、重跑属性和上下游依赖...
使用Gang scheduling
ACK基于新版的Kube-scheduler框架实现Gang scheduling的能力，解决原生调度器无法支持All-or-Nothing作业调度的问题。本文介绍如何使用Gang scheduling。重要提示 请预留足够资源：使用弹性节点池时请保证弹性节点池的最大资源量以及节点...
使用Gang scheduling
ACK基于新版的Kube-scheduler框架实现Gang scheduling的能力，解决原生调度器无法支持All-or-Nothing作业调度的问题。本文介绍如何使用Gang scheduling。重要提示 请预留足够资源：使用弹性节点池时请保证弹性节点池的最大资源量以及节点...
任务调度属性配置概述
若任务需要周期性调度运行，您需定义该任务的调度相关属性，包括调度周期、调度依赖、调度参数等。本文为您介绍调度配置的相关内容。前提条件 已创建节点。DataWorks基于节点进行任务开发，不同类型的引擎任务在DataWorks上被封装为不同...
Java SDK
1.4.2，2022-03-07 变更类型 功能描述 相关文档 新增 分布式任务调度系统SchedulerX 2.0的日志服务，您不需要修改一行代码，只需要增加一个Log4j或Logback的配置，即可在控制台看到每次任务调度（包括分布式任务）的业务日志。如何接入日志...
周期性调度
背景信息 目前支持以下两种方式配置任务周期性调度：方式一：通过DataWorks提供的PAI DLC节点载入DLC任务，并配置调度依赖，实现DLC任务的周期性调度。具体操作，请参见 方式一：使用PAI DLC节点载入DLC任务并配置调度依赖。方式二：通过...
StarRocks
DataWorks的StarRocks节点可进行StarRocks任务的开发和周期性调度，以及与其他作业的集成操作。本文为您介绍使用StarRocks节点进行任务开发的主要流程。背景信息 StarRocks是新一代极速全场景MPP（Massively Parallel Processing）数据库，...
RPC
通过和 JVM 及系统部的配合，利用进阶的分时调度实现灵活的资源调度，可以实现更好的效果且不必加机器资源，说明如下：资源需求：假设有如下两个大的资源池的资源需求。在 X 点的时候，资源域 A 需要更多的资源。在 Y 点的时候，资源域 B ...
Oracle节点
DataWorks的Oracle节点可进行Oracle任务的开发和周期性调度，以及与其他作业的集成操作。本文为您介绍使用Oracle节点进行任务开发的主要流程。背景信息 Oracle是用于存储和处理数据的关系型数据库管理系统（RDBMS），为您提供可靠、高效且...
创建CDH Hive节点
步骤三：配置任务调度 如果您需要周期性执行创建的节点任务，可以单击节点编辑页面右侧的 调度配置，根据业务需求配置该节点任务的调度信息：配置任务调度的基本信息，详情请参见 配置基础属性。配置时间调度周期、重跑属性和上下游依赖...
创建CDH Presto节点
步骤三：配置任务调度 如果您需要周期性执行创建的节点任务，可以单击节点编辑页面右侧的 调度配置，根据业务需求配置该节点任务的调度信息：配置任务调度的基本信息，详情请参见 配置基础属性。配置时间调度周期、重跑属性和上下游依赖...
告警规则指标说明
线程池使用率 是 线程池中正在使用的线程数与线程池总线程数之比，反映了当前线程池的使用情况。指标维度 节点机IP，筛选条件如下：遍历：遍历每个节点机IP，针对每台节点机的指标数据单独进行监控告警。指定筛选固定的几台节点机进行监控...
负载均衡调度算法介绍
负载均衡会根据配置的调度算法，将来自客户端的请求按照对应的算法规则转发至相应的后端服务器。负载均衡支持轮询、加权轮询、加权最小连接数、一致性哈希等多种调度算法，用于支持不同的业务场景。本文列出所有负载均衡系列产品支持的调度...
PostgreSQL节点
DataWorks的PostgreSQL节点可进行PostgreSQL任务的开发和周期性调度，以及与其他作业的集成操作。本文为您介绍使用PostgreSQL节点进行任务开发的主要流程。背景信息 PostgreSQL是一款功能强大、灵活的开源关系型数据库管理系统（RDBMS），...
SQL Server节点
DataWorks的SQL Server节点可进行SQL Server任务的开发和周期性调度，以及与其他作业的集成操作。本文为您介绍使用SQL Server节点进行任务开发的主要流程。背景信息 SQL Server是用于存储和处理数据的关系型数据库管理系统（RDBMS），为您...
创建EMR Presto节点
Presto（即PrestoDB）是一款灵活、可扩展的分布式SQL查询引擎，支持使用标准的SQL查询语言进行大数据的交互式分析查询（Presto概述），DataWorks为您提供EMR Presto节点，便于您在DataWorks上进行Presto任务的开发和周期性调度。...
新建实验
AutoML是PAI提供的机器学习增强型服务，集成了多种算法和分布式计算资源，无需编写代码，通过创建实验即可实现模型超参数调优，提高机器学习效率和性能。本文为您介绍如何新建实验。背景信息 AutoML的工作机制：实验会根据算法配置自动生成...
创建并使用PAI Designer
开发SQL代码：使用调度参数 DataWorks提供的 调度参数 可实现周期调度场景下代码动态入参，您可在节点任务中通过${变量名} 的方式定义代码中的变量，并在 调度配置>参数 处，为该变量赋值。调度参数支持的格式，详情请参见 调度参数支持的...
函数计算节点
DataWorks为您提供函数计算节点，您可通过该节点周期性调度处理事件函数，并完成与其他类型节点的集成和联合调度。本文为您介绍如何使用函数计算节点。前提条件 已开通函数计算。您需要先开通函数计算服务后，才可在DataWorks使用函数计算...
计算节点配置说明
计算节点是处理数据代码的算法节点，在算法流程中主要用于某个特定场景，或针对某张表的逻辑处理。本文介绍计算节点的节点画布配置说明和场景画布的配置说明。背景信息 计算节点支持多种类型，但是配置的参数和方法类似，这里只介绍关键...
DataWorks大数据开发治理平台
DataWorks数据开发（DataStudio）模块用于定义周期调度任务的开发及调度属性，与运维中心配合使用，面向各引擎（MaxCompute、Hologres、EMR等）提供可视化开发主界面，支持智能代码开发、多引擎混编工作流、规范化任务发布等能力，帮助您...
快速创建函数
使用 函数计算，您无需采购和管理服务器等基础设施，只需编写并上传代码或镜像，就可以实现弹性可靠的应用。本文介绍如何在 函数计算 控制台快速开发一个简单的Serverless Hello World函数。背景信息 通过函数计算控制台快速创建函数的流程...
目标规则（Destination Rule）CRD说明
目标规则是服务网格ASM实现流量路由功能的关键资源之一。目标规则定义在路由发生后，发往目标服务的流量策略。目标规则指定了负载均衡、来自Sidecar的连接池大小以及异常检测设置的相关配置，以便从负载均衡池中检测并清除不健康的主机。...
AssociationProperty和AssociationPropertyMetadata
示例如下：示例代码 JSON示例：{"ROSTemplateFormatVersion":"2015-09-01","Parameters":{"RegionId":{"Type":"String","AssociationProperty":"ALIYUN:ECS:RegionId"},"OosServiceRole":{"Type":"String","AssociationProperty":...
功能使用
此功能由 美颜特效SDK简介 提供，使用示例代码如下：#pragma mark-"美颜类型和美颜参数API"/*@brief 打开或者关闭某个美颜类型*@param type QueenBeautyType 类型的一个值*@param isOpen YES:打开，NO：关闭*/-(void)setQueenBeautyType:...
Spring Boot应用接入SchedulerX
下方示例代码介绍如何实现一个简单的定时打印“hello schedulerx2.0”的 JobProcessor 类。package com.aliyun.schedulerx.test.job;import com.alibaba.schedulerx.worker.domain.JobContext;import ...
Spring Boot应用接入SchedulerX
下方示例代码介绍如何实现一个简单的定时打印“hello schedulerx2.0”的 JobProcessor 类。package com.aliyun.schedulerx.test.job;import com.alibaba.schedulerx.worker.domain.JobContext;import ...
从Logstore到Logstore
定时SQL功能用于定时分析数据、存储聚合数据、投影与过滤数据。日志服务 支持源Logstore中的数据通过定时SQL处理后存储到目标Logstore中。前提条件 已采集数据到源Logstore。具体操作，请参见 数据采集。已创建目标Logstore。具体操作，请...
离线同步任务运维
任务调度与管理 离线同步依托DataWorks强大的调度能力，为您实现离线任务的周期性自动调度执行，同时，可以结合DataWorks调度参数，实现增量数据和全量数据写入到目标表对应分区，离线同步任务的运维操作与其他离线调度任务操作一致，支持...
基本概念
工作空间管理员可以加入成员至工作空间，并赋予工作空间管理员、开发、运维、部署、安全管理员或访客角色，以实现多角色协同工作。说明 建议您根据部门或业务板块来划分工作空间。一个工作空间支持添加多种数据源实例。其中，在数据开发中...
依赖关系
小时任务依赖天任务，当上游天任务运行完成时，已到下游小时任务的多个周期定时时间，导致小时任务多周期并发调度。此时您可以在任务的 调度配置>时间属性 区域，配置 依赖上一周期>本节点。下游节点同时依赖多个任务运行时，依赖关系如何...
Shared Server
负载调度算法充分吸收AliSQL对社区版MySQL线程池的缺陷改进，使用Stall机制弹性控制Worker数量，同时避免用户连接等待时间过长。从根本上解决了高并发或者大量短连接带来的性能、稳定性问题。原理介绍 在PostgreSQL原生的One-Process-Per-...
Spring Boot应用接入SchedulerX
下方示例代码介绍如何实现一个简单的定时打印“hello schedulerx2.0”的 JobProcessor 类。package com.aliyun.schedulerx.test.job;import com.alibaba.schedulerx.worker.domain.JobContext;import ...
从Logstore到MetricStore
定时SQL功能用于定时分析数据、存储聚合数据、投影与过滤数据。日志服务 支持源Logstore中的数据通过定时SQL处理后存储到目标MetricStore中。前提条件 已采集数据到源Logstore。具体操作，请参见 数据采集。已创建源Logstore的索引。具体...
Shared Server
负载调度算法充分吸收AliSQL对社区版MySQL线程池的缺陷改进，使用Stall机制弹性控制Worker数量，同时避免用户连接等待时间过长。从根本上解决了高并发或者大量短连接带来的性能、稳定性问题。原理介绍 在PostgreSQL原生的One-Process-Per-...
调度参数支持的格式
调度参数是DataWorks任务调度时使用的参数，可根据您配置的调度参数取值规则，在每次任务运行时自动替换为真实的取值，实现任务调度时间内参数的动态替换。本文为您介绍调度参数支持的格式及相关使用。背景信息 您可在代码中通过${变量名} ...
调度至Arm虚拟节点
如果您的集群中既有Arm虚拟节点，又有非Arm虚拟节点（例如x86虚拟节点），为了确保只兼容Arm架构的工作负载调度到Arm虚拟节点，或多架构镜像优先调度到Arm虚拟节点，您可以基于Kubernetes原生调度配置来实现。前提条件 集群：已创建ACK集群...
调度至Arm虚拟节点
如果您的集群中既有Arm虚拟节点，又有非Arm虚拟节点（例如x86虚拟节点），为了确保只兼容Arm架构的工作负载调度到Arm虚拟节点，或多架构镜像优先调度到Arm虚拟节点，您可以基于Kubernetes原生调度配置来实现。前提条件 集群：已创建 ACK ...
HTTP任务
{"code":200,"data":"true","message":"","requestId":"446655068791923614103381232971","success":true } 上面的示例代码可以校验Key为Success，校验value:true或者校验Code是否为200。自定义字符串 按您自定义的返回字符串内容完全匹配...
- 产品推荐
- 这些文档可能帮助您