创建EMR Presto节点
Presto（即PrestoDB）是一款灵活、可扩展的分布式SQL查询引擎，支持使用标准的SQL查询语言进行大数据的交互式分析查询（Presto概述），DataWorks为您提供EMR Presto节点，便于您在DataWorks上进行Presto任务的开发和周期性调度。...
扩容混合云集群
混合云集群支持扩容，当业务发展导致集群计算节点不足时，您可以根据实际需求扩容集群，增加计算节点。前提条件 扩容节点所在地域有可用交换机，关于如何创建交换机，请参见 创建交换机。扩容节点所在地域有足够的ECS实例配额，具体操作，...
扩容集群
您可以通过以下两种方式进行扩容：创建新节点 添加已有节点 前提条件 已创建集群 或 已导入集群 创建新节点 登录 LHC 控制台，在左侧导航栏单击 集群管理>集群详情，进入集群列表页。单击目标集群卡片中的 扩容集群。在 集群扩容 页面，...
GPU FAQ
操作入口和节点池配置项说明，请参见 创建节点池、编辑节点池。说明 关闭GSP相关步骤可能会造成扩容节点的时延增加。添加已有节点 您可以新建节点池或编辑待添加节点的节点池的配置，在高级配置中为节点池配置标签 ack.aliyun....
一键MaxCompute数据同步节点
本文为您介绍如何创建并使用一键MaxCompute数据同步节点。背景信息 使用一键同步MaxCompute数据至Hologres进行数据查询时，您需要先在Hologres中创建外部表，该外部表可视为MaxCompute源表（即需要同步的MaxCompute数据所在的表）与...
新建开发环境场景并运行
说明 在搭建节点流程的过程中，如果上游节点和下游节点需要连线（即上游节点的输出数据要作为下游节点的输入数据），则要求上游节点的输出数据与下游节点的输入数据的数据格式和云计算资源类型必须一致，任意结构（星号（*））和为空的除外...
新建开发环境场景并运行
说明 在搭建节点流程的过程中，如果上游节点和下游节点需要连线（即上游节点的输出数据要作为下游节点的输入数据），则要求上游节点的输出数据与下游节点的输入数据的数据格式和云计算资源类型必须一致，任意结构（星号（*））和为空的除外...
管理工作流
如果您需要安排任务在指定的时间运行，可以创建工作流并在工作流中定义调度节点以及调度策略。本文为您介绍如何创建和运行工作流。前提条件 已创建工作空间，详情请参见 管理工作空间。已完成任务开发且任务处于发布状态。创建工作流 进入...
创建EMR Spark节点
本文为您介绍如何创建EMR Spark节点，并通过详细的应用示例，为您介绍EMR Spark节点的功能。背景信息 本节点支持使用OSS REF方式引用OSS资源，详情请参见 方案一：直接引用OSS资源。前提条件 数据开发（DataStudio）中已创建业务流程。数据...
数据节点
本文为您介绍如何创建数据节点。完成创建后，您可以在 数据节点 页面，查看当前租户下的所有数据节点。节点列表支持按照数据节点名称进行筛选（支持模糊匹配），还支持按类型（文件、DB、离线）进行筛选。创建数据节点 登录资金安全监控...
查看公共节点
公共节点创建完成后，您可在公共节点列表中查看所有节点的相关信息，包括节点名称、节点标识、计算平台、服务类型、版本、修改时间等。本文介绍如何查看公共节点配置信息和操作详情等信息。前提条件 已存在公共节点，具体操作，请参见 添加...
查看公共节点
公共节点创建完成后，您可在公共节点列表中查看所有节点的相关信息，包括节点名称、节点标识、计算平台、服务类型、版本、修改时间等。本文介绍如何查看公共节点配置信息和操作详情等信息。前提条件 已存在公共节点，具体操作，请参见 添加...
ALIYUN:EHPC:AutoScaleConfig
如果某一轮次需扩容节点数量小于所设置的最小计算节点数，自动伸缩为保证资源的正常交付，会将该轮次的最小计算节点数自动调整为当前轮次需要扩容节点数量。说明 该调整仅对当前轮次的最小计算节点数生效。MaxNodesPerCycle Integer 否 是 ...
云XR实时渲染平台服务实例部署文档
渲染节点 第二组渲染节点-节点数量 用于创建第二组渲染节点。第二组渲染节点-实例规格 基础配置 第二可用区 用于Admin2/Nginx2/第二组渲染节点以及Redis/RDS/ALB的第二可用区。第二交换机 OSS AK Id 用来管理XR应用的OSS Bucket。需要有...
配置任务调度
说明 从业务维度看，节点依赖关系设置就是下游节点等待上游节点产出表数据后，下游节点再对该表数据进行下一步操作，比如对上游产出的表数据进行进一步清洗，或者将上游清洗的结果表数据回流至其他数据库，但这些都需要等待上游节点执行...
Shell节点
Shell节点支持标准Shell语法，不支持交互性语法。使用限制 Shell节点支持标准Shell语法，不支持交互性语法。Shell节点仅支持使用 新增和使用独享调度资源组 执行。独享调度资源组上运行Shell节点时，如果您需要访问的目标端有白名单限制，...
数据开发：开发者
任务定时时间为单个节点维度，但任务实际运行时间与节点依赖的上游节点其定时时间有关，所以即便当前节点定时时间早于上游节点，当前节点仍需要等待上游节点定时时间到并且执行成功后，下游节点才会执行。本文示例设置 result_table 节点 ...
配置 SCQL 项目
当您成功创建 SCQL 项目或者受邀参与 SCQL 项目后，可以进入项目配置阶段。您可以根据业务需求对项目中的节点、数据和成员进行配置，只有成功配置项目后，才可以进入项目开发阶段。本文介绍在管理控制台中，配置 SCQL 项目的操作步骤。前提...
配置 FL 项目
当您成功创建 FL 项目或者受邀参与 FL 项目后，可以进入项目配置阶段。您可以根据业务需求对项目中的节点、数据和成员进行配置，只有成功配置项目后，才可以进入项目开发阶段。本文介绍在管理控制台中，配置 FL 项目的操作步骤。前提条件 ...
使用须知及高危风险操作说明
正确做法是通过容器服务管理控制台或者节点池相关API修改节点池的期望节点数进行缩容（参见 创建节点池）或移除指定节点（参见 移除节点）。对开启自动伸缩的节点池进行手动扩容或缩容。自动伸缩组件会根据策略自动调整节点数，导致结果与...
配置 PSI 项目
当您成功创建 PSI 项目或者受邀参与 PSI 项目后，可以进入项目配置阶段。您可以根据业务需求对项目中的节点、数据和成员进行配置，只有成功配置项目后，才可以进入项目开发阶段。本文介绍在管理控制台中，配置 PSI 项目的操作步骤。前提...
新建解决方案
将工作组中已沉淀的数据标准、数据模型、数据加工场景、数据服务API配置、云计算资源配置等数据资产，进行版本化的解决方案创建及实例化，便于完成数据治理工作环境的初始化、跨平台的资产发布及迁移。本文介绍如何通过全新创建和根据已有...
配置 MPC 项目
当您成功创建 MPC 项目或者受邀参与 MPC 项目后，可以进入项目配置阶段。您可以根据业务需求对项目中的节点、数据和成员进行配置，只有成功配置项目后，才可以进入项目开发阶段。本文介绍在管理控制台中，配置 MPC 项目的操作步骤。前提...
配置离线任务调度依赖
附录：跨周期依赖默认策略 本节点调度周期 上游节点 上游节点调度周期 上游节点是否自依赖 默认依赖周期 月 本节点（自依赖）- 上周期（前 1 日）周 本节点（自依赖）- 上周期（前 1 日）日 本节点（自依赖）- 上周期（前 1 日）小时...
配置离线任务调度依赖
附录：跨周期依赖默认策略 本节点调度周期 上游节点 上游节点调度周期 上游节点是否自依赖 默认依赖周期 月 本节点（自依赖）- 上周期（前 1 日）周 本节点（自依赖）- 上周期（前 1 日）日 本节点（自依赖）- 上周期（前 1 日）小时...
配置离线管道调度依赖
附录：跨周期依赖默认策略 本节点调度周期 上游节点 上游节点调度周期 上游节点是否自依赖 默认依赖周期 月 本节点（自依赖）- 上周期（前 1 日）周 本节点（自依赖）- 上周期（前 1 日）日 本节点（自依赖）- 上周期（前 1 日）小时...
配置逻辑表上游依赖
调度依赖用于配置逻辑表和事实逻辑表任务节点，Dataphin通过各个节点的调度依赖的配置结果，有序的运行业务流程中各个节点，保障业务数据有效、适时地产出。本文为您介绍如何配置逻辑表和事实逻辑表的调度依赖配置。操作步骤 请参见 数据...
配置逻辑表上游依赖
调度依赖用于配置逻辑表和事实逻辑表任务节点，Dataphin通过各个节点的调度依赖的配置结果，有序的运行业务流程中各个节点，保障业务数据有效、适时地产出。本文为您介绍如何配置逻辑表和事实逻辑表的调度依赖配置。操作步骤 请参见 数据...
查看版本
节点或业务流程每次提交成功将生成一个新的版本。您可在版本面板查看历史版本的提交记录、变更类型，也可对比不同版本间的差异，回滚节点或业务流程至所需版本。本文以节点版本为例，为您介绍版本的详细内容。业务流程版本的操作类似。进入...
事件监控
本文介绍如何通过云监控控制台查看边缘节点服务 ENS事件监控。通过事件监控，您可以知晓ENS服务的使用状态，当您的业务出现问题时，也可以通过事件监控快速分析、定位问题。说明 所有事件类报警均按照实例触发，即同一个事件，如果影响三台...
配置同周期调度依赖
依赖某节点同周期指本节点本周期运行，依赖上游节点当前周期的数据产出情况（即任务执行情况），待上游当前周期实例执行成功后，本节点才会运行。通常，若当前任务需依赖上游任务同周期产出的表数据时，可为当前任务设置依赖该上游任务的同...
XML函数
xmlcomment xmlcomment(text)→xml 函数 xmlcomment 创建了一个XML值，它包含一个使用指定文本作为内容的XML注释。该文本不包含“-”或者也不会以一个“-”结尾，否则该结果的结构不是一个合法的XML注释。如果参数为空，结果也为空。示例：...
ALIYUN:CS:ManagedKubernetesCluster
ALIYUN:CS:ManagedKubernetesCluster类型用于创建Kubernetes托管版集群。语法 {"Type":"ALIYUN:CS:ManagedKubernetesCluster","Properties":{"CloudMonitorFlags":Boolean,"ProxyMode":String,"WorkerDataDisk":Boolean,"SnatEntry":...
创建和管理终端节点
终端节点（Endpoint）由服务使用方创建和维护，可以与终端节点服务相关联，从而建立通过 PrivateLink 私网访问外部服务的网络连接。一个终端节点只能关联一个终端节点服务，本文为您介绍如何创建和管理终端节点。背景信息 私网连接 能够...
终端节点服务概述
概述 终端节点服务（Endpoint Service）是可以通过其他专有网络VPC（Virtual Private Cloud）创建的终端节点建立私网连接的服务。终端节点服务由服务提供方创建和管理。创建完终端节点服务后，如果您希望其他阿里云账号下的VPC创建的终端...
Spark Shell和RDD基础操作
例如，运行以下代码，首先从外部存储系统读一个文本文件构造了一个RDD，然后通过RDD的Map算子计算得到文本文件中每一行的长度，最后通过Reduce算子计算得到了文本文件中各行长度之和。val lines=sc.textFile("data.txt")val lineLengths=...
网关终端节点
如果您需要通过终端节点实现VPC与阿里云上的服务建立安全稳定的私有连接，您可以在VPC中创建云服务的网关终端节点并指定关联的路由表，系统自动将该云服务的下一跳路由指向网关终端节点，实现对云服务的私网访问。本文指导您如何创建和管理...
跨账号VPC间的私网访问服务
创建完终端节点后，您可以在终端节点详情页查看生成的终端节点域名、终端节点可用区的域名和IP。步骤六：接受终端节点连接请求 终端节点发送连接请求后，终端节点服务需要接受终端节点的连接请求。接受后，VPC1才能通过终端节点访问服务。...
基本概念
对于标准型 全球加速 实例，不同路由类型和协议类型的监听支持创建的终端节点组不同：智能路由类型：支持创建默认终端节点组和虚拟终端节点组。默认终端节点组：TCP或UDP协议的监听默认支持创建2个默认终端节点组；HTTP或HTTPS协议的监听...
通过PrivateLink跨VPC私网访问CLB
创建完终端节点后，您可以在终端节点详情页查看生成的终端节点域名、终端节点可用区的域名和IP。步骤五：接受终端节点连接请求 终端节点发送连接请求后，终端节点服务需要接受终端节点的连接请求。接受后，VPC1才能通过终端节点访问服务。...
- 产品推荐
- 这些文档可能帮助您