高级应用：实现复杂作业逻辑
说明 MaxCompute的ODPS SQL节点不支持直接写循环或遍历逻辑，您可以使用上述通用节点实现对应的作业逻辑，或您也可以使用PyODPS节点，自定义开发循环或遍历逻辑代码。实现跨节点赋值逻辑的作业 DataWorks为您提供多种实现不同节点间透传...
操作流程
当使用的算法仅单次临时使用时，通过添加计算节点实现算法更便捷，具体操作，请参见 步骤三：添加计算类节点并配置。部署/运行开发场景 将编排好的流程部署到对应的云计算资源上，然后运行验证流程的正确性。具体操作，请参见 步骤五：部署...
操作流程
当使用的算法仅单次临时使用时，通过添加计算节点实现算法更便捷，具体操作，请参见 步骤三：添加计算类节点并配置。部署/运行开发场景 将编排好的流程部署到对应的云计算资源上，然后运行验证流程的正确性。具体操作，请参见 步骤五：部署...
智能负载均衡
功能原理 开通智能负载均衡后，WAF实例将拥有至少三个不同地域的防护节点实现异地多节点自动容灾，同时通过智能DNS解析能力和Least-time回源算法，保证业务流量从接入防护节点到转发回源站服务器整个链路的时延最短。说明 中国内地 WAF实例...
ETL工作流快速体验
赋值节点应用 DataWorks MaxCompute 数据开发 标准版及以上版本 DataStudio 数据开发 模块的赋值节点支持ODPS SQL、Shell和Python三种赋值语言，通过赋值节点实现将上游节点任务的查询或输出结果提供给下游节点使用。案例配套文档：赋值...
增删节点
为您介绍增删节点的操作和注意事项，您可通过增删节点实现实例扩缩容。背景信息 OceanBase 数据库的弹性扩容能力相比于传统数据库具有明显的架构优势。传统数据库的数据存放于一台机器上，而 OceanBase 数据库能够把数据打散到不同机器，...
蓝图编辑器精选案例实战
如何实现跨屏联动 本案例是通过蓝图编辑器中的 WebSocket节点 实现跨屏联动的效果。配置案例交互操作步骤如下，具体实操请参见 如何实现跨屏联动。建立两个屏幕的WebSocket服务，其中自建和下载DataV-WS服务包的方法请参见 自建WebSocket...
开发PyODPS 2任务
o.get_table('table_name').get_partition('ds='+args['ds'])更多场景的PyODPS任务开发，请参考：PyODPS使用第三方包 节点运行ECS机器上的脚本 PyODPS节点实现结巴中文分词 PyODPS节点实现避免将数据下载到本地 后续步骤 如何判断Shell...
开发PyODPS 2任务
o.get_table('table_name').get_partition('ds='+args['ds'])更多场景的PyODPS任务开发，请参考：PyODPS使用第三方包 节点运行ECS机器上的脚本 PyODPS节点实现结巴中文分词 PyODPS节点实现避免将数据下载到本地 后续步骤 如何判断Shell...
开发PyODPS 3任务
o.get_table('table_name').get_partition('ds='+args['ds'])更多场景的PyODPS任务开发，请参考：PyODPS使用第三方包 节点运行ECS机器上的脚本 PyODPS节点实现结巴中文分词 PyODPS节点实现避免将数据下载到本地 后续步骤 如何判断Shell...
开发PyODPS 3任务
o.get_table('table_name').get_partition('ds='+args['ds'])更多场景的PyODPS任务开发，请参考：PyODPS使用第三方包 节点运行ECS机器上的脚本 PyODPS节点实现结巴中文分词 PyODPS节点实现避免将数据下载到本地 后续步骤 如何判断Shell...
什么是SCDN
独立节点：SCDN节点单独构建，与普通CDN节点实现物理隔离。独享IP：每个接入SCDN的用户在每个SCDN节点都有一个独享IP，实现安全风险隔离。独立SDNS调度：单用户享受SDNS独立调度域，用户之间的DNS攻击互不影响，拥有百万QPS的DNS Flood防护...
DataWorks节点合集
在具体业务流程下，您可在通用节点分组下新建所需节点，结合引擎节点实现复杂逻辑处理。不同节点的使用场景及相关介绍如下。业务场景 节点类型 使用说明 业务管理 虚拟节点 虚拟节点属于控制类型节点，它是不产生任何数据的空跑节点，通常...
通过DataWorks操作Hologres的多个分区子表
但是对于回刷历史数据等一次性涉及多个分区子表操作的场景，调度需要执行多个SQL较为麻烦，因此本文将会介绍如何使用DataWorks的for-each节点实现多分区操作。说明 您可通过for-each节点循环遍历赋值节点传递的结果集，详情请参见 配置for-...
do-while节点最佳实践
需要部署一个上游节点，能够把查询出的数据输出给下游节点使用，您可以使用赋值节点实现该条件。循环节点需要能够获取上游赋值节点的输出，您可以通过配置上下文依赖来实现该条件。循环节点的内部节点需要能够引用到每一行的数据，增强已有...
网关终端节点
如果您需要通过终端节点实现VPC与阿里云上的服务建立安全稳定的私有连接，您可以在VPC中创建云服务的网关终端节点并指定关联的路由表，系统自动将该云服务的下一跳路由指向网关终端节点，实现对云服务的私网访问。本文指导您如何创建和管理...
查看监控信息
同时借助云原生基础设施，计算节点实现了弹性调度，可根据业务需求做到分钟级甚至秒级扩展，实现了资源的有效利用。计算节点组健康状态包含：健康：计算节点可用数。不可用：计算节点不可用数。存储节点组健康状态 存储节点组即 AnalyticDB...
ZooKeeper的使用场景和MSE ZooKeeper的优势
最小节点方式：利用ZooKeeper的临时有序节点实现Master的选举。选Master的时候，每台Server往目录下面写一个临时有序节点，约定序号最小的节点作为Master，当主节点宕机之后，按照从小到大的顺序产生主节点。分布式锁：在分布式环境中，...
连接地址（主地址、集群地址和自定义地址）
适用于有读写分离需求的业务，并且能够通过增加只读节点实现快速、实时的业务扩展。私网 公网 私网（经典网络）自定义地址 一个PolarDB集群最多可以再创建6个自定义地址。这些地址的服务也由数据库代理提供。自定义地址可以配置读写模式及...
迁移游离节点至节点池
ACK节点池功能推出前创建的老集群中，可能存在未被节点池管理的游离Worker节点。如不再需要这些节点，您可以直接释放对应的ECS实例。如仍需要保留这些节点，推荐您将这些节点纳入节点池进行管理，实现节点的分组管理和运维。步骤一：创建并...
开发ODPS Spark任务
在DataWorks中，您可通过ODPS Spark节点实现MaxCompute Spark任务的调度运行，以及与其他作业的集成操作。MaxCompute Spark支持使用Java、Scala和Python语言进行开发，并通过Local、Cluster模式运行任务，在DataWorks中运行MaxCompute ...
赋值节点
当您需要将上游节点任务的查询或输出结果提供给下游节点使用时，可通过赋值节点实现。赋值节点支持ODPS SQL、SHELL和Python三种赋值语言，将节点最后一条查询或输出结果自动赋值给节点自带的输出参数（outputs），便于赋值节点的下游节点...
查看节点池
通过容器服务管理控制台，您可以查看节点池的基本信息、监控信息、节点池中的全部节点信息和节点伸缩活动的记录。前提条件 已创建Kubernetes集群。具体操作，请参见 创建Kubernetes托管版集群。Kubernetes集群连通性正常。具体操作，请参见...
采集数据
步骤五：配置虚拟节点（WorkShop_Start）本教程通过WorkShop_Start节点实现每天00:15统一调起用户画像分析业务流程执行，WorkShop_Start属于管控类节点，不需要配置节点代码，节点调度配置如下。进入WorkShop_Start编辑页面。在 数据开发 ...
采集数据
步骤五：配置虚拟节点（WorkShop_Start）本教程通过WorkShop_Start节点实现每天00:15统一调起用户画像分析业务流程执行，WorkShop_Start属于管控类节点，不需要配置节点代码，节点调度配置如下。进入WorkShop_Start编辑页面。在 数据开发 ...
加工数据
本案例设置加工任务为日调度任务，并通过指定workshop_start节点实现整个工作流每日00:15开始调度。增量数据加工：使用 调度参数，通过 分区名+动态参数 的方式，实现调度场景下，每日将增量数据写入目标表对应时间分区。数据加工过程：...
加工数据
本案例设置加工任务为日调度任务，并通过指定workshop_start节点实现整个工作流每日00:15开始调度。增量数据加工：使用 调度参数，通过 分区名+动态参数 的方式，实现调度场景下，每日将增量数据写入目标表对应时间分区。数据加工过程：...
构建调度器插件
假设，您需要在插件中实现节点操作中的添加节点和删除节点功能，以及队列操作的队列枚举功能，那么只需在配置文件中将NodeAdd与NodeDel设置为true，将NodeOnline与NodeOffline设置为false，并且将QueueList设置为true，将QueueAdd、...
确认表血缘
任务配置上下游节点依赖前，您需先确认当前节点的表血缘关系（例如，表数据间的血缘关系、表产出的分区数据），基于血缘关系配置节点的调度依赖。本文为您介绍如何确认表血缘，以及未基于表血缘配置节点依赖的影响。背景信息 确认表血缘，...
最佳实践
抢占式实例节点池最佳实践 使用ContainerOS实现节点极速扩容 迁移游离节点至节点池 如何选择Docker运行时、Containerd运行时、或者安全沙箱运行时？使用自定义镜像创建CGroup V2节点 网络 使用Ambassador Edge Stack管理Ingress资源 通过...
启用节点自动伸缩
当集群的容量规划无法满足应用Pod调度时，您可以使用 节点自动伸缩 方案实现节点的自动扩缩。节点自动伸缩 适用于扩容规模较小（例如开启弹性的节点池数量少于20，或对应节点池中的节点数量少于100），工作负载批次较为稳定，以单次伸缩为...
使用ContainerOS实现节点极速扩容
本文介绍如何使用ContainerOS实现节点极速扩容。索引 前提条件 注意事项 ContainerOS扩容优势 操作步骤 Kube Controller Manager限流调整 Kube Scheduler限流调整 APIServer数量调整 相关文档 前提条件 已配置ContainerOS为托管节点池的...
yurt-app-manager
使用说明 yurt-app-manager组件提供两个控制器功能：NodePool和UnitedDeployment，分别实现节点单元化和应用的单元化功能。更多信息，请参见 边缘节点池概述 和 使用单元化部署应用模型。说明 该组件在创建 ACK Edge集群 时会默认安装。...
创建多可用区分片集群实例
Shard组件：每个Shard组件的主节点（Primary节点）、从节点（Secondary节点）与隐藏节点（Hidden节点）并非顺序部署在三个可用区中，节点所在的可用区可能会随着手动切换主备节点或触发高可用系统而改变。ConfigServer组件：每个...
创建节点池
托管节点池：在普通节点池基础上，提供CVE自动修复、自动触发故障节点修复等能力，从而实现托管的自动化节点运维。更多信息，请参见 托管节点池概述。说明 仅ACK Pro集群支持托管节点池。两种节点池的差异，请参见 托管节点池与普通节点池...
存证服务API
BaaS 提供自定义 RPC 协议来实现节点连接。以下介绍 Java SDK 实现的 API 客户端。Client Client 类是 antblockchain-gl API 通讯协议的实现，客户端是线程安全的，多线程可以显著提高 SDK 的性能，但不是越多越好，您需要根据实际需求测试...
组复制简介
例如，5个节点的集群，3个节点收到Binlog，2个节点未收到Binlog，此时有2个节点故障：如果故障的2个节点是收到Binlog的节点，那至少还有1个节点上有数据。如果故障的2个节点是没收到Binlog的节点，那至少还有3个节点上有数据。说明 多数派...
功能介绍
删除不可用节点 当您不再使用被 取消导出到蓝图编辑器 的资产节点时，可以单击工具栏中的 删除不可用节点 图标（），删除当前无用节点，并清除该节点的所有交互配置。重要 删除后，节点或连线都将无法恢复，请谨慎操作。搜索节点 单击工具...
运行及排错
本文为您介绍如何实现节点的运行、运维，并通过查看日志进行排错。背景信息 在 设置周期和依赖 的操作中，您配置了每周二凌晨2点执行离线同步节点。提交节点后，需要到第2天才能看到调度系统自动执行的结果。DataWorks为您提供测试运行、补...
功能发布记录
2024年 2024年03月 功能名称 功能概述 发布时间 发布地域和版本 相关文档及链接 支持存储在线扩容 针对ES 7.16、8.5和8.9高版本，上线数据节点存储空间在线扩容能力，支持不重启节点完成磁盘扩容，有效提升变更效率，为云上用户提供更稳定...
- 产品推荐
- 这些文档可能帮助您