创建CDH Impala节点
在DataWorks中，CDH Impala节点可以编写并执行Impala SQL脚本。与CDH Hive相比，CDH Impala节点为您提供了更快速的查询性能。本文为您介绍如何创建与使用CDH Impala节点。使用限制 不支持 公共调度资源组 运行该类型任务。步骤一：创建CDH ...
创建EMR Hive节点
您可以创建EMR（E-MapReduce）HIVE节点，通过类SQL语句协助读写、管理存储在分布式存储系统上的大数据集的数据仓库，完成海量日志数据的分析和开发工作。前提条件 数据开发（DataStudio）中已创建业务流程。数据开发（DataStudio）基于业务...
创建CDH Hive节点
如果您已部署CDH集群并希望借助DataWorks执行Hive任务（例如，数据查询作业或处理批量数据），可以使用CDH Hive节点。本文为您介绍如何创建CDH Hive节点。前提条件 数据开发（DataStudio）中已创建业务流程。数据开发（DataStudio）基于...
创建CDH Presto节点
在DataWorks中，CDH Presto节点可以实现实时数据分析。该节点提供了分布式SQL查询引擎，进一步增强了CDH环境的数据分析能力。本文为您介绍如何创建和使用CDH Presto节点。前提条件 数据开发（DataStudio）中已创建业务流程。数据开发...
创建CDH MR节点
在DataWorks任务开发中，您可以通过创建CDH MR（MapReduce）节点处理超大规模的数据集。本文为您介绍如何在DataWorks中创建并使用CDH MR节点。前提条件 数据开发（DataStudio）中已创建业务流程。数据开发（DataStudio）基于业务流程对不同...
创建EMR Spark SQL节点
您可以通过创建EMR（E-MapReduce）Spark SQL节点，实现分布式SQL查询引擎处理结构化数据，提高作业的执行效率。前提条件 数据开发（DataStudio）中已创建业务流程。数据开发（DataStudio）基于业务流程对不同开发引擎进行具体开发操作，...
创建EMR Presto节点
Presto（即PrestoDB）是一款灵活、可扩展的分布式SQL查询引擎，支持使用标准的SQL查询语言进行大数据的交互式分析查询（Presto概述），DataWorks为您提供EMR Presto节点，便于您在DataWorks上进行Presto任务的开发和周期性调度。...
登录集群
确保本地服务器与集群主节点网络连通。您可以在创建集群时打开 挂载公网 开关，或者在集群创建好之后在ECS控制台上为主节点挂载公网，为主节点ECS实例分配固定公网IP或EIP，详情请参见 绑定辅助弹性网卡。集群安全组已开放22端口。登录集群...
莉莉丝《剑与远征》：动态加速提升用户体验
自建加速链路复杂且不安全，玩家互动延迟的改善依赖于加速传输网络当中的节点和基础设施的质量，其中的路由选择和协议优化也需要定制化开发，对于自建加速链路来说非常复杂，需要具备一定端上的探测能力和智能路由策略。同时核心链路容易...
创建MTR丢包率报警规则
当您需要实时获知并监控ENS节点网络MTR丢包率数据时，可以通过云监控报警服务进行监控，快速得知网络质量数据异常，以便及时处理问题。背景信息 MTR丢包率是指源节点到所有同运营商节点的平均丢包率。探测规则：源节点每分钟对同运营商的...
解读实例诊断报告
连接数使用率（数据节点）80%数据节点的连接数被打满后将会导致连接超时或失败。说明 如果实例为集群架构，且客户端通过 直连地址 连接至 Tair 实例，此指标具备参考价值。如果实例为集群或读写分离架构，且客户端通过Proxy节点连接至 Tair...
解读实例诊断报告
连接数使用率（数据节点）80%数据节点的连接数被打满后将会导致连接超时或失败。说明 如果实例为集群架构，且客户端通过 直连地址 连接至Redis实例，此指标具备参考价值。如果实例为集群或读写分离架构，且客户端通过Proxy节点连接至Redis...
历史功能发布记录（2021年）
全部 使用VPC的多路由表功能 节点池支持期望节点数 期望节点数是节点池最新添加的属性，目的是让您以面向终态的视角调整节点池中的节点数。例如设置的期望节点数大于当前节点数，提交后将会触发扩容操作，反之即为缩容操作。扩缩容会根据您...
节点规划
目标配置提供如下能力：可以对集群进行查询节点数量、数据节点副本数进行修改，若实例规格小于修改数，则提示相应报错，可对实例进行相应的 扩容：同时也可以对实例的查询节点规格、查询节点数量、数据节点规格、数据节点数量进行扩容：...
节点规划
目标配置提供如下能力：可以对集群进行查询节点数量、数据节点副本数进行修改，若实例规格小于修改数，则提示相应报错，可对实例进行相应的 扩容：同时也可以对实例的查询节点规格、查询节点数量、数据节点规格、数据节点数量进行扩容：...
集群负载不均问题的分析方法及解决方案
客户端使用长连接，新建连接比较少，恰恰命中了多可用区网络独立调度的风险（网络服务是基于连接数独立调度的，每个调度单元会选择自己认为最优的节点进行创建，独立调度的性能会更高，但独立调度的风险是当新连接比较少的时候，有一定概率...
基本概念
一个网络环境中仅需要一个挂载点即可被同网络环境下的数百个计算节点同时使用。挂载点的网络类型必须与计算节点一致，即专有网络的计算节点只能挂载专有网络的挂载点，经典网络的计算节点只能挂载经典网络的挂载点。权限组 权限组用于配置...
弹性并行查询（ePQ）发布说明
如果是远程节点执行Physical Plan，还需要将Physical Plan序列化为二进制协议，通过内部网络通道传输到远程节点上执行。PolarDB 基于共享存储的ePQ架构，在跨节点一致性视图机制的保证下，子任务在任意节点执行都能读取到正确的数据。核心...
历史功能发布记录（2022年）
全部 动态在线扩容云盘数据卷 ACK@Edge增强型网络边缘节点池正式商业化 ACK@Edge增强型网络边缘节点池基于SDN解决方案，提供安全、快速的云边协同网络，边缘节点池应用可直接通过VPC内网访问云端。相比于普通型公网网络，具有更好的云边...
创建ACK Edge集群
期望节点数 节点池应该维持的总节点数量。您可以通过调整期望节点数，达到扩容或缩容节点池的目的。如无需创建节点，可以填写为0。更多信息，请参见 扩缩容节点池。系统盘 支持 ESSD AutoPL、ESSD云盘、SSD云盘 和 高效云盘。系统盘可选的...
区块链服务 BaaS 介绍
存储安全：数据多节点存储，单节点数据丢失不影响整个网络，节点间数据同步机制保障数据的正确复制，提供数据归档工具，可以归档数据并使用传统方式备份。可信执行环境与跨链技术 蚂蚁区块链基于硬件可信执行环境（TEE）提供强隐私和高性能...
采集数据
背景信息 数据集成 是稳定高效、弹性伸缩的数据同步平台，致力于提供复杂网络环境下、丰富的异构数据源之间高速稳定的数据移动及同步能力，提供离线同步、增量同步、全增量数据实时同步等多种同步方案。本教程采用离线同步方案，DataWorks...
采集数据
背景信息 数据集成 是稳定高效、弹性伸缩的数据同步平台，致力于提供复杂网络环境下、丰富的异构数据源之间高速稳定的数据移动及同步能力，提供离线同步、增量同步、全增量数据实时同步等多种同步方案。本教程采用离线同步方案，DataWorks...
执行补数据并查看补数据实例（新版）
平台将对本次补数据任务的基本情况和潜在风险项进行检测，具体如下：基本情况：本次补数据涉及的任务数，生成的实例数，是否存在节点成环、节点孤立、实例无权限等情况。风险项检测：检测是否存在 节点成环 和 节点孤立，以上情况均会导致...
使用Terway网络插件
（ECS支持的弹性网卡数-1）×单个ENI支持的私有IP数(EniQuantity-1)×EniPrivateIpAddressQuantity 说明 节点最大容器网络Pod数量>11。0 veth datapathv2 ipvlan 共享ENI多IP模式+Trunk ENI 您需要在创建集群时选择 Trunk ENI。terway-...
API概览
RemoveNodePoolNodes 移除节点池节点 当您不再需要集群节点继续工作时，可以调用RemoveNodePoolNodes接口将集群中的节点移出节点池，并同时调整期望节点数。移除节点时，您可以选择是否同时释放ECS、是否自动排空节点。移除节点会涉及Pod...
API概览
RemoveNodePoolNodes 移除节点池节点 当您不再需要集群节点继续工作时，可以调用RemoveNodePoolNodes接口将集群中的节点移出节点池，并同时调整期望节点数。移除节点时，您可以选择是否同时释放ECS、是否自动排空节点。移除节点会涉及Pod...
API概览
RemoveNodePoolNodes 移除节点池节点 当您不再需要集群节点继续工作时，可以调用RemoveNodePoolNodes接口将集群中的节点移出节点池，并同时调整期望节点数。移除节点时，您可以选择是否同时释放ECS、是否自动排空节点。移除节点会涉及Pod...
PolarDB PostgreSQL版架构介绍
数据一致性 传统数据库的内存状态同步 传统share nothing的数据库，主节点和只读节点都有各自的内存和存储，只需要从主节点复制WAL日志到只读节点，并在只读节点上依次回放日志即可，这也是复制状态机的基本原理。基于Shared-Storage的内存...
PolarDB PostgreSQL版架构介绍
加速比 TPC-H性能：和传统MPP数仓对比 分布式执行加速索引创建 分布式并行执行加速多模：时空数据库 传统数据库的问题 随着用户业务数据量越来越大，业务越来越复杂，传统数据库系统面临巨大挑战，例如：存储空间无法超过单机上限。...
DataWorks On CDP/CDH使用说明
创建CDH Hive节点 创建CDH Spark节点 创建CDH MR节点 创建CDH Presto节点 创建CDH Impala节点 您可结合DataWorks的通用类型节点和引擎计算节点进行复杂的逻辑处理。主要节点如下：用于管控业务流程的虚拟节点。用于外部系统触发调度的HTTP...
历史功能发布记录（2020年及之前）
容器网络空间流量通过IPvlan转发到弹性网卡，大幅降低网络复杂度。说明 使用该技术需要基于Alibaba Cloud Linux 2操作系统，您需要 提交工单 开放白名单使用。全部 使用Terway网络插件 ACK Pro版开放北京、深圳、法兰克福、印尼、金融云...
ClickHouse控制台查看监控
每秒写入行数 集群各节点每秒写入的行数。TCP连接数 集群的TCP连接个数。TPS 每秒处理的事务数目。运行Query个数 正在运行的查询语句个数。运行Init Query个数 正在运行的非转发查询语句个数。运行Mutation个数 正在运行的数据订正任务个数...
创建EMR Spark节点
Spark是一个通用的大数据分析引擎，具有高性能、易用和普遍性等特点（Spark概述），可用于进行复杂的内存分析，构建大型、低延迟的数据分析应用。DataWorks为您提供EMR Spark节点，便于您在DataWorks上进行Spark任务的开发和周期性调度。...
什么是阿里云CDN
阿里云内容分发网络CDN（Content Delivery Network）是建立并覆盖在承载网之上，由遍布全球的边缘节点服务器群组成的分布式网络。阿里云CDN能分担源站压力，避免网络拥塞，确保在不同区域、不同场景下加速网站内容的分发，提高资源访问速度...
跨地域恢复数据
选择专有网络时您需要选择对应的 VPC 和 主节点交换机。说明 请确保RDS实例与需要连接的ECS实例网络类型一致（如果选择专有网络，还需要保证VPC一致），否则它们无法通过内网互通。资源组 资源组是在阿里云账号下进行资源分组管理的一种...
使用慢日志排查超时问题
代理慢日志 代理慢日志中统计的命令执行时间从代理向数据节点发出请求开始，到代理从数据节点收到相应的回复为止，包含了命令在数据节点中的执行时间、数据在网络中的传输时间以及命令的排队延迟等。代理慢日志的保留时间为72小时，无数量...
使用慢日志排查超时问题
代理慢日志 代理慢日志中统计的命令执行时间从代理向数据节点发出请求开始，到代理从数据节点收到相应的回复为止，包含了命令在数据节点中的执行时间、数据在网络中的传输时间以及命令的排队延迟等。代理慢日志的保留时间为72小时，无数量...
概述
说明 固定规格集群的Serverless功能的最大连接数与固定规格集群的最大连接数保持一致，具体请参见 产品系列和计算节点规格。固定规格集群的Serverless功能的存储 存储空间采用固定规格集群的存储，具体请参见 存储空间概览。Serverless资源...
配置数据库代理
服务节点 可选节点 和 已选节点 从左侧 可选节点 框内（包括主节点和所有只读节点），选中想要加入集群地址用于处理读请求的节点，单击 图标，将其移动到右侧 已选节点 框中。说明 节点的选择不影响读写模式：读写模式为 可读可写（自动...
- 产品推荐
- 这些文档可能帮助您