数据湖集群
E-MapReduce（简称EMR）新版控制台提供了数据湖集群，一个更灵活、可靠，以及高效的大数据计算集群。同时，您可以基于该集群轻松构建一个可扩展的数据管道。本文为您介绍数据湖集群支持的特性，以及与旧版Hadoop集群之间的差异。数据湖集群...
新功能发布记录
2022-07-18 使用ECI弹性调度Flink作业 2022年6月 功能名称 功能概述 发布时间 相关文档 数据湖集群 E-MapReduce（简称EMR）新版控制台提供了数据湖集群，一个更灵活、可靠，以及高效的大数据计算集群。2022-06-01 数据湖集群 Spark集群关联...
集群自定义监控报表
集群数据库 io_write_rt SSStore 每次写入平均耗时 集群数据库 io_read_size SSStore 每秒读取数据量 集群数据库 io_size SSStore 每秒处理数据量 集群数据库 io_write_size SSStore 每秒写入数据量 集群数据库 transaction_multi_...
迁移StarRocks数据至EMR Serverless StarRocks
本文将指导您如何使用StarRocks跨集群数据迁移工具，在源集群保持在线且业务服务不中断的状态下高效、安全地进行数据复制。该工具提供全量及增量同步功能，旨在为您提供一键式解决方案，实现源集群数据无缝迁移至目标集群，确保数据一致性...
2023年
该地域项目的存储、下载后付费账单归属的 产品明细 将从 大数据计算服务MaxCompute（包月）变成 大数据计算服务MaxCompute（按量付费），同时对应的用量明细选择的计量规格变成 大数据计算服务MaxCompute（按量付费）。当您使用的包年包月...
集群扩容
当Databricks 数据洞察集群计算资源或存储资源不足时，您可以对集群进行水平扩展。目前支持Worker 实例的扩容。扩容操作步骤 登录阿里云 Databricks 数据洞察控制台。在左侧导航栏的菜单下，单击 集群管理。选择想要扩容的集群，单击 集群...
控制台发布记录
2022-11-20 集群保护锁 新增全局只读节点 在产品系列为多主集群（库表）的集群中，您可以通过增加全局只读节点的方式，来读取集群中所有读写节点的数据，以处理跨节点的汇聚库请求，而无需额外配置数据同步和部署独立的集群资源来实现数据...
ECS实例说明
本文介绍E-MapReduce（简称EMR）支持的ECS实例类型，以及各实例类型适用的场景。EMR支持的ECS实例类型 通用型 vCPU:Memory=1:4。例如，8核32 GiB，使用云盘作为存储...Task计算实例 用于补充集群的计算能力，可以使用除大数据型外的所有机型。
使用限制
研发工作台 数据处理 不支持项目所属的计算引擎源在跨集群的情况下读取数据。非Dataphin创建的表，Dataphin中元数据可能无法获取或者更新相关信息。研发工作台 即席查询 逻辑表查询时，必须使用业务板块的英文名作为前缀。跨项目物理表使用...
使用MirrorMaker 2（Dedicated）跨集群同步数据
具体操作，请参见 使用MirrorMaker 2（on Connect）跨集群同步数据。Dedicated MirrorMaker集群方式：不需要使用Connect集群执行MM2 connector任务，而是直接通过Driver程序管理MM2的所有任务。您可以参照本文通过Driver程序来管理MM2任务...
使用MirrorMaker 2（on Connect）跨集群同步数据
本文通过示例为您介绍如何使用MirrorMaker 2（简称MM2）on Kafka Connect跨集群同步数据。背景信息 使用场景 Kafka MM2适用于下列场景：远程数据同步：通过MM2，Kafka数据可以在不同地域的集群进行传输复制。灾备场景：通过MM2，可以构建...
使用说明
支持数据库跨节点动态调度，秒级完成切换，极大提升实例整体并发读写能力。本文介绍 多主集群（库表）的使用说明。前提条件 已购买 多主集群（库表）集群。具体操作请参见 购买按量付费集群 和 购买包年包月集群。已创建高权限账号。具体...
外部表概述
随着大数据业务的不断扩展，新的数据使用场景在不断产生，MaxCompute计算框架也在不断演化。MaxCompute原来主要面对内部特殊格式数据的强大计算能力，正一步步地开放给不同的外部数据。现阶段MaxCompute SQL处理的主要是以 cfile 列格式...
通过CCR跨集群复制解决跨集群容灾场景
Elasticsearch（简称ES）集群出现灾难性事件，例如，硬件故障、软件错误、数据中心故障、自然灾害或其他导致服务中断的情况，可使用跨集群复制CCR（Cross Cluster Replication）实现跨地域或跨资源的容灾能力，本文分别介绍新老网络架构下...
功能特性
管理节点组 节点组扩容 当E-MapReduce集群计算资源或存储资源不足时，您可以通过水平扩展Core节点和Task节点来满足需求。扩容集群 节点组缩容 当E-MapReduce集群的计算资源过剩时，您可以缩减Task节点的数量。缩容集群 节点组磁盘扩容 当E-...
PingCAP与阿里云计算巢联合方案深度解析：数据库软件...
此外，针对跨3AZ的高可用版本，计算巢会自动过滤出相关规格有充足库存的可用区，同时在用户选择可用区时实现可用区选项的自动校对，避免人为的误操作，保证3个集群跨可用区的严格打散，省去了用户核对库存和可用区挑选的麻烦。所以，通过...
高可用性
跨集群OSS仓库引用 除了默认的备份恢复功能，阿里云Elasticsearch还支持跨集群OSS仓库设置。通过该设置，您可以将已进行了自动快照备份的源Elasticsearch实例仓库中的数据，恢复到目标Elasticsearch实例中。详细信息，请参见 设置跨集群OSS...
快速入门
本文介绍 分布式云容器平台 ACK One 的快速使用流程、快速使用方式和文档使用指引，帮助您快速上手 ACK ...同地域跨集群迁移应用 跨地域跨集群迁移应用 自建Kubernetes集群应用迁移至线上ACK集群 其他云厂商Kubernetes集群应用迁移至ACK集群
企业版和标准版功能对比
PolarDB MySQL版 企业版和标准版在功能上有很多差异，可分为集群管理、弹性管理、高性能、备份与恢复、高可用性、高安全、连接管理、高性价比、监控与优化、DB for AI、数据迁移&同步等11个类别。本文为您介绍这两个版本的功能区别，帮助您...
什么是EMR on ACK
您可以将开源大数据服务部署在阿里云容器服务Kubernetes版（ACK）之上，利用ACK在服务部署和容器应用管理的优势，减少对底层集群资源的运维投入，以便于您可以更加专注大数据任务本身。形态对比 阿里云EMR提供on ECS和on ACK两种方式，以...
注册集群概述
支持跨集群作业任务调度，提供面向多集群优化的TensorFlow、Spark、CronJob等作业任务分发和调度。AI推理：提供GPU共享，资源利用率可提高约300%。支持异构资源弹性伸缩，提供云上云下统一的弹性调度管理。CPU智能调度：针对裸机的智能CPU...
产品优势
高可用和高可靠保障，数据安全可靠 共享分布式存储的设计，彻底解决了主从（Master-Slave）异步复制所带来的备库数据非强一致的缺陷，使得整个数据库集群在应对任何单点故障时，可以保证数据零丢失。多可用区架构，在多个可用区内都有数据...
ACK One概述
支持跨集群作业任务调度，提供面向多集群优化的TensorFlow、Spark、CronJob等作业任务分发和调度。AI推理：提供GPU共享，资源利用率可提高约300%。支持异构资源弹性伸缩，提供云上云下统一的弹性调度管理。CPU智能调度：针对裸机的智能CPU...
功能特性
分布式云容器平台ACK One 分布式云容器平台ACK One（Distributed Cloud Container Platform for ...同地域跨集群迁移应用 跨地域跨集群迁移应用 自建Kubernetes集群应用迁移至线上ACK集群 其他云厂商Kubernetes集群应用迁移至ACK集群
Logview诊断实践
根据Logview的子状态（SubStatusHistory）可以进一步细分为调度、优化、生成物理执行计划、数据跨集群复制等子阶段。编译阶段的问题主要表现为在某个子阶段卡住，即作业长时间停留在某一个子阶段。下面将介绍作业停留在每个子阶段的可能...
查看集群性能
E-HPC优化器是性能监控与剖析平台，支持集群性能指标、查看集群性能历史记录、分析进程级的性能热点。您可以根据E-HPC优化器展示的性能大盘及性能数据优化集群性能。查看性能大盘 登录 弹性高性能计算控制台。在顶部菜单栏左上角处，选择...
手动更换可用区
PolarDB 支持手动更换主可用区或备可用区，您可以通过该功能将数据库集群计算节点迁移到其他可用区。使用场景和注意事项 更换主可用区 更换集群主可用区的功能适用于灾难恢复或者让ECS就近访问的场景。主备可用区切换过程中，会出现1~2次约...
购买按量付费集群
步骤1：完成基础配置 基础配置包括购买集群的基础需求（计费类型、地域可用区）以及集群所需的基础资源（数据库引擎、集群计算规格、数据库代理、存储）。完成基础设置后，单击 下一步：集群配置。前往 PolarDB集群购买页面。选择 计费类型...
什么是PolarDB MySQL企业版
共享分布式存储 多个计算节点共享一份数据，而不是每个计算节点都存储一份数据，极大地降低了用户的存储成本。基于全新打造的分布式块存储（Distributed Storage）和文件系统（Distributed Filesystem），存储容量可以在线平滑扩展，不会受...
全量恢复方式1：从备份集恢复
表名大小写 设置集群表名是否区分大小写，您可以选择 不区分大小写（默认）或当本地数据库区分大小写时，您可以选择 区分大小写，便于您迁移数据。说明 集群创建后该参数无法修改，请谨慎选择。代理规格 数据库代理规格。取值范围如下：2C...
购买按量付费集群
步骤1：完成基础配置 基础配置包括购买集群的基础需求（计费类型、地域可用区）以及集群所需的基础资源（数据库引擎、集群计算规格、数据库代理、存储）。完成基础设置后，单击 下一步：集群配置。前往 PolarDB集群购买页面。选择 计费类型...
EMR+DLF数据湖解决方案
步骤三：初始化数据 初始化数据一般常见的几种情况如下：已有大数据集群，需要进行数据迁移，此时可以考虑通过 Jindo DistCp 工具将老集群的数据迁移到OSS中。从RDS/MySQL/Kafka 等业务系统接入数据，此时可以考虑通过实时计算Flink实现...
创建云原生数据仓库 AnalyticDB MySQL 版（AnalyticDB...
说明 一键建仓支持跨地域同步数据，例如您可以将杭州地域的RDS数据同步到上海 AnalyticDB MySQL 集群中，跨地域详情以具体页面为准。云原生数据仓库 集群地域 从 集群地域 下拉列表，选择 AnalyticDB MySQL 集群所在地域。集群名称 从 集群...
全量恢复方式2：恢复到过去时间点
表名大小写 设置集群表名是否区分大小写，您可以选择 不区分大小写（默认）或当本地数据库区分大小写时，您可以选择 区分大小写，便于您迁移数据。说明 集群创建后该参数无法修改，请谨慎选择。多可用区数据强一致 默认与原集群保持一致，...
跨地域灾备
功能说明 MaxCompute提供便捷的跨地域灾备功能，允许您直接在云端将数据从源集群（主集群）备份至目标集群（备份集群），无需借助外部存储迁移数据。此数据备份持续进行，可以保证重要数据在另一个地域也存在一份备份。同时MaxCompute统一...
ACK One Fleet实例跨云平台或跨账号管理多集群实践
方案优势 提供统一的控制台界面和API接口，支持对集群、计算、网络、存储、安全、监控、日志、作业、应用、流量等进行企业级的运维管控。面向云突发的业务波峰，业务自动或者定时触发弹性扩容和缩容云上资源，降低综合业务成本。开箱即用的...
规格与定价（金融云）
全球数据库网络GDN（可选）目前全球数据库网络（GDN）跨地域传输流量0折优惠，您只需要支付每个金融云 PolarDB 集群自身的费用，关于 PolarDB 集群自身费用，请参见 计算节点计费规则。常见问题 Q：如果增加一个只读节点，价格如何收费？A...
数据湖元数据管理
横向使用多种大数据计算引擎，例如Databricks 数据洞察、MaxCompute、EMR等，元数据可以集中管理。多个Databricks 数据洞察集群，可以统一管理元数据。创建集群 创建Databricks 数据洞察集群时，如图 元数据选择 为 数据湖元数据 方式，...
术语
固定规格计算包（Compute Plan）固定规格计算包是 PolarDB 推出的一款降低集群计算成本的资源包。固定规格计算包支持与按量付费集群配合使用。购买固定规格计算包后，按量付费集群中的计算节点费用将不再按小时计费，而是由固定规格计算包...
数据迁移
MaxCompute为您提供了完善的数据迁移方案以及多种经典的分布式计算模型，能够快速地解决海量数据存储和计算问题，有效降低企业成本。DataWorks 为MaxCompute提供一站式的数据集成、数据开发、数据管理和数据运维等功能。其中：数据集成 为...
- 产品推荐
- 这些文档可能帮助您