集群恢复：按备份集恢复
若您要恢复至的时间点是某个备份集（快照）的时间点，可通过按备份集（快照）恢复的方式恢复全量集群数据。前提条件 请确保误操作前已存在备份集（快照）。建议在业务低峰期进行数据恢复。注意事项 恢复后的集群包含原集群的数据和账号信息...
GetCluster-获取集群
c-b933c5aac8fe*返回参数 名称 类型 描述 示例值 object 返回数据 Cluster Cluster 集群详情。RequestId string 请求 ID。DD6B1B2A-5837-5237-ABE4-FF0C8944*示例 正常返回示例 JSON 格式 {"Cluster":{"RegionId":"cn-hangzhou",...
查询集群主机列表
调用ListClusterHost接口查询集群主机列表，包括磁盘和CPU内存配置等信息。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。请求参数 名称 类型 是否必选 ...
概述
数据备份物理空间大小如下图所示：说明 PolarDB 集群 数据备份物理空间大小（上图中①所示）：指数据备份的收费对象，物理空间大小是指所有数据备份（快照）独占的物理空间大小之和，PolarDB集群的数据与多个数据备份（快照）会复用相同的...
使用DBLink跨库查询数据
注意事项 目前仅支持在源集群上查询目标集群数据，不支持在目标集群上查询源集群数据。参数配置 PolarDB PostgreSQL版（兼容Oracle）提供了 polar_enable_pushable_unsafe_collate_remote 和 polar_enable_pushable_all_any_remote 参数，...
迁移StarRocks数据至EMR Serverless StarRocks
本文将指导您如何使用StarRocks跨集群数据迁移工具，在源集群保持在线且业务服务不中断的状态下高效、安全地进行数据复制。该工具提供全量及增量同步功能，旨在为您提供一键式解决方案，实现源集群数据无缝迁移至目标集群，确保数据一致性...
功能特性
数据湖集群 数据服务集群 节点管理 节点组管理 节点组是您使用阿里云E-MapReduece服务对集群节点进行管理的核心单元，通常是由相同规格的ECS实例组成。管理节点组 节点组扩容 当E-MapReduce集群计算资源或存储资源不足时，您可以通过水平...
查询集群机器组列表
返回数据 名称 类型 示例值 描述 ClusterId String C-D7958B72E59B*集群ID。HostGroupList Array of HostGroup 集群的机器组信息列表。HostGroup ChargeType String PostPaid 当前机器组的付费方式：PostPaid：按量付费集群 PrePaid：包年...
从RDS导入数据至ClickHouse
您可以通过RDS MySQL表引擎或表函数导入数据至ClickHouse集群。本文为您介绍如何将RDS中的数据导入至ClickHouse集群。前提条件 已购买RDS，详情请参见 创建RDS MySQL实例。已创建ClickHouse集群，详情请参见 创建集群。使用RDS MySQL表引擎...
将自建ClickHouse向企业版迁移
如果源集群支持从外部网络访问时，您可以将源集群数据读取至目标集群；如果源集群不支持从外部网络访问时，您可以将源集群数据推送至目标集群。（可选）在目标集群上将源集群的IP地址删除。从源集群中删除只读用户。操作步骤 在源集群上...
创建ClickHouse数据源
若您要使用DataWorks进行ClickHouse集群任务的开发、管理，需先将您的ClickHouse集群创建为DataWorks的ClickHouse数据源。创建完成后，可在DataWorks的各功能模块使用该数据源连接ClickHouse集群，进行相应的数据同步、数据开发、数据分析...
手动续费专属集群
数据传输服务DTS（Data Transmission Service）是一种预付费服务，专属集群到期后会造成专属集群数据（含运行在专属集群的任务）被删除且不可恢复。为了避免专属集群的数据因到期而被删除，您可以选择手动完成续费或者开通自动续费功能。...
升级数据库大版本
注意事项 升级分片集群实例的数据库大版本时，实例的协议类型需为 MongoDB协议。升级采用轮转升级的方式进行，升级过程中会自动对实例进行2~3次重启，请在业务低峰期执行并确保应用程序具有重连机制。说明 推荐生产环境的应用程序通过...
设置集群身份映射
数据权限 您可在EMR集群通过权限管理相关组件服务实现DataWorks上各用户的数据权限隔离。例如，通过Ranger组件对阿里云账号对应的集群用户进行权限管控。详情请参见 Ranger概述。如果EMR已将DLF设置为元数据服务，并开启DLF-Auth组件实现...
常见问题
本文汇总了DataFlow集群使用时的常见问题。集群使用与运维：DataFlow集群外的机器，如何提交作业到DataFlow集群？在DataFlow集群外机器上，如何解析DataFlow集群中的hostname？如何查看Flink作业的运行状态？如何访问Flink作业的日志？如何...
创建集群
调用CreateClusterV2，创建一个E-MapReduce集群。说明 如果您在2022年12月19日17点（UTC+8）以后第一次创建EMR集群，无法使用该接口创建集群，请使用 CreateCluster。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰...
ListDoctorComputeSummary-批量获取集群资源使用结果
通过EMR Doctor根据过滤条件批量获取集群资源使用情况。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 当前API暂无授权信息透出。请求参数 ...
创建集群模板
调用CreateClusterTemplate接口，创建一个E-MapReduce集群模板。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。请求参数 名称 类型 是否必选 示例值 描述 ...
Smartbi
成功连接至 AnalyticDB MySQL版 集群后，您可以在Smartbi 数据连接 下拉列表中找到 AnalyticDB MySQL版 集群数据库，并通过 数据库管理（S）来添加数据库资源。具体操作步骤，请参见 数据库管理。使用Smartbi 完成上述操作后，您可以连接并...
HBase Replication
put 'usertable','uid-foo','f:q','bar' 验证备集群数据。登录备集群节点，查看备集群usertable表是否已经复制了新数据，命令如下所示。get 'usertable','uid-foo' COLUMN CELL f1:q timestamp=2022-12-08T17:05:20.392,value=bar 1 row(s)...
全球数据库常见问题
创建从集群与主集群数据量以及新建集群耗时有关，第一次拷贝数据较慢请耐心等待。GDN不支持同时创建多个从集群，请在当前从集群创建结束后，再创建新的从集群。从集群不支持创建账号，请在主集群修改账号权限，会同步到从集群。从集群只...
项目管理
创建E-MapReduce集群后，您可以在数据开发中创建项目，并在项目中进行作业的编辑和工作流的调度。新建项目之后，您可以对项目进行管理，为项目关联集群资源、添加项目成员以及设置全局变量。前提条件 已创建集群，详情请参见 创建集群。...
CLB释放和挂载
当您在使用ClickHouse集群实例进行大规模数据处理并希望确保高效负载均衡时，云数据库ClickHouse集群会默认为您挂载CLB。挂载CLB后，ClickHouse集群将实现自动故障转移，通过健康检查分配流量至正常节点，确保集群高可用。挂载CLB属于依赖...
集群性能监控概述
详细的监控说明，请参见 集群数据库监控详情、集群主机监控详情、数据库代理监控详情、数据库代理主机监控详情。说明 代理相关监控目前仅针对白名单用户开放，如需开通，请咨询技术支持。通过租户或节点的筛选项，可进行下拉筛选多个租户或...
HBase存算一体转存算分离
本文为您介绍对于EMR-HBase集群，如何将存算一体架构转换为存算分离架构。操作步骤 停止HBase服务。首先通过flush操作来保证内存中所有表的数据都已经刷新到HFile，并执行Disable table来禁用相关的表，避免写入新的数据。停止HMaster和...
查询集群基本信息
Status String IDLE 集群状态：CREATING：集群创建中 CREATE_FAILED：集群创建失败 RUNNING：运行中 IDLE：集群空闲 RELEASING：集群释放中 RELEASE_FAILED：集群释放失败 RELEASED：集群已释放 WAIT_FOR_PAY：待支付 ABNORMAL：集群状态...
查询数据开发中可用的集群列表
调用ListFlowClusterAll接口，查询数据开发可用的集群列表。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。请求参数 名称 类型 是否必选 示例值 描述 ...
快速使用ClickHouse
本文通过示例为您介绍，如何快速将数据随机写入ClickHouse集群各个节点的本地表。前提条件 已创建ClickHouse集群，详情请参见 创建ClickHouse集群。操作步骤 使用SSH方式登录ClickHouse集群，详情请参见 登录集群。执行以下命令，下载官方...
产品概述
什么是E-MapReduce 开源大数据开发平台E-MapReduce（简称EMR），是运行在阿里云平台上的一种大数据处理的系统解决方案。EMR基于开源的Apache Hadoop和Apache Spark，让您可以方便地使用Hadoop和Spark生态系统中的其他周边系统分析和处理...
产品简介
开源大数据开发平台E-MapReduce（简称EMR）是运行在阿里云平台上的一种大数据处理系统解决方案。EMR基于开源的Apache Hadoop和Apache Spark，让您可以方便地使用Hadoop和Spark生态系统中的其他周边系统分析和处理数据。EMR还可以与阿里云...
HDFS的部署拓扑
本文分别为您介绍非高可用集群和高可用集群的HDFS组件的部署拓扑信息。非高可用集群 节点 组件 描述 master-1-1（部分版本为 emr-header-1）NameNode NameNode对外提供读写服务。SecondaryNameNode SecondaryNameNode合并NameNode的edits...
查看集群信息
本文为您介绍如何查看Data Science集群的列表信息和详细信息。前提条件 已在EMR on ACK上创建Data Science类型的集群，创建详情请参见 创建Data Science集群。查看集群列表 登录 EMR on ACK。在EMR on ACK页面，可以查看集群列表信息。参数...
升级内核大版本
本文介绍如何通过集群间的数据迁移升级内核大版本。前提条件 源集群和目标集群均为社区兼容版集群。源集群和目标集群已具备数据库账号和密码。源集群和目标集群的副本需一致。源集群和目标集群需在同一地域，且使用相同的VPC。源集群和目标...
克隆集群
前提条件 已创建数据湖（DataLake）、实时数据流（DataFlow）、数据分析（OLAP）、数据服务（DataServing）和自定义场景（Custom）的集群，详情请参见 创建集群。使用限制 如果已有集群的产品版本、业务场景或地域不存在，则不支持克隆。...
存储空间分析
您可以在 AnalyticDB for MySQL 空间总览页面查看集群和表的总数据量、冷数据量、热数据量、索引数据量、分区数量、节点的磁盘使用率等指标。查看集群级别的数据量 通过 空间总览 可以查看当前集群的 总数据量、热数据量、冷数据量、以及 ...
跨地域灾备
如果您要恢复备份，需要重新建立灾备配置，并重新传输全部主集群数据到备份集群。灾备监控 您可以在 灾备管理 页面，单击目标项目 操作 列的 监控，查看主集群、备份集群当前已经存储的数据大小和历史累计跨地域复制产生的流量。此信息随跨...
更换集群损坏的本地盘
使用由本地盘机型（i系列和d系列）构建的E-MapReduce（简称EMR）集群时，您可能会收到本地盘受损事件的通知。本文为您介绍如何更换集群中损坏的本地盘。注意事项 建议您使用缩减异常节点并增加新节点的方法来解决此类问题，以避免对业务...
查看集群资源概览
前提条件 已创建数据湖（DataLake）或自定义场景（Custom）类型的集群，且选择了YARN服务。创建集群详情，请参见 创建集群。操作步骤 进入弹性伸缩页面。登录 EMR on ECS。在顶部菜单栏处，根据实际情况选择地域 和资源组。单击目标集群的...
DBLE与PolarDB多主集群（库表）结合使用最佳实践
使用PolarDB多主集群（库表）之后，您可以省去大部分手工扩展数据库集群的工作。您只需要通过控制台或OpenAPI为PolarDB多主集群（库表）增加节点即可。在业务低峰期，配合业务系统的停写，再执行 ALTER DATABASE name POLARDB_WRITE_NODE x...
查看服务监控指标
E-MapReduce（简称EMR）自动采集集群服务指标，并自动同步到云监控服务。您可以在EMR控制台查看集群服务常用指标，并可以在云监控控制台设置指标的阈值告警及自定义设置图表大盘。前提条件 已创建集群，详情请参见 创建集群。在EMR控制台...
- 产品推荐
- 这些文档可能帮助您