EMR Doctor概述
E-MapReduce Doctor（简称EMR Doctor）是E-MapReduce产品自研的面向开源大数据集群的智能运维诊断系统。通过EMR Doctor（即集群管理页面的“健康检查”功能）可以全局了解集群的健康状况和动态走势，为运维决策和资源优化提供有力的信息...
EMR+DLF数据湖解决方案
步骤三：初始化数据 初始化数据一般常见的几种情况如下：已有大数据集群，需要进行数据迁移，此时可以考虑通过 Jindo DistCp 工具将老集群的数据迁移到OSS中。从RDS/MySQL/Kafka 等业务系统接入数据，此时可以考虑通过实时计算Flink实现...
集群自定义监控报表
集群数据库 io_write_rt SSStore 每次写入平均耗时 集群数据库 io_read_size SSStore 每秒读取数据量 集群数据库 io_size SSStore 每秒处理数据量 集群数据库 io_write_size SSStore 每秒写入数据量 集群数据库 transaction_multi_...
新功能发布记录
2024-03-14 管理尽力交付 2023年 2023年10月 功能名称 功能概述 发布时间 相关文档 EMR正式支持倚天云服务器 阿里云E-MapReduce（简称EMR）支持使用倚天云服务器构建开源大数据集群。与现有X86架构实例体验完全相同的情况下，具有更高的性...
数据湖集群
E-MapReduce（简称EMR）新版控制台提供了数据湖集群，一个更灵活、可靠，以及高效的大数据计算集群。同时，您可以基于该集群轻松构建一个可扩展的数据管道。本文为您介绍数据湖集群支持的特性，以及与旧版Hadoop集群之间的差异。数据湖集群...
查看或申请连接地址
下一步 连接数据库集群 相关API API 描述 DescribeDBClusterEndpoints 查询集群的地址信息。CreateDBEndpointAddress 创建集群的公网地址。ModifyDBEndpointAddress 修改集群默认访问地址。DeleteDBEndpointAddress 释放集群地址。
查看或申请连接地址
下一步 连接数据库集群 相关API API 描述 DescribeDBClusterEndpoints 查询集群的地址信息。CreateDBEndpointAddress 创建集群的公网地址。ModifyDBEndpointAddress 修改集群默认访问地址。DeleteDBEndpointAddress 释放集群地址。
管理连接地址
下一步 连接数据库集群 相关API API 描述 DescribeDBClusterEndpoints-查询PolarDB集群的地址信息 查询集群的地址信息。CreateDBEndpointAddress-创建集群公网连接地址 创建集群的公网地址。ModifyDBEndpointAddress-修改集群连接地址 修改...
在工作空间创建数据源或注册集群
工作空间创建完成后，您需要先将您的数据库或数据仓库，通过创建数据源的方式添加至DataWorks工作空间，或将您的集群注册至DataWorks工作空间，以便进行数据同步、数据分析与开发、数据调度等操作。本文主要以使用正式开发环境为例，为您...
功能特性
分布式事务引擎 OceanBase 数据库的分布式事务引擎严格支持事务的 ACID 属性，并且在整个集群内严格支持数据强一致性，是全球唯一一家通过了标准 TPC-C 测试的原生分布式关系型数据库产品。OceanBase 数据库通过 Paxos 协议将事务日志复制...
实现开发生产等多套环境隔离
背景信息 很多企业用户在大数据的研发流程中有创建并隔离多套环境的需求，如创建并完全隔离开发、测试、生产环境，即各环境的数据物理存储地址、任务运行集群、大数据作业脚本均隔离，并对操作人员有严格的权限管控，如仅运维团队可使用...
配置StarRocks集群以访问高可用数据集群
如果您所使用的数据集群开启了高可用，那么在查询高可用集群中的HDFS数据时，...相关文档 如果需要访问启用了Kerberos认证的高安全数据集群，您必须使用有效的Kerberos凭证进行身份验证，详情请参见 配置StarRocks集群以访问高安全数据集群。
数据库代理服务管理
共享代理：数据库代理服务实例与其他客户共享计算资源，根据客户实际集群大小固定分配相关的数据库代理实例规格，适用于流量较为固定且平均的业务。独占代理：数据库代理服务实例单独占用计算资源，客户可以根据实际业务诉求随时扩容数据库...
对接使用CDH与CDP
以下简称 CDH）与CDP（Cloudera Data Platform，以下简称CDP）集群对接的能力，在保留CDH集群或CDP集群作为存储和计算引擎的前提下，您可以使用DataWorks的任务开发、调度、数据地图（元数据管理）和数据质量等一系列的数据开发和治理功能...
系统概述
通过集群管理系统，您可以查看集群的基本信息，完成数据管理、数据查询、集群管理等操作。同时，集群管理系统提供了集群监控和健康检查功能，支持通过系统查看集群、分组、节点、命名空间和表等多个层面的监控信息，有利于快速定位热点和...
什么是EMR on ACK
您可以将开源大数据服务部署在阿里云容器服务Kubernetes版（ACK）之上，利用ACK在服务部署和容器应用管理的优势，减少对底层集群资源的运维投入，以便于您可以更加专注大数据任务本身。形态对比 阿里云EMR提供on ECS和on ACK两种方式，以...
HBase Replication
HBase可以基于Replication功能将实时写入的数据从主集群复制到备份集群，从而提高HBase数据的可靠性和数据访问的扩展性。HBase目前支持异步Replication、串行Replication和同步Replication。本文为您介绍如何开启HBase的异步Replication...
迁移StarRocks数据至EMR Serverless StarRocks
本文将指导您如何使用StarRocks跨集群数据迁移工具，在源集群保持在线且业务服务不中断的状态下高效、安全地进行数据复制。该工具提供全量及增量同步功能，旨在为您提供一键式解决方案，实现源集群数据无缝迁移至目标集群，确保数据一致性...
连接全球数据库网络
全球数据库网络（Global Database Network，简称GDN）是由分布在同一个国家不同地域的多个 PolarDB 集群组成的网络，在本文介绍如何查看GDN的集群地址并连接GDN。GDN连接地址 GDN不提供统一的连接地址，但GDN中每个子集群（主集群和从集群...
集群性能监控概述
云数据库 OceanBase 为您提供集群实例的数据库性能和主机性能监控功能，可在 OceanBase 管理控制台中查看监控数据，还支持自定义监控能力，您可按需配置常用监控指标作为自定义监控面板。查看监控数据 进入 OceanBase 管理控制台。在左侧...
库表恢复方式1：从备份集恢复
简介 PolarDB 提供的库表恢复功能，不会覆盖和删除原集群中已有的库表，不会将数据写入原集群的库表中，而是在原集群中新建库表。您可以在库表恢复过程中指定新的库名或表名，通过指定库和表的方式，将 db1 的备份数据恢复到 db2。库表恢复...
什么是EMR on ECS
EMR on ECS将EMR的大数据处理功能与ECS的容器化部署优势相结合，使得您可以更加灵活地配置和管理EMR集群，从而更好地适应复杂的数据处理和分析场景。通过EMR on ECS，您可以快速创建、管理和运维EMR集群，同时也能够更加高效地使用计算和...
设置集群身份映射
CDP与CDH的集群身份映射配置操作基本一致，本文以CDH为例，为您介绍相关操作详情。映射类型说明 在DataWorks注册CDH集群时，可通过 默认访问身份 参数，配置后续在DataWorks运行CDH集群任务时，实际在CDH集群内执行任务代码使用的账号，...
数据导入Serverless实例
大量数据从HBase集群导入Serverless集群 由于Serverless实例的写入受到购买CU数的限制，如果大量的数据直接通过API写入Serverless实例可能会花费过多时间和消耗过多CU（根据购买CU量的多少，几十GB，几百GB，或者上TB的数据可以定义为大量...
集群版-单副本
使用场景 数据量较大 集群版可以有效地扩展数据规模量大小，相比标准版可提供更大的存储量，例如64 GB、128 GB、256 GB集群版，可以有效的满足数据扩展需求。纯缓存应用 单副本集群版的分片服务器由单节点组成，分片服务器某节点出现故障时...
存储说明
本文介绍E-MapReduce集群中数据存储相关的信息，包括磁盘角色、云盘与本地盘，以及OSS。背景信息 关于存储的类型、性能和相关的限制信息，请参见 什么是块存储。存储价格估算如下：本地盘实例存储为0.04 元/GB/月 OSS标准型存储为0.12 元/...
集群
本文将解答与集群有关的问题。Q：如何购买Databricks数据洞察集群 请使用阿里云账号进行购买，如需折扣优惠，请提工单或在产品群中联系我们享受折扣优惠。Q：可以使用阿里云子账号创建集群么？可以。但子账号必须通过主账号进行授权方可...
账号概述
拥有集群中所有数据库的所有权限。可以断开任意账号的连接。普通账号 可以通过控制台或者SQL语句创建和管理。一个集群可以创建多个普通账号，具体的数量与数据库内核有关。需要手动给普通账号授予特定数据库的权限。普通账号不能创建和管理...
账号概述
拥有集群中所有数据库的所有权限。可以断开任意账号的连接。普通账号 可以通过控制台、API或者SQL语句创建和管理。一个集群可以创建多个普通账号，具体的数量与数据库内核有关。需要手动给普通账号授予特定数据库的权限。普通账号不能创建...
管理全局命名空间
方式一：在 从数据平面集群同步自动注入标签至ASM实例 时，自动编辑所属集群 从数据平面集群同步自动注入标签至ASM实例 时，所有从数据平面集群同步的命名空间、其所属集群都被标识为作为同步来源的数据平面集群。方式二：手动编辑全局命名...
账号概述
一个集群可以创建多个普通账号，具体的数量与数据库内核有关。无创建数据库和普通账号的权限，只能管理被授权的数据库。不能管理其他账号，也不能断开其他账号的连接。相关API API 描述 CreateAccount 创建账号。DescribeAccounts 查看账号...
Hadoop DistCp介绍
Hadoop DistCp（分布式复制）是一个用于大型集群间或集群内数据复制的工具，通过MapReduce实现复制过程中数据的分发、错误处理、恢复及报告。本文为您介绍Hadoop DistCp与Jindo DistCp的区别、Hadoop DistCp使用方法以及常见问题。说明 ...
功能特性
EMR on ECS 功能集 功能 功能描述 参考文档 集群管理 创建集群 您可以轻松构建和运行Hadoop、Spark、Hive、Presto等开源大数据框架，以进行大规模数据处理和分析等操作。创建集群 释放集群 在完成EMR集群任务后及时释放集群，可以释放资源...
开发前准备：绑定数据源或集群
若您要在DataWorks中进行数据建模、数据开发或使用运维中心周期性调度任务，需先将已创建的数据源或集群绑定至数据开发（DataStudio）模块。绑定后，才可读取数据源或集群中的数据，并进行相关开发操作。前提条件 您需根据后续要开发和调度...
升级数据库大版本
本文介绍云数据库MongoDB支持升级的数据库大版本以及如何升级数据库大版本。注意事项 升级分片集群实例的数据库大版本时，实例的协议类型需为 MongoDB协议。升级采用轮转升级的方式进行，升级过程中会自动对实例进行2~3次重启，请在业务低...
添加或移除单元节点
如您需在RDS控制台释放中心节点或单元节点对应的 RDS MySQL 实例，建议您先从全球多活数据库集群中移除节点后，再前往RDS控制台释放对应的RDS MySQL实例，否则集群中的相关同步任务会显示同步失败。添加单元节点 访问 全球多活数据库集群 ...
访问外部数据源
绑定数据源 绑定数据源的本质是打通不同VPC之间的网络，即将数据源集群所在VPC与目标Databricks数据洞察集群所在VPC的网络打通。数据源绑定之后，您可以在Notebook或Spark作业里直接访问对应数据源的数据。说明 对于数据源绑定场景，如果多...
设置白名单
为保障 云数据库ClickHouse 数据库的安全稳定，系统默认禁止所有IP地址访问 云数据库ClickHouse 集群。在开始使用 云数据库ClickHouse 集群前，您需要将客户端的IP地址或IP地址段添加到 云数据库ClickHouse 的白名单中。本文介绍如何设置白...
创建集群
本文为您介绍在EMR on ECS上创建集群的操作步骤和相关配置，帮助您快速搭建和管理大数据集群。说明 如果您在2022年12月19日17点（UTC+8）以后第一次创建EMR集群，则不能选择Hadoop、Data Science、Presto、Zookeeper集群类型。前提条件 已...
概述
数据备份物理空间大小如下图所示：说明 PolarDB 集群 数据备份物理空间大小（上图中①所示）：指数据备份的收费对象，物理空间大小是指所有数据备份（快照）独占的物理空间大小之和，PolarDB集群的数据与多个数据备份（快照）会复用相同的...
- 产品推荐
- 这些文档可能帮助您