RAM角色授权
如果您第一次进入CDP 管控台，首先进行RAM角色授权：说明 使用CDP企业数据云产品之前需要主账号或权限管理员创建如下服务关联角色 角色名称：AliyunServiceRoleForCDP 角色权限策略：AliyunServiceRolePolicyForCDP Cloudera企业数据云平台...
DataWorks On CDP/CDH使用说明
背景信息 CDH是Cloudera的开源平台发行版，提供开箱即用的集群管理、集群监控、集群诊断等功能，并支持使用多种组件，助力您执行端到端的大数据工作流程。CDP是跨平台收集和整合客户数据的公共数据平台，可帮助您收集实时数据，并将其构建...
为RAM账号授权
为确保RAM用户能正常使用CDP企业数据云控制台的功能，您需要使用云账号登录访问控制RAM（Resource Access Management），授予RAM用户相应的权限。背景信息 访问控制RAM是阿里云提供的资源访问控制服务，更多详情请参见 什么是访问控制。...
CDP使用指南-Cloudera版
CDP使用指南-Cloudera版
Data Engineering的创建与使用
本文通过一个简单的案例介绍了Data Engineering的创建和使用，包括如何创建和初始化虚拟Spark集群，以及如何创建和提交Spark作业。前提条件 由于Data-Service集群的Management Console部署在内网中，因此需要通过SSH隧道访问。隧道的打通请...
常见问题
集群管理常见问题 CDP使用常见问题
在FreeIPA中添加用户
专业版CDP使用FreeIPA部署Kerberos，LDAP等服务以提供安全、认证、用户管理等功能。本文为您介绍如何在FreeIPA中添加用户，并使用该用户登录Cloudera Manager和Data-Service的Management Console。前提条件 参见 通过SSH隧道访问Cloudera ...
存储基础知识
在多可用区集群环境中，更推荐使用延迟绑定的动态卷方案，目前阿里云ACK集群已经支持上述配置方案。动态存储卷的优势 动态存储卷让Kubernetes实现了PV的自动化生命周期管理，PV的创建、删除都通过Provisioner完成。自动化创建PV对象，减少...
功能发布记录（2024年）
2024.2.22 所有地域 所有DataWorks用户 账单数据订阅及查询分析 新增在DataWorks使用 CDP/CDH的相关介绍 为您介绍在DataWorks上使用CDP/CDH的基本开发流程，以及相关费用说明、环境准备、权限控制等内容。2024.2.21 所有地域 所有DataWorks...
快速入门
本文为您介绍如何通过阿里云账号快速创建一个CDP集群，并成功登录CDP Cloudera Manager管控台。...具体操作请参考 RAM角色授权。操作流程 创建集群 访问CDP Cloudera ...成功登录Cloudera Manager管控，感谢您使用Cloudera CDP企业数据云。
工作原理
如果不需要使用延迟时间来保证结果正确性，您可以将 延迟执行 设置为0秒。例如，您设置 调度间隔 为 每小时、延迟执行 为 30 秒，那么一天生成24个实例，其中某实例的调度时间为2021/4/6 12:00:00，执行时间为2021/4/6 12:00:30。调度与...
选型配置说明
选择合适的集群规格是CDP产品使用的第一步，CDP的选型配置需要考虑的主要因素包括：使用场景，估算数据量，服务可靠性以及预算等。 基础版CDP集群有主节点（Master）、工具节点（Utility）和核心实例（Core）三种实例类型。专业版CDP集群...
数据库高级特性管理
ALLOWED：启用延迟耐久性，但并不强制要求所有事务都使用延迟耐久性。FORCED：强制启用延迟耐久性，所有事务都必须使用延迟耐久性。ansi_warnings 是否启用ANSI警告。启用后，如果执行的操作会导致警告，则会返回警告信息。取值如下：OFF：...
Data Warehouse的创建
专业版CDP支持使用数据服务Data Warehouse，本文为您介绍如何在Data Warehouse服务中创建虚拟数仓，以管理、分析和操作Base集群中的数据。前提条件 由于Data Service集群的Management Console部署在内网中，因此需要通过SSH隧道访问。隧道...
什么是阿里云Cloudera CDP
搭建CDH集群复杂性的问题 —— 使用阿里云商业版CDP，您可以在几十分钟内完成机型选配、集群部署、提交作业等流程。完全节省您自行部署集群大数据软件的成本。基于阿里云部署的CDP白皮书 基于阿里云部署的CDP白皮书.pdf
CDP使用常见问题
集群操作 1.如何登录工具（utility）节点？打开阿里云管控列表，点击集群名称进入集群详情页面，点击...如果已经打通隧道，请使用内网IP；如果希望通过公网访问，请复制外网IP待用。本机终端下执行 ssh root@xx.xx.xx.xx 可以登录到集群节点。
退订
本章节将为您介绍什么是CDP退订、退订的具体操作流程。CDP退订简介 CDP集群退订费用包含ECS硬件费用和云市场软件订单费用。退订操作步骤 重要 退订后，线上集群的数据及计算任务将被删除无法继续使用。因此在退订前，请确保您在线上集群的...
CDP专业版集群扩容流程
由于CDP专业版集群使用FreeIPA进行安全认证和用户管理，所以在扩容后也需要进行一系列的操作才能加入到集群中。本文介绍了CDP专业版集群如何将扩容产生的机器添加到集群中，并为扩容节点赋予相应的角色，为集群提供计算服务。前置条件 已在...
缩容
CDP集群缩容过程完成后，您需要在云市场控制台处提交退还软件费用工单，服务商会按照剩余软件费用按比例退还给您未使用的软件部分费用，目前缩容只针对 扩容部分硬件订单 退还软件费用。缩容操作步骤 参照CDP缩容文档，登录至...
CDP基础版集群扩容流程
本章节将为您介绍什么是CDP扩容、扩容的具体操作流程。CDP扩容简介 当CDP集群计算资源或存储资源不足时，您可以对集群进行水平扩展。目前支持扩展Core组类型节点，并且新扩展节点的配置默认与组内已有节点一致。CDP集群扩容费用包含ECS硬件...
配置消息监控告警实现风险预警
云消息队列 RocketMQ 版 联合 阿里云云监控 提供了开箱即用且免费的监控报警服务，可帮助您解决如下问题：实例规格水位监控预警 若您实际使用的指标值超过实例的规格限制，云消息队列 RocketMQ 版 会进行强制限流。提前配置实例规格水位告...
CDP存量集群启动Kerberos
本章节将为您介绍如何在CDP集群...BDPHTSEC.COM = { kdc = cdp-utility-1.c-a4542b55a0e64699.cn-hangzhou.cdp.aliyuncs.com admin_server =cdp-utility-1.c-a4542b55a0e64699.cn-hangzhou.cdp.aliyuncs.com }[domain_realm].c-a4542b55a0e64699....
配置消息监控告警实现风险预警
云消息队列 RocketMQ 版 联合 阿里云云监控 提供了开箱即用且免费的监控报警服务，可帮助您解决如下问题：实例规格水位监控预警 若您实际使用的指标值超过实例的规格限制，云消息队列 RocketMQ 版 会进行强制限流。提前配置实例规格水位告...
创建集群
创建集群 进入阿里云CDP控制台。在 概览 页面，点击右上角 购买CDP产品。在CDP产品购买页面，完成集群相关配置。软件配置 配置项 说明 地域 在选择的对应地域内创建集群，一旦创建不能修改。Kerberos身份认证 是否开启集群的Kerberos认证...
产品公测
阿里云CDP产品目前处于公测期，公测期间您可以对CDP进行一个月的免费测试和使用，对您使用的场景进行验证。您可以根据下面步骤进行公测申请。说明 当前阿里云Cloudera企业云平台产品在公测试用期，试用期间您可以选购Cloudera企业云平台...
产品优势
本章节将为您介绍CDP产品优势。提高开源组织版本管理效率，快速支持业务创新 更多开源软件支持 更高软件版本支持 覆盖从边缘到AI全场景 企业级的服务支持，降低运维成本，缩短故障处理时间 来自阿里云和Cloudera的7*24小时大数据专家服务...
CDP钉钉告警支持
本章节将为您介绍设置CDP钉钉告警的操作流程。CDP支持多种告警方式，默认支持邮件和SNMP告警，这两种告警模式的具体配置可以参考 CDP官网。除以上两种告警模式外，CDP还支持自定义告警脚本，当集群的健康状况触发告警阈值，就会调用用户...
集群高可用
阿里云Cloudera CDP默认支持集群中组件HDFS NameNode、YARN ResourceManager以及Hive Metastore Server的高可用，此外对于Hive、Hue等组件用于存储元数据的元数据库MariaDB也做了主从备份，能最大限度保证服务的可用性和数据的可恢复性。...
混沌工程缓存实战系列-Redis
Redis是一个开源高性能的Key-Value存储系统，虽然Redis本身具备了非常高的可用性，但是在实际应用中也会随着系统业务的复杂性以及不合理的使用，而导致很多的问题。本文将讲述如何通过混沌工程来暴露可能存在的使用风险，提升缓存问题的...
如何选择产品类型
阿里云CDP当前提供两个产品类型：基础版、专业版。不同的产品类型支持的功能范围不同。本文介绍设置与查看产品类型的途径以及基础版与专业版之间的差别。选择与查看产品类型 当您创建集群时，需要在 售卖页-软件配置 中选择您所需要的产品...
包年包月
本章节将介绍不同地域不同机型的Cloudera Data Platform（简称CDP）产品的包年包月费用。包年包月简介 购买CDP时的费用由两部分组成：硬件产品的费用和CDP软件产品的费用。其中硬件费用主要由ECS实例费用及块存储费用组成，CDP软件产品费用...
并行DDL
多核处理器的发展为并行DDL使用更多线程数提供了硬件支持，而固态硬盘（Solid State Disk，简称SSD）的普及使得随机访问延迟与顺序访问延迟相近，使用并行DDL加速大表的索引创建显得尤为重要。使用方法 innodb_polar_parallel_ddl_threads ...
Trace 链路追踪
在浏览器请求 http://localhost:3000/delay ，等待约 1min 后，可以在控制台的相应 Tab 页看到：点击 请求信息 栏下面对应的字符串或者长条可以看到开发者自行记录的当前请求详情，比如例子中在随机延迟中分别用 tag 和 log 记录了当前延迟...
实例类型
CDP由多个不同类型的实例节点组成，其中基础版包括主实例节点（Master）、工具实例节点（Utility）和核心实例节点（Core）；专业版包括主实例节点（Master）、工具实例节点（Utility）、核心实例节点（Core）和数据服务节点（Data-Service...
存储类型概述
如您的业务需要更高的可用性保障，建议您使用同城冗余的存储类型来存储和使用数据。标准存储-同城冗余（ZRS）采用多可用区（AZ）内的数据冗余存储机制，将用户的数据冗余存储在同一地域（Region）的多个可用区。当某个可用区不可用时，仍然...
事务与Read/Write Concern
本文将介绍关于事务以及Read/Write Concern的最佳实践，帮助您更好地使用 云数据库 MongoDB 版 的事务以及Read/Write Concern功能。背景信息 MongoDB 4.0版本支持了单机事务（副本集事务），可以在副本集内的一个或多个集合进行事务操作。...
功能发布记录（2023年）
2023-12 功能名称 功能描述 发布时间 发布地域 使用客户 相关文档 数据开发（DataStudio）绑定数据源 若您要在DataWorks中进行数据建模、数据开发或使用运维中心周期性调度任务，需先将已创建的数据源或集群绑定至数据开发（DataStudio）...
PolarDB-X 2.0数据源
使用限制 PolarDB-X 2.0数据源仅支持使用 独享数据集成资源组。支持的版本 离线读写：支持PolarDB-X 2.0，且离线同步支持读取视图。支持的字段类型 PolarDB-X 2.0的全量字段类型请参见 数据类型。下面为您罗列当前主要字段的支持情况。字段...
管理共享
无法使用网关归档工具直接对文件进行归档管理，但是在已归档的文件上发起读操作请求时还是会同步发起解冻请求，请求不会报错，但存在一定的时间延迟。说明 基础型文件网关不支持 归档管理 功能。加入同步组 开启该共享的极速同步功能，将其...
初始化Kerberos环境
开始，在没有权限的情况下，执行一下命令[root@cdp-utility-1~]#hdfs dfs-ls/使用fayson用户运行MapReduce任务及操作Hive，需要在集群所有节点创建fayson用户.使用kadmin创建一个fayson的principal[root@cdp-utility-1 30-hdfs-JOURNALNODE...
- 产品推荐
- 这些文档可能帮助您