通用云盘IO加速功能
如果您希望提升磁盘IO效率和系统的响应速度，可以使用RDS MySQL通用云盘的IO加速功能，该功能可以帮助扩展缓存池的大小，实现缓存加速，提升RDS实例的整体读写性能。本文介绍IO加速功能的技术原理、使用方法和性能测试详情等信息。背景 将...
通用云盘IO加速功能
如果您希望提升磁盘IO效率和系统的响应速度，可以使用RDS MySQL通用云盘的IO加速功能，该功能可以帮助扩展缓存池的大小，实现缓存加速，提升RDS实例的整体读写性能。本文介绍IO加速功能的技术原理、使用方法和性能测试详情等信息。背景 将...
IO加速
如果您希望提升磁盘IO效率和系统的响应速度，可以使用RDS MySQL通用云盘的IO加速功能，该功能可以帮助扩展缓存池的大小，实现缓存加速，提升RDS实例的整体读写性能。本文介绍IO加速功能的技术原理、使用方法和性能测试详情等信息。背景 将...
异构数据源访问
etc/hadoop目录：在集成了Hadoop和Hive的安装中，也可能放在Hadoop的配置目录中，以确保Hive能够正确地与Hadoop集群进行交互。core-site.xml Hadoop核心配置项，如I/O设置和文件系统的配置等。yarn-site.xml YARN配置项，负责集群资源管理...
Hudi
WITH参数 基础参数 通用 参数 说明 数据类型 是否必填 默认值 备注 connector 表类型。String 是 无 固定值为hudi。path 表存储路径。String 是 无 支持阿里云OSS、HDFS和OSS-HDFS和三种路径。OSS：路径格式为 oss:/<bucket>/。HDFS：路径...
生命周期管理FAQ
首次读取低频存储中的文件内容时，可能会导致相对较长的延迟，但在接下来的一段时间内，该文件的读取延迟将与通用性能型NAS、通用高级型NAS或通用容量型NAS中普通文件的读取延迟基本相当。写低频存储文件的延时与写通用性能型NAS、通用高级...
高级管理FAQ
首次读取低频存储中的文件内容时，可能会导致相对较长的延迟，但在接下来的一段时间内，该文件的读取延迟将与通用性能型NAS、通用高级型NAS或通用容量型NAS中普通文件的读取延迟基本相当。写低频存储文件的延时与写通用性能型NAS、通用高级...
性能说明FAQ
通用型NAS 单个文件系统的读写性能上限（峰值）与文件系统的当前使用容量线性相关且成正比例关系，即使用容量越大，吞吐性能上限（峰值）越高。更多信息，请参见 通用型NAS。极速型NAS 单个文件系统的读写性能随配置容量的增长呈阶梯式增长...
Hive连接器
背景信息 Hive数仓系统由以下三部分内容组成：不同格式的数据文件，通常存储在Hadoop分布式文件系统（HDFS）或对象存储系统（例如，阿里云OSS）中。存储着数据文件到Schema和Table映射的元数据。该元数据存储在数据库（例如，MySQL）中，并...
应用场景
支持通用的Parquet、ORC、CSV等标准格式，实现了延迟物化和小文件合并读写。支持多种数据湖格式，例如Hudi、Iceberg、DeltaLake和Paimon。步骤如下：实时摄入：屏蔽了底层数据源的细节，支持异构数据源数据联合分析，同时支持实时和离线...
2023年
使用云命令行（odpscmd）连接 2023-07-17 新增按量付费闲时版 新说明 MaxCompute提供单价更低的按量付费计算资源规格类型（按量付费闲时版），为您降低在延迟不敏感场景下使用MaxCompute的成本。本文为您介绍MaxCompute按量付费闲时版的...
数据导入常见问题
通用问题 如何选择导入方式？影响导入性能的因素都有哪些？报错“close index channel failed“或“too many tablet versions”，该如何处理？报错“Label Already Exists”，该如何处理？报错“ETL_QUALITY_UNSATISFIED;msg:quality not ...
实现弹幕效果
本文档以 键盘 控制 通用标题 组件为例，实现数字大屏的弹幕效果。效果展示 操作步骤 登录 DataV控制台。选择任一可视化应用，单击编辑，进入画布编辑器页面。添加6个通用标题组件到画布中，并修改标题文本颜色和组件名称。分别记录6个通用...
配置基础报警规则
配置单个指标监控 例如，配置某个通用型文件系统读延迟连续3个周期超过5毫秒时，触发警告级别的报警。资源范围和规则描述的配置项建议如下。其他配置信息请参见 步骤3。资源范围：实例。关联资源：选择某个通用型文件系统ID（例如，033a04...
计算源概述
Hadoop 计算设置为Hadoop的租户支持创建以下计算源：离线计算源 Hadoop计算源：绑定Hadoop计算源的项目，支持规范建模、即席查询、Hive SQL任务、通用脚本等功能。创建Hadoop计算源，请参见 创建Hadoop计算源。实时计算源 Flink 计算源：...
创建Hadoop计算源
如果Dataphin系统的计算引擎设置为Hadoop，则只有项目空间添加了Hadoop计算源，才支持规范建模、即席查询、Hive任务、通用脚本等功能。本文为您介绍如何新建Hadoop计算源。前提条件 在您开始执行操作前，请确认已满足以下要求：已设置...
ACS Pod实例概述
实例类型 标签 实例特点 典型应用场景 通用型【默认】standard 适合大部分延迟敏感型工作负载。通用型实例支持常驻运行，规格灵活。微服务应用 Web应用 Java应用 AI推理、训练 任务型 best-effort 具备价格优势，可以节省相当可观的资源...
通过ES-Hadoop实现Spark读写阿里云Elasticsearch数据
Spark是一种通用的大数据计算框架，拥有Hadoop MapReduce所具有的计算优点，能够通过内存缓存数据为大型数据集提供快速的迭代功能。与MapReduce相比，减少了中间数据读取磁盘的过程，进而提高了处理能力。本文介绍如何通过ES-Hadoop实现...
报警组列表
报警规则包含：数据切换延迟、索引变化率、ha3通用查询耗时、查询节点内存使用率、查询节点cpu使用率、数据节点内存使用率、数据节点cpu使用率和数据节点磁盘使用率相关的报警,目标集群为所有集群。用户只需要添加报警通知人、报警方式并...
其他漏洞汇总说明
Apache Hadoop与Hadoop Yarn ResourceManager未授权访问漏洞 Apache Hadoop YARN ZKConfigurationStore反序列化代码执行漏洞（CVE-2021-25642）Apache Hadoop与Hadoop Yarn ResourceManager未授权访问漏洞 Hadoop是一款分布式基础架构，...
通过DataWorks将Hadoop数据同步到阿里云ES
当您基于Hadoop进行交互式大数据分析查询，遇到查询延迟的问题时，可以将数据同步至阿里云Elasticsearch中再进行查询分析。ES对于多种查询类型，特别是即席查询（Ad Hoc），基本可以达到秒级响应。本文介绍通过DataWorks的数据集成服务，...
任务型实例概述
典型场景如下：大数据计算 科学计算 音视频和图像编解码任务 批处理任务 不推荐场景 对实例算力稳定性要求高的应用，通常对响应延迟比较敏感，这些应用更适合使用通用型或独享型实例，典型场景如下：Web应用 微服务应用 网关系统 中间件...
MSHA产品和开源产品对比
本文介绍MSHA商业产品与开源产品之间在架构、通用能力、辅助能力等方面的异同。架构支持 架构 商业产品 开源产品 异地双活 ✅ ✅ 同城多活 ✅ ❌ 异地应用双活 ✅ ❌ 异地双活 组件 功能大类 具体功能说明 商业产品 开源产品 网关 路由 ...
Impala概述
Impala为存储在Apache Hadoop中的数据，提供了高性能和低延迟的SQL查询。使用Impala，您可以通过SELECT、JOIN和聚合函数实时查询存储在HDFS或HBase中的数据。背景信息 Impala使用与Apache Hive相同的元数据、SQL语法（Hive SQL）和ODBC驱动...
概述
覆盖场景广泛 支持通用、时空、时序数据的归档，例如将时空轨迹、高精度地图等数据归档，大幅降低存储成本。安全可靠 OSS冷存数据同样支持备份恢复功能，在降低备份成本的同时还保障了高可用能力。说明 该功能目前处于免费公测阶段，支持...
概述
覆盖场景广泛 支持通用、时空、时序数据的归档，例如将时空轨迹、高精度地图等数据归档，大幅降低存储成本。安全可靠 OSS冷存数据同样支持备份恢复功能，在降低备份成本的同时还保障了高可用能力。说明 该功能目前处于免费公测阶段，支持...
概述
覆盖场景广泛 支持通用、时空、时序数据的归档，例如将时空轨迹、高精度地图等数据归档，大幅降低存储成本。安全可靠 OSS冷存数据同样支持备份恢复功能，在降低备份成本的同时还保障了高可用能力。说明 该功能目前处于免费公测阶段，支持...
文件存储HDFS版
文件存储 HDFS 版（Apsara File ...适用于互联网行业、金融行业等有大数据计算与存储分析需求的行业客户，进行海量数据存储和离线计算的业务场景，充分满足以Hadoop为代表的分布式计算业务类型对分布式存储性能、容量和可靠性的多方面要求。
YARN调度器
yarn.scheduler.capacity.node-locality-delay-1 考虑节点本地化而延迟调度的次数，默认值：40，通常用于Hadoop早期调度时重度依赖本地存储的场景（将任务分配到依赖数据所在的节点），随着网络与存储的发展，磁盘与网络不再是主要瓶颈，...
计费常见问题
本文介绍文件存储NAS（通用型NAS/极速型NAS）计费常见问题。包括通用型NAS资源包如何使用或抵扣、NAS服务如何停止计费、购买资源包为什么还欠费等问题。开通NAS服务后，就开始计费吗？仅开通NAS服务，不会产生费用。当您在通用型NAS中写入...
生命周期管理概述
第一次访问冷数据时，延迟时间会稍有增加，之后的访问性能与访问通用型NAS存储空间中的数据一致。访问低频存储或归档存储中的冷数据会产生读写流量费用。更多信息，请参见 通用型NAS计费。当需要频繁访问低频存储或归档存储中的数据时，...
在文件存储 HDFS 版上使用Apache Tez
./hadoop-mapreduce/hadoop-2.8.5/share/hadoop/hdfs/*:./hadoop-mapreduce/hadoop-2.8.5/share/hadoop/hdfs/lib/*:./hadoop-mapreduce/hadoop-2.8.5/share/hadoop/yarn/*:./hadoop-mapreduce/hadoop-2.8.5/share/hadoop/yarn/lib/*:./...
搭建Hadoop环境
sudo sh-c 'echo"export JAVA_HOME=usr/java8">>/opt/hadoop/etc/hadoop/yarn-env.sh' sudo sh-c 'echo"export JAVA_HOME=usr/java8">>/opt/hadoop/etc/hadoop/hadoop-env.sh' 执行以下命令，测试Hadoop是否安装成功。hadoop version 返回...
安装文件系统SDK
WordCount样例${HADOOP_HOME}/bin/hadoop jar \${HADOOP_HOME}/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.2.jar wordcount \ inputDir outputDir Grep样例${HADOOP_HOME}/bin/hadoop jar \${HADOOP_HOME}/share/hadoop/...
使用Flink访问
export HADOOP_HOME=usr/local/hadoop-2.7.3 export HADOOP_CLASSPATH=usr/local/hadoop-2.7.3/etc/hadoop:/usr/local/hadoop-2.7.3/share/hadoop/common/lib/*:/usr/local/hadoop-2.7.3/share/hadoop/common/*:/usr/local/hadoop-2.7.3/...
使用Spark访问
export HADOOP_HOME=usr/local/hadoop-2.7.3 export HADOOP_CLASSPATH=usr/local/hadoop-2.7.3/etc/hadoop:/usr/local/hadoop-2.7.3/share/hadoop/common/lib/*:/usr/local/hadoop-2.7.3/share/hadoop/common/*:/usr/local/hadoop-2.7.3/...
在文件存储 HDFS 版上使用Apache Flink
export HADOOP_HOME=usr/local/hadoop-2.7.2 export HADOOP_CLASSPATH=$($HADOOP_HOME/bin/hadoop classpath)export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH 执行如下命令使配置...
Hadoop Streaming
hadoop jar/usr/lib/hadoop-current/share/hadoop/tools/lib/hadoop-streaming-X.X.X.jar-file/home/hadoop/mapper.py-mapper mapper.py-file/home/hadoop/reducer.py-reducer reducer.py-input/tmp/hosts-output/tmp/output 参数 描述 ...
Hadoop DistCp介绍
Hadoop DistCp（分布式复制）是一个用于大型集群间或集群内数据复制的工具，通过MapReduce实现复制过程中数据的分发、错误处理、恢复及报告。本文为您介绍Hadoop DistCp与Jindo DistCp的区别、Hadoop DistCp使用方法以及常见问题。说明 ...
使用Fuse-DFS挂载文件存储 HDFS 版
vim hadoop-2.8.5-src/hadoop-hdfs-project/hadoop-hdfs-native-client/src/main/native/fuse-dfs/fuse_options.c 执行以下命令编译Hadoop源码中hadoop-hdfs-project模块下的hadoop-hdfs-native-client子模块。cd hadoop-2.8.5-src/mvn ...
- 产品推荐
- 这些文档可能帮助您