环境变量
在流水线 变量和缓存>通用变量组 处，单击 关联变量组，下拉选择变量组，单击 确定 即可关联变量组到本流水线。在流水线通用变量组处可以查看流水线关联的通用变量组，可以查看变量组详情，可以解除变量组关联。保存完毕后即可按场景 使用...
通过ES-Hadoop实现Spark读写阿里云Elasticsearch数据
Spark是一种通用的大数据计算框架，拥有Hadoop MapReduce所具有的计算优点，能够通过内存缓存数据为大型数据集提供快速的迭代功能。与MapReduce相比，减少了中间数据读取磁盘的过程，进而提高了处理能力。本文介绍如何通过ES-Hadoop实现...
管理协议服务
变更协议服务规格 通用型切换为缓存型 重要 通用型不支持直接切换为缓存型协议服务，需要先删除通用型规格的协议服务，然后再创建缓存型。反之亦然。在变更期间，服务会中断，请预留好变更窗口再进行变更。导出目录需要重新生成。删除通用...
协议服务FAQ
您可以参见如下操作进行变更：通用型切换为缓存型 重要 通用型不支持直接切换为缓存型协议服务，需要先删除通用型规格的协议服务，然后再创建缓存型。反之亦然。在变更期间，服务会中断，请预留好变更窗口再进行变更。导出目录需要重新生成...
协议服务概述
缓存型相比通用型，提供热点数据缓存能力。在命中缓存的情况下，缓存型协议服务的带宽可超过CPFS文件系统的带宽，达到协议服务设定的最大带宽值。通用型：为CPFS提供NFS协议访问能力和 目录级挂载点，用户无需配置POSIX客户端管理集群。该...
CreateProtocolService-创建协议服务
缓存型相比通用型，提供热点数据缓存能力。在命中缓存的情况下，缓存型协议服务的带宽可超过 CPFS 文件系统的带宽，达到协议服务设定的最大带宽值。通用型：为 CPFS 提供 NFS 协议访问能力和 目录级挂载点，用户无需配置 POSIX 客户端管理...
异构数据源访问
etc/hadoop目录：在集成了Hadoop和Hive的安装中，也可能放在Hadoop的配置目录中，以确保Hive能够正确地与Hadoop集群进行交互。core-site.xml Hadoop核心配置项，如I/O设置和文件系统的配置等。yarn-site.xml YARN配置项，负责集群资源管理...
CDN的性能指标
缓存命中率 CDN缓存命中率包括字节命中率和请求命中率，CDN缓存命中率通用指字节命中率，缓存命中率越高，性能越好。字节命中率=（CDN节点响应用户的总字节数-源站响应CDN节点的总字节数）÷CDN节点响应用户的总字节数。说明 字节缓存命中...
Hudi
WITH参数 基础参数 通用 参数 说明 数据类型 是否必填 默认值 备注 connector 表类型。String 是 无 固定值为hudi。path 表存储路径。String 是 无 支持阿里云OSS、HDFS和OSS-HDFS和三种路径。OSS：路径格式为 oss:/<bucket>/。HDFS：路径...
Hive连接器
背景信息 Hive数仓系统由以下三部分内容组成：不同格式的数据文件，通常存储在Hadoop分布式文件系统（HDFS）或对象存储系统（例如，阿里云OSS）中。存储着数据文件到Schema和Table映射的元数据。该元数据存储在数据库（例如，MySQL）中，并...
SQL常见问题
通过Heap Memory来缓存数据，让LocalGroupAggregate节点内缓存数据达到N条时自动触发输出。即在 作业运维 页面的 部署详情 页 运行参数配置 区域 其他配置 中，设置table.exec.mini-batch.size参数为正值N。运行拓扑图中显示的Low ...
性能监控指标
缓存命中率 缓存可以有效提升高频重复请求的响应速度，比如订单中心可以将商品详情记录在Redis缓存中，只有查询缓存未命中时才去请求数据库。因此，在实际生产环境中，缓存命中率可以作为度量系统性能的一个重要指标。举个例子，某订单中心...
进阶功能
说明 Android端播放器SDK 5.5.2.0及以上版本才支持本功能，并且需要开启本地缓存，开启方法请参见 本地缓存。Android端播放器SDK从5.5.2.0版本开始提供 getPreRenderPlayer 和 moveToNextWithPrerendered 接口，用于提升滑动切换到下一个...
进阶功能
说明 Android播放器SDK 5.5.2.0及以上版本才支持本功能，并且需要开启本地缓存，开启方法请参见 本地缓存。Android播放器SDK从5.5.2.0版本开始提供 getPreRenderPlayer 和 moveToNextWithPrerendered 接口，用于提升滑动切换到下一个视频...
ECS选型最佳实践
r：表示内存型（ram）处理器与内存配比为1:8（部分规格不为1:8），适用于内存数据库、数据分析与挖掘、分布式内存缓存（Redis）、大数据类应用（Kafka、ElasticSearch等），以及对内存容量要求较高的通用企业级应用（Java）等场景。...
MySQL连接器
通用配置属性 通过配置下列属性，可以将来自数据源的数据类型映射到Presto的数据类型，以及可以在Presto中缓存元数据。属性 描述 unsupported-type-handling 配置如何处理不支持的数据列类型。取值如下：IGNORE（默认值）：列不可访问。...
数据缓存亲和性调度优化
通过Fluid提供的数据缓存亲和性调度优化能力，您可以设置应用Pod上的亲和性配置，让应用Pod优先访问同节点、同可用区节点或同地域节点的缓存数据，从而提高应用Pod访问数据的效率。使用限制 数据缓存亲和性调度优化功能仅支持在 ACK集群Pro...
选型配置说明
支持JindoData本地缓存以进一步提高数据服务集群的读写性能。HBase、Zookeeper、JindoData E-MapReduce节点 E-MapReduce节点有主实例（Master）、核心实例（Core）和计算实例（Task）三种实例类型。详情请参见 实例类型。E-MapReduce存储...
云数据库HBase
类型映射 Flink中的数据类型在HBase中通过 org.apache.hadoop.hbase.util.Bytes 转换成字节数组，解码过程有以下两种情况：对于Flink的非字符串类型，如果HBase中的值为空字节数组，则解码为null。对于Flink的字符串类型，如果HBase中的值...
JindoFS实战演示
通过JindoFS，您可以完成数据迁移、OSS访问加速、缓存加速、AI训练加速和JindoTable计算加速。本文为您介绍JindoFS实战的详细文档和演示视频。注意 如果视频断链表明该视频已过时，且已被下线。由于产品在不断更新迭代，请以官方控制台操作...
使用JindoFS加速OSS文件访问
spark.hadoop.fs.jindofsx.meta.cache.enable 元数据缓存开关：false（默认值）：禁用元数据缓存。true：启用元数据缓存。spark.hadoop.fs.jindofsx.client.metrics.enable 固定值 true。spark.hadoop.fs.jindofsx.storage.connect.enable ...
使用Fluid加速OSS文件访问
kubectl get dataset hadoop 预期输出：NAME UFS TOTAL SIZE CACHED CACHE CAPACITY CACHED PERCENTAGE PHASE AGE hadoop 209.74MiB 209.74MiB 100.00GiB 100.0%Bound 1h 预期输出表明，209.7 MiB的数据已经缓存到了本地。执行以下命令，...
JindoData版本说明
在JindoFSx存储加速系统上，JindoData 4.4.x版本支持了客户端本地缓存（LocalCache），提供了纯客户端的缓存加速的能力，大幅改进和优化了在元数据缓存上的能力，完善了对阿里云NAS的缓存加速上的支持。在SDK与生态组件方面，大幅提升了多...
混沌工程缓存实战系列-Redis
缓存监控指标 目前支持的可监控的缓存指标如下：指标 说明 缓存QPS QPS是最通用也是最易观察的指标。缓存命中率 缓存未命中可能会在大流量下引发穿透、击穿、雪崩等问题，如果业务没有做好应急处理，很容易压垮数据库。穿透：Key对应的数据...
云数据库Redis
String 否 None 云数据库Redis维表支持以下缓存策略：None（默认值）：无缓存。LRU：缓存维表里的部分数据。源表的每条数据都会触发系统先在Cache中查找数据，如果没有找到，则去物理维表中查找。ALL：缓存维表里的所有数据。在Job运行前，...
JindoFS加速OSS文件访问
JindoRuntime来源于阿里云EMR团队JindoFS，是基于C++实现的支撑Dataset数据管理和缓存的执行引擎，支持OSS对象存储。JindoFS是阿里云的产品，有专门的产品级支持。Fluid通过管理和调度JindoRuntime实现数据集的可见性、弹性伸缩和数据迁移...
计算源概述
Hadoop 计算设置为Hadoop的租户支持创建以下计算源：离线计算源 Hadoop计算源：绑定Hadoop计算源的项目，支持规范建模、即席查询、Hive SQL任务、通用脚本等功能。创建Hadoop计算源，请参见 创建Hadoop计算源。实时计算源 Flink 计算源：...
通用云盘IO加速功能
如果您希望提升磁盘IO效率和系统的响应速度，可以使用RDS MySQL通用云盘的IO加速功能，该功能可以帮助扩展缓存池的大小，实现缓存加速，提升RDS实例的整体读写性能。本文介绍IO加速功能的技术原理、使用方法和性能测试详情等信息。背景 将...
IO加速
如果您希望提升磁盘IO效率和系统的响应速度，可以使用RDS MySQL通用云盘的IO加速功能，该功能可以帮助扩展缓存池的大小，实现缓存加速，提升RDS实例的整体读写性能。本文介绍IO加速功能的技术原理、使用方法和性能测试详情等信息。背景 将...
IO加速
如果您希望提升磁盘IO效率和系统的响应速度，可以使用RDS MySQL通用云盘的IO加速功能，该功能可以帮助扩展缓存池的大小，实现缓存加速，提升RDS实例的整体读写性能。本文介绍IO加速功能的技术原理、使用方法和性能测试详情等信息。背景 将...
创建Hadoop计算源
如果Dataphin系统的计算引擎设置为Hadoop，则只有项目空间添加了Hadoop计算源，才支持规范建模、即席查询、Hive任务、通用脚本等功能。本文为您介绍如何新建Hadoop计算源。前提条件 在您开始执行操作前，请确认已满足以下要求：已设置...
通用云盘IO加速功能技术介绍
本文介绍RDS MySQL通用云盘的IO加速功能，包括该功能的优势、适用范围、技术原理、性能测试等。背景 将数据从磁盘读取到内存，或将内存数据写入磁盘是数据库系统常见的IO操作。相比内存操作，磁盘IO操作运行速度相对较慢，需消耗较多的时间...
IO加速
功能介绍 IO加速功能对应通用云盘三级存储架构中的缓存层，主要是通过高速缓存介质来提升数据库的读写性能，以提高SQL查询处理的速度。针对临时表和查询产生的临时文件，RDS PostgreSQL的IO加速能力允许将这些临时数据存储到高速的缓存介质...
【新功能/规格】2024年01月29日RDS PostgreSQL IO加速...
IO加速功能简介 IO加速功能对应通用云盘三级存储架构中的缓存层，主要是通过高速缓存介质来提升数据库的读写性能，以提高SQL查询处理的速度。针对临时表和查询产生的临时文件，RDS PostgreSQL的IO加速能力允许将这些临时数据存储到高速的...
JindoFS介绍和使用
JindoFS提供兼容对象存储的纯客户端模式（SDK）和缓存模式（Cache），以支持与优化Hadoop和Spark生态大数据计算对OSS的访问；提供块存储模式（Block），以充分利用OSS的海量存储能力和优化文件系统元数据的操作。JindoFS纯客户端模式（SDK...
SmartData常见问题
JindoFS主要是对阿里云OSS提供HCFS（Hadoop Compatible FileSystem）接口封装，并且在此基础上提供缓存加速能力和高级优化定制的功能。因为Hadoop和Spark生态组件依赖HCFS的抽象接口，所以需要使用JindoFS。JindoFS有哪些使用方式？使用...
【新功能/规格】2024年01月29日RDS MySQL IO加速公测...
云数据库RDS MySQL通用云盘支持IO加速功能，该功能可以帮助您降低数据库级别的IO时延，实现缓存加速，提升磁盘IO效率和系统的响应速度。在不提升成本的情况下，您可以获得QPS的提升。RDS MySQL通用云盘IO加速功能公测活动将于2024年01月29...
其他漏洞汇总说明
Apache Hadoop与Hadoop Yarn ResourceManager未授权访问漏洞 Apache Hadoop YARN ZKConfigurationStore反序列化代码执行漏洞（CVE-2021-25642）Apache Hadoop与Hadoop Yarn ResourceManager未授权访问漏洞 Hadoop是一款分布式基础架构，...
【新功能/规格】RDS MySQL通用云盘支持IO加速功能
云数据库RDS MySQL通用云盘支持IO加速功能，该功能可以帮助您降低数据库级别的IO时延，实现缓存加速，提升磁盘IO效率和系统的响应速度。在不提升成本的情况下，您可以获得QPS的提升。简介 通用云盘的IO加速功能基于数据库缓存池拓展...
数据归档
在选择存储类型时，选择 通用云盘，页面会自动显示三层存储（缓存、数据、冷存）的 配置 栏，可在 冷存 配置项中打开 数据归档 功能的开关。实例详情页 访问 RDS实例列表，在上方选择地域，然后单击目标实例ID（该实例符合数据归档OSS功能...
- 产品推荐
- 这些文档可能帮助您