大数据缓存-大数据缓存文档介绍内容-阿里云

数据缓存概述

对于一些数据量较大的业务数据，例如训练模型等，ECI支持创建数据缓存（DataCache）来提前拉取数据，将数据缓存到本地，以便在创建ECI实例时可以直接挂载使用，从而减少实例启动耗时，避免数据重复下载，节约使用成本。本文为您介绍什么是...

数据缓存概述

对于一些数据量较大的业务数据，例如训练模型等，ECI支持创建数据缓存（DataCache）来提前拉取数据，将数据缓存到本地，以便在创建ECI实例时可以直接挂载使用，从而减少实例启动耗时，避免数据重复下载，节约使用成本。本文为您介绍什么是...

数据缓存计费

本文介绍数据缓存的计费规则，并给出计费示例。计费说明 数据缓存用于提前拉取业务所需的大量数据（例如训练模型等），以便在创建ECI实例时可以直接挂载使用数据。一个数据缓存对应一个快照，创建和使用数据缓存涉及的计费项及其计费规则...

使用数据缓存创建实例

创建数据缓存后，您可以使用数据缓存创建ECI实例，将缓存好的数据直接挂载到ECI实例中，免去拉取数据的等待时间，加速业务启动。本文介绍如何使用数据缓存创建ECI实例。前提条件已创建数据缓存。具体操作，请参见创建数据缓存。配置说明 ...

创建和管理数据缓存

数据缓存可以提前拉取业务所需数据，以便在创建ECI实例时可以直接挂载使用。本文介绍数据缓存的配置参数以及如何创建、查询、更新、拷贝和删除数据缓存。创建数据缓存 创建方式如下：OpenAPI：调用CreateDataCache接口可以创建数据缓存。更...

DescribeDataCaches-查询数据缓存

查询数据缓存信息。调试您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试授权信息下表是API对应的授权信息，可以在RAM权限策略语句的 Action 元素中使用，...

CreateDataCache-创建数据缓存

创建一个数据缓存。接口说明创建镜像缓存涉及资源计费。建议您提前了解相关计费信息。更多信息，请参见 数据缓存计费。创建镜像缓存前，您需要评估待缓存数据的大小，如果数据大小超过设置的缓存大小，将会创建失败。创建数据缓存时，系统...

UpdateDataCache-更新数据缓存

更新一个数据缓存。调试您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试授权信息当前API暂无授权信息透出。请求参数名称类型必填描述示例值 ...

查看元数据

使用限制普通用户无法查看数据库大小、缓存数据大小、表数目信息。普通用户无法查看完整任务列表。操作步骤进入StarRocks Manager页面。登录 E-MapReduce控制台。在左侧导航栏，选择 EMR Serverless>StarRocks。在顶部菜单栏处，根据实际...

管理缓存

如果Alluxio中不存在数据，则会先缓存数据至Alluxio中，以便下次从Worker节点读取。管理数据生命周期数据生命周期管理常见命令如下表所示。命令功能 free 释放缓存中的数据。load 加载数据到Alluxio缓存中。persist 将Alluxio中的文件或...

产品架构

PolarDB-X 1.0 承担着OLTP在线核心数据库的职责与定位，可与数据集成、数据传输，缓存、大数据生态配合使用。产品架构图内核架构 PolarDB-X 1.0 由计算层实例与存储层私有定制RDS实例组成，通过挂载多个MySQL进行分库分表水平拆分。如同...

云数据库RDS MySQL版

RDS MySQL基于阿里巴巴的MySQL源码分支，经过双十一高并发、大数据量的考验，拥有优良的性能。RDS MySQL支持实例管理、账号管理、数据库管理、备份恢复、白名单、透明数据加密以及数据迁移等基本功能。RDS MySQL详情请参见 RDS MySQL云数据...

Hive连接器

hive.metastore-refresh-max-threads 刷新Metastore数据缓存的最大线程数。默认值为10。hive.metastore-timeout Hive Metastore请求的超时时间。默认值为10s。Thrift Metastore配置属性下表介绍了Hive连接器的Thrift Metastore配置属性。...

Fast Query Cache

实践指南在缓存数据集大小明确的情况下，例如使用SQL_CACHE关键字对指定表开启Query Cache，可以参照前面的测试进行性能评估。接下来将对Fast Query Cache的使用作一些补充说明。适用场景指南 Fast Query Cache主要目的是提高读操作性能，...

部署通义千问应用

本文以部署ModelScope社区的通义千问-7B-Chat模型为例，演示如何使用数据缓存。通过数据缓存提前拉取通义千问-7B-Chat模型数据，然后在创建通义千问的应用实例时直接挂载模型数据，可以免去在实例中拉取模型数据的等待时间，加速应用部署。...

搭建类似妙鸭相机的应用

本文以部署ModelScope社区的人物AIGC基础模型（ly261666/cv_portrait_model）搭建类似妙鸭相机的应用为例，演示如何使用数据缓存。通过数据缓存提前拉取模型数据，然后在创建应用实例时直接挂载模型数据，可以免去在实例中拉取模型数据的...

如何使用数据缓存加速文件备份？

云备份本地文件备份客户端已经默认为您开启了利用数据缓存加速文件备份的功能。数据缓存用来加速文件备份并通过磁盘空间交换文件备份的内存开销，不影响本机或异机恢复。本文介绍优化数据缓存配置的操作方法。前提条件已成功安装云备份 ...

JindoFS介绍和使用

数据缓存可以基于内存、SSD和普通磁盘，以适用不同的计算场景。JindoFS块存储模式（Block）JindoFS存储模式（Block），不仅提供缓存加速能力，还可以组织、存储数据和管理文件元数据，类似Apache Hadoop HDFS。在此模式下JindoFS是个独立的...

Apache HDFS透明缓存加速

Apache HDFS透明缓存加速可以利用计算集群的闲置存储资源对远端HDFS集群进行数据缓存，避免了计算集群或服务占用核心集群过多带宽。当HDFS集群和计算集群分离，HDFS集群访问性能不及预期时，您可以通过在计算集群或靠近计算集群的地方缓存...

数据服务系统配置

指定redis实例：将缓存数据存储到指定的Redis，适用于大量API开启缓存，缓存数据量较大的场景。如需添加Redis实例，请参见创建Redis数据源。重要请勿删除作为API缓存数据的Redis实例，否则缓存数据存储将失败且API开启的缓存将失效。单击...

JindoFS缓存模式

概述缓存模式兼容现有OSS存储方式，文件以对象的形式存储在OSS上，每个文件根据实际访问情况会在本地进行数据和元数据的缓存，从而提高访问数据以及元数据的性能，Cache模式提供不同元数据同步策略以满足您在不同场景下的需求。...

RDS MySQL迁移至Tair/Redis

缓存数据映射模式：数据迁移到Redis后数据的格式，将鼠标悬停在选项后的图标上，可以查看相关提示信息。当 缓存数据映射模式选择为库-表-主键的KV模型时，还要设置 value数据分割方式。说明 Schema名称和表名称不支持映射功能。如需按...

RDS MySQL同步至Tair/Redis

当 缓存数据映射模式选择为库-表-主键的KV模型时，还要设置 value数据分割方式。说明 Schema名称和表名称不支持映射功能。如需按库或表级别选择同步的SQL操作，请在已选择对象中右击待同步对象，并在弹出的对话框中选择所需同步的SQL...

阿里云OSS/OSS-HDFS服务透明缓存加速

是 fs.jindofsx.data.cache.enable 数据缓存开关：false（默认值）：禁用数据缓存。true：启用数据缓存。配置AccessKey 是 fs.oss.accessKeyId OSS/OSS-HDFS的AccessKey ID。fs.oss.accessKeySecret OSS/OSS-HDFS的AccessKey Secret。fs....

限制说明

数据大小云数据库 Memcache 版支持的单条缓存数据的 Key 最大不超过 1 KB，Value 最大不超过 1 MB，过大的数据不适合存储。事务支持云数据库 Memcache 版不支持事务，有事务性要求的数据不适合写入，而应该直接写入数据库。使用场景当...

使用SDK示例代码消费PolarDB-X 1.0订阅数据

DStoreRecordQueue DTS服务器发送数据时，当前数据缓存队列的大小。inCounts DTS服务器发送数据总数。inRps DTS服务器发送数据时的每秒请求数。inBps DTS服务器发送数据时每秒传送的比特数。dt SDK客户端接收到数据的当前时间戳，单位为...

使用SDK示例代码消费PolarDB-X 1.0订阅数据

DStoreRecordQueue DTS服务器发送数据时，当前数据缓存队列的大小。inCounts DTS服务器发送数据总数。inRps DTS服务器发送数据时的每秒请求数。inBps DTS服务器发送数据时每秒传送的比特数。dt SDK客户端接收到数据的当前时间戳，单位为...

开启和使用冷数据分层存储

数据冷热分层冷数据物化缓存您可以通过修改polar_smgrcache_size参数来设置冷数据物化缓存的大小。登录 PolarDB控制台。单击目标集群ID，进入集群基本信息页。在左侧导航栏选择配置与管理>参数配置，找到polar_smgrcache_size参数，...

开启和使用冷数据分层存储

数据冷热分层冷数据物化缓存您可以通过修改polar_smgrcache_size参数来设置冷数据物化缓存的大小。登录 PolarDB控制台。单击目标集群ID，进入集群基本信息页。在左侧导航栏选择配置与管理>参数配置，找到polar_smgrcache_size参数，...

开启和使用冷数据分层存储

数据冷热分层冷数据物化缓存您可以通过修改polar_smgrcache_size参数来设置冷数据物化缓存的大小。登录 PolarDB控制台。单击目标集群ID，进入集群基本信息页。在左侧导航栏选择配置与管理>参数配置，找到polar_smgrcache_size参数，...

使用SDK示例代码消费订阅数据

DStoreRecordQueue DTS服务器发送数据时，当前数据缓存队列的大小。inCounts DTS服务器发送数据总数。inRps DTS服务器发送数据时的每秒请求数。dt SDK客户端接收到数据的当前时间戳，单位为毫秒。DefaultUserRecordQueue 序列化后，当前...

使用SDK示例代码消费订阅数据

DStoreRecordQueue DTS服务器发送数据时，当前数据缓存队列的大小。inCounts DTS服务器发送数据总数。inRps DTS服务器发送数据时的每秒请求数。dt SDK客户端接收到数据的当前时间戳，单位为毫秒。DefaultUserRecordQueue 序列化后，当前...