使用SDK示例代码消费PolarDB-X 1.0订阅数据
DStoreRecordQueue DTS服务器发送数据时，当前数据缓存队列的大小。inCounts DTS服务器发送数据总数。inRps DTS服务器发送数据时的每秒请求数。inBps DTS服务器发送数据时每秒传送的比特数。dt SDK客户端接收到数据的当前时间戳，单位为...
使用SDK示例代码消费PolarDB-X 1.0订阅数据
DStoreRecordQueue DTS服务器发送数据时，当前数据缓存队列的大小。inCounts DTS服务器发送数据总数。inRps DTS服务器发送数据时的每秒请求数。inBps DTS服务器发送数据时每秒传送的比特数。dt SDK客户端接收到数据的当前时间戳，单位为...
什么是DataWorks
DataWorks基于MaxCompute、Hologres、EMR、AnalyticDB、CDP等大数据引擎，为数据仓库、数据湖、湖仓一体等解决方案提供统一的全链路大数据开发治理平台。从2009年起，DataWorks不断沉淀阿里巴巴大数据建设方法论，支撑数据中台建设，同时与...
开启和使用冷数据分层存储
数据冷热分层 冷数据物化缓存 您可以通过修改polar_smgrcache_size参数来设置冷数据物化缓存的大小。登录 PolarDB控制台。单击目标集群ID，进入集群 基本信息 页。在左侧导航栏选择 配置与管理>参数配置，找到polar_smgrcache_size参数，...
开启和使用冷数据分层存储
数据冷热分层 冷数据物化缓存 您可以通过修改polar_smgrcache_size参数来设置冷数据物化缓存的大小。登录 PolarDB控制台。单击目标集群ID，进入集群 基本信息 页。在左侧导航栏选择 配置与管理>参数配置，找到polar_smgrcache_size参数，...
开启和使用冷数据分层存储
数据冷热分层 冷数据物化缓存 您可以通过修改polar_smgrcache_size参数来设置冷数据物化缓存的大小。登录 PolarDB控制台。单击目标集群ID，进入集群 基本信息 页。在左侧导航栏选择 配置与管理>参数配置，找到polar_smgrcache_size参数，...
常见问题
文件网关FAQ 数据缓存：如何扩容云存储文件网关缓存？混合云存储网关数据下载功能是什么？云存储网关复制模式新玩法的部分复制是什么？云存储网关文件网关的缓存工作原理是什么？反向同步和极速同步：如何通过极速同步即时处理OSS上传对象...
构建数据仓库
DataWorks具有通过可视化方式实现数据开发、治理全流程相关的核心能力，本文将为您介绍DataWorks在构建云上大数据仓库和构建智能实时数据仓库两个典型应用场景下的应用示例。构建云上大数据仓库 本场景推荐的架构如下。适用行业：全行业...
API概览
数据缓存 API 标题 API概述 CreateDataCache 创建数据缓存 创建一个数据缓存。DescribeDataCaches 查询数据缓存 查询数据缓存信息。UpdateDataCache 更新数据缓存 更新一个数据缓存。CopyDataCache 拷贝数据缓存 将数据缓存从一个地域拷贝...
管理缓存
本文介绍如何通过阿里云云存储网关控制台管理缓存，包括添加缓存、扩展缓存等操作。前提条件 已创建块网关，详情请参见 创建块网关。背景信息 目前块网关提供的iSCSI卷支持缓存模式和写透模式。在缓存模式下，每个iSCSI卷可以选择一个...
Hologres维表
对于数据量比较大的维表，选择CACHE ALL时，可能会出现OOM或者Full GC耗时很久的情况，针对这个问题，可以选择以下两种解决方式：对于支持Cache All策略的维表，开启Partitionedjoin优化。3.6.0之前的版本，每个并发默认加载维表全量数据。...
查询加速（MCQA）
借助MCQA的低延时、弹性并发、数据缓存等特性，结合MaxCompute表分区、分桶等优化设计，可以低成本满足多并发、快速响应的报告生成、统计分析及固定报表分析需求。查询的数据对象通常为聚合后的结果数据，适用于数据量较小、多维查询、固定...
CreateDataImportOrder-创建数据导入工单
SAFE_MODE：安全模式，在预检查阶段会解析文件并将 SQL 或 CSV 数据缓存入库，执行时再从缓存库中读出来执行到指定的目标库。该模式安全性较好，但是执行时效相比极速模式要低。FAST_MODE RollbackSQL string 否 回滚 SQL 语句。说明 如果 ...
OCS与数据库结合使用示例
缓存与数据库相结合使用，是常见的一种应用搭配场景。本文以简单的Java例子，介绍OCS搭配MySQL数据库使用。在程序中添加MySQL数据库的连接信息：/JDBC driver name and database URL static final String JDBC_DRIVER=...
SmartData 3.0.x版本简介
SmartData组件是EMR Jindo引擎的存储部分，为EMR各个计算引擎提供统一的存储、缓存、计算优化以及功能扩展。SmartData组件主要包括JindoFS，JindoTable和相关工具集。本文介绍SmartData（3.0.x）版本的更新内容。JindoFS存储优化 改进Jindo...
设置缓存数据过期时间
关于设置缓存数据的过期时间，可以参考以下 Memcached官方说明：An expiration time,in seconds.Can be up to 30 days.After 30 days,is treated as a unix timestamp of an exact date.即：0～2592000表示从当前时刻算起的时间长度（以秒...
数据迁移
本文为您介绍数据迁移的最佳实践，包含将其他业务平台的业务数据或日志数据迁移至MaxCompute，或将MaxCompute的数据迁移至其它业务平台。背景信息 传统关系型数据库不适合处理海量数据，如果您的数据存放在传统的关系型数据库且数据量庞大...
JINDODATA指标
total_used_rocksdb_cap jindodata_metrics_jindofsx_ns_total_used_rocksdb_cap 缓存数据元数据占用的硬盘总量。单位：Byte。total_disk_cap jindodata_metrics_jindofsx_ns_total_disk_cap 缓存数据总可用硬盘量。单位：Byte。total_mem_...
ECS DNS查询请求限速该如何缓解？
nscd是一个系统缓存服务，用户缓存名称服务信息，例如passwd、group、hosts、services以及netgroup等，它可以提高系统查询缓存命中率，从而减少对名称服务的查询次数和流量消耗，进而加快服务响应速度，本实践主要用于降低ECS的DNS查询请求...
JindoTable使用说明
jindo table-accessStat-d 7-n 20-cache 语法 jindo table-cache {-t}[-p][-pin]功能 表示缓存指定表或分区的数据至集群本地磁盘上。表或分区的路径需要位于OSS或JindoFS。指定表时使用 database.table 的格式，指定分区时使用 ...
JindoTable使用说明
jindo table-accessStat-d 7-n 20-cache 语法 jindo table-cache {-t}[-p][-pin]功能 表示缓存指定表或分区的数据至集群本地磁盘上。表或分区的路径需要位于OSS或JindoFS。指定表时使用 database.table 的格式，指定分区时使用 ...
JindoTable使用说明
jindo table-accessStat-d 7-n 20-cache 语法 jindo table-cache {-t}[-p][-pin]功能 表示缓存指定表或分区的数据至集群本地磁盘上。表或分区的路径需要位于OSS或JindoFS。指定表时使用 database.table 的格式，指定分区时使用 ...
JindoTable使用说明
jindo table-accessStat-d 7-n 20-cache 语法 jindo table-cache {-t}[-p][-pin]功能 表示缓存指定表或分区的数据至集群本地磁盘上。表或分区的路径需要位于OSS或JindoFS。指定表时使用 database.table 的格式，指定分区时使用 ...
名词解释
术语 说明 Memcached Memcached 是一个高性能的分布式内存对象缓存系统，官方介绍请参见 Memcached。云数据库 Memcache 版兼容 Memcached 二进制协议和文本协议两种方式。实例 ID 实例对应一个用户空间，是使用云数据库 Memcache 版的基本...
JindoTable使用说明
jindo table-accessStat-d 7-n 20-cache 语法 jindo table-cache {-t}[-p][-pin]功能 表示缓存指定表或分区的数据至集群本地磁盘上。表或分区的路径需要位于OSS或JindoFS。指定表时使用 database.table 的格式；指定分区时使用 ...
JindoTable使用说明
jindo table-accessStat-d 7-n 20-cache 语法 jindo table-cache {-t}[-p][-pin]功能 表示缓存指定表或分区的数据至集群本地磁盘上。表或分区的路径需要位于OSS或JindoFS。指定表时使用 database.table 的格式；指定分区时使用 ...
JindoTable使用说明
jindo table-accessStat-d 7-n 20-cache 语法 jindo table-cache {-t}[-p][-pin]功能 表示缓存指定表或分区的数据至集群本地磁盘上。表或分区的路径需要位于OSS或JindoFS。指定表时使用 database.table 的格式；指定分区时使用 ...
JindoTable使用说明
jindo table-accessStat-d 7-n 20-cache 语法 jindo table-cache {-t}[-p][-pin]功能 表示缓存指定表或分区的数据至集群本地磁盘上。表或分区的路径需要位于OSS或JindoFS。指定表时使用 database.table 的格式；指定分区时使用 ...
管理镜像缓存
镜像缓存可以加速拉取镜像，减少ECI实例启动耗时。本文介绍如何创建、查询、更新和删除镜像缓存。创建镜像缓存 您可以通过控制台或者OpenAPI手动创建镜像缓存。说明 ECI支持自动创建镜像缓存。在创建ECI实例时，如果开启了自动匹配镜像缓存...
镜像缓存计费
操作阶段 手动创建的镜像缓存 自动创建的镜像缓存 创建镜像缓存 涉及以下计费项：临时资源（ECI实例和云盘）费用 快照费用 不收费 使用镜像缓存 云盘费用 如果镜像缓存大于30 GiB，需增加临时存储空间并为其付费。说明 镜像缓存创建完成后...
镜像缓存概述
开启该功能后，在创建镜像缓存的过程中，系统将自动匹配已有镜像缓存，如果新的镜像缓存与已有镜像缓存存在重复的镜像层，新的镜像缓存将复用已有镜像缓存的镜像层，从而加速镜像缓存的创建。自动创建 创建ECI实例时，如果开启了自动匹配...
镜像缓存概述
开启该功能后，在创建镜像缓存的过程中，系统将自动匹配已有镜像缓存，如果新的镜像缓存与已有镜像缓存存在重复的镜像层，新的镜像缓存将复用已有镜像缓存的镜像层，从而加速镜像缓存的创建。自动创建 创建ECI实例时，如果开启了自动匹配...
镜像缓存概述
开启该功能后，在创建镜像缓存的过程中，系统将自动匹配已有镜像缓存，如果新的镜像缓存与已有镜像缓存存在重复的镜像层，新的镜像缓存将复用已有镜像缓存的镜像层，从而加速镜像缓存的创建。自动创建 创建ECI实例时，如果开启了自动匹配...
开发前准备：绑定数据源或集群
若您要在DataWorks中进行数据建模、数据开发或使用运维中心周期性调度任务，需先将已创建的数据源或集群绑定至数据开发（DataStudio）模块。绑定后，才可读取数据源或集群中的数据，并进行相关开发操作。前提条件 您需根据后续要开发和调度...
Quick BI中如何实现数据量很大日增超过百万的数据分析
概述 本文档提供数据库数据量很大超过千万日增数据量的场景下，Quick BI报表加载很慢，超过十几分钟都加载不出来的问题的解决方案和思路。问题描述 客户的数据分析基本都是基于上千万条的数据量，有的可能过亿，日增也是百万以上。对于这样...
简介
Python语言：我们用Python语言进行消费。Java 语言用法，请参考 通过消费组消费数据。Python SDK 推荐使用标准CPython解释器。日志服务的Python SDK可以使用 python3-m pip install aliyun-log-python-sdk-U 命令进行安装。更多日志服务...
Python程序如何连接RDS MySQL数据库
详细信息 Python标准的数据库接口为Python DB-API，大多数Python数据库接口使用该标准。Python2 参考如下步骤，先安装MySQLdb模块，然后使用import语句导入。通过编译或者pip安装MySQLdb。参考如下Python代码进行连接。import MySQLdb db=...
EFC加速NAS或CPFS文件访问
它可以替代传统的内核态NFS客户端，提供多链接访问、元数据缓存、分布式数据缓存等加速能力，并结合阿里云Prometheus监控提供端侧性能监控能力。相比于内核态NFS v3、v4.x客户端和其他基于开源FUSE的客户端，EFC有以下优势：强一致的语义：...
概述
Java算子在将数据发送给Python进程之前，会先将数据缓存起来，到达一定阈值之后，再发送给Python进程。python.fn-execution.bundle.size参数可用来控制可缓存的数据最大条数。默认值为100000，单位是条数。python.fn-execution.bundle.time...
【功能发布】数据缓存
对于一些数据量较大的业务数据，例如训练模型等，ECI支持创建数据缓存（DataCache）来提前拉取数据，将数据缓存到本地，以便在创建ECI实例时可以直接挂载使用，从而减少实例启动耗时，避免数据重复下载，节约使用成本。功能介绍 为了解决...
- 产品推荐
- 这些文档可能帮助您