管理缓存
Alluxio利用E-MapReduce（简称EMR）集群的本地节点的内存和磁盘对数据进行分布式缓存。本文为您介绍缓存相关的内容。前提条件 已创建集群，并选择了Alluxio服务，详情请参见 创建集群。已登录集群，详情请参见 登录集群。背景信息 EMR默认...
X-Engine简介
目前已经广泛应用在阿里集团内部诸多业务系统中，包括交易历史库、钉钉历史库等核心应用，大幅缩减了业务成本，同时也作为双十一大促的关键数据库技术，挺过了数百倍平时流量的冲击。重要 X-Engine引擎已进入下线阶段，详情参见【停售/下线...
通过文件管理优化性能
用于低延迟查询的增强检查点 Delta Lake 写入检查点作为 Delta 表的聚合状态，每 10 次提交写入一次。这些检查点用作计算表的最新状态的起点。如果没有检查点，Delta Lake将不得不读取大量的JSON文件（“Delta”文件），表示提交到事务日志...
性能调优
EXCEEDED_MEMORY_LIMIT(32003)当前查询的内存使用消耗超过内存限制。建议结合SQL排查该Query消耗内存大的算子。OUT_OF_PHYSICAL_MEMORY_ERROR(33015)当前Query运行时超过内部计算内存池限制。可以排查出现问题的阶段，有没有峰值内存和扫描...
JindoFS实战演示
Flink高效sink写入OSS Flink高效sink写入OSS 2021-06-01 当您需要将流式数据写入OSS，或者需要在线分析数据时，可能会遇到的问题：开源Apache Flink还不支持直接写入OSS、Hadoop OSS SDK写入性能不满足需求。此时您可以使用JindoFS Flink ...
内核版本发布记录
在完全兼容开源Elasticsearch（ES）内核的所有特性基础上，阿里云ES在监控指标多样化、线程池、熔断策略优化、查询与写入性能优化等诸多方面，深度定制了AliES内核引擎。基于阿里云Elasticsearch团队在多种应用场景下所积累的丰富经验，...
日志采集Agent对比
不支持 支持cpu/内存阈值保护 日志文件采集场景-性能对比 以Nginx的access log为样例，如下一条日志365字节，结构化成14个字段：在下面的测试中，将模拟不同的压力将该日志重复写入文件，每条日志的time字段取当前系统时间，其它13个字段...
表版本控制
如果您尝试使用太低的Databricks Runtime版本来读取和写入表，则会收到一条错误消息，提示您需要升级。创建表时，Delta Lake将根据表特征（例如架构或表属性）选择所需的最低协议版本。您还可以通过设置SQL配置来设置默认协议版本：spark....
DeletionProtection-实例释放保护
接口说明 API 描述 为实例开启删除保护功能后，您将不能删除该实例。如需删除，请先关闭删除保护功能。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试...
HTTP API 概览
API 描述/api/put 写入数据/api/query 查询数据/api/query/last 查询时间线最新数据点/api/mput 多值写入/api/mquery 多值查询/api/query/mlast 多值查询最新数据点/api/suggest 查询 Metric,Tagk,Tagv，Field/api/dump_meta 查询 Tagk 下...
消息队列Kafka
如果Kafka服务端没有正确配置，客户端在第一步收到的连接地址有误，即使 bootstrap.servers 配置的地址可以连接上，也无法正常读取或写入数据。该问题经常在Flink与Kafka之间存在代理、端口转发、专线等网络转发机制时发生。您可以按照以下...
时序数据存储概述
新增时序数据存储规则存储自定义Topic数据，或调用时序数据存储相关API写入、查询时序数据，受时序数据的存储IOPS和存储空间限制。时序数据的默认存储时效为30天。对于2022年12月01日（不包含）后购买的企业版实例：上报和查询设备时序数据...
API 概览
此 API 文档专为希望使用 RESTful API 方式集成 CIAM 的用户而设计，接口分为认证接口、管理接口、用户接口。技术类文档，涉及到部分专业名词，正式调用接口前请先参考本文了解相关名词术语以及业务流程。1.API 地址 请参考阿里云账号下 ...
云数据库HBase
因为系统会异步加载维表数据，所以在使用CACHE ALL时，需要增加维表JOIN节点的内存，增加的内存大小为远程表数据量的两倍。cacheSize 缓存大小。Long 否 10000 当缓存策略选择LRU时，可以设置缓存大小。cacheTTLMs 缓存失效时间，单位为...
Lindorm数据源
DataWorks数据集成支持使用Lindorm Reader和Lindorm Writer插件读取和写入Lindorm双向通道的功能，本文为您介绍DataWorks的Lindorm数据读取与写入能力。使用限制 Lindorm不需要在DataWorks上配置数据源，可直接使用脚本模式配置任务，通过...
PAI-TF数据IO方式介绍
PAI-TensorFlow支持读取OSS对象存储数据和MaxCompute表数据。警告 公共云GPU服务器即将过保下线，您可以继续提交CPU版本的TensorFlow任务。如需使用GPU进行模型训练，请前往DLC提交任务，具体操作请参见 创建训练任务。读取OSS数据 主流程 ...
HBase数据源
HBase数据源为您提供读取和写入HBase的双向通道，本文为您介绍DataWorks的HBase数据同步的能力支持情况。支持的版本 支持HBase0.94.x、HBase1.1.x、HBase2.x和Phoenix5.x版本。如果您的HBase版本为HBase0.94.x，Reader和Writer端的插件请...
操作汇总
本文介绍 表格存储 的调用说明以及提供的宽表模型和时序模型相关API接口。如需了解 表格存储 各场景的应用案例，请参见 快速玩转Tablestore入门与实战。调用说明 表格存储 API只能通过 表格存储 提供的各语言SDK进行调用，不能直接使用HTTP...
高级配置：内存缓存本地目录
在大部分模型推理场景中，业务进程通过OSS或NAS将模型文件挂载到本地目录，进行模型读取、模型切换以及容器的扩缩容等操作时，会受网络带宽的影响，存在较大的延时问题。为了解决这个问题，EAS 提供了本地目录内存缓存加速的功能。通过将...
UpdateLoadBalancerProtection-修改删除保护
访问级别：是指每个操作的访问级别，取值为写入（Write）、读取（Read）或列出（List）。资源类型：是指操作中支持授权的资源类型。具体说明如下：对于必选的资源类型，用背景高亮的方式表示。对于不支持资源级授权的操作，用 全部资源 ...
Hologres管控台的监控指标
是否有高QPS的查询或写入，共同用满了CPU。是否有上述或上述场景以外的混合负载。如果确定是业务场景需要，将资源用满，可以对实例进行扩容，以适应更复杂的查询或更大的数据量。Worker节点CPU使用率 Worker节点CPU指实例内每个Worker的CPU...
实时研发基本流程概述
步骤三：创建实时计算表 实时任务 通过创建Flink_SQL流任务，读取或写入元表映射的数据源中的表数据。步骤四：开发FLINK_SQL实时任务 任务运维 完成实时研发后，任务提交至运维中心，可以对实时任务进行启动、停止、查看任务日志、任务运行...
集群版-单副本
Q：为什么集群实例的内存未使用完却写入失败？A：Redis使用Hash算法将Key均匀地写入至不同的分片中，若集群实例中存在大Key，会导致资源分布倾斜，严重时会导致大Key所在的分片被写满，此时集群的部分写入请求可能发生失败。您可以通过 ...
Kafka数据源
Kafka数据源为您提供读取和写入Kafka的双向通道，本文为您介绍DataWorks的Kafka数据同步的能力支持情况。支持的版本 支持阿里云Kafka，以及=0.10.2且的自建Kafka版本。说明 对于版本Kafka，由于Kafka不支持检索分区数据offset，并且Kafka...
Upsert Kafka
不能通过该方式修改以下配置，因为它们会被Kafka连接器覆盖：key.deserializer value.deserializer key.format 读取或写入Kafka消息key部分时使用的格式。String 是 无 当使用该配置时，key.fields 或 key.fields-prefix 配置是必填的。...
内存型（集群架构）
开启直连访问后，整体带宽限制为单个分片的最大带宽*分片数，例如128分片的集群实例（单个分片的内存大于1GB），开启直连后整体带宽为12,288 MB/s。带宽分别应用于上行带宽和下行带宽，如果某规格的带宽为10MB，则该规格实例的上下行带宽都...
多NUMA机型的容器内存就近访问加速
ack-koordinator以数据安全的方式将绑核应用远端NUMA上的内存迁移至本地，提高本地访存命中率，为内存密集型的工作负载提供更好的访存性能。本文介绍如何使用内存就近访问加速功能，并验证其对密集型应用性能的提升。索引 前提条件 内存...
ModifyAuditLogConfig-修改审计日志设置
访问级别：是指每个操作的访问级别，取值为写入（Write）、读取（Read）或列出（List）。资源类型：是指操作中支持授权的资源类型。具体说明如下：对于必选的资源类型，用背景高亮的方式表示。对于不支持资源级授权的操作，用 全部资源 ...
为伸缩组开启或关闭删除保护
如果关闭伸缩组删除保护功能，此时可直接删除该伸缩组，本文为您介绍如何调用API SetGroupDeletionProtection为伸缩组开启或关闭伸缩组删除保护功能。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，...
修改专有网络VPC或交换机
云原生内存数据库Tair 实例支持修改专有网络或交换机，例如通过该功能将 Tair 实例的专有网络调整至ECS实例所属的专有网络，实现ECS实例与 Tair 实例间的互连。前提条件 若 经典 版集群架构实例开通了 直连地址，请临时释放直连地址，待...
版本发布记录
深度集成的生态 接入融合分析和数据回流能力 目前支持如下数据源的接入融合分析和数据回流能力，包括对象存储OSS上7种以上结构化、半结构化、以及多种压缩格式的数据文件，表格存储，AnalyticDB，云数据库版或自建数据库（MySQL、...
授权信息
无 bssapi:QuerySettleBill QuerySettleBill Read 全部资源*bssapi:ProductCode bssapi:ProductType 无 bssapi:QuerySplitItemBill QuerySplitItemBill Read 全部资源*bssapi:ProductCode bssapi:ProductType 无 bssapi:SetRenewal ...
ReleaseSecretNo-释放号码
访问级别：是指每个操作的访问级别，取值为写入（Write）、读取（Read）或列出（List）。资源类型：是指操作中支持授权的资源类型。具体说明如下：对于必选的资源类型，用背景高亮的方式表示。对于不支持资源级授权的操作，用 全部资源 ...
性能监控
相关API API 描述 DescribeDBClusterPerformance 查询 PolarDB 集群的性能数据。DescribeDBNodePerformance 查询 PolarDB 集群节点的性能数据。DescribeDBClusterMonitor 查询 PolarDB 集群监控数据的采集频率。ModifyDBClusterMonitor ...
性能监控
相关API API 描述 DescribeDBClusterPerformance 查询 PolarDB 集群的性能数据。DescribeDBNodePerformance 查询 PolarDB 集群节点的性能数据。DescribeDBClusterMonitor 查询 PolarDB 集群监控数据的采集频率。ModifyDBClusterMonitor ...
测试模型
表格存储的读取性能受用户的数据量与缓存命中率影响比较大。因此GetRow和GetRange这两个测试用例无法覆盖到所有的用户场景。我们保证这两个测试用例的性能数据是用户可复现的，它的意义在于，如果您的使用场景与之类似，可以使用本报告的...
开启透明数据加密TDE
背景信息 Tair 的TDE功能可以将RDB数据文件在写入磁盘之前进行加密，从磁盘读入内存时进行解密，具有不额外占用存储空间、无需更改客户端应用程序等优势。图 1.TDE加密 影响 由于开启TDE功能后无法关闭，在开启前，需要评估对业务的影响，...
关闭AOF落盘
云原生内存数据库Tair 默认开启AOF落盘，即基于AOF（append-only file）的数据持久化。您可以通过设置 appendonly 参数来关闭或重新开启AOF落盘。AOF落盘 AOF持久化是 Tair 除了RDB备份外的另一种持久化方式。开启AOF持久化后，Tair 以日志...
SetDeletionProtection-修改资源栈的删除保护属性
访问级别：是指每个操作的访问级别，取值为写入（Write）、读取（Read）或列出（List）。资源类型：是指操作中支持授权的资源类型。具体说明如下：对于必选的资源类型，用背景高亮的方式表示。对于不支持资源级授权的操作，用 全部资源 ...
GetTrustedProjects-获取受信任项目列表
获取当前项目的TrustedProject（受信任项目）列表。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 下表是API对应的授权信息，可以在RAM权限...
- 产品推荐
- 这些文档可能帮助您