如何利用HTTPDNS降低DNS解析开销
背景说明 移动场景下DNS的解析开销是整个网络请求延迟中不可忽视的一部分。一方面基于UDP的localDNS解析在高丢包率的移动网络环境下更容易出现解析超时的问题，另一方面在弱网环境下DNS解析所引入的动辄数百毫秒的网络延迟也大幅加重了整个...
DataStream的Timer使用最佳实践
什么是Timer?Timer是Flink提供的定时器机制。通常，Flink作业是事件驱动计算的，但在一些场景下，Flink作业需要基于处理时间（ProcessingTime）或者事件时间（EventTime）驱动计算和发送数据，这时便需要使用Timer。算子可以注册一个Timer...
Presto FAQ
什么是异步执行？如何使用？控制台上异步执行如何拿到执行结果？多个Hint如何一起使用？虚拟集群管理相关问题 如何设置DLA Presto默认集群？如何设置链接级别的默认虚拟集群？如何把DLA Presto提交到指定的虚拟集群？元数据/DLL相关问题 为...
通过文件管理优化性能
收集长字符串列的统计信息开销会很大，为了避免Delta Engine自动收集长字符串列的统计信息，可以配置表特性 dataSkippingNumIndexedCols避免，使得该特性小于长字符串所在列的索引，或者配置该值后，将长字符串列移动到该特性值之后的位置...
Blink和Flink常见问题及诊断
确认后端查询延迟 查看监控指标的实时写入延迟：确认是否是列存表在做维表，列存表的维表在高QPS场景下开销很高。如果是行存表，且延迟高，通常情况下是实例整体负载较高导致的，需要进行扩容。确认Join的Key是否是Hologres表的主键 自VVR ...
物化视图
说明 自动维护物化视图的数据会造成维护开销。适用场景 同时满足查询明细数据和分析固定维度两个方面的查询。仅需涉及表中很少一部分列或行的查询。包含耗时处理操作且适合预先计算的查询，例如：耗时很久的聚合操作等。仅需匹配不同的前缀...
SELECT
但是，如果每次此类使用只需要 WITH 查询的总输出中的几行，NOT MATERIALIZED 可以通过允许查询联合优化来节省开销。NOT MATERIALIZED 被忽略，如果它被附加到一个递归的 WITH 查询，或者不是边际效应无关的（也就是说，不是包含非易失性...
FE参数配置
当您不关心tablet的存储介质是什么时，可以将值设置为true。drop_backend_after_decommission 默认值：false 是否可以动态配置：true 是否为Master FE节点独有的配置项：true 说明：该配置用于控制系统在成功下线（Decommission）BE后，...
添加HTTPS监听
更多信息，请参见 什么是SSL证书。是 服务器证书需要上传到负载均衡的证书管理系统。是 服务器证书需要上传到负载均衡的证书管理系统。CA 证书 服务器使用CA证书验证客户端证书的签名。如果未通过验证，则拒绝连接。说明 客户端用户在与...
数据加密和密钥管理
关于阿里云KMS密钥管理服务的更多信息，请参见 什么是密钥管理服务。在应用系统开发部署的供应链流程中，任何一个环节对敏感密钥的硬编码都有可能导致泄露风险。通过使用云上密钥管理服务，您可以在应用开发、测试、构建等生命周期流程中...
数据模型
通过以下示例来阐述什么是聚合模型，以及如何正确地使用 Aggregate 聚合模型。示例1：导入数据聚合 数据表 example_tbl1 的结构定义表。ColumnName Type AggregationType Comment user_id LARGEINT 无 用户ID date DATE 无 数据写入日期 ...
控制台发布记录
2023-05-26 什么是PolarDB MySQL标准版 2023年4月 功能名称 功能描述 发布时间 相关文档 新增固定规格集群的Serverless功能 您可以直接在已经购买的固定规格（普通）集群上开启Serverless功能，即可创建固定规格集群的Serverless功能。...
历史功能发布记录（2020年及之前）
首先，Terway直接通过非常轻量的IPvlan进行Pod网络的虚拟化，IPvlan的网络虚拟化让Pod的流量不再经过宿主机的网络栈，大大降低网络的性能开销。其次，Terway使用Cilium作为节点上的BPF-agent去配置容器网卡的BPF规则，将Service和...
ECS选型最佳实践
更多信息，请参见 什么是抢占式实例。数据节点：需要高存储吞吐、高网络吞吐、均衡的处理器与内存配比，推荐您使用大数据型d系列规格族。例如MapReduce/Hive可选择ecs.d2s.5xlarge、ecs.d3s.4xlarge等，Spark/Mlib可选择ecs.d2s.10xlarge。...
黄牛账号识别之GraphCompute解决方案
什么是GraphCompute？GraphCompute 是一个分布式的、万亿级数据规模下、高性能、高稳定性的图查询和计算解决方案。同时，搭载智能运维和离线系统，实现湖仓一体化的数据打通，支持多版本数据快速迭代和管理能力。结合阿里巴巴在电商、安全...
使用Filebeat+Kafka+Logstash+Elasticsearch构建日志...
更多信息，请参见 什么是云消息队列 Kafka 版。在实际应用场景中，为了满足大数据实时检索的需求，您可以使用Filebeat采集日志数据，并输出到Kafka中。Kafka实时接收Filebeat采集的数据，并输出到Logstash中。输出到Logstash中的数据在格式...
版本发布说明
本文介绍 PolarDB-X 实例版本的发布说明。发布日期：2024-03-20 大版本：V5.4.18 小版本：17108394 类别 说明 新增&优化 新增Online Modify Column 2.0功能。新增 show full binary logs、show full master status 等binlog相关运维指令。...
Join优化
它的网络开销是 T(S)+T(R)，但它只能支持Hash Join，因为它根据Join的条件计算分桶。S表和R表数据根据分区计算，计算的结果发送到不同的分区节点上。Bucket Shuffle Join SelectDB的表数据本身是通过哈希计算分桶的，所以就可以利用表本身...
Bucket Shuffle Join
这次查询的网络开销是3倍的B表数据量，内存开销也是3倍的B表数据量。Shuffle Join：Shuffle Join会根据哈希计算，将A、B两张表的数据分散到集群的节点之中，所以这次操作的网络开销为 A表数据量+B表数据量，内存开销为B表数据量。FE中保存...
控制面核心组件
局部推送：社区方案中当 Pilot List/Watch 的资源发生变更时，会触发全部 Sidecar 的配置推送，这种方案在生产环境大规模集群下，性能开销是巨大的。例如：如果单个集群有 10 W 以上的 Pod 数量，任何一个 Pod 的变更事件都会触发全部 ...
表分区
这些命令也完全避免了批量 DELETE 导致的 VACUUM 开销。很少使用的数据可以被迁移到便宜且较慢的存储介质上。当一个表非常大时，划分所带来的好处是非常值得的。一个表何种情况下会从划分获益取决于应用，一个经验法则是当表的尺寸超过了...
Runtime Filter
MinMax的优点是开销比较小。缺点是对于非数值列的效用不大。适用场景 Runtime Filter主要用于大表Join小表的优化，如果左表的数据量太小，或者右表的数据量太大，则Runtime Filter可能不会取得预期效果。Runtime Filter适用的场景有以下两...
组合类型
在这类情况中什么也不做，使用它也是一种好的风格，因为它说清了一个组合值的目的是什么。特别地，解析器将会认为 c.中的 c 是引用一个表名或别名，而不是一个列名，这样就不会出现混淆。而如果没有.，就弄不清楚 c 到底是表示一个表名还是...
TOP SQL
数据库自治服务DAS 为 RDS SQL Server 提供实时TOP SQL和历史TOP SQL查询功能，查看SQL语句级别的性能开销。前提条件 当前不支持 RDS SQL Server 2008 R2云盘版。操作步骤 登录 DAS控制台。在左侧导航栏中，单击 实例监控。找到目标实例，...
TOP Objects
数据库自治服务DAS 为 RDS SQL Server 提供实TOP Objects查询功能，查看数据库实例中对象级别（存储过程、函数、触发器等）的性能开销。前提条件 当前不支持 RDS SQL Server 2008 R2云盘版。操作步骤 登录 DAS控制台。在左侧导航栏中，单击...
关闭IPVS的estimation功能
背景信息 什么是IPVS？IPVS（IP Virtual Server）是Linux内核的一个组件，可将基于TCP和UDP服务的请求定向到真实服务器，实现内核态四层负载均衡。在Kubernetes中，IPVS可作为其组件Kube-proxy的一种代理模式，将Service的请求转发到后端...
ECS的安全责任共担模型
什么是访问控制 堡垒机 运维安全中心（堡垒机）是阿里云提供的运维和安全审计管控平台，可集中管理运维权限，全程管控操作行为，实时还原运维场景，保障运维行为身份可鉴别、权限可管控、操作可审计，解决资产多难管理、运维职责权限不清晰...
概览
明细圈人函数 找出明细表中满足某些条件组合的用户列表，减少Join开销。是 否 V0.10及以上版本。Roaring Bitmap函数 高效Bitmap压缩算法，常用于去重（UV计算）、标签筛选、近实时用户画像等场景。是 否 V0.9及以上版本。账号转换函数 USER...
位图索引Bitmap
但Bitmap并不是没有开销的，对于以下场景需要注意事项如下：列的基数较高（重复数据较少）场景：假如列的基数较高，那么就会为每一个值生成一个Bitmap，当非重复值很多的时候，就会形成稀疏数组，占用存储较多。大宽表的每一列都设置为...
InfluxQL参考
QUERY PLAN-EXPRESSION:sum(pointReq:integer)NUMBER OF SHARDS:2 NUMBER OF SERIES:2 CACHED VALUES:110 NUMBER OF FILES:1 NUMBER OF BLOCKS:1 SIZE OF BLOCKS:931 EXPLAIN ANALYZE 执行查询并计算运行时的实际开销。explain_analyze_...
使用同一个应用包名，用测试AppKey测试正常，切换成...
问题详述 在开发环境中用测试appKey进行测试时一切正常，但是切换到生产环境（更换成生产环境的appKey和appSecret，测试环境和生产环境app的包名相同）后却无法收到推送了，这是为什么？问题原因 推送SDK在初始化的过程中为减少性能开销，...
数据加密
更多信息，请参见 什么是密钥管理服务。加密方式 使用方式 说明 基于KMS服务密钥加密 表格存储 管理控制台 SDK 表格存储 使用默认的KMS CMK生成密钥来加密数据，并且在读取数据时自动解密。首次使用时，表格存储 会在KMS控制台创建一个KMS ...
使用EXPLAIN
这里是一个简单的例子，只是用来显示输出看起来是什么样的：EXPLAIN SELECT*FROM tenk1;QUERY PLAN-Seq Scan on tenk1(cost=0.00.458.00 rows=10000 width=244)由于这个查询没有 WHERE 子句，它必须扫描表中的所有行，因此计划器只能选择...
基于代价的SQL优化
高度自治的体验 优化器生成最佳查询执行计划，需要依赖统计信息的输入，统计信息是优化器预测查询开销的主要信息。AnalyticDB MySQL 会智能地分析每个表的列需要统计什么信息，通过全量、增量和实时等多种手段，全自动地维护统计信息的更新...
自动优化
并且由于写优化需要根据表的分区结构来对写入的数据进行额外的shuffle，额外的shuffle势必会引入额外的开销，但写入性能的提升一般可以抵消掉shuffle带来的开销，即使不能抵消，为了文件合并带来的查询性能提升，使用该特性也是值得的。...
产品优势
关于阿里云加密服务的更多信息，请参见 什么是加密服务。低成本 您无需支付采购硬件密码设备的初始成本以及进行运维、修补、老旧替换的持续开销。KMS为您节省了搭建具有可用性和可靠性密码设备集群，以及自建密钥管理设施的研发成本和维护...
调用链采样配置最佳实践
调整采样是目前解决这类问题最高效且主流的方式，但具体配置什么样的采样策略，能够在可控的资源开销和费用成本内，最大程度保证错、慢、异常等链路被采集，从而最大限度保障性能监控和问题排查的使用需求。本文将重点围绕不同业务场景下...
使用SDK开发
Topic相关说明，请参见 什么是Topic。下载 Java SDK Demo，然后解压。修改src/main/java/com.aliyun.alink.devicesdk.demo目录下ThingSample.java文件中上报属性、上报事件和监听下行服务的代码，内容如下。上报属性 public void ...
RDS SQL Server CPU使用率高问题
QPS 如果 QPS 增高和CPU使用率增高保持一致，说明是数据库查询请求数量增加导致的CPU使用率增高，即CPU高的原因不在数据库层面，应当从应用层面分析是什么原因导致数据库查询请求数量增加。Page_Lookups/sec Page_Lookups/sec 是指执行中的...
什么是图计算服务
低成本 通过提供倒排查询和向量计算的扩展能力，同需求场景下，引擎资源开销是采用其他方案的50%。高可用 离线系统支持多版本备份，提供分钟级数据恢复功能，具有更强的容灾和数据回滚能力。百万级TPS Graph Compute采用异步更新架构，单...
- 产品推荐
- 这些文档可能帮助您