数据缓存
概述 File Cache通过缓存最近访问的远端存储系统（HDFS或对象存储）的数据文件，可加速后续访问相同数据的查询。在频繁访问相同数据的查询场景中，File Cache可以避免重复访问远端数据的开销，提升热点数据的查询分析性能和稳定性。原理 ...
数据源读取时间超时的优化思路
DataV组件直接查询结果表的数据，不需要在每次组件获取数据时，再次执行SQL查询。API接口内部业务调用链路较长，查询超时 为API服务设计缓存空间，针对常用的数据进行高效缓存，减少多次调用读取耗时。优化调用链路，将可以并行调用的过程...
数据源读取时间超时的优化思路
DataV组件直接查询结果表的数据，不需要在每次组件获取数据时，再次执行SQL查询。API接口内部业务调用链路较长，查询超时 为API服务设计缓存空间，针对常用的数据进行高效缓存，减少多次调用读取耗时。优化调用链路，将可以并行调用的过程...
如何减少查询数据点提高查询效率
时序查询优化的其中一个原则就是，查询命中的数据点越少，查询效率越高。因此来说查询条件尽量精确。如何减少扫过的数据点数 查询周期与写入的采集周期强相关，尽量减少毫秒级采集周期写入。起始时间和结束时间最好对齐小时自然边界，避免...
数据查询
使用预降采样查询提升查询性能 大范围的时间查询 预降采样 通过存储引擎将写入的数据降低精度后单独存储，查询时按查询条件中指定的降采样精度自动查询最接近预降采样精度的数据，然后再对查询的数据进行聚合计算，减少实时查询的计算数据...
查询并下载数据
通过即席查询您可以根据当前的业务情况自定义并执行查询语句和下载查询的数据。例如，当完成计算任务开发后，您可以通过即席查询验证计算任务是否符合预期。本文为您介绍如何新建即席查询并下载结果数据。前提条件 若您需下载即席查询的...
数据查询与分析管控
说明 数据分析支持的数据源类型（包括引擎数据源和自建数据源），详情请参见 SQL查询支持的数据源。角色限制 租户管理员、租户安全管理员 角色权限，可对当前租户下所有工作空间的数据源进行授权。空间管理员 角色权限，仅支持授权用户所...
数据源管理
在 已有数据集 页签中，选择需要添加的数据库下的空间表后，单击 添加到项目。说明 您也可以在 SQL查询 页签，通过自定义SQL语句查询所需数据。在数据源页签下查看已添加的数据。查看数据引用图层 选择任一数据，单击 图标，查看当前数据的...
查询并下载数据
通过即席查询您可以根据当前的业务情况自定义并执行查询语句和下载查询的数据。例如，当完成计算任务开发后，您可以通过即席查询验证计算任务是否符合预期。本文为您介绍如何新建即席查询并下载结果数据。背景信息 即席查询任务使用您当前...
按时间戳冷热分离
优先查询热存储中的数据，若热存储中的数据查完了，用户仍然在调用获取下一条数据，则会开始查询冷数据。false：否。不开启优先查询热数据功能。方式二：HBase Java API scan=new Scan();scan.setAttribute(AliHBaseConstants.COLD_HOT_...
创建数据脱敏场景
通过DataWorks的数据开发DataStudio、数据地图查询的数据均会按照配置的脱敏规则进行脱敏。在 数据分析 通过 SQL查询 功能查询数据时，查询的敏感数据会按照配置的脱敏规则进行脱敏。说明 EMR引擎暂不支持使用数据开发展示脱敏，Hologres...
产品功能
您也可以通过 TSDB 产品控制台的数据查询功能进行数据分组、降采样、空间聚合的可视化数据查询展现。数据管理 数据时效设置 您可以通过控制台或者 API 设置数据的有效期。数据时效开启并设置完成后，系统对于定义的过期数据将立即标记失效...
SQL处理优化
为了方便用户操作Transactional Table 2.0，MaxCompute计算引擎对SQL全套的数据查询DQL语法和数据操作DML语法进行了支持，并且SQL引擎内核模块包括Compiler、Optimizer、Runtime等都做了专门适配开发以支持相关功能和优化。本文为您介绍...
冷数据归档
本文介绍时序引擎的冷数据归档功能的使用方法。功能概要 在时序数据库持续写入的场景下，早先写入的时序数据会随着时间推移，查询频度逐渐降低。...但需注意的是，如果被查询的数据已经归档到冷存储介质上，则查询的延迟将会增加。
数据库分组
若您需要在SQL变更或结构设计中快速载入多个数据库，可以创建一个数据库分组，将多个数据库环境、引擎类型相同的数据库绑定成为一个分组。本文介绍如何创建数据库分组。背景信息 当您的业务部署在多个地域，且存在多个数据库时，您每次做...
冷热分离
该属性的含义是优先查询热存储中的数据,若热存储中的数据查完了，用户仍然在调用next获取下一条数据，则会开始查询冷数据。Shell hbase(main):002:0>scan 'chsTable',{COLD_HOT_MERGE=>true} Java scan=new Scan();scan.setAttribute...
SQL查询
支持查询的数据源 SQL查询支持的数据源包含MaxCompute、Hologres、EMR Hive、EMR Spark SQL、EMR Impala、EMR Presto、EMR Trino、CDH hive、StarRocks、ClickHouse、AnalyticDB for MySQL3.0、AnalyticDB for PostgreSQL、MySQL。...
数据分析概述
您可以通过编写SQL语句，对有查询权限的数据源进行快速的数据查询与分析操作，详情请参见 功能概览。DataWorks SQL查询提供了扩展的灵活性和便捷性。允许您利用工作空间中现有的数据源作为数据分析的数据集。数据源一部分是DataWorks支持的...
时序引擎应用开发简介
通过创建连续查询对新写入的数据预聚合处理，减少实时查询的数据量，从而减少计算量并降低查询延迟。6.预降采样 预降采样应用于较长时间范围的数据查询场景。在数据写入时按照设置的规则将原始数据降低精度存储，降采样查询时，通过查询低...
引擎功能
用户也可以通过产品控制台的数据查询功能进行数据分组、降采样、空间聚合等可视化数据查询展现。数据管理 数据库管理 时序数据的存储以Database为粒度进行隔离。支持通过SQL对Database的时间分区间隔、冷热分界线、数据过期时间等属性进行...
慢查询日志
在一些业务场景中，用户会向TSDB发起高流量的查询，造成较高的负载，从而使TSDB的整体...当用户通过慢查询日志定位到可疑的查询后，可以结合 如何减少查询命中时间线提升查询效率 或者 如何减少查询数据点提高查询效率 等方法来优化查询性能。
自媒体：易撰
业务端存在复杂查询，查询涉及的数据时间跨度大。单表10亿级数据，亿级数据需要多维度查询。业务端数据存储量大，TB级数据存储诉求，且数据量持续高速增长。业务端数据有更新诉求，对事务有强一致性要求。解决方案 通过 PolarDB-X+RDS的...
简介
当您需要将查询的数据、测试的数据、以及数据变化趋势等信息，以文档的形式进行交付，并在交付后，希望有可以替您解答数据的相关问题的工具时，您可以使用DMS的数据工作站功能。背景信息 Data Fabric是一种创新的数据管理方法，着重于迅速...
创建数据集
数据集是基于特定数据库和特定SQL查询所产生的，以二维表表现的数据集合。本文介绍创建数据集的方法。创建数据集 登录 数据管理DMS 5.0。在顶部菜单栏中，选择 传输与加工>数据可视化。说明 更多访问方式，请参见 访问数据可视化功能。在 ...
复制数据库SQL Server 2008 R2版
若您需要创建一个与现有数据库数据完全相同的数据库，您可以使用复制数据库的方式。本文介绍如何通过RDS控制台复制并创建新的数据库。前提条件 实例版本为SQL Server 2008 R2。说明 SQL Server 2008 R2（本地盘）实例支持通过RDS控制台复制...
DescribeDataAssets-查询数据资产敏感信息
执行敏感数据保护概览页面的数据资产搜索。接口说明 本接口一般用于敏感数据保护概览页面各资产类型数据的查询。QPS 限制 本接口的单用户 QPS 限制为 10 次/秒。超过限制，API 调用将会被限流，这可能影响您的业务，请合理调用。调试 您...
实例化解决方案
跳过目标工作组中已有内容：保留当前工作组名称和code相同的数据。覆盖目标工作组中已有内容：覆盖当前工作组名称和code相同的数据。如该解决方案包包含模型类型，可在实例化前选择质量规则的处理方式。保留原有逻辑表质量规则：当选择 ...
冷热分层
当查询数据时，您只需要读取指定条件的数据，且查询条件不会过于复杂。适用场景 时序类数据场景：时序类数据天然具备时间属性，数据量大，且仅执行追加操作。示例如下：IM场景：通常用户会查询最近若干条聊天记录，只有在特殊需求的时候才...
跨库查询
当需要查询分散在不同数据库中的数据时，您可以使用 云原生数据仓库 AnalyticDB PostgreSQL 版 的跨库查询功能方便地将数据聚合在一起，进行高效查询，提高数据访问效率。功能介绍 Database是PostgreSQL生态下数据库的最高级别，同一个实例...
开发Dataphin数据源并加速数据查询
开发Dataphin数据源即将Dataphin中的逻辑表和物理表配置为供应用调用的Dataphin数据源，同时您可以为已开发的Dataphin数据源所在的计算空间添加Hologres加速计算源，以满足对查询速度有要求的业务场景。本文为您介绍如何开发Dataphin数据源...
概述
当应用程序使用 testAcc 连接数据库，并查询某个表中的 name、age 和 hobby 时，Proxy会将 name 和 age 列的数据进行脱敏后再返回，hobby 列的数据则未进行脱敏原样返回。Proxy会对不同类型的数据进行不同的脱敏处理，具体脱敏处理说明如下...
如何高效地查询时序数据
查询条件覆盖的时间范围过大可能会导致扫描过多的数据，进而导致查询速度过慢，在这种情况下建议您可以缩小时间戳列的过滤范围来提高查询性能。常见的时序查询场景和查询操作 重要 如果需要复现以下查询场景的结果，请下载相应的 SQL脚本...
管理API
通过输入关键字，可查询当前用户有查询权限的数据库。该参数仅当 实例查询类型 为 单实例查询 模式时显示。配置方式 选择API的配置方式，支持的选项：表引导模式：通过可视化的方式选择表、字段，定义API的数据查询配置。脚本模式：通过...
Hudi概述
Apache Hudi是一种数据湖的存储格式，在Hadoop文件系统...增量数据处理 Hudi支持Incremental Query查询类型，您可以通过Spark Streaming查询给定COMMIT后发生变更的数据。Hudi提供了一种消费HDFS变化数据的能力，可以用来优化现有的系统架构。
查询数据
} 查询结果 使用 query 方法查询的数据以 List的形式返回，其中的 QueryResult 是每个子查询的查询结果。您可以使用 QueryResult 的 getDps()方法获取查询的数据。最新数据点查询 TSDB SDK提供查询指定时间戳前的最新数据点功能。代码示例...
数据服务
数据管理DMS 的数据服务是将您在DMS上管控的数据以API的形式快速对外输出的功能，本文将介绍如何新增、发布、测试与调用API。前提条件 已开通 API网关。准备工作 本示例已提前创建 student_courses 表，并插入部分测试数据，SQL语句如下：/...
按自定义时间列冷热分离
在查询一辆车某段时间内的数据时，系统可以根据查询条件定位到是否需要查询冷数据，或是否仅查询热数据。USE test;CREATE TABLE dt(vin varchar,ts bigint,c1 varchar,c2 varchar,constraint pk primary key(vin,ts))WITH(COMPRESSION='...
功能特性
数据开发 DataWorks DataStudio 数据分析 SQL查询 SQL查询功能支持通过编写SQL语句的方式对有查询权限的数据源进行快速的数据查询与分析。数据分析 SQL查询 第三方工具 数据库管理工具 通过数据库管理工具连接MaxCompute，目前主要支持...
SQL 诊断概述
说明 相同 SQL 是指相同的数据库和 SQL ID。机器之间执行对比，输出的是这些主机上相同 SQL 的明细和响应时间趋势。如果基准节点与对比节点上没有执行相同的 SQL，则不会输出结果。SlowSQL SlowSQL 是指执行时间超过 500ms 的 SQL 语句。您...
管理数据集
数据集是基于特定数据库和SQL查询生成，并且以二维表呈现的一种数据集合。本文介绍创建、编辑、删除数据集的方法。注意事项 数据分析后续所有的分析工作、仪表盘制作和大屏制作都是基于数据集进行的，因此在进行其他功能前，必须先创建数据...
- 产品推荐
- 这些文档可能帮助您