优化MaxCompute外部表的查询性能
修改MaxCompute数据源表 通过修改MaxCompute数据源表优化查询数据的性能，方式如下：转换MaxCompute表为Hash Clustering表 Hash Clustering表可以优化Bucket Pruning、Aggregation以及存储。创建MaxCompute表时，如果使用 Clustered By ...
Time travel
当输入一个SQL语句后，引擎侧会解析出来要查询的数据版本，然后找到此版本时间范围内最近的 BaseFile，再查找BaseFile之后写入的 DeltaFile，进行合并输出，其中BaseFile可以用来加速查询读取效率。上图以创建一张事务表（src）为例：...
批量或异步插入数据
因为创建的数据分区会在后台合并成更大的分区（以优化读取查询的数据），每秒发送太多的插入查询可能会导致后台合并无法跟上新分区的数量。然而，当您使用异步插入数据时，可以使用更高速的插入查询速率。异步插入数据的详细信息，请参见 ...
新建及管理动态脱敏规则
底层脱敏：在数据被查询出来的时候就进行脱敏。SQL的处理过程中，都用脱敏后的结果处理，能对数据起到更好的保护效果。展示脱敏：在数据最后对外展示的时候进行脱敏。SQL处理过程中，都用原文进行处理，因此可以支持简单的where/join等条件...
新建及管理动态脱敏规则
底层脱敏：在数据被查询出来的时候就进行脱敏。SQL的处理过程中，都用脱敏后的结果处理，能对数据起到更好的保护效果。展示脱敏：在数据最后对外展示的时候进行脱敏。SQL处理过程中，都用原文进行处理，因此可以支持简单的where/join等条件...
2019年
支持的数据库 优化数据订阅的在线查询功能，提升数据订阅的使用体验。此功能已下线 升级全量数据迁移功能，优化任务断点重启逻辑，实现接近无损的断点重启。无 2019年5月 支持新版数据订阅功能。数据订阅（新版）支持迁移/同步/订阅MySQL 8...
创建数据脱敏场景
在 数据分析 通过 SQL查询 功能查询数据时，查询的敏感数据会按照配置的脱敏规则进行脱敏。说明 EMR引擎暂不支持使用数据开发展示脱敏，Hologres引擎暂不支持使用数据开发/数据地图展示脱敏。数据分析展示脱敏 在 数据分析 通过 SQL Notes ...
产品功能
您也可以通过 TSDB 产品控制台的数据查询功能进行数据分组、降采样、空间聚合的可视化数据查询展现。数据管理 数据时效设置 您可以通过控制台或者 API 设置数据的有效期。数据时效开启并设置完成后，系统对于定义的过期数据将立即标记失效...
查询并下载数据
通过即席查询您可以根据当前的业务情况自定义并执行查询语句和下载查询的数据。例如，当完成计算任务开发后，您可以通过即席查询验证计算任务是否符合预期。本文为您介绍如何新建即席查询并下载结果数据。前提条件 若您需下载即席查询的...
数据源管理
在 已有数据集 页签中，选择需要添加的数据库下的空间表后，单击 添加到项目。说明 您也可以在 SQL查询 页签，通过自定义SQL语句查询所需数据。在数据源页签下查看已添加的数据。查看数据引用图层 选择任一数据，单击 图标，查看当前数据的...
数据查询与分析管控
DataWorks版本 下载数据条数上限（条）基础版 0 标准版 200,000 专业版 2000,000 企业版 5000,000 说明 版本降级时，可下载的数据条数上限值变化如下：如降级前的下载数据条数上限值，超过了降级后的下载数据条数最大值，则可下载的数据条...
按时间戳冷热分离
优先查询热存储中的数据，若热存储中的数据查完了，用户仍然在调用获取下一条数据，则会开始查询冷数据。false：否。不开启优先查询热数据功能。方式二：HBase Java API scan=new Scan();scan.setAttribute(AliHBaseConstants.COLD_HOT_...
冷数据归档
本文介绍时序引擎的冷数据归档功能的使用方法。功能概要 在时序数据库持续写入的场景下，早先写入的时序数据会随着时间推移，查询频度逐渐降低。...但需注意的是，如果被查询的数据已经归档到冷存储介质上，则查询的延迟将会增加。
查询并下载数据
通过即席查询您可以根据当前的业务情况自定义并执行查询语句和下载查询的数据。例如，当完成计算任务开发后，您可以通过即席查询验证计算任务是否符合预期。本文为您介绍如何新建即席查询并下载结果数据。背景信息 即席查询任务使用您当前...
冷热分离
或者在Get/Scan上设置TimeRange来限定查询数据的时间，系统会根据设置TimeRange决定是查询热区，冷区还是冷热都查。查询冷区数据延迟要比热区数据延迟高的多，并且 查询吞吐受到冷存储限制。查询示例 Get Shell/不带HotOnly Hint的查询，...
引擎功能
用户也可以通过产品控制台的数据查询功能进行数据分组、降采样、空间聚合等可视化数据查询展现。数据管理 数据库管理 时序数据的存储以Database为粒度进行隔离。支持通过SQL对Database的时间分区间隔、冷热分界线、数据过期时间等属性进行...
数据分析概述
您可以通过编写SQL语句，对有查询权限的数据源进行快速的数据查询与分析操作，详情请参见 功能概览。DataWorks SQL查询提供了扩展的灵活性和便捷性。允许您利用工作空间中现有的数据源作为数据分析的数据集。数据源一部分是DataWorks支持的...
RDS MySQL/MariaDB版实例CPU使用率较高
慢SQL导致查询成本高（查询访问表数据行数多）：特征：实例的QPS不高，查询执行效率低、执行时需要扫描大量表数据、优化余地大。表现：存在慢查询，QPS和CPU使用率曲线变化不吻合。原因分析：由于查询执行效率低，为获得预期的结果需要访问...
SQL查询
SQL查询新版升级后，您可以在 添加目录 中按需添加可查询数据源下的数据表，添加对应的数据表目录后，如果表数量过多，可通过搜索的方式找到目标表。对于经常使用的表，还可以将其添加 收藏，后续可在 我的收藏 中进行查看。原 系统设置 中...
简介
当您需要将查询的数据、测试的数据、以及数据变化趋势等信息，以文档的形式进行交付，并在交付后，希望有可以替您解答数据的相关问题的工具时，您可以使用DMS的数据工作站功能。背景信息 Data Fabric是一种创新的数据管理方法，着重于迅速...
时序引擎版本说明
优化查询性能。完善PromQL查询兼容性。修复1dc窗口降采样查询的稳定性问题。3.4.32 发布日期 类型 说明 2023年09月12日 新特性 支持标准SQL创建表（CREATE TABLE）语句。功能优化 修复SQL子查询语句中包含时序过滤属性的聚合结果未出现在父...
创建数据集
数据集是基于特定数据库和特定SQL查询所产生的，以二维表表现的数据集合。本文介绍创建数据集的方法。创建数据集 登录 数据管理DMS 5.0。在顶部菜单栏中，选择 传输与加工>数据可视化。说明 更多访问方式，请参见 访问数据可视化功能。在 ...
DescribeDataAssets-查询数据资产敏感信息
执行敏感数据保护概览页面的数据资产搜索。接口说明 本接口一般用于敏感数据保护概览页面各资产类型数据的查询。QPS 限制 本接口的单用户 QPS 限制为 10 次/秒。超过限制，API 调用将会被限流，这可能影响您的业务，请合理调用。调试 您...
开发Dataphin数据源并加速数据查询
开发Dataphin数据源即将Dataphin中的逻辑表和物理表配置为供应用调用的Dataphin数据源，同时您可以为已开发的Dataphin数据源所在的计算空间添加Hologres加速计算源，以满足对查询速度有要求的业务场景。本文为您介绍如何开发Dataphin数据源...
管理API
通过输入关键字，可查询当前用户有查询权限的数据库。该参数仅当 实例查询类型 为 单实例查询 模式时显示。配置方式 选择API的配置方式，支持的选项：表引导模式：通过可视化的方式选择表、字段，定义API的数据查询配置。脚本模式：通过...
数据服务
数据管理DMS 的数据服务是将您在DMS上管控的数据以API的形式快速对外输出的功能，本文将介绍如何新增、发布、测试与调用API。前提条件 已开通 API网关。准备工作 本示例已提前创建 student_courses 表，并插入部分测试数据，SQL语句如下：/...
概述
查询数据时，若查询结果中包含需要脱敏的列，且单行数据超过16 MB时，执行该查询命令的连接会断开。例如，若已有一张包含了 name 和 description 列的表 person，其中 name 列需要脱敏，且 description 列中的数据超过了16 MB。当执行 ...
管理数据集
SQL 是 查询数据对应的 SELECT SQL，可自由输入任意可正常执行的查询SQL。说明 如果需要在展示图表时进行数据筛选，可在SQL中引用变量，引用变量的方式为$变量名$。在页面下方，单击 执行。调整数据集模型。在SQL执行成功后，可以看到数据...
名词解释
降采样（Downsampling）：当查询的时间区间跨度较长而原始数据时间精度较细时，为了满足业务需求的场景、提升查询效率，就会降低数据的查询展现精度，这就叫做降采样，比如按秒采集一年的数据，按照天级别查询展现。数据时效（Data’s ...
如何高效地查询时序数据
查询条件覆盖的时间范围过大可能会导致扫描过多的数据，进而导致查询速度过慢，在这种情况下建议您可以缩小时间戳列的过滤范围来提高查询性能。常见的时序查询场景和查询操作 重要 如果需要复现以下查询场景的结果，请下载相应的 SQL脚本...
按自定义时间列冷热分离
在查询一辆车某段时间内的数据时，系统可以根据查询条件定位到是否需要查询冷数据，或是否仅查询热数据。USE test;CREATE TABLE dt(vin varchar,ts bigint,c1 varchar,c2 varchar,constraint pk primary key(vin,ts))WITH(COMPRESSION='...
查询数据
示例代码 使用query方法异步的查询数据，并通过设置回调来设置异步查询后的行为：QueryCallback cb=new QueryCallback(){@Override public void response(Query input,List<QueryResult>result){ System.out.println("查询参数："+input);...
数据可视化展现
配置SQL查询数据源 在SQL查询页面，单击 新建SQL查询，进入SQL查询临时文件编辑页面。在页面右上角，图示位置选择当前SQL查询需要查询的工作空间、引擎类型或数据源。您可以联系管理在 安全中心 对要查询的数据源进行授权。在 安全中心>...
Hudi概述
Read Optimized Queries是对Merge On Read表类型快照查询的优化，通过牺牲查询数据的时效性，来减少在线合并日志数据产生的查询延迟。针对不同查询类型的差异点如下表所示。Trade-off Snapshort Queries Read Optimized Queries Data ...
功能简介
AnalyticDB PostgreSQL版 的企业数据智能平台是数据资产定义、加工、管理、服务的全流程平台，提供数据同步、数据查询、数据建模、数据开发、质量评估、资产管理等功能，为智能数据应用持续稳定供给全量、标准、干净、智能的数据资源。...
告警日志
通过告警日志，您可以查询数据库的告警信息。操作步骤 登录数据库审计系统。具体操作，请参见 登录数据库审计系统。在左侧导航栏，选择 查询分析>告警日志。在 告警日志 页面，设置要查询的 时间范围 和查询条件。通过设置筛选条件查询相关...
数据探索概览
InfluxQL是一种类似SQL的查询语言，用于与TSDB For InfluxDB®中的数据进行交互。下面将详细介绍InfluxQL的SELECT语句和实用的数据查询语法。基础 查询结果的配置 有关查询语法的提示 SELECT语句 ORDER BY time DESC 时间语法 WHERE子句 ...
从MySQL导入数据
当您需要将云数据库RDS MySQL或云原生数据库PolarDB MySQL中的数据迁移至 云数据库ClickHouse 中进行实时分析时，本文档为您提供了以RDS MySQL为参考的示例，以帮助您轻松完成数据迁移任务。前提条件 已创建目标 云数据库ClickHouse 集群，...
通过DSC实现DMS数据分类分级
步骤一：查询DSC数据分级结果 通过OpenAPI查询 调用数据安全中心 DescribeColumns-查询数据资产表中列的数据 接口查询数据分类分级结果的示例代码如下：重要 下述代码示例使用环境变量获取AccessKey的方式进行调用，仅供参考，建议使用更...
索引加速
而前缀索引，即在排序的基础上，实现的一种根据给定前缀列，快速查询数据的索引方式。使用示例 将一行数据的前36个字节作为这行数据的前缀索引。当遇到VARCHAR类型时，前缀索引会直接截断，示例如下。以下表结构的前缀索引为 user_id(8 ...
- 产品推荐
- 这些文档可能帮助您