功能简介
资产使用方：主要进行数据查找和使用申请，目标是找到需要使用的数据资产，进行权限获取以完成后续业务使用。资产管理员：对所有可对外服务的高价值数据资产进行管理维护与编目上线，进行资产对外服务的生命周期维护，同时针对申请使用进行...
快速体验
DataWorks为您提供智能建模、数据清洗、周期调度运维、数据治理等一站式大数据开发管理能力，本文以一个零售电商行业的数仓搭建实验为例，为您介绍DataWorks在数仓搭建过程中的技术选型、技术流程以及流程实现，帮助您深入了解阿里云...
查询账单
在 计费项 为 SQL洞察和审计-数据查询 的消费明细中，查看数据查询费用情况。对于使用DAS企业版 V3的数据库实例：在 计费项 为 下载数据量 的消费明细中，查看数据导出的费用。在 计费项 为 洞察分析 的消费明细中，查看洞察分析的费用。在...
查询监控图和SQL列表介绍
扫描数据 查询从存储层返回到计算层的数据量。扫描数据量的大小在一定程度上能体现查询对存储层的压力，读取的数据量越大，消耗的磁盘IO资源也越大，在计算层的处理也会消耗更多资源，影响查询速度。总的Stage个数 查询生成的总的Stage个数...
连接数据库集群
右键单击目标数据库，选择 查询工具.，打开如下页面后，即可对数据库进行增删改查等操作。通过命令行连接PolarDB 除了上述连接 PolarDB 数据库集群的方式外，您还可以下载安装 PostgreSQL客户端 使用psql工具连接 PolarDB 数据库集群。说明...
连接数据库集群
右键单击目标数据库，选择 查询工具.，打开如下页面后，即可对数据库进行增删改查等操作。通过命令行连接PolarDB 除了上述连接 PolarDB 数据库集群的方式外，您还可以下载安装 PostgreSQL客户端 使用psql工具连接 PolarDB 数据库集群。说明...
绑定或解绑数据库账号
背景信息 AnalyticDB MySQL版 数仓版（3.0）弹性模式集群版（新版）支持不同数据库账号绑定到不同的资源组，通过资源组隔离实现计算任务的优先级调度，保障核心业务不受复杂计算和突发状况影响，同时将不同的查询分类，合理分配资源使集群...
数据字典
在数仓开发和数据分析过程中，当业务中有常量数据或者业务数据可以划分为业务事实表和业务维度表时，您可以通过使用数据字典来替代维度表实现，避免使用Join语句，从而提升查询效率。注意事项 以下版本的 云数据库ClickHouse 集群不支持...
2023年
时间 特性 类别 描述 产品文档 2023-09-27 新增TPC-DS性能测试 新说明 MaxCompute适用于TB、PB和EB等各个数量级的数据查询场景，并在业界具有较大的性能优势，本文基于MaxCompute提供的公开数据集及测试工具，以大数据基准测试TPC-DS为例为...
常见问题
数据湖后端存储使用OSS，用户使用数据湖构建面向大数据分析和机器学习场景可以获得集中式权限管理和统一的元数据视图，更容易对接云上大数据和分析产品。什么情况下我需要使用数据湖构建？在云上有数据分析和机器学习需求，希望构建云上的...
调优集群性能
存储节点0上的Shard_0和Shard_1中数据量较大，而在存储节点1上的Shard_2和Shard_3中数据量较小，那么当您查询这个大表时，较大概率会出现存储节点0需要处理的数据多，存储节点1上需要处理的数据少的情况，这样就会导致存储节点0的CPU使用率...
影响查询性能的因素
如果查询需要处理的数据量较大，就可能会长时间占用大量的资源，导致整体查询效率降低，进而影响最终的查询效果。此外，如果 AnalyticDB MySQL版 中表存储的数据量较大，那么在执行索引过滤、明细数据读取等操作时也会出现相互争抢磁盘I/O...
分区索引
创建搜索索引时可以指定数据分区策略，服务端自动将数据进行拆分并存储，查询数据时系统自动进行分区裁剪。本文介绍数据分区的策略和使用方法。前提条件 已开通 云原生多模数据库 Lindorm 实例的搜索索引服务，具体操作请参见 开通搜索索引...
查询并下载数据
背景信息 即席查询任务使用您当前项目下所设置的计算源进行数据查询。在使用Hadoop计算源时，支持开启Impala任务，开启后除支持创建HIVE_SQL即席查询任务外，还支持创建IMPALA_SQL即席查询任务。因Impala基于内存计算，IMPALA_SQL即席查询...
查询机制
SELECT 使用SELECT查询数据时，需要从磁盘中读取一个数据块到内存中，然后通过内存中数据块获取返回结果。INSERT 当您使用INSERT插入一条数据时，具体过程如下：从数据文件中读取一个数据块到内存中，并将这行数据写入这个数据块，系统生成...
入门概述
快速入门简要介绍了如何快速上手数据资源平台，包括不限于数据的接入、治理、建模等。本文介绍数据资源平台入门概述。快速使用说明 准备工作：在使用...查询数据：在数据查询模块中预览插入到物理表的表数据，具体操作，请参见 物理表查询。
Catalog概述
本文为您介绍什么是Catalog（数据目录），以及如何使用Catalog查询内外部数据。基本概念 内部数据：保存在StarRocks中的数据。外部数据：保存在外部数据源（例如，Apache Hive、Apache Iceberg和Apache Hudi）中的数据。Catalog StarRocks ...
数据服务概述
功能介绍 数据服务支持基于业务数据源的物理表或Dataphin生成的逻辑表 创建服务项目分组 和 开发Dataphin数据源并加速数据查询，以满足不同场景的业务诉求。后续应用就可以 调用API 和 调用Dataphin数据源。同时数据服务支持 运维监控API，...
查询用户OSS或专属存储的归档数据
Q：同一个工单内进行了多次归档，即周期归档，在进行数据查询时，可以查询指定时间段的数据归档吗？A：可以。同一个工单的周期归档会根据归档的时间生成不同时间段的数据归档，所以可以通过创建数据归档的时间，判断并查询目标时间段的数据...
SQL窗口介绍
数据管理DMS的SQL窗口可以非常便捷地执行各类SQL语句，同时支持以可视化的方式对目标数据库进行增、删、改、查等操作，适用于数据查询、数据开发等场景。前提条件 已具备目标库或表的查询权限。申请权限，请参见 权限管理。SQL窗口界面介绍...
通用数据开发
通常数据开发的总体流程包括数据产生、数据收集与存储、数据分析与处理、数据提取和数据展现与分享。说明 上图中，虚线框内的开发流程均可基于阿里云大数据平台完成。数据开发的流程如下所示：数据产生：业务系统每天会产生大量结构化的...
附录：数据服务错误代码表
错误代码 描述 语义 0 success 数据查询及返回结果成功。1108110583 query timeout 请求查询超时，API在数据服务和数据库中的整体执行时长超过了API环境配置中所设置的超时时间，导致请求超时。1108110519 param miss 请求参数缺失，当API...
实验介绍
数据采集 数据加工 配置数据质量监控 数据可视化展现 目标人群 开发工程师、数据分析师、产品运营等存在数仓数据获取与数据分析洞察人员。涉及产品 本案例涉及以下产品：一站式大数据开发治理DataWorks 本案例通过DataWorks实现数据采集，...
Catalog概述
本文为您介绍什么是Catalog（数据目录），以及如何使用Catalog管理和查询内外部数据。基本概念 内部数据：保存在StarRocks中的数据。外部数据：保存在外部数据源（例如Apache Hive、Apache Iceberg和Apache Hudi）中的数据。Catalog ...
创建数据脱敏场景
在 数据分析 通过 SQL查询 功能查询数据时，查询的敏感数据会按照配置的脱敏规则进行脱敏。说明 EMR引擎暂不支持使用数据开发展示脱敏，Hologres引擎暂不支持使用数据开发/数据地图展示脱敏。数据分析展示脱敏 在 数据分析 通过 SQL Notes ...
多租户和资源划分
例如可以通过以下语句，限制user1只能使用group_a资源组中的节点进行数据查询，user2只能使用group_b资源组，而user3可以同时使用3个资源组。set property for 'user1' 'resource_tags.location'='group_a';set property for 'user2' '...
SQL处理优化
为了方便用户操作Transactional Table 2.0，MaxCompute计算引擎对SQL全套的数据查询DQL语法和数据操作DML语法进行了支持，并且SQL引擎内核模块包括Compiler、Optimizer、Runtime等都做了专门适配开发以支持相关功能和优化。本文为您介绍...
数据探索概览
下面将详细介绍InfluxQL的SELECT语句和实用的数据查询语法。基础 查询结果的配置 有关查询语法的提示 SELECT语句 ORDER BY time DESC 时间语法 WHERE子句 LIMIT和SLIMIT子句 正则表达式 GROUP BY子句 OFFSET和SOFFSET子句 数据类型和转换 ...
SELECT MATERIALIZED VIEW
背景信息 物化视图状态分为如下两种：物化视图有效 执行查询语句时，MaxCompute会从物化视图中直接查询数据，不会从源数据中查询数据。物化视图无效 执行查询语句时，MaxCompute无法从物化视图中直接查询数据，会从源数据中查询数据，无法...
SQL查询概述
③ 编辑区 您可在编辑器中编写SQL查询代码进行数据查询。④控制台 运行SQL查询后，查询结果将在控制台为您展示，您可以在控制台中查看您的运行结果、日志、代码等信息，并且支持对运行结果进行可视化分析。具体支持的功能详情如下：运行...
SQL查询概述
③ 编辑区 您可在编辑器中编写SQL查询代码进行数据查询。④控制台 运行SQL查询后，查询结果将在控制台为您展示，您可以在控制台中查看您的运行结果、日志、代码等信息，并且支持对运行结果进行可视化分析。具体支持的功能详情如下：运行...
使用MongoDB工具将MongoDB Atlas迁移至阿里云
您可以在本地设备或ECS实例中安装Mongodump和Mongorestore（也可以安装MongoDB数据库）工具，然后使用这些工具将MongoDB Atlas数据库迁移至阿里云数据库MongoDB。说明 本文以本地设备为例介绍操作流程。注意事项 确保安装的Mongodump和...
数据脱敏能力概述
DataWorks支持通过配置脱敏规则将敏感数据进行脱敏，保障数据查询或存储安全。当前DataWorks支持多种脱敏场景，同时您还可根据需要自定义脱敏场景，以满足不同数据脱敏场景下的脱敏需求。本文为您介绍DataWorks数据脱敏能力及操作引导。...
一键MaxCompute数据同步节点
背景信息 使用一键同步MaxCompute数据至Hologres进行数据查询时，您需要先在Hologres中创建外部表，该外部表可视为MaxCompute源表（即需要同步的MaxCompute数据所在的表）与Hologres内部表的链接，通过该连接将MaxCompute源表数据同步至...
数据分析概述
您可以通过编写SQL语句，对有查询权限的数据源进行快速的数据查询与分析操作，详情请参见 功能概览。DataWorks SQL查询提供了扩展的灵活性和便捷性。允许您利用工作空间中现有的数据源作为数据分析的数据集。数据源一部分是DataWorks支持的...
功能简介
统一服务为用户提供了数据中台建设过程中的数据服务化能力，面向数据开发者提供覆盖各个加工阶段统一体验的、便捷的数据查询转服务、服务管理、服务运维能力；面向数据资产管理者提供服务的统计分析、服务用量统计分析、热门数据统计分析...
DBS沙箱功能概览
背景信息 在海量数据场景下，传统数据库备份服务面临两大越来越严重的困难：存储成本：为了保障数据恢复点目标（Recovery Point Objective，RPO），周期性的全量和增量备份产生大量重复数据，导致存储成本过高。使用成本：您必须待数据完成...
数据集成
数据源支持情况 数据集成目前支持40种以上的数据源类型（包括关系型数据库、非结构化存储、大数据存储、消息队列等），通过定义来源与去向数据源，并使用数据集成提供的数据抽取插件（Reader）、数据写入插件（Writer），实现任意结构化、...
数据归档至专属存储
Q：同一个工单内进行了多次归档，即周期归档，在进行数据查询时，可以查询指定时间段的数据归档吗？A：可以。同一个工单的周期归档会根据归档的时间生成不同时间段的归档数据，所以可以通过创建数据归档的时间，判断并查询指定时间段的归档...
数据地图概述
查找表、代码和API 在首页查找 您还可以通过 首页 中的 API 类目下展示的近期浏览的API、热门浏览的API、热门调用的API等列表快速获取相应的API，或者在搜索框中输入关键字搜索目标API，详情请参见 通用数据查询与管理。您可以通过 首页 中...
- 产品推荐
- 这些文档可能帮助您