加速服务
通过使用加速服务，您可以在调用API时提高数据查询的速率和性能。本文为您介绍两种加速方案的使用方法。背景信息 DataWorks数据服务的加速方案有两种：加速服务 和 MCQA，您可以 点击这里 加入DataWorks用户钉群进行咨询。两种方案的对比...
统一服务
统一服务为用户提供了数据中台建设过程中的数据服务化能力，面向数据开发者提供覆盖各个加工阶段统一体验的、便捷的数据查询转服务、服务管理、服务运维能力；面向数据资产管理者提供服务的统计分析、服务用量统计分析、热门数据统计分析...
功能简介
统一服务为用户提供了数据中台建设过程中的数据服务化能力，面向数据开发者提供覆盖各个加工阶段统一体验的、便捷的数据查询转服务、服务管理、服务运维能力；面向数据资产管理者提供服务的统计分析、服务用量统计分析、热门数据统计分析...
数据重排
在MaxCompute的使用过程中，如果已经积累了大量数据占用了大量存储资源，且已经通过削减数据存储生命周期和删除非必要数据等方式进行了治理，在您的存储预算有限，计算资源还有冗余的情况下，可以考虑使用数据重排方式对存储空间进行优化。...
查询非结构化数据
MaxCompute Studio对此提供了一些代码模板方便您快速进行非结构化数据查询开发。本文为您介绍如何使用MaxCompute Studio查询非结构化数据。前提条件 您需要完成以下操作：管理项目连接 创建MaxCompute Java Module 编写StorageHandler、...
数据归档至AnalyticDB MySQL 3.0
归档后的表会新增四列数据，不影响表原始数据的使用：归档信息（工单号和归档时间）数据库名称 表名称 实例ID（DMS录入实例时赋予的ID，与实例真实ID对应）方式二：通过 AnalyticDB MySQL版 查询归档数据 具体的查询操作，请参见 导入数据...
数据治理中心概述
数据治理中心可自动发现平台使用过程中数据存储、任务计算、代码开发、数据质量及安全等维度存在的问题，并通过健康分量化评估，从全局、工作空间、个人等多个视角，以治理报告及排行榜呈现治理成果，帮助您高效达成治理目标。同时，提供...
产品计费
数据查询费用 0.2元/GB 0.3元/GB 查询冷存储的数据时，按量收取数据查询费用。企业版 V1 和V0 重要 仅企业版 V1收取包年包月的费用。公共云 计费项 计费方式 定价 说明 包年包月的费用 包年包月 40元/实例/月 用于计费的实例数量指您在购买...
数据开发概述
即席查询：即主题式查询，面向业务主题的数据查询。屏蔽了物理模型中技术特性带来的影响，基于逻辑模型从业务视角出发对外提供查询服务。双开发模式：Dataphin支持 Basic 和 Dev-Prod 的数据开发模式：Basic 项目绑定了 Basic 数据板块，...
Paimon概述
目前阿里云开源大数据平台E-MapReduce常见的计算引擎（例如Flink、Spark、Hive或Trino）都与Paimon有着较为完善的集成度。您可以借助Apache Paimon快速地在HDFS或者云端OSS上构建自己的数据湖存储服务，并接入上述计算引擎实现数据湖的分析...
HTTP API 概览
API 描述/api/put 写入数据/api/query 查询数据/api/query/last 查询时间线最新数据点/api/mput 多值写入/api/mquery 多值查询/api/query/mlast 多值查询最新数据点/api/suggest 查询 Metric,Tagk,Tagv，Field/api/dump_meta 查询 Tagk 下...
查询管理与分析
此类查询通常涉及到大规模数据处理、复杂的计算操作，或是跨多个数据库的交互。之所以关注运行中大查询，是因为这些查询可能会大量占用CPU、内存及IO等计算资源，从而影响系统中其他查询的性能。因此，对这类查询进行实时监控是维护系统...
数据迁移
本文为您介绍数据迁移的最佳实践，包含将其他业务平台的业务数据或日志数据迁移至MaxCompute，或将MaxCompute的数据迁移至其它业务平台。背景信息 传统关系型数据库不适合处理海量数据，如果您的数据存放在传统的关系型数据库且数据量庞大...
使用示例
您可以使用 TSDB 对象的 query 方法查询符合查询条件的数据。示例代码 查询一小时的数据：package com . aliyun . hitsdb . client . example ;import java.io.IOException;import java.util.List;import ...
功能发布记录（2024年）
2024.2.6 所有地域 所有DataWorks用户 系统配置 2024-01 功能名称 功能描述 发布时间 发布地域 使用客户 相关文档 数据开发与数据分析的查询结果支持脱敏展示 数据保护伞支持对E-MapReduce表数据进行分类分级、敏感数据识别、数据脱敏展示...
增量数据同步
前往 数据查询 模块，单击 物理表查询，选择目标端数据源及表“dataq_odps_dev/stg_base_yhkh_demo_di”，在 数据预览 中可查看“stg_base_yhkh_demo_di”表中已写入zjzdjyrq（最近主动交易日期）为2022-12-13且gz（工资）大于10000元的...
数据共享SQL
实例开通数据共享后，还需要通过SQL创建共享并授权，才能实现实例间的数据共享。...说明 查询数据库ID的语句仅支持查询当前数据库的ID，如需查询其他数据库的ID，请切换到对应数据库中执行查询语句。SELECT current_database_uuid();
数据查询
标准SQL查询 Lindorm时序引擎推荐使用标准SQL进行数据查询。Lindorm时序引擎针对SQL查询做了许多查询优化，提升大多数场景的查询性能、减少服务端的资源占用、提高服务端的稳定性。特性 支持降采样查询、聚合、最新值查询等时序特性的查询...
会话管理
背景信息 应用与数据库的连接被称为一个会话，在 ODC 会话管理页面可以查询连接到当前数据源下数据库所有会话的详细信息。在会话管理页面 ODC 提供了可视化界面使用户可以清晰直观的查询当前数据库支持的会话变量。查询会话 示例：在 SQL ...
查询Delta表数据
在E-MapReduce中通过Spark创建的Delta表将自动同步到Hive元数据，您可以像使用其他表一样查询Delta表。您还可以通过使用Hive创建外表的方式来查询Delta表。本文为您介绍如何通过Spark创建表和Hive创建外表的方式，在Hive、Presto和Trino中...
EMR-3.22.x版本说明
EMR-3.22.0 2019年7月28日 新功能 服务 变更点 Kudu 新增组件，Kudu填补Hadoop生态圈的功能空白，可提供类似HBase快速数据插入以及随机存取的功能，允许用户进行数据修改，同时还提供类似HDFS或Parquet超大规模的数据分析以及查询的功能。...
API概览
数据传输服务DTS提供以下API接口。说明 以下接口将于2022年1月1日停止维护，推荐您使用新版API。数据迁移 API 描述 CreateMigrationJob 购买迁移实例。ConfigureMigrationJob 配置迁移实例。StartMigrationJob 启动迁移实例。...
通过DSC实现DMS数据分类分级
步骤一：查询DSC数据分级结果 通过OpenAPI查询 调用数据安全中心 DescribeColumns-查询数据资产表中列的数据 接口查询数据分类分级结果的示例代码如下：重要 下述代码示例使用环境变量获取AccessKey的方式进行调用，仅供参考，建议使用更...
跨库查询
当需要查询分散在不同数据库中的数据时，您可以使用 云原生数据仓库 AnalyticDB PostgreSQL 版 的跨库查询功能方便地将数据聚合在一起，进行高效查询，提高数据访问效率。功能介绍 Database是PostgreSQL生态下数据库的最高级别，同一个实例...
生态对接
本文为您介绍MaxCompute支持连接的商业智能BI工具、数据库管理工具及ETL工具。MaxCompute的生态架构如下图所示。商业智能（BI）工具 商业智能（BI）工具支持将计算引擎得到的数据通过仪表板、图表或其他图形输出实现数据可视化，以直观的...
同数据库归档
当数据库中表的数据量过大时，可能会影响查询数据速率，在不考虑将数据迁移到其他数据库的情况下，您可以将数据库中的历史数据或使用频率低的冷数据归档在当前数据库下的其他表中。同时，结合DMS提供的归档时清理源表功能，帮助您提升数据...
DataWorks OpenAPI概述
DataWorks为您提供了涵盖租户、元数据、数据开发、运维中心、数据集成等多个功能模块的OpenAPI接口，不同API的QPS限制、每日调用次数上限和支持使用的DataWorks服务版本存在差异。您可参考本文了解各OpenAPI支持的DataWorks版本及地域、...
Hive
Hive是Hadoop生态系统中的一个被广泛使用的数据仓库工具，主要用来进行Hadoop中的大规模数据的提取、转化、加载、查询和分析等操作。Hive数据仓库工具能将存储在HDFS系统中的结构化的数据文件映射为一张数据库表，并提供SQL查询功能，能将...
分区
合理设计和使用分区，可以提高查询性能、简化数据管理，并支持更灵活的数据访问和操作。概述 分区可以理解为分类，通过分类把不同类型的数据放到不同的目录下。分类的标准就是分区字段，可以是一个，也可以是多个。MaxCompute将分区列的每...
元表和字段资产详情
数据预览：若有当前表的查询权限，可以使用数据预览功能，否则需先申请查询权限。如何申请，请参见 申请、续期和交还表权限。说明 数据预览为您展示20条抽样查询数据。当计算引擎为Impala时，不支持数据预览功能。③ 血缘 为您展示表之间的...
创建并管理数据源
若您想在DataWorks操作您的数据库或数据仓库（例如，MaxCompute项目数据），需先在DataWorks的数据源管理页面，将数据库或数据仓库创建为DataWorks的数据源，并将该数据源绑定至DataWorks相应的功能模块使用。例如，同步MaxCompute数据前，...
元表和字段资产详情
数据预览：若有当前表的查询权限，可以使用数据预览功能，否则需先申请查询权限。如何申请，请参见 申请、续期和交还表权限。说明 数据预览为您展示20条抽样查询数据。当计算引擎为Impala时，不支持数据预览功能。③ 血缘 为您展示表之间的...
查看代理监控数据
使用RDS PostgreSQL数据库代理时，您可以随时查看数据库代理的性能数据，了解数据库代理的负载情况，及时调整代理数量及只读实例的权重分配。前提条件 已开通数据库代理服务，具体请参见 开通数据库代理。操作步骤 访问 RDS实例列表，在...
管理敏感数据
本文介绍设置敏感列、脱敏规则，以及申请查看敏感数据的步骤。前提条件 用户角色为管理员、DBA和安全管理员。说明 鼠标移动到界面右上角的，查看您的角色。支持的数据库：关系型数据库：MySQL、SQL Server、PostgreSQL、MariaDB、Oracle、...
功能特性
本文为您介绍DataV的功能特性，包括丰富的数据可视化编辑工具、专业的地理信息可视化和灵活开放的发布部署方式等。丰富的数据可视化编辑工具 可视化拖拽界面，强大的编辑功能 提供地图、信息、表格和控件等多种业务模块级的非图表组件，...
常见问题
有什么数据查询IDE工具推荐？数据存储 如何查看每张表所占的磁盘空间？如何查看冷数据大小？如何查询哪些数据在冷存上？如何移动分区数据到冷存？监控、升级、系统参数 为什么监控中存在数据中断情况？20.8后的版本是否支持平滑升级，不...
兼容性概述
为了帮助您更清晰地使用BI工具连接访问MaxCompute，本文为您介绍MaxCompute支持连接的BI分析工具，以及工具与MaxCompute在数据库连通性、列举数据库等方面的兼容性。兼容性说明 商业智能（BI）分析工具与MaxCompute的兼容性说明如下。工具 ...
使用DataWorks数据服务生成API
注意 如果不设置请求参数，则需要勾选 返回结果分页，进行分页查询，以避免单次查询返回数据量过大影响性能。API测试。单击页面工具栏最右侧的 测试，填写API请求参数（由于打开了分页查询开关，系统会自动添加两个分页参数），单击 开始...
数据建模：智能数据建模
智能数据建模是阿里云DataWorks自主研发的智能数据建模产品，沉淀了阿里巴巴十多年来数仓建模方法论的最佳实践，包含数仓规划、数据标准、维度建模及数据指标四大模块，帮助企业在搭建数据中台、数据集市建设过程中提升建模及逆向建模的...
应用场景
阿里云开源大数据平台E-MapReduce（简称EMR）具有广泛的应用场景。本文为您介绍EMR的主要应用场景。数据湖场景 DataLake集群类型提供了数据湖分析场景所需的服务和相关湖格式，包括Hadoop、OSS-HDFS、Hive、Spark、Presto等。通过选择OSS-...
- 产品推荐
- 这些文档可能帮助您