数据源配置常见问题
DataV设置了向数据库发起的请求不能超过10s的限制，即如果数据查询时间超过10s，就会报请求超时的错误。解决方法：此限制为DataV后台服务设置，用户无法修改。建议您优化查询SQL语句，或者调整表结构来缩短查询时长。可能原因：组件数据...
数据源配置常见问题
DataV设置了向数据库发起的请求不能超过10s的限制，即如果数据查询时间超过10s，就会报请求超时的错误。解决方法：此限制为DataV后台服务设置，用户无法修改。建议您优化查询SQL语句，或者调整表结构来缩短查询时长。可能原因：组件数据...
查询备份数据
RDS MySQL实例支持历史备份数据查询功能，本文介绍在DMS控制台查询历史备份数据的操作步骤。使用场景 数据被误删除或者更改，需要通过查询历史数据来找回业务数据。实例负载较大，需要一个可以按量并且供查询的临时实例，用于临时的查询和...
预览物理表数据
数据查询提供不同数据资源的预览，可为开发人员、数据应用人员和数据分析人员提供全面直观的数据呈现。本文介绍如何预览物理表数据。前提条件 已新建云计算资源，具体操作，请参见 新建云计算资源。操作步骤 登录 数据资源平台控制台。在...
预览物理表数据
数据查询提供不同数据资源的预览，可为开发人员、数据应用人员和数据分析人员提供全面直观的数据呈现。本文介绍如何预览物理表数据。前提条件 已新建云计算资源，具体操作，请参见 新建云计算资源。操作步骤 登录企业数据智能平台。在页面...
API概览
DescribeColumnsV2 查询数据资产表中列的数据V2 调用DescribeColumns接口查询数据安全中心连接授权的MaxCompute、RDS等数据资产表中列的数据。DescribeOssObjects 查询OSS的存储对象列表 调用本接口查询连接授权的OSS的存储对象列表。...
什么是图数据库GDB?
图数据库（Graph Database，简称GDB）是一种支持Property Graph图模型、用于处理高度连接数据查询与存储的实时、可靠的在线数据库服务。它支持Apache TinkerPop Gremlin查询语言，可以帮您快速构建基于高度连接的数据集的应用程序。图数据...
数据分析概述
您可以通过编写SQL语句，对有查询权限的数据源进行快速的数据查询与分析操作，详情请参见 功能概览。DataWorks SQL查询提供了扩展的灵活性和便捷性。允许您利用工作空间中现有的数据源作为数据分析的数据集。数据源一部分是DataWorks支持的...
隔离损坏的本地盘
背景信息 隔离损坏的本地盘仅支持大数据型实例，隔离损坏的本地盘系统事件包括以下事件：本地磁盘出现损坏告警（Disk:ErrorDetected）因系统维护隔离坏盘（SystemMaintenance.IsolateErrorDisk）因系统维护重启实例并隔离坏盘...
数仓分层
在本教程中，从交易数据系统的数据经过DataWorks数据集成，同步到数据仓库的ODS层。经过数据开发形成事实宽表后，再以商品、地域等为维度进行公共汇总。整体的数据流向如下图所示。其中，ODS层到DIM层的ETL（萃取（Extract）、转置...
新建SQL查询
查询数据 支持项目数据和数据源。项目数据：即查询当前项目计算源的数据。数据源：即查询数据源的数据。包括MySQL和Oracle数据源。查询数据源数据需要选择对应数据源。若无可选数据源，可以单击+新建数据源 进行新建。单击 确定，完成SQL...
新建SQL查询
查询数据 支持项目数据和数据源。项目数据：即查询当前项目计算源的数据。数据源：即查询数据源的数据。包括MySQL和Oracle数据源。查询数据源数据需要选择对应数据源。若无可选数据源，可以单击+新建数据源 进行新建。单击 确定，完成SQL...
数仓分层
在本教程中，从交易数据系统的数据经过DataWorks数据集成，同步到数据仓库的ODS层。经过数据开发形成事实宽表后，再以商品、地域等为维度进行公共汇总。整体的数据流向如下图所示。其中，ODS层到DIM层的ETL（萃取（Extract）、转置...
常见问题
对比项 DAS企业版 V3 DAS企业版 V2 DAS企业版 V1 DAS企业版 V0 计费项 采用按量计费的模式，计费项为：数据引入 实时搜索分析 洞察分析 数据热存储 数据冷存储 数据查询 数据导出 企业版 V3在冷热存储混合的基础上，按使用的功能细分计费项...
功能简介
统一服务为用户提供了数据中台建设过程中的数据服务化能力，面向数据开发者提供覆盖各个加工阶段统一体验的、便捷的数据查询转服务、服务管理、服务运维能力；面向数据资产管理者提供服务的统计分析、服务用量统计分析、热门数据统计分析...
如何高效地查询时序数据
查询跨设备的聚合数据 查询余杭区内设备从2019-04-18 10:00:00至2019-04-18 10:30:00上报的PM2.5和SO2监控指标，查询按照5分钟粒度的最大平均值。SELECT max(avg_pm2_5)AS max_avg_pm25,max(avg_so2)AS max_avg_so2 FROM(SELECT district,...
敏感数据保护
主要包括以下场景：敏感数据查询脱敏 当使用即席分析、代码任务、数据预览等功能，查看被保护的敏感数据时，敏感数据会按照已经配置的脱敏策略进行脱敏展示，从而保证敏感数据不泄露。生产环境敏感数据写入开发环境脱敏 当因为测试需要等...
敏感数据保护
主要包括以下场景：敏感数据查询脱敏 当使用即席分析、代码任务、数据预览等功能，查看被保护的敏感数据时，敏感数据会按照已经配置的脱敏策略进行脱敏展示，从而保证敏感数据不泄露。生产环境敏感数据写入开发环境脱敏 当因为测试需要等...
数据可视化展现
在数据分析中使用数据源，需要先给数据源授权，您可以进入 安全中心>安全策略>数据查询与分析管控>可查询数据源 界面，找到需要查询的数据源，单击 操作 列的 授权，为您的账号授权，详情请参见 安全中心。创建 临时文件。方式一：首次进入...
Delta Lake概述
Delta Lake以数据为中心，围绕数据流走向（数据从流入数据湖、数据组织管理和数据查询到流出数据湖）推出了一系列功能特性，协助您搭配第三方上下游工具，搭建快捷、易用和安全的数据湖。背景信息 通常的数据湖方案是选取大数据存储引擎...
按自定义时间列冷热分离
在查询时，建议通过自定义时间列来限定数据查询的时间范围，系统将会根据指定的时间范围决定查询模式，即仅查询热存储区、仅查询冷存储区或同时查询冷存储区和热存储区。如果查询时未限定时间范围，则会导致查询命中冷数据，进而使得查询...
加速服务
通过使用加速服务，您可以在调用API时提高数据查询的速率和性能。本文为您介绍两种加速方案的使用方法。背景信息 DataWorks数据服务的加速方案有两种：加速服务 和 MCQA，您可以 点击这里 加入DataWorks用户钉群进行咨询。两种方案的对比...
创建数据脱敏场景
在 数据分析 通过 SQL查询 功能查询数据时，查询的敏感数据会按照配置的脱敏规则进行脱敏。说明 EMR引擎暂不支持使用数据开发展示脱敏，Hologres引擎暂不支持使用数据开发/数据地图展示脱敏。数据分析展示脱敏 在 数据分析 通过 SQL Notes ...
统一服务
统一服务为用户提供了数据中台建设过程中的数据服务化能力，面向数据开发者提供覆盖各个加工阶段统一体验的、便捷的数据查询转服务、服务管理、服务运维能力；面向数据资产管理者提供服务的统计分析、服务用量统计分析、热门数据统计分析...
资产安全概述
当前，主要影响的场景说明如下：数据查询 例如，在本地生活服务商中，某地区的订单出现了大量投诉，但因脱敏保护只能看到市级别的地址，无法看到投诉来自哪些街道，影响了业务的开展。生产数据写开发环境、测试环境数据准备 例如，脚本任务...
资产安全概述
当前，主要影响的场景说明如下：数据查询 例如，在本地生活服务商中，某地区的订单出现了大量投诉，但因脱敏保护只能看到市级别的地址，无法看到投诉来自哪些街道，影响了业务的开展。生产数据写开发环境、测试环境数据准备 例如，脚本任务...
功能简介
统一服务为用户提供了数据中台建设过程中的数据服务化能力，面向数据开发者提供覆盖各个加工阶段统一体验的、便捷的数据查询转服务、服务管理、服务运维能力；面向数据资产管理者提供服务的统计分析、服务用量统计分析、热门数据统计分析...
图扑案例
为适应日趋复杂化多样化的终端设备、边缘设备、传感器以及第三方系统数据源采集、上报的异构数据，如图3所示，阿里 云原生多模数据库 Lindorm 在云端单实例融合了宽表、索引、时序等多种数据引擎能力，通过阿里云DTS/DMS或第三方开源数据...
使用DataWorks连接
使用DataWorks连接MaxCompute有如下方式：数据分析的 SQL查询 功能：实现编辑MaxCompute SQL、查询数据、分析数据（电子表格）、在线分享数据及下载数据等功能。SQL查询功能详情请参见 SQL查询。数据开发的MaxCompute任务节点：DataWorks将...
概述
解决方案 T+1全量同步一键建仓是指通过DLA控制台配置数据源（RDS、PolarDB for MySQL、MongoDB数据源、ECS自建数据库数据）和目标OSS数据仓库，系统按照您设定的数据同步时间自动、无缝的帮您把数据源中的数据同步到目标数据仓库OSS中，...
管控模式
可视化数据查询结果呈现 Y Y Y SQL格式化 Y Y Y SQL智能提示 Y Y Y 表结构管理 表结构对比 Y Y Y 表结构编辑 Y Y Y 表结构同步 Y Y Y 数据字典导出 5个 无限制 无限制 表结构设计规范 N N Y 表结构研发流程 N N 支持跨云账号、跨数据库和自...
使用DBLink跨库查询数据
在源集群上跨库查询数据。查询语句如下：SELECT*FROM<dbname>@;目标集群的数据库里的表。说明 该表必须在DBLink所连接的目标数据库中。DBLink名称。您可以在控制台查看DBLink名称和DBLink的目标数据库，如下图所示...
功能特性
逻辑库 逻辑表 数据开发与分析 功能集 功能 功能描述 参考文档 SQL窗口 SQL窗口 可以非常便捷地执行各类SQL语句，同时支持以可视化的方式对目标数据库进行增、删、改、查等操作，适用于数据查询、数据开发等场景。SQL窗口介绍 SQL Console...
DLF+EMR之统一权限最佳实践
上述SQL第4条查询失败，该用户dlf_dba_dev不具备db_b数据库的数据查询权限。总结 上述操作步骤演示了一个简单业务场景的数据授权方式，以及操作步骤，当然结合DLF数据权限可以更加灵活的结合业务情况授予不同的人，针对不同资源的查询，...
API概览
GetDatabaseObjects 查询数据库信息 查询数据库信息。GetTable 查询表信息 获取表信息。GetTableColumns 查询列信息 查询列信息。GetTableDDL 查询建表语句 查询建表语句。GetTableObjects 查询表信息 查询表信息。诊断优化 API 标题 API...
Transaction Table2.0概述
Compaction：支持手动和自动合并数据中间历史状态，有效减少数据存储和计算成本，提升数据查询效率。数据回收：系统自动回收过期数据和操作日志，减少存储成本。Time travel：支持SQL语法，有助于回溯业务历史数据状态以及错误数据恢复。...
数据共享SQL
查询数据 该语句用于在目标库中查询数据共享的数据。SELECT*FROM;参数说明：参数 说明 share_name.schema_name.table_name 目标端查询的共享表名字，需为3段式表示：share_name：Share的本地别名（若没有设置别名可使用Share的名称）。...
查询数据代码说明
本文将为您介绍在Dataphin中使用代码方式查询数据时存在的限制和规则。使用限制 Dataphin最多返回10000条查询结果的记录。您可以在查询语句后增加 limit 返回条数，自定义返回记录的条数，例如 select*from ht5_out limit 20;即返回20条...
查询数据代码说明
本文将为您介绍在Dataphin中使用代码方式查询数据时存在的限制和规则。使用限制 Dataphin最多返回10000条查询结果的记录。您可以在查询语句后增加 limit 返回条数，自定义返回记录的条数，例如 select*from ht5_out limit 20;即返回20条...
列存索引如何实现高效数据过滤
当进行数据查询时，minmax索引可以根据查询范围的最小值和最大值快速定位数据块，从而减少对不相关数据的访问。以下图为例，A、B列包含3个DataPack，条件 A>15 and B结合minmax索引，最终RowGroup2与RowGroup3可跳过，只需访问RowGroup1，...
- 产品推荐
- 这些文档可能帮助您