离线同步数据质量排查
数据同步执行过程中就进行了数据查询 部分Writer插件在数据同步完成前，会有同步完成才可见（比如Hive、MaxCompute（可配）等）、部分可见等行为。您需要在同步任务完成后再执行数据查询。没有合理的节点依赖 数据同步任务和数据分析任务...
亿海蓝-航运大数据的可视化案例
一旦数据查询性能低，可视化体验就会受到大幅影响。数据量大，数据提取周期长。亿海蓝有17年AIS（船舶自动识别系统）数据积累，每日AIS数据增量约10亿。用户需要对历史年份数据进行分析，时间跨度大。业务实现技术复杂度高。业务涉及数据...
常见问题
对比项 DAS企业版 V3 DAS企业版 V2 DAS企业版 V1 DAS企业版 V0 计费项 采用按量计费的模式，计费项为：数据引入 实时搜索分析 洞察分析 数据热存储 数据冷存储 数据查询 数据导出 企业版 V3在冷热存储混合的基础上，按使用的功能细分计费项...
聚合支付方案
分析型需求 随着数据量的增大，数据查询涉及的量级呈指数级上升，针对商户等大数据量场景的分析查询，单体MySQL已无法满足需求。解决方案 阿里云通过多款云数据库产品为利楚扫呗制定以下解决方案：方案解读：使用DRDS分库分表将数据库进行...
数据归档至DBS内置OSS
您可以在SQL窗口中进行数据查询，在任务编排中进行数据分析与数据开发。说明 录入DMS实例，请参见 云数据库录入。可选：数据归档成功后，您可以进行源表数据删除和空间优化。清理源表数据：通过新建普通数据变更工单清理数据库中已归档的...
01创建数据字典并物理化
数据字典帮助平台管理者和数据管理者管控治理后数据的一致性和数据质量，创建并维护逻辑表中使用的数据字典，方便数据元引用数据字典来规范数据元的值域范围，保证关联了...在 数据查询 data_odps_dev数据源中可以看见物理化的字典表信息。
DMS数据可视化
您可以使用DMS实现易用的数据库管理，在线进行库、表创建及在线数据查询，让数据更安全、管理更高效、数据价值更清晰。前提条件 已创建 云数据库 SelectDB 版 实例。具体操作，请参见 创建实例。已重置实例admin密码。具体操作，请参见 ...
数据归档至专属存储
Q：同一个工单内进行了多次归档，即周期归档，在进行数据查询时，可以查询指定时间段的数据归档吗？A：可以。同一个工单的周期归档会根据归档的时间生成不同时间段的归档数据，所以可以通过创建数据归档的时间，判断并查询指定时间段的归档...
搜索索引介绍
c1,c2,c3列的随机组合，快速返回查询数据。SELECT*FROM dt WHERE c1=?SELECT*FROM dt WHERE c2=?AND c3=?分词查询。c3列为分词字段，可以通过等值查询相关性高的结果集。例如查询c3列中包含功能介绍、功能或者介绍的数据。SELECT*FROM dt ...
连接集群
您可以使用DMS实现易用的数据库管理，在线进行 云数据库ClickHouse 库、表创建及在线数据查询，让数据更安全、管理更高效、数据价值更清晰。前提条件 已完成快速入门的如下步骤。新建集群 创建账号 设置白名单 说明 新建 云数据库...
数据地图概述
查找表、代码和API 在首页查找 您还可以通过 首页 中的 API 类目下展示的近期浏览的API、热门浏览的API、热门调用的API等列表快速获取相应的API，或者在搜索框中输入关键字搜索目标API，详情请参见 通用数据查询与管理。您可以通过 首页 中...
功能简介
统一服务为用户提供了数据中台建设过程中的数据服务化能力，面向数据开发者提供覆盖各个加工阶段统一体验的、便捷的数据查询转服务、服务管理、服务运维能力；面向数据资产管理者提供服务的统计分析、服务用量统计分析、热门数据统计分析...
概述
脱敏方案对比 脱敏方案 说明 优点 缺点 动态脱敏 当应用程序发起数据查询请求时，系统会在数据库内部对敏感数据进行变换后再返回给应用程序。开始查询前，仅需指定需要进行脱敏查询的数据库账号，以及需要脱敏的数据库、表或列的名称即可。...
全量数据同步
通过选择已注册的数据源端数据和目标端，...前往 数据查询 模块，单击 物理表查询，选择目标端数据源及表“dataq_odps_dev/stg_base_yhkh_demo_df”，在 数据预览 中可查看“stg_base_yhkh_demo_df”表中已写入gz（工资）大于10000元的数据。
什么是数据资源平台
阿里云数据资源平台是数据资产定义、加工、管理、服务的全流程平台，提供数据同步、数据查询、数据标准、数据建模、数据加工、质量评估、业务模型构建、资产管理、数据服务等功能，为智能数据应用持续稳定供给全量、标准、干净、智能的数据...
产品安全能力
当应用程序发起数据查询请求时，系统会在数据库内部对敏感数据进行变换后再返回给应用程序。开始查询前，仅需指定需要进行脱敏查询的数据库账号，以及需要脱敏的数据库、表或列的名称即可。既有效保证了数据的实时性，又实现了数据脱敏，...
数据服务
配置方式 选择API的配置方式，支持的选项：表引导模式：通过可视化的方式选择表、字段，定义API的数据查询配置。脚本模式：通过手动编写SQL脚本+变量的方式来定义API的数据查询配置。说明 从 表引导模式 切换为 脚本模式 时，系统将提示...
名词解释
DOWNSAMPLE ✖️ 〇 Downsample（降采样）是一种数据查询方式。当查询时间区间跨度较大，且原始数据采样频率较高时，可以通过降采样降低数据的时间粒度。例如，按秒采集的数据，降采样查询时按小时级别采样，减少结果集的数据点数。
冷热分离介绍
同时，通过定期将数据迁移至冷存储介质，降低了查询基数，提升了热数据查询效率。本文介绍冷热分离功能的原理及相关注意事项。背景信息 在海量大数据场景下，一张表中往往存储着大量的历史数据，如订单数据或者监控数据。随着时间的推移，...
查询结果不符合预期的常见原因
Lindorm宽表经常会被应用在大数据链路中，如果写入链路出现问题，则可能导致写入延迟或无法正常写入数据，此时进行数据查询，该行数据还未写入，因此会产生无法查询到数据的情况。如果您在使用中遇到数据写入一段时间后才能查到的情况，...
敏感数据保护
主要包括以下场景：敏感数据查询脱敏 当使用即席分析、代码任务、数据预览等功能，查看被保护的敏感数据时，敏感数据会按照已经配置的脱敏策略进行脱敏展示，从而保证敏感数据不泄露。生产环境敏感数据写入开发环境脱敏 当因为测试需要等...
敏感数据保护
主要包括以下场景：敏感数据查询脱敏 当使用即席分析、代码任务、数据预览等功能，查看被保护的敏感数据时，敏感数据会按照已经配置的脱敏策略进行脱敏展示，从而保证敏感数据不泄露。生产环境敏感数据写入开发环境脱敏 当因为测试需要等...
术语表
数据查询一致性 只读地址对外提供的查询一致性类型，分为强一致性和弱一致性。强一致性：可以查看到主实例上提交的最新数据，满足全局数据查询一致性。如果主备延迟过大，提交的查询会等待；弱一致性：可以查看到当前只读实例上最新数据，...
FineReport
在弹出的数据库查询对话框中，找到AnalyticDB对应的数据源和对应表，写入数据查询语句，新建数据集ds1。如下示例，查询 select*from demo_sales，查询并取出demo_sales表中的所有数据。通过聚合查询选出聚合的数据集。如新建数据集 ds2，...
雷达扫描
数据源 单击 配置数据源，可在 设置数据源 页面中修改数据源类型和数据查询代码、预览数据源返回结果以及查看数据响应结果。详情请参见 配置组件数据。数据过滤器 数据过滤器提供数据结构转换、筛选和一些简单的计算功能。单击 添加过滤器...
什么是数据库备份DBS
DBS视频简介 产品架构 为什么选择DBS 相对于传统数据备份方式，DBS提供数十种主流数据库、无限容量的备份存储，支持秒级应急恢复和恢复演练，并借助秒级沙箱实例和备份数据查询激活冷数据。DBS有如下多种优势：优势 说明 低RPO和RTO 通过...
使用说明
如果需要查询数据，例如查询语句 SELECT*FROM table1，不需要指定RW节点，数据库代理会自动选择正确的RW节点执行查询。如果需要把某条SQL语句发送到指定的RW节点，则需要执行以下SQL语句锁定某个RW节点：ALTER SESSION POLARDB_WRITE_NODE ...
产品概述
数据使用简单可依赖：通过主题式数据查询服务，您可以快速查询和访问研发构建的数据逻辑表，简化约80%的查询代码。同时，Dataphin可以为您提升构建数据体系的效率，降低成本：提升效率：提供全链路、一站式、智能化的数据建设与治理工具，...
数据可视化展现
在数据分析中使用数据源，需要先给数据源授权，您可以进入 安全中心>安全策略>数据查询与分析管控>可查询数据源 界面，找到需要查询的数据源，单击 操作 列的 授权，为您的账号授权，详情请参见 安全中心。创建 临时文件。方式一：首次进入...
飞线层
数据源 单击 配置数据源，可在 设置数据源 面板中修改数据源类型和数据查询代码、预览数据源返回结果以及查看数据响应结果，详情请参见 配置资产数据。数据过滤器 数据过滤器提供数据结构转换、筛选和一些简单的计算功能。单击 添加过滤器...
Delta Lake概述
Delta Lake以数据为中心，围绕数据流走向（数据从流入数据湖、数据组织管理和数据查询到流出数据湖）推出了一系列功能特性，协助您搭配第三方上下游工具，搭建快捷、易用和安全的数据湖。背景信息 通常的数据湖方案是选取大数据存储引擎...
什么是RDS PostgreSQL
Babelfish for RDS PostgreSQL：基于Babelfish for PostgreSQL的开源项目，阿里云RDS PostgreSQL实例购买时开启Babelfish选项后，可以同时获得Microsoft SQL Server和PostgreSQL两种数据库引擎数据查询和处理的能力，从而使RDS PostgreSQL...
功能特性
UDF UDT UDJ 查询加速 MCQA 查询加速 MCQA 对数据查询作业进行加速优化，完全兼容原MaxCompute查询功能。MCQA 物化视图 物化视图 MaxCompute提供物化视图智能计算加速，为用户智能分析推荐创建物化视图。物化视图 扩展引擎 机器学习 SQL ML...
加速服务
通过使用加速服务，您可以在调用API时提高数据查询的速率和性能。本文为您介绍两种加速方案的使用方法。背景信息 DataWorks数据服务的加速方案有两种：加速服务 和 MCQA，您可以 点击这里 加入DataWorks用户钉群进行咨询。两种方案的对比...
移动图标层
数据源 单击 配置数据源，可在 设置数据源 面板中修改数据源类型和数据查询代码、预览数据源返回结果以及查看数据响应结果，详情请参见 配置资产数据。数据过滤器 数据过滤器提供数据结构转换、筛选和一些简单的计算功能。单击 添加过滤器...
创建数据脱敏场景
在 数据分析 通过 SQL查询 功能查询数据时，查询的敏感数据会按照配置的脱敏规则进行脱敏。说明 EMR引擎暂不支持使用数据开发展示脱敏，Hologres引擎暂不支持使用数据开发/数据地图展示脱敏。数据分析展示脱敏 在 数据分析 通过 SQL Notes ...
数据开发概述
即席查询：即主题式查询，面向业务主题的数据查询。屏蔽了物理模型中技术特性带来的影响，基于逻辑模型从业务视角出发对外提供查询服务。双开发模式：Dataphin支持 Basic 和 Dev-Prod 的数据开发模式：Basic 项目绑定了 Basic 数据板块，...
统一服务
统一服务为用户提供了数据中台建设过程中的数据服务化能力，面向数据开发者提供覆盖各个加工阶段统一体验的、便捷的数据查询转服务、服务管理、服务运维能力；面向数据资产管理者提供服务的统计分析、服务用量统计分析、热门数据统计分析...
资产安全概述
当前，主要影响的场景说明如下：数据查询 例如，在本地生活服务商中，某地区的订单出现了大量投诉，但因脱敏保护只能看到市级别的地址，无法看到投诉来自哪些街道，影响了业务的开展。生产数据写开发环境、测试环境数据准备 例如，脚本任务...
资产安全概述
当前，主要影响的场景说明如下：数据查询 例如，在本地生活服务商中，某地区的订单出现了大量投诉，但因脱敏保护只能看到市级别的地址，无法看到投诉来自哪些街道，影响了业务的开展。生产数据写开发环境、测试环境数据准备 例如，脚本任务...
- 产品推荐
- 这些文档可能帮助您