应用场景
该方案优势如下：一体化环境：EMR Serverless Spark不仅可以用于批作业的开发，还可满足数据的低延迟查询与分析。极速：EMR Serverless Spark内置Fusion Engine，一个经过优化的向量化计算引擎，可以满足数据查询场景。
准备数据源和计算源
如果需要加速业务数据的查询速度，则您需要完成Hologres的准备。如何开通Hologres，请参见 购买Hologres。如何创建Flink项目，请参见 Flink SQL作业快速入门。重要 当前，Dataphin仅支持Blink独享集群版的Flink作为Dataphin的计算源。后续...
离线同步数据质量排查
如果写出数据和目标存储已有数据发生数据约束（主键冲突、唯一键约束、外键约束等），数据库则使用来源数据update更新目标表已有数据行，在目标表存在多个数据约束的情况下，数据替换可能会失败并产生脏数据 如果写出数据和目标存储已有...
准备数据源和计算源
如果需要加速业务数据的查询速度，则您需要完成Hologres的准备。如何开通Hologres，请参见 购买Hologres。如何创建Flink项目，请参见 Flink SQL作业快速入门。重要 当前，Dataphin仅支持Blink独享集群版的Flink作为Dataphin的计算源。后续...
简介
栅格化GIS应用及航天航空遥感应用 HBase Ganos提供了针对栅格数据管理的通用化模型支持，能够有效支撑大规模遥感影像数据和GIS栅格GRID数据的存储、查询和基础分析处理能力，包括ETL工具支持遥感影像重投影、拼接、切片、入库，支持OGC WMS...
应用场景
同时，可以启动一个包含Trino或Presto的环境，以满足白天数据分析师或运营团队对数据的查询需求。数据分析 场景 OLAP集群类型提供了StarRocks、Doris、ClickHouse等服务。这些服务都具有高效的数据压缩、列式存储和并行查询等特性，使其在...
数据模型
降采样（Downsample）查询时间区间跨度较长，且原始数据采样频率较高时，可通过降采样降低数据的查询展现精度，例如按秒采集的数据，查询时按小时级别采样，减少结果集的数据点数。插值（Interpolation）时间线中间缺失部分数据点时，可...
产品安全能力
SSL在传输层对网络连接进行加密，能提升通信数据的安全性和完整性。您可以启用SSL加密，并安装SSL CA证书到需要的应用服务。更多关于SSL加密的信息和配置介绍，请参见 设置SSL加密。数据安全 PolarDB 的透明数据加密TDE（Transparent Data ...
按自定义时间列冷热分离
购买容量型云存储后，您可以指定表或二级索引中的某个时间列作为冷热分离的依据，将数据分别存储于不同的介质中，有效提升热数据查询效率，降低冷数据存储成本。本文介绍按自定义时间列冷热分离的具体操作步骤及相关注意事项。前提条件 已...
如何设计宽表主键
主键的设计限制了数据的查询方式，一条 SELECT 查询语句，Lindorm服务器端会编译为两种查询方式。根据完整的主键查询（get方式），例如 SELECT*FROM table WHERE userid='abc' AND orderid=123。说明 get方式需要知道所有的主键列，即组成...
数据存储
索引 索引（Index）是对表（Table）中一列或多列的值进行排序的一种结构，使用索引（Index）可以快速过滤表中的数据，提高数据的查询效率。目前云数据库Doris版主要支持两类索引：内建的智能索引，包括ZoneMap索引和前缀索引。自建的二级...
列存索引如何实现高效数据过滤
该技术不仅适用于单表数据的查询，也适用于多表连接查询，并能大幅度提升PolarDB IMCI的查询性能。基本原理与方法 分区信息剪枝 IMCI的分区剪枝技术是指在查询时根据分区键的条件来过滤不需要查询的分区，从而减少查询的数据量和提高查询...
时空服务介绍
背景信息 越来越多的领域（例如出行、车联网、物联网、自动驾驶、物流、GIS等）都会产生海量的时空轨迹数据，用户对这些时空轨迹数据产生了时空范围查询、地理围栏判断和时空数据挖掘等需求。例如，查找过去一段时间经过某片区域的车辆、...
深度解析PolarDB数据库并行查询技术
如何将查询并行起来 对于一个类OLAP的查询，它通常是对大批量数据的查询，数据量大意味着数据远大于数据库的内存容量，大部分数据可能无法缓存到数据库的缓冲区中，而必须在查询执行时才动态加载到缓冲区中，这样就会造成大量IO操作，而IO...
数据缓存
在频繁访问相同数据的查询场景中，File Cache可以避免重复访问远端数据的开销，提升热点数据的查询分析性能和稳定性。原理 File Cache将访问的远程数据缓存到SelectDB本地的BE节点。原始数据文件会根据访问的IO大小切分为Block，Block被...
统一服务
批量离线数据服务的源头为MaxCompute的数据表，服务封装为根据分区获取分区内全部数据的API。非结构化数据服务的源头为OSS，服务封装为根据文件名称返回文件数据流。通过空间服务发布将空间数管中的各类型空间数据发布成行业标准的空间服务...
功能简介
批量离线数据服务的源头为MaxCompute的数据表，服务封装为根据分区获取分区内全部数据的API。非结构化数据服务的源头为OSS，服务封装为根据文件名称返回文件数据流。通过空间服务发布将空间数管中的各类型空间数据发布成行业标准的空间服务...
调优集群性能
业务上存在点查类并发较高的查询（例如 where a=3），并且这些点查的目标数据比较分散，无法在一次磁盘读取中完成多个目标数据的获取，只能触发多次的磁盘读取，从而导致磁盘IOPS增高。后台同时进行Build的任务增多。您可以在监控信息页面...
Quick BI
您可以使用如下两种方式进行数据的可视化分析：拖拽表对应列方式：使用界面化操作完成数据的可视化分析。单击目标表操作列的 图标，创建数据集。在 我的数据集 页面，您可以单击目标数据集 操作 列的如下图标，进行相应操作：单击，查看...
2020年
2020-12-07 所有区域 消费监控告警 查询编辑器支持查询加速提升数据分析能力 MaxCompute数据分析查询模式原先是离线模式，此次发布查询模式支持MaxCompute查询加速，对于中、小数据量查询作业将执行时间从分钟级缩减至秒级，即查速度上提升...
功能简介
批量离线数据服务的源头为MaxCompute的数据表，服务封装为根据分区获取分区内全部数据的API。非结构化数据服务的源头为OSS，服务封装为根据文件名称返回文件数据流。统一服务为用户提供了数据中台建设过程中的数据服务化能力，面向数据开发...
DescribeRules-查询识别规则的列表
12 TotalCount integer 结果中数据的总条数。23 Items object[]敏感数据识别规则列表。DisplayName string 敏感数据识别规则的创建人账号显示名。test Status integer 敏感数据识别规则的检测状态。取值：0：关闭。1：开启。1 SupportForm ...
T+1多库合并建仓
使用多库合并建仓功能时，DLA需要有删除OSS数据的权限，以便进行从OSS数据到RDS数据的ETL（Extract Transform Load）操作，请参见 授权DLA删除OSS文件。同步时间 设置将RDS数据同步至OSS的时间。系统默认的数据同步时间是00:30，您可以根据...
数据开发概述
功能介绍 规范建模：基于已明确的业务需求，从业务顶层开始设计，规范定义数据的标准及计算口径完成数据模型的设计。同时您提供可视化、标准化、规范化和自动化定义数据，而非传统手动写SQL代码的方式，这样就避免了统计指标计算口径不一致...
数据开发概述
功能介绍 规范建模：基于已明确的业务需求，从业务顶层开始设计，规范定义数据的标准及计算口径完成数据模型的设计。同时您提供可视化、标准化、规范化和自动化定义数据，而非传统手动写SQL代码的方式，这样就避免了统计指标计算口径不一致...
数据服务概述
数据服务基于Serverless架构，您无需关注服务器、网络等运行环境相关的基础设施，只需专注于API的定义、数据的查询逻辑，从而避免传统架构带来的运维成本开销。数据服务与API网关（API Gateway）完全集成，支持您将数据服务快速发布到API...
文档更新动态（2022年之前）
通用功能 设置Dataphin实例的计算引擎 2020-04-09 计算源 功能拓展 计算源为离线数据的处理提供计算及存储资源、为实时数据的处理提供计算资源。通用功能 计算源 2020-04-09 业务板块 功能拓展 创建业务板块时，支持设定板块管理员，帮助您...
数据服务
背景信息 数据服务提供了数据中台建设过程中的数据服务化能力，面向数据开发者提供覆盖各个加工阶段统一体验的、便捷的数据查询转服务、服务管理、服务运维能力；面向数据资产管理者提供服务的统计分析、服务用量统计分析，实现数据中台...
二级索引
Lindorm宽表支持Tabular模型下的二级索引功能，此功能在非主键匹配的查询场景下，可以降低应用的开发复杂性、保证数据的一致性和提高写入效率。本文介绍Lindorm Tabular模型下二级索引的基本特性和使用示例。背景信息 对于Lindorm Tabular...
功能更新动态（2022年之前）
资产质量 数据服务 支持通过界面配置的方式构建API和Dataphin数据源，以满足不同数据的使用场景，同时降低数据的开发门槛，帮助企业实现数据应用价值最大化。数据服务概述 资产质量的售卖 新增资产质量售卖的说，帮助您了解如何购买资产...
查看并管理运行记录
运行记录为您保存近15天的即席查询、运行计算任务、逻辑数据表预览、派生指标冒烟测试、资产数据预览、OpenAPI数据查询的记录。本文为您介绍如何查看运行记录。查看运行记录 在Dataphin首页，单击顶部菜单栏的 研发。按照下图操作指引，...
查看并管理运行记录
运行记录为您保存近15天的即席查询、运行计算任务、逻辑数据表预览、派生指标冒烟测试、资产数据预览、OpenAPI数据查询的记录。本文为您介绍如何查看运行记录。查看运行记录 在Dataphin首页，单击顶部菜单栏的 研发。按照下图操作指引，...
数据模型
数据的聚合，在SelectDB中发生在如下三个阶段。每一批次数据导入的ETL阶段。该阶段会在每一批次导入的数据内部进行聚合。计算集群进行数据Compaction的阶段。该阶段，计算集群会对已导入的不同批次的数据进行进一步的聚合。数据查询阶段。...
新建SQL查询
查询数据 支持项目数据和数据源。项目数据：即查询当前项目计算源的数据。数据源：即查询数据源的数据。包括MySQL和Oracle数据源。查询数据源数据需要选择对应数据源。若无可选数据源，可以单击+新建数据源 进行新建。单击 确定，完成SQL...
新建SQL查询
查询数据 支持项目数据和数据源。项目数据：即查询当前项目计算源的数据。数据源：即查询数据源的数据。包括MySQL和Oracle数据源。查询数据源数据需要选择对应数据源。若无可选数据源，可以单击+新建数据源 进行新建。单击 确定，完成SQL...
OpenAPI 导航
API 名称 API 描述 CeateDrdsDB 创建数据库 DescribeDrdsDB 查询数据库 DeleteDrdsDB 删除数据库 ModifyDrdsDBPasswd 重置数据库密码 DescribeDrdsDBs 查询数据库列表 ModifyDrdsIpWhiteList 修改数据库白名单 DescribeDrdsDBIpWhiteList ...
如何减少查询数据点提高查询效率
本文介绍如何通过减少单次查询数据点来提升查询效率。时序查询优化的其中一个原则就是，查询命中的数据点越少，查询效率越高。因此来说查询条件尽量精确。如何减少扫过的数据点数 查询周期与写入的采集周期强相关，尽量减少毫秒级采集周期...
数据共享SQL
查询数据 该语句用于在目标库中查询数据共享的数据。SELECT*FROM;参数说明：参数 说明 share_name.schema_name.table_name 目标端查询的共享表名字，需为3段式表示：share_name：Share的本地别名（若没有设置别名可使用Share的名称）。...
API概览
DescribeProjectStepMetric 查询项目步骤的指标 本接口用于查询数据迁移或数据同步项目的运行步骤的指标。DescribeProjectProgress 查询项目的进度 本接口用于查询数据迁移或数据同步项目的进度信息。DescribeProjectComponents 查询项目的...
会话管理
查询会话 示例：在 SQL 开发窗口中，查询数据源 obmysql4.2.0 下数据库 odc_test 的所有会话信息。信息项 示例值 所属数据源 obmysql4.2.0 数据库名称 odc_test 在 SQL 开发窗口，单击 运维管理>会话管理。选择数据源 obmysql4.2.0，并单击...
- 产品推荐
- 这些文档可能帮助您