SQL 路由
有关数据访问代理的数据拆分原理，请参考文档 分库分表。拆分键 分库分表过程中，数据访问代理按照指定的拆分键，采用特定的算法进行计算，然后根据计算结果将数据存储到对应的分表中。拆分键是数据访问代理中数据分布和 SQL 路由的凭证。...
搜索索引介绍
搜索索引可以满足以下业务需求：多维组合查询。c1,c2,c3列的随机组合，快速返回查询数据。SELECT*FROM dt WHERE c1=?SELECT*FROM dt WHERE c2=?AND c3=?分词查询。c3列为分词字段，可以通过等值查询相关性高的结果集。例如查询c3列中包含...
数据集组合
说明 使用数据集组合时，系统会向每个数据源发送查询语句，将查询后的结果以 聚合数据 的形式返回，并进行关联和呈现。我们需要确保主数据集中的每个维值在辅助数据集中只有一个匹配值，因此除关联字段外，辅助数据集中的全部字段都需要...
绑定或解绑数据库账号
例如，在 数仓版（3.0）弹性模式集群版（新版）集群中数据库账号A、B使日常进行一些简单查询，数据库账号C会进行数据量较大的复杂查询分析，那么这种情况下您可以将数据库账号A、B绑定查询类型为 Interactive 的资源组 source_a，将数据库...
搜索
数据库 可组合查询数据库名，如：DB1 DB2 DB3。操作类型 选择需要查询的操作类型，可多选。说明 您可 开启高级查询 输入更多信息以缩小搜索范围。单击 查询，即可看到 日志列表 中 SQL语句 的具体信息。说明 单击 导出，勾选需要的 导出...
新建SQL查询
查询数据 支持项目数据和数据源。项目数据：即查询当前项目计算源的数据。数据源：即查询数据源的数据。包括MySQL和Oracle数据源。查询数据源数据需要选择对应数据源。若无可选数据源，可以单击+新建数据源 进行新建。单击 确定，完成SQL...
新建SQL查询
查询数据 支持项目数据和数据源。项目数据：即查询当前项目计算源的数据。数据源：即查询数据源的数据。包括MySQL和Oracle数据源。查询数据源数据需要选择对应数据源。若无可选数据源，可以单击+新建数据源 进行新建。单击 确定，完成SQL...
使用拆分字段
那么可以考虑下面的方法来选择拆分字段：根据数据分布和访问的均衡度来考虑拆分字段，尽量将数据表中的数据相对均匀地分布在不同的物理分库/分表中，适用于大量分析型查询的应用场景（查询并发度大部分能维持为 1）；按照数字（字符串）...
设置数据分片以充分利用Shard性能
分片策略介绍 分片策略 说明 适用场景 基于范围的分片 MongoDB按照片键的值的范围将数据拆分为不同的块（chunk），每个块包含了一段范围内的数据。优点：mongos可以快速定位请求需要的数据，并将请求转发到相应的Shard节点中。缺点：可能...
应用场景
数据访问代理提供灵活的数据拆分机制，代码侵入性低，可以非常方便地实现数据的水平拆分与扩容，从而从根本上解决数据库单机瓶颈的问题。金融级数据容灾 基于蚂蚁金服内部多年的金融级数据容灾场景，数据访问代理针对不同业务场景提供了...
Redis集群中某个节点缓存无法写入
问题描述 在使用阿里云云数据库Redis...在Redis集群架构中，拆分大Key能对数据分片间的内存平衡起到显著作用。相关文档 排查Redis实例内存使用率高的问题 实时大Key和热Key统计 通过Proxy Query Cache优化热点Key问题 适用于 云数据库Redis
Catalog概述
使用External Catalog查询数据时，StarRocks会用到外部数据源的两个组件：元数据服务：用于将元数据暴露出来供StarRocks的FE进行查询规划。存储系统：用于存储数据。数据文件以不同的格式存储在分布式文件系统或对象存储系统中。当FE将生成...
视频个性化推荐（协同过滤）
注意事项 本案例提供的数据仅作为阿里云大数据开发治理平台DataWorks数据应用体验使用，所有数据均为模拟数据。本案例可能会产生少量DataWorks调度费用、MaxCompute计算与存储费用和PAI计算费用。收费详情请参见 DataWorks计费逻辑、...
收钱吧订单查询&搜索
业务挑战 业务涉及对象种类繁多，需要支持15个查询维度随机组合查询。数据量庞大，查询响应时间要求亚秒级。每日新增数据量至少75GB，当前总数据量百TB级别，同时由于移动支付的特殊性，数据需要永久保存，存储成本高昂。解决方案 云数据库...
查询物理表数据
数据查询提供通过SQL查询预览数据资源，为开发人员和数据应用人员提供全面直观的数据呈现。本文介绍如何查询物理表数据。前提条件 已新建云计算资源，具体操作，请参见 新建云计算资源。操作步骤 登录企业数据智能平台。在页面左上角，单击...
构建数据仓库
DataWorks具有通过可视化方式实现数据开发、治理全流程相关的核心能力，本文将为您介绍DataWorks在构建云上大数据仓库和构建智能实时数据仓库两个典型应用场景下的应用示例。构建云上大数据仓库 本场景推荐的架构如下。适用行业：全行业...
步骤一：架构规划
应用名 Zone 类型 txnflow RZone acccenter RZone pointcenter RZone 数据拆分 在本教程中，uid 格式如：08006660000*，按照 uid 进行 10 库 10 表拆分。使用的中间件 中间件 配置信息 备注 消息队列 TopicGroupID 创建 topic、groupid 和...
影响查询性能的因素
如果查询需要处理的数据量较大，就可能会长时间占用大量的资源，导致整体查询效率降低，进而影响最终的查询效果。此外，如果 AnalyticDB MySQL版 中表存储的数据量较大，那么在执行索引过滤、明细数据读取等操作时也会出现相互争抢磁盘I/O...
多元索引功能
多元索引的核心功能包括任意列的查询（包括主键列和非主键列）、多字段自由组合查询、地理位置查询、全文检索、模糊查询、前缀查询、嵌套查询、去重、排序、查询数据总行数和统计聚合，请根据实际场景需要使用。多元索引部分功能可以实现与...
如何减少查询数据点提高查询效率
本文介绍如何通过减少单次查询数据点来提升查询效率。时序查询优化的其中一个原则就是，查询命中的数据点越少，查询效率越高。因此来说查询条件尽量精确。如何减少扫过的数据点数 查询周期与写入的采集周期强相关，尽量减少毫秒级采集周期...
调优集群性能
如下图所示，某个大表分布不均，存储节点0上的Shard_0和Shard_1中数据量较大，而在存储节点1上的Shard_2和Shard_3中数据量较小，那么当您查询这个大表时，较大概率会出现存储节点0需要处理的数据多，存储节点1上需要处理的数据少的情况，...
查询物理表数据
数据查询提供通过SQL查询预览数据资源，为开发人员和数据应用人员提供全面直观的数据呈现。本文介绍如何查询物理表数据。前提条件 已新建云计算资源，具体操作，请参见 新建云计算资源。操作步骤 登录 数据资源平台控制台。在页面左上角，...
Beam排序优化（7.0版）
若您经常针对Beam表的某几列进行范围查询或等值筛选时，您可以使用Beam排序键（组合排序键或多维排序键），获得更优的查询性能。Beam支持在创建表时指定一个或者多个排序键，系统会按照排序键持续对写入数据进行排序。当数据有序后，Beam在...
聚合支付方案
阿里云从业务扩展性、数据流动性、服务高可用三方面入手，通过多款云数据库产品为利楚扫呗制定聚合支付方案，解决利楚扫呗在业务扩展期遇到的数据存储空间不足、读写性能下降以及大数据分析空缺等问题。业务痛点 武汉利楚商务服务有限公司...
OpenAPI 导航
API 名称 API 描述 CeateDrdsDB 创建数据库 DescribeDrdsDB 查询数据库 DeleteDrdsDB 删除数据库 ModifyDrdsDBPasswd 重置数据库密码 DescribeDrdsDBs 查询数据库列表 ModifyDrdsIpWhiteList 修改数据库白名单 DescribeDrdsDBIpWhiteList ...
快速体验
DataWorks为您提供智能建模、数据清洗、周期调度运维、数据治理等一站式大数据开发管理能力，本文以一个零售电商行业的数仓搭建实验为例，为您介绍DataWorks在数仓搭建过程中的技术选型、技术流程以及流程实现，帮助您深入了解阿里云...
什么是DataWorks
DataWorks基于MaxCompute、Hologres、EMR、AnalyticDB、CDP等大数据引擎，为数据仓库、数据湖、湖仓一体等解决方案提供统一的全链路大数据开发治理平台。从2009年起，DataWorks不断沉淀阿里巴巴大数据建设方法论，支撑数据中台建设，同时与...
互联网金融：武汉利楚商务服务有限公司
分析型需求：随着数据量的增大，数据查询涉及的量级指数级上升，针对商户等大数据量场景的分析查询单体MySQL已经不能满足需求。解决方案 DRDS分库分表，在DRDS中保存近3个月数据分流部分前端查询，将数据库进行水平拆分有效解决了订单的...
DataV读取数据源超时
问题描述 阿里云DataV数据可视化产品主要用于动态、实时数据展示场景，需要对数据高频实时查询，对数据访问性能有一定要求，您的数据源访问经常出现超时的情况。问题原因 查询超时的原因如下：使用SQL查询的业务数据表数量太大。API接口...
搜索（审计）
数据库 可组合查询，如：DB1 DB2 DB3。操作类型 选择需要查询的操作类型，可多选。说明 您可 开启高级查询 输入更多信息以缩小搜索范围。单击 查询，即可看到 日志列表 中 SQL语句 的具体信息。您可单击 导出，勾选需要的 导出字段 来 导出...
数据源读取时间超时的优化思路
使用SQL查询的业务数据表数量太大，查询超时 针对查询条件所使用的字段添加索引，减少扫描行数。在数据库中增加定时任务，定时计算所需要的业务指标并更新结果表。DataV组件直接查询结果表的数据，不需要在每次组件获取数据时，再次执行SQL...
数据源读取时间超时的优化思路
使用SQL查询的业务数据表数量太大，查询超时 针对查询条件所使用的字段添加索引，减少扫描行数。在数据库中增加定时任务，定时计算所需要的业务指标并更新结果表。DataV组件直接查询结果表的数据，不需要在每次组件获取数据时，再次执行SQL...
查询加速
本章将详细介绍如何在 云数据库 SelectDB 版 实例中进行查询优化和数据分析，云数据库 SelectDB 版 提供了多种分析SQL和优化方案，帮助您提升查询速度并实现高效的数据分析。概述 云数据库 SelectDB 版 采用了MySQL网络连接协议，兼容 标准...
为什么Redis内存报警与监控的内存使用率不一致
在 Redis 集群架构中，拆分大Key能对数据分片间的内存平衡起到显著作用。检查是否使用了Hash Tag 如果使用了Hash Tag，请根据业务实际情况，评估将一个Hash Tag拆分为多个Hash Tag，使数据更加均匀地分布在不同的数据分片节点上。扩容实例...
备份集查询功能概览
DBS备份数据查询功能，可以在不恢复备份数据的情况下，直接查询云存储中备份集的数据。背景信息 传统的备份数据查询有两种方式：将备份数据文件导入至数据库，再通过数据库操作对数据进行查询，但是这种方式耗费时间长，且可能会导致数据...
Catalog概述
使用External Catalog查询数据时，StarRocks会用到外部数据源的两个组件：元数据服务：用于将元数据暴露出来供StarRocks的FE进行查询规划。存储系统：用于存储数据。数据文件以不同的格式存储在分布式文件系统或对象存储系统中。当FE将生成...
OCS与数据库结合使用示例
运行结果如下：从MySQL中查询数据.Key=non-beijing,Value=7 从OCS中读取数据.Key=non-beijing,Value=7 从OCS中读取数据.Key=non-beijing,Value=7 从OCS中读取数据.Key=non-beijing,Value=7 …… …… 从结果可以看出，程序第1次是从MySQL...
CREATE PREDOWNSAMPLE
从预降采样数据中查询数据 默认情况下，降采样查询数据是从原始数据中进行查询。如果要从预降采样数据中查询数据需要在查询语句中使用Hint（/*+PREDOWNSAMPLE*/）。预降采样的详细信息，请参见 预降采样。示例 创建预采样规则并设置数据...
Binlog日志服务
多流服务不是默认开通的，需通过控制台手动开通，对于同一个 PolarDB-X 实例，可支持同时开通多个多流服务，每个多流服务中支持多个流，不同服务之间是完全隔离的，可设置不同的拆分数量、不同的数据拆分级别、不同的参数规则等，可根据...
HTTP API 概览
API 描述/api/put 写入数据/api/query 查询数据/api/query/last 查询时间线最新数据点/api/mput 多值写入/api/mquery 多值查询/api/query/mlast 多值查询最新数据点/api/suggest 查询 Metric,Tagk,Tagv，Field/api/dump_meta 查询 Tagk 下...
- 产品推荐
- 这些文档可能帮助您