TairVector混合检索实践
背景信息 大语言模型（Large Language Model,LLM）的发展使得文本、图片、音视频等非结构化数据都可以通过向量来表示其语义信息，基于向量的KNN检索在语义搜索、商品推荐、智能问答等领域有非常大的潜力。当前大多数产品通常仅支持经典的...
API概览
DescribeParameterTemplates 查看参数模板详情列表 该接口用于查询数据库参数模板。运维任务管理 API 标题 API概述 ModifyActiveOperationTasks 修改多个主动运维任务切换时间 该接口用于修改RDS实例计划内运维任务的切换时间。...
创建Impala数据源
背景信息 Impala是用于处理存储在Hadoop集群中大量数据的SQL查询引擎。如果您使用的是Impala，在导出Dataphin数据至Impala，您需要先完成Impala数据源的创建。更多Impala信息，请参见 Impala官网。权限说明 Dataphin仅支持 超级管理员、...
混合存储型（已停售）
适用场景 适用场景 说明 视频直播 视频直播类业务往往存在大量热点数据，大部分的请求都来自于热门的直播间。使用混合存储型，内存中保留热门直播间的数据，不活跃的直播间数据被自动存储到磁盘上，可以达到对有限内存的最佳利用效果。电子...
创建Impala数据源
背景信息 Impala是用于处理存储在Hadoop集群中大量数据的SQL查询引擎。如果您使用的是Impala，在导出Dataphin数据至Impala，您需要先完成Impala数据源的创建。更多Impala信息，请参见 Impala官网。权限说明 Dataphin仅支持 超级管理员、...
功能优势
当您的数据库中有数据需要被保护时，可以使用RDS MySQL全密态数据库功能，该功能提供的加密解决方案能够在遵守数据保护法规的前提下保障您的数据安全，使被保护数据免受未授权访问。本文将详细介绍RDS MySQL全密态数据库功能的优势，帮助您...
云数据库 RDS MySQL 版收集表的统计信息
什么情况下需要收集统计信息 当表上有大量的数据修改时，例如从数据源加载大量数据（ETL）或者大量历史数据归档，建议手动收集表上的统计信息，以保证查询优化器可以选取最优的执行计划。如何收集统计信息 您可以 连接MySQL实例 后执行如下...
安全设置与其他
使用限制 启用页面查询内容脱敏 启用页面查询内容脱敏是对DataWorks工作空间范围生效，如果您需要所有工作空间在查询数据时对敏感信息均脱敏展示，则需对所有工作空间逐一开启该功能。说明 例如，工作空间A设置了脱敏展示，工作空间B未设置...
Query级别诊断结果
查询返回客户端的数据量较大 查询消耗的内存资源较大 查询生成的Stage个数较多 查询读取的数据量较大 查询返回客户端的数据量较大 问题 大量数据返回到客户端会导致慢查询，还会占用部分网络前端资源。说明 您可以在查询详情页面的 查询...
电子商务
创建t_dim_goods商品信息表（维度表）建表语句如下：CREATE DIMENSION TABLE t_dim_goods(goods_id bigint comment '',price double comment '',class bigint comment '',name VARCHAR comment '',update_time TIMESTAMP comment '',...
Presto FAQ
大查询功能并不能让您查询任意大小的数据量和任意复杂的SQL，如果big_query还解决了不了您的问题请联系DLA答疑同学。Schema的Catalog类型必须是Hive，否则会出现如下报错：big_query only support hive catalog.如何调整查询RDS类数据源...
内存型
云原生内存数据库Tair 内存型（简称内存型）适合并发量大、读写热点多、高性能场景，内存型重点增强了多线程性能并集成多个自研扩展数据结构。购买方式 创建实例 主要优势 类别 说明 兼容性 100%兼容原生Redis，无需修改业务代码，提供 ...
创建HBase数据源
背景信息 HBase是用于处理存储在Hadoop集群中大量数据的SQL查询引擎。如果您使用的是HBase，在导出Dataphin数据至HBase，您需要先完成HBase数据源的创建。更多HBase信息，请参见 HBase官网。使用限制 Dataphin仅支持超级管理员、数据源管理...
列存索引（IMCI）发布说明
PolarDB MySQL版 重磅推出的列存索引（In-Memory Column Index，简称IMCI）面向OLAP场景大数据量复杂查询。通过列存索引，PolarDB MySQL版 实现了一体化的实时事务处理和实时数据分析的能力，成为一站式HTAP数据库产品解决方案。通过一套...
应用场景
图数据库GDB针对高度互联数据的存储和查询场景进行设计，并在内核层面进行了大量优化，非常适合营收增长、金融风控、商品推荐、社交推荐、循环担保检测、异常指标监控和违规团伙挖掘等场景。营收增长 图数据库GDB提供智能搜索推荐一体化...
文档修订记录
使用Copilot+增强分析实现一站式智能数据查询与可视化 2023年10月更新记录 时间 特性 类别 描述 产品文档 2023.10.30 新增功能 数据建模API DataWorks支持调用QueryPublicModelEngine接口查询单个指标所依赖模型的相关信息、查询复合指标。...
数据上传
DataWorks的数据上传功能支持将本地文件、数据分析的电子表格、OSS文件等数据上传至MaxCompute、EMR Hive、Hologres等引擎进行分析及管理，为您提供便捷的数据传输服务，助力您快速实现数据驱动业务。本文为您介绍如何使用数据上传功能上传...
发现并处理大Key和热Key
在使用 云原生内存数据库Tair 的过程中，如果未能及时发现并处理Big keys（下文称为“大Key”）与Hotkeys（下文称为“热Key”），可能会导致服务性能下降、用户体验变差，甚至引发大面积故障。本文将介绍大Key与热Key产生的原因、其可能...
概述
PolarDB MySQL版 重磅推出的列存索引（In-Memory Column Index，简称IMCI）面向OLAP场景大数据量复杂查询。通过列存索引，PolarDB MySQL版 实现了一体化的实时事务处理和实时数据分析的能力，成为一站式HTAP数据库产品解决方案。通过一套...
长周期指标的计算优化方案
通常，这些指标的计算方式为从日志明细表中查询数据进行计算。例如，运行如下SQL语句计算商品最近30天的访客数。select item_id-商品id,count(distinct visitor_id)as ipv_uv_1d_001 from 用户访问商品日志明细表 where ds${bdp.system....
管控模式
逻辑数仓 Y Y Y 数据库性能诊断&优化 Y Y Y SQL命令 Y Y Y 复制SQL结果集 Y Y Y 执行计划 Y Y Y 字符集切换 Y Y Y 查询SQL超时中断 N N Y 单天的查询行数限制 N N Y 单天的查询次数限制 N N Y 常用SQL保存 Y Y Y 大表全表扫描限制 N N Y 单...
创建逻辑模型：维度表
示例二：“商品维度表”可冗余“商品信息表”中的“采购信息、品牌信息”等属性。在已添加字段的 操作 列，单击 冗余字段，即可设置字段的关联字段。完成设置后单击左上角的 保存。后续步骤 维度表创建完成后，您仍需为表配置字段管理、...
案例一
多维度（展示门店+商品+渠道）下支付金额、支付件数、支付买家数、访客数、加购人数五大指标的整体诊断情况；展示行业实时排名，商家所处的同行同层排名；展示本店今日排名趋势，本店全天的排名变化趋势图等等。业务效果 如果前端应用每次...
非结构化数据向量检索
背景信息 非结构化数据向量检索适用于以图搜图、声纹匹配、基于语义的文本检索和推荐（通过文本内容检索相近文本）、文件去重（通过文件指纹去除重复文本）、商品图片分析（例如在大量图片中，分析哪些图片包含了同一个商品）等场景。...
创建数仓分层
背景信息 数据仓库是所有数据的集合，包括日志信息、数据库数据、文本数据、外部数据等都集成在数据仓库中。数仓分层、数据域、业务过程、数据集市、主题域等要素，共同确定了您此次建模的逻辑数仓架构。其中，数据域及业务过程位于公共层...
API概览
DescribeInstanceTopology 查询集群拓扑信息 查询某个 OceanBase 集群的拓扑信息。DescribeAvailableSpec 查询集群变配可选配置 查询 OceanBase 集群变配页可选配置。DescribeAvailableZone 查询创建集群可选配置 查询 OceanBase 集群售卖...
新功能发布记录
OceanBase 数据库之间的数据迁移 支持 TiDB 数据库至 OceanBase 数据库 MySQL 租户的结构迁移、全量迁移、增量同步、全量校验和反向增量 迁移 TiDB 数据库的数据至 OceanBase 数据库 MySQL 租户 支持 PolarDB-X 1.0 数据库至 OceanBase ...
使用SDK示例代码消费订阅数据
完成数据订阅通道的配置后，您可以使用DTS提供的SDK示例代码来订阅数据变更信息，本文介绍该示例代码的使用说明。操作步骤 重要 若数据源是PolarDB-X 1.0或DMS LogicDB，消费订阅数据的操作步骤请参见 使用SDK示例代码消费PolarDB-X 1.0...
使用SDK示例代码消费订阅数据
在完成数据订阅通道的配置（创建好订阅任务和消费组）后，您可以自行编写SDK示例代码或使用DTS提供的SDK示例代码来订阅数据变更信息，本文介绍示例代码的使用方法。重要 本操作为Java语言的SDK客户端示例，Python和Go语言的示例代码，请...
查询并下载数据
根据项目的计算源或数据库SQL类型，编写查询数据的代码，单击 运行。如下图所示：查询语句执行成功后，可以在 结果 页签查看数据。下载结果数据 查询语句执行成功后，按照下图操作指引，可下载查询到的结果数据。支持完整数据下载或样例...
内存型
代理查询缓存 开启代理查询缓存功能（Proxy Query Cache）后，代理节点会缓存热点Key对应的请求和返回信息，当在有效时间内收到同样的请求时直接返回结果至客户端，无需和后端的数据分片交互。更多信息，请参见 通过Proxy Query Cache优化...
查询执行模式
适用场景：适用于执行时间长、计算数据量大的查询。例如：清洗类查询（Extract-Transform-Load）。默认执行模式 版本 产品系列 默认执行模式 是否支持Batch模式 数仓版（3.0）预留模式集群版 Interactive 否 弹性模式集群版（新版）是 切换...
冷热分离介绍
背景信息 在海量大数据场景下，一张表中往往存储着大量的历史数据，如订单数据或者监控数据。随着时间的推移，这些数据被访问的频率会逐渐降低，最终被搁置。减少这部分数据的存储成本，成为一个新的问题。为解决这一问题同时降低存储成本...
API概览
DescribeSubscriptionInstanceAlert 查询数据订阅实例的监控报警设置。ConfigureSynchronizationJobAlert 配置数据同步实例的监控报警。DescribeSynchronizationJobAlert 查询数据同步实例的监控报警设置。标签管理 API 描述 TagResources ...
核心概念
当数据的业务含义存在较大差异时，您可以创建不同的数据板块，独立管理不同的业务，后续数据仓库的建设将按照数据板块进行划分。在Dataphin中，项目可以归属至数据板块以实现规范建模功能，同一个数据板块中可能包含多个不同的项目，所以...
某网约车公司车辆轨迹数据
业务挑战 目前线下有7万+辆车，车辆数量在快速增长，每辆车每分钟上传轨迹、位置等信息到MySQL，导致MySQL库数据量过大，直接影响了在线查询业务。车辆数据需要存储3年，日增数据量100 GB，3年总数据量超100 TB，数据存储成本高昂。解决...
确定需求
在基于Dataphin构建与管理企业数据中台之前，首先需要确定数仓构建的目标与需求，进行全面的业务调研。您需要了解真实的业务需求是什么，以及确定整个业务系统能解决什么问题。业务调研 充分的业务调研和需求分析是数据仓库建设的基石，...
冷数据归档常见问题
对普通表和分区表执行冷数据归档操作后，您可以通过以下方法查询归档后的冷数据：普通表：执行冷数据归档后，查询冷数据的方法和查询热数据的方法一致，不需要修改访问方式。分区表：执行冷数据归档后，查询冷数据的操作方法请参见 查询...
全局变量管理
查询全局变量 示例：在 SQL 开发窗口中，查询数据源 mysql420 下数据库变量。在 SQL 开发窗口，单击 运维管理>全局变量。选择数据源 mysql420，并单击 确定。在 全局变量 页面中，可以查询数据源 mysql420 下所有数据库变量信息。编辑全局...
电子合同：深圳法大大网络科技有限公司
PolarDB 采用存储和计算分离的架构，提供分钟级的配置升降级、秒级的故障恢复、全局数据一致性和免费的数据备份容灾服务，既融合了商业数据库稳定可靠、高性能、可扩展的特征，又具有开源云数据库简单开放、自我迭代的优势。本文介绍深圳法...
- 产品推荐
- 这些文档可能帮助您