数据查询
查询表数据 在集群管理系统的左侧导航栏中，选择 数据查询>SQL执行器。在 namespace 下拉列表中选择命名空间，页面右侧会自动显示该命名空间中的表。在编辑器中输入SQL语句。单击 执行。说明 执行操作可以通过键盘完成。Windows系统：CTRL+...
数据迁移与同步FAQ
DTS的数据迁移与数据同步工作原理是什么？DTS的数据迁移与数据同步有什么区别？使用DTS遇到预检查报错，如何解决？什么是数据迁移、数据同步？数据迁移：将Redis数据库中的数据（即键值对）迁移至另一个Redis数据库中。通常迁移完成后即可...
工作原理
工作原理 本地安装一个数据库网关代理（database gateway agent）。数据库网关代理负责与数据库网关云端服务（database gateway cloud service）建立安全的、可信任的通道。不同账号、不同网关所建立的通道彼此隔离。通道建立后，当您...
数据查询
在集群管理系统的左侧导航栏中，选择 数据查询>数据查询（兼容HBase）。设置筛选条件，包括 namespace 和 表。可选：输入列簇、row key、start key（分区起始Key）、end key（分区终止Key）和limit（显示条数）。单击 查询，界面将展示目标...
应用场景
云上云下数据库同步 通过数据库传输服务DTS的数据同步功能，可以使本地IDC或其他云厂商的数据库与阿里云数据库内容进行同步，详情请参见 数据同步的工作原理，架构图如下所示。本地IDC/跨云数据库备份上云 数据库备份 DBS 是阿里云提供的低...
应用场景
云上云下数据库同步 通过数据库传输服务DTS的数据同步功能，可以使本地IDC或其他云厂商的数据库与阿里云数据库内容进行同步，详情请参见 数据同步的工作原理，架构图如下所示。本地IDC/跨云数据库备份上云 数据库备份 DBS 是阿里云提供的低...
备份集查询功能概览
DBS备份数据查询功能，可以在不恢复备份数据的情况下，直接查询云存储中备份集的数据。背景信息 传统的备份数据查询有两种方式：将备份数据文件导入至数据库，再通过数据库操作对数据进行查询，但是这种方式耗费时间长，且可能会导致数据...
API概览
查询数据开发中可用的集群列表 调用ListFlowClusterAll接口，查询数据开发可用的集群列表。查询工作流列表 调用ListFlow接口，查询工作流列表。查询项目用户信息 调用ListFlowProjectUser接口，查询项目用户列表。删除项目用户 调用...
列存索引（IMCI）发布说明
这样一来，需要使用两套数据库系统，架构复杂性、运维工作量和成本都会大大增加。PolarDB MySQL版 重磅推出的列存索引（In-Memory Column Index，简称IMCI）面向OLAP场景大数据量复杂查询。通过列存索引，PolarDB MySQL版 实现了一体化的...
概述
脱敏方案对比 脱敏方案 说明 优点 缺点 动态脱敏 当应用程序发起数据查询请求时，系统会在数据库内部对敏感数据进行变换后再返回给应用程序。开始查询前，仅需指定需要进行脱敏查询的数据库账号，以及需要脱敏的数据库、表或列的名称即可。...
资源组介绍
区别如下：Interactive型资源组：工作原理：用户提交查询到前端节点后，Interactive型资源组的常驻计算资源会以XIHE MPP方式执行查询，响应时间较快，通常在毫秒级。XIHE MPP的详细信息，请参见 XIHE MPP引擎。适用场景：高QPS低RT的在线...
工作负载管理介绍
而在数据库内部，同时执行的查询之间共享着数据库系统的CPU、内存和磁盘IO等资源，某些分析型的查询如Business Intelligence（BI）消耗着巨大的系统资源，如果对工作负载的执行不加以限制，数据库系统中并发执行的其他查询需要等待它将资源...
折线柱状图
数据源 单击 配置数据源，可在 设置数据源 面板中修改数据源类型和数据查询代码、预览数据源返回结果以及查看数据响应结果，详情请参见 配置资产数据。数据过滤器 数据过滤器提供数据结构转换、筛选和一些简单的计算功能。单击 添加过滤器...
区域翻牌器（v3.0及以上版本）
数据源 单击 配置数据源，可在 设置数据源 面板中修改数据源类型和数据查询代码、预览数据源返回结果以及查看数据响应结果，详情请参见 配置资产数据。数据过滤器 数据过滤器提供数据结构转换、筛选和一些简单的计算功能。单击 添加过滤器...
概述
这样一来，需要使用两套数据库系统，架构复杂性、运维工作量和成本都会大大增加。PolarDB MySQL版 重磅推出的列存索引（In-Memory Column Index，简称IMCI）面向OLAP场景大数据量复杂查询。通过列存索引，PolarDB MySQL版 实现了一体化的...
PolarDB的高级脱敏
实现原理，请参见 工作原理。高级脱敏功能暂不支持自定义脱敏算法。详细信息，请参见 概述。操作步骤 步骤一：开启高级脱敏 登录 PolarDB控制台。在控制台左上角，选择集群所在地域。找到目标集群，单击集群ID。在左侧导航栏中选择 配置与...
消除数据重分布
首先分析数据库系统的查询模式，确定系统中成本最高的查询，并根据这些查询的需求进行初始数据库设计。决定查询总成本的因素包括查询运行需要多长时间以及它消耗多少计算资源。决定查询成本的其他因素是它的运行频率，以及它对其他查询和...
设置连接池
工作原理 前端连接与后端连接 在客户端（应用）与数据库建立连接时，以数据库代理为中间节点可将该连接分为前端连接（客户端与数据库代理的连接）和后端连接（数据库代理与数据库的连接）。如下图所示。未开启连接池时的连接建立过程 未...
IO加速
本文档将详细介绍该技术的优势、适用场景和工作原理，帮助您在面临大规模或频繁数据读写需求时显著提升数据库性能。背景 RDS PostgreSQL在数据处理过程中，数据会从磁盘读取到内存，在内存中处理完成后，数据再从内存写入到磁盘中。与内存...
连接池
事务级连接池 工作原理 事务级连接池主要用于减少直接连接到数据库的业务连接数，以及减少短连接场景下频繁建连带来的负载。开启事务级连接池后，客户端与 PolarDB 代理间可以存在上千个连接，但代理与后端数据库间可能只存在几十或几百个...
HTAP中的行列混存查询优化
由于在执行查询时使用的执行计划好坏对性能的影响非常关键，因此在所有的数据库系统中都存在查询优化器，典型的查询优化器结构如下图所示：通常，查询优化器会通过如下三个典型组件来协同工作：Plan space enumeration：根据一系列的等价...
常见问题
支持的数据库部署位置（接入方式）阿里云实例 有公网IP的自建数据库 通过数据库网关DG接入的自建数据库 通过云企业网CEN接入的自建数据库 ECS上的自建数据库 通过专线/VPN网关/智能接入网关接入的自建数据库 阿里云实例 通过数据库网关DG接...
导入概述
本文为您介绍数据导入的基本概念、原理、系统配置、不同导入方式的适用场景，以及一些最佳实践案例和常见问题。背景信息 数据导入功能是将原始数据按照相应的模型进行清洗转换并加载到StarRocks中，方便查询使用。StarRocks提供了多种导入...
如何使用DataV Proxy
DataV Proxy应用工作原理 将加密的SQL查询字符串和数据库ID值传递给应用程序。由该应用程序连接到数据库，获取查询结果。将查询结果返回到DataV页面。启动DataV Proxy应用 Windows：下载 DataV Proxy应用安装包。解压后双击打开 datav_...
按时间戳冷热分离
Lindorm(main):018:0>scan 'chsTable',{STARTROW=>'row1',STOPROW=>'row9'，HOT_ONLY=>true} 带 TimeRange 的查询，系统会将设置的 TimeRange 与 COLD_BOUNDARY 冷热分界线进行比较来决定查询哪个区域的数据。Lindorm(main):019:0>scan '...
阶段三：数据安全持续运营
3159",/查询数据源所在的工作空间ID"moduleType":"develop_query",/下载来源：develop_query（数据开发查询）/sqlx_query（数据分析查询）/dw_excel（数据分析电子表格）"operatorBaseId":"1107550004253538",/操作者的UID"datasourceId":...
导入概述
本文为您介绍数据导入的基本概念、原理、系统配置、不同导入方式的适用场景，以及一些最佳实践案例和常见问题。背景信息 数据导入功能是将原始数据按照相应的模型进行清洗转换并加载到StarRocks中，方便查询使用。StarRocks提供了多种导入...
功能特性
可以将S3、HDFS等常见远端存储中的文件数据，映射成云数据库 SelectDB 版中的表，从而对这些文件数据进行分析 文件分析 数据湖分析 Hive数据源 通过连接Hive Metastore，云数据库 SelectDB 版可以自动获取Hive的库表信息，进行数据查询、...
列存索引技术架构介绍
PolarDB并行查询突破CPU瓶颈 并行查询框架（Parallel Query）可以在查询数据量到达一定阈值时，自动启动并行执行。在存储层将数据分片到不同的线程上，由多个线程并行计算，并将结果流水线汇总到总线程。最后，总线程做简单归并返回给用户...
文档修订记录
使用Copilot+增强分析实现一站式智能数据查询与可视化 2023年10月更新记录 时间 特性 类别 描述 产品文档 2023.10.30 新增功能 数据建模API DataWorks支持调用QueryPublicModelEngine接口查询单个指标所依赖模型的相关信息、查询复合指标。...
DataWorks On MaxCompute使用说明
数据地图概述 安全中心 数据保护伞 审批中心 安全中心是集数据资产分级分类、敏感数据识别、数据授权管理、敏感数据脱敏、敏感数据访问审计、风险识别与响应于一体的一站式数据安全治理界面，帮助用户落地数据安全治理事项。安全中心概述 ...
DataWorks On EMR使用说明
数据地图概述 安全中心 数据保护伞 审批中心 安全中心是集数据资产分级分类、敏感数据识别、数据授权管理、敏感数据脱敏、敏感数据访问审计、风险识别与响应于一体的一站式数据安全治理界面，帮助用户落地数据安全治理事项。安全中心概述 ...
审计配置
审计模式介绍 审计模式 适用产品 工作原理 模式特点 原生日志采集 阿里云原生数据库（不支持自建数据库、PolarDB）DSC 自动建立与对应产品的数据采集链路，采集日志。警告 该审计模式下，云产品的优先级策略为业务优先于审计，在业务负载...
DataWorks On Hologres使用说明
数据地图概述 安全中心 数据保护伞 审批中心 安全中心是集数据资产分级分类、敏感数据识别、数据授权管理、敏感数据脱敏、敏感数据访问审计、风险识别与响应于一体的一站式数据安全治理界面，帮助用户落地数据安全治理事项。安全中心概述 ...
DataWorks On CDP/CDH使用说明
一、数据集成 DataWorks的数据集成模块为您提供读取和写入数据至CDP/CDH Hive、CDP/CDH HBase的能力，您需要将Hive或HBase组件创建为 DataWorks的 Hive或HBase数据源，实现将其他数据源的数据同步至Hive或HBase数据源，或将Hive或HBase数据...
PolarDB并行查询
本文介绍 PolarDB MySQL版 在并行查询这一企业级查询加速特性上做的技术探索、形态演进和相关组件的实现原理。并行查询背景 PolarDB 亚马逊在2017年发表的关于Aurora的这篇paper[1]，引领了云原生关系型数据库的发展趋势，而作为国内最早...
基本概念
脚本开发的代码无法发布到调度系统，无法进行调度参数配置，仅可以进行部分数据查询分析的工作。资源、函数 MaxCompute引擎使用的资源和函数，详情请参见 资源 和 函数。输出名称 输出名称：每个任务（Task）输出点的名称。它是您在单个...
多租户管理使用说明
租户分为系统租户和普通租户：系统租户：系统租户是为了适配原有模式下用户的使用，原有数据库实例中的用户默认属于系统租户，也可以称为系统用户。当通过系统租户下的用户连接数据库时，若该用户拥有对应的数据库实例访问权限，即可访问...
产品架构
数据迁移工作原理 数据迁移过程包括三个阶段，即结构迁移、全量数据迁移和增量数据迁移。如果需要在迁移期间保持源数据库的正常运行，当您在配置迁移任务时，必须将结构迁移、全量数据迁移和增量数据迁移都选为所需的迁移类型。结构迁移：...
安全设置与其他
使用限制 启用页面查询内容脱敏 启用页面查询内容脱敏是对DataWorks工作空间范围生效，如果您需要所有工作空间在查询数据时对敏感信息均脱敏展示，则需对所有工作空间逐一开启该功能。说明 例如，工作空间A设置了脱敏展示，工作空间B未设置...
- 产品推荐
- 这些文档可能帮助您