键值表格
图表样式 键值表格是表格组件的一种，支持以键值的形式自定义表格内容，能够将数据信息以表格的形式清晰地展示在可视化应用上，仅支持两列数据的展示，且无法新增列。配置面板 搜索配置：单击 配置 面板右上角的 搜索配置，可在 搜索配置 ...
结构同步
数据管理DMS 的结构同步功能支持对比不同数据库、指定表之间的表结构，产生差异化脚本并执行到目标数据库。适用于对比、同步多套数据库环境的表结构，例如生产库与测试库、不同的测试库、不同的生产库等。前提条件 支持的数据库类型如下：...
FineReport
找一列数据分布均匀的列做分布键，一列时间类型做分区键。请参考 表结构设计。观察到合同销售总表中的几列数据，按合同编号分布较随机，因此用合同编号做分区键。建表语句如下：Create Table `demo_contract`(`contract_id` varchar,`...
可视化图表概述
漏斗层标签 漏斗层宽 对比漏斗图 对比漏斗图既可以对比两类事物在不同指标下的数据情况，例如对比北京和上海两个城市的流动人口比例、就业率及商品房交易量。漏斗宽度 对比指标 来源去向图 来源去向图可以展示一组数据的来源、过程、去向和...
列存索引如何实现高效数据过滤
其中，RANGE和LIST分区会把数据表分成若干个区间或列表，HASH分区会将数据散列到不同的分区。在使用分区剪枝技术时，需要使用符合分区条件的查询语句，并将分区键作为查询条件进行查询。例如，假设有一个订单表orders，根据订单日期分为12...
结果编辑与导出
导出 Excel 文件：编辑 查询 SQL 语句，选择导出的 查询结果条数限制、文件名称、文件格式、文件编码、数据脱敏 和 Excel 文件设置（包含列头 和 导出 SQL 到另一个 Sheet）。导出 Excel 格式时可自定义是否包含列头，可选择是否导出查询的...
实时同步常见问题
说明 为避免数据在某时间段内丢失或错乱，禁止使用 Rename 命令将两列的名称互换。例如，将A列和B列的列名做了调换操作。原因：由于实时同步支持断点续传，为保障不丢失数据，在重启实时同步回溯位点时可能会往前回溯一部分数据，此过程...
对比漏斗图
则系统既可以展示不同指标下两个城市的数据对比情况，又可以展示对比项（北京和上海）的漏斗层级关系。本文为您介绍如何为对比漏斗图添加数据并配置样式。前提条件 已创建仪表板，请参见 新建仪表板。图表概述 使用场景 漏斗图适用于业务...
交叉表
交叉表最大支持导出1万行数据，导出数据的时间因电脑配置或数据量不同而有所差异，更多内容请参见 导出数据。在 过滤器 中设置过滤条件，具体请参见 字段过滤。数据面板配置 您可以在数据面板进行以下操作：批量添加字段 按 Shift/command ...
批量配置数据标准
支持通过Excel批量导入或导出数据标准，提升配置效率。本文为您介绍如何批量配置数据标准。权限说明 超级管理员、数据标准管理员可以在所有标准集下批量导入数据标准。标准集维护人员及标准集成员可以在已加入的标准集下批量导入数据标准。...
批量配置数据标准
支持通过Excel批量导入或导出数据标准，提升配置效率。本文为您介绍如何批量配置数据标准。权限说明 超级管理员、数据标准管理员可以在所有标准集下批量导入数据标准。标准集维护人员及标准集成员可以在已加入的标准集下批量导入数据标准。...
查看资源用量大盘
项目数据处理单元用量统计 项目数据处理单元用量统计的排行榜分别从 数据处理单元当前用量TOP10项目 和 最近1个月数据处理单元使用增量TOP10项目 两个视角，为您展示每个项目下的数据处理单元使用量及最近1个月消耗增量排行情况；...
质量规则模板类型
两表时间字段比较 用于对不同表的两列的时间差进行比较。有效性 字段格式校验 用于识别表达式或者正则表达式对单字段的格式进行校验。字段长度校验 用于对单字段的长度进行校验。字段值域校验 用于对单字段的取值范围进行校验。码表参照...
质量规则模板类型
两表时间字段比较 用于对不同表的两列的时间差进行比较。有效性 字段格式校验 用于识别表达式或者正则表达式对单字段的格式进行校验。字段长度校验 用于对单字段的长度进行校验。字段值域校验 用于对单字段的取值范围进行校验。码表参照...
对比节点不同版本的差异
支持任意两个版本的公共节点进行脚本差异比对，方便您确认差异点，进而判断使用哪个版本的节点。本文介绍如何对比节点的不同版本的差异。前提条件 公共节点已发布一个以上版本，具体操作，请参见 发布公共节点。操作步骤 登录 数据资源平台...
如何对JSON类型进行高效分析
本文介绍了PolarDB IMCI为应对海量结构化与半结构化数据分析场景，通过整合列式JSON、虚拟列、秒级加减列、表列数扩展及列存索引等系列功能而构建出的扩展流计算方案，以及该方案的应用案例。背景 随着应用场景多样化与快速迭代，业务系统...
Tablestore Stream数据源
DataWorks数据集成支持使用Tablestore Stream Reader读取Tablestore的增量数据，本文为您介绍DataWorks的Tablestore Stream数据读取能力。数据同步前准备：Tablestore Stream环境准备 使用Tablestore Stream插件前，您必须确保Tablestore表...
设置列索引的排序键
本文介绍了列存索引数据的排序流程、使用方法以及构建和查询有序列存索引数据的时间对比等内容。简介 列存索引数据是按照行组进行组织，默认包含64K行。每个行组中不同的列会各自打包形成列数据块，列数据块按照行存原始数据的主键次序并行...
数据概览
昨日同期 0 点到查看时间整点的累计数据对比昨日同时间累计数据的增长率。上周同期 过去 7 天累计数据对比过去 8~14 天累计数据的增长率。上周同期=（过去 7 天的数据 – 上周同期的数据）/上周同期的数据，当除数为 0 时，以 1 计算，百分...
概述
本文主要介绍了 PolarDB 数据库代理（Proxy）提供的动态脱敏功能。前提条件 PolarDB 数据库代理版本需为2.4.12或以上。如何查看和升级当前数据库代理版本，请参见 小版本升级。脱敏方案 在数据库使用中，需要实时地从生产环境中的数据库...
排序优化
组合排序和多维排序的性能对比 以下内容将对同样的两张表分别进行组合排序和多维排序，比较两种排序方式在不同场景下对不同查询的性能影响。创建两张测试表并设置表的排序键，表中包含4列，分别为id、num1、num2、value，其中id、num1、num...
使用DTS同步RDS MySQL数据到AnalyticDB MySQL 2.0
数据同步支持库、表、列名映射，您可以进行不同库名之间的数据或两个不同表名之间的数据同步。注意事项 配置同步链路 过程中，如果目标表中列信息与源表不同，DTS支持字段映射功能。详细步骤，请参见 库表列映射。如果需要同步的表数量较少...
列存索引技术架构介绍
首先，在技术上需要维护两套不同技术体系的数据库系统，其次由于两套系统处理机制的差异，维护上下游的数据实时一致性也非常具有挑战性。而且存在数据同步延迟，下游AP系统存储的经常是过时的数据，从而导致无法满足实时分析的需求。基于多...
数据建模
数据建模支持ER模型和维度模型两种数据建模方法，帮助用户完成数据模型、逻辑表的设计和管理。用户可对数据模型的层次结构进行管理，并对逻辑表字段进行设计。字段设计需要在数据标准的约束下，通过模型设计过程中引用标准数据元定义，设置...
功能简介
数据建模支持ER（Entity-Relationship）模型和维度模型两种数据建模方法，帮助用户完成数据模型、逻辑表的设计和管理。用户可对数据模型的层次结构进行管理，并对逻辑表字段进行设计。字段设计需要在数据标准的约束下，通过模型设计过程中...
功能简介
数据建模支持ER（Entity-Relationship）模型和维度模型两种数据建模方法，帮助用户完成数据模型、逻辑表的设计和管理。用户可对数据模型的层次结构进行管理，并对逻辑表字段进行设计。字段设计需要在数据标准的约束下，通过模型设计过程中...
PolarDB HTAP实时数据分析技术解密
MySQL+专用AP数据库的搭积木方案 专用分析型数据库产品众多，一个可选方案为：使用两套系统来分别满足OLTP和OLAP型需求，在两套系统中间通过数据同步工具进行数据实时同步。用户甚至可以增加一层proxy，自动将TP型负载路由至MySQL数据库，...
Beam排序优化（7.0版）
Beam组合排序键和多维排序键查询效果对比 以下是对数据量1 TB的SSB Benchmark中 lineorder_flat Beam表分别建立的组合排序键和多维排序键后，对比不同场景筛选条件下的查询效果，其中排序键为 LO_ORDERDATE 和 P_BRAND。筛选条件 组合排序...
离线同步常见问题
读取Loghub同步某字段有数据但是同步过来为空 读取Loghub同步少数据 读取Loghub字段映射时读到的字段不符合预期 读取kafka配置了endDateTime来指定所要同步的数据的截止范围，但是在目的数据源中发现了超过这个时间的数据 Kafka中数据量少...
列存表使用排序键和粗糙集索引加速查询
组合排序和多维排序的性能对比 我们会对同一张表分别做组合排序和多维排序，从而比较两种排序方式在不同的场景下，对不同查询的性能影响。在这个场景中，我们创建一张表test，其包含4列（id,num1,num2,value）。使用（id,num1,num2）作为...
交互分析管理
模块 参数 说明 SQL过滤方式 过滤类型 SQL的过滤类型，包括 手动添加 和 数据源添加，选择不同的过滤类型其配置项不同。添加值 自定义添加文本值。当过滤类型为 数据源添加 时可以通过数据源中的字符字段自动添加值。说明 最多可以添加20个...
云数据库MongoDB版迁移至云原生多模数据库Lindorm
本文介绍如何使用数据传输服务DTS（Data Transmission Service），将 云数据库MongoDB版（副本集架构或分片集群架构）迁移至云原生多模数据库Lindorm。前提条件 云数据库MongoDB版 为副本集架构或分片集群架构。重要 若源库为分片集群架构...
新建及管理质量规则模板
有效性 包括 数据标准码表参照对比（需开通数据标准模块）、码表参照对比、字段格式校验、字段值域校验、字段长度校验。一致性 包括 单字段业务逻辑一致性比较、两表字段统计值一致性比较、两表字段业务逻辑一致性比较、单表字段统计值一致...
新建及管理质量规则模板
有效性 包括 数据标准码表参照对比（需开通数据标准模块）、码表参照对比、字段格式校验、字段值域校验、字段长度校验。一致性 包括 单字段业务逻辑一致性比较、两表字段统计值一致性比较、两表字段业务逻辑一致性比较、单表字段统计值一致...
CREATE TABLE
时序引擎 时序表的主键列中数据类型为VARCHAR的列又被称作 标签（TAG）列，数据类型为TIMESTAMP的列又被称为 时间戳列。主键列的数据类型必须是VARCHAR或TIMESTAMP类型。主键列可以包含一个或多个VARCHAR类型的列，但只能包含一个TIMESTAMP...
AnalyticDB PostgreSQL版7.0版本
迁移类型 文档 是否支持 数据写入 使用INSERT ON CONFLICT覆盖写入数据 支持 使用COPY ON CONFLICT覆盖导入数据 支持 基于Client SDK数据写入 支持 表级迁移 通过DataWorks导入数据 支持 通过DTS从云数据库同步数据 支持 通过DTS从自建数据...
功能特性
配置管理 数据保护 敏感数据管理 DMS的敏感数据保护能力能根据所选的敏感数据扫描模板、敏感数据识别模型以及脱敏算法对数据进行脱敏处理，以避免敏感数据滥用，有效保护企业的敏感数据资产，防止数据泄露造成企业经营资金损失或罚款。...
Tair命令概览
云原生内存数据库Tair 存在多个版本、系列和架构，各种类型的实例对于Redis命令的支持度有所不同。根据本章节的导航信息，您可以快速找到Tair各版本支持的命令和限制使用的命令。命令支持概览 兼容Redis社区版命令 云原生内存数据库Tair ...
通过导入实现列更新
如果两批数据导入都更新了一个相同Key的不同列，则其中系统版本较高的导入任务会在版本较低的导入任务成功后，再使用版本较低的导入任务写入的数据行重新进行补齐。由于Merge-on-Write实现需要在数据写入的时候，进行整行数据的补齐以保证...
云数据库MongoDB版同步至云原生多模数据库Lindorm
数据传输服务DTS（Data Transmission Service）支持将MongoDB（副本集架构或分片集群架构）同步至云原生多模数据库Lindorm（宽表引擎）。Lindorm具有稳定、低成本、简单易用等优势，可以在元数据、订单、账单、画像、社交等场景中，为您...
- 产品推荐
- 这些文档可能帮助您