产品架构
即宽表/时序中的部分字段通过内部的数据链路自动同步搜索引擎，而数据的模型及读写访问对用户保持统一，用户无需关心搜索引擎的存在，跨引擎之间的数据关联、一致性、查询聚合、生命周期等工作全部由系统内部协同处理，用简单透明的方式...
数据集市
数据集市是基于业务分类，面向特定应用场景或者产品的数据组织。通常位于数据应用层，依赖于公共层的整合数据。本文为您介绍如何创建数据集市并管理主题域。前提条件 已创建业务分类，用于对指定业务进行特定场景化的细分。详情请参见 业务...
引擎功能
数据库内机器学习 Lindorm时序引擎提供开箱即用的数据库内机器学习服务。您可以通过SQL语句直接在数据库内完成整个机器学习流程，挖掘更深的数据价值。使用数据库内机器学习服务的优势主要体现在以下几个方面：简单易用：无需掌握专业的...
基本概念
副本（Replica）为了在异常情况下保证数据的安全性和服务的高可用性，云数据库ClickHouse 提供了副本机制，将单台服务器的数据冗余存储在2台或多台服务器上。数据库（Database）数据库是 云数据库ClickHouse 集群中的最高级别对象，内部...
阶段一：基础防护建设
管理员可以根据上述敏感数据类型及本企业的数据属性，定义本企业/组织的数据敏感级别，一般情况下可以参考如下分级方式。数据属性 分级 政府机构 绝密（Top Secret）：对国家安全造成异常严重损害。秘密（Secret）：对国家安全造成严重损害...
表数据管理
ODC 中用颜色标识您对表中数据的操作，新增的数据用绿色标识，删除的数据用红色标识，修改后的数据用橙色标识。编辑态下，导航栏提供了以下操作键功能编辑表中的数据：功能 说明 添加行 单击该功能键将在表中指定位置插入一个空行。双击...
配置数据识别规则
背景信息 DataWorks支持您按照数据的敏感级别和所属分类定义数据识别规则，帮助您识别组织内的敏感数据，对于识别结果不准确的数据，您可以 手动修正数据，并在 敏感数据概况 模块为您展示最近的通过数据识别规则命中的、按照项目细分的...
表数据格式
为了支持增全量存储和处理一体化架构，Transaction Table2.0（简称TT2）设计了统一的表数据组织格式，既可支持MaxCompute普通表的所有功能，同时也能很好的支持增量处理链路的新场景，包括time travel查询、upsert操作等。本文为您介绍...
概述
这意味着它是用于管理存储在关系中的数据的系统。关系实质上是用于表的数学术语。将数据存储在表中的概念现今是如此常见，以致于似乎本来就很明显，但存在许多其他组织数据库的方式。Unix 类操作系统上的文件和目录构成层次数据库的示例。...
2023年
SQL处理优化 2023-06-26 新增数据组织优化 新说明 本文为您介绍Transactional Table 2.0在数据组织优化服务上的架构设计。数据组织优化 2023-06-26 新增TimeTravel查询与Incremental查询 新说明 对于Transaction Table2.0类型的表，...
名词解释
TABLE 〇 〇 Table（表）是一种结构化的数据对象，用于存储和组织相关的数据记录。构建表时需要定义表的Schema结构，包括表的列名和列类型。在宽表引擎中创建的表称为 宽表，在时序引擎中创建的表称为 时序表。PRIMARY KEY 〇 〇 Primary ...
快速入门
参数 描述 Project 项目（Project）是DataHub数据的基本组织单元,下面包含多个Topic。值得注意的是，DataHub的项目空间与MaxCompute的项目空间是相互独立的。用户在MaxCompute中创建的项目不能复用于DataHub，需要独立创建。描述 Project的...
数据库对象的逻辑结构
AnalyticDB PostgreSQL 将数据组织为表的形式，并且提供索引、视图以及序列等功能，详细使用方法，请参见 PostgreSQL官方文档。模式 一个数据库包含一个或多个已命名的模式（Schema），模式又包含表以及其他对象，包括数据类型、函数、操作...
什么是EMR Serverless StarRocks
数据湖分析 StarRocks不仅能高效的分析本地存储的数据，也可以作为计算引擎直接分析数据湖中的数据，支持Apache Hive、Apache Iceberg、Apache Hudi等数据组织结构；支持Parquet、ORC、CSV等文件格式；也支持HDFS、S3、OSS等存储方式。在...
数据保护规则简介
说明 进行任意查询时，涉及的数据都可以用<数据库，数据表，数据列>来表示。只有当数据库、数据表、数据列都被一条规则中的 meta 数据匹配上时，数据才会按照规则中指定的算法进行处理。在设置数据保护规则时，您需要保证 不同规则作用的...
如何对JSON类型进行高效分析
PolarDB 列存索引（In Memory Column Index，IMCI）功能推出了完备的虚拟列与列式JSON功能等，可以快速处理大数据和多种数据类型（包括结构化数据与半结构化数据等），并提供高效的数据分析、查询与流计算能力，适用于数据分析、数据仓库与...
数据安全治理的必要性
数据安全治理采用体系化的方式保障数据安全，要求妥善处理各类人员对组织资产的行为，以避免发生数据安全事件。数据安全治理的目标是协助企业树立数据安全相关的法律意识，确保企业经营合法合规，同时展现企业的社会责任，保护企业的核心...
概述
数据组织 ZooKeeper的数据组织方式与标准文件系统类似，组织成类似文件树的结构，在ZooKeeper中使用znode（ZooKeeper node）来描述文件，与标准文件系统不同的是，znode并不区分目录或者文件的概念，每个znode都可以存储数据。ZooKeeper...
数据标准概述
应用场景 某集团IT团队制定了关于 员工性别 的数据标准：用male表示男性，用female表示女性，用unknown表示未知。首先，数据标准管理员创建了 性别 码表并同步到开发人员；接着创建了 员工性别 标准，值域范围引用 性别 码表，并添加了 ...
数据标准概述
应用场景 某集团IT团队制定了关于 员工性别 的数据标准：用male表示男性，用female表示女性，用unknown表示未知。首先，数据标准管理员创建了 性别 码表并同步到开发人员；接着创建了 员工性别 标准，值域范围引用 性别 码表，并添加了 ...
创建解决方案
数据开发模式全面升级，包括工作空间>解决方案>业务流程三级结构，抛弃陈旧的目录组织方式。背景信息 DataWorks对数据开发模式进行全面升级，按照业务种类组织相关的不同类型的节点，让您能够更好地以业务为单元、连接多个业务流程进行开发...
数据开发：开发者
背景信息 DataWorks的数据开发（DataStudio）面向各引擎（MaxCompute、Hologres、EMR、CDH等）提供可视化开发界面，包括智能代码开发、数据清洗加工、规范化任务开发与发布等，保证数据开发的高效与稳定。更多数据开发模块的使用，详情请...
数据组织优化
本文为您介绍Transactional Table 2.0在数据组织优化服务上的架构设计。Clustering 当前痛点 Transactional Table 2.0支持分钟级近实时增量数据导入，高流量场景下可能会导致增量小文件数量膨胀，从而引发存储访问压力大、成本高，并且大量...
数据安全
数据备份与恢复 云原生多模数据库 Lindorm 宽表引擎支持数据备份恢复功能，该功能基于数据生态服务中的数据迁移，将数据存储至阿里云对象存储服务OSS（Object Storage Service，简称OSS）中，定期全量备份数据，实时增量同步数据，来满足对...
数据源配置常见问题
您只需要获取到 from 和 to 两个字段的数据，字段内用逗号把经度、纬度拼接起来即可（和静态数据及API会略有不同）。组件数据请求报timeout，该如何处理？可能原因：数据查询超时。DataV设置了向数据库发起的请求不能超过10s的限制，即如果...
数据源配置常见问题
您只需要获取到 from 和 to 两个字段的数据，字段内用逗号把经度、纬度拼接起来即可（和静态数据及API会略有不同）。组件数据请求报timeout，该如何处理？可能原因：数据查询超时。DataV设置了向数据库发起的请求不能超过10s的限制，即如果...
功能概述
当您的数据库中有数据需要被保护时，可以使用RDS MySQL全密态数据库功能，该功能提供的加密解决方案能够在遵守数据保护法规的前提下保障您的数据安全，使被保护数据免受未授权访问。本文介绍全密态数据库的概念、应用场景和安全分级。什么...
维度建模概述
DataWorks的数据建模产品遵循Kimball维度建模理论，使用DataWorks的维度建模功能进行数据仓库模型设计时，您可根据业务情况设计并创建维度表、明细表、汇总表、应用表，并可将模型快速发布到相应的研发引擎。同时，还可以使用逆向建模，将...
概述
例如，在联合风控、跨国服务等场景下，有严格的数据合规要求，组织间无法进行明文数据的合规化获取；再如，在合作营销等场景下，存在组织间的既合作又竞争的复杂关系，难以进行明文数据共享。功能介绍 支持所有已有的SQL算子，且应用透明无...
数据仓库研发规范概述
角色职责 数据产品经理：负责承接、评估业务方提出的数据需求，并组织需求评审、产出产品需求文档，同时需要把控其它更为细化的技术评审。设计人员：根据已定稿的产品需求文档所述需求，进行数据探查，了解数据形态（数据质量、数据分布）...
从这里开始
DataV旨在让更多的人看到数据可视化的魅力，帮助非专业的工程师通过图形化的界面轻松搭建专业水准的数据看板，满足您会议展览、业务监控、风险预警和地理信息分析等多种业务的展示需求。本文为您介绍DataV产品功能和功能体验等内容。使用...
新建Paimon数据源
说明 为保证任务正常执行，请确保填写的用具备所需的数据权限。Hive Keytab File Kerberos方式访问集群，需上传Hive的Hive Keytab File配置文件。Hive Principal Kerberos方式访问集群，需填写Kerberos认证Principal名，如 XXXX/...
产品整体介绍
外表：元数据存放在本地系统表，数据存放在OSS，支持的数据格式包括ORC，Parquet，CSV，JSON，支持表分区，其中ORC和Parquet支持列过滤和谓词下推，提升分析性能。除OSS外，同时也支持Hadoop（HDFS,Hive）外表。组件交互 下图展示了客户端...
多可用区数据强一致
PolarDB MySQL版 支持多可用区数据强一致功能。相比半同步和异步的方式，数据强一致功能采用 一主一备一日志 的三节点架构，通过物理复制和X-Paxos协议相结合，具备更高的容灾能力，提供金融级的高可靠性。本文将为您介绍如何开启多可用区...
数据集成：全领域数据汇聚
DataWorks的数据集成功能模块是稳定高效、弹性伸缩的数据同步平台，致力于提供复杂网络环境下、丰富的异构数据源之间高速稳定的数据移动及同步能力。功能概述 DataWorks数据集成支持离线同步、实时同步，以及离线和实时一体化的全增量同步...
基本概念
数据同步 数据源：是指数据库应用程序所使用的数据库或者数据库服务器，在数据资源平台的数据同步中可以将配置好的数据源端数据同步到目标端。多源异构数据：指的是多种不同结构的数据源。数据模板：用于对非结构化数据的解释，当创建数据...
数据页面管理
我的数据分组 在 我的数据分组 页面中，您可以对不同的数据类型分成不同的组。您可以实现如下多个功能：功能 说明 新增分组 单击 我的数据分组 列表右侧的，在弹出的 新建分组 对话框中，自定义输入分组名称后单击 OK 即可新增一个数据分组...
Quick BI数据可视化
Quick BI支持连接 云数据库 SelectDB ...将SelectDB数据库中的数据表或自定义的SQL添加到Quick BI，请参见 创建并管理数据集。添加可视化图表并分析数据，请参见 新建仪表板 和 可视化图表概述。钻取并深度分析数据，请参见 钻取设置与展示。
数据页面管理
我的数据分组 在 我的数据分组 页面中，您可以对不同的数据类型分成不同的组。您可以实现如下多个功能：功能 说明 新增分组 单击 我的数据分组 列表右侧的，在弹出的 新建分组 对话框中，自定义输入分组名称后单击 OK 即可新增一个数据分组...
用户价值
数据运营更高效：遵循应用先行、以用带存、由存而通、因通促用的理念，实现城市数据运营，驱动客户业务创新。用户角色 功能 能力 详述 数据生产方 数据开发 设计数据模型 开发数据加工逻辑 设计标准、稳定的数据模型：通过数据标准和数据...
- 产品推荐
- 这些文档可能帮助您