前言
既解决了传统数据库容量有限、扩缩容时间长等问题，又提供了分钟级扩容、弹性变配、超高并发等能力，同时提供企业级的高可用及安全特性，HA切换正常切换小于10S，提供数据存储和数据链路加密，满足企业客户的需求。2020年，PolarDB荣获国家...
零售电商数据建模
DataWorks智能数据建模产品内置了零售电子商务数据仓库行业模型模板，您可以一键导入模板，本文结合零售电子商务业务背景以及模型构建核心步骤来帮助您了解维度建模理论和智能数据建模产品。重要 DataWorks智能数据建模个人版6个月60元，...
使用XIHE BSP SQL进行作业开发
执行结果如下：+-+-+-+|id|name|age|+-+-+-+|4|Ban|25|1|Anna|18|3|Cindy|12|+-+-+-+步骤三：创建ADS层数据表 ADS层表数据是对DWD层数据做了更精细地过滤，可直接用于业务分析，对查询速率有一定的要求，因此创建ADS层数据表时需添加索引。...
安全性
网络和数据链路 AnalyticDB PostgreSQL版 做为云原生分布式系统拥有非常高的安全性，首先每个新建实例使用专有网络，也称为VPC（Virtual Private Cloud），VPC是一种隔离的网络环境，安全性和性能均高于传统的经典网络。根据使用场景可选择...
通过数据同步功能同步Kafka至湖仓版（推荐）
数据源及目标端配置 的参数说明如下：参数名称 参数说明 数据链路名称 数据链路名称。系统默认按数据源类型与当前时间生成名称，可按需修改。数据源 选择已有的Kafka数据源，也可新建数据源。目标端类型 目前仅支持 数据湖-OSS存储。OSS...
创建逻辑模型：维度表
可以指定维度表后续在数据建模分析使用时，维度表的数据存储于数仓中的哪个数据分层，一般情况下维度表可存储于公共维度层（DIM层）。维度表创建后，您可以将维度的属性添加为维度表的字段，并对维度表进行关联和分区的设置，使用统一的...
产品功能发布记录
2020.02.27 相关文档 Hyperledger Fabric【云服务集成】数据库 如果您希望区块链上的数据能导出到关系型数据库，您可以将区块链数据和数据库表做映射配置。云服务集成会根据配置，将区块中的指定数据导出至目标数据库的表中，您可以使用SQL...
数据库
如果您希望区块链上的数据能导出到关系型数据库，您可以将区块链数据和数据库表做映射配置。云服务集成会根据配置，将区块中的指定数据导出至目标数据库的表中，您可以使用SQL语句或其他数据库工具对这些信息做进一步处理。配置数据库触发...
质量规则模板类型
本文为您介绍数据质量对象的...对于多链路之间的数据计算进度监控则可以发现一些数据滞留、统计偏差问题，提升实时数据质量。稳定性 实时统计值检测 实时数据为指标值或可统计数据时，用于判断数据是否正确 可选择和固定值或者历史进行对比。
质量规则模板类型
本文为您介绍数据质量对象的...对于多链路之间的数据计算进度监控则可以发现一些数据滞留、统计偏差问题，提升实时数据质量。稳定性 实时统计值检测 实时数据为指标值或可统计数据时，用于判断数据是否正确 可选择和固定值或者历史进行对比。
表设计规范
表数据存储规范 按数据层规划数据的生命周期：源表ODS层：每天从业务系统同步过来的数据，全部保留，生命周期定义永久保存。当下游数据受损时，可以从ODS恢复数据。若ODS每天同步过来的是全量表，则可以通过全表拉链的方式来压缩存储。数据...
云服务集成简介
通过集成关系型数据库，云服务集成会根据配置，将链上数据可靠、自动地导出到目标数据库的特定表格里，其它应用可以通过SQL语句，分析工具做进一步的处理。详细示例可以参考 链上数据导出到数据库。REST API 使用 REST API，您可以使用阿里...
区域热力层（v3.x版本）
数据源面板 数据接口 您可以通过配置数据接口，自定义区域热力层的样式。区域热力层支持数据优先渲染。选择 区域热力层 组件 数据 页签下的 数据接口。单击 配置数据源，在 设置数据源 面板中，选择 数据源类型 为 静态数据，参数说明如下...
区域热力层（v4.x版本）
省级：区域热力层默认显示为全国范围内，各个省和直辖市区域热力层数据，可以直接使用。地市级：以提取浙江省范围内所有地级市边界数据为例，提取方法如下图所示。区县级：以提取肇庆市范围内所有区县边界数据为例，提取方法如下图所示。...
区域热力层（v1.x版本）
区域热力层是基础平面地图的子组件，支持独立的样式、数据和交互配置，包括区域的标注、颜色、边线、鼠标交互事件以及位置信息等，能够以热力区域的形式表现地理位置上的区域信息。本文介绍区域热力层各配置项的含义。重要 当前为v1.x版本...
区域热力层（v2.x版本）
区域热力层是基础平面地图的子组件，支持独立的样式、数据和交互配置，包括区域的标注、颜色、边线、鼠标交互事件以及位置信息等，能够以热力区域的形式表现地理位置上的区域信息。本文介绍区域热力层各配置项的含义。注意 当前为v2.x版本...
常见问题（FAQ）
说明 详情请参考Databricks官网文章：常见问题 什么是 Delta Lake?Delta Lake是一个开源存储层，可为数据湖带来可靠性。Delta Lake提供ACID事务，可伸缩的元数据处理，并统一流处理和批数据处理。Delta Lake在您现有的数据湖之上运行，并且...
核心概念
另外，根据数据板块内数据的加工的程度，会将数据划分为三层，每一层一般对应独立的项目：ODM（Operational Data Model）操作数据模型层，也叫贴源层。用于存储从业务应用系统镜像复制（即不做任何过滤或者加工）的数据。CDM（Common Data ...
概述
数据分层 您可以结合业务场景、数据场景综合考虑设计数仓的数据分层，DataWorks为您默认创建业界通用的五层数仓分层：数据引入层 ODS（Operational Data Store）明细数据层 DWD（Data Warehouse Detail）汇总数据层 DWS（Data Warehouse ...
SQL其他常见问题
定时（例如每天）对ODS层的增量数据做数据清洗，复杂字段拆分为多个简单字段，然后存储在CDM层的表中，便于统计和分析数据。在执行MaxCompute SQL过程中，报错partitions exceeds the specified limit，如何解决？问题现象 在执行...
产品优势
数据隐私及安全 用户可以选择明文数据上链，也可以选择对称加密的方式对上链数据进行加密。同时支持分享隐私模型，即将加密密钥通过另一把私密密钥加密，加密后的密文和加密后的密钥上链保存。私密密钥通过特定的密钥导出函数进行管理，...
PolarDB并行查询
在join的表集合中，寻找一个可以做逻辑分片的表做拆分，如果3个表都不足以拆分足够多的分片，那就选最多的表，比如这里选择了t2，它可能拆出12个分片，但仍然无法满足并行度16的要求，导致有4个worker读不到数据而idle。聚集操作先在worker...
确定需求
您在构建数据仓库之前，首先需要确定构建数据仓库的目标与需求，并进行全面的业务调研。您需要了解真实的业务需求，以及确定数据仓库要解决的问题。业务调研 充分的业务调研和需求分析是数据仓库建设的基石，直接决定数据仓库能否建设成功...
确定需求
您在构建数据仓库之前，首先需要确定构建数据仓库的目标与需求，并进行全面的业务调研。您需要了解真实的业务需求，以及确定数据仓库要解决的问题。业务调研 充分的业务调研和需求分析是数据仓库建设的基石，直接决定数据仓库能否建设成功...
产品概述
代理层不仅可以做安全认证、保护和会话保持，还可以解析SQL，把写操作发送到主节点，把读操作均衡地分发到多个只读节点，实现自动的读写分离。计算节点 一写多读集群内有一个读写节点以及多个只读节点，多主集群（仅MySQL版支持）内可支持...
常见问题
在mychain.conf文件中可以配置：max_filter_number 客户端A和B同时连链，A可以监听B的事件吗？问题背景 初始化得到一个SDK A，使用这个SDK A订阅一个合约事件。然后初始化得到了一个SDK B，使用SDK B发起合约交易。请问SDK A中能监听到触发...
资产安全概述
应用场景 基于Dataphin实现数据安全保护的一些典型的场景：场景1：业务数据中敏感数据保护 您可以使用资产安全的敏感数据识别和保护功能，脱敏明文敏感数据，保证业务数据安全。例如，姓名张三脱敏后*三。场景2：开发环境数仓建设 敏感数据...
资产安全概述
应用场景 基于Dataphin实现数据安全保护的一些典型的场景：场景1：业务数据中敏感数据保护 您可以使用资产安全的敏感数据识别和保护功能，脱敏明文敏感数据，保证业务数据安全。例如，姓名张三脱敏后*三。场景2：开发环境数仓建设 敏感数据...
确定需求
在真实业务场景下，可以根据业务需求、使用频度、复用性及汇总层数据计算存储进行考虑，拆解分析。例如，本例中还可以定义全表为粒度，只是该粒度中无需维度，然后定义业务限定是类目为厨具，其他保持不变，如无特殊数据情况，也可得到相同...
云服务集成
通过集成关系型数据库，云服务集成会根据配置，将链上数据可靠、自动地导出到目标数据库的特定表格里，其它应用可以通过SQL语句，分析工具做进一步的处理。操作步骤可以参考 集成数据库，使用示例可以参考 链上数据导出到数据库。对象存储...
概述
库仓一站式（Zero-ETL）传统数据仓库，会通过数据ETL方式同步数据，采用MPP/BSP等并行计算架构可以很好解决OLAP复杂查询，但面相高并发的数据在线查询（Serving场景）会有明显的资源并发瓶颈，会通过数据回流到OLTP数据库提供在线查询。...
单元测试报告
可累加值与不可累加值检查 检查可累加值和不可累加值的处理逻辑正确性，如：计算客户数总计时需要做去重处理，金额则可以累加。单元测试用例记录 序号 用例大类 测试要点 表 字段 自定义表达式 备注 1 规范性 命名规范检查（表、视图、工作...
常见问题
为什么数据写入后不可见？为什么optimize任务很慢？为什么optimize后数据仍未主键合并？为什么optimize后数据TTL仍未生效？为什么optimize后更新删除操作没有生效？如何进行DDL增加列、删除列、修改列操作？为什么DDL执行慢，经常卡住？...
常见问题
阿里云BaaS服务中，联盟包含了区块链运行所需要的Orderer节点等基础资源，但不包括存放区块链数据及对交易进行背书的Peer节点，Peer节点是归属到组织内的。如果区块链BaaS的所有节点都部署在阿里云上，如何保证数据的不可篡改？答：阿里云...
RDS术语
A AliPG 阿里云支持一系列兼容PostgreSQL的云数据库服务产品，这些云数据库服务采用统一的数据库内核（简称AliPG），AliPG兼容PostgreSQL开源数据库，于2015年正式商用，支持PostgreSQL主流大版本，已稳定运行多年，支撑了大量阿里巴巴集团...
X-Engine简介
因为目标是面向大规模的海量数据存储，提供高并发事务处理能力和降低存储成本，在大部分大数据量场景下，数据被访问的机会是不均等的，访问频繁的热数据实际上占比很少，X-Engine根据数据访问频度的不同将数据划分为多个层次，针对每个层次...
RDS术语
DMS Data Management，数据管理，是一种阿里云提供的图形化的数据管理工具，集数据管理、结构管理、访问安全、BI图表、数据趋势、数据轨迹、性能与优化和服务器管理于一体的数据管理服务。支持MySQL、SQL Server、PostgreSQL、MongoDB、...
RDS术语
DMS Data Management，数据管理，是一种阿里云提供的图形化的数据管理工具，集数据管理、结构管理、访问安全、BI图表、数据趋势、数据轨迹、性能与优化和服务器管理于一体的数据管理服务。支持MySQL、SQL Server、PostgreSQL、MongoDB、...
RDS术语
DMS Data Management，数据管理，是一种阿里云提供的图形化的数据管理工具，集数据管理、结构管理、访问安全、BI图表、数据趋势、数据轨迹、性能与优化和服务器管理于一体的数据管理服务。支持MySQL、SQL Server、PostgreSQL、MongoDB、...
RDS术语
DMS Data Management，数据管理，是一种阿里云提供的图形化的数据管理工具，集数据管理、结构管理、访问安全、BI图表、数据趋势、数据轨迹、性能与优化和服务器管理于一体的数据管理服务。支持MySQL、SQL Server、PostgreSQL、MongoDB、...
- 产品推荐
- 这些文档可能帮助您