前言
既解决了传统数据库容量有限、扩缩容时间长等问题，又提供了分钟级扩容、弹性变配、超高并发等能力，同时提供企业级的高可用及安全特性，HA切换正常切换小于10S，提供数据存储和数据链路加密，满足企业客户的需求。2020年，PolarDB荣获国家...
通过数据同步功能同步SLS数据至数仓版
在 新建同步链路 页面，配置 数据源及目标端配置、目标库表配置 和 同步配置，参数说明如下表：数据源及目标端配置 的参数说明如下：参数名称 参数说明 数据链路名称 数据链路名称。系统默认按数据源类型与当前时间生成名称，可按需修改。...
通过数据同步功能同步SLS数据至湖仓版
在 新建同步链路 页面，配置 数据源及目标端配置、目标库表配置 和 同步配置，参数说明如下表：数据源及目标端配置 的参数说明如下：参数名称 参数说明 数据链路名称 数据链路名称。系统默认按数据源类型与当前时间生成名称，可按需修改。...
Hive数据导入
数据源及目标端配置参数说明 参数名称 参数说明 数据链路名称 数据链路名称。系统默认按数据源类型与当前时间生成名称，可按需修改。数据源 选择已有的Hive数据源，也可新建数据源。目标端类型 目前仅支持 数据湖-OSS存储。OSS路径 ...
通过数据同步功能同步SLS至湖仓版（推荐）
数据源及目标端配置 的参数说明如下：参数名称 参数说明 数据链路名称 数据链路名称。系统默认按数据源类型与当前时间生成名称，可按需修改。数据源 选择已有的SLS数据源，也可新建数据源。目标端类型 目前仅支持 数据湖-OSS存储。OSS路径 ...
查询结果不符合预期的常见原因
Lindorm宽表经常会被应用在大数据链路中，如果写入链路出现问题，则可能导致写入延迟或无法正常写入数据，此时进行数据查询，该行数据还未写入，因此会产生无法查询到数据的情况。如果您在使用中遇到数据写入一段时间后才能查到的情况，...
SSL连接RDS PostgreSQL数据库
Require、Verify-CA和Verify-Full含义如下：Require：只对数据链路加密，并不验证数据库的真实性。Verify-CA：加密数据链路，同时验证数据库的真实性。Verify-Full：加密数据链路，验证数据库的真实性，同时比对证书内的CN或DNS与连接时...
常见问题
支持的数据库部署位置（接入方式）阿里云实例 有公网IP的自建数据库 通过数据库网关DG接入的自建数据库 通过云企业网CEN接入的自建数据库 ECS上的自建数据库 通过专线/VPN网关/智能接入网关接入的自建数据库 阿里云实例 通过数据库网关DG接...
质量规则模板类型
本文为您介绍数据质量对象的...对于多链路之间的数据计算进度监控则可以发现一些数据滞留、统计偏差问题，提升实时数据质量。稳定性 实时统计值检测 实时数据为指标值或可统计数据时，用于判断数据是否正确 可选择和固定值或者历史进行对比。
质量规则模板类型
本文为您介绍数据质量对象的...对于多链路之间的数据计算进度监控则可以发现一些数据滞留、统计偏差问题，提升实时数据质量。稳定性 实时统计值检测 实时数据为指标值或可统计数据时，用于判断数据是否正确 可选择和固定值或者历史进行对比。
零售电商数据建模
层级 描述 数据引入层 ODS（Operational Data Store）ODS层用于存放 未经过处理的原始数据 至数据仓库系统，其数据表的结构与原始数据所在的数据系统中的表结构一致，是数据仓库的数据准备区。公共维度层 DIM（Dimension）DIM层使用维度...
文档更新动态（2022年之前）
新增实时元表的资产质量监控规则，包括统计趋势监测、实时多链路对比和实时离线数据核对。通用功能 新建数据源规则 新建实时元表规则 2020-11-17 数据安全 功能拓展 新增数据安全增值功能包。数据安全支持定义数据的业务分类和安全等级，并...
数仓分层
基于阿里巴巴OneData方法论最佳实践，在阿里巴巴的数据体系中，建议将数据仓库分为三层：数据引入层（ODS，Operational Data Store）、数据公共层（CDM，Common Dimensions Model）和数据应用层（ADS，Application Data Store）。数据仓库...
安全性
网络和数据链路 AnalyticDB PostgreSQL版 做为云原生分布式系统拥有非常高的安全性，首先每个新建实例使用专有网络，也称为VPC（Virtual Private Cloud），VPC是一种隔离的网络环境，安全性和性能均高于传统的经典网络。根据使用场景可选择...
数仓分层
在阿里巴巴的数据体系中，我们建议将数据仓库分为三层，自下而上为：数据引入层（ODS，Operation Data Store）、数据公共层（CDM，Common Data Model）和数据应用层（ADS，Application Data Service）。数据仓库的分层和各层级用途如下图所...
01新建模型目录
DWD：全称Data Warehouse Detail，明细数据层，该层数据和源数据基本保持一致，保存着最细粒度的数据，一般存放所有的明细数据，是所有后期分析的数据基础。具有数据量大，查询计算较慢的特点。DWS：全称Data Warehouse Summary，汇总数据...
层次调用规范
CDM中间层应该积极了解应用层数据的建设需求，将公用的数据沉淀到公共层，为其他数据层次提供数据服务。同时，ADS应用层也需积极配合CDM中间层进行持续的数据公共建设的改造。避免出现过度的ODS层引用、不合理的数据复制和子集合冗余。总体...
数仓分层
在阿里巴巴的数据体系中，我们建议将数据仓库分为三层，自下而上为：数据引入层（ODS，Operation Data Store）、数据公共层（CDM，Common Data Model）和数据应用层（ADS，Application Data Service）。数据仓库的分层和各层级用途如下图所...
层次调用规范
CDM中间层应该积极了解应用层数据的建设需求，将公用的数据沉淀到公共层，为其他数据层次提供数据服务。同时，ADS应用层也需积极配合CDM中间层进行持续的数据公共建设的改造。避免出现过度的ODS层引用、不合理的数据复制和子集合冗余。总体...
API概览
IoT设备端生成数据唯一标识，数据通过队列异步上链，后续可通过数据唯一标识进行查询确认。UploadDataToBlockchain 适用于业务系统（数据）上链。业务系统生成数据唯一标识，数据通过队列异步上链，后续可通过数据唯一标识进行查询确认。...
产品概述
ODATS是具有超过30个专利的自研跨链技术，利用蚂蚁区块链技术，ODATS制定了标准化的区块链UDAG全栈跨链协议，保证跨链交易的安全性、可扩展性及可靠性，打破区块链数据孤岛，实现同构及异构链之间的可信互通，助力企业之间可信协作，促进...
使用XIHE BSP SQL进行作业开发
本文介绍如何使用XIHE BSP SQL作业开发方式，将ODS层表数据通过DWD层过滤后，写入ADS层。前提条件 已创建 AnalyticDB MySQL 湖仓版（3.0）集群，且集群至少有16 ACU的计算预留资源和24 ACU的存储预留资源。详情请参见 创建湖仓版集群。已...
某历史养成类游戏开发公司实时计算和数据仓库方案
3）数据汇总层：数据明细层的数据可以定期（按天或者按小时）ETL（比如关联维表、过滤、聚合）后写入到数据汇总层。数据汇总层的数据供后续的复杂分析；4）应用数据层：直接对外提供数据查询服务（基于Lindorm SQL服务）支撑上层大数据风控...
作业开发入门概述
DWD：数据明细层，对ODS层数据进行清洗、过滤等处理。本教程以过滤为例。ADS：数据应用层，面向业务进行数据分析、生产报表等使用的数据。您可以选择Spark SQL和XIHE BSP SQL任意一种方式进行作业开发。选择不同方式进行作业开发时，需要...
公共规范
层次调用约定 应用层应优先调用公共层数据，必须存在中间层CDM数据，不允许应用层跨过中间层CDM从ODS层重复加工数据。中间层CDM需要积极了解应用层数据的建设需求，将公用的数据沉淀到公共层，为其他层提供数据服务。应用层需要积极配合...
数据资产定级
假设该应用会直接影响整个企业的重要业务决策，您可以定级应用为A2，从而整个数据链路上的表的数据等级，都可以标记为A2-PV_UV_Region。说明 当前MaxCompute暂无配套资产等级打标工具，您可以使用第三方工具完成打标。
数据资产定级
假设该应用会直接影响整个企业的重要业务决策，您可以定级应用为A2，从而整个数据链路上的表的数据等级，都可以标记为A2-PV_UV_Region。说明 当前MaxCompute暂无配套资产等级打标工具，您可以使用第三方工具完成打标。icmsDocProps={'...
使用Spark SQL进行作业开发
本文介绍如何使用Spark SQL作业开发，将ODS层表数据通过DWD层过滤后，写入ADS层。前提条件 已创建 AnalyticDB MySQL 湖仓版（3.0）集群，且集群至少有16 ACU的计算预留资源和24 ACU的存储预留资源。详情请参见 创建湖仓版集群。已创建Job型...
错误码
本文列举调用IoT区块链Hub API出错时，返回的错误信息。错误码 描述 故障排除指导 07001 认证类型参数错误 检查IotAuthType参数是否设置正确，现支持：ID2：阿里云Link ID² 07002 IoT设备服务提供方参数错误 检查IotIdSource参数是否设置...
数据治理
数据地图 为什么数据地图数据总览页存储量和存储趋势图相差较大？数据地图血缘展示延迟问题 数据地图新建表搜不到 当前表业务逻辑变更如何通知下游？哪些类型的Hive表支持在数据地图中预览？数据保护伞 数据保护伞为什么有时候查询脱敏有...
服务开通
本文将向您介绍如何开通跨链数据连接服务ODATS。操作步骤：前往 跨链数据连接服务，单击 立即购买 进入ODATS的购买页面。在购买页面，选择跨链通道数量及购买时长，单击 立即购买。请仔细阅读并同意跨链数据连接服务的《产品服务协议》和...
配置数据分类
数据分类配置是所有联盟参与方访问区块链网络的格式约定，上链数据必须满足规范要求，否则无法被正常解析。数据分类 展示了当前联盟链包含的数据格式配置。只有区块链的管理员可以配置数据分类格式。创建数据格式 管理员登录BaaS平台，并 ...
跨链服务
跨链数据连接服务 跨链数据连接服务 是由蚂蚁区块链自主研发的一款面向企业级应用的支持同构/异构区块链之间数据可信交互的服务。通过跨链服务在底层区块链中的协议栈和跨链合约，实现同构或异构区块链之间可信交互，从而构成区块链价值...
数字农业可信上链最佳实践
本文档以数字农业场景，通过IoT区块链Hub把IoT设备数据中转到阿里云BaaS-Fabric区块链为示例，介绍完成的IoT设备上链流程。场景描述 在该场景中会涉及两类角色：数字农业-管理方。自身拥有区块链物理资源，需要接入其他参与方到IoT区块链...
引擎简介
同时，在元数据、SQL语法、数据链路上与宽表引擎、时序引擎的多模引擎无缝融合，共享存储，提供完整统一的数据库体验。此外，流引擎与 时空引擎、AI引擎 进行有机融合，提供相应的企业级功能。产品优势 流引擎专注产品的云原生、高性能和...
概述
库仓一站式（Zero-ETL）传统数据仓库，会通过数据ETL方式同步数据，采用MPP/BSP等并行计算架构可以很好解决OLAP复杂查询，但面相高并发的数据在线查询（Serving场景）会有明显的资源并发瓶颈，会通过数据回流到OLTP数据库提供在线查询。...
功能特性
账本数据访问 经过数据授权，业务合约发出跨链数据访问请求，通过跨链寻址的方式，将跨链网络上对应的区块链上的数据安全可靠、不可篡改地返回给请求者。合约消息推送 用户可以授权其他区块链的指定合约，推送跨链合约消息，经过跨链寻址，...
规划工作空间
数据清洗层（ODS）：按部门划分，不同部门内数据统一口径，清洗掉不宜公开的数据，例如“ods_人力资源部”、“ods_生产部”等。任务节点：只有单一输入、单一产出的SQL任务。数据表：ODS层表。空间成员：各部门委派的数据清洗人员。资源...
表设计规范
表数据存储规范 按数据层规划数据的生命周期：源表ODS层：每天从业务系统同步过来的数据，全部保留，生命周期定义永久保存。当下游数据受损时，可以从ODS恢复数据。若ODS每天同步过来的是全量表，则可以通过全表拉链的方式来压缩存储。数据...
添加区块链服务数据源
本文档为您介绍在DataV中添加区块链服务数据源的方法，以及相关参数配置说明。使用阿里云区块链服务（Blockchain as a Service，简称BaaS），您可以通过REST API调用智能合约，查询链上信息，也可以查询区块及交易信息。前提条件 已准备好...
- 产品推荐
- 这些文档可能帮助您