Hive数据导入
数据源及目标端配置参数说明 参数名称 参数说明 数据链路名称 数据链路名称。系统默认按数据源类型与当前时间生成名称，可按需修改。数据源 选择已有的Hive数据源，也可新建数据源。目标端类型 目前仅支持 数据湖-OSS存储。OSS路径 ...
通过数据同步功能同步SLS至湖仓版（推荐）
数据源及目标端配置 的参数说明如下：参数名称 参数说明 数据链路名称 数据链路名称。系统默认按数据源类型与当前时间生成名称，可按需修改。数据源 选择已有的SLS数据源，也可新建数据源。目标端类型 目前仅支持 数据湖-OSS存储。OSS路径 ...
设置SSL加密
选择 数据安全 页签，单击 数据链路SSL。开启SSL加密。打开 当前状态 开关。在弹出的 开启SSL加密 对话框中，单击 确定。单击页面左下角 下载CA证书。可选：关闭SSL加密。关闭 当前状态 开关。在弹出的 关闭SSL加密 对话框中，单击 确定。...
质量规则模板类型
实时多链路对比 高可用场景下，需要构建多条链路，以便数据出现异常时，能够及时切换。对于多链路之间的数据计算进度监控则可以发现一些数据滞留、统计偏差问题，提升实时数据质量。稳定性 实时统计值检测 实时数据为指标值或可统计数据时...
质量规则模板类型
实时多链路对比 高可用场景下，需要构建多条链路，以便数据出现异常时，能够及时切换。对于多链路之间的数据计算进度监控则可以发现一些数据滞留、统计偏差问题，提升实时数据质量。稳定性 实时统计值检测 实时数据为指标值或可统计数据时...
数仓分层
基于阿里巴巴OneData方法论最佳实践，在阿里巴巴的数据体系中，建议将数据仓库分为三层：数据引入层（ODS，Operational Data Store）、数据公共层（CDM，Common Dimensions Model）和数据应用层（ADS，Application Data Store）。数据仓库...
数仓分层
在阿里巴巴的数据体系中，我们建议将数据仓库分为三层，自下而上为：数据引入层（ODS，Operation Data Store）、数据公共层（CDM，Common Data Model）和数据应用层（ADS，Application Data Service）。数据仓库的分层和各层级用途如下图所...
01新建模型目录
DWD：全称Data Warehouse Detail，明细数据层，该层数据和源数据基本保持一致，保存着最细粒度的数据，一般存放所有的明细数据，是所有后期分析的数据基础。具有数据量大，查询计算较慢的特点。DWS：全称Data Warehouse Summary，汇总数据...
层次调用规范
CDM中间层应该积极了解应用层数据的建设需求，将公用的数据沉淀到公共层，为其他数据层次提供数据服务。同时，ADS应用层也需积极配合CDM中间层进行持续的数据公共建设的改造。避免出现过度的ODS层引用、不合理的数据复制和子集合冗余。总体...
数仓分层
在阿里巴巴的数据体系中，我们建议将数据仓库分为三层，自下而上为：数据引入层（ODS，Operation Data Store）、数据公共层（CDM，Common Data Model）和数据应用层（ADS，Application Data Service）。数据仓库的分层和各层级用途如下图所...
层次调用规范
CDM中间层应该积极了解应用层数据的建设需求，将公用的数据沉淀到公共层，为其他数据层次提供数据服务。同时，ADS应用层也需积极配合CDM中间层进行持续的数据公共建设的改造。避免出现过度的ODS层引用、不合理的数据复制和子集合冗余。总体...
安全性
网络和数据链路 AnalyticDB PostgreSQL版 做为云原生分布式系统拥有非常高的安全性，首先每个新建实例使用专有网络，也称为VPC（Virtual Private Cloud），VPC是一种隔离的网络环境，安全性和性能均高于传统的经典网络。根据使用场景可选择...
API概览
IoT设备端生成数据唯一标识，数据通过队列异步上链，后续可通过数据唯一标识进行查询确认。UploadDataToBlockchain 适用于业务系统（数据）上链。业务系统生成数据唯一标识，数据通过队列异步上链，后续可通过数据唯一标识进行查询确认。...
产品概述
跨链服务调用链路 使用跨链数据连接服务，需要将区块链在跨链数据连接服务上进行注册，并安装跨链合约，用户的业务合约通过与跨链合约交互来完成不同链之间的信息交互。数据交互方式 目前跨链数据连接服务支持两种数据交互方式：账本数据...
使用XIHE BSP SQL进行作业开发
本文介绍如何使用XIHE BSP SQL作业开发方式，将ODS层表数据通过DWD层过滤后，写入ADS层。前提条件 已创建 AnalyticDB MySQL 湖仓版（3.0）集群，且集群至少有16 ACU的计算预留资源和24 ACU的存储预留资源。详情请参见 创建湖仓版集群。已...
某历史养成类游戏开发公司实时计算和数据仓库方案
3）数据汇总层：数据明细层的数据可以定期（按天或者按小时）ETL（比如关联维表、过滤、聚合）后写入到数据汇总层。数据汇总层的数据供后续的复杂分析；4）应用数据层：直接对外提供数据查询服务（基于Lindorm SQL服务）支撑上层大数据风控...
公共规范
层次调用约定 应用层应优先调用公共层数据，必须存在中间层CDM数据，不允许应用层跨过中间层CDM从ODS层重复加工数据。中间层CDM需要积极了解应用层数据的建设需求，将公用的数据沉淀到公共层，为其他层提供数据服务。应用层需要积极配合...
数据资产定级
假设该应用会直接影响整个企业的重要业务决策，您可以定级应用为A2，从而整个数据链路上的表的数据等级，都可以标记为A2-PV_UV_Region。说明 当前MaxCompute暂无配套资产等级打标工具，您可以使用第三方工具完成打标。
数据资产定级
假设该应用会直接影响整个企业的重要业务决策，您可以定级应用为A2，从而整个数据链路上的表的数据等级，都可以标记为A2-PV_UV_Region。说明 当前MaxCompute暂无配套资产等级打标工具，您可以使用第三方工具完成打标。icmsDocProps={'...
使用Spark SQL进行作业开发
本文介绍如何使用Spark SQL作业开发，将ODS层表数据通过DWD层过滤后，写入ADS层。前提条件 已创建 AnalyticDB MySQL 湖仓版（3.0）集群，且集群至少有16 ACU的计算预留资源和24 ACU的存储预留资源。详情请参见 创建湖仓版集群。已创建Job型...
错误码
本文列举调用IoT区块链Hub API出错时，返回的错误信息。错误码 描述 故障排除指导 07001 认证类型参数错误 检查IotAuthType参数是否设置正确，现支持：ID2：阿里云Link ID² 07002 IoT设备服务提供方参数错误 检查IotIdSource参数是否设置...
服务开通
本文将向您介绍如何开通跨链数据连接服务ODATS。操作步骤：前往 跨链数据连接服务，单击 立即购买 进入ODATS的购买页面。在购买页面，选择跨链通道数量及购买时长，单击 立即购买。请仔细阅读并同意跨链数据连接服务的《产品服务协议》和...
配置数据分类
数据分类配置是所有联盟参与方访问区块链网络的格式约定，上链数据必须满足规范要求，否则无法被正常解析。数据分类 展示了当前联盟链包含的数据格式配置。只有区块链的管理员可以配置数据分类格式。创建数据格式 管理员登录BaaS平台，并 ...
引擎简介
同时，在元数据、SQL语法、数据链路上与宽表引擎、时序引擎的多模引擎无缝融合，共享存储，提供完整统一的数据库体验。此外，流引擎与 时空引擎、AI引擎 进行有机融合，提供相应的企业级功能。产品优势 流引擎专注产品的云原生、高性能和...
数字农业可信上链最佳实践
本文档以数字农业场景，通过IoT区块链Hub把IoT设备数据中转到阿里云BaaS-Fabric区块链为示例，介绍完成的IoT设备上链流程。场景描述 在该场景中会涉及两类角色：数字农业-管理方。自身拥有区块链物理资源，需要接入其他参与方到IoT区块链...
跨链服务
跨链数据连接服务目前正在公测中，试用申请 跨链服务调用链路 使用跨链数据连接服务，需要将区块链在跨链数据连接服务上进行注册，并安装跨链合约，用户的业务合约通过与跨链合约交互来完成不同链之间的信息交互。数据交互方式 目前跨链...
概述
简介 传统的OLTP和OLAP解决方案基于简单的读写分离或ETL模型，将在线库的数据以T+1的方式抽取到数据仓库中进行计算，这种方案存在存储成本高、实时性差、链路和维护成本高等缺陷。为应对数据爆炸式增长的挑战，PolarDB分布式版本基于对象...
规划工作空间
工作空间内业务专一，人员可根据业务动态调整，数据链路清晰，易运维。数据架构清晰，共享便利，人员开发技能要求单一，可根据各层特性分配不同资源。缺点 容易形成数据烟囱，数据重复计算、重复存储，跨空间依赖复杂，资源易争抢。数据...
添加区块链服务数据源
本文档为您介绍在DataV中添加区块链服务数据源的方法，以及相关参数配置说明。使用阿里云区块链服务（Blockchain as a Service，简称BaaS），您可以通过REST API调用智能合约，查询链上信息，也可以查询区块及交易信息。前提条件 已准备好...
添加区块链服务数据源
本文档为您介绍在DataV中添加区块链服务数据源的方法，以及相关参数配置说明。使用阿里云区块链服务（Blockchain as a Service，简称BaaS），您可以通过REST API调用智能合约，查询链上信息，也可以查询区块及交易信息。前提条件 已准备好...
存证数据写入
业务系统根据具体场景使用不同的交易类型写数据上链，具体参考 存证交易模型。数据格式规范 为维护数据的可读性，区块链预先配置了不同业务场景下对应的数据格式规范，以约定统一的存证数据格式。上链数据必须满足规范要求，您可以在 ...
进入管理页面
区块链管理主要有以下部分：数据分类，在访问区块链网络前，管理员需要先与联盟方约定数据格式，在BaaS平台完成数据分类配置，多方上链数据均遵守数据分类的约束。邀请用户，您作为联盟 联盟管理员，邀请更多 联盟成员 加入您的联盟链。...
产品优势
蚂蚁区块链 蚂蚁区块链 BaaS 平台具备以下优势：高性能 金融科技区块链基于它并行共识的技术，轻松满足金融领域的高频场景应用。高可靠性 业务可靠受理，峰值业务缓冲，基于 PBFT 的共识技术提供高可用的拜占庭容错能力，支持共识状态自动...
使用指南
本文将为您介绍如何使用跨链服务控制台，包括注册区块链、跨链授权（包括账本数据访问、合约消息推送）的相关操作流程，以及如何进行权限查看、合约消息查看等。注册区块链 注册您的区块链是开始跨链连接的第一步。注册区块链后，跨链数据...
CDM接口数据层设计规范
接口数据层将不同数据域的汇总数据预关联在一个物理表，开放给应用使用，以减少应用层多次重复JOIN的成本开销，CDM接口数据层更适用于实时计算。命名规则：{project_name}.dwi{业务 BU 缩写/pub}{数据域/hbd}{数据粒度缩写}[{自定义表命名...
表设计规范
表数据存储规范 按数据层规划数据的生命周期：源表ODS层：每天从业务系统同步过来的数据，全部保留，生命周期定义永久保存。当下游数据受损时，可以从ODS恢复数据。若ODS每天同步过来的是全量表，则可以通过全表拉链的方式来压缩存储。数据...
创建标签项目
说明 若数据板块为Dev-Prod模式，归属Prod业务板块的Basic项目中不可以构建规范建模对象，仅可以构建基础层、应用层数据，以免公共层数据标准规范性受影响、数据生产异常。基本信息 项目英文名 填写项目的英文名。命名规则如下：包含字母、...
解决方案与客户案例
每个单元内的业务架构分为接入层、服务层、数据层：接入层 业务流量通过租户侧DNS解析后按照权重分配到不同单元的接入层，进入接入层后，通过解析请求header/cookie中的分流标，对比自定义的分流规则，判断请求是否归属本单元，若归属本...
通过数据同步功能同步SLS数据至数仓版
在 新建同步链路 页面，配置 数据源及目标端配置、目标库表配置 和 同步配置，参数说明如下表：数据源及目标端配置 的参数说明如下：参数名称 参数说明 数据链路名称 数据链路名称。系统默认按数据源类型与当前时间生成名称，可按需修改。...
数仓规划概述
数仓分层 您可以结合业务场景、数据场景综合考虑设计数仓的数据分层，DataWorks为您默认创建业界通用的五层数仓分层：数据引入层 ODS（Operational Data Store）明细数据层 DWD（Data Warehouse Detail）汇总数据层 DWS（Data Warehouse ...
- 产品推荐
- 这些文档可能帮助您