数据质量教程概述
数据质量是数据分析结论有效性和准确性的基础。本文为您介绍数据质量保障教程的业务场景以及如何衡量数据质量的高低。前提条件 在开始本教程前，请您首先完成 搭建互联网在线运行分析平台 教程，详情请参见 业务场景与开发流程。业务场景 ...
数据质量教程概述
数据质量是数据分析结论有效性和准确性的基础。本文为您介绍数据质量保障教程的业务场景以及如何衡量数据质量的高低。前提条件 在开始本教程前，请您首先完成 搭建互联网在线运行分析平台 教程，详情请参见 业务场景与开发流程。业务场景 ...
X-Engine简介
因为目标是面向大规模的海量数据存储，提供高并发事务处理能力和降低存储成本，在大部分大数据量场景下，数据被访问的机会是不均等的，访问频繁的热数据实际上占比很少，X-Engine根据数据访问频度的不同将数据划分为多个层次，针对每个层次...
API概览
本产品（数据库文件存储/2020-04-18）的OpenAPI采用 RPC 签名风格，签名细节参见 签名机制说明。我们已经为开发者封装了常见编程语言的SDK，开发者可通过 下载SDK 直接调用本产品OpenAPI而无需关心技术细节。如果现有SDK不能满足使用需求，...
使用指南
本文将为您介绍如何使用跨链服务控制台，包括注册区块链、跨链授权（包括账本数据访问、合约消息推送）的相关操作流程，以及如何进行权限查看、合约消息查看等。注册区块链 注册您的区块链是开始跨链连接的第一步。注册区块链后，跨链数据...
创建逻辑模型：维度表
应用层基于实际应用需求，获取公共层加工整合后的数据，面向具体业务建立业务层面的维度表，进行持续的个性化数据建设及改造。您可根据需求选择创建公共层或应用层维度表，不同数仓分层创建维度表的准备工作如下表。数仓分层 准备事项 参考...
案例介绍
数据域 维度 消费者域 消费者、性别、年龄层、职业等 商品域 商品、类目 门店域 门店 供应链域 供应商、仓库、承运商 确定业务过程 通常，业务分析只需要关注业务活动的关键节点，这些关键节点可以设置为业务过程（如果后面业务需要，可以...
存证数据写入
业务系统根据具体场景使用不同的交易类型写数据上链，具体参考 存证交易模型。数据格式规范 为维护数据的可读性，区块链预先配置了不同业务场景下对应的数据格式规范，以约定统一的存证数据格式。上链数据必须满足规范要求，您可以在 ...
通过数据同步功能同步Kafka至湖仓版（推荐）
数据源及目标端配置 的参数说明如下：参数名称 参数说明 数据链路名称 数据链路名称。系统默认按数据源类型与当前时间生成名称，可按需修改。数据源 选择已有的Kafka数据源，也可新建数据源。目标端类型 目前仅支持 数据湖-OSS存储。OSS...
散点层（线性渐变）
数据源 单击 配置数据源，可在 设置数据源 面板中修改数据源类型和数据查询代码、预览数据源返回结果以及查看数据响应结果，详情请参见 配置资产数据。数据过滤器 数据过滤器提供数据结构转换、筛选和一些简单的计算功能。单击 添加过滤器...
公共维度汇总层（DIM）
公共维度汇总层DIM（Dimension）基于维度建模理念，建立整个企业的一致性维度。公共维度汇总层（DIM）主要由维度表（维表）构成。维度是逻辑概念，是衡量和观察业务的角度。维表是根据维度及其属性将数据平台上构建的物理化的表，采用宽表...
公共维度汇总层（DIM）
公共维度汇总层DIM（Dimension）基于维度建模理念，建立整个企业的一致性维度。公共维度汇总层（DIM）主要由维度表（维表）构成。维度是逻辑概念，是衡量和观察业务的角度。维表是根据维度及其属性将数据平台上构建的物理化的表，采用宽表...
添加区块链服务数据源
refreshToken 访问当前区块链服务数据源的Access Token信息，用来做请求发起者的身份认证。进入 区块链服务控制台，单击您的 组织REST-API，单击侧边栏的 生成Token，在下方展示生成的Token信息中获取。network 区块链服务数据源的通道名称...
添加区块链服务数据源
refreshToken 访问当前区块链服务数据源的Access Token信息，用来做请求发起者的身份认证。进入 区块链服务控制台，单击您的 组织>REST-API，单击侧边栏的 生成Token，在下方展示生成的Token信息中获取。network 区块链服务数据源的通道...
数字农业可信上链最佳实践
本文档以数字农业场景，通过IoT区块链Hub把IoT设备数据中转到阿里云BaaS-Fabric区块链为示例，介绍完成的IoT设备上链流程。场景描述 在该场景中会涉及两类角色：数字农业-管理方。自身拥有区块链物理资源，需要接入其他参与方到IoT区块链...
UploadDataToBlockchain
业务系统数据上链，业务系统生成数据唯一标识，数据通过队列异步上链，后续可通过数据唯一标识进行查询确认。请求参数 名称 类型 是否必选 示例值 描述 Action String 是 UploadDataToBlockchain 系统规定参数。取值：...
散点层（线性渐变）
图表样式 散点层（线性渐变）是3D地球的子组件，支持独立的样式和数据配置，包括散点的大小、颜色、类型以及经纬度等，能够以散点的形式表现地理位置上的点数据信息。样式面板 搜索配置：单击 样式 面板右上角的搜索配置项图标，可在搜索...
规划工作空间
数据清洗层（ODS）：按部门划分，不同部门内数据统一口径，清洗掉不宜公开的数据，例如“ods_人力资源部”、“ods_生产部”等。任务节点：只有单一输入、单一产出的SQL任务。数据表：ODS层表。空间成员：各部门委派的数据清洗人员。资源...
数仓规划概述
数仓分层 您可以结合业务场景、数据场景综合考虑设计数仓的数据分层，DataWorks为您默认创建业界通用的五层数仓分层：数据引入层 ODS（Operational Data Store）明细数据层 DWD（Data Warehouse Detail）汇总数据层 DWS（Data Warehouse ...
UploadIoTDataToBlockchain
IoT设备数据上链，IoT设备端生成数据唯一标识，数据通过队列异步上链，后续可通过数据唯一标识进行查询确认。请求参数 名称 类型 是否必选 示例值 描述 Action String 是 UploadIoTDataToBlockchain 系统规定参数。取值：...
步骤二：规划数仓
数仓规划是基于Dataphin建设数据中台的第一步，同时也是数据体系的顶层设计中至关重要的一步。在开始数据开发前，需要完成数据仓库的规划，包括定义数据板块、项目、数据源、计算源和统计周期。本文将指导您完成本教程的规划数仓。背景信息...
步骤二：规划数仓
数仓规划是基于Dataphin建设数据中台的第一步，同时也是数据体系的顶层设计中至关重要的一步。在开始数据开发前，需要完成数据仓库的规划，包括定义数据板块、项目、数据源、计算源和统计周期。本文将指导您完成本教程的规划数仓。背景信息...
概述
数据分层 您可以结合业务场景、数据场景综合考虑设计数仓的数据分层，DataWorks为您默认创建业界通用的五层数仓分层：数据引入层 ODS（Operational Data Store）明细数据层 DWD（Data Warehouse Detail）汇总数据层 DWS（Data Warehouse ...
核心概念
另外，根据数据板块内数据的加工的程度，会将数据划分为三层，每一层一般对应独立的项目：ODM（Operational Data Model）操作数据模型层，也叫贴源层。用于存储从业务应用系统镜像复制（即不做任何过滤或者加工）的数据。CDM（Common Data ...
基本概念
区块链本身具有不可篡改的特性，写入区块链的数据都是可信任、不可篡改的，为了让数据具备公正力，写入区块链的数据可称为存证数据，存证数据可以为一个字符串、一个文件的hash等，以表示文本、文件等存证数据。根哈希 英文名称Root hash。...
使用限制
本文总结了区块链服务在功能方面的使用限制。通用限制 限制项 说明 访问底层云资源 为保证区块链服务的安全和稳定性，不支持用户直接访问底层云资源，如ECS、Kubernetes集群、Docker容器、NAS文件系统、云盘等等。如有相关问题或需求，可...
散点层
数据源 单击 配置数据源，可在 设置数据源 面板中修改数据源类型和数据查询代码、预览数据源返回结果以及查看数据响应结果，详情请参见 配置资产数据。数据过滤器 数据过滤器提供数据结构转换、筛选和一些简单的计算功能。单击 添加过滤器...
数据模型架构规范
数据层次的划分 ODS：Operational Data Store，操作数据层，在结构上其与源系统的增量或者全量数据基本保持一致。它相当于一个数据准备区，同时又承担着基础数据的记录以及历史变化。其主要作用是把基础数据引入到MaxCompute。CDM：Common ...
创建数据库
说明 创建实例时所选择的存储类型将决定您在创建数据库时所使用的存储类型，例如您在创建实例时选择的是 RDS MySQL，则您在创建数据库时存储类型即固定为 RDS for MySQL 不可变更。PolarDB-X 1.0 存储层 私有定制RDS 与计算层 PolarDB-X 1....
创建数仓分层
DataWorks的数仓分层功能，默认为您创建了 数据引入层ODS（Operational Data Store）、公共维度层DIM（Dimension）、明细数据层DWD（Data Warehouse Detail）、汇总数据层DWS（Data Warehouse Summary）及 应用数据层ADS（Application Data...
上传数据
添加完成数据文件后，在跳转后的添加数据对话框，选择数据的分组、输入数据集的名称、选择数据的类型和数据的服务地址，单击对话框右下角的 创建数据集 即可完成三维瓦片数据的添加。说明 当数据量较大时解析时间会比较长，您可以先关闭弹...
创建标签项目
说明 若数据板块为Dev-Prod模式，归属Prod业务板块的Basic项目中不可以构建规范建模对象，仅可以构建基础层、应用层数据，以免公共层数据标准规范性受影响、数据生产异常。基本信息 项目英文名 填写项目的英文名。命名规则如下：包含字母、...
应用场景
3.实时数据仓库 3.1 数据总线替换传统数据库，构建实时数仓 从Lambda架构到Kappa架构，通过数据总线搭建原始数据层，实时明细层和实时汇总层，打造实时数据仓库。3.2 收益 统一的Kappa架构 传统Lambda架构的两条链路缩减为一条，大大降低...
数据安全治理的必要性
其中，第4条“维护数据安全，应当坚持总体国家安全观，建立健全数据安全治理体系，提高数据安全保障能力”和第7条“国家保护个人、组织与数据有关的权益，鼓励数据依法合理有效利用，保障数据依法有序自由流动，促进以数据为关键要素的数字...
散点层
重要 该配置项为一个数组，配合数据分级使用，从类型1到类型n为递增的设置，例：类型1设置为10，则表示value值为0~10的数据将展示为10的大小，类型2设置为20，则表示value值为11~20的数据将展示为20的大小，如果数据分级配置项设置为3级，...
热力层
热力层是三维城市构建器的数据映射图层，能够使用热力网格点的形式表现地理位置上的点数据信息。热力层图层支持独立的样式和数据配置，包括热力层网格数、透明度、热力半径和色带等参数。本文介绍热力层配置项的含义。在场景编辑器左侧图层...
热力层
热力层是三维城市构建器的数据映射图层，能够使用热力网格点的形式表现地理位置上的点数据信息。热力层图层支持独立的样式和数据配置，包括热力层网格数、透明度、热力半径和色带等参数。本文介绍热力层配置项的含义。在场景编辑器左侧图层...
热力层
热力层是三维城市构建器的数据映射图层，能够使用热力网格点的形式表现地理位置上的点数据信息。热力层图层支持独立的样式和数据配置，包括热力层网格数、透明度、热力半径和色带等参数。本文介绍热力层配置项的含义。在场景编辑器左侧图层...
公共规范
层次调用约定 应用层应优先调用公共层数据，必须存在中间层CDM数据，不允许应用层跨过中间层CDM从ODS层重复加工数据。中间层CDM需要积极了解应用层数据的建设需求，将公用的数据沉淀到公共层，为其他层提供数据服务。应用层需要积极配合...
数据引入层（ODS）
ODS（Operational Data Store）层存放您从业务系统获取的最原始的数据，是其他上层数据的源数据。业务数据系统中的数据通常为非常细节的数据，经过长时间累积，且访问频率很高，是面向应用的数据。说明 在构建MaxCompute数据仓库的表之前，...
- 产品推荐
- 这些文档可能帮助您