数据引入层（ODS）
ODS（Operational Data Store）层存放您从业务系统获取的最原始的数据，是其他上层数据的源数据。业务数据系统中的数据通常为非常细节的数据，经过长时间累积，且访问频率很高，是面向应用的数据。说明 在构建MaxCompute数据仓库的表之前，...
阶段二：数据安全防护措施及策略增强建设
在该阶段，DataWorks为您提供了新人入职自动化授权、按需申请数据权限&多级审批、数据可用而不可见、数据完整性与可用性专项治理等多个场景的最佳实践，帮助企业做好数据安全防护措施并建设更加完善的安全治理策略。场景一：新人入职自动化...
将云消息队列 Kafka 版的数据迁移至MaxCompute
本文介绍如何使用DataWorks数据同步功能，将 云消息队列 Kafka 版 集群上的数据迁移至阿里云大数据计算服务MaxCompute，方便您对离线数据进行分析加工。前提条件 在开始本教程前，确保您在同一地域中已完成以下操作：云消息队列 Kafka 版 ...
结果验证
本教程中提供的测试数据也需要进行对应的结构调整，方便您完成数据的导入。在重新创建表并导入数据后，您需要重新测试数仓性能。您可以通过下列表格记录相关数据，并与性能基准进行比对，性能基准详情请参见 建立性能基准。测试项 测试值 ...
数据查询
前提条件 已根据快速入门教程完成加载样例数据操作，具体信息请参见 样例数据。操作步骤 登录企业数据智能平台。在页面左上角，选择>协同。在顶部菜单栏，单击 图标，选择 快速入门 工作组。在左侧导航栏，单击 图标。单击 物理表查询，...
数据资产管理
数据资产管理通过统一的数据资产目录，沉淀数据供给方生产的各类型数据，帮助数据使用者快速了解和获取业务需要的高质量数据资产，促进数据资产发挥更大的业务价值。同时，通过查看数据资产全局血缘，清晰的了解数据资产的上下游关联。前提...
数据同步
数据同步为用户提供批量、实时多源异构数据的便捷同步或接入能力，系统提供完善的数据接入配置、任务运行监控等功能，有效保障数据接入的稳定性和可控性，满足各类平台、数据源及应用系统间的数据汇聚需求。前提条件 已根据快速入门教程...
数据标准建模
将数据字典和质量校验函数以及逻辑表物理化到数据库，帮助您在数据标准的约束下构建数据模型，将数据标准贯彻到数据质量分析、保障及检查的全过程中，将散乱的多源异构数据加工成标准、干净的数据。前提条件 已根据快速入门教程完成加载样...
数仓分层
在阿里巴巴的数据体系中，我们建议将数据仓库分为三层，自下而上为：数据引入层（ODS，Operation Data Store）、数据公共层（CDM，Common Data Model）和数据应用层（ADS，Application Data Service）。数据仓库的分层和各层级用途如下图所...
数仓分层
在阿里巴巴的数据体系中，我们建议将数据仓库分为三层，自下而上为：数据引入层（ODS，Operation Data Store）、数据公共层（CDM，Common Data Model）和数据应用层（ADS，Application Data Service）。数据仓库的分层和各层级用途如下图所...
设置白名单
192.168.xx.xx 快速入门教程以通过DMS创建数据库和表并使用clickhouse-client导入数据为示例，所以本教程中，需将DMS和clickhouse-client所在服务器的IP地址添加到 云数据库ClickHouse 集群的白名单中。说明 新建 云数据库ClickHouse 集群...
需求分析
注意事项 本实验提供教程所需用户信息数据与网站访问测试数据，您可直接使用。本实验提供数据仅作为阿里云大数据开发治理平台DataWorks数据应用实操使用，所有数据均为人工Mock数据。业务背景 为了更好的制定企业经营策略，现需要从用户...
需求分析
注意事项 本实验提供教程所需用户信息数据与网站访问测试数据，您可直接使用。本实验提供数据仅作为阿里云大数据开发治理平台DataWorks数据应用实操使用，所有数据均为人工Mock数据。业务背景 为了更好的制定企业经营策略，现需要从用户...
登录数据库
您需要登录数据库后才能对数据库内的数据进行管理，本教程以DMS为例介绍如何登录数据库。前提条件 已根据快速入门，完成了 创建初始账号。操作步骤 登录 云原生数据仓库AnalyticDB PostgreSQL版控制台。在控制台左上角，选择实例所在地域。...
自定义RDBMS数据库及同步数据
为了满足不同业务场景数据集成的诉求，Dataphin支持用户自定义当前系统不支持的RDBMS数据库（关系型数据库）类型的组件，并进行数据同步。您只需要准备关系型数据库的驱动，即可自定义RDBMS数据库类型的组件。本教程以MySQL为例，为您介绍...
自定义RDBMS数据库及同步数据
为了满足不同业务场景数据集成的诉求，Dataphin支持用户自定义当前系统不支持的RDBMS数据库（关系型数据库）类型的组件，并进行数据同步。您只需要准备关系型数据库的驱动，即可自定义RDBMS数据库类型的组件。本教程以MySQL为例，为您介绍...
Github实时数据同步与分析
教程简介 本教程基于GitHub Archive公开数据集，通过DataWorks将GitHub中的项目、行为等20多种事件类型数据实时采集至Hologres进行分析，同时使用DataV内置模板，快速搭建实时可视化数据大屏，从开发者、项目、编程语言等多个维度了解...
使用Copilot+增强分析实现一站式智能数据查询与可视化
基于以上操作，本教程展示了如何将本地数据单次手动上传到MaxCompute中，如需将业务生产过程中产生的数据定时同步至MaxCompute等大数据计算引擎中，推荐使用DataWorks数据集成，详情请参见 数据集成概述。附录：报告中所有卡片用到的SQL...
概述
本教程将以集群实例为例，带您体验云数据库 OceanBase 的低存储成本和实时分析能力。更多特性，详情参见 OceanBase 数据库概述。特性介绍 低存储成本 数据压缩是降低海量数据存储空间的关键手段。OceanBase 通过 LSM-Tree 的存储架构和自...
技术架构选型
本教程中使用阿里云大数据产品MaxCompute配合DataWorks，完成整体的数据建模和研发流程。完整的技术架构图如下图所示。其中，DataWorks的数据集成负责完成数据的采集和基本的ETL。MaxCompute作为整个大数据开发过程中的离线计算引擎。...
创建实例
本教程将指导您快速创建一个图数据库GDB实例。前提条件 已注册阿里云账号。若尚未注册，请前往 阿里云官网 进行注册。RAM用户购买或管理图数据库GDB需要拥有 AliyunGDBFullAccess 与 AliyunVPCFullAccess 权限。如何授权，请参见 RAM用户...
技术架构选型
本教程中使用阿里云大数据产品MaxCompute配合DataWorks，完成整体的数据建模和研发流程。完整的技术架构图如下图所示。其中，DataWorks的数据集成负责完成数据的采集和基本的ETL。MaxCompute作为整个大数据开发过程中的离线计算引擎。...
验证数据压缩能力
说明 由于条件限制，本教程仅 20,000 行数据为例，如您时间充裕，可尝试插入 10,000,000 数据，数据量越大压缩效果越明显。概念介绍 存储过程是一条或多条语句的集合，对数据库进行一系列复杂操作时，存储过程可以在数据库内将这类复杂操作...
技术架构选型
本教程中使用阿里云大数据产品Dataphin配合MaxCompute，完成整体的数据建模和研发流程。完整的技术架构如下图所示。其中，Dataphin的数据集成及同步负责完成源业务系统数据引入。MaxCompute作为整个大数据开发过程中的离线计算引擎。...
离线数据加工卡点校验
本文为您介绍离线业务系统的数据在生成过程中进行的卡点校验。代码提交卡点校验 代码提交卡点校验主要包括您在提交代码时，手动或自动进行SQL扫描，检查您的SQL逻辑。校验规则分类如下：代码规范类规则。例如，表命名规范、生命周期设置及...
登录数据库
您需要登录图数据库GDB才能对数据库内的数据进行查询和分析，本教程以DMS为例介绍如何登录数据库。前提条件 已根据快速入门完成创建账号步骤，具体操作请参见 创建账号。操作步骤 登录 DMS数据管理服务控制台。单击页面左侧 数据库实例 旁...
建表并上传数据
本文以创建表bank_data和result_table为例，为您介绍如何通过DataWorks创建表并上传数据。前提条件 已在工作空间添加MaxCompute数据源，并在数据开发中绑定对应MaxCompute数据源后，当前页面才会显示 MaxCompute 目录。工作空间添加...
数据共享
AnalyticDB PostgreSQL版Serverless模式 提供了数据共享功能，可以实现跨实例查询共享数据。本文将指导您快速完成数据共享的创建和使用的全流程。教程说明 请准备两个Serverless版本实例：实例A和实例B。实例A和实例B属于同一个阿里云账号...
作业开发入门概述
为了确保新用户能够轻松完成入门教程，本教程中将向ODS层写入测试数据。DWD：数据明细层，对ODS层数据进行清洗、过滤等处理。本教程以过滤为例。ADS：数据应用层，面向业务进行数据分析、生产报表等使用的数据。您可以选择Spark SQL和XIHE ...
离线数据加工卡点
离线数据加工卡点，主要指在业务系统的数据生成过程中进行的卡点校验。代码提交的卡点校验 代码提交卡点主要包括您在提交代码时，手动或自动进行SQL扫描，检查您的SQL逻辑。校验规则分类如下：代码规范类规则。例如，表命名规范、生命周期...
实践教程
针对各种业务需求，云原生数据库PolarDB 提供相关的实践教程，您可以根据本文查看适合您业务的实践教程文档。PolarDB MySQL版 PolarDB MySQL版最佳实践 PolarDB PostgreSQL版 PolarDB PostgreSQL版最佳实践 PolarDB PostgreSQL版（兼容...
加工数据
本文为您介绍如何通过DataWorks加工采集至MaxCompute的数据，并获取清洗后的数据。前提条件 开始本文的操作前，请首先完成 准备数据 中的操作。新建表 进入 数据开发 页面。登录 DataWorks控制台，切换至目标地域后，单击左侧导航栏的 数据...
步骤二：实时项目规划
本文将指导您完成本教程的Ververica Flink计算源、数据源、实时项目的创建与绑定。步骤一：创建 Ververica Flink 计算源 在Dataphin首页，单击顶部菜单栏的 规划。按照下图操作指引，进入 Ververica Flink新建计算源 页面。在 新建计算源 ...
步骤二：实时项目规划
本文将指导您完成本教程的Ververica Flink计算源、数据源、实时项目的创建与绑定。步骤一：创建 Ververica Flink 计算源 在Dataphin首页，单击顶部菜单栏的 规划。按照下图操作指引，进入 Ververica Flink新建计算源 页面。在 新建计算源 ...
基本概念
ArcGIS栅格：ArcGIS栅格服务是Esri公司提供的一种地图服务，它允许用户通过ArcGIS Server发布、管理和分发栅格数据。栅格数据可以是卫星影像、航空照片、数字高程模型（DEM）、热图或其他类型的地理空间数据。三维瓦片 三维瓦片用于流式...
步骤六：可视化分析
本文将使用Quick BI指导您完成本教程的可视化分析步骤，包括数据源、数据集的创建和数据大屏图表的配置。步骤一：创建数据源 登录 Quick BI控制台。按照下图操作指引，进入 创建数据源 对话框。在 MySQL-阿里云 区域，配置连接参数。参数 ...
步骤六：可视化分析
本文将使用Quick BI指导您完成本教程的可视化分析步骤，包括数据源、数据集的创建和数据大屏图表的配置。步骤一：创建数据源 登录 Quick BI控制台。按照下图操作指引，进入 创建数据源 对话框。在 MySQL-阿里云 区域，配置连接参数。参数 ...
设置白名单
您需要设置白名单后才能获取图数据库GDB的连接地址。本教程将指导您如何设置白名单。前提条件 已根据快速入门完成创建实例步骤，具体操作，请参见 创建实例。操作步骤 登录 图数据库GDB控制台。在页面左上角，选择实例所在地域。单击目标...
视频专区
7.0 如何使用模板快速创建第一个大屏 如何配置可视化组件样式和数据 如何发布并分享数据大屏 如何创建演示预案进行投屏演示 DataV数据可视化 6.0 基本概念及应用场景说明 工作空间管理和用户中心说明 我的可视化界面说明 更多视频教程请...
创建同步任务
本文为您介绍如何通过创建同步任务，导出MaxCompute中的数据至MySQL数据源中。前提条件 已通过RDS创建MySQL实例，获取RDS实例ID，并在RDS控制台添加白名单。详情请参见 快速创建RDS MySQL实例 和 添加白名单。说明 如果是通过自定义资源组...
- 产品推荐
- 这些文档可能帮助您