MaxFrame概述
MaxFrame是由阿里云自研的分布式计算框架，支持Python...面向Data+AI开发，需要依赖第三方或自定义镜像完成数据开发、模型开发等整体流程。支持的工具 MaxFrame支持在本地环境、DataWorks、MaxCompute Notebooks中使用。详情请参见 准备工作。
客户案例
价值体现 基于飞天大数据平台产品，快狗打车不仅机器成本节约30%以上，数据开发效率提升100%。从Java Storm迁移到Flink SQL使实时计算开发周期大大减少，维护更加容易，数据一致性得到更好地保障，提升了业务监控大屏的准确性和实时性，...
离线数仓构建流程概述
本教程将 从前期的资源准备、数仓规划，到后期的运维补数据、查看运行结果，指导您如何使用Dataphin完成基本的离线数仓构建。以帮助您快速了解Dataphin离线数仓建设的基础流程。使用Dataphin进行离线数仓建设的基本流程如下：主流程 描述 ...
离线数仓构建流程概述
本教程将 从前期的资源准备、数仓规划，到后期的运维补数据、查看运行结果，指导您如何使用Dataphin完成基本的离线数仓构建。以帮助您快速了解Dataphin离线数仓建设的基础流程。使用Dataphin进行离线数仓建设的基本流程如下：主流程 描述 ...
为工作空间添加空间成员
创建简单的周期调度任务，请参见 数据开发：开发者。执行完整示例教程，请参见 实际开发场景示例。本文主要以使用正式开发环境为例，为您介绍开发前如何添加及管理DataWorks工作空间成员。操作步骤 进入 工作空间 管理页面。登录 DataWorks...
创建业务流程
完成创建后，您可以利用数据开发功能，对工作空间的数据进行深入分析和计算。前提条件 开始本操作前，请确保您已经在工作空间中准备好业务数据表 bank_data 和其中的数据，以及结果表 result_table。详情请参见 建表并上传数据。背景信息 ...
步骤五：开发指标
默认进入数据 开发 页面。按照下图操作指引，进入 新建派生指标 配置向导页面。在 新建派生指标 配置向导页面，完成以下操作。在 定义派生指标 页面，定义派生指标 参数。参数 描述 统计周期 选择 最近1天。原子指标 选择 total_order_...
步骤五：开发指标
默认进入数据 开发 页面。按照下图操作指引，进入 新建派生指标 配置向导页面。在 新建派生指标 配置向导页面，完成以下操作。在 定义派生指标 页面，定义派生指标 参数。参数 描述 统计周期 选择 最近1天。原子指标 选择 total_order_...
加工数据
登录 DataWorks控制台，单击左侧导航栏的 数据建模与开发>数据开发，在下拉框中选择对应工作空间后单击 进入数据开发。在 数据开发 页面，展开目标业务流程。右键单击 MaxCompute，选择 新建表。在 新建表 对话框中，输入表名称，单击 新建...
步骤四：开发业务限定
默认进入数据 开发 页面。按照下图操作指引，进入 新建业务限定 对话框。在 新建业务限定 对话框，配置参数。参数 描述 基本信息 业务实体 选择 购买下单（order_buy）业务实体。主题域 默认 交易域。英文名称 输入 longjing_tea。中文名称...
步骤四：开发业务限定
默认进入数据 开发 页面。按照下图操作指引，进入 新建业务限定 对话框。在 新建业务限定 对话框，配置参数。参数 描述 基本信息 业务实体 选择 购买下单（order_buy）业务实体。主题域 默认 交易域。英文名称 输入 longjing_tea。中文名称...
DataX同步数据
步骤六：运行生产环境中的DataX任务 请参见 步骤四：上传datax.json文件至Dataphin，进入数据 开发 页面。在数据 开发 页面，单击顶部菜单栏的 运维。在 运维 中心，单击项目名称后的 图标，切换至生产环境（）。在 运维 中心，运行DataX...
DataX同步数据
步骤六：运行生产环境中的DataX任务 请参见 步骤四：上传datax.json文件至Dataphin，进入数据 开发 页面。在数据 开发 页面，单击顶部菜单栏的 运维。在 运维 中心，单击项目名称后的 图标，切换至生产环境（）。在 运维 中心，运行DataX...
文档修订记录
DataWorks数据安全治理路线 2023年12月更新记录 时间 特性 类别 描述 产品文档 2023.12.29 新增功能 数据开发 若您要在DataWorks中进行数据建模、数据开发或使用运维中心周期性调度任务，需先将已创建的数据源或集群绑定至数据开发...
大数据安全治理的难点
流转 大数据系统通常是端到端的一整套数据开发和治理服务，不仅要采集数据、加工数据，更要将数据提供给业务方使用。因此，其存在错综复杂的数据流转链路，包括但不限于即席查询链路、离线传输链路、实时传输链路、数据服务API链路、其他...
构建数据仓库
DataWorks具有通过可视化方式实现数据开发、治理全流程相关的核心能力，本文将为您介绍DataWorks在构建云上大数据仓库和构建智能实时数据仓库两个典型应用场景下的应用示例。构建云上大数据仓库 本场景推荐的架构如下。适用行业：全行业...
数仓分层
经过数据开发形成事实宽表后，再以商品、地域等为维度进行公共汇总。整体的数据流向如下图所示。其中，ODS层到DIM层的ETL（萃取（Extract）、转置（Transform）及加载（Load））处理是在MaxCompute中进行的，处理完成后会同步到所有存储...
通过DataWorks实现MaxCompute跨项目迁移
本文为您介绍如何配置不同MaxCompute项目并实现数据迁移。...验证结果 您可以在 业务流程>数据开发 中新建 ODPS SQL 类型节点，执行如下语句查看数据是否完成同步。select*from ods_user_info_d where dt BETWEEN '20190611' and '20190617';
数仓分层
经过数据开发形成事实宽表后，再以商品、地域等为维度进行公共汇总。整体的数据流向如下图所示。其中，ODS层到DIM层的ETL（萃取（Extract）、转置（Transform）及加载（Load））处理是在MaxCompute中进行的，处理完成后会同步到所有存储...
开发者中心介绍
下载桌面版 ODC 连接云数据库 OceanBase 中的实例，以进行数据开发和管理操作。说明 本章节为阿里云配套部署的 Web 版 ODC 的使用文档。更多详情，请访问 ODC 官网文档 查看桌面版 ODC 等文档内容。用户界面 项目协同窗口 登录 Web 版的 ...
数据质量风险监控
在 数据开发 页面，单击左上角图标，选择 数据质量。进入ods_user_trace_log监控规则页面。单击左侧导航栏上的 监控规则，在 监控规则 页面找到代表外部数据源的ODS层表ods_user_trace_log，单击其后的 配置监控规则。添加分区。单击+，...
功能特性
逻辑库 逻辑表 数据开发与分析 功能集 功能 功能描述 参考文档 SQL窗口 SQL窗口 可以非常便捷地执行各类SQL语句，同时支持以可视化的方式对目标数据库进行增、删、改、查等操作，适用于数据查询、数据开发等场景。SQL窗口介绍 SQL Console...
OceanBase 数据库支持版本
OceanBase 数据库企业版 V4.2.1 OceanBase 数据库企业版 V3.2.4 OceanBase 数据库企业版 V3.2.3 V4.2.1 版本数据库参考文档 模式 文档 简介 通用 数据库设计规范和约束 本文档为您介绍 OceanBase 数据库的对象命名、对象结构设计、字符集、...
自定义RDBMS数据库及同步数据
为了满足不同业务场景数据集成的诉求，Dataphin支持用户自定义当前系统不支持的RDBMS数据库（关系型数据库）类型的组件，并进行数据同步。您只需要准备关系型数据库的驱动，即可自定义RDBMS数据库类型的组件。本教程以MySQL为例，为您介绍...
自定义RDBMS数据库及同步数据
为了满足不同业务场景数据集成的诉求，Dataphin支持用户自定义当前系统不支持的RDBMS数据库（关系型数据库）类型的组件，并进行数据同步。您只需要准备关系型数据库的驱动，即可自定义RDBMS数据库类型的组件。本教程以MySQL为例，为您介绍...
ClickHouse数据源
ClickHouse数据源为您提供读取和写入ClickHouse双向通道的功能，本文为您介绍DataWorks的ClickHouse数据同步的能力支持情况。支持的版本 支持阿里云ClickHouse的20.8、21.8内核版本。您需要确认驱动和您的ClickHouse服务之间的兼容能力，...
数据开发
大幅提升数据开发工作效率。运行开发环境场景并上线 在左侧导航栏，单击 图标，选择 场景模式。单击右侧的 图标。在 开发环境 页面，选择目标场景“信息中心”，单击 操作 列的 编辑。在画布中，单击 图标，进行离线节点运行。在 物理化预...
数据开发概述
进入数据开发 登录 DataWorks控制台，单击左侧导航栏的 数据建模与开发>数据开发，在下拉框中选择对应工作空间后单击 进入数据开发。数据开发主要功能 数据开发（DataStudio）的主要功能介绍如下。您可参考 数据开发相关概念 辅助理解。...
什么是EMR Notebook
产品优势 EMR Notebook可以为大数据用户带来全新的数据分析和数据开发体验。统一平台 EMR Notebook支持多种开发语言，包括SQL和Python等。不论是进行SQL交互式查询还是PySpark程序开发，都可以在同一个开发环境中完成，无需在多种工具中...
入门概览
快速入门教程为OSS导入数据到GDB的方式，您需要将数据上传到OSS中，再将数据从OSS导入到图数据库GDB中。上传数据到OSS的操作，请参见 上传数据至OSS。将数据从OSS导入到图数据库GDB的操作，请参见 OSS数据导入至GDB。登录数据库 您需要登录...
MaxCompute资源管理
您可以通过MaxCompute资源面板，查看在MaxCompute计算引擎中存在的资源、资源的变更历史，并可以一键添加资源文件至数据开发面板的业务流程中。使用限制 仅支持MaxCompute客户端（odpscmd）上传的不超过200M的资源通过MaxCompute资源功能...
数据资产管理
数据资产管理通过统一的数据资产目录，沉淀数据供给方生产的各类型数据，帮助数据使用者快速了解和获取业务需要的高质量数据资产，促进数据资产发挥更大的业务价值。同时，通过查看数据资产全局血缘，清晰的了解数据资产的上下游关联。前提...
阶段一：基础防护建设
在该阶段，DataWorks为您提供了数据分类分级、规范数据开发流程、企业级身份认证、开源身份隔离等多个场景的最佳实践，帮助企业做好数据安全治理的相关基础防护工作。场景一：数据分级分类 无论在任何行业，数据分级分类都是监管首要检查的...
搭建茶园监控应用概述
通过使用物联网应用开发（IoT Studio）平台的Web可视化开发和业务逻辑开发工具，开发一个茶园的环境监控大屏。应用用户可在监控大屏中，查看在指定时间内，设备上报的温度值折线图。设计思路 先在业务逻辑开发工作台，创建三个服务，分别是...
产品简介
服务内容 服务大类 服务类型 服务内容 大数据专家咨询服务 大数据技术架构方案咨询 为客户提供构建和优化大数据体系的技术架构方案咨询服务，覆盖离线/实时数仓体系建设管理、数仓建模管理，数据开发管理，数据安全管理、数据质量管理、...
入门概述
本模块将指引您快速完成一个完整的数据开发和运维操作。说明 如果您是第一次使用DataWorks，请确认已经根据 准备工作 模块的操作，准备好账号和工作空间角色等内容后，登录DataWorks控制台，单击相应工作空间后的 进入数据开发，即可进行...
新用户必读
完成入门操作后，您可以通过下列资源快速使用其他各项功能：连接数据库：介绍在应用开发中连接 AnalyticDB MySQL 的方法。数据导入：如果您需要将已有数据源中的数据迁移到 AnalyticDB MySQL，阿里云为此提供了完善的数据同步解决方案。...
数据开发：开发者
本文以使用MaxCompute数据源，在DataWorks上运行MaxCompute作业任务为例，为您介绍开发人员如何使用数据开发（DataStudio）创建一个周期调度任务，帮助您快速了解数据开发（DataStudio）模块的基本使用。前提条件 已完成开发前的环境准备，...
场景：工作空间模式升级（简单模式升级标准模式）
MaxCompute数据源：平台通过判断数据源是否被绑定至数据开发（DataStudio），提供相应升级策略。数据源未绑定至数据开发 复制一份生产环境的数据源至开发环境，并将开发环境数据源的 默认访问身份 配置为 执行者。若简单模式工作空间数据源...
开发前准备：绑定数据源或集群
若您要在DataWorks中进行数据建模、数据开发或使用运维中心周期性调度任务，需先将已创建的数据源或集群绑定至数据开发（DataStudio）模块。绑定后，才可读取数据源或集群中的数据，并进行相关开发操作。前提条件 您需根据后续要开发和调度...
- 产品推荐
- 这些文档可能帮助您