技术架构选型
在数据模型设计之前，您需要首先完成技术架构的选型。本教程中使用阿里云大数据产品MaxCompute配合...MaxCompute作为整个大数据开发过程中的离线计算引擎。DataWorks则包括数据开发、数据质量、数据安全、数据管理等在内的一系列功能。
快速体验
DataWorks为您提供智能建模、数据清洗、周期调度运维、数据治理等一站式大数据开发管理能力，本文以一个零售电商行业的数仓搭建实验为例，为您介绍DataWorks在数仓搭建过程中的技术选型、技术流程以及流程实现，帮助您深入了解阿里云...
开发流程
详细操作请参见 开发前端逻辑流操作代码 和 开发后端逻辑流操作代码。步骤三、上传构建产物 返回魔笔IDE的逻辑流编辑界面，在逻辑流物料面板中单击上传构建产物，选择构建产物并上传。详细操作请参见 上传构建产物。开发完成自定义逻辑流...
DataWorks快速入门指引
DataWorks基于MaxCompute、Hologres、EMR、AnalyticDB、CDP等大数据引擎，为数据仓库、数据湖、湖仓一体等解决方案提供统一的全链路大数据开发治理平台，为了便于新用户快速了解DataWorks的数据开发治理操作全流程，DataWorks为您提供了...
通用开发流程
进入数据开发 登录 DataWorks控制台，切换至目标地域后，单击左侧导航栏的 数据建模与开发>数据开发，在下拉框中选择对应工作空间后单击 进入数据开发。进入数据开发后，您可根据下文流程创建所需任务。开发流程 数据开发任务的通用开发...
添加或引入自定义逻辑流操作
开发自定义逻辑流操作代码，详细操作请参见：开发前端逻辑流操作代码、开发后端逻辑流操作代码。上传自定义逻辑流操作，具体操作请参见：上传自定义逻辑流操作。发布自定义模块，详细操作请参见。创建的应用A、B、C引用自定义模块，详细...
元数据采集
MaxCompute和E-MapReduce（DLF）数据源绑定至数据开发后，由系统自动运维元数据采集器，您无需额外管理元数据采集器。支持的数据源及元数据采集方式 数据源类型 元数据采集方式 是否能在数据地图中看到采集器 元数据更新时效性 数据表/字段...
准备环境
前提条件 大数据开发治理平台DataWorks：购买DataWorks，详情请参见 购买指引。说明 因本示例提供的数据资源都在华东2（上海），建议购买时选择地域为华东2（上海）。对象存储OSS：已开通OSS服务，具体步骤，请参见 开通OSS服务。步骤一：...
客户案例
价值体现 基于飞天大数据平台产品，快狗打车不仅机器成本节约30%以上，数据开发效率提升100%。从Java Storm迁移到Flink SQL使实时计算开发周期大大减少，维护更加容易，数据一致性得到更好地保障，提升了业务监控大屏的准确性和实时性，...
数据治理中心概述
数据治理中心可自动发现平台使用过程中数据存储、任务计算、代码开发、数据质量及安全等维度存在的问题，并通过健康分量化评估，从全局、工作空间、个人等多个视角，以治理报告及排行榜呈现治理成果，帮助您高效达成治理目标。同时，提供...
DataWorks交流钉钉群
DataWorks作为阿里云大数据平台操作系统，对接各种大数据计算引擎，以all in one box的方式提供专业高效、安全可靠的全域智能大数据平台，高效率完成数据全链路研发流程，建设企业数据治理体系，同时提供优质高效的交流服务，本文为您介绍...
基本概念
数据开发工程师只能在开发环境中注册计算节点，配置节点任务流程，并进行开发。开发通过后要经过上线操作才能把开发环境中的节点任务流程发布到生产环境中。任何人都不能编辑生产环境中的节点流程，但可以修改参数，所有修改都会记录在日志...
概述
自定义后端逻辑流操作：基于Java编写，对于熟悉Java的开发者来说，可以运用Java的强大能力来扩展后端逻辑流。开发出的后端逻辑流操作可以在物料市场中分享，任何人都可以从中受益，而无需了解Java。例如，您可以编写基于Java的后端逻辑流...
运行历史
运行历史面板为您展示最近三天您在数据开发界面运行过的所有任务记录，单击相应的任务，即可查看运行日志。说明 运行历史 界面只展示当前账号在数据开发（DataStudio）最近三天的运行记录。如您需查看调度任务每日运行情况，请前往 运维...
运维阶段
运维人员按照步骤实施发布，完成后通知数据开发人员进行验证。如果验证失败，则运维人员按照修改脚本的回滚方法进行回滚，并反馈结果至开发人员。验证实施方案。开发人员在收到运维人员实施成功的通知后，开始验证变更结果是否符合预期。...
Data API功能简介
降低使用成本 通过使用RDS Data API Service，一些特定的系统可以免去后端服务，直接从前端请求到数据库，简化系统架构的同时，由于不再需要服务端业务逻辑开发，减少了应用程序开发的人力成本，降低了维护基础设施的风险，而且更便于扩展...
大数据AI公共数据集分析
操作难度 低 所需时间 30分钟 使用的阿里云产品 DataWorks：一站式大数据开发与治理平台，绑定计算引擎后可在DataWorks上开发调度对应引擎的分数据开发治理任务。MaxCompute：适用于数据分析场景的企业级SaaS模式云数据仓库，为海量数据...
移动网关简介
移动网关服务（Mobile Gateway Service，MGS）是移动开发平台（mPaaS）提供的连接移动客户端与服务端的组件产品。该组件简化了移动端与服务端的数据协议和通讯协议，能够显著提升开发效率和网络通讯效率。功能特点 移动网关是连接移动客户...
批量操作
操作步骤 登录DataWorks控制台，进入 数据开发 页面后，在顶部的快捷操作按钮中单击 批量操作 按钮，即可打开批量操作页面。批量修改。在 批量操作 页面中，您可以在顶部页签中选择对 节点、资源 或者 函数 进行批量处理。您可以在页签中的...
我的地盘
登录 DataWorks控制台，单击左侧导航栏的 数据建模与开发>数据开发，在下拉框中选择对应工作空间后单击 进入数据开发。单击左上方的 图标，选择 全部产品>数据建模>DATABLAU。选择 我的地盘 页签，在我的地盘页面中查看模型的相关信息。
用户管理
登录 DataWorks控制台，切换至目标地域后，单击左侧导航栏的 数据建模与开发>数据开发，在下拉框中选择对应工作空间后单击 进入数据开发。单击左上方的 图标，选择 全部产品>数据建模>DATABLAU。选择 用户管理 页签，在用户管理页面中查看...
电商网站智能推荐
电商网站智能推荐基于阿里巴巴的大数据和人工智能技术，结合在电商行业的多年积累，为开发者提供个性化推荐服务，提升商品的购买率和转化率。概述 本实践以电商网站为例，通过日志服务采集日志，将RDS作为后端数据服务、MaxCompute作为数据...
模型目录
登录 DataWorks控制台，单击左侧导航栏的 数据建模与开发>数据开发，在下拉框中选择对应工作空间后单击 进入数据开发。单击左上方的 图标，选择 全部产品>数据开发>DATABLAU。选择 模型目录 页签，在模型目录页面中查看模型的详细信息。...
编排逻辑流
说明 登录、交易、数据量大等涉及安全敏感信息或影响性能的场景建议使用后端逻辑流进行编排。在页面中，通过数据容器绑定逻辑流，快速搭建逻辑流。添加页面，详细操作请参见 添加页面。拖曳数据容器相关组件至画布中，此处以List为例，在...
敏感数据概况
操作步骤 登录 DataWorks控制台，单击左侧导航栏的 数据建模与开发>数据开发，在下拉框中选择对应工作空间后单击 进入数据开发。单击左上方的 图标，选择 全部产品>数据治理>数据保护伞，单击 立即体验，进入数据保护伞。单击左侧导航栏的 ...
进入数据质量概览（旧版）
查看数据质量概览 登录 DataWorks控制台，单击左侧导航栏的 数据建模与开发>数据开发，在下拉框中选择对应工作空间后单击 进入数据开发。单击左上角的 图标，选择 全部产品>数据质量，默认进入 概览 页面。模块 描述 我的订阅 为您展示当前...
MaxCompute资源管理
登录 DataWorks控制台，切换至目标地域后，单击左侧导航栏的 数据建模与开发>数据开发，在下拉框中选择对应工作空间后单击 进入数据开发。展开左侧导航栏中的 MaxCompute，单击 MaxCompute资源。序号 图标 说明 ① MaxCompute资源默认显示 ...
执行冒烟测试
登录 DataWorks控制台，单击左侧导航栏的 数据建模与开发>数据开发，在下拉框中选择对应工作空间后单击 进入数据开发。开启强制冒烟测试 空间管理员可开启工作空间强制进行冒烟测试，开启强制冒烟测试功能后，当前工作空间任务发布前需要...
查看数据风险（旧版）
操作步骤 登录 DataWorks控制台，单击左侧导航栏的 数据建模与开发>数据开发，在下拉框中选择对应工作空间后单击 进入数据开发。单击左上方的 图标，选择 全部产品>数据治理>数据保护伞，单击 立即体验，进入数据保护伞。说明 若阿里云主...
配置代码模板
登录 DataWorks控制台，单击左侧导航栏的 数据建模与开发>数据开发，在下拉框中选择对应工作空间后单击 进入数据开发。单击左侧导航栏底部的 图标，进入 设置 页面。在 设置 页面，单击 代码模板，进入 代码模板 页面。设置代码模板。在 ...
数据脱敏能力概述
登录 DataWorks控制台，切换至目标地域后，单击左侧导航栏的 数据建模与开发>数据开发，在下拉框中选择对应工作空间后单击 进入数据开发。单击左上方的 图标，选择 全部产品>数据治理>数据保护伞，单击 立即体验，进入数据保护伞。说明 若...
用户价值
数据开发更简单：平台提供的各种工具产品能够极大的简化数据开发过程，缩短数据治理周期，降低数据治理成本。通过标准化、精细化、规格化的智能数据生产流程，完成流水线式的数据生产作业，提升数据资源生产效率、消除数据供应品质差异。...
新建自定义数据源
完成生产数据源的创建后，单击 开发数据源，配置开发环境的数据源。说明 系统支持配置 生产数据源 和 开发数据源 为相同的数据源，也可以配置为不同的数据源。标签 选择数据源所属的标签分类。非必选。链接地址 填写数据库的链接地址。如 ...
数据下载
登录 DataWorks控制台，切换至目标地域后，单击左侧导航栏的 数据建模与开发>数据开发，在下拉框中选择对应工作空间后单击 进入数据开发。单击左上角的 图标，选择 全部产品>数据集成>上传与下载。在 上传与下载 页面单击左侧导航栏的 下载...
开发前准备：绑定数据源或集群
登录 DataWorks控制台，单击左侧导航栏的 数据建模与开发>数据开发，在下拉框中选择对应工作空间后单击 进入数据开发。在左侧导航栏单击 数据源，进入数据源或集群绑定页面。若左侧导航栏未显示 数据源 模块，则您需 进入个人设置 页面，...
查看数据开发操作记录
进入数据开发DataStudio 登录 DataWorks控制台，单击左侧导航栏的 数据建模与开发>数据开发，在下拉框中选择对应工作空间后单击 进入数据开发。查看操作历史 在数据开发DataStudio左侧边栏点击 图标进入 操作历史 页面，可通过操作类型、...
创建解决方案
登录 DataWorks控制台，切换至目标地域后，单击左侧导航栏的 数据建模与开发>数据开发，在下拉框中选择对应工作空间后单击 进入数据开发。开启解决方案配置。在左侧导航栏底部，单击 图标。在 设置 页面的 个人设置 页签，勾选 显示解决...
代码搜索
登录 DataWorks控制台，切换至目标地域后，单击左侧导航栏的 数据建模与开发>数据开发，在下拉框中选择对应工作空间后单击 进入数据开发。在数据开发目录树区域，单击顶部菜单栏的 图标，进入代码搜索页面。配置搜索条件并查看搜索结果。...
创建并使用PAI Studio节点
登录 DataWorks控制台，切换至目标地域后，单击左侧导航栏的 数据建模与开发>数据开发，在下拉框中选择对应工作空间后单击 进入数据开发。在 数据开发 页面，鼠标悬停至 图标，单击 新建节点>算法>PAI Studio。在 新建节点 对话框中，输入...
配置DataHub输入
选择工作空间所在地域后，单击相应工作空间后的 快速进入>数据开发。鼠标悬停至 图标，单击 新建节点>数据集成>实时同步。您也可以展开业务流程，右键单击目标业务流程，选择 新建节点>数据集成>实时同步。在 新建节点 对话框中，选择同步...
- 产品推荐
- 这些文档可能帮助您