技术架构选型
本教程中使用阿里云大数据产品MaxCompute配合DataWorks，完成整体的数据建模和研发流程。完整的技术架构图如下图所示。其中，DataWorks的数据集成负责完成数据的采集和基本的ETL。MaxCompute作为整个大数据开发过程中的离线计算引擎。...
概述
数据开发 的核心功能如下：文件夹 用于存放并管理数据库中的数据开发节点。详情请参见 文件夹。Hologres开发 用于周期性调度作业。详情请参见 Hologres开发：周期性调度。一键MaxCompute表结构同步 支持使用可视化方式批量创建外部表，加速...
文档修订记录
QueryPublicModelEngine 2023.10.20 新增功能 上传与下载 DataWorks的上传与下载模块，提供了便捷的数据上传功能，支持将多种来源（例如，本地文件、OSS文件）的数据上传至MaxCompute大数据引擎中进行分析处理及相关管理操作，致力于为您...
什么是Dataphin
Dataphin是阿里巴巴集团OneData数据治理方法论内部实践的云化输出，一站式提供数据采、建、管、用全生命周期的大数据能力，以助力企业显著提升数据治理水平，构建质量可靠、消费便捷、生产安全经济的企业级数据中台。Dataphin兼容多种计算...
购买流程
说明 数据流量是指客户端从订阅通道中消费的数据总量，按1元/GB计费，不足1GB，按1GB计算。适合数据量较小的订阅实例。选择为 半价配置费+1元/GB数据流量费，从2020年12月18日开始，DTS会对该订阅任务额外收取数据流量费用。源实例地域-...
基本概念
本文介绍 云原生多模数据库 Lindorm 帮助文档中的相关名词和术语的解释。A 安全组 安全组是一种虚拟防火墙，用于控制安全组中的ECS实例的出入流量。在Lindorm实例的白名单中添加安全组后，该安全组中的ECS实例就可以访问Lindorm实例。更多...
创建EMR Presto节点
登录 DataWorks控制台，单击左侧导航栏的 数据建模与开发>数据开发，在下拉框中选择对应工作空间后单击 进入数据开发。右键某个业务流程，选择 新建节点>EMR>EMR Presto。说明 您也可以单击顶部 新建 按钮，根据界面提示选择创建EMR节点。...
产品优势
多场景支持：支持离线数仓搭建、数仓提速、离线数据分析、数据中台搭建、大规模数据集成、离线计算、异构数据集成等。低门槛：近乎零代码，简单配置连线后即可满足各项离线数据集成任务，同时任务支持复杂调度。基于资产的虚拟湖：配合数据...
常见问题
删除增量同步任务源库中的数据，目标库中已同步的数据是否会删除？若增量同步任务所需同步的DML操作没有勾选 delete，则目标库中数据不会被删除，否则目标库中已同步的数据会被删除。Redis间的同步，目标Redis实例的数据会被覆盖么 相同Key...
创建逻辑模型：维度表
登录 DataWorks控制台，单击左侧导航栏的 数据建模与开发>数据建模，在下拉框中选择对应工作空间后单击 进入数据建模。在 智能数据建模 页面的顶部菜单栏，单击 维度建模，进入 维度建模 页面。创建维度表。在 维度建模 页面，鼠标悬停至 ...
新功能发布记录
迁移 RDS PostgreSQL 实例的数据至 OceanBase 数据库 Oracle 租户 同步 RDS PostgreSQL 实例的数据至 OceanBase 数据库 Oracle 租户 数据库至数据库的数据同步项目新增支持匹配规则能力，可以助力用户在数据同步项目中通过简单的配置通配符...
DataWorks数据服务对接DataV最佳实践
DataV通过与DataWorks数据服务的对接，通过交互式分析Hologres连接DataWorks数据服务开发并生成API，快速在DataV中调用API并展现MaxCompute的数据分析结果。数据服务对接DataV产生背景 MaxCompute是阿里巴巴集团自主研究的快速、完全托管的...
客户案例
基于飞天大数据平台产品DataWorks+MaxCompute大大提高了数据业务的开发效率，构建大润发的数据中台体系。新金融行业：某互联网金融公司湖仓一体案例 客户架构如下。客户简介 公司的第一代数据湖是基于Hadoop+OSS搭建的，同时引入的数据中台...
EMR Studio概述
简化运维 EMR Studio提供开箱即用的大数据开发环境，可以快速响应业务需求。您可以将EMR Studio一键关联至EMR集群（EMR on ECS、EMR on ACK）提交作业，并可以在不关闭Notebook的情况下切换计算集群。EMR Studio自动适配Hive、Spark、Flink...
产品概述
什么是E-MapReduce 开源大数据开发平台E-MapReduce（简称EMR），是运行在阿里云平台上的一种大数据处理的系统解决方案。EMR基于开源的Apache Hadoop和Apache Spark，让您可以方便地使用Hadoop和Spark生态系统中的其他周边系统分析和处理...
产品简介
开源大数据开发平台E-MapReduce（简称EMR）是运行在阿里云平台上的一种大数据处理系统解决方案。EMR基于开源的Apache Hadoop和Apache Spark，让您可以方便地使用Hadoop和Spark生态系统中的其他周边系统分析和处理数据。EMR还可以与阿里云...
通过函数计算节点实现GitHub实时数据分析与结果发送
由于后续开发的函数代码逻辑需要读取OSS Bucket中的数据并将数据发送至指定邮箱，因此需给函数计算的服务授予OSS的权限。在 服务及函数 页面的左上角切换地域，并单击 创建服务，配置服务 名称 后单击 确定。单击创建好的服务，单击左侧 ...
创建MaxCompute数据源
若您的数据源配置选择 生产+开发数据源，则需配置 生产+开发数据源 的连接信息。如果您的数据源配置为 生产数据源，仅需配置 生产数据源 的连接信息。说明 通常情况下，生产数据源和开发数据源需配置非同一个数据源，以使开发数据源与生产...
创建MaxCompute数据源
若您的数据源配置选择 生产+开发数据源，则需配置 生产+开发数据源 的连接信息。如果您的数据源配置为 生产数据源，仅需配置 生产数据源 的连接信息。说明 通常情况下，生产数据源和开发数据源需配置非同一个数据源，以使开发数据源与生产...
CreateFile
调用CreateFile，在数据开发中创建一个文件。目前不支持调用该接口创建数据集成节点任务。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。请求参数 名称 ...
UpdateFile
该参数与 DataWorks控制台 中，数据开发任务的“调度配置>时间属性>出错自动重跑”的”重跑间隔“配置对应。控制台中“重跑间隔”的时间单位为分钟，请在调用时注意转换时间。RerunMode String 否 ALL_ALLOWED 重跑属性。取值如下：ALL_...
什么是数据管理DMS
高效协同：提供覆盖数据全生命周期的 DevOps，内置阿里巴巴大规模实践的数据管控体系。保障数据安全的同时，提升企业研发效率。更多信息，请参见 产品优势。如何使用数据管理DMS 您可以通过以下方式使用DMS，进行数据资产管理、数据库开发...
创建Hologres数据源
在引入Hologres的业务数据至Dataphin和将Dataphin的数据写入至Hologres的场景中，您需要先创建Hologres数据源。本文为您介绍如何新建Hologres数据源。背景信息 Hologres即阿里云交互式分析Hologres，是阿里巴巴自主研发的一款交互式分析...
什么是数据库网关
使用指引 如果您是第一次使用数据库网关，您可以参考下述步骤开始使用：准备工作 新建数据库网关 添加数据库 为什么选择数据库网关 数据库网关提供安全可靠、低成本的数据库接入服务，通过数据库网关您可以安全且低成本地将第三方云或本地...
EMR旧版数据开发迁移公告
如果您还在使用旧版控制台的数据开发功能，请尽快迁移至EMR Worflow。本文为您介绍数据开发模块迁移至EMR Workflow的流程。EMR Workflow是一个全托管的工作流和任务调度服务，100%兼容开源Apache DolphinScheduler。它提供了易于使用的调度...
创建ClickHouse数据源
若您的数据源配置选择 生产+开发数据源，则需配置 生产+开发数据源 的连接信息。如果您的数据源配置为 生产数据源，仅需配置 生产数据源 的连接信息。说明 通常情况下，生产数据源和开发数据源需配置非同一个数据源，以使开发数据源与生产...
数据源管理常见问题
您可以在DataV控制台单击 我的数据>数据源管理，选择+添加数据，进入 添加数据 对话框，选择 CSV文件 类型，输入 自定义数据源名称 并上传一个本地电脑中的CSV文件。上传完成后，您可以在画布编辑器中添加组件，在右侧 数据 面板中的 设置...
数据源管理常见问题
您可以在DataV控制台单击 我的数据>数据源管理，选择+添加数据，进入 添加数据 对话框，选择 CSV文件 类型，输入 自定义数据源名称 并上传一个本地电脑中的CSV文件。上传完成后，您可以在画布编辑器中添加组件，在右侧 数据 面板中的 设置...
流式数据通道概述
流式服务在API上极大简化了分布式服务的开发成本，同时解决了批量数据通道在高并发、高QPS（Queries-per-second）场景下的性能瓶颈。本文为您介绍如何使用流式数据通道服务。功能介绍 MaxCompute流式数据通道服务已商业化且不计费，您可以...
创建Hologres数据源
在引入Hologres的业务数据至Dataphin和将Dataphin的数据写入至Hologres的场景中，您需要先创建Hologres数据源。本文为您介绍如何新建Hologres数据源。背景信息 Hologres即阿里云交互式分析Hologres，是阿里巴巴自主研发的一款交互式分析...
DataWorks On CDP/CDH使用说明
二、数据建模与开发 模块 说明 相关文档 数据建模 数据建模是全链路数据治理的第一步，沉淀阿里巴巴数据中台建模方法论，从数仓规划、数据标准、维度建模、数据指标四个方面，以业务视角对业务的数据进行诠释，让企业内部实现“数同文”的...
导入MongoDB数据
使用大数据开发治理平台DataWorks的数据集成服务配置DataX任务，具体操作请参见 使用DataWorks配置DataX。操作步骤 在DataWorks控制台配置MongoDB数据源，具体操作请参见 配置MongoDB数据源。通过脚本模式配置离线数据同步任务，具体请参见...
大数据AI公共数据集分析
本教程通过DataWorks，联合云原生大数据计算服务MaxCompute，使用大数据AI公共数据集（淘宝、飞猪、阿里音乐、Github、TPC等公共数据），指导您如何快速进行大数据分析，快速熟悉DataWorks的操作界面与最基础的数据分析能力。DataWorks的更...
产品简介
DLA Ganos是基于云原生数据湖分析（Data Lake Analytics，DLA）系统设计开发的，面向时空大数据存储与计算的数据引擎产品。基于DLA无服务器化（Serverless）数据湖分析服务与内置的Spark计算引擎，DLA Ganos打通了阿里云各个存储系统，如...
DataWorks on EMR Serverless StarRocks最佳实践
数据分析概述 数据服务 DataWorks的数据服务功能模块是灵活轻量、安全稳定的数据API构建平台，旨在为个人、团队与企业提供全面的数据服务与共享能力，帮助用户统一管理面向内外部的API服务。数据服务概述 数据地图 DataWorks的数据地图是在...
常见问题
数据安全中心对于结构化数据源的扫描机制是什么样的？数据安全中心扫描数据源中的字段名称、字段值综合判断该数据是否为敏感数据，只通过字段值无法判断数据是否敏感。例如：年龄数据。敏感数据识别是如何实现的？敏感数据识别是在完成数据...
新功能发布记录
SQL审核 优化数据工厂 优化 优化任务编排和数仓开发中SQL任务节点的SQL编辑器，支持智能提示。配置任务流 2020年 12月 功能名称 变更类型 功能描述 相关文档 自定义顶部菜单栏 新增 将常用的功能添加到顶部菜单栏，您可以更加便捷地使用...
安全中心
因为您的申请单中包含的数据表的表Owner不同，安全中心会按照表Owner对于申请单自动进行拆分。为什么有的字段只申请1个月权限，审批完成后查看变为永久？说明字段的安全等级为0或者小于等于您账号的安全等级。为什么有的表和字段没有申请...
了解数据资源平台用户和角色体系
工作组内的数据通常为工作组内全部成员可见，研发工作台的数据权限以工作组为单元相互隔离。因此在开始数据研发前，您需要先创建工作组。一个工作组支持连接主流的关系型数据库、消息队列等多种类型的云计算资源。云计算资源连通后，即可在...
C100售前支持相关问题
审计数据可以通过控制台进行备份，备份的数据存储在对象存储OSS中。存储空间已经清空，为何控制台还是显示存储空间满？SLS清除数据任务一般会有1至2小时的延迟，可以在清空存储空间两小时后确认空间是否已清空。数据库审计和其他产品的区别...
- 产品推荐
- 这些文档可能帮助您