DataWorks模块使用说明
数据集成 子模块：数据集成 功能说明：数据集成是稳定高效、弹性伸缩的数据同步平台，致力于提供复杂网络环境下、丰富的异构数据源之间高速稳定的数据移动及同步能力，支持离线、实时、以及两者混合的同步方式，同时具备表级别粒度以及库...
专家成长计划技术培训课程
专家成长 计划 技术培训课程详情 课程类别 课程名称 标准课程天数 班级容量 内容简介&概要 课程形式 云计算技术基础 云计算服务基础综述 1天 30人 内容主要包括云计算概述、阿里云简介、阿里云的云平台架构、阿里云解决方案。通过专题的...
数据源概述
独享数据集成资源组配置Host详情请参见：绑定专有网络。数据源权限管控 完成数据源配置后，您可以对数据源进行分享与权限管控。DataWorks支持您在数据源管理页面，分享数据源权限给相应的工作空间或个人，并进入被分享的工作空间查看该数据...
概述
迁移助手可以帮您快速复制DataWorks上不同的版本、主账号、地域和工作空间中的开发成果。...隔离开发环境和生产环境 当开发环境和生产环境的网络完全隔离后，您可以通过迁移助手，导出开发环境中已完成开发的任务至生产环境。
注册CDH或CDP集群至DataWorks
DataWorks提供了与CDH（Cloudera’s Distribution Including Apache Hadoop，以下简称CDH）和CDP（Cloudera Data Platform，以下简称CDP）集群对接的能力，您可在DataWorks中注册CDH及CDP集群，进行任务开发、调度、数据地图（元数据管理）...
监控与日志
监控与日志可有效保障您网络智能服务资源的可用性、业务的正常运行和健康度。您可通过对应的监控能力，持续收集监控数据。阿里云提供了各种监控，帮助您实时监控云资源的使用情况和业务运行状况，并在收到异常报警时及时响应。事件中心功能...
BigQuery数据源
附录：脚本Demo与参数说明 离线任务脚本配置方式 如果您配置离线任务时使用脚本模式的方式进行配置，您需要在任务脚本中按照脚本的统一格式要求编写脚本中的参数，脚本模式的统一要求请参见 通过脚本模式配置离线同步任务，以下为您介绍...
数据开发概述
DataWorks数据开发（DataStudio）模块用于定义周期调度任务的开发及调度属性，与运维中心配合使用，面向各引擎（MaxCompute、Hologres、EMR等）提供可视化开发主界面，支持智能代码开发、多引擎混编工作流、规范化任务发布等能力，帮助您...
创建并管理工作空间
否：无需隔离生产、开发环境，该方式创建的工作空间为简单模式工作空间。工作空间模式介绍，详情请参见 必读：简单模式和标准模式的区别。您可结合业务需求确认，需创建哪种类型的工作空间。空间管理员 定义该工作空间的管理员。默认当前...
使用ClassicLink
授权方式 选择一种授权方式：经典网络专有网络：相互授权访问，推荐使用这种授权方式。专有网络=>经典网络：授权专有网络内的云资源访问经典网络ECS。经典网络=>专有网络：授权经典网络ECS访问专有网络内的云资源。协议类型 选择授权通信的...
基础概念
表：术语表 术语 概念 TPP 个性化算法开发平台（The Personalization Platform，简称），面向算法和工程同学，支持召回、在线预测等业务编排的开发平台，专注于推荐、搜索、广告行业。提供成熟的工程框架，帮助算法从资源管理、运维中解决...
创建Hologres数据源
数据源创建完成后，您可根据需要执行如下操作：计算任务开发与调度：DataWorks的数据开发与运维中心模块，为您提供Hologres任务的开发与调度能力，若您需要基于该Hologres数据源进行Hologres任务开发，或周期性调度Hologres相关任务，需先...
创建CDH Hive节点
开发SQL代码：使用调度参数 DataWorks提供 调度参数，可实现调度场景下代码动态入参，您可在节点中通过${变量名} 的方式定义代码中的变量，并在 调度配置>参数 处，为该变量赋值。调度参数支持的格式，详情请参见 调度参数支持的格式。...
创建CDH Presto节点
开发SQL代码：使用调度参数 DataWorks提供 调度参数，可实现调度场景下代码动态入参，您可在节点中通过${变量名} 的方式定义代码中的变量，并在 调度配置>参数 处，为该变量赋值。调度参数支持的格式，详情请参见 调度参数支持的格式。...
创建EMR Presto节点
Presto（即PrestoDB）是一款灵活、可扩展的分布式SQL查询引擎，支持使用标准的SQL查询语言进行大数据的交互式分析查询（Presto概述），DataWorks为您提供EMR Presto节点，便于您在DataWorks上进行Presto任务的开发和周期性调度。...
阶段一：基础防护建设
在该阶段，DataWorks为您提供了数据分类分级、规范数据开发流程、企业级身份认证、开源身份隔离等多个场景的最佳实践，帮助企业做好数据安全治理的相关基础防护工作。场景一：数据分级分类 无论在任何行业，数据分级分类都是监管首要检查的...
新建数据库
Hologres实例名称 下拉框可选 无 数据库名 需要绑定的DB名 当前建议绑定开发环境的DB 服务器 Hologres实例的网络地址 实例选择后自动生成 端口 Hologres实例的网络地址 实例选择后自动生成 连通性测试 测试是否连通 无 开发环境 访问身份 ...
对接使用CDH与CDP
以下简称 CDH）与CDP（Cloudera Data Platform，以下简称CDP）集群对接的能力，在保留CDH集群或CDP集群作为存储和计算引擎的前提下，您可以使用DataWorks的任务开发、调度、数据地图（元数据管理）和数据质量等一系列的数据开发和治理功能...
采集数据
资源组连通性 在 连接配置 区域的独享数据集成资源组后，单击 连通状态 列的 测试连通性，分别测试资源组与开发、生产环境数据源的网络是否连通，等待界面提示测试完成，连通状态为 可连通。创建MySQL数据源（mysql_workshop_log）在您的...
创建EMR Shell节点
数据开发（DataStudio）基于业务流程对不同开发引擎进行具体开发操作，所以您创建节点前需要先新建业务流程，操作详情请参见 创建业务流程。已创建阿里云EMR集群，并注册EMR集群至DataWorks。创建EMR相关节点并开发EMR任务前，您需要先将...
创建CDH Impala节点
开发SQL代码：使用调度参数 DataWorks提供 调度参数，可实现调度场景下代码动态入参，您可在节点中通过${变量名} 的方式定义代码中的变量，并在 调度配置>参数 处，为该变量赋值。调度参数支持的格式，详情请参见 调度参数支持的格式。...
创建EMR Spark SQL节点
数据开发（DataStudio）基于业务流程对不同开发引擎进行具体开发操作，所以您创建节点前需要先新建业务流程，操作详情请参见 创建业务流程。已创建阿里云EMR集群，并注册EMR集群至DataWroks。创建EMR相关节点并开发EMR任务前，您需要先将...
子账号使用DataWorks
子账号被授予相应RAM权限后，可以在 Hologres管理控制台 管控实例，例如购买或删除实例、升降配实例资源、修改网络类型以及查看实例信息等。实例开发权限 实例开发权限为必选权限。子账号必须经过主账号授予实例的开发权限后，才能连接实例...
创建EMR Impala节点
数据开发（DataStudio）基于业务流程对不同开发引擎进行具体开发操作，所以您创建节点前需要先新建业务流程，操作详情请参见 创建业务流程。已创建阿里云EMR集群，并注册EMR集群至DataWorks。创建EMR相关节点并开发EMR任务前，您需要先将...
创建EMR Spark节点
数据开发（DataStudio）基于业务流程对不同开发引擎进行具体开发操作，所以您创建节点前需要先新建业务流程，操作详情请参见 创建业务流程。已创建阿里云EMR集群，并注册EMR集群至DataWorks。创建EMR相关节点并开发EMR任务前，您需要先将...
创建EMR Hive节点
您可以创建EMR（E-MapReduce）HIVE节点，通过类SQL语句协助读写、管理存储在分布式存储系统上的大数据集的数据仓库，完成海量日志数据的分析和开发工作。前提条件 数据开发（DataStudio）中已创建业务流程。数据开发（DataStudio）基于业务...
实时同步能力说明
DataWorks为您提供的实时数据同步功能，方便您使用单表或整库同步方式，将源端数据库中部分或全部表的数据变化实时同步至目标数据库中，实现目标库实时保持和源库的数据对应。使用限制 实时同步不支持在数据开发界面运行任务，您需要保存、...
DataWorks On MaxCompute使用说明
节点代码定义：MaxCompute语法 创建并使用MaxCompute表 开发ODPS SQL任务 引用SQL组件 开发ODPS Spark任务 开发PyODPS 2任务 开发PyODPS 3任务 开发ODPS Script任务 开发ODPS MR任务 创建并使用MaxCompute资源 创建并使用自定义函数 您可...
iOS 环境切换
应用开发过程中，经常会有更换应用环境信息或多套环境并行研发的需求。mPaaS 提供工具可帮助您在开发过程中方便地进行环境切换。根据切换环境的需求不同，分为以下两种方式：静态切换环境 动态切换环境 静态切换环境 静态切换环境指客户端...
必读：简单模式和标准模式的区别
实现：您需要准备两个简单模式工作空间，一个空间作为开发环境，一个空间作为生产环境，并通过跨空间发布的方式将作为开发环境工作空间下的任务发布至作为生产环境的工作空间，从而实现开发环境与生产环境隔离。简单模式实现跨空间发布详情...
通用参考：切换资源组
数据集成切换资源组 资源组创建并配置完成后，您可以通过如下方式切换数据集成使用的资源组。数据集成页面 进入数据集成页面。登录 DataWorks控制台，切换至目标地域后，单击左侧导航栏的 数据集成，在下拉框中选择对应工作空间后单击 进入...
DataWorks On CDP/CDH使用说明
新增和使用独享调度资源组 二、开发环境准备 您需先在DataWorks工作空间注册 CDP或CDH 集群，才可在数据开发（DataStudio）进行数据开发工作，并以工作空间为单位管理空间成员，以便进行协同开发。类别 描述 相关文档 数据同步环境准备 ...
文档修订记录
附录：DataWorks访问其他引擎产品的服务关联角色 2023.5.11 新增功能 数据开发 您可通过关联远程仓库云效的方式，将Function Studio上的代码迁移至一站式BizDevOps平台云效统一管理。为您介绍如何将Function Studio中的代码迁移至云效服务...
构建数据仓库
DataWorks具有通过可视化方式实现数据开发、治理全流程相关的核心能力，本文将为您介绍DataWorks在构建云上大数据仓库和构建智能实时数据仓库两个典型应用场景下的应用示例。构建云上大数据仓库 本场景推荐的架构如下。适用行业：全行业...
场景：工作空间模式升级（简单模式升级标准模式）
若您当前使用的是简单模式工作空间，但希望将开发与生产环境隔离，可将简单模式工作空间升级为标准模式工作空间。本文为您介绍如何升级工作空间模式。操作须知 升级工作空间模式前，您需先了解以下内容：了解简单模式与标准模式工作空间的...
创建CDH Spark节点
数据开发（DataStudio）基于业务流程对不同开发引擎进行具体开发操作，所以您创建节点前需要先新建业务流程，操作详情请参见 创建业务流程。已创建阿里云CDH集群，并注册CDH集群至DataWorks。创建CDH相关节点并开发CDH任务前，您需要先将...
移动分析简介
其中个人用户诊断实时获取用户客户端行为，诊断日志采集通过 push 方式下发指令到客户端传回客户端本地日志。应用场景 通过数据指导业务：帮助开发、运营人员利用数据进行产品、运营、推广方案的决策。提升用户体验：快速定位闪退位置，...
移动网关简介
该组件简化了移动端与服务端的数据协议和通讯协议，能够显著提升开发效率和网络通讯效率。功能特点 移动网关是连接移动客户端跟服务端的桥梁，移动客户端通过网关来访问后台服务接口。移动网关能够：自动生成客户端的 RPC 调用代码，用户不...
使用OpenAPI
调用方式支持情况 调用方式 支持情况 备注 阿里云SDK（推荐）支持 物联网络管理平台SDK支持语言及依赖安装方法请参考 物联网络管理平台SDK。阿里云SDK集成方式说明请参见 阿里云SDK。阿里云CLI 不支持 阿里云CLI调用方式说明请参见 阿里云...
DataWorks On Hologres使用说明
创建Hologres数据源 开发前准备：绑定数据源或集群 协同开发环境准备 为保障RAM用户以工作空间为单位进行协同开发，您需执行如下操作：需将进行协同开发的RAM用户添加为当前工作空间的成员，并授予其开发角色。将工作空间成员添加至...
- 产品推荐
- 这些文档可能帮助您