交通
开发需求急，开发资源捉襟见肘：结合网络货运平台监管政策的调整，移动端内需嵌入监管平台的 SDK 插件。解决方案 因开发人员只具备 Java 和 Vue.js 的开发能力，无法在短时间内快速掌握一门全新的开发语言或原生 UI 组件开发的能力。但因...
查看资源栈
单击 资源 页签，查看资源栈所包括的每一个资源的信息。单击 输出 页签，查看创建资源栈时，模板中指定的输出信息。单击 参数 页签，查看创建资源栈时，模板中指定的参数，包括ROS提供的以 ALIYUN:开始的伪参数。单击 偏差 页签，查看 资源...
对接使用CDH与CDP
Step2：配置网络联通 DataWorks的独享调度资源组购买创建完成后，默认与其他云产品网络不可达，在对接使用CDH时，您需获取部署CDH集群的网络信息，将独享调度资源组绑定至CDH集群所在的VPC网络中，保障CDH集群与独享调度资源组的网络联通。...
功能发布记录
2024年02月 功能模块 功能描述 发布时间 发布地域 相关文档 资源组 支持存量关联资源的跟随转组。如果您在跟随转组规则中选中 启动存量关联资源跟随转组任务，就可以将存量关联资源转入主资源所在的资源组。2024-02 全部 关联资源跟随转组 ...
离线同步任务运维
为确保任务运行无误，当您在DataStudio中完成任务开发，并发布至生产环境后，您可以进入运维中心管理离线同步任务、监控任务运行状态、修改同步资源组和查看任务运行日志等。本文列举离线同步任务的常见运维操作。前提条件 已完成离线同步...
创建EMR Impala节点
已购买独享调度资源组并完成资源组配置，包括绑定工作空间、网络配置等，详情请参见 新增和使用独享调度资源组。使用限制 仅支持使用独享调度资源组运行该类型任务。DataWorks目前已不支持新绑定Hadoop类型的集群，但您之前已经绑定的...
创建并配置发布环境
例如，简单模式工作空间的开发环境和生产环境是分隔的，您可以直接使用 跨工作空间发布，无需逐个创建即可将开发环境的节点批量发布至生产环境中进行发布调度，详情请参见 发布任务。跨云发布：用于跨账号、跨地域或跨云平台（例如，金融云...
管理控制台功能概览
目前DataWorks支持简单模式工作空间与标准模式工作空间，建议使用标准模式进行线上开发。管理员：展示对应工作空间的空间管理员。空间管理员可在 工作空间配置>空间成员 页面，将RAM用户添加进对应的工作空间。资源组ID：展示您当前工作...
创建同步任务
在节点编辑页面的 网络与资源配置 页签，配置数据来源为 MaxCompute(ODPS)、数据去向为 MySQL，并选择用于执行同步任务的资源组，测试数据源与资源组的网络连通性。网络连通性配置，详情请参见 配置资源组与网络连通。单击 下一步，进入 ...
DataWorks On CDP/CDH使用说明
DataWorks各版本详解 资源组选择 CDP或CDH集群目前仅支持使用独享调度资源组执行任务。新增和使用独享调度资源组 二、开发环境准备 您需先在DataWorks工作空间注册 CDP或CDH 集群，才可在数据开发（DataStudio）进行数据开发工作，并以工作...
MaxCompute UDF概述
UDF（User-Defined Function）即自定义函数，当MaxCompute提供的内建函数无法支撑您的业务实现时，您可以根据本文中的开发流程及使用示例，自行编写代码逻辑创建自定义函数，以满足多样化业务需求。背景信息 广义的UDF定义是 自定义标量...
DataWorks On EMR使用说明
背景信息 开源大数据开发平台E-MapReduce（简称EMR），是运行在阿里云平台上的一种大数据处理的系统解决方案。EMR基于开源的Apache Hadoop和Apache Spark，让您可以方便地使用Hadoop和Spark生态系统中的其他周边系统分析和处理数据。阿里云...
预置小程序包
什么是预置小程序 预置小程序是指将小程序的渲染、逻辑、配置等静态资源打包在一个压缩包内，并集成到客户端 App，小程序容器可直接从本地加载资源的过程。预置小程序可以最大程度地摆脱网络环境对 mPaaS 小程序页面的影响。使用预置包可...
UDAF概述
如果您的UDF涉及访问VPC网络中的资源时，需要先创建MaxCompute与目标VPC网络间的网络连接，才可以直接通过UDF访问VPC网络中的资源，操作详情请参见 通过UDF访问VPC网络资源。读取表数据 目前版本不支持使用UDF/UDAF/UDTF读取以下场景的表...
文档修订记录
您可在DataWorks上进行CDH相关的Hive、Spark、MR、Presto、Impala等任务的开发和周期性调度。创建CDH Hive节点 创建CDH Spark节点 创建CDH MR节点 创建CDH Presto节点 创建CDH Impala节点 2024.2.6 更新功能 数据保护伞 数据保护伞新版系统...
创建并管理工作空间
若您的公司购买了多种阿里云资源，则可通过 资源管理 创建资源组进行云资源分组，并为资源组设置管理员，通过分组独立管理资源组内的所有资源。重要 此处选择的资源组是在阿里云账号下进行资源分组管理的一种机制，帮助您解决单个阿里云...
元数据采集
DataWorks数据地图为您提供 元数据采集 功能，方便您将不同系统中的元数据进行统一汇总管理，您可以在数据地图查看从各数据源汇集而来的元数据信息。本文为您介绍如何创建采集器，将各数据源的元数据信息汇集至DataWorks。前提条件 您需要...
使用ROS在线编辑器编写模板
资源类型与参数类型智能提示 当您在定义ROS模板的资源信息（Resources）与参数信息（Parameters）时，ROS模板编辑器可以快速准确的提示您需要的资源类型和参数类型。资源属性智能提示 当您在定义ROS模板的资源信息（Resources）时，ROS模板...
数据服务概述
API开发流程 创建数据源并配置网络连通性 使用数据服务创建API前，需先将您的数据库或数据仓库添加为DataWorks数据源，以此作为数据服务API的数据来源。开发数据服务API时，数据服务将访问该数据源获取数据表的Schema信息，帮助您进一步...
数据上传
上传数据至MaxCompute引擎：支持使用公共资源组及独享资源组，且需确保数据上传任务使用的数据源与所选资源组网络连通。所选独享资源组需绑定至待接收数据的表所在的DataWorks工作空间。上传数据至EMR Hive、Hologres引擎：仅支持使用独享...
客户案例
基于飞天大数据平台产品DataWorks+MaxCompute大大提高了数据业务的开发效率，构建大润发的数据中台体系。新金融行业：某互联网金融公司湖仓一体案例 客户架构如下。客户简介 公司的第一代数据湖是基于Hadoop+OSS搭建的，同时引入的数据中台...
准备工作：获取CDH或CDP集群信息并配置网络连通
配置网络连通 DataWorks的独享调度资源组购买后，默认与其他云产品网络不可达，在对接使用CDH时，您需获取部署CDH集群的网络信息，将独享调度资源组绑定至CDH集群所在的VPC网络中，保障CDH集群与独享调度资源组的网络连通。进入独享资源组...
MaxCompute资源管理
您可以通过MaxCompute资源面板，查看在MaxCompute计算引擎中存在的资源、资源的变更历史，并可以一键添加资源文件至数据开发面板的业务流程中。使用限制 仅支持MaxCompute客户端（odpscmd）上传的不超过200M的资源通过MaxCompute资源功能...
使用公共资源组
公共资源组被多个租户共享，高峰期租户间可能会存在抢占资源的情况。本文为您介绍公共资源组的概要信息。适用场景 公共资源组建议在任务量相对较少、对任务时效性要求不高的场景下使用。使用限制 公共资源组由多个租户共享，在高峰期无法...
独享调度资源组
使用独享调度资源组 了解上述独享调度资源的规格计费详情后，您可以选择购买合适的独享调度资源组并在数据集成、数据开发等任务中使用。从购买至使用，您需进行的主要操作流程如下：购买独享资源组。绑定工作空间。（可选）为独享资源组...
部署Node.js开发测试环境
资源编排服务ROS（Resource Orchestration Service）支持通过创建资源栈的方式一键部署Node.js开发测试环境。背景信息 模板示例 部署Node.js开发测试环境 基于Centos7系统创建ECS实例并安装Node.js相关应用。使用模板创建资源栈成功后即可...
部署Java Web开发测试环境
资源编排服务ROS（Resource Orchestration Service）支持通过创建资源栈的方式一键部署Java Web开发测试环境。背景信息 ROS模板示例 部署Java Web开发测试环境 基于Centos7系统创建ECS实例并安装Tomcat与JDK（Java Development Kit）应用。...
输入节点
开发配置 开发计算资源 开发场景中的计算资源，用于在开发环境中运行该节点。表名 用于开发场景的计算资源中提供数据的数据表名称。输入说明 开发场景中需要进行输入的数据表或整个开发场景的描述信息。生产配置 生产计算资源 生产场景中的...
MaxCompute数据离线同步至ClickHouse
进入 DataWorks管控台资源组列表页面，找到您要联通的独享数据集成资源组，单击资源组右侧的 网络设置，进入资源组网络设置页面，根据界面提示新增绑定专有网络。关键配置信息如下。专有网络：请选择ClickHouse所在的专有网络。可用区、...
子账号使用DataWorks
子账号被授予相应RAM权限后，可以在 Hologres管理控制台 管控实例，例如购买或删除实例、升降配实例资源、修改网络类型以及查看实例信息等。实例开发权限 实例开发权限为必选权限。子账号必须经过主账号授予实例的开发权限后，才能连接实例...
独享资源组
独享资源组使用场景 独享调度资源组使用场景 独享数据集成资源组使用场景 独享资源组网络配置 独享资源组访问VPC环境下数据的前提条件是什么？如何查看数据源的网络环境？添加独享资源组白名单 独享资源组商业化行为 如何对资源组进行续费...
RAM账号权限管理最佳实践
模块 参数 说明 示例 RESOURCE 开发资源组ID 开发环境资源所在的资源组ID。rg-aekzs3xmizs*生产资源组ID 生产环境资源所在的资源组ID。rg-aekzko7fsuj*测试资源组ID 测试环境资源所在的资源组ID。rg-aekzsvnra53*VPC 开发环境专有网络网段 ...
独享资源组模式
背景信息 独享资源组模式下，机器的物理资源（网络、磁盘、CPU和内存等）完全独享。独享资源组模式的作用如下：支持隔离不同用户间的资源使用。支持隔离不同工作空间任务的资源使用。支持扩容、缩容功能，可以满足资源独享、灵活配置等需求...
创建并使用MaxCompute资源
背景信息 资源（Resource）是MaxCompute的特有概念，如果您想使用MaxCompute的 自定义函数（UDF）或 MapReduce 功能，需要依赖资源来完成。在DataWorks中，您可通过可视化方式将本地开发的资源包通过本地上传的方式上传至DataWorks，或直接...
TestNetworkConnection
调用TestNetworkConnection接口，测试目标数据源与所使用资源组的网络连通性。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。请求参数 名称 类型 是否必选...
按逻辑表关联
根据逻辑表关联对应资源信息，手动选中逻辑表后，系统自动选中该逻辑表对应的场景节点、场景节点对应的场景、场景对应的依赖场景、场景包含的输出逻辑表和输入逻辑表、场景输出的物理表。说明 依赖场景 第一种情况：如果A场景任意场景节点...
新增和使用独享调度资源组
查看资源组使用率与资源组运维监控 您可在DataWorks管理控制台查看资源组的使用与排队情况，并支持通过运维中心的智能监控功能来对资源组的使用率及等待资源的实例数进行监控。查看资源组使用率，详情请参见 查看独享资源组的使用率，资源...
资源组操作及网络连通
数据同步网络连通问题 在做离线同步时，我们需要先了解哪些DataWorks及其网络能力？同步ECS自建的数据库的数据时，如何保障数据库与DataWorks的网络连通？数据库和DataWorks不在同一个地域（Region）下，进行数据同步时如何保障数据库与...
了解数据资源平台用户和角色体系
数据资源平台提供了完善的权限管控机制，支持以租户或工作组为管控粒度，通过对用户授予...数据读取 拥有工作组内云计算资源的元数据信息和数据信息的访问权限 数据变更 拥有工作组内云计算资源的元数据信息和数据信息的访问权限以及数据变更
自定义资源请求对象
无 ResourceType String 是 阿里云ROS模板中模板开发人员选择的自定义资源的资源类型 最大支持68个字符，可包含字母、数字、下划线（_）、at（@）和短划线（-）。LogicalResourceId String 是 阿里云ROS模板中template developer选择的...
- 产品推荐
- 这些文档可能帮助您