配置并使用调度参数

完整配置示例 本文以ODPS SQL节点为例,通过 在开发环境执行冒烟测试 功能测试配置的调度参数是否符合预期,并在任务发布后,查看生产运维中心中该任务的调度参数配置情况。说明 各类型节点的调度参数配置,详情请参见 各类型节点的调度...

DataWorks On MaxCompute使用说明

权限类别 描述 MaxCompute开发项目权限 DataWorks通过空间级预设角色与开发环境MaxCompute数据源Role的映射关系,让被授予空间角色的RAM用户(子账号)拥有该角色映射的开发数据源权限,默认拥有开发环境对应的数据源项目权限,但无生产...

什么是云开发平台

全云端的开发环境实现所测即所得、测完即上线的快速交付;一致的 Serverless 环境:不需要购买和部署传统服务器,通过阿里云 Serverless 产品线提供的服务,您可以在日常、预发、线上等多套环境中使用一致的 Serverless 环境去开发、调试、...

发布任务

标准模式工作空间提交任务后,任务仅在开发环境生效,开发环境中的任务不进行自动调度,您需要通过任务发布流程,将任务发布至生产环境后,任务才会周期调度运行。说明 在数据开发界面提交的操作都将进入任务发布界面处于待发布状态,您...

数据开发与运行

说明 如果您的DataWorks为标准模式,则开发环境和生产环境分离,在DataWorks的DataStudio删除资源时,只删除了开发环境的资源,生产环境的资源需要将删除操作发布到生产环境,生产环境的资源才会被删除下线。在开发环境中删除资源。在对应...

RunSmokeTest

ProjectEnv String 是 PROD 工作空间的环境,包括PROD(生产环境)和DEV(开发环境)。简单模式的工作空间无开发环境,详情请参见 简单模式和标准模式的工作空间。Bizdate String 是 2020-05-26 00:00:00 业务日期。Name String 是 xm_...

入门概述

但在提交任务时,不会区分开发环境和生产环境。通常,通过DataWorks的工作空间实现数据开发和运维包含以下操作:建表并上传数据 创建业务流程 创建同步任务 设置周期和依赖 运行及排错 使用临时查询快速查询SQL(可选)下图为数据开发和运...

荣耀推送

开发环境准备,开发环境需要符合荣耀推送集成的环境,具体可以参考 开发准备-环境信息。添加配置文件。在 荣耀开发者服务平台 中下载 mcs-services.json 配置文件,具体参考 添加应用配置文件。配置 SDK 的仓库地址。具体参考官方链接文档 ...

MaxCompute资源管理

数据开发 面板中的资源只有 同时上传到MaxCompute,并 提交 或 发布 后,才会出现在 MaxCompute资源 面板的开发环境或生产环境中。通过MaxCompute客户端、MaxCompute Studio等非DataWorks渠道上传的资源文件,不会在 数据开发 面板显示,但...

同步配置

您可能需要为应用的多个环境同步配置,例如开发环境、测试环境等。或者您的应用部署在阿里云的不同地域上,需要跨地域同步配置。您可以创建多个命名空间,在其中一个空间中创建配置,再将此配置同步其他空间中。前提条件 创建命名空间 创建...

MaxCompute数据权限控制详情

DataWorks通过空间预设角色或空间自定义角色与开发环境引擎Role映射,来让被授予空间角色的RAM用户,拥有该空间角色映射的开发引擎Role所拥有的MaxCompute引擎权限,但默认无生产权限,本文为您介绍预设角色权限基本情况、MaxCompute权限...

数据开发与运维中心:数据加工

核心技术与架构 高效、规范的开发流程 说明 DataWorks提供标准模式的工作空间,可隔离开发环境与生产环境,标准模式的详细介绍可参见 简单模式和标准模式的区别。可视化的开发界面 支持通过拖拉拽的方式构建任务流程,在统一的界面进行数据...

批量操作

此界面的批量修改、提交仅对开发环境生效,如果您需要修改生产环境节点、资源、函数,批量修改并提交后,您需要进入任务发布界面,将刚刚的变更操作发布至生产环境。您可单击右上角的 历史操作记录,跳转至操作历史界面查看历史操作详情。

功能简介

支持开发环境中场景的运行和上线,并将开发环境中调试通过的场景发布到生产环境。支持新建、编辑和删除开发场景目录。支持新建、编辑、删除开发场景。支持在开发场景中引用公共节点,并配置离线计算节点的调度信息。支持在开发场景中新建...

功能简介

支持开发环境中场景的运行和上线,并将开发环境中调试通过的场景发布到生产环境。支持新建、编辑和删除开发场景目录。支持新建、编辑、删除开发场景。支持在开发场景中引用公共节点,并配置离线计算节点的调度信息。支持在开发场景中新建...

新建开发环境场景并运行

您可以通过新建开发环境场景,并在开发环境场景画布中编排节点工作流、配置运行参数,来验证数据处理流程的正确性。本文以MaxCompute节点搭建流程为例介绍如何新建开发环境场景并运行。前提条件 已创建相关的云计算资源,具体操作,请参见 ...

新建开发环境场景并运行

您可以通过新建开发环境场景,并在开发环境场景画布中编排节点工作流、配置运行参数,来验证数据处理流程的正确性。本文以MaxCompute节点搭建流程为例介绍如何新建开发环境场景并运行。前提条件 已创建相关的云计算资源,具体操作,请参见 ...

查看公共表

说明 标准模式工作空间下,公共表包括 开发环境 和 生产环境。简单模式工作空间下,公共表仅包括 生产环境。蓝色表示当前环境。表名 相应工作空间下表的名称。列信息 查看当前表的字段数量、字段类型及描述。分区信息 查看当前表的分区信息...

测试API

说明 配置API后,系统会自动生成异常返回示例和错误码,但无法自动生成正常返回示例,但正常返回示例对于API的调用者来说,具有非常重要的参考意义,请务必选中 自动保存正常返回示例 以生成正常返回示例。如果返回结果中有敏感数据需要...

表管理

说明 仅标准模式工作空间的表区分 开发环境 和 生产环境,简单模式工作空间的表仅包括 生产环境。默认展示5000张数据表,建议您使用搜索功能查找表。目前仅MaxCompute、Hologres引擎支持 按引擎元数据查看 展示目标表,其余引擎(例如,EMR...

DataWorks On Hologres使用说明

创建Hologres数据源 开发前准备:绑定数据源或集群 协同开发环境准备 为保障RAM用户以工作空间为单位进行协同开发,您需执行如下操作:需将进行协同开发的RAM用户添加为当前工作空间的成员,并授予其开发角色。将工作空间成员添加至...

代码解析结果对比

背景信息 如果在提交节点时,当前版本的调度依赖(自动解析结果结合您在调度配置>调度依赖区域自行修改的输入输出结果)与开发环境或生产环境该节点的调度依赖不一致时,将出现输入输出变更提示(当前最新版本与上个版本比较,新增或删除了...

开发天猫精灵智能应用

这些配置会注入到工程当中,以区别三套环境,代码配置中通过占位符来应用,如果代码需要读取,可以通过读取环境变量的方式获取。PS:域名绑定输入框中,会自动为您绑定精灵平台为该技能分配的二级域名,请不要修改,否则您的技能应用将不能...

HoloStudio快速入门

说明 Hologres在标准DataWorks工作空间分开发环境和生产环境,但由于当前HoloStudio暂不支持环境切换,导致生产环境的数据在HoloStudio不可查询,建议开发和生产绑定同一个DB。已有工作空间 如果您已创建DataWorks工作空间,可以直接使用该...

创建并使用MaxCompute资源

说明 开发环境和生产环境的数据源信息存在差异,查询对应环境的表、资源等操作前,请先明确相应环境的数据源信息。查看不同环境对应的MaxCompute数据源信息,详情请参见 查看MaxCompute数据源。资源管理 DataWorks仅支持查看与管理通过...

为工作空间添加空间成员

本文主要以使用正式开发环境为例,为您介绍开发前如何添加及管理DataWorks工作空间成员。操作步骤 进入 工作空间 管理页面。登录 DataWorks控制台。在左侧导航栏,单击 工作空间列表。进入工作空间配置。您可通过如下两种方式进入:方式一...

创建Hologres数据源

说明 标准模式工作空间,需分别创建开发环境数据源和生产环境数据源。工作空间模式,详情请参见 必读:简单模式和标准模式的区别。参数 说明 数据源名称 定义数据源在DataWorks的名称,名称必须唯一。认证方式 新建数据源时无需配置,默认...

任务调试流程

新建临时查询文件 若您仅需在数据开发(DataStudio),即开发环境,查询数据及相关SQL代码,测试代码的实际情况与期望值是否相符或验证代码的正确性;而无需将数据或SQL代码发布至生产环境操作生产环境引擎,则可通过 新建临时查询文件 ...

创建ClickHouse数据源

说明 标准模式工作空间,需分别创建开发环境数据源和生产环境数据源。工作空间模式,详情请参见 必读:简单模式和标准模式的区别。参数 说明 数据源名称 定义数据源在DataWorks的名称,名称必须唯一。配置模式 目前支持通过 连接串模式 增...

环境准备

步骤三:绑定引擎 本示例创建的是一个标准模式的DataWorks工作空间,对应两个MaxCompute项目,一个生产环境和一个开发环境,以下为您介绍在本实验中绑定MaxCompute引擎时的配置要点:环境 参数 说明 生产环境 MaxCompute项目名称:retail_e...

通过密钥认证登录Linux实例

ssh-i[.pem私钥文件在本地机上的存储路径]username@[公网IP地址]示例如下:ssh-i~/.ssh/ecs.pem ecs-user@10.10.xx.xxx 在支持SSH命令的环境中使用密钥对(通过config文件配置信息)本节介绍如何在支持SSH命令的环境(例如Linux、Windows下...

创建AnalyticDB for PostgreSQL数据源

说明 标准模式工作空间,需分别创建开发环境数据源和生产环境数据源。工作空间模式介绍,详情请参见 必读:简单模式和标准模式的区别。方式一:通过阿里云实例模式创建数据源 配置基础信息。参数 说明 数据源名称 定义数据源在DataWorks的...

创建AnalyticDB for MySQL3.0数据源

说明 标准模式工作空间,需分别创建开发环境数据源和生产环境数据源。工作空间模式介绍,详情请参见 必读:简单模式和标准模式的区别。方式一:通过阿里云实例模式创建数据源 创建数据源配置如下。配置基础信息。参数 说明 数据源名称 定义...

配置设备端OTA升级

准备开发环境 本文使用Linux下的设备端C语言SDK。该SDK的编译环境推荐使用64位的Ubuntu16.04。SDK的开发编译环境会用到以下软件:make(4.1及以上版本)、gcc(5.4.0及以上版本)。可以使用如下命令行安装:sudo apt-get install-y build-...

创建并管理工作空间

标准模式的工作空间需分别配置生产环境和开发环境的参数。简单模式 的工作空间可选择升级为 标准模式,升级入口仅阿里云主账号可见,详情请参见 场景:工作空间模式升级(简单模式升级标准模式)。负责人 当前工作空间的所有者,拥有删除、...

确认表血缘

开发环境确认上下游表数据依赖 您可进入上游节点的编辑界面,查看上游节点调度参数配置与节点代码详情。生产环境确认上下游表数据产出 跨空间依赖确认上游表血缘 若您需依赖其他工作空间的节点,可通过数据地图确认表数据每日写入情况。...

常见问题

如果 App 打包使用开发证书,那么 push 控制台配置需使用开发环境证书;Xcode 连真机调试,需要使用开发者证书。如果 App 打包使用生产证书,那么 push 控制台配置需要使用生产环境证书。消息状态是 DeviceTokenNotForTopic 此状态只会出现...

消息推送常见问题

如果 App 打包使用开发证书,那么 push 控制台配置需使用开发环境证书;Xcode 连真机调试,需要使用开发者证书。如果 App 打包使用生产证书,那么 push 控制台配置需要使用生产环境证书。消息状态是 DeviceTokenNotForTopic 此状态只会出现...

导入发布包

设置替换的配置项及替换值 配置生产环境和开发环境的替换配置项。单击 新建配置项替换规则。在新建的配置项中配置替换规则。替换配置项根据数据源类型不同,支持不同替换配置项类型,请以实际操作为准。如MaxCompute支持Endpoint、Project ...

导入发布包

设置替换的配置项及替换值 配置生产环境和开发环境的替换配置项。单击 新建配置项替换规则。在新建的配置项中配置替换规则。替换配置项根据数据源类型不同,支持不同替换配置项类型,请以实际操作为准。如MaxCompute支持Endpoint、Project ...
共有200条 < 1 2 3 4 ... 200 >
跳转至: GO
产品推荐
云服务器 安全管家服务 安全中心
这些文档可能帮助您
大数据开发治理平台 DataWorks 移动开发平台 mPaaS 云服务器 ECS 云解析DNS 云数据库 RDS 弹性公网IP
新人特惠 爆款特惠 最新活动 免费试用