入门概述

但在提交任务时,不会区分开发环境和生产环境。通常,通过DataWorks的工作空间实现数据开发和运维包含以下操作:建表并上传数据 创建业务流程 创建同步任务 设置周期和依赖 运行及排错 使用临时查询快速查询SQL(可选)下图为数据开发和运...

RunSmokeTest

ProjectEnv String 是 PROD 工作空间的环境,包括PROD(生产环境)和DEV(开发环境)。简单模式的工作空间无开发环境,详情请参见 简单模式和标准模式的工作空间。Bizdate String 是 2020-05-26 00:00:00 业务日期。Name String 是 xm_...

MaxCompute资源管理

数据开发 面板中的资源只有 同时上传到MaxCompute,并 提交 或 发布 后,才会出现在 MaxCompute资源 面板的开发环境或生产环境中。通过MaxCompute客户端、MaxCompute Studio等非DataWorks渠道上传的资源文件,不会在 数据开发 面板显示,但...

管理数据源权限

从简单模式工作空间分享至标准模式工作空间:数据源在标准模式工作空间下变为两个,分别对应开发环境和生产环境,且内容一致。从标准模式工作空间分享至标准模式工作空间:不同环境的数据源,分享后在目标工作空间内,仍然对应各自的环境。...

平台安全诊断

计算引擎生产开发环境隔离 说明 标准模式工作空间下支持将计算引擎生产、开发环境进行区分隔离,避免生产环境中的数据从开发环境泄露。DataWorks工作空间引擎 此安全检测项为您扫描当前地域下哪些工作空间绑定的计算引擎实例存在开发、生产...

查看版本

状态 已提交:节点已提交至开发环境,但未创建发布包并发布至生产环境。您可进入发布页面发布该节点,详情请参见 发布任务。中间版本:节点已提交至开发环境并且已创建发布包,但未发布至生产环境。节点处于待发布状态。您可进入发布页面...

MaxCompute数据权限控制详情

DataWorks通过空间预设角色或空间自定义角色与开发环境引擎Role映射,来让被授予空间角色的RAM用户,拥有该空间角色映射的开发引擎Role所拥有的MaxCompute引擎权限,但默认无生产权限,本文为您介绍预设角色权限基本情况、MaxCompute权限...

准备环境

开发个人组件前,需要配置开发环境和初始化开发项目。步骤一:安装Node.js运行环境 需要安装8.9 LTS以及以上版本:单击并选择版本下载。步骤二:安装npm包管理工具 内测用户先使用bnpm,正式开放之后会迁移至aliplus源,使用npm即可。打开...

搭建开发环境

HaaS Studio HaaS Studio是AliOS Things配套的开发环境基于VS Code的插件。VS Code安装完成后,可在VS Code的插件市场搜索“haas-studio”,然后点击“install”安装。配置VS Code“代码修改”、“编译”以及“烧入”都是在VS Code中完成的...

数据开发与运维中心:数据加工

核心技术与架构 高效、规范的开发流程 说明 DataWorks提供标准模式的工作空间,可隔离开发环境与生产环境,标准模式的详细介绍可参见 简单模式和标准模式的区别。可视化的开发界面 支持通过拖拉拽的方式构建任务流程,在统一的界面进行数据...

开发前准备:绑定数据源或集群

数据源缺失开发环境或生产环境。说明 不同数据源或集群无法绑定至DataStudio(数据开发)的原因存在差异,平台会自动展示不支持绑定的原因,您可基于具体原因进行排查处理。当前仅支持绑定MaxCompute、E-MapReduce、Hologres、AnalyticDB ...

自定义配置

否:设置一个通用的 值,适用于开发环境、预览环境和生产环境。值 自定义,字符串类型,字符长度小于等于1024。配置的值可用于:API集成时的授权信息。通过getConfig()函数传递的变量值。单击 确定。使用场景 集成API中配置Auth授权 通过...

MaxCompute数据离线同步至ClickHouse

说明 此处会展示ClickHouse数据源开发环境地的表列表和表结构,如果您的ClickHouse数据源开发和生产环境的表定义不同,则可能出现任务在开发环境配置正常但提交生产运行后报错表不存在、列不存在的问题。导入前准备语句、导入后完成语句 您...

荣耀推送

开发环境准备,开发环境需要符合荣耀推送集成的环境,具体可以参考 开发准备-环境信息。添加配置文件。在 荣耀开发者服务平台 中下载 mcs-services.json 配置文件,具体参考 添加应用配置文件。配置 SDK 的仓库地址。具体参考官方链接文档 ...

批量操作

此界面的批量修改、提交仅对开发环境生效,如果您需要修改生产环境节点、资源、函数,批量修改并提交后,您需要进入任务发布界面,将刚刚的变更操作发布至生产环境。您可单击右上角的 历史操作记录,跳转至操作历史界面查看历史操作详情。

什么是主机应用部署

通过预置开发环境,使用智能编码能力,即可快速地编辑、调试、运行、部署云端代码。在线构建部署 云效Flow,是一款企业级、自动化的研发交付流水线,提供灵活易用的持续集成、持续验证、持续发布功能,帮助企业高质量、高效率的交付业务。...

应用提交和预览

预览应用:查看应用的设计效果,符合预期时,则可以发布到开发环境进行测试。说明 仅支持在应用设计器内预览,模块设计器内支持提交和发布。提交应用 单击页面右上角,顶部功能区的 提交,弹出 变更提交 对话框。在 变更提交 对话框中,...

扩展程序概述

产品能力 DataWorks作为阿里云一站式大数据开发与治理平台,在各项能力支持上预设了很多拓展点,例如,在标准模式下,简略来看,节点创建后完成代码开发后,需先提交到开发环境中进行验证,完成后再正式发布到生产环境中,后续每天根据调度...

调度依赖配置指引

节点唯一性相关 开发环境与生产环境节点形态不同但节点唯一:同一节点在开发环境和生产环境中的调度依赖配置可以不同,即同一个节点在开发环境和生产环境可以拥有两种不同的形态,但节点唯一。下线节点前需在开发环境与生产环境同时移除...

示例:开发中心应用

单击正在部署应用的环境(示例开发环境)卡片,在 应用部署实例 面板的 部署记录 区域,先找到 状态 为 执行中 的 部署记录,再单击其右侧的 日志,您能够了解到当前部署记录的运行情况和详细信息。刷新页面,待部署 状态 为 部署成功 后,...

MySQL节点

标准模式工作空间下,MySQL节点选择数据源时,无法下拉选择只配置开发环境但未配置生产环境的数据源。所以创建MySQL数据源时,您需要同时配置开发环境与生产环境的数据源。使用限制 MySQL节点仅支持对连接串模式创建的生产环境MySQL数据源...

创建并管理工作空间

生产、开发环境隔离 定义工作空间模式,即工作空间的生产环境和开发环境是否隔离。是:需隔离生产、开发环境,该方式创建的工作空间为标准模式工作空间。否:无需隔离生产、开发环境,该方式创建的工作空间为简单模式工作空间。工作空间...

UpdateNodeRunMode

ProjectEnv String 是 PROD 运行的环境,包括开发环境(DEV)和生产环境(PRD)。RegionId String 是 cn-shanghai 地域信息,通常是服务所在的地域。例如,华东2(上海)是cn-shanghai,华北3(张家口)是cn-zhangjiakou。您无需填写...

GetDeployment

CheckingStatus Integer 7 当前发布包涉及节点的检查状态,当发布包的目标环境是开发环境(toEnviroment=1)时,只有发布包的Status为1并且CheckingStatus为空时,才可以继续进行文件到生产环境的发布。7:检查未通过 8:正在处于检查中的...

加工数据

完成设置后,分别单击 提交到开发环境 和 提交到生产环境。设计业务流程 业务流程的新建及依赖关系的配置请参见 新建业务流程。进入业务流程开发面板,并向面板中拖入两个ODPS SQL节点,依次命名为 数据清洗 和 数据汇聚,并配置如下图所示...

UpdateNodeOwner

ProjectEnv String 是 PROD 运行的环境,包括开发环境(DEV)和生产环境(PRD)。RegionId String 是 cn-shanghai 地域信息,通常是服务所在的地域。例如,华东2(上海)是cn-shanghai,华北3(张家口)是cn-zhangjiakou。您无需填写...

附录:DataWorks开放平台示例代码库

工程初始化 步骤一:准备开发环境 安装Java JDK。安装Java JDK(Java开发工具包),您可在Oracle 官方网站,下载与您操作系统兼容的Java JDK版本。说明 本示例中使用的JDK需是 Java 1.8或以上 版本。安装成功后,打开命令提示符或终端,...

准备环境

步骤四:配置DataWorks on EMR开发环境 在DataWorks上运行EMR作业前,您需要配置如下开发环境:购买并配置独享调度资源组。独享调度资源组是一种专门的计算资源,用于保障任务能够按时被调度执行。购买一个独享调度资源组,并与当前EMR集群...

采集数据

表信息确认无误后,将ods_user_info_d表和ods_raw_log_d表分别单击 提交到开发环境 和 提交到生产环境,此操作将根据您的节点配置在开发环境与生产环境对应计算引擎项目分别创建目标引擎物理表。说明 表结构定义完成后,您需将其提交至开发...

查看公共表

说明 标准模式工作空间下,公共表包括 开发环境 和 生产环境。简单模式工作空间下,公共表仅包括 生产环境。蓝色表示当前环境。表名 相应工作空间下表的名称。列信息 查看当前表的字段数量、字段类型及描述。分区信息 查看当前表的分区信息...

创建临时查询

背景信息 若您仅需在数据开发(DataStudio),即开发环境,查询数据及相关SQL代码、测试代码的实际运行情况与期望值是否相符,或验证代码的正确性,而无需将数据或SQL代码发布至生产环境并操作生产环境引擎,则可通过 新建临时查询文件 ...

测试分析方案报告

测试过程管理 测试版本控制 代码从测试环境发布至开发环境后,需描述此部分。项目交付测试通过后,每天上午9点、下午3点接受开发提交的新版本,其他时间测试环境不接受变更。版本号 更新日期 触发情况 测试环境描述 对测试环境给出逻辑图...

功能简介

支持开发环境中场景的运行和上线,并将开发环境中调试通过的场景发布到生产环境。支持新建、编辑和删除开发场景目录。支持新建、编辑、删除开发场景。支持在开发场景中引用公共节点,并配置离线计算节点的调度信息。支持在开发场景中新建...

功能简介

支持开发环境中场景的运行和上线,并将开发环境中调试通过的场景发布到生产环境。支持新建、编辑和删除开发场景目录。支持新建、编辑、删除开发场景。支持在开发场景中引用公共节点,并配置离线计算节点的调度信息。支持在开发场景中新建...

创建并配置发布环境

例如,简单模式工作空间的开发环境和生产环境是分隔的,您可以直接使用 跨工作空间发布,无需逐个创建即可将开发环境的节点批量发布至生产环境中进行发布调度,详情请参见 发布任务。跨云发布:用于跨账号、跨地域或跨云平台(例如,金融云...

通用参考:切换资源组

开发环境切换资源组后,您可以通过 发布流程 修改生产环境任务所使用的资源组。若要设置任务默认调度资源组及数据集成资源组,可在数据开发 设置>调度设置 面板操作。详情请参见 调度设置。注意事项 您可通过切换资源组切换调度任务所...

离线数据加工卡点

回归测试需要您能充分模拟真实环境进行测试:对于标准模式项目,您可使用SQL语句将数据从生产环境复制到开发环境,运行业务流程,观察是否存在报错。对于简单模式的项目,您可以直接运行业务流程,观察是否存在报错。由于本教程使用简单...

加工数据

表结构定义完成后,分别单击 提交到开发环境 和 提交到生产环境,系统将根据您的配置在开发环境与生产环境对应计算引擎项目分别创建目标引擎物理表。提交表至DataWorks的开发环境,即在开发环境所绑定的MaxCompute引擎中创建当前表。提交表...

DeleteQualityRelativeNode

计算引擎所属的环境,包括开发环境(DEV)和生产环境(PRD)。MatchExpression String 是 dt=$[yyyymmdd]分区表达式。NodeId Long 是 156234 节点ID。ProjectId Long 是 12345 工作空间的ID。TargetNodeProjectName String 是 autotest ...

测试API

测试开发中的API 测试开发中的API是指在 服务开发 页面(即开发环境)进行测试,您需要先生成或注册API。详情请参见 生成API概述 或 注册API。登录 DataWorks控制台,单击左侧导航栏的 数据服务,在下拉框中选择对应工作空间后单击 进入...
共有200条 < 1 2 3 4 ... 200 >
跳转至: GO
产品推荐
云服务器 安全管家服务 安全中心
这些文档可能帮助您
大数据开发治理平台 DataWorks 数据库备份 DBS 云数据库 RDS 移动开发平台 mPaaS 物联网无线连接服务 弹性公网IP
新人特惠 爆款特惠 最新活动 免费试用