执行冒烟测试
本文为您介绍如何在开发环境进行冒烟测试。背景信息 为保障调度节点任务执行符合预期，建议您在发布前对任务进行冒烟测试。在使用调度参数的场景下，您也可以通过冒烟测试校验调度场景下的参数替换情况。进入数据开发 进入数据开发。登录 ...
入门实践
提交模型至开发环境计算引擎 保存数据模型后，DataWorks开发角色需要先提交数据模型至开发环境计算引擎。测试无误后，再发布至生产环境。进入 数据开发 页面。登录 DataWorks控制台，单击左侧导航栏的 数据建模与开发>数据开发，在下拉框中...
概述
本文介绍通过使用该工具，快速搭建室内温度监控应用，监测室内温湿度和空气质量，并手动控制空调和空气净化器设备，调节室内温湿度和空气质量。背景信息 移动可视化开发是物联网应用开发（IoT Studio）提供的开发工具。无需写代码，只需在...
移植概述
本文介绍在移植C Link SDK过程中，需要实现的系统依赖接口及函数说明。整体框架 C Link SDK支持在不同操作系统或硬件平台上运行，是因为C Link SDK与系统或硬件平台相关的操作，都被抽象为HAL函数。因此，设备商在开发产品时，不仅需要调用...
创建并使用MaxCompute表
提交并发布MaxCompute表 表结构定义完成后，您需将其提交至开发环境与生产环境，提交成功后才可在对应环境的引擎项目查看该表。说明 不同模式工作空间，MaxCompute表的提交发布说明如下：简单模式：仅需将表提交至生产环境。标准模式：仅 ...
如何获取Request ID
本文介绍通过开发者工具获取Request ID的方法。操作步骤 在浏览器页面按下 F12 键，打开开发者工具页面。本文以Windows系统的Chrome浏览器为例进行介绍。在开发者工具页面，单击 Network。在控制台上执行相关请求，例如创建实例、变配实例...
数据开发与运行
说明 如果您的DataWorks为标准模式，则开发环境和生产环境分离，在DataWorks的DataStudio删除资源时，只删除了开发环境的资源，生产环境的资源需要将删除操作发布到生产环境，生产环境的资源才会被删除下线。在开发环境中删除资源。在对应...
访问DSW实例
本文为您介绍如何从控制台访问DSW实例，以及介绍DSW实例界面的功能特性，包括Notebook、WebIDE和Terminal模块的菜单栏、工具栏、工作区等，帮助您快速理解并熟练掌握界面布局。前提条件 已创建DSW实例，具体操作，请参见 创建DSW实例。控制...
审批负责人治理（Beta）
异常原因 系统检测到审批负责人异常的可能原因（优先级依此降低）：同时具备生产和开发环境时，生产表的审批负责人与开发表的审批负责人不相同。表（开发环境/生产环境）的审批负责人对应的云账号不复存在。表（开发环境/生产环境）的审批...
MySQL节点
所以创建MySQL数据源时，您需要同时配置开发环境与生产环境的数据源。使用限制 MySQL节点仅支持对连接串模式创建的生产环境MySQL数据源进行数据开发。您可以参考 配置MySQL数据源 进入 数据源管理 页面，单击目标数据源 操作 列的 编辑，在...
使用Python开发自定义Processor
步骤一：构建开发环境 您可以使用Pyenv或Conda等Python包管理工具构建开发环境。PAI提供了三种方式构建开发环境，EAS 提供的客户端工具EASCMD对构建过程进行了封装，执行一条命令即可完成Python SDK开发环境的构建。如果需要进行定制化，则...
概述
本文为您介绍使用MaxCompute前需要完成的工作规划及准备工作操作流程。准备工作规划 在开始使用MaxCompute前，您需要提前规划如下信息后再按照 操作流程 执行操作。准备项 说明 用户 规划使用MaxCompute产品的人员名单，以便于准备阿里云...
开发ODPS Spark任务
根据所使用系统类型，准备运行MaxCompute Spark任务的开发环境，详情请参见 搭建Linux开发环境、搭建Windows开发环境。开发Java/Scala代码。在ODPS Spark节点执行Java或Scala语言类型代码前，需先在本地或已有环境开发好MaxCompute Spark...
采集数据
表信息确认无误后，将ods_user_info_d表和ods_raw_log_d表分别单击 提交到开发环境 和 提交到生产环境，此操作将根据您的节点配置在开发环境与生产环境对应计算引擎项目分别创建目标引擎物理表。说明 表结构定义完成后，您需将其提交至开发...
数据开发：开发者
生成表结构后，在 基本属性 区域输入表的 中文名，并将其提交至开发环境与生产环境，提交成功后可在对应环境的数据源项目查看该表。查看各环境绑定的数据源信息，详情请参见 创建MaxCompute数据源。说明 表的新增、更新等操作均需要提交至...
创建CDH Impala节点
本文为您介绍如何创建与使用CDH Impala节点。使用限制 不支持 公共调度资源组 运行该类型任务。步骤一：创建CDH Impala节点 进入数据开发页面。登录 DataWorks控制台，切换至目标地域后，单击左侧导航栏的 数据建模与开发>数据开发，在下拉...
2018年功能发布记录
配置自定义域名 云端集成开发环境WebIDE 新增 函数计算WebIDE是一种云端的集成开发环境，您可以在浏览器里编写、运行和调试函数计算代码。它包括代码编辑器、文件树、运行调试器和命令终端，并且内置了fcli、Funcraft等开发工具。您编辑完...
2018年功能发布记录
配置自定义域名 云端集成开发环境WebIDE 新增 函数计算WebIDE是一种云端的集成开发环境，您可以在浏览器里编写、运行和调试函数计算代码。它包括代码编辑器、文件树、运行调试器和命令终端，并且内置了fcli、Funcraft等开发工具。您编辑完...
配置并使用调度参数
测试调度参数替换情况 4 通过开发环境冒烟测试功能，测试调度场景下代码执行与参数替换情况。测试代码执行及调度参数替换情况 5 测试通过后，任务发布至生产环境，您需在生产运维中心的周期任务界面，确认生产环境任务使用的调度参数是否...
创建EMR Presto节点
如果您希望在开发环境进行冒烟测试，可在执行节点提交，或节点提交后执行，冒烟测试，操作详情请参见 执行冒烟测试。后 续步骤 提交并发布节点任务。单击工具栏中的 图标，保存节点。单击工具栏中的 图标，提交节点任务。在 提交新版本 ...
MaxFrame概述
使用场景 MaxCompute MaxFrame使用场景如下：熟悉Python开发生态，需要开箱即用的Python开发环境，并快速进行数据科学、大规模数据处理及交互式数据探索等开发。处理数据量大、处理逻辑复杂，需要基于MaxCompute海量数据及弹性计算资源、...
开发ODPS Spark任务
根据所使用系统类型，准备运行MaxCompute Spark任务的开发环境，详情请参见 搭建Linux开发环境、搭建Windows开发环境。开发Java/Scala代码。在ODPS Spark节点执行Java或Scala语言类型代码前，需先在本地或已有环境开发好MaxCompute Spark...
创建CDH Presto节点
如果您希望在开发环境进行冒烟测试，可在执行节点提交，或节点提交后执行，冒烟测试，操作详情请参见 执行冒烟测试。后 续步骤 提交并发布节点任务。单击工具栏中的 图标，保存节点。单击工具栏中的 图标，提交节点任务。在 提交新版本 ...
加工数据
本文为您介绍如何通过DataWorks加工采集至MaxCompute的数据，并获取清洗后的数据。前提条件 开始本文的操作前，请首先完成 准备数据 中的操作。新建表 进入 数据开发 页面。登录 DataWorks控制台，切换至目标地域后，单击左侧导航栏的 数据...
创建CDH Hive节点
如果您希望在开发环境进行冒烟测试，可在执行节点提交，或节点提交后执行，冒烟测试，操作详情请参见 执行冒烟测试。后 续步骤 提交并发布节点任务。单击工具栏中的 图标，保存节点。单击工具栏中的 图标，提交节点任务。在 提交新版本 ...
创建EMR Kyuubi节点
如您希望在开发环境进行冒烟测试，查看调度节点任务的执行是否符合预期，则可在节点提交时，或节点提交后执行冒烟测试，操作详情请参见 执行冒烟测试。步骤五：提交发布任务 节点任务配置完成后，需执行提交发布操作，提交发布后节点即会...
什么是WebIDE
针对不同的Runtime，预置pip、npm和composer等常用的开发工具和编程语言开发环境。您可以直接在终端打包第三方依赖，而无需担心和线上环境有差异。内置Serverless Devs工具，并能自动根据您当前登录的账号完成Serverless Devs配置，无需再...
什么是WebIDE
针对不同的Runtime，预置pip、npm和composer等常用的开发工具和编程语言开发环境。您可以直接在终端打包第三方依赖，而无需担心和线上环境有差异。内置Serverless Devs工具，并能自动根据您当前登录的账号完成Serverless Devs配置，无需再...
创建CDH MR节点
如果您希望在开发环境进行冒烟测试，可在执行节点提交，或节点提交后执行，冒烟测试，操作详情请参见 执行冒烟测试。后续步骤 提交并发布节点任务。单击工具栏中的 图标，保存节点。单击工具栏中的 图标，提交节点任务。在 提交新版本 ...
创建EMR Spark节点
如果您希望在开发环境进行冒烟测试，可在执行节点提交，或节点提交后执行，冒烟测试，操作详情请参见 执行冒烟测试。后 续步骤 提交并发布节点任务。单击工具栏中的 图标，保存节点。单击工具栏中的 图标，提交节点任务。在 提交新版本 ...
加工数据
表结构定义完成后，分别单击 提交到开发环境 和 提交到生产环境，系统将根据您的配置在开发环境与生产环境对应计算引擎项目分别创建目标引擎物理表。提交表至DataWorks的开发环境，即在开发环境所绑定的MaxCompute引擎中创建当前表。提交表...
材料填写注意事项
二、软件技术特点 1、软、硬件环境、开发工具 PC端的硬件环境：处理器CPU，显卡，内存，硬盘，PC计算机等。PC端的软件环境：Windows，Linux，Mac OS，Unix，CentOS等。开发工具：可以填写开发工具（Eclipse，IDEA），编程语言（如：PHP），...
权限管理与规范化数据开发
Step4：数据建模 数据建模的流程包括：创建数据标准、创建数据模型、修改数据模型、保存模型至模型库、提交模型至开发环境计算引擎。操作详情请参见 概述。Step5：数据开发与生产 进行数据开发与生产前，您需要了解几个重要的概念。生产...
使用工作空间参数
同时，在标准模式工作空间下，生产环境和开发环境工作空间参数的取值可以不同。相关介绍 调度参数是DataWorks任务调度时使用的参数，可根据您配置的参数取值规则，在每次任务运行时自动替换为真实的取值。更多调度参数的介绍及使用，详情请...
创建并使用Notebook
云原生AI套件可按用户选择，将开源JupyterLab、用户自定义的Jupyter或者VSCode服务镜像，部署到ACK集群中作为AI模型集成开发环境，并将云原生AI套件中的自动配置与ACK集群中的用户权限机制集成。本文介绍如何通过云原生AI套件创建和使用...
HoloStudio快速入门
说明 Hologres在标准DataWorks工作空间分开发环境和生产环境，但由于当前HoloStudio暂不支持环境切换，导致生产环境的数据在HoloStudio不可查询，建议开发和生产绑定同一个DB。已有工作空间 如果您已创建DataWorks工作空间，可以直接使用该...
数据源开发和生产环境隔离
由于任务最终将发布生产环境执行，若数据源开发环境与生产环境配置不一致，请确保资源组可分别与开发数据源和生产数据源连通。新增数据源隔离模式后，对工作空间有以下影响：仅标准模式工作空间支持数据源开发生产隔离，即开发环境和生产...
实现开发生产等多套环境隔离
使用DataWorks进行大数据开发时，支持对开发、测试、生产等环境进行隔离，当您联合使用了其他阿里云产品时，也可根据环境隔离诉求进行对应业务的环境设置与隔离，本文以DataWorks联合EMR、OSS等产品为例，为您介绍如何实现开发生产等多套...
创建EMR Shell节点
为了满足特定业务需求，您可以在DataWorks中创建EMR Shell节点。通过自定义编辑Shell脚本，您能够进行数据处理、调用...如果您希望在开发环境进行冒烟测试，可在执行节点提交，或节点提交后执行，冒烟测试，操作详情请参见 执行冒烟测试。
创建CDH Spark节点
如果您希望在开发环境进行冒烟测试，可在执行节点提交，或节点提交后执行，冒烟测试，操作详情请参见 执行冒烟测试。后 续步骤 提交并发布节点任务。单击工具栏中的 图标，保存节点。单击工具栏中的 图标，提交节点任务。在 提交新版本 ...
- 产品推荐
- 这些文档可能帮助您