文档修订记录

DataWorks数据安全治理路线 2023年12月更新记录 时间 特性 类别 描述 产品文档 2023.12.29 新增功能 数据开发 若您要在DataWorks中进行数据建模、数据开发或使用运维中心周期性调度任务,需先将已创建的数据源或集群绑定至数据开发...

使用开发小助手

本文将从接入、启动和拓展三方面向您介绍如何使用开发小助手。接入开发小助手 前置条件 已使用组件化 Portal&Bundle 接入方式接入 mPaaS。接入步骤 您只需在 Portal 工程的 build.gradle 文件中加入如下代码,即可完成开发小助手的接入。...

如何通过 mPaaS 框架解决 App 线上问题

问题描述 一般情况下,在 App 发布或更新上线之后,所发布的版本基本就脱离了开发者的控制。如果这时发现 APP 存在 Bug,传统手段一般只能通过发布新版本来修复 Bug。这种方式有着明显的弊端如效率低,用户体验不佳等。mPaaS 提供了多种运...

WordPress建站

需要把MySQL所有表删除,或者重启MySQL应用,重新初始化WordPress。知识点总结 在“应用配置”中配置数据库连接信息,然后在代码中可以通过环境变量方式获取,这样可以支持多个环境配置不一样而不污染代码:`$dbHost=getenv('db_host');` `...

注册CDH或CDP集群至DataWorks

DataWorks提供了与CDH(Cloudera’s Distribution Including Apache Hadoop,以下简称CDH)和CDP(Cloudera Data Platform,以下简称CDP)集群对接的能力,您可在DataWorks中注册CDH及CDP集群,进行任务开发、调度、数据地图(元数据管理)...

加工数据

登录 DataWorks控制台,单击左侧导航栏的 数据建模与开发>数据开发,在下拉框中选择对应工作空间后单击 进入数据开发。在 数据开发 页面,展开目标业务流程。右键单击 MaxCompute,选择 新建表。在 新建表 对话框中,输入表名称,单击 新建...

建表并上传数据

登录 DataWorks控制台,切换至目标地域后,单击左侧导航栏的 数据建模与开发>数据开发,在下拉框中选择对应工作空间后单击 进入数据开发。在 数据开发 页面,鼠标悬停至 图标,单击 新建表>MaxCompute>表。您也可以打开相应的业务流程,右...

配置任务调度

如果您使用的是 标准模式 的工作空间,提交成功后,开发环境便有了该同步任务,如果需要将其发布至 生产环境 进行 周期性调度,请单击左上角的 任务发布。在此界面将同步任务发布至生产环境。具体操作请参见 发布任务。同步任务只有提交至...

必读:简单模式和标准模式的区别

实现:您需要准备两个简单模式工作空间,一个空间作为开发环境,一个空间作为生产环境,并通过跨空间发布的方式将作为开发环境工作空间下的任务发布至作为生产环境的工作空间,从而实现开发环境与生产环境隔离。简单模式实现跨空间发布详情...

数据治理中心概述

数据治理中心可自动发现平台使用过程中数据存储、任务计算、代码开发、数据质量及安全等维度存在的问题,并通过健康分量化评估,从全局、工作空间、个人等多个视角,以治理报告及排行榜呈现治理成果,帮助您高效达成治理目标。同时,提供...

分析业务过程

您可以参考业务规划设计文档以及业务运行(开发、设计、变更等)相关文档,全面分析数据仓库涉及的源系统及业务管理系统:每个业务会生成哪些数据,存在于什么数据库中。对业务过程进行分解,了解过程中的每一个环节会产生哪些数据,数据的...

Flow使用高阶帮助

您在 云开发平台 部署应用服务为 ECI 或 SAE 的应用时,背后会用到阿里云云效 Flow 的CICD功能。Flow 是什么「Flow」,是「云效」产品矩阵中一款企业级、自动化的研发交付流水线,提供灵活易用的持续集成、持续验证、持续发布功能,帮助...

DataWorks V2.0

DataWorks V2.0版本操作差异 您可参见DataWorks V2.0系列详解视频,对DataWorks V2.0各功能模块的特性进行深入学习:DataWorks V2.0数据开发功能与用法解析 DataWorks V2.0数据集成简介与最佳实践 DataWorks V2.0智能监控简介与最佳实践 ...

独享资源组

切换在数据开发测试运行时任务使用的资源组:如果您需要切换测试运行时的调度资源组,请选择 高级运行。切换生产调度运行时任务使用的调度资源组:在数据开发界面通过发布流程切换生产任务执行时使用的调度资源组。在数据开发界面打开节点 ...

创建业务流程

创建业务流程 登录 DataWorks控制台,单击左侧导航栏的 数据建模与开发>数据开发,在下拉框中选择对应工作空间后单击 进入数据开发。在 数据开发 页面,鼠标悬停至 图标,单击 新建业务流程。在 新建业务流程 对话框中,输入 业务名称 和 ...

采集数据

说明 开发环境的数据源创建完成后,需要勾选 生产,以同样方式创建生产环境的数据源,否则任务生产执行会报错。Endpoint 输入 http://oss-cn-shanghai.aliyuncs.com 。Bucket 输入 new-dataworks-workshop。AccessKey ID&AccessKey Secret ...

应用配置

应用配置 说明 在应用开发中,代码和配置的区别在于,代码不会随着部署环境而变化,而配置则相反。在实践中,应该尽可能把配置从应用中分离出来,进行外部化管理,构建出来的二进制工件中不包含任何配置信息,实际的配置值在部署时根据环境...

建模空间

当您所需要管理多个DataWorks工作空间且需要复用一套数仓规划时,面对跨多个工作空间的复杂数据体系,可以通过设计空间来共享一套数据建模工具,针对整个数据体系进行统一的数仓规划、维度建模及指标定义等工作。本文为您介绍DataWorks建模...

任务调度属性配置概述

若任务需要周期性调度运行,您需定义该任务的调度相关属性,包括调度周期、调度依赖、调度参数等。本文为您介绍调度配置的相关内容。前提条件 已创建节点。DataWorks基于节点进行任务开发,不同类型的引擎任务在DataWorks上被封装为不同...

准备环境

步骤四:配置DataWorks on EMR开发环境 在DataWorks上运行EMR作业前,您需要配置如下开发环境:购买并配置独享调度资源组。独享调度资源组是一种专门的计算资源,用于保障任务能够按时被调度执行。购买一个独享调度资源组,并与当前EMR集群...

空间级模块权限管控

背景信息 序号 内容 相关文档 1 DataWorks工作空间为多角色协同开发的基本单元,所有开发工作都将在具体的工作空间内开展,若您需要RAM用户(子账号)协同开发,则需将RAM用户加入工作空间并按照职能为该用户分配空间角色。DataWorks预设...

权限管理与规范化数据开发

需要授权数据开发人员“DataWorks开发角色”即可完成所有数据仓库开发工作。安全、规范。具备安全、规范的代码发布管控流程(包含代码评审、代码DIFF查看等功能),保障生产环境稳定性,避免不必要的因代码逻辑引起的脏数据蔓延或任务报...

断点调试

断点调试 开发过程中通过打断点进行debug解决许多问题,使用云开发平台也可以通过断点调试云函数,这需要搭配云开发平台提供的调试运行时一起使用。断点调试目前支持Nodejs与Python技术栈 Nodejs调试 本次演示一个基于Koa的hello项目断点...

基础开发步骤

本文整体阐述自定义页面组件开发开发步骤。概述 开发自定义页面组件,一般分为三步:开发满足功能的react组件。配置自定义页面组件的prop和配置文件。包装react组件,处理prop的加工传递。步骤一、开发react组件 开发自定义页面组件,...

调度周期:年调度

配置示例 配置路径 您需要进入数据开发节点的编辑页面,单击右侧导航栏的 调度配置,在 调度配置>时间属性 区域配置节点的调度周期。场景示例 配置详情 目标任务配置在每年的一月、四月、七月、十月的1日和最后一日运行,则在上述指定日期...

SpringMVC应用迁移方案

以满足云开发平台构建镜像的规范(必须遵守以下约定来修改):`<properties>` `${project.artifactId}</applicationName>` `</properties>` `.` `<build>` `${applicationName}</finalName>` `.` `</build>` 如果需要支持本地开发,...

发布与使用

个人组件开发验证完成后,为方便开发者使用个人组件开发可视化Web应用,需要完成个人组件的发布。本文介绍如何发布个人组件。背景信息 个人组件开发完成后:支持开发者在Web可视化编辑页面的个人开发组件列表预览未发布组件。支持开发者...

团队合作开发

开发平台通过设计,使得您的应用在第一次被初始化,准备完环境之后,未来所有的开发者加入,都不需要额外去准备开发环境,任何一个新的开发者加入到任何一个新的应用,立即就可以开始进行业务逻辑的开发。云开发平台允许团队管理员去为每...

创建业务流程

DataWorks的 业务流程 开发结构满足根据业务视角来组织数据开发任务的需求,也提供了 周期业务流程 和 手动业务流程 两种,以满足需要周期性调度和无需周期性调度手动触发运行的场景。本文为您介绍如何创建、设计、提交和查看业务流程,...

mPaaS Android 工程如何在多套开发环境间切换

mPaaS Android 60 基线提供了多套开发环境间切换的能力,能够帮助开发者在多套开发环境间(如:开发 DEV/测试 TEST/体验 UAT/线上 PROD)方便自如地进行切换。涉及 mPaaS 的改动 对于 mPaaS 开发者,在切换开发环境的过程中,涉及到以下...

与本地 CI/CD hook 集成

阿里云 云开发平台 平台不仅支持在线 CloudIDE 开发、测试和 CI/CD,同时支持本地开发。在本地环境下,云开发平台在不影响原有开发流程的前提下提供 hook 文件支撑项目本地 CI/CD,让您的原有项目轻松升级到云原生 Serverless 架构。Hook ...

产品优势

阿里云智联车管理云平台具有以下优势:基于智联车管理云平台的车辆研发 传统车辆研发 一站式服务 开通IoV CC服务,只需要端侧集成IoV CC SDK,就可在云端实现对智联车车辆设备的状态查看、追踪、远程诊断、升级、预警等一系列的云端管理...

安装 AntCubeTool

本文介绍了安装蚂蚁动态卡片开发工具 AntCubeTool 时需要的准备工作和安装过程。准备 安装和配置 Node.js 环境。ACT 基于 Node.js 进行设计开发,在使用 ACT 之前请确保已正确安装和配置 Node.js 环境。Node.js 版本不低于 LTS v14,可使用...

执行冒烟测试

完成代码开发后,您需要调试运行。本文为您介绍如何在开发环境进行冒烟测试。背景信息 为保障调度节点任务执行符合预期,建议您在发布前对任务进行冒烟测试。在使用调度参数的场景下,您也可以通过冒烟测试校验调度场景下的参数替换情况。...

工作空间概述

后续:开始数据开发 创建工作空间并分配空间成员角色权限后,您可根据各角色定义的权限前往数据开发DataStudio模块开始数据开发工作,数据开发模块的入门教程详情请参见:数据开发开发者。相关文档 在阅读工作空间的概述后,若您想创建...

数据开发:开发者

本文以使用MaxCompute数据源,在DataWorks上运行MaxCompute作业任务为例,为您介绍开发人员如何使用数据开发(DataStudio)创建一个周期调度任务,帮助您快速了解数据开发(DataStudio)模块的基本使用。前提条件 已完成开发前的环境准备,...

系统权限申请与使用说明

移动开发平台 mPaaS 不会默认开启这些权限,仅在您主动确认开启的情况下,移动开发平台 mPaaS 才有可能通过这些权限收集您的信息。重要 移动开发平台 mPaaS 获取具体某一项权限并不代表移动开发平台 mPaaS 必然会收集您的信息;即使您已经...

StarRocks

DataWorks的StarRocks节点可进行StarRocks任务的开发和周期性调度,以及与其他作业的集成操作。本文为您介绍使用StarRocks节点进行任务开发的主要流程。背景信息 StarRocks是新一代极速全场景MPP(Massively Parallel Processing)数据库,...

Oracle节点

DataWorks的Oracle节点可进行Oracle任务的开发和周期性调度,以及与其他作业的集成操作。本文为您介绍使用Oracle节点进行任务开发的主要流程。背景信息 Oracle是用于存储和处理数据的关系型数据库管理系统(RDBMS),为您提供可靠、高效且...

SQL Server节点

DataWorks的SQL Server节点可进行SQL Server任务的开发和周期性调度,以及与其他作业的集成操作。本文为您介绍使用SQL Server节点进行任务开发的主要流程。背景信息 SQL Server是用于存储和处理数据的关系型数据库管理系统(RDBMS),为您...
共有200条 < 1 2 3 4 ... 200 >
跳转至: GO
产品推荐
云服务器 安全管家服务 安全中心
这些文档可能帮助您
大数据开发治理平台 DataWorks 云数据库 RDS 文件存储 CPFS 移动开发平台 mPaaS 云解析DNS 弹性公网IP
新人特惠 爆款特惠 最新活动 免费试用