建站开发-建站开发文档介绍内容-阿里云

场景：数据开发定制化展示

角色模块展示空间管理员项目所有者安全管理员模型设计师开发运维数据开发（周期调度）数据开发（手动触发）表管理临时查询运行历史回收站发布任务运维中心说明安全管理员、模型设计师、运维角色在DataStudio界面只有只读...

概述

内部表为您提供可视化方式和PostgreSQL语句两种建表模式，满足不同开发层次的需求。Hologres开发基于DataWorks调度框架，构建MaxCompute离线数据到Hologres索引数据的周期。SQL Console 基于SQL编辑器，为您提供纯SQL语句的开发以及秒级...

DataWorks模块使用说明

使用流程概览：参考文档：DataWorks数据建模子模块：数据开发（DataStudio）功能说明：数据开发（DataStudio）是一站式大数据开发平台，支持在线开发MaxCompute、EMR、Hologres、CDP、ADB等多种大数据引擎的数据处理任务。它集成了强大的...

HoloStudio快速入门

DataWorks-HoloStudio作为基于交互式分析（Hologres）引擎的一站式开发平台，在为您提供SQL界面开发的同时，也支持使用可视化UI界面完成Hologres开发，同时也与DataWorks深度集成，方便您完成数据的周期性调度。本小节主要为您介绍使用...

开源自建对比

Serverless 应用引擎 SAE（Serverless App Engine）是面向应用的Serverless PaaS平台，提供成本更优、效率更高的一站式应用托管方案，容器新手也可以体验Serverless、K8s和微服务。您可以通过不同场景，对比 SAE 与开源自建产品在系统搭建...

开发管控：管理者

数据建模若需将建表入口统一收敛至数据建模，或定义在数据开发（DataStudio）中只允许创建或禁止创建符合某命名规则的表，可使用此功能。开放平台扩展程序扩展程序概述测试应用扩展程序流程管控展示数据治理检查项数据治理中心概述 ...

数据开发与运行

本文为您介绍数据开发的相关问题。资源如何在pyodps调用第三方包？如何在节点内使用资源？如何下载上传到DataWorks的资源？超过30M的资源如何上传？通过odpscmd上传的资源如何在DataWorks上使用？在DataWorks如何上传自己本地编写的jar并...

文档修订记录

附录：DataWorks访问其他引擎产品的服务关联角色 2023.5.11 新增功能数据开发您可通过关联远程仓库云效的方式，将Function Studio上的代码迁移至一站式BizDevOps平台云效统一管理。为您介绍如何将Function Studio中的代码迁移至云效服务...

使用内建函数

背景信息为了供您方便快捷的使用MaxCompute SQL进行数据分析和数据加工，MaxCompute提供了丰富的内建函数，以便您在日常开发和分析中使用，对于内建函数，您无需关注函数内部的实现逻辑，可直接进行调用。您可以根据需要从不同维度快速...

DataWorks准备工作流程

DataWorks是为您提供专业高效、安全可靠的一站式大数据开发与治理平台，使用其进行数据开发前，您需做好相关准备工作，保障后续开发任务可顺利执行。本文为您介绍DataWorks的购买及环境准备流程，帮助您快速开通DataWorks并准备所需开发...

系统管理

在该页面，您可进行如下功能的管控：建表策略管理代码生成策略管理发布策略管理建表策略管理配置并开启建表策略在建表策略管理页签，您可通过可视化方式配置数据开发（DataStudio）建表的相关限制策略，步骤如下图。策略说明如下：...

快速体验

DataWorks为您提供智能建模、数据清洗、周期调度运维、数据治理等一站式大数据开发管理能力，本文以一个零售电商行业的数仓搭建实验为例，为您介绍DataWorks在数仓搭建过程中的技术选型、技术流程以及流程实现，帮助您深入了解阿里云...

风险识别规则响应案例

步骤二：开发并部署扩展程序准备工作：开启消息订阅并注册扩展程序，获取开发扩展程序所需的必要信息，详情请参见开发部署扩展程序：自建服务方式。开发并部署扩展程序。根据已获取的信息，开发扩展程序并将其部署为一个应用服务，详情请...

DataWorks On MaxCompute使用说明

数据开发仅支持部分离线同步和实时同步场景，更多数据同步应用，请前往数据集成主站查看。数据开发：您无需接触复杂的命令行，便可在DataWorks中实现各类任务的开发及周期性调度。节点代码定义：MaxCompute语法创建并使用MaxCompute表 ...

DataWorks On Hologres使用说明

数据开发仅支持部分离线同步和实时同步场景，更多数据同步应用，请前往数据集成主站查看。数据开发：您无需接触复杂的命令行，便可在DataWorks中实现各类任务的开发及周期性调度。节点代码定义：Hologres开发指南 Hologres SQL节点一键...

快速体验

涉及产品本案例涉及以下产品：一站式大数据开发治理DataWorks 本案例通过DataWorks实现数据采集、加工、质量监控，以及数据可视化展现，您需提前开通该服务。详情请参见开通DataWorks服务。云原生大数据计算服务MaxCompute 实现底层加工...

DataWorks On CDP/CDH使用说明

数据同步：数据开发仅支持部分离线同步和实时同步场景，更多数据同步应用，请前往数据集成主站查看。数据开发：您无需接触复杂的命令行，便可在DataWorks中实现各类任务的开发及周期性调度。创建CDH Hive节点创建CDH Spark节点创建CDH ...

DataWorks V2.0

赋予用户在云上一站式完成数据开发、数据（安全）治理、数据分享的闭环体验。数据质量DQC（新增）数据质量，是支持多种异构数据源的质量校验、通知、管理服务的一站式平台。数据质量以数据集（DataSet）为监控对象，目前支持MaxCompute数据...

DataWorks On EMR使用说明

数据建模数据开发数据开发（DataStudio）是一站式大数据开发平台，支持在线开发EMR数据处理任务。它集成了强大的任务调度能力，能够支持千万级的任务混合编排和调度。此外，还提供了一套任务发布的管控流程，保障任务产出的稳定性。节点...

DataWorks on EMR Serverless StarRocks最佳实践

了解DataWorks on EMR Serverless StarRocks DataWorks作为阿里云一站式大数据开发治理平台，通过数据源对接EMR Serverless StarRocks，可实现EMR Serverless StarRocks的数据集成、作业周期性调度，同时结合StarRocks引擎在数据分析和数据...

开发ODPS SQL任务

SQL函数 MaxCompute支持使用内建函数和自定义函数进行数据开发及分析，内建函数详情请参见内建函数概述，自定义函数详情请参见 MaxCompute UDF概述。下面以一个简单示例为您介绍SQL函数的使用。内建函数内建函数为MaxCompute自身预置的...

Native 框架简介

设计师制定规范，开发解释规范成为控件，完整的开发指南便于开发实现，形成一站式的控件体系。通过统一的命名实现开发和设计的统一认知，更多关于命名规范。参见本文的组件规范和原则。通过设计板实现设计人员对已有控件的认知，仅需要...

实现开发生产等多套环境隔离

使用DataWorks进行大数据开发时，支持对开发、测试、生产等环境进行隔离，当您联合使用了其他阿里云产品时，也可根据环境隔离诉求进行对应业务的环境设置与隔离，本文以DataWorks联合EMR、OSS等产品为例，为您介绍如何实现开发生产等多套...

开发部署扩展程序：函数计算方式

在DataWorks扩展程序中，您可以自定义逻辑以监管用户的操作行为，例如拦截和阻断不当行为，通过扩展程序对特定事件进行消息通知与流程管控。...您也可采用自建服务部署扩展程序，详情请参见开发部署扩展程序：自建服务方式。

下线节点

报错：请先在发布中心把文件${filename}发布到生产环境或在发布中心取消发布报错原因：DataWorks的回收站仅支持还原已在开发环境和生产环境均删除的任务（节点、资源、函数等）。若任务只从开发环境删除，未将该删除操作发布至生产环境...

下线任务

通过生产环境运维中心的周期任务界面下线的任务，在开发环境将默认回到编辑状态，不会进入回收站，您可在数据开发（DataStudio）界面搜索节点名称查找该节点。任务下线流程周期调度任务的下线流程如下。步骤一：删除开发环境任务在数据...

Midway Serverless OTS数据库示例

阿里云云开发平台是阿里云提供的一站式、全云端的开发平台，目标是打开浏览器就可以开发、调试、上线，是未来研发的风向标，指北针。而 Midway FaaS 体系将在阿里云云研发的 Node.js 领域作为标准化解决方案提供给社区。这一次，我们就来...

Midway Serverless TODO List MySQL数据库使用示例

阿里云所提供的一站式、全云端的开发平台，打开浏览器就可以开发、调试、上线。进入 Serverless云开发平台什么是Midway FaaS？一个用于构建 Node.js 云函数的 Serverless 框架，帮助开发者专注于产品开发，降低维护成本。欢迎 Star!...

采集数据

本文为您介绍如何新建OSS和RDS数据源来访问本教程所提供的用户信息与网站日志数据，配置数据同步链路至私有OSS数据源，并通过EMR Hive节点建表去查询同步后的数据，完成数据同步的操作过程。前提条件开始本文的操作前，请准备好需要使用的...

小程序简介

组件功能统一端上开发标准，实现“开发一次，多端投放”继承支付宝小程序原生 IDE，提供“开发、调试、发布”一站式能力，深度提升需求迭代速度，并有能力保障发布质量。mPaaS 小程序，移动端全新的开发模式，深度融合 HTML5 的易开发性、...

MaxCompute数据权限控制详情

预设角色中仅拥有空间开发角色、管理员角色的RAM用户可以在DataWorks数据开发页面创建节点、并执行建表命令。使用流程序号目标相关文档 1 了解DataWorks预设角色权限基本情况。预设角色权限基本情况空间级模块权限管控 2 了解DataWorks...

概述

为了供您方便快捷的使用MaxCompute SQL进行数据分析和数据加工，MaxCompute提供了丰富的内建函数，以便您在日常开发和分析中使用，您可以根据需要从不同维度快速查询目标函数。MaxCompute支持的函数功能如下。按函数类型查找函数，请参见 ...

入门概述

通常，通过DataWorks的工作空间实现数据开发和运维包含以下操作：建表并上传数据创建业务流程创建同步任务设置周期和依赖运行及排错使用临时查询快速查询SQL（可选）下图为数据开发和运维的基本流程。在正式开始操作DataWorks前，您...

测试分析方案报告

产品概述产品背景描述该数据产品的业务背景，以便测试小组成员了解业务背景，划分测试场景，并站在用户的立场进行测试。开发背景描述该项目采用的技术背景。产品目标描述产品所需达到的预期目标，基于此可以评估当前架构设计是否能够...

创建Hologres内部表

DataWorks作为数据加工的开发平台，提供了便捷的可视化建表方式，同时，您也可以直接使用Hologres通过DDL语句建表，详情请参见建表概述。使用限制当前仅华东2（上海）、华北2（北京）地域支持使用该功能。操作步骤进入数据开发页面。...

创建Hologres外部表

DataWorks作为数据加工的开发平台，提供了便捷的可视化建表方式，当需要创建多个Hologres外部表时，可参考一键MaxCompute表结构同步节点。同时，也可直接使用Hologres通过DDL语句建表，详情请参见 CREATE FOREIGN TABLE。使用限制目前仅...

概述

HoloStudio的数据开发模块与DataWorks无缝连接，提供一站式稳定高效的ETL（Extract-Transform-Load）服务，帮助您使用可视化方式周期性调度作业、创建外部表、同步外部表数据以及上传本地文件。数据开发的核心功能如下：文件夹用于存放并...

数据开发常见问题

MaxCompute引擎开发相关：SQL：SQL常见问题内建函数：内建函数常见问题 UDF：MaxCompute UDF（Java）常见问题、MaxCompute UDF（Python）常见问题 MapReduce：MapReduce常见问题 Pyodps：PyODPS是否支持调用自定义函数来使用第三方包？...

受众与核心能力

产品定位 DataWorks致力于为数据开发者、数据分析师、数据资产管理者，打造一个具备开放自主开发与全栈数据研发能力的一站式、标准化、可视化、透明化的智能大数据全生命周期云研发平台。DataWorks赋予用户仅通过单一平台，即可实现数据...

建站开发

新品推荐