大数据应用开发-大数据应用开发文档介绍内容-阿里云

运行及排错

测试运行单击当前页面左上角的图标，选择全部产品>数据开发与运维>运维中心（工作流），进入运维中心页面。在左侧导航栏，单击周期任务运维>周期任务。在弹出的页面中，找到目标节点，在操作列中单击测试。在冒烟测试对话框中，...

概述

EMR数据开发于2022年2月21日停止功能更新，2023年9月30日停止全面支持。如果您在2022年2月21日21点前未使用过数据开发功能，推荐您通过EMR Workflow进行...您也可以迁移到大数据开发治理平台DataWorks，详情请参见 EMR数据开发停止更新公告。

技术架构选型

在数据模型设计之前，您需要首先完成技术架构的选型。本教程中使用阿里云大数据产品MaxCompute配合DataWorks，完成整体的数据建模和研发流程。...DataWorks则包括数据开发、数据质量、数据安全、数据管理等在内的一系列功能。

数据标准

数据标准落标说明数据标准落标的意义在于从源头进行数据的标准化生产，加速数据的融合与统一的效率，节省大量数据应用和处理的成本。完成以下操作实现数据标准落标：您可以在字段编辑器页面，编辑中文名，输入拼音首字母即可快速检索出...

DataWorks快速入门指引

DataWorks基于MaxCompute、Hologres、EMR、AnalyticDB、CDP等大数据引擎，为数据仓库、数据湖、湖仓一体等解决方案提供统一的全链路大数据开发治理平台，为了便于新用户快速了解DataWorks的数据开发治理操作全流程，DataWorks为您提供了...

实现开发生产等多套环境隔离

使用DataWorks进行大数据开发时，支持对开发、测试、生产等环境进行隔离，当您联合使用了其他阿里云产品时，也可根据环境隔离诉求进行对应业务的环境设置与隔离，本文以DataWorks联合EMR、OSS等产品为例，为您介绍如何实现开发生产等多套...

ListDataServiceApplications

调用ListDataServiceApplications获取数据服务应用的基础信息列表。调试您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。请求参数名称类型是否必选示例值 ...

应用场景

云数据库MongoDB版支持单节点、副本集和分片集群三种部署架构，具备安全审计、时间点备份等多项企业能力。在互联网、物联网、游戏、金融等...大数据应用：使用云数据库MongoDB作为大数据的云存储系统，随时进行数据提取分析，掌握行业动态。

应用场景

互联网类应用 Cassandra能够支持大并发低延时的访问需求，具备高可用和弹性扩容能力，适合日志、消息、feed流、订单、账单、网站等各种大数据量的互联网在线应用场景。多活 Cassandra原生支持多DC部署方式，实现更好的可用性和容灾能力。云...

DataWorks on EMR数据安全方案

在大数据领域，阿里云为企业用户提供了一整套数据安全方案，包含用户认证、数据权限、大数据作业管理体系等。本文以联合使用DataWorks与EMR为例，为您介绍DataWorks on EMR场景下的数据安全方案。背景信息 DataWorks on EMR目前支持LDAP...

配置DataHub输出

DataHub是流式数据（Streaming Data）的处理平台，为您提供发布、订阅和分发流式数据的功能，让您可以轻松构建基于流式数据的分析和应用。前提条件配置DataHub输出节点前，您需要先配置好相应的输入或转换数据源，实时同步支持的数据源。...

快速体验

涉及产品本案例涉及以下产品：一站式大数据开发治理DataWorks 本案例通过DataWorks实现数据采集、加工、质量监控，以及数据可视化展现，您需提前开通该服务。详情请参见开通DataWorks服务。云原生大数据计算服务MaxCompute 实现底层加工...

DataWorks准备工作流程

DataWorks是为您提供专业高效、安全可靠的一站式大数据开发与治理平台，使用其进行数据开发前，您需做好相关准备工作，保障后续开发任务可顺利执行。本文为您介绍DataWorks的购买及环境准备流程，帮助您快速开通DataWorks并准备所需开发...

附录：DataWorks开放平台示例代码库

开放平台提供了开放API（OpenAPI）、开放事件（OpenEvent）、扩展程序（Extensions）等能力，帮助您快速实现各类应用系统对接DataWorks，以便进行数据流程管控、数据治理和数据运维，并及时响应各类应用系统的业务状态变化。更多开放平台的...

大数据AI公共数据集分析

教程简介阿里云DataWorks基于多种大数据引擎，为数据仓库、数据湖、湖仓一体等解决方案提供统一的全链路大数据开发治理平台。本教程通过DataWorks，联合云原生大数据计算服务MaxCompute，使用大数据AI公共数据集（淘宝、飞猪、阿里音乐、...

DataWorks on EMR Serverless StarRocks最佳实践

登录 DataWorks控制台，切换至目标地域后，单击左侧导航栏的数据建模与开发>数据开发，在下拉框中选择对应工作空间后单击进入数据开发。创建离线同步节点，设置数据来源为MySQL，数据去向为StarRocks数据源。选择资源组后，并分别测试与...

虚拟节点

登录 DataWorks控制台，单击左侧导航栏的数据建模与开发>数据开发，在下拉框中选择对应工作空间后单击进入数据开发。创建业务流程。如果您已有业务流程，则可以忽略该步骤。鼠标悬停至图标，选择新建业务流程。在新建业务流程 ...

准备环境

前提条件 大数据开发治理平台DataWorks：购买DataWorks，详情请参见购买指引。说明因本示例提供的数据资源都在华东2（上海），建议购买时选择地域为华东2（上海）。对象存储OSS：已开通OSS服务，具体步骤，请参见开通OSS服务。步骤一：...

阶段三：数据安全持续运营

结果验证在数据开发、数据分析模块单击下载数据，将跳转至数据下载页面进行风险检测。根据检测结果进行后续处理。若检测通过，则可继续下载。若检测不通过，则下载被阻断，或告知用户需申请权限。下载被阻断。提示用户申请权限。场景二：...

快速体验

说明本次实验数据仅作为阿里云大数据开发治理平台DataWorks数据应用实操使用，所有数据均为人工Mock数据。技术选型数据建模：大数据开发治理平台 DataWorks数据建模（可选），标准版及以上版本可使用，需要单独购买。原始数据存储：云...

配置任务调度

登录 DataWorks控制台，切换至目标地域后，单击左侧导航栏的数据建模与开发>数据开发，在下拉框中选择对应工作空间后单击进入数据开发。在相应的业务流程下，双击打开离线同步节点 write_result 的编辑页面。单击编辑页面右侧导航栏的 ...

创建逻辑模型：应用表

登录 DataWorks控制台，单击左侧导航栏的数据建模与开发>数据建模，在下拉框中选择对应工作空间后单击进入数据建模。在智能数据建模页面的顶部菜单栏，单击维度建模，进入维度建模页面。创建应用表。在维度建模页面，鼠标悬停至 ...

阶段一：基础防护建设

在该阶段，DataWorks为您提供了数据分类分级、规范数据开发流程、企业级身份认证、开源身份隔离等多个场景的最佳实践，帮助企业做好数据安全治理的相关基础防护工作。场景一：数据分级分类无论在任何行业，数据分级分类都是监管首要检查的...

ETL工作流快速体验

案例提供的数据仅用于阿里云大数据开发治理平台DataWorks数据应用体验。仅空间管理员角色可导入ETL模板至目标工作空间。如需给账号授予空间管理员角色，请参见空间级模块权限管控。导入ETL工作流模板您可以将DataWorks ETL工作流模板...

建模空间

登录 DataWorks控制台，切换至目标地域后，单击左侧导航栏的数据建模与开发>数据建模，在下拉框中选择对应工作空间后单击进入数据建模。在智能数据建模页面的顶部菜单栏，单击数仓规划，默认进入数仓分层页面。在数仓规划页面的...

创建同步任务

登录 DataWorks控制台，切换至目标地域后，单击左侧导航栏的数据建模与开发>数据开发，在下拉框中选择对应工作空间后单击进入数据开发。创建离线同步节点。单击新建图标，选择新建节点>数据集成>离线同步，新建一个离线同步节点 write_...

采集数据

本教程提供数据仅作为阿里云大数据开发治理平台DataWorks数据应用实操使用，所有数据均为人工Mock数据，并且只支持在数据集成模块读取数据。章节目标将MySQL存储的用户基本信息及OSS存储的网站访问日志数据，通过数据集成服务同步至...

数据标准概述

通过规范约束标准代码、度量单位、字段标准、命名词典，来保障后续建模与应用过程中数据处理的一致性，从源头上保障数据的标准化生产，节约后续数据应用和处理的成本。应用场景 DataWorks的数据标准包含字段标准、标准代码、度量单位、...

需求分析

本实验提供数据仅作为阿里云大数据开发治理平台DataWorks数据应用实操使用，所有数据均为人工Mock数据。业务背景为了更好的制定企业经营策略，现需要从用户网站行为中获取网站用户群体基本画像数据，例如，用户群体地理属性、社会属性等，...

采集数据

本教程提供数据仅作为阿里云大数据开发治理平台DataWorks数据应用实操使用，所有数据均为人工Mock数据，并且只支持在数据集成模块读取数据。章节目标将MySQL存储的用户基本信息及OSS存储的网站访问日志，通过数据集成服务将数据同步至...

场景：调度参数在数据集成的典型应用场景

场景四：同步历史数据基于调度参数可根据业务时间将参数自动替换为对应的值这一特性，当您创建任务当天需要将历史数据进行补齐时，您可使用补数据功能，补数据支持补历史一段时间的数据或者未来一段时间的数据，调度参数将在任务调度时...

阶段二：数据安全防护措施及策略增强建设

在该阶段，DataWorks为您提供了新人入职自动化授权、按需申请数据权限&多级审批、数据可用而不可见、数据完整性与可用性专项治理等多个场景的最佳实践，帮助企业做好数据安全防护措施并建设更加完善的安全治理策略。场景一：新人入职自动化...

应用开发概览

本文介绍了 OceanBase 数据库应用开发常用的文档链接。规划数据库对象二级目录文档名称规划数据对象创建数据库创建表创建索引数据写入二级目录文档名称数据写入插入数据更新数据删除数据替换数据数据读取二级目录文档名称...

用户授权与管理

角色规划使用数据建模并应用至数据开发的过程中，通常需要进行定义标准、数据建模、数据开发、部署运维等任务，下图为您示例不同流程中操作人员的角色以及所需的角色权限。建议您参考下图进行用户角色及权限规划。开通权限建议您参考 ...

for-each节点逻辑原理介绍

使用说明您可通过以下内容了解遍历节点（for-each节点）的使用：说明相关文档了解遍历节点（for-each节点）使用场景应用场景说明仅用于遍历赋值节点传递的结果集。了解遍历节点（for-each节点）使用限制与注意事项。例如，遍历次数...

后台管理

在数据页面，全部数据表格中展示应用开发界面中数据模型的实体列表。单击某个实体名称，在页面右上角单击添加数据，添加实体数据。在操作列单击编辑，编辑数据。在操作列单击删除，删除数据。管理API数据。在 API 页面，API列表中，...

数据治理中心概述

数据治理中心可自动发现平台使用过程中数据存储、任务计算、代码开发、数据质量及安全等维度存在的问题，并通过健康分量化评估，从全局、工作空间、个人等多个视角，以治理报告及排行榜呈现治理成果，帮助您高效达成治理目标。同时，提供...

入门概览

操作流程从创建Lindorm实例到Lindorm时序引擎的应用开发，您需要完成以下操作：创建Lindorm实例，创建时选择数据引擎为时序引擎，具体操作请参见创建实例。设置白名单，具体操作请参见设置白名单。（推荐）开启用户认证与权限校验，具体...

调用API

调用方式调用方式适用场景说明安全级别加密签名身份认证应用程序开发、数据采集等。该方式需要在SDK中使用数据服务中的AppKey和AppSecret。具体操作，请参见使用SDK调用API。高简单身份认证一般用于可视化场景，如DataV调用。该...

大数据应用开发

新品推荐