概述
EMR数据开发于2022年2月21日停止功能更新，2023年9月30日停止全面支持。如果您在2022年2月21日21点前未使用过数据开发功能，推荐您通过EMR Workflow进行...您也可以迁移到大数据开发治理平台DataWorks，详情请参见 EMR数据开发停止更新公告。
概述
DataWorks（数据工场，原大数据开发套件）是阿里云重要的PaaS（Platform-as-a-Service）平台产品，为您提供 数据集成、数据开发、数据地图、数据质量 和 数据服务 等全方位的产品服务，一站式开发管理的界面，帮助企业专注于数据价值的挖掘...
技术架构选型
在数据模型设计之前，您需要首先完成技术架构的选型。本教程中使用阿里云大数据产品MaxCompute配合...MaxCompute作为整个大数据开发过程中的离线计算引擎。DataWorks则包括数据开发、数据质量、数据安全、数据管理等在内的一系列功能。
DataWorks快速入门指引
DataWorks基于MaxCompute、Hologres、EMR、AnalyticDB、CDP等大数据引擎，为数据仓库、数据湖、湖仓一体等解决方案提供统一的全链路大数据开发治理平台，为了便于新用户快速了解DataWorks的数据开发治理操作全流程，DataWorks为您提供了...
实现开发生产等多套环境隔离
使用DataWorks进行大数据开发时，支持对开发、测试、生产等环境进行隔离，当您联合使用了其他阿里云产品时，也可根据环境隔离诉求进行对应业务的环境设置与隔离，本文以DataWorks联合EMR、OSS等产品为例，为您介绍如何实现开发生产等多套...
相关的云服务
DataWorks作为阿里云一站式大数据开发与治理平台，通常会与计算引擎产品联合使用，此外使用DataWorks进行数据集成时通常联合进行数据传输的数据源产品一起使用。本文为您介绍典型场景下，使用DataWorks时通常会使用到的其他云产品。计算...
应用场景
云数据库MongoDB版支持单节点、副本集和分片集群三种部署架构，具备安全审计、时间点备份等多项企业能力。在互联网、物联网、游戏、金融等...大数据应用：使用云数据库MongoDB作为大数据的云存储系统，随时进行数据提取分析，掌握行业动态。
DataWorks on EMR数据安全方案
在大数据领域，阿里云为企业用户提供了一整套数据安全方案，包含用户认证、数据权限、大数据作业管理体系等。本文以联合使用DataWorks与EMR为例，为您介绍DataWorks on EMR场景下的数据安全方案。背景信息 DataWorks on EMR目前支持LDAP...
快速体验
说明 本次实验数据仅作为阿里云大数据开发治理平台DataWorks数据应用实操使用，所有数据均为人工Mock数据。技术选型 数据建模：大数据开发治理平台 DataWorks数据建模（可选），标准版及以上版本可使用，需要单独购买。原始数据存储：云...
大数据AI公共数据集分析
教程简介 阿里云DataWorks基于多种大数据引擎，为数据仓库、数据湖、湖仓一体等解决方案提供统一的全链路大数据开发治理平台。本教程通过DataWorks，联合云原生大数据计算服务MaxCompute，使用大数据AI公共数据集（淘宝、飞猪、阿里音乐、...
DataWorks on EMR Serverless StarRocks最佳实践
了解DataWorks on EMR Serverless StarRocks DataWorks作为阿里云一站式大数据开发治理平台，通过数据源对接EMR Serverless StarRocks，可实现EMR Serverless StarRocks的数据集成、作业周期性调度，同时结合StarRocks引擎在数据分析和数据...
概览
为了更好地指导您使用数据管理DMS（Data Management），DMS推出解决方案系列文档，旨在通过最佳实践（Step by Step）的形式向您介绍DMS研发流程、数据安全、数据开发的解决方案。研发流程解决方案 DMS为在线流程化系统，可统一管理企业内...
ETL工作流快速体验
案例提供的数据仅用于阿里云大数据开发治理平台DataWorks数据应用体验。仅 空间管理员 角色可导入ETL模板至目标工作空间。如需给账号授予空间管理员角色，请参见 空间级模块权限管控。导入ETL工作流模板 您可以将DataWorks ETL工作流模板...
应用评估改造摘要
应用程序比数据库复杂，涉及的代码可能经历过很多开发者，改造应用已经成为用户迁移数据库上云的痛点：为了解决用户迁移数据库后的应用改造问题，ADAM提供了应用评估改造功能，保证用户快速改造自己的应用。1.核心功能 提供迁移数据库的...
什么是云原生应用组装平台BizWorks
云原生应用组装平台BizWorks是基于组装式理念和阿里巴巴中台实践构建的一体化云原生应用开发和组装平台，提供了业务建模、微服务开发、轻应用组装、能力开放等平台功能，致力于帮助企业快速设计、构建、组装和运营可复用的业务能力组件和...
仪表盘
说明 若您使用的是极简模式的控制台，请单击控制台左上角的 图标，选择 全部功能>集成与开发（DTS）>数据应用>数据分析。进入数据分析页面，单击 数据展示 页签。单击 新建仪表盘集合，配置 仪表盘集合名称 和 描述（可选）信息。单击 确认...
Spark应用性能诊断
AnalyticDB for MySQL 湖仓版（3.0）推出Spark应用诊断功能，若您提交的Spark应用存在性能问题，您可以根据诊断信息快速定位和分析性能瓶颈问题，优化Spark应用，提高问题解决效率。本文主要介绍如何进行Spark应用性能诊断以及性能诊断的...
采集数据
本教程提供数据仅作为阿里云大数据开发治理平台DataWorks数据应用实操使用，所有数据均为人工Mock数据，并且只支持在数据集成模块读取数据。章节目标 将MySQL存储的用户基本信息及OSS存储的网站访问日志数据，通过数据集成服务同步至...
离线集成概述
数据管理DMS离线集成是一种低代码的数据开发工具，您可以组合各类任务节点，形成数据流，通过周期调度运行达到数据加工、数据同步的目的。支持的数据库类型 MySQL：RDS MySQL、PolarDB MySQL版、MyBase MySQL、PolarDB分布式版、AnalyticDB...
使用IoT Studio展示云监控报警历史
使用IoT Studio开发设备运维大屏时，可以在运维页面展示设备相关的报警历史信息，便于运维人员掌握设备运行状态，及时定位解决设备问题。本文介绍如何使用IoT Studio的业务逻辑开发和Web应用开发能力，实现设备报警历史信息的展示。场景...
通过Prometheus配置SAE Grafana大盘和报警规则
Serverless 应用引擎 SAE（Serverless App Engine）平台的监控和数据源类型分丰富多样，这些指标都默认集成了阿里云 可观测监控 Prometheus 版（Managed Service for Prometheus），且 可观测监控 Prometheus 版 已集成 可观测可视化 ...
DataWorks On Hologres使用说明
数据地图概述 安全中心 数据保护伞 审批中心 安全中心是集数据资产分级分类、敏感数据识别、数据授权管理、敏感数据脱敏、敏感数据访问审计、风险识别与响应于一体的一站式数据安全治理界面，帮助用户落地数据安全治理事项。安全中心概述 ...
DataWorks On MaxCompute使用说明
数据地图概述 安全中心 数据保护伞 审批中心 安全中心是集数据资产分级分类、敏感数据识别、数据授权管理、敏感数据脱敏、敏感数据访问审计、风险识别与响应于一体的一站式数据安全治理界面，帮助用户落地数据安全治理事项。安全中心概述 ...
DataWorks On CDP/CDH使用说明
一、数据集成 DataWorks的数据集成模块为您提供读取和写入数据至CDP/CDH Hive、CDP/CDH HBase的能力，您需要将Hive或HBase组件创建为 DataWorks的 Hive或HBase数据源，实现将其他数据源的数据同步至Hive或HBase数据源，或将Hive或HBase数据...
通过阿里云百炼搭建专属大模型应用
阿里云百炼结合 AnalyticDB PostgreSQL版 向量检索引擎推出一站式企业专属大模型开发和应用平台，提供应用API，可一键接入您的业务应用并对外提供服务，帮助您轻松完成企业专属大模型应用的开发。概述 产品简介 阿里云百炼是基于通义千问大...
持续剖析
持续剖析可以有效发现应用程序中因为CPU导致的瓶颈问题，并且按照方法名称、类名称和行号进行细分统计，最终协助开发者优化程序、降低延迟、增加吞吐、节约成本。本文介绍如何查看持续剖析数据。查看持续剖析 登录 ARMS控制台，在左侧导航...
文档修订记录
DataWorks数据安全治理路线 2023年12月更新记录 时间 特性 类别 描述 产品文档 2023.12.29 新增功能 数据开发 若您要在DataWorks中进行数据建模、数据开发或使用运维中心周期性调度任务，需先将已创建的数据源或集群绑定至数据开发...
一致性级别
这既增加了主节点的压力，影响读写分离的效果，又增加了应用开发的负担。为解决上述问题，PolarDB 提供了会话一致性（也称因果一致性）。会话一致性保证了同一个会话内，一定能够查询到读请求执行前已更新的数据，确保了数据单调性。在 ...
逆向建模：物理表反向建模
应用层基于实际应用需求，获取公共层加工整合后的数据，面向具体应用场景或指定产品进行的个性化数据统计。创建的模型可归属于 公共层 或 应用层，不同层级归属需单独完成如下准备：公共层：已创建数据域，用于确定模型所统计的业务数据...
数据写入
写入方法 适用场景 描述 具体操作 使用JDBC写入 Java语言的应用开发 使用JDBC写入数据时，需要自己管理连接池或使用Druid管理连接池。Java JDBC Driver开发手册 使用API写入 非Java语言的应用开发 时序引擎支持基于HTTP协议的API接口实现...
从Oracle迁移应用至阿里云PolarDB全流程指南
ADAM全面评估上云可行性、成本和云存储选型，内置实施协助，数据、应用迁移等工具，确保可靠、快速上云。数据传输DTS：数据传输服务（Data Transmission Service）DTS支持关系型数据库、NoSQL、大数据（OLAP）等数据源间的数据传输。它是一...
创建Hologres数据源
说明 通常情况下，生产数据源和开发数据源需配置非同一个数据源，以使开发数据源与生产数据源的环境隔离，降低开发数据源对生产数据源的影响。但Dataphin也支持配置成同一个数据源，即相同参数值。参数 描述 Endpoint Hologres实例的...
数据服务入门
背景信息 DataWorks数据服务作为数据库和数据应用之间的桥梁，旨在为个人、团队及企业提供全面的数据服务及共享能力，帮助用户统一管理面向阿里云内外部的API服务。数据服务已与API网关连通，支持一键发布API至API网关。数据服务与API网关...
Spark
详细信息请参见 Spark应用开发介绍。如何解决Spark应用日志中出现的NoSuchMethod报错？原因：导入的JAR包与Spark冲突，导致以上报错。解决方法：您可以通过Spark的conf配置参数添加以下配置，在日志中打印类加载过程中涉及的JAR包，从而...
创建资源
应用 在具体的命名空间下，和应用绑定，关联一组机器。通过 GroupId 绑定应用。任务 在具体的应用下，任务和一段代码逻辑绑定，用来实现任务调度。任务是SchedulerX调度的最小单位，用来实现周期性的任务调度。工作流 在具体应用下，工作流...
账户同步接入概述
若是组织，则为组织id"bizData":{}/具体的数据详情，不同事件类型该字段不同。可参考通讯录事件 }]} } 其中包含的字段具体如下：参数名称 参数位置 参数类型 参数说明 header alg header String 固定值：RS256 代表采用SHA-256的RSA签名 ...
创建PolarDB数据源
数据源配置 基于业务数据源是否区分生产数据源和开发数据源：如果业务数据源区分生产数据源和开发数据源，则选择 生产+开发数据源。如果业务数据源不区分生产数据源和开发数据源，则选择 生产数据源。标签 您可根据标签给数据源进行分类...
常见问题
本文汇总了使用轻量应用服务器时的常见问题。远程连接和计费问题 远程连接FAQ 计费常见问题 服务器管理问题 轻量应用服务器在哪些地域部署？轻量应用服务器存在哪些状态？轻量应用服务器是否可以升级配置？轻量应用服务器是否支持过户？轻...
通过Prometheus监控获取ARMS应用监控数据
阿里云 可观测监控 Prometheus 版 默认集成了ARMS应用监控数据源，您可以直接在 可观测监控 Prometheus 版 下获取应用监控相关数据、查看应用监控预置大盘，并根据需求进行二次开发。前提条件 已为应用安装探针，具体操作，请参见 应用监控...
文档更新动态（2024年）
配置过滤转换组件 配置脚本模式输入组件 配置脚本模式组件 配置Amazon S3输入组件 配置Amazon S3输出组件 查看及管理离线集成任务列表 数据开发-编码研发-离线任务开发 计算任务提交时，针对循环依赖的错误提示信息进行优化，展示具体的...
- 产品推荐
- 这些文档可能帮助您