应用场景
阿里云开源大数据平台E-MapReduce（简称EMR）具有广泛的应用场景。本文为您介绍EMR的主要应用场景。数据湖场景 DataLake集群类型提供了数据湖分析场景所需的服务和相关湖格式，包括Hadoop、OSS-HDFS、Hive、Spark、Presto等。通过选择OSS-...
迁移 Oracle 数据库的数据至 OceanBase 数据库 Oracle...
本文为您介绍如何使用数据传输迁移 Oracle 数据库的数据至 OceanBase 数据库 Oracle 租户。重要 如果数据迁移项目长期处于非活跃状态（项目状态为 失败、已暂停 或 已完成），受增量日志保留时长等影响，项目可能无法恢复。数据传输将主动...
序列帧动画
在面板下方的 数据项目 下拉列表中，选择一个空间构建平台内已有的数据项目。选择完数据项目后，在 数据集 下拉列表中，选择一个匹配的数据。说明 如果 数据项目 和 数据集 配置项内没有任何可供配置数据类型的内容，请您单击面板内 前往...
常见问题
推荐您阅读 从开源到云原生，你不得不知的大数据实战。MaxCompute作为大数据平台，对业务数据是否有好的监控手段？MaxCompute仅支持通过DataWorks的数据质量功能 配置数据监控规则。无法监控外部数据源的字段变化。MaxCompute的项目发挥...
序列帧动画
在面板下方的 数据项目 下拉列表中，选择一个空间构建平台内已有的数据项目。选择完数据项目后，在 数据集 下拉列表中，选择一个匹配的数据。说明 如果 数据项目 和 数据集 配置项内没有任何可供配置数据类型的内容，请您单击面板内 前往...
查看敏感数据识别结果
仅支持在 结构化数据、半结构化数据、非结构化数据 或 大数据 分类下分别选择一个或多个数据类型，不支持跨分类同时选择多个数据类型。如果您未选中任意数据类型，数据安全中心默认展示所有数据类型下的敏感数据识别结果。数据模板：在 ...
什么是数据资源平台
阿里云数据资源平台是数据资产定义、加工、管理、服务的全流程平台，提供数据同步、数据查询、数据标准、数据建模、数据加工、质量评估、业务模型构建、资产管理、数据服务等功能，为智能数据应用持续稳定供给全量、标准、干净、智能的数据...
外部表概述
背景信息 MaxCompute SQL作为分布式数据处理的主要入口，可实现EB级别离线数据的快速处理和存储。随着大数据业务的不断扩展，新的数据使用场景在不断产生，MaxCompute计算框架也在不断演化。MaxCompute原来主要面对内部特殊格式数据的强大...
数据分析概述
DataWorks提供的数据分析平台，可以流畅地进行数据处理、分析、加工及可视化操作。在数据分析板块中，您不仅可以在线洞察数据，还可以编辑和共享数据。本文为您介绍数据分析平台的优势、功能、权限等概要信息。产品优势 与本地数据分析相比...
数据集成
数据源支持情况 数据集成目前支持40种以上的数据源类型（包括关系型数据库、非结构化存储、大数据存储、消息队列等），通过定义来源与去向数据源，并使用数据集成提供的数据抽取插件（Reader）、数据写入插件（Writer），实现任意结构化、...
数据下载配置
Dataphin支持业务数据下载，您可对项目级数据是否可下载进行配置；数据在下载后脱离系统的管控，您可设置水印，以提醒注意数据安全，避免随意分享。本文为您介绍如何配置数据下载策略及水印。权限说明 仅支持安全管理员对数据下载策略执行...
数据下载配置
Dataphin支持业务数据下载，您可对项目级数据是否可下载进行配置；数据在下载后脱离系统的管控，您可设置水印，以提醒注意数据安全，避免随意分享。本文为您介绍如何配置数据下载策略及水印。权限说明 仅支持安全管理员对数据下载策略执行...
MMA概述
数据迁移原理 Hive数据迁移原理 Hive数据迁移包含通过Hive UDTF迁移数据到MaxCompute、通过OSS迁移Hive数据到MaxCompute，本文为您介绍两种数据迁移方式的原理。通过Hive UDTF迁移数据到MaxCompute。该场景通过Hive的分布式能⼒，实现Hive...
操作指南
相关文档 子产品类型 文档 DataV数据可视化 7.0 可视化工作台 工作空间管理 项目看板管理 三维城市构建器 画布编辑器 蓝图编辑器 组件指南 可视化应用中心 可视化演播厅 投屏预案-网页版 投屏预案-客户端版 其他更多操作请参见 操作指南。...
添加及管理监控对象
项目：超级管理员、质量管理员支持切换所有项目查看Dataphin数据表的质量规则，项目成员仅可选择已加入的项目并查看该项目下的Dataphin数据表的质量规则。个人：超级管理员、质量管理员支持切换至任一成员查看Dataphin数据表质量规则，普通...
添加及管理监控对象
项目：超级管理员、质量管理员支持切换所有项目查看Dataphin数据表的质量规则，项目成员仅可选择已加入的项目并查看该项目下的Dataphin数据表的质量规则。个人：超级管理员、质量管理员支持切换至任一成员查看Dataphin数据表质量规则，普通...
使用限制
项目管理 配置计算引擎源 对于已配置为项目数据源的物理数据库，不建议再从其他非Dataphin控制台进行数据的增、删、改操作。不建议您为项目配置跨集群的计算引擎源。研发工作台 规范建模 建议您谨慎命名规范定义和逻辑表对象的英文名，且...
引入预制模型
选择 MaxCompute项目 Dev-Prod项目：填写用于 开发（DEV）项目 和 生产（PROD）项目 的MaxCompute项目。Basic项目：填写用于 Basic项目 的MaxCompute项目。单击 校验并导入。模型数据导入。导入模型分为四步：初始化空间 包括导入数据板块...
项目
项目（Project）是MaxCompute的基本组织单元，它类似于传统数据库的Database或Schema的概念，是进行多用户隔离和访问控制的主要边界。项目中包含多个对象，例如表（Table）、资源（Resource）、函数（Function）和实例（Instance）等，您...
数据质量概述
数据质量帮助您第一时间感知源端数据的变更与ETL（Extract Transformation Load）中产生的脏数据，自动拦截问题任务，有效阻断脏数据向下游蔓延。避免任务产出不符合预期的问题数据，影响正常使用和业务决策。同时也能显著降低问题处理的...
创建MaxCompute项目
方式二：通过DataWorks控制台创建项目 DataWorks为阿里云提供的一站式大数据开发治理平台，您可以在DataWorks上进行MaxCompute作业开发、周期性调度、作业运维、数据治理等一站式数据开发治理操作，如果您希望后续使用DataWorks一站式开发...
功能发布记录（2024年）
2024.2.21 所有地域 所有DataWorks用户 DataWorks On CDP/CDH使用说明 数据服务支持实例模式的StarRocks数据源 开通E-MapReduce Serverless StarRocks集群后，您可在DataWorks中通过实例模式新增StarRocks数据源，DataWorks数据服务支持...
常见问题
数据安全中心DSC根据为不同行业预先定义的敏感数据关键字段，扫描MaxCompute、OSS、阿里云数据库服务（RDS、PolarDB-X、PolarDB、OceanBase、表格存储等）和自建数据库中的数据，通过敏感数据规则，判断和打标敏感数据，为数据安全审计、...
配置跨库Spark SQL节点
任务编排中的跨库Spark SQL节点，主要针对各类跨库数据同步和数据加工场景，您可以通过编写Spark SQL，完成各种复杂的数据同步或数据加工的任务开发。前提条件 支持的数据库类型：MySQL：RDS MySQL、PolarDB MySQL版、MyBase MySQL、...
安全配置常见问题
MaxCompute拥有完备的措施来保证用户的数据安全：多用户场景，除项目所有者（Project Owner）或项目管理员之外，未经授权的用户无法访问MaxCompute项目。MaxCompute提供了多种授权方式，保证只有经过授权的用户才能访问MaxCompute项目。...
导入概述
为了更好地满足各种不同的业务场景，StarRocks支持多种数据模型，StarRocks中存储的数据需要按照特定的模型进行组织。本文为您介绍数据导入的基本概念、原理、系统配置、不同导入方式的适用场景，以及一些最佳实践案例和常见问题。背景信息...
观远BI连接MaxCompute
MaxCompute支持您将MaxCompute项目数据接入观远BI，帮助企业的业务人员和数据分析师开展以问题为导向的探索式分析工作以及制作数据卡片和数据看板。本文为您介绍如何通过MaxCompute JDBC驱动，连接观远BI和MaxCompute项目，并进行可视化...
Yonghong BI连接MaxCompute
MaxCompute支持您将MaxCompute项目数据接入Yonghong BI，帮助您轻松完成数据分析和数据可视化工作。本文为您介绍如何连接Yonghong BI和MaxCompute项目，并进行可视化数据分析。背景信息 Yonghong Desktop是一款桌面智能数据分析工具，基于...
安全设置
支持-当前项目Prod环境的所有表操作 支持-不支持 跨项目查询 支持-跨项目DDL 支持 不支持-说明-表示当前操作不受 跨项目安全模式或生产数据安全模式 功能管控。重要 设置安全模式后，项目数据有更高的安全性，但是会导致系统使用流畅程度...
安全设置
支持-当前项目Prod环境的所有表操作 支持-不支持 跨项目查询 支持-跨项目DDL 支持 不支持-说明-表示当前操作不受 跨项目安全模式或生产数据安全模式 功能管控。重要 设置安全模式后，项目数据有更高的安全性，但是会导致系统使用流畅程度...
MaxCompute近实时增全量一体化架构介绍
面对当前日益复杂且对数据时效性要求极高的近实时业务场景，MaxCompute基于Transaction Table2.0推出了集大规模存储、高效批量处理和近实时能力于一体的近实时增量一体化架构。本文为您介绍该架构的工作原理及其优势。背景和现状 在当前...
2022年
2022-02-23 全部地域 分区和列操作 2022-1 功能名称 功能描述 发布时间 发布地域 相关文档 MaxCompute外部项目元数据信息支持在DataWorks数据地图查看 MaxCompute外部项目元数据信息支持在DataWorks数据地图查看。2022-01-10 华东1（杭州）...
场景：跨账号创建数据源
说明 您可根据跨账号添加的数据源在A工作空间的使用场景，提前为RAM角色授权与相关权限，例如，若要在A工作空间查询B工作空间数据源下的表，需确保数据源配置的RAM角色已拥有该表的SELECT权限。账号A：使用账号B的用户信息创建数据源 说明 ...
离线同步能力说明
数据集成的离线同步功能为您提供数据读取（Reader）和写入插件（Writer），方便您通过定义来源与去向数据源，并结合DataWorks调度参数使用，将源端数据库中全量或增量数据的同步至目标数据库中。本文为您介绍离线同步的相关能力。使用限制 ...
附录：空间级预设角色与MaxCompute引擎权限的映射关系
可以对该项目空间的基本属性、数据源、当前项目空间计算引擎配置和项目成员等进行管理，并为项目成员赋予项目管理员、开发、运维、部署、访客角色。开发 Role_Project_Dev MaxCompute引擎层面：当前项目下 project/table/fuction/resource/...
DataWorks on EMR Serverless StarRocks最佳实践
了解DataWorks on EMR Serverless StarRocks DataWorks作为阿里云一站式大数据开发治理平台，通过数据源对接EMR Serverless StarRocks，可实现EMR Serverless StarRocks的数据集成、作业周期性调度，同时结合StarRocks引擎在数据分析和数据...
创建三维城市场景项目
说明 如果在 选择空间数据项目 对话框内，空间数据项目较多，可以在 选择空间数据项目 对话框左上角的 搜索项目 处，输入项目名称即可定位所需项目的内容，再进行选中。如果在 选择空间数据项目 对话框内，没有任何已创建的空间数据项目，...
创建三维城市场景项目
说明 如果在 选择空间数据项目 对话框内，空间数据项目较多，可以在 选择空间数据项目 对话框左上角的 搜索项目 处，输入项目名称即可定位所需项目的内容，再进行选中。如果在 选择空间数据项目 对话框内，没有任何已创建的空间数据项目，...
查看实例统计
实例统计展示系统内离线实例和实时实例的运行详情、运行趋势、运行失败实例数排行、失败报警实例数排行等信息，帮助您从项目视角或全局视角，把控实例运行的情况。本文为您介绍运维中心的实例统计。实例统计入口 请参见 运维中心入口，进入...
查看实例统计
实例统计展示系统内离线实例和实时实例的运行详情、运行趋势、运行失败实例数排行、失败报警实例数排行等信息，帮助您从项目视角或全局视角，把控实例运行的情况。本文为您介绍运维中心的实例统计。实例统计入口 请参见 运维中心入口，进入...
- 产品推荐
- 这些文档可能帮助您