外部表概述
但这两种方法都有不足之处：第一种方法需要在MaxCompute系统外部做一次中转，如果OSS数据量太大，还需要考虑如何并发来加速，无法充分利用MaxCompute的大规模计算能力。第二种方法通常需要申请UDF网络访问权限，还需要开发者自己控制作业...
数据分析概述
功能概述 SQL查询 SQL查询是使用标准的SQL语句，来查询和分析存储在MaxCompute中的大数据，详情请参见 SQL查询。您可以通过编写SQL语句，对有查询权限的数据源进行快速的数据查询与分析操作，详情请参见 功能概览。DataWorks SQL查询提供了...
数据集成
数据源支持情况 数据集成目前支持40种以上的数据源类型（包括关系型数据库、非结构化存储、大数据存储、消息队列等），通过定义来源与去向数据源，并使用数据集成提供的数据抽取插件（Reader）、数据写入插件（Writer），实现任意结构化、...
产品更新动态
2023年9月 发布时间：2023-09-28 功能名称 功能描述 相关文档 数据中心 数据源管理模块，用户可以在数据中心连接和管理数据库，并可直接在数据中心预览和查看数据库中的不同数据表。添加PolarDB PostgreSQL数据库 管理数据树 我的项目 核心...
Transaction Table2.0概述
随着当前数据处理业务场景日趋复杂，很多业务场景并不要求延时秒级更新可见或者行级更新，更多的需求是分钟级或者小时级的近实时数据处理叠加海量数据批处理场景，MaxCompute支持基于Transaction Table2.0实现近实时的增全量一体的数据存储...
数据重排
在MaxCompute的使用过程中，如果已经积累了大量数据占用了大量存储资源，且已经通过削减数据存储生命周期和删除非必要数据等方式进行了治理，在您的存储预算有限，计算资源还有冗余的情况下，可以考虑使用数据重排方式对存储空间进行优化。...
如何处理Tair集群数据倾斜
您可以在 性能监控 的 数据节点 页面中查看各数据分片节点的对应指标，通常情况下，若某数据分片节点（最高）的性能指标高出其他数据分片节点（最低）20%及以上时，可认为已产生数据倾斜，差值越大，数据倾斜程度越严重。下图介绍两个典型...
数据质量概述
数据质量帮助您第一时间感知源端数据的变更与ETL（Extract Transformation Load）中产生的脏数据，自动拦截问题任务，有效阻断脏数据向下游蔓延。避免任务产出不符合预期的问题数据，影响正常使用和业务决策。同时也能显著降低问题处理的...
数据下载配置
Dataphin支持业务数据下载，您可对项目级数据是否可下载进行配置；数据在下载后脱离系统的管控，您可设置水印，以提醒注意数据安全，避免随意分享。本文为您介绍如何配置数据下载策略及水印。权限说明 仅支持安全管理员对数据下载策略执行...
数据下载配置
Dataphin支持业务数据下载，您可对项目级数据是否可下载进行配置；数据在下载后脱离系统的管控，您可设置水印，以提醒注意数据安全，避免随意分享。本文为您介绍如何配置数据下载策略及水印。权限说明 仅支持安全管理员对数据下载策略执行...
使用限制
项目管理 配置计算引擎源 对于已配置为项目数据源的物理数据库，不建议再从其他非Dataphin控制台进行数据的增、删、改操作。不建议您为项目配置跨集群的计算引擎源。研发工作台 规范建模 建议您谨慎命名规范定义和逻辑表对象的英文名，且...
添加及管理监控对象
项目：超级管理员、质量管理员支持切换所有项目查看Dataphin数据表的质量规则，项目成员仅可选择已加入的项目并查看该项目下的Dataphin数据表的质量规则。个人：超级管理员、质量管理员支持切换至任一成员查看Dataphin数据表质量规则，普通...
添加及管理监控对象
项目：超级管理员、质量管理员支持切换所有项目查看Dataphin数据表的质量规则，项目成员仅可选择已加入的项目并查看该项目下的Dataphin数据表的质量规则。个人：超级管理员、质量管理员支持切换至任一成员查看Dataphin数据表质量规则，普通...
MMA概述
MaxCompute数据迁移原理 MaxCompute数据迁移包含同Region项目迁移、EMR+DLF+OSS迁移MaxCompute、跨Region项目迁移三种方式，本文为您介绍三种数据迁移方式的原理。同Region项目迁移。获取源项目中的所有表、分区，在目的项目中建表、分区。...
常见问题
在数据水印的基础上，数据安全中心通过系统内置的异常事件检测，对运维高危操作、异常访问、拖库攻击、数据库注入、数据库外联、数据库高危操作等行为进行监控告警，覆盖传统数据库的基础上，还支持对象存储OSS、大数据平台MaxCompute以及...
项目
项目（Project）是MaxCompute的基本组织单元，它类似于传统数据库的Database或Schema的概念，是进行多用户隔离和访问控制的主要边界。项目中包含多个对象，例如表（Table）、资源（Resource）、函数（Function）和实例（Instance）等，您...
导入概述
为了更好地满足各种不同的业务场景，StarRocks支持多种数据模型，StarRocks中存储的数据需要按照特定的模型进行组织。本文为您介绍数据导入的基本概念、原理、系统配置、不同导入方式的适用场景，以及一些最佳实践案例和常见问题。背景信息...
查看Dataphin数据表校验记录
Dataphin数据表校验记录用于记录质量规则校验Dataphin数据表的结果。本文为您介绍如何查看Dataphin数据表质量规则的校验记录。Dataphin数据表校验记录 在Dataphin首页，单击顶部菜单栏的 资产。按照下图操作指引，进入 Dataphin数据表 校验...
查看Dataphin数据表校验记录
Dataphin数据表校验记录用于记录质量规则校验Dataphin数据表的结果。本文为您介绍如何查看Dataphin数据表质量规则的校验记录。Dataphin数据表校验记录 在Dataphin首页，单击顶部菜单栏的 资产。按照下图操作指引，进入 Dataphin数据表 校验...
安全配置常见问题
MaxCompute拥有完备的措施来保证用户的数据安全：多用户场景，除项目所有者（Project Owner）或项目管理员之外，未经授权的用户无法访问MaxCompute项目。MaxCompute提供了多种授权方式，保证只有经过授权的用户才能访问MaxCompute项目。...
离线同步能力说明
数据集成的离线同步功能为您提供数据读取（Reader）和写入插件（Writer），方便您通过定义来源与去向数据源，并结合DataWorks调度参数使用，将源端数据库中全量或增量数据的同步至目标数据库中。本文为您介绍离线同步的相关能力。使用限制 ...
附录：空间级预设角色与MaxCompute引擎权限的映射关系
可以对该项目空间的基本属性、数据源、当前项目空间计算引擎配置和项目成员等进行管理，并为项目成员赋予项目管理员、开发、运维、部署、访客角色。开发 Role_Project_Dev MaxCompute引擎层面：当前项目下 project/table/fuction/resource/...
DataWorks on EMR Serverless StarRocks最佳实践
了解DataWorks on EMR Serverless StarRocks DataWorks作为阿里云一站式大数据开发治理平台，通过数据源对接EMR Serverless StarRocks，可实现EMR Serverless StarRocks的数据集成、作业周期性调度，同时结合StarRocks引擎在数据分析和数据...
FineBI连接MaxCompute
MaxCompute支持您将MaxCompute项目数据接入FineBI，帮助企业的业务人员和数据分析师开展以问题为导向的探索式分析工作。本文为您介绍如何通过MaxCompute JDBC驱动，连接FineBI和MaxCompute项目，并进行可视化数据分析。背景信息 FineBI是帆...
Yonghong BI连接MaxCompute
MaxCompute支持您将MaxCompute项目数据接入Yonghong BI，帮助您轻松完成数据分析和数据可视化工作。本文为您介绍如何连接Yonghong BI和MaxCompute项目，并进行可视化数据分析。背景信息 Yonghong Desktop是一款桌面智能数据分析工具，基于...
观远BI连接MaxCompute
MaxCompute支持您将MaxCompute项目数据接入观远BI，帮助企业的业务人员和数据分析师开展以问题为导向的探索式分析工作以及制作数据卡片和数据看板。本文为您介绍如何通过MaxCompute JDBC驱动，连接观远BI和MaxCompute项目，并进行可视化...
安全设置
支持-当前项目Prod环境的所有表操作 支持-不支持 跨项目查询 支持-跨项目DDL 支持 不支持-说明-表示当前操作不受 跨项目安全模式或生产数据安全模式 功能管控。重要 设置安全模式后，项目数据有更高的安全性，但是会导致系统使用流畅程度...
安全设置
支持-当前项目Prod环境的所有表操作 支持-不支持 跨项目查询 支持-跨项目DDL 支持 不支持-说明-表示当前操作不受 跨项目安全模式或生产数据安全模式 功能管控。重要 设置安全模式后，项目数据有更高的安全性，但是会导致系统使用流畅程度...
场景：跨账号创建数据源
说明 您可根据跨账号添加的数据源在A工作空间的使用场景，提前为RAM角色授权与相关权限，例如，若要在A工作空间查询B工作空间数据源下的表，需确保数据源配置的RAM角色已拥有该表的SELECT权限。账号A：使用账号B的用户信息创建数据源 说明 ...
MaxCompute+DLF+OSS湖仓一体的湖查询和湖数据入仓实践
MaxCompute、DLF和OSS是阿里云提供的一体化解决方案，可以实现数据湖查询和湖数据入仓。通过配置DLF，将数据从OSS导入到MaxCompute中，并使用MaxCompute进行数据湖查询。该方案可以方便地进行数据分析和处理，并保证数据的可靠性和安全性。...
Tableau连接MaxCompute
MaxCompute支持您将MaxCompute项目数据接入Tableau进行可视化分析，您可以利用Tableau简便的拖放式界面，自定义视图、布局、形状、颜色等，帮助您展现自己的数据视角。本文为您介绍如何通过MaxCompute JDBC驱动，连接Tableau和MaxCompute...
MaxCompute+Hadoop搭建实践
本文以E-MapReduce的Hive为例，为您介绍在MaxCompute中如何创建外部项目，并查询Hadoop中的表数据。使用限制 仅华东1（杭州）、华东2（上海）、华北2（北京）、华北3（张家口）、华南1（深圳）、中国香港、新加坡和德国（法兰克福）地域...
散点层
数据源 单击 配置数据源，可在 设置数据源 面板中修改数据源类型和数据查询代码、预览数据源返回结果以及查看数据响应结果，详情请参见 配置资产数据。数据过滤器 数据过滤器提供数据结构转换、筛选和一些简单的计算功能。单击 添加过滤器...
基于DLF数据入湖的MaxCompute湖仓一体实践
由于DLF中数据入湖功能已经停止更新，本文采用DataWorks数据集成的入湖方式，以MySQL数据入湖为例，为您介绍在MaxCompute中如何创建外部项目，并查询DLF中的表数据。使用限制 仅华东1（杭州）、华东2（上海）、华北2（北京）、华北3...
新建MaxCompute计算源
MaxCompute计算源用于绑定Dataphin项目空间和MaxCompute项目，为Dataphin项目提供处理离线计算任务的计算源。如果Dataphin系统的计算引擎设置为MaxCompute，则只有项目空间添加了MaxCompute计算源，才支持规范建模、即席查询、MaxCompute ...
MaxCompute数据源
使用限制 说明 DataWorks的MaxCompute数据源可使用 Tunnel Endpoint 地址访问相应MaxCompute项目的Tunnel服务，从而通过上传、下载等方式同步该项目的数据。2023年12月11日 之后创建的MaxCompute数据源，若数据源所在的DataWorks服务与需要...
执行补数据并查看补数据实例（旧版）
补数据可通过补历史或未来一段时间的数据，将写入数据至对应时间分区。代码中的 调度参数，将根据补数据选择的业务时间自动替换为具体值，并结合业务代码将对应时间数据写入指定分区。具体写入的分区与执行的代码逻辑，与任务定义的代码...
Davinci连接MaxCompute
MaxCompute支持您将MaxCompute项目数据接入Davinci，您只需在可视化UI界面上简单配置即可服务多种数据可视化应用。本文为您介绍如何通过MaxCompute JDBC驱动，连接Davinci和MaxCompute项目，并进行可视化数据分析。背景信息 Davinci是面向...
元数据仓库共享模型标准访问方式
如元仓项目的计算源为MaxCompute，则在业务租户中创建元仓项目的MaxCompute数据源。检查最新数据是否产出。您可以通过元仓共享模型通信表以检查最新数据是否产出，每天元仓共享模型产出后，将更新通信表数据。通信表说明如下：data_share_...
Superset连接MaxCompute
MaxCompute支持您将MaxCompute项目数据接入Superset，帮助您快速、轻量、直观地探索和可视化分析数据。本文为您介绍如何通过PyODPS连接Superset和MaxCompute项目，并进行可视化数据分析。背景信息 Apache Superset是一个现代数据探索和可视...
- 产品推荐
- 这些文档可能帮助您