数据下载配置
Dataphin支持业务数据下载，您可对项目级数据是否可下载进行配置；数据在下载后脱离系统的管控，您可设置水印，以提醒注意数据安全，避免随意分享。本文为您介绍如何配置数据下载策略及水印。权限说明 仅支持安全管理员对数据下载策略执行...
使用限制
项目管理 配置计算引擎源 对于已配置为项目数据源的物理数据库，不建议再从其他非Dataphin控制台进行数据的增、删、改操作。不建议您为项目配置跨集群的计算引擎源。研发工作台 规范建模 建议您谨慎命名规范定义和逻辑表对象的英文名，且...
添加及管理监控对象
项目：超级管理员、质量管理员支持切换所有项目查看Dataphin数据表的质量规则，项目成员仅可选择已加入的项目并查看该项目下的Dataphin数据表的质量规则。个人：超级管理员、质量管理员支持切换至任一成员查看Dataphin数据表质量规则，普通...
添加及管理监控对象
项目：超级管理员、质量管理员支持切换所有项目查看Dataphin数据表的质量规则，项目成员仅可选择已加入的项目并查看该项目下的Dataphin数据表的质量规则。个人：超级管理员、质量管理员支持切换至任一成员查看Dataphin数据表质量规则，普通...
MMA概述
MaxCompute数据迁移原理 MaxCompute数据迁移包含同Region项目迁移、EMR+DLF+OSS迁移MaxCompute、跨Region项目迁移三种方式，本文为您介绍三种数据迁移方式的原理。同Region项目迁移。获取源项目中的所有表、分区，在目的项目中建表、分区。...
功能发布记录（2024年）
所有DataWorks用户 数据治理中心概述 数据治理中心新增物化视图功能 当您在面对大数据计算任务频繁且存在大量相似子查询场景时，DataWorks支持自动化治理，智能推荐物化视图，为您提供了一种智能化、自动化的解决方案。当您启用此功能时，...
常见问题
在数据水印的基础上，数据安全中心通过系统内置的异常事件检测，对运维高危操作、异常访问、拖库攻击、数据库注入、数据库外联、数据库高危操作等行为进行监控告警，覆盖传统数据库的基础上，还支持对象存储OSS、大数据平台MaxCompute以及...
项目
项目（Project）是MaxCompute的基本组织单元，它类似于传统数据库的Database或Schema的概念，是进行多用户隔离和访问控制的主要边界。项目中包含多个对象，例如表（Table）、资源（Resource）、函数（Function）和实例（Instance）等，您...
查看Dataphin数据表校验记录
Dataphin数据表校验记录用于记录质量规则校验Dataphin数据表的结果。本文为您介绍如何查看Dataphin数据表质量规则的校验记录。Dataphin数据表校验记录 在Dataphin首页，单击顶部菜单栏的 资产。按照下图操作指引，进入 Dataphin数据表 校验...
查看Dataphin数据表校验记录
Dataphin数据表校验记录用于记录质量规则校验Dataphin数据表的结果。本文为您介绍如何查看Dataphin数据表质量规则的校验记录。Dataphin数据表校验记录 在Dataphin首页，单击顶部菜单栏的 资产。按照下图操作指引，进入 Dataphin数据表 校验...
导入概述
为了更好地满足各种不同的业务场景，StarRocks支持多种数据模型，StarRocks中存储的数据需要按照特定的模型进行组织。本文为您介绍数据导入的基本概念、原理、系统配置、不同导入方式的适用场景，以及一些最佳实践案例和常见问题。背景信息...
MaxCompute近实时增全量一体化架构介绍
面对当前日益复杂且对数据时效性要求极高的近实时业务场景，MaxCompute基于Transaction Table2.0推出了集大规模存储、高效批量处理和近实时能力于一体的近实时增量一体化架构。本文为您介绍该架构的工作原理及其优势。背景和现状 在当前...
安全配置常见问题
MaxCompute拥有完备的措施来保证用户的数据安全：多用户场景，除项目所有者（Project Owner）或项目管理员之外，未经授权的用户无法访问MaxCompute项目。MaxCompute提供了多种授权方式，保证只有经过授权的用户才能访问MaxCompute项目。...
离线同步能力说明
数据集成的离线同步功能为您提供数据读取（Reader）和写入插件（Writer），方便您通过定义来源与去向数据源，并结合DataWorks调度参数使用，将源端数据库中全量或增量数据的同步至目标数据库中。本文为您介绍离线同步的相关能力。使用限制 ...
附录：空间级预设角色与MaxCompute引擎权限的映射关系
可以对该项目空间的基本属性、数据源、当前项目空间计算引擎配置和项目成员等进行管理，并为项目成员赋予项目管理员、开发、运维、部署、访客角色。开发 Role_Project_Dev MaxCompute引擎层面：当前项目下 project/table/fuction/resource/...
FineBI连接MaxCompute
MaxCompute支持您将MaxCompute项目数据接入FineBI，帮助企业的业务人员和数据分析师开展以问题为导向的探索式分析工作。本文为您介绍如何通过MaxCompute JDBC驱动，连接FineBI和MaxCompute项目，并进行可视化数据分析。背景信息 FineBI是帆...
Yonghong BI连接MaxCompute
MaxCompute支持您将MaxCompute项目数据接入Yonghong BI，帮助您轻松完成数据分析和数据可视化工作。本文为您介绍如何连接Yonghong BI和MaxCompute项目，并进行可视化数据分析。背景信息 Yonghong Desktop是一款桌面智能数据分析工具，基于...
观远BI连接MaxCompute
MaxCompute支持您将MaxCompute项目数据接入观远BI，帮助企业的业务人员和数据分析师开展以问题为导向的探索式分析工作以及制作数据卡片和数据看板。本文为您介绍如何通过MaxCompute JDBC驱动，连接观远BI和MaxCompute项目，并进行可视化...
安全设置
支持-当前项目Prod环境的所有表操作 支持-不支持 跨项目查询 支持-跨项目DDL 支持 不支持-说明-表示当前操作不受 跨项目安全模式或生产数据安全模式 功能管控。重要 设置安全模式后，项目数据有更高的安全性，但是会导致系统使用流畅程度...
安全设置
支持-当前项目Prod环境的所有表操作 支持-不支持 跨项目查询 支持-跨项目DDL 支持 不支持-说明-表示当前操作不受 跨项目安全模式或生产数据安全模式 功能管控。重要 设置安全模式后，项目数据有更高的安全性，但是会导致系统使用流畅程度...
MaxCompute+DLF+OSS湖仓一体的湖查询和湖数据入仓实践
MaxCompute、DLF和OSS是阿里云提供的一体化解决方案，可以实现数据湖查询和湖数据入仓。通过配置DLF，将数据从OSS导入到MaxCompute中，并使用MaxCompute进行数据湖查询。该方案可以方便地进行数据分析和处理，并保证数据的可靠性和安全性。...
场景：跨账号创建数据源
说明 您可根据跨账号添加的数据源在A工作空间的使用场景，提前为RAM角色授权与相关权限，例如，若要在A工作空间查询B工作空间数据源下的表，需确保数据源配置的RAM角色已拥有该表的SELECT权限。账号A：使用账号B的用户信息创建数据源 说明 ...
Tableau连接MaxCompute
MaxCompute支持您将MaxCompute项目数据接入Tableau进行可视化分析，您可以利用Tableau简便的拖放式界面，自定义视图、布局、形状、颜色等，帮助您展现自己的数据视角。本文为您介绍如何通过MaxCompute JDBC驱动，连接Tableau和MaxCompute...
MaxCompute+Hadoop搭建实践
本文以E-MapReduce的Hive为例，为您介绍在MaxCompute中如何创建外部项目，并查询Hadoop中的表数据。使用限制 仅华东1（杭州）、华东2（上海）、华北2（北京）、华北3（张家口）、华南1（深圳）、中国香港、新加坡和德国（法兰克福）地域...
散点层
数据源 单击 配置数据源，可在 设置数据源 面板中修改数据源类型和数据查询代码、预览数据源返回结果以及查看数据响应结果，详情请参见 配置资产数据。数据过滤器 数据过滤器提供数据结构转换、筛选和一些简单的计算功能。单击 添加过滤器...
基于DLF数据入湖的MaxCompute湖仓一体实践
由于DLF中数据入湖功能已经停止更新，本文采用DataWorks数据集成的入湖方式，以MySQL数据入湖为例，为您介绍在MaxCompute中如何创建外部项目，并查询DLF中的表数据。使用限制 仅华东1（杭州）、华东2（上海）、华北2（北京）、华北3...
新建MaxCompute计算源
MaxCompute计算源用于绑定Dataphin项目空间和MaxCompute项目，为Dataphin项目提供处理离线计算任务的计算源。如果Dataphin系统的计算引擎设置为MaxCompute，则只有项目空间添加了MaxCompute计算源，才支持规范建模、即席查询、MaxCompute ...
MaxCompute数据源
使用限制 说明 DataWorks的MaxCompute数据源可使用 Tunnel Endpoint 地址访问相应MaxCompute项目的Tunnel服务，从而通过上传、下载等方式同步该项目的数据。2023年12月11日 之后创建的MaxCompute数据源，若数据源所在的DataWorks服务与需要...
执行补数据并查看补数据实例（旧版）
补数据可通过补历史或未来一段时间的数据，将写入数据至对应时间分区。代码中的 调度参数，将根据补数据选择的业务时间自动替换为具体值，并结合业务代码将对应时间数据写入指定分区。具体写入的分区与执行的代码逻辑，与任务定义的代码...
Davinci连接MaxCompute
MaxCompute支持您将MaxCompute项目数据接入Davinci，您只需在可视化UI界面上简单配置即可服务多种数据可视化应用。本文为您介绍如何通过MaxCompute JDBC驱动，连接Davinci和MaxCompute项目，并进行可视化数据分析。背景信息 Davinci是面向...
元数据仓库共享模型标准访问方式
如元仓项目的计算源为MaxCompute，则在业务租户中创建元仓项目的MaxCompute数据源。检查最新数据是否产出。您可以通过元仓共享模型通信表以检查最新数据是否产出，每天元仓共享模型产出后，将更新通信表数据。通信表说明如下：data_share_...
Superset连接MaxCompute
MaxCompute支持您将MaxCompute项目数据接入Superset，帮助您快速、轻量、直观地探索和可视化分析数据。本文为您介绍如何通过PyODPS连接Superset和MaxCompute项目，并进行可视化数据分析。背景信息 Apache Superset是一个现代数据探索和可视...
创建并管理数据源
若您想在DataWorks操作您的数据库或数据仓库（例如，MaxCompute项目数据），需先在DataWorks的数据源管理页面，将数据库或数据仓库创建为DataWorks的数据源，并将该数据源绑定至DataWorks相应的功能模块使用。例如，同步MaxCompute数据前，...
2021年
新说明 MaxCompute支持您将MaxCompute项目数据接入观远数据（GuanData），帮助企业的业务人员和数据分析师开展以问题为导向的探索式分析工作以及制作数据卡片和数据看板。观远BI连接MaxCompute 2021年9月更新记录 时间 特性 类别 描述 产品...
同步时源库为Db2 for LUW的注意事项及限制
说明 如为增量同步任务，DTS要求源数据库的数据日志保存24小时以上，如为全量同步和增量同步任务，DTS要求源数据库的数据日志至少保留7天以上（您可在全量同步完成后将数据日志保存时间设置为24小时以上），否则DTS可能因无法获取数据日志...
监控报警
Tunnel日累计下载数据量_项目级别 以项目为单位，单日该项目累计下载的数据量监控指标。您可以设置最大数据量（MB），达到或超过这个阈值会触发报警。Tunnel日累计上传数据量_项目级别 以项目为单位，单日该项目累计上传的数据量监控指标。...
Github实时数据同步与分析
教程简介 本教程基于GitHub Archive公开数据集，通过DataWorks将GitHub中的项目、行为等20多种事件类型数据实时采集至Hologres进行分析，同时使用DataV内置模板，快速搭建实时可视化数据大屏，从开发者、项目、编程语言等多个维度了解...
存储费用
MaxCompute会对存储的数据（例如表或资源）及备份的数据，按照数据容量大小进行计费。本文为您介绍存储费用的计费规则。背景信息 MaxCompute数据的压缩比一般在5倍左右，因此多数情况下，您上传的数据文件大小与实际存储在MaxCompute的大小...
监控预警
结合预算计划监控数据和资源监控数据进行相关性分析 预算监控数据可以帮助我们观测资金的消耗，并关联到相关的云产品的具体使用情况，结合云资源的监控数据可以分析出资源消耗发生的时间点，事件，并采取相关的措施。设置预算计划之后，...
2023年
使用do-while节点实现复杂的数据分析 2023-09-20 新增通过跨项目数据访问实现不同地域MaxCompute项目数据迁移 新说明 本文为您介绍如何通过跨项目数据访问实现不同Region的MaxCompute项目数据迁移，包括两种使用场景：同云账号内不同Region...
- 产品推荐
- 这些文档可能帮助您