产品优势
产品功能全 功能涵盖数据传输、开发、生产、治理、安全全领域，每个领域深度覆盖大数据全生命周期，轻松帮助企业应对在搭建数仓、搭建数据中台、数字化转型项目中遇到的难题。支持复杂网络环境、常见数据源的数据同步上云以及实时、历史...
数据集成支持的数据源
离线集成支持的数据源 数据源 读取 写入 大数据存储型数据源 MaxCompute 支持 支持 Hive 支持 支持 Hologres 支持 支持 IMPALA 支持 支持 TDH Inceptor 支持 支持 Kudu 支持 支持 StarRocks 支持 支持 Hudi 支持 支持 Doris 支持 支持 ...
创建GreenPlum数据源
通过创建GreenPlum数据源能够实现Dataphin读取GreenPlum的业务数据或向GreenPlum写入数据。本文为您介绍如何创建GreenPlum数据源。背景信息 Greenplum是一款大数据分析引擎，作用于分析、机器学习和AI等领域。其架构主要针对管理大规模分析...
冷热分层
背景信息 在海量大数据场景下，随着业务和数据量的不断增长，性能和成本的权衡成为大数据系统设计面临的关键挑战。Delta Lake是新型数据湖方案，推出了数据流入、数据组织管理、数据查询和数据流出等特性，同时提供了数据的ACID和CRUD操作...
用户价值
数据资源平台为用户提供了一站式数据资产定义、生产、管理与服务平台，提供企业级数据资产构建能力和一致性使用体验，助力客户快速构建数据智能平台，实现数据资源统一管理，挖掘潜在规律，优化业务决策，让大数据真正的驱动客户业务。...
快速开始
条件样式 以柱状图为例，通过设置不同的条件样式和柱子的颜色，将需要高亮的数据展示出来。卡片编辑-样式设置 操作 说明 全局设置 更换卡片主题、设置图表文字和图表信息。更换图表 选择需要更换的图表样式，包括但不限于气泡图、条形图和...
Delta Lake概述
Delta Lake以数据为中心，围绕数据流走向（数据从流入数据湖、数据组织管理和数据查询到流出数据湖）推出了一系列功能特性，协助您搭配第三方上下游工具，搭建快捷、易用和安全的数据湖。背景信息 通常的数据湖方案是选取大数据存储引擎...
典型场景
ETL离线数据处理 面对复杂SQL优化和海量数据大规模聚合分析等挑战，云原生数据仓库AnalyticDB PostgreSQL版 具有如下技术优势：支持标准SQL、OLAP窗口函数和存储过程。ORCA分布式SQL优化器，复杂查询免调优。MPP多节点全并行计算，PB级数据...
功能发布记录（2024年）
2024.1.25 所有地域 所有DataWorks用户 数据脱敏能力概述 数据保护伞概述 数据地图支持展示实时同步链路数据血缘 数据地图新增解析及展示如下实时同步链路的数据血缘：MySQL实时写入MaxCompute/Hologres Kafka实时写入MaxCompute/Hologres ...
应用场景
阿里云开源大数据平台E-MapReduce（简称EMR）具有广泛的应用场景。本文为您介绍EMR的主要应用场景。数据湖场景 DataLake集群类型提供了数据湖分析场景所需的服务和相关湖格式，包括Hadoop、OSS-HDFS、Hive、Spark、Presto等。通过选择OSS-...
数据迁移
本文为您介绍数据迁移的最佳实践，包含将其他业务平台的业务数据或日志数据迁移至MaxCompute，或将MaxCompute的数据迁移至其它业务平台。背景信息 传统关系型数据库不适合处理海量数据，如果您的数据存放在传统的关系型数据库且数据量庞大...
创建Impala数据源
通过创建Impala数据源能够实现Dataphin读取Impala的业务数据或向Impala写入数据。本文为您介绍如何创建Impala数据源。背景信息 Impala是用于处理存储在Hadoop集群中大量数据的SQL查询引擎。如果您使用的是Impala，在导出Dataphin数据至...
JindoFS实战演示
使用Checksum迁移HDFS数据到OSS 使用Checksum迁移HDFS数据到OSS 2021-05-11 通过Checksum算法，你可以在大数据迁移场景中校验数据的完整性、对比数据差异并实现增量迁移。本视频为您介绍如何使用Jindo Distcp迁移HDFS数据到OSS，以及在迁移...
API资产详情
编号 描述 ① 概要信息 为您展示数据服务的名称。同时，您还可以执行如下操作：收藏：单击即可收藏。收藏后您可以在 目录 首页查看收藏的列表，方便后续查询。申请权限：提供API权限申请入口。如需申请，请单击 申请权限，详情请参见 数据...
什么是MaxCompute
MaxCompute是适用于数据分析场景的企业级SaaS（Software as a Service）模式云数据仓库，以Serverless架构提供快速、全托管的在线数据仓库服务，消除了传统数据平台在资源扩展性和弹性方面的限制，最小化用户运维投入，使您可以经济并高效...
数据源资产详情
编号 描述 ① 概要信息 为您展示数据源的名称、描述。同时，您还可以执行如下操作：收藏：单击即可收藏。收藏后您可以在 目录 首页查看收藏的列表，方便后续查询。申请权限：提供数据源权限申请入口。如需申请，请单击 申请权限，详情请...
数据源资产详情
编号 描述 ① 概要信息 为您展示数据源的名称、描述。同时，您还可以执行如下操作：收藏：单击即可收藏。收藏后您可以在 目录 首页查看收藏的列表，方便后续查询。申请权限：提供数据源权限申请入口。如需申请，请单击 申请权限，详情请...
资产权限审计
Dataphin支持对数据表、数据源的权限进行查看与审计，及时发现不合理的授权用户并处理，确保权限体系健康，防止权限泄露。本文为您介绍如何对数据表或数据源的权限进行查看与审计。使用限制 超级管理员、系统管理员和安全管理员支持导出...
资产权限审计
Dataphin支持对数据表、数据源的权限进行查看与审计，及时发现不合理的授权用户并处理，确保权限体系健康，防止权限泄露。本文为您介绍如何对数据表或数据源的权限进行查看与审计。使用限制 超级管理员、系统管理员和安全管理员支持导出...
产品概述
产品描述 Dataphin是集产品、技术、方法论于一体的智能大数据平台建设引擎，为您提供数据引入、规范定义、建模研发、资产管理、数据服务等全链路智能数据建设及治理服务。功能 描述 Dataphin全托管 全托管又称公共云多租户模式，只需购买...
外部表概述
但这两种方法都有不足之处：第一种方法需要在MaxCompute系统外部做一次中转，如果OSS数据量太大，还需要考虑如何并发来加速，无法充分利用MaxCompute的大规模计算能力。第二种方法通常需要申请UDF网络访问权限，还需要开发者自己控制作业...
镜像表和字段详情
最高涉密等级：为您展示该数据表的字段的敏感程度，数据分级 等级从低到高为L1、L2、L3、L4（公开到绝密）及自定义的数据分级。创建时间：为您展示该数据表的创建的时间，格式为：yyyy-mm-dd hh:mm:ss。创建人：为您展示创建该数据表的用户...
镜像表和字段详情
最高涉密等级：为您展示该数据表的字段的敏感程度，数据分级 等级从低到高为L1、L2、L3、L4（公开到绝密）及自定义的数据分级。创建时间：为您展示该数据表的创建的时间，格式为：yyyy-mm-dd hh:mm:ss。创建人：为您展示创建该数据表的用户...
数据分析概述
功能概述 SQL查询 SQL查询是使用标准的SQL语句，来查询和分析存储在MaxCompute中的大数据，详情请参见 SQL查询。您可以通过编写SQL语句，对有查询权限的数据源进行快速的数据查询与分析操作，详情请参见 功能概览。DataWorks SQL查询提供了...
数据集成
数据源支持情况 数据集成目前支持40种以上的数据源类型（包括关系型数据库、非结构化存储、大数据存储、消息队列等），通过定义来源与去向数据源，并使用数据集成提供的数据抽取插件（Reader）、数据写入插件（Writer），实现任意结构化、...
Iceberg概述
您可以借助Iceberg快速地在HDFS或者阿里云OSS上构建自己的数据湖存储服务，并借助开源大数据生态的Spark、Flink、Hive和Presto等计算引擎来实现数据湖的分析。核心能力 Apache Iceberg设计初衷是为了解决Hive数仓上云的问题，经过多年迭代...
数据重排
在MaxCompute的使用过程中，如果已经积累了大量数据占用了大量存储资源，且已经通过削减数据存储生命周期和删除非必要数据等方式进行了治理，在您的存储预算有限，计算资源还有冗余的情况下，可以考虑使用数据重排方式对存储空间进行优化。...
创建Kudu数据源
背景信息 Kudu提供接近于关系数据库管理系统（RDBMS）的功能和数据模型，提供类似于关系型数据库的存储结构来存储数据，允许用户以和关系型数据库相同的方式插入、更新、删除数据。Kudu仅仅是一个存储层，并不存储数据，因此需要依赖外部的...
资产全景
在 流动 页面，为您可视化展示 数据引入、物理表数 和 逻辑表数，为您提供数据输出后的数据查询及应用功能：将鼠标悬停在 数据引入 模块上，为您展示的 数据源 个数、数据表接入量Top5 和 数据表接入量Least5。数据源：统计昨天有数据同步...
资产全景
在 流动 页面，为您可视化展示 数据引入、物理表数 和 逻辑表数，为您提供数据输出后的数据查询及应用功能：将鼠标悬停在 数据引入 模块上，为您展示的 数据源 个数、数据表接入量Top5 和 数据表接入量Least5。数据源：统计昨天有数据同步...
表数据管理
查看数据 进入数据页签后，ODC 以表格的形式展示表中的数据，并导航栏中提供了以下功能键查看和管理表中的数据：功能 说明 编辑 单击编辑图标进入编辑态，以修改表中的数据。提交（Oracle 模式）Oracle 模式下自动提交默认设置为关（OFF）...
管理视图
展示数据量 设置在页面中展示的行数。默认仅展示 1000 条。搜索 通过关键字搜索视图数据。列管理 筛选在页面中展示的列。列模式 以表格的形式展示当前被选中行的数据。在 列模式 页面可以进行上一行、下一行的切换展示，在列数量比较多的...
常见问题
在数据水印的基础上，数据安全中心通过系统内置的异常事件检测，对运维高危操作、异常访问、拖库攻击、数据库注入、数据库外联、数据库高危操作等行为进行监控告警，覆盖传统数据库的基础上，还支持对象存储OSS、大数据平台MaxCompute以及...
SHOW TABLES
SHOW TABLES语句用于展示数据库中满足查询条件的所有表。在使用CREATE TABLE语句建表前，您可以通过SHOW TABLES语句查看当前数据库已存在的表，避免重名报错。适用引擎 SHOW TABLES语法适用于宽表引擎和时序引擎。语法 show_tables_...
DataWorks On MaxCompute使用说明
数据地图概述 安全中心 数据保护伞 审批中心 安全中心是集数据资产分级分类、敏感数据识别、数据授权管理、敏感数据脱敏、敏感数据访问审计、风险识别与响应于一体的一站式数据安全治理界面，帮助用户落地数据安全治理事项。安全中心概述 ...
查看数据分类预置模型
④ 数据分类层级目录 为您展示数据分类的名称/描述、分类缩写、数据分级、所属分类层级信息。同时，您可对数据分类执行查看操作。查看：可查看数据分类的详细信息，包括基本信息、对应的分级信息以及扫描方式。⑤添加到生效模型 您可勾选...
查看数据分类预置模型
④ 数据分类层级目录 为您展示数据分类的名称/描述、分类缩写、数据分级、所属分类层级信息。同时，您可对数据分类执行查看操作。查看：可查看数据分类的详细信息，包括基本信息、对应的分级信息以及扫描方式。⑤添加到生效模型 您可勾选...
S3M BIM
数据源 单击 配置数据源，可在 设置数据源 面板中修改数据源类型和数据查询代码、预览数据源返回结果以及查看数据响应结果，详情请参见 配置资产数据。数据结果 展示数据请求的响应结果。当数据源发生改变时，可单击右侧的 图标，实时查看...
S3M管网
数据源 单击 配置数据源，可在 设置数据源 面板中修改数据源类型和数据查询代码、预览数据源返回结果以及查看数据响应结果，详情请参见 配置资产数据。数据结果 展示数据请求的响应结果。当数据源发生改变时，可单击右侧的 图标，实时查看...
查看指标资产详情
在 数据表 页面，展示数据的名称、字段等信息，同时，单击数据表名称可跳转至数据表资产页面。在 API 页面，展示API名称和返回参数等信息，同时，单击API名称可跳转至API资产页面。已在数据建模模块创建逻辑表，并关联字段标准指标、维度或...
- 产品推荐
- 这些文档可能帮助您