Flink_SQL任务开发方式
Dataphin的Flink_SQL任务支持多种开发方式，包括原生DDL+DML开发、基于Catalog开发、使用Dataphin元表进行开发、使用Dataphin数据源表进行开发、以及使用计算源物理表进行开发，且不同开发方式所创建的表支持任意混用，包括镜像表。...
API概览
DescribeColumnsV2 查询数据资产表中列的数据V2 调用DescribeColumns接口查询数据安全中心连接授权的MaxCompute、RDS等数据资产表中列的数据。DescribeOssObjects 查询OSS的存储对象列表 调用本接口查询连接授权的OSS的存储对象列表。...
输入节点
当选择数据表时，需保证模型与下游节点的输入数据模型相同，适用于已创建数据模型的场景。当选择*（任意结构）时，代表数据结构为任意结构，适用于未创建数据模型的场景。说明 模型名称支持复制，将鼠标移动至已选择模型时，单击 图标，...
资产权限审计
Dataphin支持对数据表、数据源的权限进行查看与审计，及时发现不合理的授权用户并处理，确保权限体系健康，防止权限泄露。本文为您介绍如何对数据表或数据源的权限进行查看与审计。使用限制 超级管理员、系统管理员和安全管理员支持导出...
StarRocks物理视图和字段详情
② 图例区 表级血缘支持的数据表，包括 物理表、维度逻辑表、事实逻辑表、汇总逻辑表、标签逻辑表、物理视图、逻辑视图、元表、镜像表、数据源表。③ 血缘图展示区 为您展示完整的血缘链路图，可手动展开多级上游或下游，支持根据数据表...
资产权限审计
Dataphin支持对数据表、数据源的权限进行查看与审计，及时发现不合理的授权用户并处理，确保权限体系健康，防止权限泄露。本文为您介绍如何对数据表或数据源的权限进行查看与审计。使用限制 超级管理员、系统管理员和安全管理员支持导出...
逻辑视图和字段资产详情
② 图例区 表级血缘支持的数据表，包括 物理表、维度逻辑表、事实逻辑表、汇总逻辑表、标签逻辑表、物理视图、逻辑视图、元表、镜像表、数据源表。③ 血缘图展示区 为您展示完整的血缘链路图，可手动展开多级上游或下游，支持根据数据表...
数据表-数据概况
功能说明 在数据表详情的数据概况标签页，基于对元数据及存储数据的统计，为您提供了数据表更加详细的指标信息，比如表存储大小、表文件总数、DDL最后更新时间、数据最后更新时间、访问次数、分区存储大小，分区文件数，分区最后更新时间等...
逻辑视图和字段资产详情
② 图例区 表级血缘支持的数据表，包括 物理表、维度逻辑表、事实逻辑表、汇总逻辑表、标签逻辑表、物理视图、逻辑视图、元表、镜像表、数据源表。③ 血缘图展示区 为您展示完整的血缘链路图，可手动展开多级上游或下游，支持根据数据表...
物化视图和字段资产详情
② 图例区 表级血缘支持的数据表，包括 物理表、维度逻辑表、事实逻辑表、汇总逻辑表、标签逻辑表、物理视图、逻辑视图、元表、镜像表、数据源表。③ 血缘图展示区 为您展示完整的血缘链路图，可手动展开多级上游或下游，支持根据数据表...
MaxCompute/Hadoop物理视图和字段详情
② 图例区 表级血缘支持的数据表，包括 物理表、维度逻辑表、事实逻辑表、汇总逻辑表、标签逻辑表、物理视图、逻辑视图、元表、镜像表、数据源表。③ 血缘图展示区 为您展示完整的血缘链路图，可手动展开多级上游或下游，支持根据数据表...
代码模式建模
数据表创建完成后，您可以使用脚本模式通过FML语句配置表的字段及分区信息。本文为您介绍如何使用FML语句配置数据表的相关内容。前提条件 DataWorks目前不支持通过FML语言创建数据表，您需要提前使用可视化界面创建好维度表、明细表、汇总...
质量大盘
质量大盘为您展示质量规则校验的表数、校验结果为异常的表数、规则应用趋势、规则异常趋势，帮助您从整体质量规则校验结果的视角出发，快速识别并处理异常的...说明 数据表仅包含物理表、逻辑表和全域数据表。数据源仅包含离线物理数据源。
质量大盘
质量大盘为您展示质量规则校验的表数、校验结果为异常的表数、规则应用趋势、规则异常趋势，帮助您从整体质量规则校验结果的视角出发，快速识别并处理异常的...说明 数据表仅包含物理表、逻辑表和全域数据表。数据源仅包含离线物理数据源。
权限操作审计
Dataphin支持对数据表、数据源的权限变更操作进行查看与审计，以此来判断授权、回收、交还等操作的合理性。本文为您介绍如何对数据表或数据源的权限操作进行查看和审计。使用限制 超级管理员、系统管理员和安全管理员支持对权限操作进行...
互联网服务：小打卡
基于 PolarDB-X+RDS的分布式数据库解决方案能在表拆分成小的物理表后，提供海量数据平稳高并发读能力，保证了客户核心业务的稳定性和高性能。小打卡的圈子打卡日记通过圈子做拆分，同时用户还有查看自己圈子日记的诉求，全局索引能力为小...
权限操作审计
Dataphin支持对数据表、数据源的权限变更操作进行查看与审计，以此来判断授权、回收、交还等操作的合理性。本文为您介绍如何对数据表或数据源的权限操作进行查看和审计。使用限制 超级管理员、系统管理员和安全管理员支持对权限操作进行...
API概览
表 表 CreateTable 新增元数据表 新增数据湖的元数据表。DeleteTable 删除元数据表 根据名称删除数据湖的元数据表。DeleteTableColumnStatistics 删除元数据表统计信息 回收数据湖元数据表的字段统计信息。DeleteTableVersion 删除元数据表...
添加数据集
DataV数据集支持多种数据源的接入，如数据库、excel表格文件等，通过对数据的结构化存储和元数据的汇集整理，提供高效实用的数据建模能力，可用的算子包括常见的数据聚合函数、按不同时间粒度划分、地理信息处理等。本文为您介绍如何在...
新建数据探查任务
数据探查可以帮助您快速了解数据概况，提前评估数据可用性和潜在风险，您可对数据表进行全量探查、抽样探查。本文为您介绍如何新建数据探查任务。前提条件 需开通数据质量功能模块才可使用数据探查功能。使用限制 当计算引擎为AnalyticDB ...
新建数据探查任务
数据探查可以帮助您快速了解数据概况，提前评估数据可用性和潜在风险，您可对数据表进行全量探查、抽样探查。本文为您介绍如何新建数据探查任务。前提条件 需开通数据质量功能模块才可使用数据探查功能。使用限制 当计算引擎为AnalyticDB ...
配置Hologres输出组件
同步其他数据源的数据至Hologres数据源的场景中，完成源数据的信息配置后，需要配置Hologres输出组件的目标数据源。本文为您介绍如何配置Hologres输出组件。前提条件 已创建Hologres数据源并已申请Hologres数据源的同步写权限：如何创建...
表管理
DataWorks的表管理模块，可按照表所属主题、表所在引擎维度展示表，并通过引擎类型、表所在环境、表名称等信息进行过滤，快速查找目标表并编辑表信息。同时，也可新建表并导入表数据。本文为您介绍表管理的相关功能。前提条件 已定义表主题...
写数据表
本文介绍写数据表算子的使用方法。用途 写数据表 算子用于将模型上游节点处理之后的出具写入指定的数据表中。适用场景 计算链路 计算引擎 是否支持 离线 MaxCompute 是 Hive 是 HiveStorage 是 RDS/MySQL 是 使用说明 离线链路 输入节点 ...
功能简介
通过统一的数据资产目录，沉淀数据供给方生产的各类型数据，帮助数据使用者快速了解和获取业务需要的高质量数据资产，促进数据资产发挥更大的业务价值。同时，通过查看数据资产全局血缘，清晰的了解数据资产的上下游关联。概览 对数据资产...
配置ClickHouse输入组件
来源表量包括 单表 和 多表：单表：适用于将一个表的业务数据同步至一个目标表的场景。多表：适用于将多个表的业务数据同步至同一个目标表的场景。多个表的数据写入同一个数据表时，使用union算法。更多union说明，请参见 交集（INTERSECT...
入湖基础操作
关系数据库实时入湖：可以实现RDS MySQL或PolarDB数据库表数据增量同步到数据湖，选择在数据源管理中配置好的数据源，将数据源对应数据库中选定表的数据抽取binlog的方式将数据库表数据实时同步回放到数据湖中。待同步的数据表需确认包含...
导出至MaxCompute
本文介绍如何通过INSERT外表方式将 AnalyticDB MySQL版 数仓版（3.0）数据导出到MaxCompute分区表。前提条件 根据MaxCompute 准备工作 和 快速入门 准备目标数据表。例如通过 表操作 语句，在MaxCompute中创建以下表。如果您已经有目标数据...
数据权限配置
数据权限策略可根据不同的数据等级指定不同的审批规则，能使审批人员着重于高敏感数据，对于公开的数据，可免除审批，从而降低权限审批的负担，本文为您介绍如何配置数据权限策略。权限说明 仅支持安全管理员对数据权限策略执行添加、编辑...
数据权限配置
数据权限策略可根据不同的数据等级指定不同的审批规则，能使审批人员着重于高敏感数据，对于公开的数据，可免除审批，从而降低权限审批的负担，本文为您介绍如何配置数据权限策略。权限说明 仅支持安全管理员对数据权限策略执行添加、编辑...
全量数据同步
通过选择已注册的数据源端数据和目标端，实现全量任务自动建表的方式创建离线同步周期任务，本文介绍如何创建MySQL to MaxCompute离线全量数据同步一次性调度的任务。前提条件 已新建工作组，具体操作，请参见 新建工作组。已在工作组中...
同步节点
逻辑表 输入表的数据格式，由数据模型定义，在下拉列表中选择，表示该计算资源中提供数据的数据表的结构。当选择数据表时，。当选择星号（*）时，表示数据结构为任意结构，用于对未创建数据模型的表进行操作，此时物理表必须选择已经存在的...
同步节点
逻辑表 输入表的数据格式，由数据模型定义，在下拉列表中选择，表示该计算资源中提供数据的数据表的结构。当选择数据表时，。当选择星号（*）时，表示数据结构为任意结构，用于对未创建数据模型的表进行操作，此时物理表必须选择已经存在的...
发现
通过统一的数据资产目录，沉淀数据供给方生产的各类型数据，帮助资产运营管理者进行高价值、可共享的数据资源的注册、编目分类和公开运营，帮助数据使用者快速了解和获取业务需要的高质量数据资产，促进数据资产发挥更大的业务价值。...
Schema约束
Schema约束策略决定了数据写入时是否校验表是否存在、表结构是否一致、字段的数据类型是否一致。不同的数据写入方式，支持的Schema约束策略不同。本文介绍Lindorm时序引擎Schema约束的概念和使用。Lindorm时序模型的Schema Lindorm时序引擎...
需求分析
用户基本信息表：ods_user_info_d 网站访问日志原始数据表：ods_raw_log_d 网站访问日志明细表数：dwd_log_info_di 用户网站访问信息宽表：dws_user_info_all_di 用户画像数据：ads_user_info_1d 根据规范设计数据流：本实验使用数据集成离...
需求分析
用户基本信息表：ods_user_info_d 网站访问日志原始数据表：ods_raw_log_d 网站访问日志明细表：dwd_log_info_di 用户网站访问信息宽表：dws_user_info_all_di 用户画像数据：ads_user_info_1d 根据规范设计数据流：本实验使用数据集成离线...
查看物理表信息
数据查询提供不同数据资源的物理表基础信息，包括物理表基本信息、表结构和物理表DDL语句。本文介绍如何查看物理表信息。前提条件 已新建云计算资源，具体操作，请参见 新建云计算资源。操作步骤 登录 数据资源平台控制台。在页面左上角，...
查看物理表信息
数据查询提供不同数据资源的物理表基础信息，包括物理表基本信息、表结构和物理表DDL语句。本文介绍如何查看物理表信息。前提条件 已新建云计算资源，具体操作，请参见 新建云计算资源。操作步骤 登录企业数据智能平台。在页面左上角，单击...
多表连接
连接条件 连接条件指定了两张数据表之间使用哪些字段进行连接，当数据表中某条数据（假定为a）的所有连接字段的值与另一张数据表某条数据（假定为b）的所有连接字段的值相同，则这a、b两条数据成功连接。多表连接算子支持指定多张数据表...
- 产品推荐
- 这些文档可能帮助您