采集数据
本教程以MySQL中的用户基本信息（ods_user_info_d）表及OSS中的网站访问日志数据（user_log.txt）文件，通过数据集成离线同步任务分别同步至MaxCompute的ods_user_info_d、ods_raw_log_d表为例，为您介绍如何通过DataWorks数据集成实现异构...
采集数据
本教程以MySQL中的用户基本信息（ods_user_info_d）表及OSS中的网站访问日志数据（user_log.txt）文件，通过数据集成离线同步任务分别同步至MaxCompute的ods_user_info_d、ods_raw_log_d表为例，为您介绍如何通过DataWorks数据集成实现异构...
Catalog概述
基本概念 内部数据：保存在StarRocks中的数据。外部数据：保存在外部数据源（例如Apache Hive、Apache Iceberg和Apache Hudi）中的数据。Catalog StarRocks 2.3及以上版本支持Catalog功能，方便您轻松访问并查询存储在各类外部源的数据。...
数据页面管理
在管理数据页面中，数据的类型分为 ...上传数据 管理数据页面中的数据类型有 矢量、栅格、地理服务、三维模型、三维瓦片 和 业务数据 六大类，不同类型的数据可上传的数据格式互不相同，具体三种类型数据上传数据的详细说明请参见 上传数据。
数据页面管理
在管理数据页面中，数据的类型分为 ...上传数据 管理数据页面中的数据类型有 矢量、栅格、地理服务、三维模型、三维瓦片 和 业务数据 六大类，不同类型的数据可上传的数据格式互不相同，具体三种类型数据上传数据的详细说明请参见 上传数据。
表数据管理
查看数据 进入数据页签后，ODC 以表格的形式展示表中的数据，并导航栏中提供了以下功能键查看和管理表中的数据：功能 说明 编辑 单击编辑图标进入编辑态，以修改表中的数据。提交（Oracle 模式）Oracle 模式下自动提交默认设置为关（OFF）...
管理敏感数据
如果您需要对RDS实例中的敏感数据进行管控和脱敏，可以使用数据管理DMS提供的敏感数据保护功能。费用 请参见 敏感数据保护功能定价。功能介绍 数据管理DMS的敏感数据管理提供如下功能：提供敏感数据资产大盘，解决企业敏感数据分布的统一纳...
编辑数据集
本文为您介绍在DataV中数据集管理面板内如何编辑已创建的数据集。背景信息 数据集管理面板中已存在数据集且需要重新编辑修改该数据集内容。操作步骤 登录 DataV控制台。选择 我的数据 页签，在左侧列表中单击 数据集管理。在 数据集管理 ...
图层配置项说明
数据图元组件、栅格瓦片、地形瓦片、三维瓦片 和 其他：在这五个类型图层数据面板中，数据配置和普通图表组件一致，可配置静态数据源、API数据源和空间构建数据源内容，还可将图层数据接口作为区块数据接口，在可视化应用中配置更丰富的...
图层配置项说明
数据图元组件、栅格瓦片、地形瓦片、三维瓦片 和 其他：在这五个类型图层数据面板中，数据配置和普通图表组件一致，可配置静态数据源、API数据源和空间构建数据源内容，还可将图层数据接口作为区块数据接口，在可视化应用中配置更丰富的...
图层配置项说明
数据图元组件、栅格瓦片、地形瓦片、三维瓦片 和 其他：在这五个类型图层数据面板中，数据配置和普通图表组件一致，可配置静态数据源、API数据源和空间构建数据源内容，还可将图层数据接口作为区块数据接口，在可视化应用中配置更丰富的...
快速体验
对象存储OSS 本案例中用于存储网站访问记录数据，案例已默认提供该OSS数据源基本信息，您无需单独开通该服务。涉及模块 本案例使用以下DataWorks模块共同完成。步骤 操作内容 阶段性目标 数据采集 通过 DataWorks数据集成 模块，将存储在...
功能简介
在数据中台建设过程中，搭建核心处理平台，并根据相关标准要求，将源数据或治理后的数据，按照“全面、高效、统筹”的共享原则，“低延时”、“精准化”地传递给用户，方便更多应用消费数据，实现数据价值。协同管控各种组织机构，为智慧化...
迁移
例如，若您源库为 PolarDB-X 1.0 实例中的数据库，名称为“test1”，目标库为 PolarDB-X 2.0中的AUTO模式数据库，名称为“test2”，则需在 PolarDB-X 2.0实例中创建DRDS模式数据库作为中继数据库，名称为“test2_drdstoauto”。创建的目标...
实验介绍
对象存储OSS 本案例中用于存储网站访问记录数据，案例已默认提供该OSS数据源基本信息，您无需单独开通该服务。涉及模块 本案例使用以下DataWorks模块共同完成。步骤 操作内容 阶段性目标 数据采集 通过 DataWorks数据集成 模块，将存储在...
备份恢复
MongoDB提供如下恢复功能：按备份点将备份数据恢复至新建实例：从实例中的某个备份点来创建新的实例，新建的实例中的数据将恢复至选择的备份点，可用于数据恢复或数据验证场景。按时间点将备份数据恢复至新建实例：从实例运行的某个时间点...
统一服务
在数据中台建设过程中，搭建核心处理平台，并根据相关标准要求，将源数据或治理后的数据，按照“全面、高效、统筹”的共享原则，“低延时”、“精准化”的传递给用户，方便更多应用消费数据，实现数据价值。协同管控各种组织机构，为智慧化...
功能简介
AnalyticDB PostgreSQL版 的企业数据智能平台是数据资产定义、加工、管理、服务的全流程平台，提供数据同步、数据查询、数据建模、数据开发、质量评估、资产管理等功能，为智能数据应用持续稳定供给全量、标准、干净、智能的数据资源。...
功能简介
在数据中台建设过程中，搭建核心处理平台，并根据相关标准要求，将源数据或治理后的数据，按照“全面、高效、统筹”的共享原则，“低延时”、“精准化”地传递给用户，方便更多应用消费数据，实现数据价值。协同管控各种组织机构，为智慧化...
新建数据字典
数据字典管理支持创建并维护数据模型中使用的数据字典，制定并管理平台遵循的统一数据标准，为数据元、指标、维度的值域设置中引用数据字典提供数据基础，帮助平台管理者和数据管理者管控治理后数据的一致性和数据质量。本文为您介绍如何...
新建数据字典
数据字典管理支持创建并维护数据模型中使用的数据字典，制定并管理平台遵循的统一数据标准，为数据元、指标、维度的值域设置中引用数据字典提供数据基础，帮助平台管理者和数据管理者管控治理后数据的一致性和数据质量。本文为您介绍如何...
资产安全概述
资产安全为Dataphin提供了数据生命周期中统一的敏感数据识别与保护能力。通过数据分类分级、敏感数据识别、敏感数据脱敏等措施，帮助客户建立完善的数据安全体系，确保数据使用的安全合规性。前提条件 已购买 资产安全 增值服务，详情请...
资产安全概述
资产安全为Dataphin提供了数据生命周期中统一的敏感数据识别与保护能力。通过数据分类分级、敏感数据识别、敏感数据脱敏等措施，帮助客户建立完善的数据安全体系，确保数据使用的安全合规性。前提条件 已购买 资产安全 增值服务并且当前...
常见问题
但由于数据归档至冷存储的操作是周期性触发的，因此有部分冷数据可能会滞留在热存储，导致查询结果中包含了冷数据。可以在查询条件中添加热数据时间范围，避免出现此类问题。示例如下：/您需要设置_l_ts_min_(当前时间-冷热分界线),_l_ts_...
概述
汇总表 您可以结合业务数据分析和数仓分层，将一些明细的事实数据和维度数据先进行汇总分析，创建汇总表，后续数据分析时直接取用汇总表中的数据即可，无需再取用明细表和维度表中的数据。逆向建模 逆向建模主要用于将其他建模工具生成的...
创建元数据
在基于HBase、Elasticsearch或MongoDB数据源创建服务单元之前，需要先创建对应数据源中数据表的元数据，以实现通过元数据确定数据源中数据表的结构。后续您可以通过该元数据读取到对应数据源的数据。本文为您介绍如何创建HBase、...
数仓规划概述
数据域 数据域是一个较高层次的数据归类标准，是对企业业务过程进行抽象、提炼、组合的集合，是企业业务人员在使用数据时第一个分组入口，可以帮助企业业务人员快速的从海量的数据中快速圈定到自己的业务数据。详情请参见 数据域。业务过程...
测试数据构建
您可以通过DMS提供的测试数据构建功能，批量生成各类随机值、地区名、虚拟IP地址等信息，有效减轻您准备测试数据的负担。准备工作 已在数据库下创建表。建表操作，请参见 创建表。本文示例中数据库为 poc_dev，表为 big_table。操作步骤 本...
什么是数据资源平台
阿里云数据资源平台是数据资产定义、加工、管理、服务的全流程平台，提供数据同步、数据查询、数据标准、数据建模、数据加工、质量评估、业务模型构建、资产管理、数据服务等功能，为智能数据应用持续稳定供给全量、标准、干净、智能的数据...
区域热力层（v1.x版本）
数据源 单击 配置数据源，可在 设置数据源 面板中修改数据源类型和数据查询代码、预览数据源返回结果以及查看数据响应结果，详情请参见 配置资产数据。数据过滤器 数据过滤器提供数据结构转换、筛选和一些简单的计算功能。单击 添加过滤器...
Dataphin支持的数据源
背景信息 Dataphin支持对接的数据源包括大数据存储型数据源、文件数据源、消息队列数据源、关系型数据源和NoSQL数据源，各模块支持对接的数据源类型说明如下：如果您需要在Dataphin中连接某数据源，则需要先在数据源管理中创建该数据源。...
元数据采集
DataWorks数据地图为您提供 元数据采集 功能，方便您将不同系统中的元数据进行统一汇总管理，您可以在数据地图查看从各数据源汇集而来的元数据信息。本文为您介绍如何创建采集器，将各数据源的元数据信息汇集至DataWorks。前提条件 您需要...
敏感数据溯源
DataWorks的数据溯源功能，支持通过提取数据泄露文件中数据的水印信息，帮助您定位到可能会泄露目标数据的责任人。本文为您介绍如何创建溯源任务，并通过该任务查找可能会泄露数据的责任人。前提条件 已创建 数据识别规则，详情请参见 配置...
热力线层
数据源 单击 配置数据源，可在 设置数据源 面板中修改数据源类型和数据查询代码、预览数据源返回结果以及查看数据响应结果，详情请参见 配置资产数据。数据过滤器 数据过滤器提供数据结构转换、筛选和一些简单的计算功能。单击 添加过滤器...
入湖基础操作
关系数据库实时入湖：可以实现RDS MySQL或PolarDB数据库表数据增量同步到数据湖，选择在数据源管理中配置好的数据源，将数据源对应数据库中选定表的数据抽取binlog的方式将数据库表数据实时同步回放到数据湖中。待同步的数据表需确认包含...
基于DLF、RDS或Flink、OSS支持Delta Lake或Hudi存储...
Delta Lake和Hudi是数据湖方案中常用的存储机制，为数据湖提供流处理、批处理能力。MaxCompute基于阿里云DLF、RDS或Flink、OSS产品提供了支持Delta或Hudi存储机制的湖仓一体架构。您可以通过MaxCompute查询到实时数据，即时洞察业务数据...
创建PolarDB数据源
数据源配置 基于业务数据源是否区分生产数据源和开发数据源：如果业务数据源区分生产数据源和开发数据源，则选择 生产+开发数据源。如果业务数据源不区分生产数据源和开发数据源，则选择 生产数据源。标签 您可根据标签给数据源进行分类...
区域热力层（v2.x版本）
数据源 单击 配置数据源，可在 设置数据源 面板中修改数据源类型和数据查询代码、预览数据源返回结果以及查看数据响应结果，详情请参见 配置资产数据。数据过滤器 数据过滤器提供数据结构转换、筛选和一些简单的计算功能。单击 添加过滤器...
路网轨迹层
数据源 单击 配置数据源，可在 设置数据源 面板中修改数据源类型和数据查询代码、预览数据源返回结果以及查看数据响应结果，详情请参见 配置资产数据。数据过滤器 数据过滤器提供数据结构转换、筛选和一些简单的计算功能。单击 添加过滤器...
矢量散点层（v2.x版本）
数据源 单击 配置数据源，可在 设置数据源 面板中修改数据源类型和数据查询代码、预览数据源返回结果以及查看数据响应结果，详情请参见 配置资产数据。数据过滤器 数据过滤器提供数据结构转换、筛选和一些简单的计算功能。单击 添加过滤器...
- 产品推荐
- 这些文档可能帮助您