运营
运营主要面向租户资产管理员，为用户提供数据资产编目、数据资产上线、数据资产下线等能力。通过获取资产元数据信息，并同步到数据资产目录完成数据资产注册。数据资产管理涉及三种用户角色，包括资产使用方、租户资产管理员、工作组管理员...
功能简介
运营主要面向租户资产管理员，为用户提供数据资产编目、上线、下线等能力。运营获取资产元数据信息，同步到数据资产目录完成数据资产注册。数据资产管理涉及三种用户角色，包括资产使用方、租户资产管理员、工作组管理员。资产使用方：主要...
新建数据处理任务
系统提供数据处理能力，包括倾斜数据处理、地形数据处理、三维模型处理、影像优化处理。本文以新建倾斜数据处理任务为例，介绍如何新建数据处理任务。前提条件 已添加空间元数据，具体操作，请参见 添加数据。已添加OSS类型云计算资源。...
功能简介
AnalyticDB PostgreSQL版 的企业数据智能平台是数据资产定义、加工、管理、服务的全流程平台，提供数据同步、数据查询、数据建模、数据开发、质量评估、资产管理等功能，为智能数据应用持续稳定供给全量、标准、干净、智能的数据资源。...
查看表资产详情
在数据表目录区域，选择该资产对应目录，单击 图标，根据页面提示，输入相关信息筛选表资产，并在筛选结果中查找表资产。在数据表资产列表展示区域，单击目标表资产名称。在数据表详情页面，可查看字段信息、数据探查、血缘关联和数据质量...
查看表资产详情
在数据表目录区域，选择该资产对应目录，单击 图标，根据页面提示，输入相关信息筛选表资产，并在筛选结果中查找表资产。在数据表资产列表展示区域，单击目标表资产名称。在数据表详情页面，可查看字段信息、数据探查、血缘关联和数据质量...
观远BI连接MaxCompute
步骤四：确认数据表信息 在 确认数据表信息 面板中，对选中的表以及表数据进行预览确认，同时输入 数据集名称，并选择保存数据的目录。数据确认完成后单击 确认新建。步骤五：使用观远BI查询及分析数据 在观远BI主界面顶部菜单栏单击 仪表...
导出至OSS
云原生数据仓库AnalyticDB MySQL版 支持通过外表和INSERT INTO方式将 AnalyticDB MySQL版 数仓版（3.0）中的数据导出到对象存储OSS（Object Storage Service）中。将数据导出到OSS功能只支持CSV和Parquet格式文件。前提条件 在 对象存储 ...
管理数据
企业管理员使用数据域可以基于业务属性、组织架构、数据特征等维度对数据资产进行分类管理。通过将拥有共同属性的数据资产集中到同一个数据域中，管理员可以高效管理数据资产及资产中的敏感数据。本文介绍首次使用数据域功能的具体操作。...
云盘备份数据导入至AnalyticDB MySQL版
如果您需要对RDS MySQL云盘数据进行查询分析，您可先使用高级下载功能将数据下载到阿里云OSS中，再将OSS中的数据导入到云原生数据仓库 AnalyticDB MySQL版 进行查询分析。前提条件 RDS MySQL为 云盘 实例，且支持高级备份下载功能。是否...
移动数据元
当需要变更数据元所属目录时，您可以通过移动数据元，实现数据元所属目录的修改。本文介绍如何修改数据元目录。前提条件 已存在1个及以上（不包含默认类目）的数据元目录。已完成数据元创建或者导入，具体操作，请参见 新建数据元 或者 ...
移动数据元
当需要变更数据元所属目录时，您可以通过移动数据元，实现数据元所属目录的修改。本文介绍如何修改数据元目录。前提条件 已存在1个及以上（不包含默认类目）的数据元目录。已完成数据元创建或者导入，具体操作，请参见 新建数据元 或者 ...
基本概念
目录（Catalog）目录是数据库的集合，分为内部目录（Internal）与外部目录（External），内部目录包含了SelectDB自身的数据库，外部目录可以连接Hive、Iceberg、Hudi等并进行查询。数据库（Database）数据库属于目录，内部包含表、列、视图...
表设计规范
普通字段可以被理解为数据文件的数据，而分区字段可以被理解为文件系统的目录。表的存储空间主要是普通字段占用的空间。设置分区字段时，您可以从数据管理和数据扫描方面考虑，来选择对应的字段。不具备规律、类型数量大于10000且不经常...
OSS数据源
元数据发现任务可以在单次运行中自动为OSS上面的数据文件创建和更新数据湖元数据（一张或多张表），具有自动探索文件数据字段及类型、自动映射目录和分区、自动感知新增列及分区、自动对文件进行分组建表的能力。OSS数据源配置模式 OSS数据...
申请数据表
本文介绍如何申请已公开的数据表资产。前提条件 已公开数据表资产“dws_ren_kh_demo_di（银行客户信息）”，具体操作，请参见 表资产。使用租户一般用户登录。操作步骤 登录 数据资源平台控制台。在页面左上角，单击 图标，选择 发现。在...
DataStudio侧实时同步任务配置
完成数据源、网络、资源的准备配置后，您可创建实时同步节点，将多种输入及输出数据源搭配组成同步链路，进行单表或整库数据的实时增量同步。本文为您介绍如何创建单表或整库增量数据实时同步任务，并在创建完成后查看任务运行情况。前提...
通过脚本模式配置离线同步任务
当您需要实现更精细化的配置管理时，您可以使用脚本模式配置离线同步任务，通过编写数据同步的JSON脚本并结合DataWorks调度参数使用，将源端单表或分库分表的全量或增量数据周期性同步至目标数据表。本文为您介绍脚本模式配置离线同步任务...
通过向导模式配置离线同步任务
数据集成提供向导式的开发引导，您无需编写任何代码，通过在界面勾选数据来源与去向，并结合DataWorks调度参数，实现将源端单表或分库分表的全量或增量数据周期性同步至目标数据表。本文为您介绍向导模式配置离线同步任务的常规配置，各...
数据上云场景
MaxCompute平台提供了丰富的数据上传下载工具，可以广泛应用于各种数据上云的应用场景，本文为您介绍三种经典数据上云场景。Hadoop数据迁移 您可使用MMA...具体场景示例请参见 Flume收集网站日志数据到MaxCompute 和 海量日志数据分析与应用。
异构数据源访问
若您需要通过 AnalyticDB PostgreSQL版 访问外部异构数据源（HDFS、Hive和JDBC）时，可以使用异构数据源访问功能将外部数据转换为 AnalyticDB PostgreSQL版 数据库优化后的格式进行查询和分析。功能说明 外部数据源管理提供高性能的结构化...
导入数据并查询
云原生数据仓库 AnalyticDB MySQL 版 提供多种数据同步方案，可满足不同场景下的数据同步需求。本文以数据文件存储在OSS中为例，介绍如何将OSS中的数据文件导入 AnalyticDB for MySQL 的 adb_demo 数据库中并进行查询。前提条件 通过以下...
查看集群日报与分析
在目录冷热数据分布信息中会展示如下信息：层级目录极冷数据量分布Top 层级目录冷数据量分布Top 层级目录温数据量分布Top 层级目录热数据量分布Top 每个表格会展示具体路径、存储大小、日环比和日增量等信息。HBase存储资源 详细分析 该...
操作指南
功能 文档 Dataphin全托管 数仓规划概述 数据引入概述 数据开发概述 发布中心概述 运维中心概述 分析平台概述 标签工厂概述 资产全景及目录概述 数据标准概述 资产质量概述 资源治理概述 资产安全概述 数据服务概述 Dataphin半托管 数仓...
数据开发功能索引
本文为您介绍DataWorks数据开发（DataStudio）界面的整体布局，以及进行开发操作的主界面（业务流程和节点）中各组件、按钮的功能作用，方便您快速了解及使用数据开发模块。进入数据开发 登录 DataWorks控制台，单击左侧导航栏的 数据建模...
需求分析
ods_raw_log_d 网站访问日志明细表数：dwd_log_info_di 用户网站访问信息宽表：dws_user_info_all_di 用户画像数据：ads_user_info_1d 根据规范设计数据流：本实验使用数据集成离线同步任务将用户信息数据与用户网站访问记录数据分别同步至...
需求分析
ods_raw_log_d 网站访问日志明细表：dwd_log_info_di 用户网站访问信息宽表：dws_user_info_all_di 用户画像数据：ads_user_info_1d 根据规范设计数据流：本实验使用数据集成离线同步任务将用户信息数据与用户网站访问记录数据分别同步至...
创建同步OSS
同步说明 1）目前DataHub支持将TUPLE和BLOB数据同步到OSS中 TUPLE:采用csv数据格式，每个Record中的column数据以逗号分隔，Record之间采用 换行符' ' 分隔 BLOB:采用Append方式进行数据追加，如果用户需要拆分OSS数据，用户需要自己往...
配置FTP输出组件
同步其他数据源的数据至FTP数据源的场景中，完成源数据源的信息配置后，需要配置FTP输出组件的目标数据源。本文为您介绍如何配置FTP输出组件。前提条件 已创建FTP数据源，详情请参见 创建FTP数据源。进行FTP输出组件属性配置的账号，需具备...
配置FTP输出组件
同步其他数据源的数据至FTP数据源的场景中，完成源数据源的信息配置后，需要配置FTP输出组件的目标数据源。本文为您介绍如何配置FTP输出组件。前提条件 已创建FTP数据源，详情请参见 创建FTP数据源。进行FTP输出组件属性配置的账号，需具备...
ListDoctorHDFSDirectories-批量获取HDFS目录分析结果
通过EMR Doctor批量获取特定目录分析结果，目录不超过5级。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 当前API暂无授权信息透出。请求...
配置HDFS输出组件
同步其他数据源的数据至HDFS数据源的场景中，完成源数据的信息配置后，需要配置HDFS输出组件的目标数据源。本文为您介绍如何配置HDFS输出组件。前提条件 已创建HDFS数据源，如何创建，请参见 创建HDFS数据源。进行HDFS输入组件属性配置的...
新建及管理数据标准
数据标准是为业务、技术和管理提供服务和支持，数据标准管理的过程就是对数据以及数据的属性信息的标准化定义和应用的过程。本文为您介绍如何新建及管理数据标准。权限说明 超级管理员、数据标准管理员可以在所有标准集下新建或克隆数据...
新建及管理数据标准
数据标准是为业务、技术和管理提供服务和支持，数据标准管理的过程就是对数据以及数据的属性信息的标准化定义和应用的过程。本文为您介绍如何新建及管理数据标准。权限说明 超级管理员、数据标准管理员可以在所有标准集下新建或克隆数据...
配置同步任务
数据库类型 数据源 关系型数据库 MySQL、Oracle、Microsoft SQL Server、PostgreSQL、AnalyticDB for PostgreSQL 开源大数据数仓存储 Hive、TDH Inceptor 说明 HBase作为数据源或者目标数据源，支持的版本为HBase V1.1.x、HBase V0.94.x。...
基本概念
DTS 数据传输服务（Data Transmission Service，简称DTS）支持关系型数据库（RDBMS）、非关系型数据库（NoSQL）、数据多维分析（OLAP）等数据源间的数据交互，集数据同步、迁移、订阅、集成、加工于一体，帮助您构建安全、可扩展、高可用的...
恢复Oracle Standalone数据库
本文介绍如何在 数据库备份DBS 上恢复Oracle Standalone数据库。前提条件 在目标设备上完成恢复前的准备工作。具体操作，请参见 恢复Oracle standalone数据库的准备工作。操作步骤 登录 DBS控制台。单击左侧导航栏中的 备份计划，然后在...
恢复MySQL物理备份
本文介绍如何通过数据库备份DBS恢复物理备份的...在服务器上部署MySQL服务，将 my.cnf（数据库配置文件）中的datadir参数修改为当前已恢复的数据目录。启动数据库服务，例如在Linux操作系统中，可以通过如下命令启动。service mysqld start
API概览
元数据 API 标题 API概述 目录 目录 CreateCatalog 创建数据湖数据目录 创建数据湖数据目录。DeleteCatalog 删除数据湖数据目录 删除数据目录。UpdateCatalog 更新目录 更新数据目录内容。ListCatalogs 获取数据目录列表 分页查询，获取...
恢复Oracle物理备份
选择原服务器的备份网关，并配置 数据库恢复目录 为数据库的原目录，若不填写，将默认为数据库的原目录。前提条件 已完成数据备份。具体操作，请参见 Oracle物理备份。准备一台服务器用于接收物理备份文件，并在服务器上安装备份网关。更多...
- 产品推荐
- 这些文档可能帮助您