OSS数据离线同步至MaxCompute
例如，配置 nullFormat="null"，那么如果源头数据是 null，数据同步系统会视作null字段。压缩格式 源头文件的压缩格式，支持gzip、bzip2和zip。None为无压缩。是否包含表头 类CSV格式文件可能存在表头为标题情况，可选择是否需要跳过。默认...
OSS数据离线同步至MaxCompute
例如，配置 nullFormat="null"，那么如果源头数据是 null，数据同步系统会视作null字段。压缩格式 源头文件的压缩格式，支持gzip、bzip2和zip。None为无压缩。是否包含表头 类CSV格式文件可能存在表头为标题情况，可选择是否需要跳过。默认...
数据加密
本文介绍RDS提供的数据加密功能。SSL RDS提供MySQL、SQL Server和PostgreSQL的安全套接层协议（Secure Sockets Layer，简称SSL）。您可以使用RDS提供的服务器端的根证书来验证目标地址和端口的数据库服务是不是RDS提供的，从而可有效避免...
数据加密
本文介绍RDS提供的数据加密功能。SSL RDS提供MySQL、SQL Server和PostgreSQL的安全套接层协议（Secure Sockets Layer，简称SSL）。您可以使用RDS提供的服务器端的根证书来验证目标地址和端口的数据库服务是不是RDS提供的，从而可有效避免...
数据加密
本文介绍RDS提供的数据加密功能。SSL RDS提供MySQL、SQL Server和PostgreSQL的安全套接层协议（Secure Sockets Layer，简称SSL）。您可以使用RDS提供的服务器端的根证书来验证目标地址和端口的数据库服务是不是RDS提供的，从而可有效避免...
数据加密
本文介绍RDS提供的数据加密功能。SSL RDS提供MySQL、SQL Server和PostgreSQL的安全套接层协议（Secure Sockets Layer，简称SSL）。您可以使用RDS提供的服务器端的根证书来验证目标地址和端口的数据库服务是不是RDS提供的，从而可有效避免...
数据加密
本文介绍RDS提供的数据加密功能。SSL RDS提供MySQL、SQL Server和PostgreSQL的安全套接层协议（Secure Sockets Layer，简称SSL）。您可以使用RDS提供的服务器端的根证书来验证目标地址和端口的数据库服务是不是RDS提供的，从而可有效避免...
管理数据目录
数据目录是数据湖构建（Data Lake Formation）的元数据最上层实体，可以包含若干个数据库。在EMR Serverless Spark中，您可以通过该功能来查看绑定的数据目录中的数据库和表，还可以添加已有的数据目录。该功能适用于需要实现元数据隔离的...
管理数据集
本文为您介绍可视分析创作间中数据集的预览、复制、重命名、删除和编辑操作。前提条件 已完成数据集创建。操作步骤 输入账户和密码，登录 可视分析创作间。在左侧导航栏，单击分析图标，进入 分析 页面。（可选）在搜索框中输入关键字，...
大数据安全治理的难点
通常，大数据系统中的工作流涉及多部门、多责任人且跨系统的数据，如何才能协调好这些业务系统准时、保质保量地产出数据，避免出现因业务系统宕机/脏数据导致数据延时产出、产出脏数据，关乎到企业数据业务的连续性问题甚至高层的信任问题...
数据膨胀诊断
重要 诊断信息表 diag_bloat_tables 中的数据是按照 ORDER BY bloat_coeff desc,real_size DESC 排序的，即膨胀率越大的表越靠前。如果两个表的膨胀率相同时，数据量大的表更靠前。诊断信息表内部原理是基于PostgreSQL的Statistic ...
管理数据集
数据集是基于特定数据库和SQL查询生成，并且以二维表呈现的一种数据集合。本文介绍创建、编辑、删除数据集的方法。注意事项 数据分析后续所有的分析工作、仪表盘制作和大屏制作都是基于数据集进行的，因此在进行其他功能前，必须先创建数据...
数据集成概述
数据集成是基于Dataphin构建的简单高效的数据同步平台，致力于提供具有强大的数据预处理能力、丰富的异构数据源之间数据高速稳定的同步能力。背景信息 面对各行各业对大数据的应用，数据集成会有很多的诉求，包括能够简单高效的配置大量...
数据分析：即时快速分析
数据分析基于“人人都是数据分析师”的产品目标，旨在为更多非专业数据开发人员，如数据分析、产品、运营等工作人员提供更加简洁高效的取数、用数工具，提升大家日常取数分析效率。功能概述 数据分析支持基于个人视角的数据上传、公共数据...
数据页面管理
遥感影像识别 该功能仅在数据类型选择 矢量时显示，可以帮助您从遥感影像上识别建筑底面、绿地、水体等，并自动转化为矢量数据，是快速获取城市基底数据的理想手段。单击 遥感影像识别，在遥感影像识别对话框中选择需要识别的遥感影像源...
数据页面管理
遥感影像识别 该功能仅在数据类型选择 矢量时显示，可以帮助您从遥感影像上识别建筑底面、绿地、水体等，并自动转化为矢量数据，是快速获取城市基底数据的理想手段。单击 遥感影像识别，在遥感影像识别对话框中选择需要识别的遥感影像源...
独享数据集成资源组
在数据集成任务高并发执行且无法错峰运行的情况下，需要专有的计算资源组来保障数据快速、稳定的传输时，建议您选择使用DataWorks的独享数据集成资源组。本文为您概要介绍独享数据集成资源组。功能介绍 独享数据集成资源组的功能亮点如下：...
将Excel的数据导入数据库
您可以将Excel的数据通过数据管理服务DMS（Data Management Service）导入到RDS MySQL数据库中。操作步骤 将Excel文件另存为.csv格式，并将中文或不符合数据库要求的列名修改为英文。说明 如果您的数据没有唯一的ID列，建议在最前方添加一...
数据资产管理
本文介绍如何通过DMS的数据资产管理功能对 云原生数据仓库AnalyticDB MySQL版 集群中的元数据、数据血缘、数据质量进行统一管理。背景信息 AnalyticDB MySQL版 中包含了大量对内对外极具价值或核心的数据（这里不仅指数字，还包含业务逻辑...
创建数据集
数据集是基于特定数据库和特定SQL查询所产生的，以二维表表现的数据集合。本文介绍创建数据集的方法。创建数据集 登录 数据管理DMS 5.0。在顶部菜单栏中，选择 传输与加工>数据可视化。说明 更多访问方式，请参见 访问数据可视化功能。在 ...
查看数据迁移项目的详情
启动数据迁移项目后，您可以在数据迁移项目的详情页面查看相应项目的基本信息、项目执行的进度和状态等信息。进入详情页面 您可以在数据迁移项目的详情页面，查看计划的迁移环节、各个环节的进度和状态，帮助您了解数据库迁移的整体进度，...
空间数据类型
空间数据类型是一种用来表示空间对象、地理位置和物体形状的数据类型，多用于航空、导航、城市规划等领域。本文介绍Lindorm宽表引擎支持的空间数据类型。适用引擎 空间数据类型仅适用于宽表引擎。空间数据类型 Lindorm Ganos的SQL接口支持...
Kafka集群的数据存储格式
DTS支持选择迁移或同步到Kafka集群的数据存储格式，本文为您介绍数据格式的定义说明，方便您根据定义解析数据。数据存储格式 DTS支持将写入至Kafka集群的数据存储为如下三种格式：DTS Avro：一种数据序列化格式，可以将数据结构或对象转化...
数据标准概述
Dataphin支持创建并管理数据标准，以保障数据的标准化生产与管理，节约数据应用和处理的成本。背景信息 数据标准目标是为 业务、技术 和 管理 提供服务和支持。数据标准管理的过程就是对数据以及数据的属性信息的标准化定义和应用的过程。...
配置数据脱敏
数据脱敏可以对实时同步的单表数据进行脱敏，然后存储到指定的数据库位置。前提条件 配置数据脱敏节点前，您需要先配置好相应的输入节点，详情请参见 实时同步支持的数据源。操作步骤 进入 数据开发 页面。登录 DataWorks控制台。在左侧...
数据标准概述
Dataphin支持创建并管理数据标准，以保障数据的标准化生产与管理，节约数据应用和处理的成本。背景信息 数据标准目标是为 业务、技术 和 管理 提供服务和支持。数据标准管理的过程就是对数据以及数据的属性信息的标准化定义和应用的过程。...
DataWorks数据集成
对于数据导出，请登录 AnalyticDB PostgreSQL版 的管理控制台进行IP 白名单设置，详情请参见 添加白名单 数据导入 源端的数据源需要在DataWorks管理控制台进行添加，数据源添加的详细步骤请参考 配置AnalyticDB for PostgreSQL数据源 配置...
创建数据板块
数据板块是逻辑空间的重要组成部分，是基于业务特征划分的命名空间。在使用规范建模前，您需要完成数据板块的创建。本文为您介绍如何新建数据板块。前提条件 仅支持 智能研发版。若需使用，当前租户还需开通智能研发模块。在开始执行操作前...
创建数据板块
数据板块是逻辑空间的重要组成部分，是基于业务特征划分的命名空间。在使用规范建模前，您需要完成数据板块的创建。本文为您介绍如何新建数据板块。前提条件 仅支持 智能研发版。若需使用，请升级当前版本。升级版本，请参见 升级。在开始...
数据集成概述
数据集成是基于Dataphin构建的简单高效的数据同步平台，致力于提供具有强大的数据预处理能力、丰富的异构数据源之间数据高速稳定的同步能力。背景信息 面对各行各业对大数据的应用，数据集成会有很多的诉求，包括能够简单高效的配置大量...
配置数据校验
本文介绍如何使用数据传输服务DTS（Data Transmission Service）配置数据校验任务，帮助您监控源库与目标库数据的差异。您可以在同步或迁移实例的 高级配置 阶段选择相应的 数据校验方式，或者单独配置数据校验任务，以便及时发现数据不...
数据保护机制
在实际业务处理过程中，用户可能会同时具备多个项目的访问权限，此时会存在数据在项目间流转的安全问题。MaxCompute提供了数据保护机制，支持对数据流出行为进行控制，为项目数据的安全性提供保障。本文为您介绍MaxCompute的数据保护机制...
修改组件数据
如果您的数据源为CSV文件、数据库等其他类型的数据，需要首先添加数据源，详情请参见 添加数据源。如果您需要使用数据源为API，直接在数据配置栏输入API即可。具体配置API数据源时，是否勾选 服务器代理请求 等操作，详情请参见 跨域数据...
修改组件数据
如果您的数据源为CSV文件、数据库等其他类型的数据，需要首先添加数据源，详情请参见 添加数据源。如果您需要使用数据源为API，直接在数据配置栏输入API即可。具体配置API数据源时，是否勾选 服务器代理请求 等操作，详情请参见 跨域数据...
数据地图概述
数据地图是在元数据基础上提供的企业数据目录管理模块，涵盖全局数据检索、元数据详情查看、数据预览、数据血缘和数据类目管理等功能。数据地图可以帮助您更好地查找、理解和使用数据。元数据采集与接入 MaxCompute数据 如果您使用了...
普通数据变更
数据管理DMS的普通数据变更功能支持INSERT、UPDATE、DELETE、TRUNCATE、CREATE TABLE等SQL语句，可以对数据库中的数据进行变更操作，用于数据初始化、历史数据清理、问题修复、功能测试等场景。本文介绍在DMS中进行普通数据变更的方法。...
DataHub数据源
DataHub数据源作为数据中枢，为您提供读取和写入DataHub数据库的双向通道，能够快速解决海量数据的计算问题。本文为您介绍DataWorks的DataHub数据同步的能力支持情况。支持的版本 DataHub Reader通过DataHub的Java SDK读取DataHub中的数据...
ClickHouse数据源
ClickHouse数据源为您提供读取和写入ClickHouse双向通道的功能，本文为您介绍DataWorks的ClickHouse数据同步的能力支持情况。支持的版本 支持阿里云ClickHouse的20.8、21.8内核版本。您需要确认驱动和您的ClickHouse服务之间的兼容能力，...
数据节点管理
背景介绍 PolarDB-X 支持存储资源池和数据节点单独升降配，实现数据节点的精细化管理与资源隔离，满足不同业务场景的需求，提升资源利用率。存储资源池，指的是将DN存储节点划分为互不交叉的池，支持在单个存储池维度通过添加/减少 DN 存储...
DataX同步数据
DataX是异构数据源离线同步的工具，支持多种异构数据源之间高效的数据同步。Dataphin系统内嵌了DataX组件，支持通过构建Shell任务调用DataX，实现数据同步。本教程以RDS MySQL数据库为例，为您介绍基于Dataphin如何调用DataX同步数据。前提...
- 产品推荐
- 这些文档可能帮助您