调试实时任务
说明 Kafka中支持json、csv、canal-json、maxwell-json、debezium-json数据格式的自动抽样。Kafka自动抽样仅支持 无认证 和 用户名+密码认证 方式，不支持SSL。Kafka自动抽样时，支持选择读取数据范围，最大抽样条数为 100 条。完成所有...
入湖基础操作
OSS数据格式转换：可以实现对阿里云对象存储OSS中已有数据进行格式转换，如CSV转Parquet、Parquet转Delta等。Kafka实时入湖：可以实现将阿里云消息队列Kafka或EMR Kafka的数据实时同步到数据湖中，支持用户自定义预处理算子。配置数据源与...
同步节点
逻辑表 输入表的数据格式，由数据模型定义，在下拉列表中选择，表示该计算资源中提供数据的数据表的结构。当选择数据表时，。当选择星号（*）时，表示数据结构为任意结构，用于对未创建数据模型的表进行操作，此时物理表必须选择已经存在的...
同步节点
逻辑表 输入表的数据格式，由数据模型定义，在下拉列表中选择，表示该计算资源中提供数据的数据表的结构。当选择数据表时，。当选择星号（*）时，表示数据结构为任意结构，用于对未创建数据模型的表进行操作，此时物理表必须选择已经存在的...
产品功能
数据解析 GDB Automl将导入和上传的数据进行自动解析，您可以自动配置解析数据源和解析器（支持CSV、ARFF、XLS、ORC等多种数据格式的解析），解析后可查看数据的样本量，并查看样本特征摘要，解析特征分布情况。数据切分 支持按照自定义...
数据页面管理
在管理数据页面中，数据的类型分为 ...上传数据 管理数据页面中的数据类型有 矢量、栅格、地理服务、三维模型、三维瓦片 和 业务数据 六大类，不同类型的数据可上传的数据格式互不相同，具体三种类型数据上传数据的详细说明请参见 上传数据。
数据页面管理
在管理数据页面中，数据的类型分为 ...上传数据 管理数据页面中的数据类型有 矢量、栅格、地理服务、三维模型、三维瓦片 和 业务数据 六大类，不同类型的数据可上传的数据格式互不相同，具体三种类型数据上传数据的详细说明请参见 上传数据。
Tunnel命令
dfp 指定DATETIME类型数据格式，默认为 yyyy-MM-dd HH:mm:ss。如果您想指定时间格式到毫秒级别，可以使用 tunnel upload-dfp 'yyyy-MM-dd HH:mm:ss.SSS'。DATETIME数据类型详情请参见 数据类型版本说明。fd 指定本地数据文件的列分割符。...
Tunnel命令
dfp 指定DATETIME类型数据格式，默认为 yyyy-MM-dd HH:mm:ss。如果您想指定时间格式到毫秒级别，可以使用 tunnel upload-dfp 'yyyy-MM-dd HH:mm:ss.SSS'。DATETIME数据类型详情请参见 数据类型版本说明。fd 指定本地数据文件的列分割符。...
配置OSS输入组件
xls、xlsx格式 参数 描述 sheet选择 可按名称或索引选择要读取的sheet，如读取多个sheet需保持数据格式一致。按名称：需要填写要读取的 sheet名称。按索引：需要填写要读取的 sheet索引，从0开始。数据内容起始行 填写数据内容起始行。默认...
配置OSS输入组件
xls、xlsx格式 参数 描述 sheet选择 可按名称或索引选择要读取的sheet，如读取多个sheet需保持数据格式一致。按名称：需要填写要读取的 sheet名称。按索引：需要填写要读取的 sheet索引，从0开始。数据内容起始行 填写数据内容起始行。默认...
ActionTrail日志清洗
日志数据格式复杂，不利于直接分析 ActionTrail中保存的是JSON格式的数据，一行内有多条数据，数据以一个Array的形式保存，例如[{"eventId":"event0".},{"eventId":"event1".}]。理论上可以分析上述格式的JSON数据，但非常不便，需要先把每...
通过DataX导入数据
配置导入数据格式使用参数format，导入数据格式默认使用CSV，支持JSON，详情请参考 类型转换。flushInterval 否 30000 数据写入批次的时间间隔。默认为30000ms 命令行提交任务。cd target/datax/datax/bin python datax.py./...
配置FTP输入组件
若读取多个sheet，则需保持数据格式一致。sheet名称：可读取多张sheet，用英文逗号（,）隔开，也可以输入*读取所有sheet。和英文逗号不可混用。例如：sheet1,sheet2。sheet索引：可读取多张sheet，用英文逗号（,）隔开，也可以输入*读取...
配置FTP输入组件
若读取多个sheet，则需保持数据格式一致。sheet名称：可读取多张sheet，用英文逗号（,）隔开，也可以输入*读取所有sheet。和英文逗号不可混用。例如：sheet1,sheet2。sheet索引：可读取多张sheet，用英文逗号（,）隔开，也可以输入*读取...
DataHub数据源
说明 DataHub不同数据类型对应操作的支持情况，不同数据类型的分片策略、数据格式及相关消息示例。详情请参见：附录：DataHub消息格式。单表、整库全增量（实时）同步配置指导 操作流程请参见 数据集成侧同步任务配置。常见问题 写入...
从RDS MySQL迁移至自建Kafka
投递到kafka的数据格式 迁移到Kafka集群中的数据以avro格式或者Canal Json格式存储，定义详情请参见 Kafka集群的数据存储格式。迁移到Kafka Partition策略 根据业务需求选择迁移的策略，详细介绍请参见 Kafka Partition同步策略说明。迁移...
配置并管理实时同步任务
使用说明 DataHub不同数据类型对应操作的支持情况，不同数据类型的分片策略、数据格式及相关消息示例。详情请参见：附录：DataHub消息格式。创建实时同步任务 创建整库实时同步节点。配置资源组。设置同步来源和规则。在 数据来源 区域，...
通过DataWorks导入数据
loadProps COPY INTO的请求参数，主要用于配置导入的数据格式。默认JSON格式导入。如果 loadProps 没有配置，或者配置为"loadProps":{}，都采用默认的JSON格式。使用JSON格式时，SelectDB仅支持配置为如下模式，其中 strip_outer_array=...
SelectDB数据源
否 datax_selectdb_writer_loadProps COPY INOT的请求参数，主要用于配置导入的数据格式。默认JSON格式导入。如果 loadProps 没有配置，或者配置为"loadProps":{}，都采用默认的JSON格式，配置如下所示。（目前，SelectDB仅支持 strip_...
产品概述
什么是全密态数据库 全密态数据库是数据库与存储实验室与阿里云数据库团队合作的自研产品，以技术为基石，最小化人员、平台管理等不可控因素造成的潜在数据安全隐患，可以有效杜绝云数据库服务（或应用服务等数据拥有者以外的任何人）接触...
产品概述
什么是全密态数据库 全密态数据库是数据库与存储实验室与阿里云数据库团队合作的自研产品，以技术为基石，最小化人员、平台管理等不可控因素造成的潜在数据安全隐患，可以有效杜绝云数据库服务（或应用服务等数据拥有者以外的任何人）接触...
产品概述
什么是全密态数据库 全密态数据库是 达摩院数据库与存储实验室 与阿里云数据库团队合作的自研产品，以技术为基石，最小化人员、平台管理等不可控因素造成的潜在数据安全隐患，可以有效杜绝云数据库服务（或应用服务等数据拥有者以外的任何...
Doris数据源
否 datax_doris_writer_loadProps StreamLoad的请求参数，主要用于配置导入的数据格式。默认以CSV格式导入。如果 loadProps 没有配置，则采用默认的CSV格式，以 \t 为列分隔符，为行分隔符，配置如下所示。loadProps":{"format":"csv",...
功能概述
当您的数据库中有数据需要被保护时，可以使用RDS MySQL全密态数据库功能，该功能提供的加密解决方案能够在遵守数据保护法规的前提下保障您的数据安全，使被保护数据免受未授权访问。本文介绍全密态数据库的概念、应用场景和安全分级。什么...
资产安全概述
通过数据分类分级、敏感数据识别、敏感数据脱敏等措施，帮助客户建立完善的数据安全体系，确保数据使用的安全合规性。前提条件 已购买 资产安全 增值服务并且当前租户已开通 资产安全 模块。应用场景 基于Dataphin实现数据安全保护的一些...
功能简介
数据处理 支持倾斜数据处理能力，可以将OSGB格式数据转化为S3M数据，再将处理后的数据添加到数据管理中，以便被用于数仓建设、标签管理等数据中台任务。支持对数据处理任务进行管理。支持查看数据处理任务详情，包括任务的基本信息、处理的...
空间数据（邀测中）
数据处理 支持倾斜数据处理能力，可以将OSGD格式数据转化为S3M数据，再将处理后的数据添加到数据管理中，以便被用于数仓建设、标签管理等数据中台任务。支持对数据处理任务进行管理。支持查看数据处理任务详情，包括任务的基本信息、处理的...
离线同步数据质量排查
如果写出数据和目标存储已有数据发生数据约束（主键冲突、唯一键约束、外键约束等），数据库则使用来源数据update更新目标表已有数据行，在目标表存在多个数据约束的情况下，数据替换可能会失败并产生脏数据 如果写出数据和目标存储已有...
ListDoctorHiveTables-批量获取Hive表分析结果
1232124 FormatSizeDayGrowthRatio float 格式数据量日环比。0.04 Metrics object 指标信息。PartitionNum object 分区数。Name string 指标名称。partitionNum Value long 指标值。331 Unit string 指标单位。“”Description string 指标...
功能特性
配置管理 数据保护 敏感数据管理 DMS的敏感数据保护能力能根据所选的敏感数据扫描模板、敏感数据识别模型以及脱敏算法对数据进行脱敏处理，以避免敏感数据滥用，有效保护企业的敏感数据资产，防止数据泄露造成企业经营资金损失或罚款。...
数据库分组
若您需要在SQL变更或结构设计中快速载入多个数据库，可以创建一个数据库分组，将多个数据库环境、引擎类型相同的数据库绑定成为一个分组。本文介绍如何创建数据库分组。背景信息 当您的业务部署在多个地域，且存在多个数据库时，您每次做...
敏感数据保护
Dataphin支持敏感数据的识别和敏感数据的脱敏保护，可以结合权限管控方案一起，构建起完善的敏感数据保护体系。数据分类分级 Dataphin支持对数据的分类分级进行管理，内置了常用的个人信息数据分类，同时支持客户自定义企业的数据分类分级...
敏感数据保护
Dataphin支持敏感数据的识别和敏感数据的脱敏保护，可以结合权限管控方案一起，构建起完善的敏感数据保护体系。数据分类分级 Dataphin支持对数据的分类分级进行管理，内置了常用的个人信息数据分类，同时支持客户自定义企业的数据分类分级...
功能简介
AnalyticDB PostgreSQL版 的企业数据智能平台是数据资产定义、加工、管理、服务的全流程平台，提供数据同步、数据查询、数据建模、数据开发、质量评估、资产管理等功能，为智能数据应用持续稳定供给全量、标准、干净、智能的数据资源。...
我是安全管理员
数据库开发 数据变更 对数据进行变更，以满足上线数据初始化、历史数据清理、问题修复、测试等诉求。结构设计 在新项目、新需求或者优化等业务场景中，一般会涉及到新建表、修改表等结构的变更操作，此时可以使用DMS的结构设计功能。库表...
备份恢复概览
备份原理 OceanBase 数据库采用了读写分离架构，其内部数据按存储方式被细分为两大类：一类是基于 SSTable 格式的基线数据，另一类则是基于 MemTable 格式的增量数据。基线数据代表了已整合并持久化到硬盘的全部数据总和，它被智能地分割为...
约束和限制
数据湖管理使用限制 限制 描述 元数据发现支持发现的数据源 OSS SLS Tablestore 元数据发现OSS数据源的文件格式 只支持识别CSV、JSON、Parquet、ORC格式的文件 元数据发现OSS数据源目录结构 按照库/表/分区布局的路径 元数据发现OSS数据源...
导入结构和数据
创建导入任务时在面板中的 导入内容 项中选择了 ZIP 压缩文件 后还需在 数据格式 项中选择压缩包中的数据格式是 CSV 格式 或 SQL 格式。批量导入时支持导入 SQL 文件，SQL 文件是以.sql 结尾包含可直接在数据库中执行的 SELECT、INSERT、...
归档为IBD格式
本文介绍了将冷数据归档为IBD格式的方法。说明 归档为IBD格式目前处于灰度发布阶段。如需使用，请前往 配额中心，根据 配额ID polardb_innodb_oss_enable 找到配额名称，在对应的操作列单击 申请 来开通该功能。前提条件 PolarDB MySQL版 ...
- 产品推荐
- 这些文档可能帮助您