背景信息以及准备工作
DLA可以在不移动OSS日志文件的情况下读取并分析日志文件数据，定位服务故障原因等。对于一个服务而言，日志文件记录了服务运行的所有详细信息。在进行故障排除、状态监控或者预测告警时，都需要对日志文件进行查询分析。阿里云对象存储服务...
RDS SQL Server I/O高问题
数据文件的读请求操作主要包括查询请求产生的数据页读取和数据库备份产生的数据页读取，事务日志文件在做备份时会有较多的读I/O负载，其他情况主要是写I/O负载。当发现实例的I/O吞吐较高时，您可以在 自定义指标 中增加以下性能指标，然后...
离线同步数据质量排查
如果写出数据和目标存储已有数据发生数据约束（主键冲突、唯一键约束、外键约束等），数据库则使用来源数据替换目标表已有数据，在目标表存在多个数据约束的情况下，数据替换可能会替换掉多条目标记录 如果写出数据和目标存储已有数据没有...
SPI-串行外设接口
读取的数据长度 bytes 大于发送数据的长度 data.length 时，读取到的有效数据为ArrayBuffer的后面(bytes-data.length)长度数据。入参 属性 类型 是否必填 描述 data Uint8Array 是 需要发送的数据。bytes Number 是 指定需要读取的字节个数...
常见问题
本文为您介绍数据湖构建的常见问题。如何申请数据湖构建产品的公测资格？数据湖构建如何收费？...目前DLF支持与阿里云E-MapReduce产品组合实现Spark数据的读取，详细请参考：EMR+DLF数据湖解决方案，暂不支持与自建Hadoop/Spark集群的集成。
配置GBase 8a输出组件
同步其他数据源的数据至GBase 8a数据源的场景中，完成源数据源的信息配置后，需要配置GBase 8a输出组件写入数据的目标数据源。本文为您介绍如何配置GBase 8a输出组件。前提条件 已创建GBase 8a数据源，如何创建，请参见 创建GBase 8a数据源...
配置GBase 8a输出组件
同步其他数据源的数据至GBase 8a数据源的场景中，完成源数据源的信息配置后，需要配置GBase 8a输出组件写入数据的目标数据源。本文为您介绍如何配置GBase 8a输出组件。前提条件 已创建GBase 8a数据源，如何创建，请参见 创建GBase 8a数据源...
输入和输出数据的格式
云数据库ClickHouse输入和输出数据格式的详细信息，请参见 输入和输出数据的格式。
新建Hologres类型公共节点
输出数据结构 输出表的数据格式，由数据模型定义，在下拉列表中选择，表示该计算资源中输出数据的数据表的结构。当选择数据表时，需保证节点输出的模型与下游节点的输入数据模型相同。当选择星号（*）时，代表数据结构为任意结构，用于对未...
新建RDS MySQL类型的公共节点
数据结构 输出表的数据格式，由数据模型定义，在下拉列表中选择，表示该计算资源中输出数据的数据表的结构。当选择数据表时，需保证节点输出的模型与下游节点的输入数据模型相同。当选择星号（*）时，代表数据结构为任意结构，用于对未创建...
配置TDH Inceptor输出组件
同步其他数据源的数据至TDH Inceptor数据源的场景中，完成源数据源的信息配置后，需要配置TDH Inceptor输出组件写入数据的目标数据源。本文为您介绍如何配置TDH Inceptor输出组件。使用限制 TDH Inceptor输出组件支持写入文件格式为orc、...
新建RDS MySQL类型的公共节点
数据结构 输出表的数据格式，由数据模型定义，在下拉列表中选择，表示该计算资源中输出数据的数据表的结构。当选择数据表时，需保证节点输出的模型与下游节点的输入数据模型相同。当选择星号（*）时，代表数据结构为任意结构，用于对未创建...
新建Hive类型的公共节点
输出数据结构 输出表的数据格式，由数据模型定义，在下拉列表中选择，表示该计算资源中输出数据的数据表的结构。当选择数据表时，需保证节点输出的模型与下游节点的输入数据模型相同。当选择星号（*）时，代表数据结构为任意结构，用于对未...
新建Hive类型的公共节点
输出数据结构 输出表的数据格式，由数据模型定义，在下拉列表中选择，表示该计算资源中输出数据的数据表的结构。当选择数据表时，需保证节点输出的模型与下游节点的输入数据模型相同。当选择星号（*）时，代表数据结构为任意结构，用于对未...
新建PostgreSQL类型的公共节点
数据结构 输出表的数据格式，由数据模型定义，在下拉列表中选择，表示该计算资源中输出数据的数据表的结构。当选择数据表时，需保证节点输出的模型与下游节点的输入数据模型相同。当选择星号（*）时，代表数据结构为任意结构，用于对未创建...
新建MaxCompute SQL类型的公共节点
数据结构 输出表的数据格式，由数据模型定义，在下拉列表中选择，表示该计算资源中输出数据的数据表的结构。当选择数据表时，需保证节点输出的模型与下游节点的输入数据模型相同。当选择星号（*）时，代表数据结构为任意结构，用于对未创建...
读取优化
HFile文件数目 因为读取需要频繁打开HFile，如果文件越多，IO次数就越多，读取的延迟就越高，此时需要定时做major compaction，如果晚上的业务压力不大，可以在晚上做major compaction。Compaction是否消耗较多的系统资源 compaction主要是...
表引擎
Log Log系列引擎适用于快速写入小表（1百万行左右的表）并读取全部数据的场景。该系列引擎的共同特点如下。数据被追加写入磁盘中。不支持 delete、update。不支持索引。不支持原子性写。insert 会阻塞 select 操作。TinyLog 不支持并发读取...
JINDODATA指标
slicelet_read_bytes_total_window jindodata_metrics_jindofsx_ns_slicelet_read_bytes_total_window 一段时间内读取小文件存储的数据量。单位：Byte。backend_read_bytes_total jindodata_metrics_jindofsx_ns_backend_read_bytes_total ...
计算引擎版本说明
为提升用户体验，云原生多模数据库 Lindorm 会不定期地发布版本，用于丰富云产品功能或修复已知缺陷。您可以参阅本文了解Lindorm计算引擎的版本更新说明。查看计算引擎版本 进入SparkUI界面。如何进入，请参见 进入SparkUI界面。单击 ...
配置AnalyticDB for MySQL 3.0输出组件
AnalyticDB for MySQL 3.0输出组件用于向MySQL数据源写入数据。同步其他数据源的数据至AnalyticDB for MySQL 3.0数据源的场景中，完成源数据源的信息配置后，需要配置AnalyticDB for MySQL 3.0输出组件的目标数据源。本文为您介绍如何配置...
配置AnalyticDB for MySQL 3.0输出组件
AnalyticDB for MySQL 3.0输出组件用于向MySQL数据源写入数据。同步其他数据源的数据至AnalyticDB for MySQL 3.0数据源的场景中，完成源数据源的信息配置后，需要配置AnalyticDB for MySQL 3.0输出组件的目标数据源。本文为您介绍如何配置...
配置PolarDB-X输出组件
本文为您介绍如何配置PolarDB-X输出组件。操作步骤 请参见 离线管道组件开发入口，进入离线单条管道脚本的开发页面。在离线单条管道脚本的开发页面，按照下图操作指引，进入 PolarDB-X（原DRDS）输出配置 对话框。在 PolarDB-X（原DRDS）...
配置PolarDB-X输出组件
本文为您介绍如何配置PolarDB-X输出组件。操作步骤 请参见 通过离线单条管道配置集成任务，进入离线单条管道脚本的开发页面。在离线单条管道脚本的开发页面，按照下图操作指引，进入 PolarDB-X（原DRDS）输出配置 对话框。序号 操作描述 ①...
配置Microsoft SQL Server输出组件
本文为您介绍如何配置Microsoft SQL Server输出组件。操作步骤 请参见 离线管道组件开发入口，进入离线单条管道脚本的开发页面。按照下图操作指引，进入 Microsoft SQL Server输出组件 对话框。在 Microsoft SQL Server输出配置 对话框，...
配置Microsoft SQL Server输出组件
本文为您介绍如何配置Microsoft SQL Server输出组件。操作步骤 请参见 离线管道组件开发入口，进入离线单条管道脚本的开发页面。按照下图操作指引，进入 Microsoft SQL Server输出组件 对话框。在 Microsoft SQL Server输出配置 对话框，...
配置PostgreSQL输出组件
本文为您介绍如何配置PostgreSQL输出组件。操作步骤 请参见 离线管道组件开发入口，进入离线单条管道脚本的开发页面。在离线单条管道脚本的开发页面，按照下图操作指引，进入 PostgreSQL输出配置 对话框。在 PostgreSQL输出配置 对话框，...
配置PostgreSQL输出组件
本文为您介绍如何配置PostgreSQL输出组件。操作步骤 请参见 通过离线单条管道配置集成任务，进入离线单条管道脚本的开发页面。在离线单条管道脚本的开发页面，按照下图操作指引，进入 PostgreSQL输出配置 对话框。在 PostgreSQL输出配置 ...
配置Vertica输出组件
本文为您介绍如何配置Vertica输出组件。操作步骤 请参见 离线管道组件开发入口，进入离线单条管道脚本的开发页面。在离线单条管道脚本的开发页面，按照下图操作指引，进入 Vertica输出配置 对话框。在 Vertica输出配置 对话框，配置参数。...
配置Vertica输出组件
本文为您介绍如何配置Vertica输出组件。操作步骤 请参见 通过离线单条管道配置集成任务，进入离线单条管道脚本的开发页面。在离线单条管道脚本的开发页面，按照下图操作指引，进入 Vertica输出配置 对话框。在 Vertica输出配置 对话框，...
配置PolarDB输出组件
表 选择输出数据的目标表。加载策略 选择加载策略：追加数据策略下，当指主键或约束冲突时，会提示脏数据错误。覆盖数据策略下，当主键或约束冲突时，会先删除原数据，再插入整行新数据。说明 PostgreSQL协议下加载策略不生效。解析方案 非...
配置PolarDB输出组件
表 选择输出数据的目标表。加载策略 选择加载策略：追加数据策略下，当指主键或约束冲突时，会提示脏数据错误。覆盖数据策略下，当主键或约束冲突时，会先删除原数据，再插入整行新数据。说明 PostgreSQL协议下加载策略不生效。解析方案 非...
重要组件
Primary即为拥有读写权限的读写库，Replica即为只读实例，仅仅拥有读取数据的权限（后台线程也不能修改数据），Primary和Replica采用Shared Everything架构，即底层共享同一份数据文件和日志文件。StandBy节点拥有一份独立的数据和日志文件...
配置AnalyticDB for MySQL 2.0输出组件
表 选择输出数据的目标表。模式 选择数据输出的模式。模式 包括：Insert模式：Insert模式支持较小数据量（千万条）的写入。需配置 解析方案。填写准备语句：导入前执行的SQL脚本。填写完成语句：导入后执行的SQL脚本。Load模式：Load模式...
配置AnalyticDB for MySQL 2.0输出组件
表 选择输出数据的目标表。模式 选择数据输出的模式。模式 包括：Insert模式：Insert模式支持较小数据量（千万条）的写入。需配置 解析方案。填写准备语句：导入前执行的SQL脚本。填写完成语句：导入后执行的SQL脚本。Load模式：Load模式...
通过Kettle导入至数仓版
本文以Excel为例，介绍如何通过Kettle将本地Excel数据导入至 AnalyticDB MySQL版 数仓版（3.0）。背景信息 Kettle是一款非常受欢迎的开源ETL工具软件，主要用于数据整合、转换和迁移。Kettle不仅支持各类关系型数据库和NoSQL数据源（HBase...
FTP数据源
使用限制 FTP Reader实现了从远程FTP文件读取数据并转为数据同步协议的功能，远程FTP文件本身是无结构化数据存储。对于数据同步而言，目前FTP Reader支持的功能如下所示：支持 不支持 支持且仅支持读取TXT的文件，并要求TXT中的schema为...
概述
用户在创建数据同步时，DataHub会自动为该同步任务绑定SubscriptionId用于记录从DataHub读取数据的读取点位（非同步点位），该SubscriptionId请用户不要操作。目前只有DataHub topic的Owner/Creator账号才具备创建connector（数据同步）的...
配置MongoDB输出组件
本文为您介绍如何配置MongoDB输出组件。操作步骤 请参见 通过离线单条管道配置集成任务，进入离线单条管道脚本的开发页面。在离线单条管道脚本的开发页面，按照下图操作，进入 MongoDB输出配置 对话框。在 MongoDB输出配置 对话框，配置...
配置MongoDB输出组件
本文为您介绍如何配置MongoDB输出组件。操作步骤 请参见 离线管道组件开发入口，进入离线单条管道脚本的开发页面。按照下图指引，进入 MongoDB输出配置 对话框。在 MongoDB输出配置 对话框，配置参数。参数 说明 步骤名称 根据当前组件的...
- 产品推荐
- 这些文档可能帮助您