采集Python日志
本文介绍如何通过Logtail采集Python日志。背景信息 Python的logging模块提供通用的日志系统，可供第三方模块或者应用使用。logging模块定义了不同的日志级别和记录日志的方式。logging模块包括logger、handler、filter、formatter四个组件...
Python SDK快速入门
通过Logtail采集Python日志 通过Logtail方式，以采集Python的logging模块日志为例，采集Python日志。更多信息，请参见 采集Python日志。相关文档 在调用API接口过程中，若服务端返回结果中包含错误信息，则表示调用API接口失败。您可以参考...
开启或关闭增量日志备份
增量备份通过记录数据库事务日志，准确追踪数据库的变化操作，如插入、更新和删除。开启增量日志备份后，支持恢复到自备份后的任意时间点，增量备份的数据生命周期信息与全量备份一致。本文介绍开启或关闭增量日志备份的方法。前提条件 ...
数据传输预检查
启动数据迁移项目时，为确保项目的顺利运行，OceanBase 数据传输功能会自动启动预检查环节，针对源端和目标端的数据库连通性、相关配置的正确性、增量日志参数等问题或设置进行检查。本文为您介绍数据迁移项目预检查环节的常见报错和解决...
创建OceanBase数据迁移项目时预检查失败并提示“增量...
问题描述 阿里云云数据库OceanBase在创建数据迁移项目时，会自动启动预检查环节，针对源端和目标端的数据库连通性、相关配置的正确性、增量日志参数等问题或设置进行检查。在预检查环节，预检查失败，增量日志参数检查未通过。解决方案 ...
SQL Server迁移上云指南
说明 SQLServer增量同步模式 选择为 非堆表用日志解析增量同步，堆表用CDC增量同步。停止源库的数据写入，最后一个增量日志回放成功后，将业务切换到新数据库。其他方案上云 使用SSMS工具 停止源库的数据写入。使用SSMS工具导出源库数据。...
功能介绍
重要 当前 AnalyticDB PostgreSQL 6.0版 的涵盖 主动放弃增量日志（xlog）归档 的功能，即：在节点磁盘水位达到某一阈值（默认值为85%）后，考虑到实例业务I/O写入量过大可能降低增量日志归档速度，为避免潜在的增量日志堆积导致磁盘满锁的...
动态日志配置
通常应用使用logback、log4j等日志框架记录日志，通过日志配置文件配置日志级别，最终将日志内容输出到文件中。EDAS支持应用在运行时修改日志配置并生效。您可以在EDAS控制台创建日志配置，并添加配置内容（或通过抓取原有日志配置）和选择...
查看备份计划
在完成备份任务配置之后，数据库备份DBS将在系统后台自动调度备份任务，生成全量备份集或增量备份数据。本文介绍如何查看备份计划的配置信息及备份信息。操作步骤 登录 DBS控制台，单击左侧导航栏中的 备份计划，进入 备份计划列表 页面。...
从RDS同步至MaxCompute
说明 关于增量日志表结构的详细信息，请参见 增量日志表结构定义说明。操作步骤 警告 为保障DTS同步账号能够授权成功，请使用主账号完成下述操作步骤。购买数据同步作业，详情请参见 购买流程。说明 购买时，选择源实例为 MySQL，目标实例...
设置增量同步位点
设置增量同步位点时，仅支持选择当前时间或当前时间之前的时间点，并且不能晚于您设置的源端数据库增量日志的过期时间或归档时间。适用场景 您可以通过设置增量同步位点的方式实现以下场景：您在创建数据迁移或数据同步项目前，已确保源端...
动态日志配置
通常应用使用logback、log4j等日志框架记录日志，通过日志配置文件配置日志级别，最终将日志内容输出到文件中。EDAS支持应用在运行时修改日志配置并生效。您可以在EDAS控制台创建日志配置，并添加配置内容（或通过抓取原有日志配置）和选择...
从RDS同步至MaxCompute
说明 关于增量日志表结构的详细信息，请参见 增量日志表结构定义说明。操作步骤 警告 为保障DTS同步账号能够授权成功，请使用主账号完成下述操作步骤。购买数据同步作业，详情请参见 购买流程。说明 购买时，选择源实例为 MySQL，目标实例...
上下文查询
开发人员无需登录服务器，在大量日志中通过关键字检索日志，日志服务支持通过控制台查看指定日志在原始文件中的上下文信息。前提条件 已通过Logtail采集到日志。具体操作，请参见 通过Logtail采集日志。重要 如果您使用了Logtail插件处理...
MySQL日志备份
数据库备份DBS在支持MySQL全量备份、增量备份基础上，新增支持备份MySQL Binlog日志文件。您可以通过三级备份（全量、增量、日志备份），将数据库恢复到任意时间点，实现秒级RPO（Recovery Point Objective）。费用说明 开启该功能不收费。...
快速入门
本文以采集分析ECS的Nginx访问日志为例，介绍开通日志服务、创建日志项目与Logstore、Logtail采集日志、查询与分析日志等步骤，帮助您快速上手使用日志服务。前提条件 已有可用的ECS。更多信息，请参见 云服务器ECS快速入门。ECS服务器持续...
开启日志采集功能
日志审计服务支持快速开启日志采集功能，本文介绍开启日志采集功能以及相关操作的步骤。前提条件 已注册阿里云账号。建议使用阿里云RAM用户，该RAM用户需具备RAM读权限（例如已被授权AliyunRAMReadOnlyAccess策略），且对日志服务有读写...
PolarDB-X 2.0同步至MaxCompute
如为增量同步任务，DTS要求源数据库的本地Binlog日志保存24小时以上，如为全量同步和增量同步任务，DTS要求源数据库的本地Binlog日志至少保留7天以上（您可在全量同步完成后将Binlog保存时间设置为24小时以上），否则DTS可能因无法获取...
查看与减少数据备份
本文介绍如何在DBS中查看备份数据大小，同时提供减少备份的方法。查看备份大小 备份大小=...在 备份任务配置 页面的 运行信息 区域，单击 关闭增量日志备份。说明 关闭增量备份后，将不再产生增量备份数据，历史数据量待到期后系统自动清除。
什么是Logtail
Logtail是日志服务提供的日志采集Agent，用于采集阿里云ECS、自建IDC、其他云厂商等服务器上的日志。本文介绍Logtail的功能、优势、使用限制及配置流程等信息。Logtail多年来一直承载着阿里巴巴集团重要服务的数据采集。每天采集数百万...
采集Windows事件日志
重要 Logtail只采集增量日志。如果下发Logtail配置后，日志文件无更新，则Logtail不会采集该文件中的日志。更多信息，请参见 读取文件。原理 对于事件日志，Windows提供了 Windows Event Log 和 Event Logging 两套API，前者是后者的升级，...
迁移 OceanBase 数据库 Oracle 租户的数据至 Oracle ...
重要 如果数据迁移项目长期处于非活跃状态（项目状态为 失败、已暂停 或 已完成），受增量日志保留时长等影响，项目可能无法恢复。数据传输将主动释放处于非活跃状态超过 7 天的数据迁移项目，以回收相关资源，建议您为项目配置告警并及时...
通道服务概述
注意事项 由于Tunnel的增量日志最多会保留7天（具体的值和数据表的Stream的日志过期时间一致），因此在使用全量加增量类型或者增量类型的Tunnel消费数据时，会出现如下情况：当Tunnel处于全量阶段时，如果全量数据在7天内没有消费完成，则...
查看数据迁移项目的详情
如果数据迁移项目涉及反向增量，则需要额外检查目标端增量日志配置是否满足反向增量日志抽取要求。如果切换预检查通过，数据传输将自动执行下一步操作。如果切换预检查未通过，数据传输提供 重试 和 跳过 操作。重要 如果您选择跳过，可能...
创建通道
其中CurrentSystemTime为当前系统时间的毫秒单位时间戳，StreamExpiration为增量日志过期时间的毫秒单位时间戳，最大值为7天，您可以在表属性中设置StreamExpiration。结束时间戳的取值必须大于起始时间戳。streamTunnelConfig....
导入历史日志文件
Logtail只采集增量日志。如果下发Logtail配置后，日志文件无更新，则Logtail不会采集该文件中的日志。如果您需要采集历史日志，可使用Logtail自带的导入历史日志文件功能。前提条件 已在服务器上安装0.16.15（Linux系统）或1.0.0.1...
迁移 TiDB 数据库的数据至 OceanBase 数据库 MySQL ...
重要 如果数据迁移项目长期处于非活跃状态（项目状态为 失败、已暂停 或 已完成），受增量日志保留时长等影响，项目可能无法恢复。数据传输将主动释放处于非活跃状态超过 7 天的数据迁移项目，以回收相关资源，建议您为项目配置告警并及时...
迁移 PolarDB-X 2.0 数据库的数据至 OceanBase 数据库...
重要 如果数据迁移项目长期处于非活跃状态（项目状态为 失败、已暂停 或 已完成），受增量日志保留时长等影响，项目可能无法恢复。数据传输将主动释放处于非活跃状态超过 7 天的数据迁移项目，以回收相关资源，建议您为项目配置告警并及时...
采集主机文本日志
Logtail只采集增量日志，如果下发Logtail配置后日志文件无更新，则Logtail不会采集该文件中的日志。更多信息，请参见 读取日志。操作步骤 登录 日志服务控制台。在 接入数据 区域中，根据需要选择包含 文本日志 后缀的入口。本文以采集主机...
采集标准Docker容器日志
本文介绍如何部署Logtail容器以及创建Logtail配置，用于采集标准Docker容器日志（文本日志和标准输出）。前提条件 已创建Project和Logstore。更多信息，请参见 创建项目Project 和 创建Logstore。目标容器持续产生日志。重要 Logtail只采集...
迁移 MySQL 数据库的数据至 OceanBase 数据库 MySQL ...
重要 如果数据迁移项目长期处于非活跃状态（项目状态为 失败、已暂停 或 已完成），受增量日志保留时长等影响，项目可能无法恢复。数据传输将主动释放处于非活跃状态超过 7 天的数据迁移项目，以回收相关资源，建议您为项目配置告警并及时...
迁移时源库为PostgreSQL的注意事项及限制
如为增量迁移任务，DTS要求源数据库的WAL日志保存24小时以上，如为全量迁移和增量迁移任务，DTS要求源数据库的WAL日志至少保留7天以上（您可在全量迁移完成后将WAL日志保存时间设置为24小时以上），否则DTS可能因无法获取WAL日志而导致任务...
迁移 Oracle 数据库的数据至 OceanBase 数据库 Oracle...
重要 如果数据迁移项目长期处于非活跃状态（项目状态为 失败、已暂停 或 已完成），受增量日志保留时长等影响，项目可能无法恢复。数据传输将主动释放处于非活跃状态超过 7 天的数据迁移项目，以回收相关资源，建议您为项目配置告警并及时...
Oracle永久增量备份
您可以使用 数据库备份DBS 推出的Oracle永久增量备份功能（True Incremental-Forever Backup），通过完整全量备份（Full Backup）与增量合成备份（Synthetic Backup），降低备份成本以及备份过程中产生的资源开销等。背景信息 Oracle永久...
MySQL物理备份
数据库备份DBS 支持对MySQL数据库的物理文件进行全量备份、增量备份、Binlog日志文件备份。本文向您介绍如何通过配置MySQL物理备份计划，实现全量备份和增量备份，以满足数据灾难恢复、数据迁移等需求。前提条件 数据库为 Linux系统 的自建...
迁移 OceanBase 数据库 MySQL 租户的数据至 MySQL ...
重要 如果数据迁移项目长期处于非活跃状态（项目状态为 失败、已暂停 或 已完成），受增量日志保留时长等影响，项目可能无法恢复。数据传输将主动释放处于非活跃状态超过 7 天的数据迁移项目，以回收相关资源，建议您为项目配置告警并及时...
OceanBase 数据库之间的数据迁移
重要 如果数据迁移项目长期处于非活跃状态（项目状态为 失败、已暂停 或 已完成），受增量日志保留时长等影响，项目可能无法恢复。数据传输将主动释放处于非活跃状态超过 7 天的数据迁移项目，以回收相关资源，建议您为项目配置告警并及时...
如何排查容器日志采集异常
当您使用Logtail采集容器（标准容器、Kubernetes）日志时，如果采集状态异常，可以根据本文进行问题排查、运行状态检查等运维操作。问题排查 排查机器组心跳是否异常 排查容器日志采集是否异常 排查机器组心跳是否异常 您可以通过检查机器...
同步时源库为PostgreSQL的注意事项及限制
如为增量同步任务，DTS要求源数据库的WAL日志保存24小时以上，如为全量同步和增量同步任务，DTS要求源数据库的WAL日志至少保留7天以上（您可在全量同步完成后将WAL日志保存时间设置为24小时以上），否则DTS可能因无法获取WAL日志而导致任务...
迁移时源库为PolarDB PostgreSQL版（兼容Oracle）的...
如为增量迁移任务，DTS要求源数据库的WAL日志保存24小时以上，如为全量迁移和增量迁移任务，DTS要求源数据库的WAL日志至少保留7天以上（您可在全量迁移完成后将WAL日志保存时间设置为24小时以上），否则DTS可能因无法获取WAL日志而导致任务...
- 产品推荐
- 这些文档可能帮助您