常见问题
使用rsync同步时报错"input/output error"问题分析：ossfs与rsync同步使用本身会出现问题。此案例中，用户对一个141 GB的大文件进行cp操作，使磁盘读写处于非常高的负载状态，从而产生此报错。解决方案：如果想要将OSS文件下载到本地ECS，...
常见报错
本文介绍配置任务和任务运行时系统返回的报错信息（如重试信息或错误码）以及解决方法。说明 本文以正则表达式（(.*)?的形式表示报错信息中的变量。若报错无法解决，您可以 通过钉钉（钉钉通讯客户端下载地址）进入到DTS客户交流钉钉群...
Tair小版本发布日志
大规格优化：解决了Redis社区版固有的fork问题而预留部分内存的问题。高兼容性：兼容大部分Redis社区版的数据结构和命令。更新级别说明 LOW：一般级别，包含日常新功能升级（例如新增某个功能）。MEDIUM：推荐级别，包含功能模块优化类的...
RDS SQL Server CPU使用率高问题排查
IOMGR_IOCOMPLETION',N'HADR_LOGCAPTURE_WAIT',N'HADR_NOTIFICATION_DEQUEUE',N'HADR_TIMER_TASK',N'HADR_WORK_QUEUE',N'KSOURCE_WAKEUP',N'LAZYWRITER_SLEEP',N'LOGMGR_QUEUE',N'MEMORY_ALLOCATION_EXT',N'ONDEMAND_TASK_QUEUE',N'...
支持的数据源及同步方案
支持的数据源及同步方案 数据集成包括离线同步、实时同步和全增量同步任务三个功能模块，您可以根据各模块对数据源的支持情况，选择对应的功能模块进行同步任务的配置。DataWorks离线同步为您提供数据读取（Reader）和写入插件（Writer）...
数据集成
数据集成模块与同步解决方案的更多介绍，详情请参见 支持的数据源及同步方案。使用限制 您需要拥有 开发 角色权限，才可以在数据开发（DataStudio）界面创建同步任务。授权详情，请参见 添加空间成员并管理成员角色权限。离线同步任务 场景...
Dataphin集成任务同步失败报“Record columns has no ...
概述 通过修改输入端的字段大小写来解决同步失败问题。问题描述 集成任务从 AS400->odps 同步失败报错 Record columns has no sourceColName[n5mont]。问题原因 Dataphin集成任务同步过程中存在字段大小写敏感校验。从源端数据库（AS400）...
启用PAM认证模块后，无法登录Linux实例的解决方案
本文介绍在Linux操作系统内启用PAM认证模块后，出现无法登录Linux实例问题的解决方案。什么是 PAM PAM（Pluggable Authentication Modules）是一个身份认证机制，可用于Linux系统中来实现用户身份验证，加强系统的安全。如果PAM模块配置...
查看索引同步状态
常见问题处理 如果BDS界面中显示同步的延迟过大，超出业务承受的范围，用户可以通过自查解决问题。同步点位不再推进 如果发现BDS界面中的同步点位不再推进，通常是在HBase中写入了不合法的数据导致同步失败。此时用户可以点击右侧的详情，...
直播出现音视频不同步
概述 本文主要介绍直播出现音视频不同步的问题排查步骤。问题描述 视频播放出现音视频不同步的情况。解决方案 直播的流程是用户将视频主动推到边缘节点后进行直播，目前直播中存在音视频不同步的情况，观看直播流发现确实存在这种现象。...
应用场景
除此之外，还可通过远程控制功能，在得到车机端用户授权的情况下，维修人员可远程云端查看实时桌面屏幕，并在云端点击桌面进行操作，同步的、车机端也会响应操作指令，更加直观的查看解决问题。当通过远程诊断，发现问题需要修复解决，还可...
下线配置
数据同步期间，如需暂停数据同步（例如数据出现问题，需要紧急停止同步），可以通过下线同步配置来实现。进入 移动开发平台 mPaaS 控制台，选择目标应用，完成以下步骤将数据同步配置下线。操作步骤 在左侧导航栏点击 数据同步，进入数据...
Presto FAQ
解决方案：您可以查看自己的OSS的数据是否正常同步。性能相关问题 如何解决查询报错：“Query exceeded distributed user memory limit of 2.00TB or Query exceeded per-node user memory limit of xxGB”？DLA Presto中一个查询能使用的...
离线同步并发和限流之间的关系
实践内容 并发数 阅读此部分，您可以解决和理解如下问题：问题一：如何配置数据同步任务的并发数？问题二：为什么我的数据同步任务跑的比较慢，实际运行的并发数不够？问题三：为什么我的同步任务并发数配置的很高，但是任务运行速度仍然很...
多人协作
数据同步 在多人协作过程中，为了防止数据丢失及数据同步不准确的情况，有数据同步机制来解决这个问题。多人在同一页面时的同步机制。如用户A在 集成API 界面增加某个字段，并保存。用户B的 集成API 界面会同步对应数据。获取编辑权限时，...
管控模式
研发流程审批 N N Y：支持按需自定义 配置逻辑库 N N Y 批量操作表 Y Y Y 数据开发周期任务调度 N N Y SQL窗口 查询与变更表结构 Y-Y 超级SQL模式 N N Y 管理表结构版本 Y Y Y 调整字段敏感等级 Y Y Y 监测数据质量 N N Y 跨库查询 N N Y：...
离线同步任务调优
本文为您介绍影响数据同步速度的因素、如何通过调整同步任务的并发配置来实现同步速度最大化、作业的限速选项，以及数据同步过慢的场景。文档概述 同步速度受同步任务本身配置、数据库、网络等多方面影响，详情请参见：数据同步速度的影响...
离线同步能力说明
说明 脏数据是对于业务没有意义，格式非法或者同步过程中出现问题的数据。单条数据写入目标数据源过程中发生了异常，则此条数据为脏数据。因此只要是写入失败的数据均被归类于脏数据。例如，源端是VARCHAR类型的数据写到INT类型的目标列中...
共享内存通信（SMC）常见问题
问题原因 某些服务器实现上没有严格准守TCP规范，在处理TCP options时，可能重放TCP options，导致SMC协议识别出现问题。说明 A TCP implementation MUST(MUST-6)ignore without error any TCP Option it does not implement,assuming that...
基于TairString实现高性能分布式锁
如果丢失的数据跟分布式锁有关，则会导致锁的机制出现问题，从而引起业务异常。下文介绍三种保障一致性的方法。使用 红锁（RedLock）红锁是Redis作者提出的一致性解决方案。红锁的本质是一个概率问题：如果一个主从架构的Redis在高可用切换...
Ubuntu系统的ECS实例中Apt-get安装使用相关问题
本文介绍在Ubuntu系统的ECS实例中Apt-get安装使用方法及常见问题解决方案。如何通过Apt-get安装软件 通过Apt-get在线安装软件，下述操作以安装Nginx为例。远程连接Ubuntu实例。具体操作，请参见 通过密码或密钥认证登录Linux实例。执行如下...
离线同步日志分析
本文为您介绍如何查看离线同步任务执行过程中的日志详情。进入日志详情页 您可以在运维中心或DataStudio界面查看任务运行日志。模块 描述 运维中心 您可以进入 周期实例、测试实例、补数据实例 等页面，通过筛选条件过滤出需要查询的实例，...
使用创建反向任务功能
常见问题 创建正向同步实例时，如何选择规格？建议您先选择最小的规格（micro）。待创建好反向实例后，您可以根据业务量升级实例规格。升级规格的方法，请参见 升级任务的链路规格。业务数据库恢复后，DTS实例处于失败状态，如何处理？您...
导入与导出
解决方法：非整库同步：建议重新同步这张表（即先从同步对象中去掉，然后删除目标库的表，再把这张表加入到同步对象中），DTS会重新进行包括schema拉取的全量同步，这样会跳过此类型的DDL。整库同步：在AnalyticDB MySQL中新建一张表，表名...
数据集常见问题
本文汇总了创建数据集的常见问题。加工数据集字段问题 如何通过参数SQL实现占比的灵活运算？如何通过参数SQL实现累计计算？如何通过参数SQL实现输入单个日期，可以查询最近n天数据？如何在创建仪表板时实现两个字段间的运算操作？函数from_...
DAS Auto Scaling弹性能力
面对这种情况，通常采用扩容数据库规格的方式来解决问题，而专业运维人员（DBA）在准备扩容方案时会至少思考如下三个问题：扩容是否能解决资源不足的问题？在数据库场景下，CPU打满只是计算资源不足的一个表征，导致这个现象的根因很多，...
灾备方案
借助阿里云的 Tair 全球分布式缓存功能，可帮助您解决业务因跨地域访问导致延迟大的问题，分布式缓存功能具有如下优势：可直接创建或指定需要同步的子实例，无需通过业务自身的冗余设计来实现，极大降低业务设计的复杂度，让您专注于上层...
离线同步常见问题
本文为您介绍离线同步的相关问题。文档概述 问题分类 相关文档 离线同步任务运维常见问题 为什么数据源测试连通性成功，但是离线同步任务执行失败？如何切换数据集成任务执行资源组？脏数据如何排查和定位？如何查看脏数据？如果离线同步...
常见错误码及排查方法
解决方法：非整库同步：建议重新同步这张表（即先从同步对象中去掉，然后删除目标库的表，再把这张表加入到同步对象中）。DTS会重新进行包括Schema拉取的全量同步，这样会跳过此类型的DDL操作。整库同步：在AnalyticDB MySQL中新建一张表，...
灾备方案介绍
借助阿里云的Redis全球分布式缓存功能，可帮助您解决业务因跨地域访问导致延迟大的问题，分布式缓存功能具有如下优势：可直接创建或指定需要同步的子实例，无需通过业务自身的冗余设计来实现，极大降低业务设计的复杂度，让您专注于上层...
RDS数据源配置
可能会发生实时服务同步出现问题。【少做账号权限变更】当前OpenSearch实时任务也是MySQL的客户端。账号变更会带来当前实时任务的不能正常消费。同时新版本创建也会受影响。若变更账号密码，需要删除实例重新接入库。OpenSearch需要用户RDS...
RDS数据源配置
可能会发生实时服务同步出现问题。【少做账号权限变更】当前OpenSearch实时任务也是MySQL的客户端。账号变更会带来当前实时任务的不能正常消费。同时新版本创建也会受影响。若变更账号密码，需要删除实例重新接入库。OpenSearch需要用户RDS...
常见问题
数据库连接问题 数据同步问题 数据迁移问题 数据订阅问题 其他问题 说明 若您有其他疑问或需求，可以 通过钉钉（钉钉通讯客户端下载地址）进入到DTS客户交流钉钉群（群号：68325004196或68640008972），进行咨询。计费问题 DTS如何计费？...
使用须知
Buckets个数跟机型配置和数据量有关系，可以参考下列方式计算，其中N为Core/RS节点数量：单节点内存 8G:2*N 单节点内存 16G:3*N 单节点内存 32G:4*N 单节点内存 64G:5*N 单节点内存 128G:6*N 说明 索引表默认会继承主表的盐值；bucket的...
DataStudio侧实时同步任务配置
避免混跑带来资源互相抢占、运行态互相影响等问题，例如，CPU、内存、网络等互相影响，导致离线同步任务突然变慢、实时同步任务延迟、以及在资源不足的极端情况下可能会出现任务被OOM Killer杀掉等问题。步骤三：配置实时同步任务 配置单表...
常见问题
任务运行常见问题 如果在迁移运行过程中出现问题，您可以先查看任务运行日志。单机部署：运行日志的文件路径为 logs/ossimport2.log。分布式部署：运行日志的文件路径为 logs/import.log。执行任何命令均报错 UnsupportedClassVersionError...
PolarDB PostgreSQL版间的迁移
源库、目标库出现其他问题后的重试时间 在同步任务启动后，若源库或目标库出现非连接性的其他问题（如DDL或DML执行异常），则DTS会报错并会立即进行持续的重试操作，默认持续重试时间为10分钟，您也可以在取值范围（1~1440分钟）内自定义重...
新建工程
重要 请按照开发规范创建自己的 groupId，避免在扫描配置时出现问题。artifactId：表示项目名称或应用名称，如：web-app 或 core-app。version：版本号。默认为 1.0-SNAPSHOT。SNAPSHOT 意为快照，说明该项目还在开发中，是不稳定的版本。...
创建并管理数据源
若您想在DataWorks操作您的数据库或数据仓库（例如，MaxCompute项目数据），需先在DataWorks的数据源管理页面，将数据库或数据仓库创建为DataWorks的数据源，并将该数据源绑定至DataWorks相应的功能模块使用。例如，同步MaxCompute数据前，...
常见问题
本文介绍您在使用全文索引过程中可能遇到的一些问题和解决方法。创建索引时设置shard个数和replica个数 创建索引时设置shard个数和replica个数需要满足以下规则：单个shard的最大document条数不能超过int的最大值，大概21亿。否则就会因...
- 产品推荐
- 这些文档可能帮助您