基于 DataX 完成数据访问代理数据迁移
REPLACE 语句可能会导致新的数据记录的自增 id 有变化，如果使用自增 id 进行关联，会出现问题。而 INSERT IGNORE 语句则不会有这个问题，如果发现主键或唯一键冲突，会忽略当前这条 SQL 的插入。超时问题 SocketTimeout 错误 现象：出现 ...
容器镜像仓库构建服务失败问题排查
若出现问题会导致镜像构建失败。本文详细列举了在容器镜像构建过程中可能出现的问题现象、失败原因分析及解决方法。绑定源代码仓库失败 说明 为了使用容器镜像构建服务，需要在创建镜像仓库时选择绑定相应的代码仓库。问题现象一：在选择...
容器镜像服务镜像扫描功能扫描结果排查
扫描漏洞结果中提示Java应用依赖库版本存在风险问题 问题原因一：镜像扫描功能在扫描Java应用镜像时，会尝试扫描Java应用依赖库，当应用依赖的库包含存在风险问题的库版本时，会在漏洞扫描结果中进行提示。解决方法：请检查应用通过Maven等...
识别规则及识别方式
选择项目的计算源需要有访问其他项目的权限，否则可能会出现无法扫描的情况。单击 确定，完成识别规则调度周期的配置。自动继承配置 单击 自动继承配置，进入 基于血缘自动继承配置 对话框。在 基于血缘自动继承配置 对话框，配置参数。...
识别规则及识别方式
选择项目的计算源需要有访问其他项目的权限，否则可能会出现无法扫描的情况。说明 当计算引擎为Impala时，扫描的数据表为Kudu表，需选择开启Impala任务的项目，方可使用Impala SQL扫描成功。单击 确定，完成识别规则调度周期的配置。自动...
Dataphin中周期任务在运行时为何会出现等待资源问题
问题描述 夜间周期性任务出现高并发时，运行过程中有些任务会出现等待资源问题，原本只需要几十秒的任务，有时需要20多分钟，为什么会出现这种情况？是否有改善的方案？问题原因 任务会出现等待资源问题是由于mesos资源分配不足导致的。...
产品架构
随着虚拟化网络规模的扩大，这种方案中的ARP欺骗、广播风暴、主机扫描等问题会越来越严重。为了解决这些问题，出现了各种网络隔离技术，把物理网络和虚拟网络彻底隔开。其中一种技术是用户之间用VLAN进行隔离，但是VLAN的数量最大只能支持...
时序引擎版本说明
修复并发更新Schema时会出现大量版本冲突的问题。修复Lindorm ML时序预测在预测条件为大于或小于某时间点时，拉取数据不足的问题。修复Lindorm ML时序异常检测ostl-ttest算法和ostl-esd在数据量较大时会报错的问题。优化Lindorm ML时序异常...
算子级别诊断结果
扫描算子读取字段个数较多 问题 扫描算子会在 AnalyticDB MySQL版 的存储层进行数据的过滤和明细数据的读取，如果SELECT的字段个数较多，需要读取的明细数据也较多，那么就会占用较大的磁盘I/O资源，影响 AnalyticDB MySQL版 集群整体稳定...
MySQL分库分表同步至MaxCompute
例如，CPU、内存、网络等互相影响，可能会导致离线任务变慢或实时任务延迟等问题，甚至在资源不足的极端情况下，可能会出现任务被OOM KILLER杀掉等问题。步骤八：执行同步任务 进入 数据集成>同步任务 界面，找到已创建的同步方案。单击...
MySQL分库分表同步至MaxCompute
例如，CPU、内存、网络等互相影响，可能会导致离线任务变慢或实时任务延迟等问题，甚至在资源不足的极端情况下，可能会出现任务被OOM KILLER杀掉等问题。步骤八：执行同步任务 进入 数据集成>同步任务 界面，找到已创建的同步方案。单击...
CREATE INDEX
如果在扫描表示出现问题，例如死锁或者唯一索引中的唯一性被违背，CREATE INDEX 将会失败，但留下一个“不可用”的索引。这个索引会被查询所忽略，因为它可能不完整。不过它仍将消耗更新开销。psql的 \d 命令将把这类索引报告为 INVALID：...
如何高效扫描数据
比如说拆分键在WHERE中是等于关系时，就会出现非全表扫描。此时同样可以支持任何聚合函数。全表扫描：目前支持的聚合函数有COUNT、MAX、MIN和SUM。另外在全表扫描时同样支持LIKE、ORDER BY、LIMIT以及GROUP BY语法。并行的全表扫描：如果...
PolarDB MySQL版8.0.1版本发布日志
修复Statement Outline和Concurrency Control等功能在执行Reload操作时，出现的内存泄漏的问题。修复执行Group By操作后，BIT字段显示不正确的问题。修复TDE在fork创建子进程时，与RDMA内存不兼容的问题。修复并行查询将GROUP BY下推到...
流水线组件
问题处理 如果扫描失败，会显示出日志链接，可根据日志内容来进行问题排查。针对扫描出的问题，需要根据具体内容进行解决。说明 流水线配置先已支持连接 Jenkins 组件和 Pinpoint 代码扫描组件。代码检测（PMD）PMD（Programming Mistake ...
V5.1.x系列实例版本说明
解决DISTINCT在部分跨库JOIN场景下会出现报错的问题。修复分库分表情况下聚合函数查询带LIMIT时返回结果不正确的问题。解决BigDecimal类型在类型转换过程会消耗大量CPU的问题。修复SHOW FULL STATS连接数不准确的问题。修复SHOW FULL STATS...
常见问题以及改进措施
其它问题 本文只列举了几类常见的查询计划问题，例如全表扫描时出现无过滤条件的大表、可以下推的过滤条件没有下沉到存储等复杂计划和性能问题等，需要 AnalyticDB MySQL版 专家服务小组来协助定位排查。改进执行计划 收集统计信息 ...
移植问题
出现问题时，应结合对应的日志，检查对应HAL的行为。Linux环境下的某些平台由于HAL_Timer相关的对接不兼容，打印HAL_Timer_Create之后，出现core dump。运行单品例子程序正常，为什么运行网关例程上线不久后就离线?请检查日志，确认是否...
识别任务说明
扫描范围 已完成资产授权的所有资产，首次扫描会全量扫描数据库中的所有数据，非首次扫描只扫描增量部分。如果您切换了主用模板，不会立即触发扫描；在下次系统默认任务扫描时，才会启用新的扫描模板。查看扫描结果 支持通过以下方式查看...
DMS分类分级扫描原理介绍
分类分级扫描 分类分级扫描会将待扫描的字段与分类规则进行一一匹配。若字段符合分类规则的定义，则标记为该字段的分类规则。分级分类原理 首先筛选出分类分级模板中所有已启用的分类规则，再针对单个识别规则，分以下三步进行识别：根据...
复核时录音无法播放
在文件复核时，可能会出现录音无法播放的问题，如下图：此类问题会有多种原因导致，例如：录音文件的格式是浏览器无法播放的 您所提供的录音文件URL无法访问 您所提供的录音文件URL不支持HTTPS协议访问 可按下面的方式来排查：1....
数据扫描和识别
数据扫描会影响我的数据库性能吗？DSC支持扫描的数据源有哪些？数据源授权完成后需要多长时间完成扫描？DSC对于非结构化数据源（OSS）的扫描机制是怎样的？是否支持对已扫描过的OSS文件重新扫描？DSC对结构化数据（例如MaxCompute）的扫描...
确认表血缘
导致下游取数出现问题 若当前节点 Job_B 代码中配置了依赖A表的数据，但未将产出A表数据的节点 Job_A 作为当前节点依赖的上游，则可能会出现A表数据未产出，当前节点便开始执行，最终导致 Job_B 节点产出的表数据出现问题。虽然 Job_A 的...
新版使用限制
例如上传文件 myapp/resource/1.jpg，开启静态网站托管后，迁移服务扫描会得到3个对象，分别为：myapp/myapp/resource/myapp/resource/1.jpg 其中 myapp/和 myapp/resource/会迁移失败，但不影响 myapp/resource/1.jpg 的正常迁移。...
其他常见问题
单实例部署多个客户端，导致找不到连接 一个实例（ECS、虚拟机、Pod）不允许部署多个 AntScheduler 客户端，否则会出现连接互踢的问题。AntVIP 地址配置错误 问题现象 出现[AntVIPRouter]Get scheduler servers failed 报错。问题原因 ...
新建及管理识别规则
开启自动继承扫描会扩大扫描范围，造成额外的计算资源消耗，请根据业务实际情况合理配置。单击 确定，即可触发对已选资产对象进行扫描。您可前往 运行记录 查看，根据您选择的扫描数据的大小，扫描数据进程不同，请您耐心等待。后续步骤 ...
新建及管理识别规则
开启自动继承扫描会扩大扫描范围，造成额外的计算资源消耗，请根据业务实际情况合理配置。单击 确定，即可触发对已选资产对象进行扫描。您可前往 运行记录 查看，根据您选择的扫描数据的大小，扫描数据进程不同，请您耐心等待。后续步骤 ...
使用SQL查询数据时报错The sql scanned rows of main ...
问题现象 使用SQL查询数据时出现如下报错：[Message]:The sql scanned rows of main table exceeds the quota,main table rows quota is 100000 可能原因 如果使用SQL查询数据时使用的条件为非分区键，则会造成全表扫描数据，可能会出现...
集群容灾能力
在阿里云上，如果使用的是云盘技术，则每一个云盘在后台都会对应三个数据副本，当其中任一个出现问题时，副本数据都会自动进行切换并恢复，以保证数据的可靠性。Hadoop HDFS是一个经历了长时间考验且具有高可靠性的数据存储系统，已实现了...
版本发布说明
优化存储过程的创建和删除流程，避免出现元数据残留问题。降低REPLACE/UPSERT语句在包含GSI或UGSI的表上执行时的CPU消耗。缺陷修复 修复包含clustered index的表在创建local索引时，部分旧的执行计划没有清理的问题。修复在DRDS模式数据库...
MySQL实例IOPS使用率高的原因和解决方法
问题描述 MySQL实例在日常使用中会出现实例IOPS使用率高的情况，本文将介绍造成该状况的主要原因和解决方法。问题原因 实例内存满足不了缓存数据或排序等需要，导致产生大量的物理IO。查询执行效率低，扫描过多数据行。解决方案 您可以通过...
使用EXPLAIN
如果查询需要连接、聚集、排序、或者在未经处理的行上的其它操作，那么就会在扫描节点之上有其它额外的节点来执行这些操作。并且，做这些操作通常都有多种方法，因此在这些位置也有可能出现不同的节点类型。EXPLAIN 给计划树中每个节点都...
全量扫描和增量扫描
缺点：但扫描速度较慢，问题量会比较多，难以修复 2）代码规约增量扫描，是基于代码的一次 push，自动获取 diff 内容，对 diff 文件用编码规约规则进行扫描，并过滤出此次提交产生 diff 规约问题功能。优点：只扫描 diff 文件，扫描速度...
配置增量扫描任务
本文介绍如何配置增量扫描设置，对指定OSS Bucket中新增的图片、视频自动进行违规检测（每当Bucket中有新增内容，将自动触发扫描），并在检测完成后查看扫描结果和统计数据。背景信息 关于OSS违规检测的使用限制（例如支持的OSS Bucket、...
配置存量扫描任务
本文介绍如何配置存量扫描任务，对指定OSS Bucket中的已有图片或视频文件进行一次性违规检测，并在检测完成后查看扫描结果和统计数据。背景信息 关于OSS违规检测的使用限制（例如支持的OSS Bucket、检测场景、文件格式等），请参见 使用...
执行镜像安全扫描
立即执行镜像安全扫描 如果您需要立即执行镜像安全扫描，可以在 镜像安全扫描 页面，单击 立即扫描 后，在 一键扫描 对话框选择需要扫描的镜像类型，并单击 确定。目前支持选择以下类型的镜像仓库：ACR：选择该类型后，云安全中心将检测您...
2023年
无 缺陷修复 修复带SORT KEY的内存攒批任务执行后可能会出现的查询报错问题。修复Serverless实例读取字符串类型数据可能出错的问题。修复WHERE子句中过滤条件过多可能出错的问题。修复SQL包含like语句时可能出现报错的问题。修复扩缩容等锁...
常用功能配置（精简版）
说明 云产品配置全量扫描会持续一段时间，请耐心等待。检查完成后，建议您及时关注并处理检测出的安全风险。具体操作，请参见 使用云平台配置检查。配置防暴力破解规则 云安全中心提供防暴力破解功能，支持配置自定义暴力破解防御规则。...
为什么云存储网关与OSS上的文件不一致
但是，由于OSS Bucket内部是扁平的，在通过OSS API操作模拟文件夹功能列举下级文件的时延可能会较长，因此如果设定的反向同步的时间间隔较小，则会触发大量的扫描操作，当执行例如 ls 等元数据操作时会出现卡顿从而影响体验，这种场景下...
补数据
问题现象 补数据选择业务时间昨天和今天，会出现等待时间的情况。产生原因 从平台维度来看，业务时间昨天的数据，今天调度运行。补数据补对应业务时间的数据相当于重新执行了一次对应业务时间的周期实例。如果您需要过滤今天的周期实例，您...
- 产品推荐
- 这些文档可能帮助您