基于 DataX 完成数据访问代理数据迁移
REPLACE 语句可能会导致新的数据记录的自增 id 有变化，如果使用自增 id 进行关联，会出现问题。而 INSERT IGNORE 语句则不会有这个问题，如果发现主键或唯一键冲突，会忽略当前这条 SQL 的插入。超时问题 SocketTimeout 错误 现象：出现 ...
容器镜像仓库构建服务失败问题排查
若出现问题会导致镜像构建失败。本文详细列举了在容器镜像构建过程中可能出现的问题现象、失败原因分析及解决方法。绑定源代码仓库失败 说明 为了使用容器镜像构建服务，需要在创建镜像仓库时选择绑定相应的代码仓库。问题现象一：在选择...
容器镜像服务镜像扫描功能扫描结果排查
netty-shaded</artifactId><version>1.24.0</version></dependency>实际上这个依赖库会通过Shade方式包含io.netty的4.1.38.Final版本，这时您在POM中定义引入更高版本的io.netty时，依然会扫描出问题版本依赖库。类似情况请检查您引入的...
识别规则及识别方式
选择项目的计算源需要有访问其他项目的权限，否则可能会出现无法扫描的情况。单击 确定，完成识别规则调度周期的配置。自动继承配置 单击 自动继承配置，进入 基于血缘自动继承配置 对话框。在 基于血缘自动继承配置 对话框，配置参数。...
识别规则及识别方式
开启后会存储数据采样，后续识别任务只会扫描采样数据。采样数据的更新频率可以根据业务需求设置。开启后需配置以下参数：采样更新：更新采样存储数据，提高长期识别的准确率。有新数据则更新：识别时，若数据表有新数据（以DDL/DML时间...
Dataphin中周期任务在运行时为何会出现等待资源问题
问题描述 夜间周期性任务出现高并发时，运行过程中有些任务会出现等待资源问题，原本只需要几十秒的任务，有时需要20多分钟，为什么会出现这种情况？是否有改善的方案？问题原因 任务会出现等待资源问题是由于mesos资源分配不足导致的。...
产品架构
随着虚拟化网络规模的扩大，这种方案中的ARP欺骗、广播风暴、主机扫描等问题会越来越严重。为了解决这些问题，出现了各种网络隔离技术，把物理网络和虚拟网络彻底隔开。其中一种技术是用户之间用VLAN进行隔离，但是VLAN的数量最大只能支持...
时序引擎版本说明
修复并发更新Schema时会出现大量版本冲突的问题。修复Lindorm ML时序预测在预测条件为大于或小于某时间点时，拉取数据不足的问题。修复Lindorm ML时序异常检测ostl-ttest算法和ostl-esd在数据量较大时会报错的问题。优化Lindorm ML时序异常...
算子级别诊断结果
扫描算子读取字段个数较多 问题 扫描算子会在 AnalyticDB MySQL版 的存储层进行数据的过滤和明细数据的读取，如果SELECT的字段个数较多，需要读取的明细数据也较多，那么就会占用较大的磁盘I/O资源，影响 AnalyticDB MySQL版 集群整体稳定...
MySQL分库分表同步至MaxCompute
例如，CPU、内存、网络等互相影响，可能会导致离线任务变慢或实时任务延迟等问题，甚至在资源不足的极端情况下，可能会出现任务被OOM KILLER杀掉等问题。步骤八：执行同步任务 进入 数据集成>同步任务 界面，找到已创建的同步方案。单击...
MySQL分库分表同步至MaxCompute
例如，CPU、内存、网络等互相影响，可能会导致离线任务变慢或实时任务延迟等问题，甚至在资源不足的极端情况下，可能会出现任务被OOM KILLER杀掉等问题。步骤八：执行同步任务 进入 数据集成>同步任务 界面，找到已创建的同步方案。单击...
CREATE INDEX
如果在扫描表示出现问题，例如死锁或者唯一索引中的唯一性被违背，CREATE INDEX 将会失败，但留下一个“不可用”的索引。这个索引会被查询所忽略，因为它可能不完整。不过它仍将消耗更新开销。psql的 \d 命令将把这类索引报告为 INVALID：...
如何高效扫描数据
比如说拆分键在WHERE中是等于关系时，就会出现非全表扫描。此时同样可以支持任何聚合函数。全表扫描：目前支持的聚合函数有COUNT、MAX、MIN和SUM。另外在全表扫描时同样支持LIKE、ORDER BY、LIMIT以及GROUP BY语法。并行的全表扫描：如果...
流水线组件
问题处理 如果扫描失败，会显示出日志链接，可根据日志内容来进行问题排查。针对扫描出的问题，需要根据具体内容进行解决。说明 流水线配置先已支持连接 Jenkins 组件和 Pinpoint 代码扫描组件。代码检测（PMD）PMD（Programming Mistake ...
V5.1.x系列实例版本说明
解决DISTINCT在部分跨库JOIN场景下会出现报错的问题。修复分库分表情况下聚合函数查询带LIMIT时返回结果不正确的问题。解决BigDecimal类型在类型转换过程会消耗大量CPU的问题。修复SHOW FULL STATS连接数不准确的问题。修复SHOW FULL STATS...
PolarDB MySQL版8.0.1版本发布日志
修复Statement Outline和Concurrency Control等功能在执行Reload操作时，出现的内存泄漏的问题。修复执行Group By操作后，BIT字段显示不正确的问题。修复TDE在fork创建子进程时，与RDMA内存不兼容的问题。修复并行查询将GROUP BY下推到...
识别任务说明
执行重扫操作后，会扫描会立即被执行。建议您将扫描开始时间设置为数据资产调用低峰期的时段。仅自定义识别任务的所有识别模板都为已启用状态时支持执行重扫操作。在执行重扫操作前，您需要确保相关识别模板为已启用状态。单击目标识别任务...
移植问题
出现问题时，应结合对应的日志，检查对应HAL的行为。Linux环境下的某些平台由于HAL_Timer相关的对接不兼容，打印HAL_Timer_Create之后，出现core dump。运行单品例子程序正常，为什么运行网关例程上线不久后就离线?请检查日志，确认是否...
DMS分类分级扫描原理介绍
分类分级扫描 分类分级扫描会将待扫描的字段与分类规则进行一一匹配。若字段符合分类规则的定义，则标记为该字段的分类规则。分级分类原理 首先筛选出分类分级模板中所有已启用的分类规则，再针对单个识别规则，分以下三步进行识别：根据...
常见问题以及改进措施
其它问题 本文只列举了几类常见的查询计划问题，例如全表扫描时出现无过滤条件的大表、可以下推的过滤条件没有下沉到存储等复杂计划和性能问题等，需要 AnalyticDB MySQL版 专家服务小组来协助定位排查。改进执行计划 收集统计信息 ...
新版使用限制
例如上传文件 myapp/resource/1.jpg，开启静态网站托管后，迁移服务扫描会得到3个对象，分别为：myapp/myapp/resource/myapp/resource/1.jpg 其中 myapp/和 myapp/resource/会迁移失败，但不影响 myapp/resource/1.jpg 的正常迁移。...
复核时录音无法播放
在文件复核时，可能会出现录音无法播放的问题，如下图：此类问题会有多种原因导致，例如：录音文件的格式是浏览器无法播放的 您所提供的录音文件URL无法访问 您所提供的录音文件URL不支持HTTPS协议访问 可按下面的方式来排查：1....
配置增量扫描任务
检测无后缀文件 开启 检测无后缀文件 后，会扫描无后缀的图片文件，检测速度会降低，根据HTTP头的content-type判断是否为图片，支持content-type有：image/jpg，image/jpeg，image/png，image/gif，image/bmp，image/webp。视频 每日视频...
配置存量扫描任务
检测无后缀文件 开启 检测无后缀文件 后，会扫描无后缀的图片文件，检测速度会降低，根据HTTP头的content-type判断是否为图片，支持content-type有：image/jpg，image/jpeg，image/png，image/gif，image/bmp，image/webp。视频 视频扫描...
执行镜像安全扫描
例如，扫描时间范围选择为 最近7天，那么云安全中心会扫描最近7天以内更新的镜像。镜像更新时间超过7天，则不会被扫描。漏洞保留时长 设置漏洞扫描结果的保留时长。云安全中心会自动删除超过保留时长的漏洞扫描结果。云安全中心将按照您的...
数据扫描和识别
数据扫描会影响我的数据库性能吗？DSC支持扫描的数据源有哪些？数据源授权完成后需要多长时间完成扫描？DSC对于非结构化数据源（OSS）的扫描机制是怎样的？是否支持对已扫描过的OSS文件重新扫描？DSC对结构化数据（例如MaxCompute）的扫描...
其他常见问题
单实例部署多个客户端，导致找不到连接 一个实例（ECS、虚拟机、Pod）不允许部署多个 AntScheduler 客户端，否则会出现连接互踢的问题。AntVIP 地址配置错误 问题现象 出现[AntVIPRouter]Get scheduler servers failed 报错。问题原因 ...
常用功能配置（精简版）
说明 云产品配置全量扫描会持续一段时间，请耐心等待。检查完成后，建议您及时关注并处理检测出的安全风险。具体操作，请参见 使用云平台配置检查。配置防暴力破解规则 云安全中心提供防暴力破解功能，支持配置自定义暴力破解防御规则。...
开通敏感数据保护
说明 在执行扫描任务时，系统会扫描目标数据库中的元数据和少量随机抽样数据（100~200条）。这些数据仅在执行扫描任务时用于敏感数据分析，系统不会对数据进行保存。配置项 说明 扫描方式 即时任务：配置完成后，系统立即扫描目标数据库，...
查询拦截
partition_num 否 一个扫描节点会扫描的最大Partition数量。默认值为0L，不限制。tablet_num 否 一个扫描节点会扫描的最大Tablet数量。默认值为0L，不限制。cardinality 否 一个扫描节点粗略的扫描行数。默认值为0L，不限制。global 否 ...
确认表血缘
导致下游取数出现问题 若当前节点 Job_B 代码中配置了依赖A表的数据，但未将产出A表数据的节点 Job_A 作为当前节点依赖的上游，则可能会出现A表数据未产出，当前节点便开始执行，最终导致 Job_B 节点产出的表数据出现问题。虽然 Job_A 的...
数据下载
说明 反向同步会扫描Bucket下的所有对象，如果对象数量较多，会产生OSS API请求费用。具体费用，请参见 对象存储 OSS 详细价格信息 中的请求费用。如果您在 基本信息 页签中勾选了 加入同步组，则此选项不可用。反向同步时间间隔 最小值为...
COST SQL
需要注意的是，如果UDF涉及分区裁剪，由于无法确定最终会扫描多少个分区，该场景下的费用无法预估。使用限制 目前外部表不支持Cost SQL功能。注意事项 该信息不能作为实际计费标准，仅供参考，实际费用请以账单为准。命令格式 cost sql;...
其它操作
需要注意的是，如果UDF涉及分区裁剪，由于无法确定最终会扫描多少个分区，该场景下的费用无法预估。说明 该信息不能作为实际计费标准，仅供参考，实际费用请以账单为准。命令格式 cost sql;参数说明 sql_sentence：待估算费用的SQL语句。...
版本发布说明
优化存储过程的创建和删除流程，避免出现元数据残留问题。降低REPLACE/UPSERT语句在包含GSI或UGSI的表上执行时的CPU消耗。缺陷修复 修复包含clustered index的表在创建local索引时，部分旧的执行计划没有清理的问题。修复在DRDS模式数据库...
通过OOS定期删除Tair或Redis过期Key
您可以参考本方案，免费使用 OOS服务，定时调用 FlushExpireKeys API：Redis 会扫描（SCAN）所有Key并立即删除已过期的Key。重要 SCAN 命令扫描所有数据会使实例的CPU负载上升，建议您在业务低峰期执行该任务。前提条件 您需要为OOS服务...
通过OOS定期删除Tair或Redis过期Key
您可以参考本方案，免费使用 OOS服务，定时调用 FlushExpireKeys API：Tair 会扫描（SCAN）所有Key并立即删除已过期的Key。重要 SCAN 命令扫描所有数据会使实例的CPU负载上升，建议您在业务低峰期执行该任务。前提条件 您需要为OOS服务创建...
使用EXPLAIN
如果查询需要连接、聚集、排序、或者在未经处理的行上的其它操作，那么就会在扫描节点之上有其它额外的节点来执行这些操作。并且，做这些操作通常都有多种方法，因此在这些位置也有可能出现不同的节点类型。EXPLAIN 给计划树中每个节点都...
多级分区表静态裁剪与并行扫描
此时，可以进行多级分区表的静态裁剪（只会扫描 range_list_2000_2010_1_10 这张分区表），同时也可以使用并行查询功能（6个并行度）：EXPLAIN SELECT count(*)FROM range_list WHERE a;QUERY PLAN-PX Coordinator 6:1(slice1;segments:6)...
配置BizWorks Toolkit（适用于0.12.0之前版本）
使用BizWorks Toolkit插件前您需要完成相关配置，例如：基础信息配置、关联平台配置、代码配置、双向联动配置和modules.yaml配置等。配置基础信息 打开IDEA，在顶部导航栏选择 File...说明 平台扫描本地代码时只会扫描已关联的Package下的类。
- 产品推荐
- 这些文档可能帮助您