风险识别管理（新版）
规则名称 规则类型 规则等级 规则配置 非工作时间查询大数据量敏感数据 数据访问风险 低 如下时间段查询数据量大于10000时命中该规则。周一至周五：22:00～24:00。周六至周日：00:00～24:00。相似SQL查询 数据访问风险 低 十分钟内查询相似...
Query级别诊断结果
查询返回客户端的数据量较大 查询消耗的内存资源较大 查询生成的Stage个数较多 查询读取的数据量较大 查询返回客户端的数据量较大 问题 大量数据返回到客户端会导致慢查询，还会占用部分网络前端资源。说明 您可以在查询详情页面的 查询...
计费概述
适用于查询频率高、查询数据量较大的场景，同时也能够给您使用DLA的费用预算带来一定的确定性。说明 若您的业务量波动较大且频繁，每个月甚至每周都可能要变更集群配置，推荐您购买按量付费集群并搭配资源包使用。按计算资源付费（CU版计费...
扫描量版本与CU版本的差异
CU版本 适用于查询频率高、查询数据量较大的场景，同时也能够给您使用DLA的费用预算带来一定的确定性。当您使用CU版本时，您可以设置需要的CU个数的MIN（长期保有资源）和MAX（弹性资源）的值，MIN部分可以按量或者包年包月付费，超出MIN的...
01新建模型目录
具有数据量大，查询计算较慢的特点。DWS：全称Data Warehouse Summary，汇总数据层，存储以事实表为基础，以维度为单位的统计度量。DIM：全称Dimension，公共维度层，是在存储层的基础上清洗脏数据、筛选有价值数据，并且对明细数据层的...
使用流程
操作流程概览如下：开通云原生数据湖分析服务 可选：创建虚拟集群：CU版适用于查询频率高、查询数据量较大的场景，同时也能够给您使用DLA的费用预算带来一定的确定性。推荐您使用CU版本来进行数据分析与计算。说明 如果您使用系统默认的...
功能特性
适用于查询频率高、查询数据量较大的场景，同时也能够给您使用DLA的费用预算带来一定的确定性。创建虚拟集群 元数据管理 可视化全局管理视图，可以进行元数据的操作，例如创建Schema、查看库表信息、查询数据等。查询Schema详情 元信息发现...
资源组介绍
云原生数据仓库AnalyticDB ...Batch查询类型的资源组：适用于执行时间长、计算数据量大的查询。例如：清洗类查询（Extract-Transform-Load）。Interactive查询类型的资源组：适用于对延迟敏感的实时分析查询。相关文档 指定执行查询的资源组
查询监控图和SQL列表介绍
返回到客户端的数据量不宜过大，数据量过大会导致查询占用前端队列资源，影响其他查询的提交和执行。用户可以根据返回数据大小进行排序，找到返回数据量较大的查询。用户名 客户端建立连接时使用的用户名。在 诊断与优化 页面，单击 连接...
影响查询性能的因素
如果查询需要处理的数据量较大，就可能会长时间占用大量的资源，导致整体查询效率降低，进而影响最终的查询效果。此外，如果 AnalyticDB MySQL版 中表存储的数据量较大，那么在执行索引过滤、明细数据读取等操作时也会出现相互争抢磁盘I/O...
创建IBM DB2数据源
通过创建IBM DB2数据源能够实现Dataphin读取IBM DB2的业务数据或向IBM DB2写入数据。本文为您介绍如何创建IBM DB2数据源。背景信息 IBM DB2是一套关系型数据库管理系统。如果您使用的是IBM DB2，在对接Dataphin进行数据开发时，您需要先...
性能调优
AnalyticDB MySQL版 做为分布式系统，其优势在于利用多机并行的能力，提升海量数据的处理速度，适合大数据量的分析。在某些场景中，查询计算量不是特别大，AnalyticDB MySQL具备分布式开销，反而查询较慢。也有某些场景下，AnalyticDB ...
配置IBM DB2输入组件
同步IBM DB2数据源的数据至其他数据源的场景中，您需要先配置IBM DB2输入组件读取的源数据源信息，再配置数据同步的目标数据源。本文为您介绍如何配置IBM DB2输入组件。前提条件 在开始执行操作前，请确认您已完成以下操作：已创建IBM DB2...
配置IBM DB2输入组件
同步IBM DB2数据源的数据至其他数据源的场景中，您需要先配置IBM DB2输入组件读取的源数据源信息，再配置数据同步的目标数据源。本文为您介绍如何配置IBM DB2输入组件。前提条件 在开始执行操作前，请确认您已完成以下操作：已创建IBM DB2...
支持的数据库
库表结构同步 全量数据同步 增量数据同步 单向同步 PolarDB-X 1.0同步至Elasticsearch PolarDB-X 2.0 库表结构同步 全量数据同步 增量数据同步 单向同步 PolarDB-X 1.0同步至PolarDB-X 2.0 PolarDB-X 2.0 PolarDB-X 2.0 库表结构同步 全量...
创建IBM DB2数据源
通过创建IBM DB2数据源能够实现Dataphin读取IBM DB2的业务数据或向IBM DB2写入数据。本文为您介绍如何创建IBM DB2数据源。背景信息 IBM DB2是一套关系型数据库管理系统。如果您使用的是IBM DB2，在对接Dataphin进行数据开发时，您需要先...
应用场景
互联网类应用 Cassandra能够支持大并发低延时的访问需求，具备高可用和弹性扩容能力，适合日志、消息、feed流、订单、账单、网站等各种大数据量的互联网在线应用场景。多活 Cassandra原生支持多DC部署方式，实现更好的可用性和容灾能力。云...
配置IBM DB2输出组件
同时您也可以单击 数据源 后的 新建，添加数据源，详情请参见 创建IBM DB2数据源。表 选择数据表。加载策略 系统支持选择 追加数据 策略。追加数据策略下，当指主键、约束冲突时，系统会提示脏数据错误。解析方案 非必选项，选择输出数据...
配置IBM DB2输出组件
同时您也可以单击 数据源 后的 新建，添加数据源，详情请参见 创建IBM DB2数据源。表 选择数据表。加载策略 系统支持选择 追加数据 策略。追加数据策略下，当指主键、约束冲突时，系统会提示脏数据错误。解析方案 非必选项，选择输出数据...
API概览
DescribeColumnsV2 查询数据资产表中列的数据V2 调用DescribeColumns接口查询数据安全中心连接授权的MaxCompute、RDS等数据资产表中列的数据。DescribeOssObjects 查询OSS的存储对象列表 调用本接口查询连接授权的OSS的存储对象列表。...
SQL处理优化
为了方便用户操作Transactional Table 2.0，MaxCompute计算引擎对SQL全套的数据查询DQL语法和数据操作DML语法进行了支持，并且SQL引擎内核模块包括Compiler、Optimizer、Runtime等都做了专门适配开发以支持相关功能和优化。本文为您介绍...
DB2数据源
DB2数据源作为数据中枢，为您提供读取和写入DB2数据库的双向通道，能够快速解决海量数据的计算问题。本文为您介绍DataWorks的DB2数据同步的能力支持情况。支持的版本 DB2 Reader和DB2 Writer使用的DB2驱动版本为 IBM Data Server Driver ...
自媒体：易撰
所属行业：自媒体 网站地址：易撰 客户介绍 长沙营智信息技术有限公司是专业的新媒体大数据服务商，其旗下知名品牌易撰，基于新媒体大数据挖掘技术及NLP算法分析，为各内容创客、广告主提供全面、科学、精准的大数据分析服务以及大数据架构...
数据变更最佳实践
批量和实时导入数据 批量导入：适用于大数据量导入的场景，导入过程中可以查询旧数据，导入操作完成后一键切换新数据。导入失败时，支持回滚新数据，不影响查询旧数据。例如，从MaxCompute、OSS中导入数据到 AnalyticDB MySQL版 时，推荐...
数据集成概述
说明 以业务数据库数据同步到MaxCompute数据仓库为例，当有大量的数据存储在数据库系统里，需要将数据库中的全量及增量数据同步到MaxCompute进行数仓分析时，数据集成传统方式是通过全量同步或者依赖数据库表中的 modify_time 等字段进行...
数据建模
创建一个名为DB2的数据库，设置TTL为60天。CREATE DATABASE DB2 WITH(ttl=60);创建一个名为DB3的数据库，设置TTL为60天，冷存周期为30天。CREATE DATABASE DB3 WITH(cold_boundary=30,ttl=60);时间分区 时间分区会按照时间维度进行数据分区...
调优集群性能
如下图所示，某个大表分布不均，存储节点0上的Shard_0和Shard_1中数据量较大，而在存储节点1上的Shard_2和Shard_3中数据量较小，那么当您查询这个大表时，较大概率会出现存储节点0需要处理的数据多，存储节点1上需要处理的数据少的情况，...
同步时源库为Db2 for LUW的注意事项及限制
如果同步的源库为 Db2 for LUW，您需要在配置具体的同步任务前，参考本文的注意事项及限制，以保障数据同步任务的正常运行。Db2 for LUW同步至PolarDB-X 2.0 说明 DTS默认同步到目标数据库中时会取消外键约束，因此源数据库的级联、删除等...
Db2 for LUW同步至AnalyticDB MySQL版 3.0
您可以根据实际情况，选择是否对全量同步任务进行限速设置（设置 每秒查询源库的速率QPS、每秒全量迁移的行数RPS 和 每秒全量迁移的数据量(MB)BPS），以缓解目标库的压力。说明 仅当 同步类型 选择了 全量同步 时才可以配置。是否限制增量...
流量诊断
本文介绍如何通过集群管理系统查看表流量信息和表异常流量检测结果。背景信息 在实际使用数据库的过程中...在 大查询表检测 区域，查看采样命中次数较多的表流量监测的详细信息。检测结果中的预估请求量表示热点分片所在表每秒的预估请求数。
topRegion分析
上图是查询每秒内读请求数据量最大的五个分片，再将属于同一张表的分片聚合在一起，并按照分片读请求数据量的值升序排列后的结果。TopRegion历史快照 TopRegion历史快照支持查询某一历史时间点的热点分片。选择 idc、分组 和 历史快照。...
Db2 for LUW迁移至PolarDB MySQL版
您可以根据实际情况，选择是否对全量迁移任务进行限速设置（设置 每秒查询源库的速率QPS、每秒全量迁移的行数RPS 和 每秒全量迁移的数据量(MB)BPS），以缓解目标库的压力。说明 仅当 迁移类型 选择了 全量迁移 时才可以配置。是否限制增量...
概述
使用说明 多主集群（库表）的全局只读节点具有直接跨库访问所有RW节点上的数据的能力，增加全局只读节点 后，您可以在全局只读节点上直接进行跨库查询，如：select*from db1.tbl1 t1,db2.tbl2 t2 where t1.id=t2.id;您也可以根据业务量的...
Db2 for LUW同步至PolarDB MySQL版
您可以根据实际情况，选择是否对全量同步任务进行限速设置（设置 每秒查询源库的速率QPS、每秒全量迁移的行数RPS 和 每秒全量迁移的数据量(MB)BPS），以缓解目标库的压力。说明 仅当 同步类型 选择了 全量同步 时才可以配置。是否限制增量...
自建数据源IBM DB2 LUW
本文为您介绍如何创建自建数据源IBM DB2 LUW。仅专业版和高级版的群空间支持创建自建数据源IBM DB2 LUW。前提条件 请确保您的网络连通性：您通过公网连接Quick BI与IBM DB2 LUW数据库，请添加 Quick BI的IP地址 至数据库白名单，请参见 ...
Db2 for LUW同步至PolarDB-X 2.0
您可以根据实际情况，选择是否对全量同步任务进行限速设置（设置 每秒查询源库的速率QPS、每秒全量迁移的行数RPS 和 每秒全量迁移的数据量(MB)BPS），以缓解目标库的压力。说明 仅当 同步类型 选择了 全量同步 时才可以配置。是否限制增量...
Sysbench测试（标准版）
磁盘I/O型：适用于数据量大的场景，只将最常访问的数据放入Buffer Pool进行存取。测试设计 本次压测采用业界标准的SysBench，分别对 PolarDB-X 标准版的通用规格，引擎版本为MySQL 5.7和MySQL 8.0的实例进行测试，实例具体规格如下：引擎...
连接条件下推
如果SQL内部涉及的计算量很大，例如需要扫描大量表数据，那么执行的效率会非常低。通过将derived table外层的连接条件下推到derived table内部，使derived table内部的执行计划可以更加高效的利用索引，从而可以大幅的提升复杂查询的执行...
三个实例相互进行双向同步后出现数据缺失
以上图为例：DB1的数据通过DTS同步至DB2时，为防止数据回环至DB1，DTS会使用基于事务表的方式对事务进行打标，实现数据过滤。但同时，这部分被打标的数据也不会同步到DB3。因此，就出现了DB3缺少数据的情况。同理，DB3同步至DB2的数据，会...
查询报错问题
因此当查询分析型数据库MySQL版报错提示 memory is not enough，有以下2种建议：优化SQL，尽量不返回可有可无的结果集，同时尽量对不关心的数据添加过滤条件。若没有很好的处理方法，请联系分析型数据库MySQL版技术支持。若在现有业务基础...
- 产品推荐
- 这些文档可能帮助您