验收报告模板
测试验收点 序号 测试验证点（按实际情况增减）是否通过 1 数据主键是否重复。2 结果数据的明细分布，包括数据量、空值、均值及其他相关业务指标的分布。3 抽样检查：与需求设定时的抽样样本进行对比，查看是否存在差异。4 如果是迭代需求...
读取数据
重要 当要读取带有自增主键列的表数据时，请确保已获取到包含自增主键列值在内的完整主键。更多信息，请参见 主键列自增。如果未记录自增主键列的值，您可以使用范围读取数据按照第一个主键列确定范围读取数据。查询方式 说明 适用场景 ...
访问列存数据
列存提供丰富的索引能力和数据分布特征，可以有效加速计算过程中的数据定位与排布，通过SQL即可完成海量主键数据的增删改查。高吞吐 列存引擎吞吐能力支持水平扩展，提供每分钟TB级数据的读写能力。适用于车联网数据快速导入、模型训练数据...
配置SQL审核优化建议
DMS的安全规则中新接入了SQL审核优化建议，在SQLConsole或数据变更中，对提交的SQL语句进行规范审核并提出相关优化建议。可协助您在提交变更操作前审核、解决问题SQL，规避潜在问题SQL在变更到数据库后产生异常。前提条件 您的系统角色为 ...
删除数据
表单模式删除数据 在向量管理>添加数据中的删除数据页通过主键进行数据删除：点击删除后，执行结果为"message":"success"表示数据删除成功：开发者模式删除数据 在向量管理>添加数据中的删除数据页通过主键进行数据删除，右上角选择开发...
多元索引介绍
查询方式 原理 场景 数据表主键 数据表类似于一个巨大的Map，它的查询能力也就类似于Map，只能通过主键查询。适用于可以确定完整主键（Key）或主键前缀（Key prefix）的场景。二级索引 通过创建一张或多张索引表，使用索引表的主键列查询，...
将Excel的数据导入数据库
您可以将Excel的数据通过数据管理服务DMS（Data Management Service）导入到RDS MySQL数据库中。操作步骤 将Excel文件另存为.csv格式，并将中文或不符合数据库要求的列名修改为英文。说明 如果您的数据没有唯一的ID列，建议在最前方添加一...
使用ETL分析实时订单
应用场景 为满足企业处理实时数据的需求，ETL提供了流式数据抽取、加工和加载功能，能够高效整合海量实时数据，支持拖拽式操作和低代码开发方式，帮助企业轻松完成商业决策分析、报表提速、实时数据计算等。企业在数字化转型过程中，涉及...
写入数据
当要写入数据到数据表时，您需要指定完整主键以及要增删改的属性列。在高并发应用中写入数据时，您可以配置行存在性条件或者列条件实现按照指定条件更新数据。如果需要了解 表格存储 各场景的应用案例，请参见 快速玩转Tablestore入门与...
SQL审核
现DMS推出的 SQL审核 功能将结合安全规则的SQL审核优化建议，对SQL进行审核并提供优化建议，您可以在安全规则中自定义SQL规范，例如表要有主键、限制主键列类型及限制主键包含列的个数等，更多信息，请参见 配置SQL审核优化建议。...
使用场景
二级索引支持在指定列上建立索引，生成的索引表中的数据按照指定的索引列进行排序，数据表的每一个数据写入都会自动同步到索引表中。您只需向数据表中写入数据，然后根据索引表进行查询，在许多场景下能提高查询的效率。样例场景 在电话...
UPDATE
在UPDATE的过程中也是如此，可以通过主键快速过滤出要更新的文件，减少文件扫描；如果没有主键，更新就很容易退化成全表更新，导致性能变差。详情请参见 主键Primary Key。局部更新 局部更新是指部分列更新，缺失的列不更新。局部更新是...
配置离线数据集成节点
使用限制 系统在计算数据量过大且缺失主键的表时，会导致内存溢出或内存耗尽（OOM）。周期调度节点最近一次运行成功后，若连续运行失败10次及以上，离线集成任务直接执行失败，且不会再提交Spark任务。此时，您需要手动运行成功该任务节点...
写入数据
当要写入数据到数据表时，您需要指定完整主键以及要增删改的属性列。在高并发应用中写入数据时，您可以配置行存在性条件或者列条件实现按照指定条件更新数据。如果需要了解 表格存储 各场景的应用案例，请参见 快速玩转Tablestore入门与...
写入数据
表格存储提供了PutRow和UpdateRow接口用于写入单行数据以及BatchWriteRow接口用于批量写入数据。如果需要了解表格存储各场景的应用案例，请参见 快速玩转Tablestore入门与实战。前提条件 已初始化Client，详情请参见 初始化。已创建数据表...
数据导入
当您需要将大批量数据导入至数据库时，可以使用数据管理DMS提供的数据导入功能，导入SQL、CSV、Excel类型的文件。前提条件 数据库类型如下：关系型数据库 MySQL：RDS MySQL、PolarDB MySQL版、MyBase MySQL、PolarDB分布式版、AnalyticDB ...
基于MaxCompute实现拉链表
拉链表是数据仓库设计中用来处理数据变化的一种技术，它允许保存历史数据，记录一个事物从开始到当前状态的所有变化信息，可以反映任意时间点数据的状态。本文将为您介绍基于MaxCompute引擎在DataWorks上实现拉链表ETL的案例。前提条件 已...
通过控制台使用二级索引
二级索引相当于把数据表的主键查询能力扩展到不同的列，使用二级索引能加快数据查询的效率。设置预定义列后，您可以在创建二级索引时将预定义列作为索引表的索引列或属性列。创建二级索引后，您可以使用二级索引进行数据查询。前提条件 已...
导入数据
使用场景 表数据迁移 表数据备份 表数据分析 前提条件 数据库类型如下：数据库类型 关系型数据库 MySQL：RDS MySQL、PolarDB MySQL版、MyBase MySQL、PolarDB分布式版、AnalyticDB MySQL版、其他来源MySQL。SQL Server：RDS SQL Server、...
功能介绍
是否只包含主键数据"data":[{"type":<type>/列数据类型"name":<name>/列名"ts":<version>/数据版本，如果没有该值，取默认版本（ts）的值作为版本"value":<value>/值，如果没有该值，则表中值为null },{"type":<type>/列数据类型...
创建同步RDS/MySQL/ADS3.0
3.同步说明 1）目前DataHub仅支持将TUPLE数据同步到RDS服务中2）DataHub中的TIMESTAMP默认按照 微秒（Microsecond）时间转换成RDS TIMESTAMP类型，请用户注意控制数据精度3）为了避免并发读写同一个主键数据出现加锁竞争，请用户确保同一...
新建普通维度逻辑表
来源表类型说明：有主键来源表：有主键的逻辑表允许配置多个来源,第一个固定为主来源,逻辑表的数据总量（行数）由此来源决定。无主键来源表：无主键的逻辑表仅允许配置一个来源,。若来源是多个表，请使用自定义SQL预先完成多表的关联。说明...
如何设计宽表主键
查询某台机器某个指标最新的几条数据，主键设计为[hostname][log-event][timestamp DESC]。查询的数据存在只有时间一个维度或某一个维度数据量巨大的情况，主键设计为 long bucket=timestamp%numBuckets;[bucket][timestamp][hostname][log...
新建普通维度逻辑表
来源表类型说明：有主键来源表：有主键的逻辑表允许配置多个来源,第一个固定为主来源,逻辑表的数据总量（行数）由此来源决定。无主键来源表：无主键的逻辑表仅允许配置一个来源,。若来源是多个表，请使用自定义SQL预先完成多表的关联。说明...
Hologres结果表
当导入数据的Hologres目标表设置了主键，实时写入的默认语义不会按照主键进行更新，后续导入的主键数据如果重复，则会被丢弃。Hologres为异步写入数据，您在进行作业时需要添加 blink.checkpoint.fail_on_checkpoint_error=true 配置，当...
数据集成服务
当您的现有业务对数据库的并发读写、扩展性和可用性的要求较高，且需要使用复杂的检索或大数据分析时，如果原有数据库的数据架构不能满足现在的业务需求或改造成本较大，则您可以通过DataWorks数据集成服务将现有数据库中的数据迁移到...
数据模型
当您需要在不同业务场景中使用 云数据库 SelectDB 版 时，深入了解其数据模型对于您的业务设计具有重要帮助。本文档将指导您了解其数据模型，以帮助您设计出更优的数据存储方案。基本概念 在 云数据库 SelectDB 版 中，数据以表（Table）的...
主键列自增
说明 如果要更新已存在的行，请先通过 GetRange 接口获取要更新的行主键信息，然后再进行数据更新。示例 主键自增列功能主要涉及创建表（CreateTable）和写数据（PutRow、UpdateRow和BatchWriteRow）两类接口。创建表 创建表时，只需将自增...
离线批量读取数据
表格存储提供了BulkExport接口用于在大数据场景下批量读取数据表中的数据。数据写入到数据表后，您可以根据指定条件进行数据读取。前提条件 已初始化OTSClient。具体操作，请参见 初始化OTSClient。已创建数据表并写入数据。参数 参数 说明...
配置Hologres输出组件
同步其他数据源的数据至Hologres数据源的场景中，完成源数据的信息配置后，需要配置Hologres输出组件的目标数据源。本文为您介绍如何配置Hologres输出组件。前提条件 已创建Hologres数据源并已申请Hologres数据源的同步写权限：如何创建...
数据库迁移
说明 如果存在不一致数据，可单击 查看详情 查看不一致的概览信息，在概览信息对话框中单击 详情 查看不一致的具体数据：如果数据量比较少，可以通过手动修改的方式同步数据，如果数据量比较大，查明数据不一致的原因，清理目标数据库后...
整库离线同步至Elasticsearch
更新：同步数据时，如果有相同的主键，则更新主键数据；如果没有相同的主键，则直接插入数据。更新数据时，是先将原有的一行数据全部删除后再重新插入。每批次写入的条数 每次批量写入Elasticsearch的数据条数，即攒够一定条数的数据后，...
二级索引计量计费
说明 通过主键列自增功能写入数据可以极大减少由于索引表而产生的读CU。对于非主键列自增的数据表，只要发生了与索引相关列的读取，即使未读取到数据，仍会产生1个读CU。但对于主键列自增的数据表，新写入数据时不会发生索引相关列的读取，...
云原生数据仓库AnalyticDB MySQL版（ADB）3.0
背景信息 云原生数据仓库AnalyticDB MySQL版3.0 是融合数据库、大数据技术于一体的云原生企业级数据仓库服务。AnalyticDB MySQL版支持高吞吐的数据实时增删改、低延时的实时分析和复杂ETL，兼容上下游生态工具，可用于构建企业级报表系统、...
文档格式
全量文档格式 向量检索版目前只支持MaxCompute全量数据源，schema中配置的字段名要和MaxCompute中的字段名相同。对于多值字段，在MaxCompute中的内容需要使用多值分隔符'\x1D'('^]')进行分割。MaxCompute中的数据不需要执行cmd，全量时...
文档格式
全量文档格式 召回引擎版目前只支持MaxCompute全量数据源，schema中配置的字段名要和MaxCompute中的字段名相同。对于多值字段，在MaxCompute中的内容需要使用多值分隔符'\x1D'('^]')进行分割。MaxCompute中的数据不需要执行cmd，全量时...
列存索引
快速入门 假设要对海量数据表 my_tbl 进行高效并行数据分析，您需要为该表创建列存索引。示例表 my_tbl 的结构如下：+-+-+-+-+|TABLE_NAME|COLUMN_NAME|TYPE|IS_PRIMARY_KEY|+-+-+-+-+|my_tbl|pk0|INT|true|my_tbl|pk1|VARCHAR|true|my_tbl...
数据推送
使用API/SDK推送数据有次数及大小限制，具体值请参考系统限制项，推荐将文档批量打包发送。数据上传后请务必检查返回值，并对相关错误码进行重试（尤其是3007错误），否则会出现数据丢失情况。同时，数据处理是异步的，系统返回“OK”后只...
如何优化高并发IM系统架构
主键顺序 主键名称 主键值 说明 1 partition_key hash（receive_id）前4位 分区键，保证数据均匀分布，可以使用md5作为hash函数 2 receive_id receive_id 接收方的用户ID 3 message_id message_id 消息ID 上表中，第三列主键（PK）是...
产品架构
索引类型 描述 数据表主键 数据表类似于一个巨大的Map，它的查询能力也就类似于Map，只能通过主键查询。二级索引 通过创建一张或多张索引表，使用索引表的主键列查询，相当于把数据表的主键查询能力扩展到了不同的列。多元索引 使用了倒排...
- 产品推荐
- 这些文档可能帮助您