创建数据库和集合并写入数据
写入两组数据 {"name":"test"} 和 {"count":"10"} 至mongo集合，命令如下：db.runCommand({insert:"mongo",documents:[{"name":"test"},{"count":"10"}]})查询mongo集合中的数据，命令如下：db.getCollection("mongo").find({})返回结果...
创建数据库和集合并写入数据
写入两组数据 {"name":"test"} 和 {"count":"10"} 至mongo集合，命令如下：db.runCommand({insert:"mongo",documents:[{"name":"test"},{"count":"10"}]})查询mongo集合中的数据，命令如下：db.getCollection("mongo").find({})返回结果...
创建数据库和集合并写入数据
写入两组数据 {"name":"test"} 和 {"count":"10"} 至mongo集合，命令如下：db.runCommand({insert:"mongo",documents:[{"name":"test"},{"count":"10"}]})查询mongo集合中的数据，命令如下：db.getCollection("mongo").find({})返回结果...
常见报错
本文介绍配置任务和任务运行时系统返回的报错信息（如重试信息或错误码）以及解决方法。说明 本文以正则表达式（(.*)?的形式表示报错信息中的变量。若报错无法解决，您可以 通过钉钉（钉钉通讯客户端下载地址）进入到DTS客户交流钉钉群...
如何解决关于表结构的报错？
解决方法1：手动在目标端创建报错信息中的数据库，然后重新启动任务。可能原因2：同步或迁移对象中，有与报错数据库相关联的对象。解决方法2：确认报错信息中的数据库是否需要同步或迁移。需要：将报错信息中的数据库，添加为待同步或迁移...
如何统计冷存数据
场景描述 表、索引转存至冷存过程中会进行压缩，所以存储在冷存中的数据相比在云盘上的存储空间也会减少，其统计的规则也会发生变化，PolarDB PostgreSQL版 提供了冷存数据存储空间统计函数，用户可以通过统计函数了解数据的使用情况。...
如何统计冷存数据
场景描述 表、索引转存至冷存过程中会进行压缩，所以存储在冷存中的数据相比在云盘上的存储空间也会减少，其统计的规则也会发生变化，PolarDB PostgreSQL版（兼容Oracle）提供了冷存数据存储空间统计函数，用户可以通过统计函数了解数据的...
如何将冷存数据进行预热
场景描述 冷存中的数据首次查询时延迟会比较高，可以提前预热将其加载到持久化缓存（分层存储中的云盘层），可以起到查询加速的效果。PolarDB PostgreSQL版 提供了 polar_osfs_prewarm 函数，支持将冷存数据进行预热。创建扩展 CREATE ...
如何将冷存数据进行预热
场景描述 冷存中的数据首次查询时延迟会比较高，可以提前预热将其加载到持久化缓存（分层存储中的云盘层），可以起到查询加速的效果。PolarDB PostgreSQL版（兼容Oracle）提供了 polar_osfs_prewarm 函数，支持将冷存数据进行预热。创建...
如何提高冷存数据的读写性能
场景描述 由于OSS延迟较高，冷存中的数据读写性能会下降，PolarDB PostgreSQL版 在开启冷数据分层存储功能时，默认会在云盘上开辟很小量的物化缓存空间，用于存储冷存元数据及一些IO合并。如果要追求冷存数据读写更高的性能，可根据数据量...
如何提高冷存数据的读写性能
场景描述 由于OSS延迟较高，冷存中的数据读写性能会下降，PolarDB PostgreSQL版（兼容Oracle）在开启冷数据分层存储功能时，默认会在云盘上开辟很小量的物化缓存空间，用于存储冷存元数据及一些IO合并。如果要追求冷存数据读写更高的性能，...
Dataphin管道任务将MongoDB数据同步到MaxCompute发现...
问题描述 Dataphin中通过管道任务将MongoDB中的数据同步到MaxCompute，发现有重复数据。...解决方案 重刷mongo的数据，不能覆盖_id字段 保持mongo数据不变，设置管道任务并发度为1 适用于 适用产品：Dataphin 适用版本：3.7及其以上版本
常见问题
支持的数据库部署位置（接入方式）阿里云实例 有公网IP的自建数据库 通过数据库网关DG接入的自建数据库 通过云企业网CEN接入的自建数据库 ECS上的自建数据库 通过专线/VPN网关/智能接入网关接入的自建数据库 阿里云实例 通过数据库网关DG接...
使用MongoDB Connector连接MongoDB数据库
本文介绍如何创建MongoDB Connector，将MongoDB数据库和 云消息队列 Kafka 版 的数据进行双向同步。前提条件 开通事件总线EventBridge并授权。已开通对象存储OSS服务并创建存储空间（Bucket）。更多信息，请参见 控制台创建存储空间。已...
使用MongoDB Connector连接MongoDB数据库
本文介绍如何创建MongoDB Connector，将MongoDB数据库和 云消息队列 Kafka 版 的数据进行双向同步。前提条件 开通事件总线EventBridge并授权。已开通对象存储OSS服务并创建存储空间（Bucket）。更多信息，请参见 控制台创建存储空间。已...
管理数据集合
您可以通过EMAS Serverless提供的数据存储服务API对集合（相当于MySQL中的表）进行数据读取、写入、更新、删除等操作。读取数据 以下代码示例展示了适用于不同场景的数据读取方法：从集合中读取所有数据。例如，查询所有图片：mpserverless...
库表数太多导致实例卡顿或异常
优化方法 移除不需要的集合 查询数据库中哪些集合是可以删除的（例如已过期或业务不再使用的集合），通过 dropCollection 命令直接删除这些无用表。关于删除命令的介绍，请参见 dropCollection()。警告 在执行删除操作前，请确保您有一个...
按时间戳冷热分离
注意事项 若某一行数据同时包含热数据和冷数据，例如更新了部分列导致一行数据中既存在热数据又存在冷数据的场景，开启查询热数据优先功能会导致该行的查询结果分两次返回，即Scanner返回的Result集合中，对于同一个Rowkey会有两个对应的...
按自定义时间列冷热分离
购买容量型云存储后，您可以指定表或二级索引中的某个时间列作为冷热分离的依据，将数据分别存储于不同的介质中，有效提升热数据查询效率，降低冷数据存储成本。本文介绍按自定义时间列冷热分离的具体操作步骤及相关注意事项。前提条件 已...
Spark常见报错
解决方法：修改 AnalyticDB for MySQL 中表的数据类型，确保JDBC数据源中允许为空的数据列类型也可以被正确的映射到 AnalyticDB for MySQL。例如：RDS MySQL的数据类型为 SHORT INT，映射到 AnalyticDB for MySQL 表为 BOOLEAN。Exit Code:...
导入与导出
本文介绍AnalyticDB MySQL中导入导出的常见问题及解决方法。说明 当常见问题场景中未明确产品系列时，表明该问题仅适用于 AnalyticDB MySQL 数仓版（3.0）。常见问题概览 如何停止异步导入导出任务？如何使用SQL查看当前库里RUNNING的导入...
LOADING_NCI状态说明及其影响
LOADING_NCI状态对事务更新的影响 处于LOADING_NCI状态的索引依然可以实时更新列存索引中的数据，但由于该状态下列存索引与行存的映射没有完全建立，因此，数据更新仅缓存在列存索引上，您将无法实时查询更新后的数据。LOADING_NCI状态对读...
多集合操作机制
日志服务支持联合监控多个集合数据。集合操作 日志服务告警监控系统将一个查询和分析结果当做一个集合，并支持多个集合关联监控。注意 日志服务最多支持3个集合关联监控。默认只选取查询和统计结果中的前1000条数据用于集合操作。当存在三...
DELETE
使用 DELETE 方法的第一种形式删除集合中的所有条目：collection.DELETE 使用 DELETE 方法的第二种形式从集合中删除指定的条目：collection.DELETE(subscript)使用 DELETE 方法的第三种形式从集合中删除 first_subscript 和 last_subscript...
基于MongoDB集合自动推断建表
本示例在MongoDB实例的 mongo_test 数据库中创建 person 集合，集合测试数据如下所示：db.person.insert({id:1,name:"james",age:10,create_time:new Date()});db.person.insert({id:2,name:"bond",age:20,create_time:new Date()});db....
公开与隐藏数据表资产
数据表资产扩展属性：指在自定义扩展属性中创建的数据表自定义扩展属性，输入数据表资产对应扩展属性名称，单击 查询，展示符合该条件的资产。说明 默认展示物理化成功的所有数据表资产。根据实际需求选择公开或隐藏数据表资产。公开数据表...
公开与隐藏数据表资产
数据表资产扩展属性：指在自定义扩展属性中创建的数据表自定义扩展属性，输入数据表资产对应扩展属性名称，单击 查询，展示符合该条件的资产。说明 默认展示物理化成功的所有数据表资产。根据实际需求选择公开或隐藏数据表资产。公开数据表...
DataWorks OpenAPI概述
DataWorks为您提供了涵盖租户、元数据、数据开发、运维中心、数据集成等多个功能模块的OpenAPI接口，不同API的QPS限制、每日调用次数上限和支持使用的DataWorks服务版本存在差异。您可参考本文了解各OpenAPI支持的DataWorks版本及地域、...
Druid 连接池连接 OceanBase 数据库示例程序
本文将介绍如何使用 Druid 连接池、MySQL Connector/J 和 OceanBase 数据库构建一个应用程序，实现基本的数据库操作，包括创建表、插入数据、更新数据、删除数据、查询数据和删除表等。点击下载 druid-mysql-client 示例工程 前提条件 您已...
如何解决集群连接失败的问题
本文将介绍使用DMS（Data Management Service）和通用MySQL客户端连接 PolarDB MySQL版 集群失败的问题原因以及解决方法。集群白名单未配置或配置有误 问题原因：白名单设置中默认地址为 127.0.0.1，表示禁止任何IP地址访问 PolarDB 集群。...
Sensors Data（神策）数据源
DataWorks数据集成支持使用Sensors Data Writer将数据写至Sensors Data，本文为您介绍DataWorks的Sensors Data数据同步的能力支持情况。使用限制 目前仅华南1（深圳）地域支持绑定Sensors Data数据源，其他地域会陆续支持，敬请期待！不...
云数据库MongoDB版（副本集架构）同步至云数据库...
源数据库 目标数据库 云数据库MongoDB版（副本集架构）云数据库MongoDB版（副本集架构、分片集群架构）ECS上的自建MongoDB数据库（副本集架构）ECS上的自建MongoDB数据库（副本集架构、分片集群架构）通过专线、VPN网关或智能网关接入的自...
云数据库MongoDB版（副本集架构）同步至云数据库...
源数据库 目标数据库 云数据库MongoDB版（副本集架构）云数据库MongoDB版（副本集架构、分片集群架构）ECS上的自建MongoDB数据库（副本集架构）ECS上的自建MongoDB数据库（副本集架构、分片集群架构）通过专线、VPN网关或智能网关接入的自...
常见问题概览
如何查询及限制连接数 排查因连接数耗尽导致的数据库连接问题 Mongo Shell连接时显示Connection reset by peers错误 Linux实例使用Mongo Shell登录MongoDB数据库提示“network error while attempting to run command”错误 Linux实例使用...
数据结构设计
数据存储服务是基于MongoDB托管在云端的数据库，数据以JSON格式存储。作为开发者，您可以在客户端内直接操作数据，也可以在云函数中读写数据。数据库结构 EMAS Serverless服务使用的是MongoDB，以JSON格式存储数据。数据库中的每条记录都是...
排查因连接数耗尽导致的数据库连接问题
已正确设置了白名单，通过Mongo Shell连接数据库时，提示如下错误：2019-07-10T10:30:43.597+0800 E QUERY[js]Error:network error while attempting to run command 'isMaster' on host 'dds-bpxxxxxxxx.mongodb.rds.aliyuncs....
如何对JSON类型进行高效分析
针对海量半结构化数据计算与分析，本文将以半结构化数据JSON为例，首先简述传统数据库与数据仓库的解决方案，然后详细描述 PolarDB IMCI列式JSON、虚拟列、秒级加减列与表列数扩展等技术点，最后给出 PolarDB IMCI列式JSON实时分析与扩展流...
设置列索引的排序键
本文介绍了列存索引数据的排序流程、使用方法以及构建和查询有序列存索引数据的时间对比等内容。简介 列存索引数据是按照行组进行组织，默认包含64K行。每个行组中不同的列会各自打包形成列数据块，列数据块按照行存原始数据的主键次序并行...
专业术语
series（序列）TSDB For InfluxDB®数据结构中，有相同measurement、tag set和保留策略（retention policy）的数据集合。说明 field set不会标识序列的一部分。相关术语：field set，measurement，retention policy，tag set。series ...
回收磁盘碎片以提升磁盘利用率
在删除云数据库MongoDB实例的数据后，这些被删除数据使用的存储空间会被标记为空闲，随后写入的新数据可能会被直接存储到这部分空闲的存储空间中，也可能会先扩展文件的存储空间再存储到文件末尾。上述情况将导致一部分空闲的存储空间不会...
- 产品推荐
- 这些文档可能帮助您