DB2数据源
否 无 fetchSize 该配置项定义了插件和数据库服务器端每次批量数据获取条数，该值决定了数据同步系统和服务器端的网络交互次数，能够较大的提升数据抽取性能。说明 fetchSize 值过大（>2048）可能造成数据同步进程OOM。否 1024 Writer脚本...
PolarDB-X 1.0实例中的连接
虽然前端连接数量可被认为近乎无限制，但 PolarDB-X 1.0计算资源实例 节点内部的后端连接池所维护的最大连接数是有限的（原因见 后端连接），因此在实际的应用场景中，需要注意以下几点：应用程序中应尽量避免长事务（亦称为大事务），以免...
查看数据迁移项目的详情
执行数据库对象处理 该步骤为处理数据迁移阶段忽略或者数据传输暂不支持的对象，以确认业务割接切换至目标端后可以正常工作。迁移数据库对象至目标端：该操作需要您自行迁移源端触发器、函数、存储过程等其它数据传输不支持的数据库对象至...
上传数据
添加完成数据文件后，在跳转后的添加数据对话框，选择数据的分组、输入数据集的名称、选择数据的类型和数据的服务地址，单击对话框右下角的 创建数据集 即可完成三维瓦片数据的添加。说明 当数据量较大时解析时间会比较长，您可以先关闭弹...
上传数据
添加完成数据文件后，在跳转后的添加数据对话框，选择数据的分组、输入数据集的名称、选择数据的类型和数据的服务地址，单击对话框右下角的 创建数据集 即可完成三维瓦片数据的添加。说明 当数据量较大时解析时间会比较长，您可以先关闭弹...
魔笔如何区分使用前端还是后端逻辑流
参考文档：逻辑流分类 前端逻辑流：在页面中操作当前内存实体。变更内存实体，而不存在实体更新。页面实体数据变更触发页面更新。...后端逻辑流：数据源中逻辑表达复杂。定时任务。后端发布API。需要进行账号操作的时候，（登录，注册）。
连接方式概述
开发和运行批处理脚本。执行数据库管理和修改参数等。使用 OceanBase 客户端连接 OceanBase 租户的具体操作示例请参见 通过 OBClient 连接 OceanBase 租户。OceanBase 开发者中心（ODC）OceanBase 开发者中心（OceanBase Developer Center...
Data API功能简介
通过使用RDS Data API Service，一些特定的系统可以免去后端服务，直接从前端请求到数据库，简化系统架构的同时，由于不再需要服务端业务逻辑开发，减少了应用程序开发的人力成本，降低了维护基础设施的风险，而且更便于扩展和快速迭代。...
批量操作数据迁移项目
正向切换的子步骤包括启动正向切换、切换预检查、启动目标端 Store、确认源端停写、确认同步追平停写位点、停止正向同步、执行数据库对象处理和启动反向增量。说明 正向切换的子步骤会根据创建项目时选择的迁移类型而变化。在 迁移项目列表...
产品架构
在StarRocks的存算一体架构中，系统主要由前端节点（FE）和后端节点（BE）两种类型的节点构成。FE FE负责管理元数据、管理客户端连接、查询规划和调度等工作，并在每个节点的内存中保存一份完整的元数据副本，以确保服务的一致性。角色 ...
功能简介
数据同步为用户提供批量、实时多源异构数据的便捷同步或接入能力，系统提供完善的数据接入配置、任务运行监控等功能，有效保障数据接入的稳定性和可控性，满足各类平台、数据源及应用系统间的数据汇聚需求。通过数据同步的自定义同步任务...
MongoDB 6.0新特性概览
可查询加密只允许在客户端查看敏感数据的明文，在查询到达服务器端时会同时包含从KMS获取的加密密钥，然后在服务器端以密文进行查询并返回，最后在客户端利用密钥解密后以明文呈现。可查询加密的特点如下：从客户端加密敏感数据，只有客户...
同步Redis后出现数据不一致
问题示例 使用数据传输服务（DTS）同步完Redis后，使用Redis的 info keyspace 命令查看源端和目标端的keys情况，出现源端和目标端数据不一致，且含过期时间的keys占很大比重。如下图：可能原因 单靠 info keyspace 的 expires 来判断数据...
数据同步
数据同步提供批量、实时多源异构数据的便捷同步或接入能力，系统提供完善的数据接入配置、任务运行监控等功能，有效保障数据接入的稳定性和可控性，满足各类平台、数据源及应用系统间的数据汇聚需求。同时支持对存储在基于ArcGIS、超图等...
功能简介
数据同步为用户提供批量、实时多源异构数据的便捷同步或接入能力，系统提供完善的数据接入配置、任务运行监控等功能，有效保障数据接入的稳定性和可控性，满足各类平台、数据源及应用系统间的数据汇聚需求。同时支持对存储在基于ArcGIS、...
修改订阅对象
执行了移除订阅对象操作后，如果数据订阅的客户端还能订阅到该对象的数据，您需要在订阅客户端中进行过滤。若要进行新增订阅对象操作，需确保该订阅任务使用的账号有该订阅对象的相关权限。操作步骤 登录 数据传输控制台。在左侧导航栏，...
操作流程
流程图 流程说明 流程 说明 配置数据源 配置数据同步的源端和目标端。数据同步的源端，是数据同步任务的起点。数据同步目标端是同步的终点，支持自定义创建目标端。同步元数据 获取、更新源端和目标端的物理表及元数据Meta信息。创建同步...
操作流程
流程图 流程说明 流程 说明 配置数据源 配置数据同步的源端和目标端。数据同步的源端，是数据同步任务的起点。数据同步目标端是同步的终点，支持自定义创建目标端。同步元数据 获取、更新源端和目标端的物理表及元数据Meta信息。创建同步...
客户案例
迁移到大数据MaxCompute、实时计算、DataWorks后，部分任务有10倍以上的性能提升，存储从自建Hadoop 3PB降到900T，利用Flink实时数据处理能力，将宝宝树现有的场景实时化（“基于用户ID维度和内容类型的实时行为”、“获取用户的实时群聊ID...
流量回放和压测
面对即将到来的短期业务高峰或数据库结构变更（尤其是索引变更）时，您可以通过流量回访与压测功能，确认数据库实例规格是否需要扩容，并验证在真实业务场景下的实际效果，降低上线后引发故障的风险。此外，在数据库发生故障且无法定位原因...
智能压测
面对即将到来的短期业务高峰或数据库结构变更（尤其是索引变更）时，您可以通过智能压测功能，确认数据库实例规格是否需要扩容，并验证在真实业务场景下的实际效果，降低上线后引发故障的风险。此外，在数据库发生故障且无法定位原因时，...
如何发布对外可用的API
操作步骤 例如使用魔笔创建一个数据实体，并创建了一个查询该数据实体信息的后端逻辑流，希望将此后端逻辑流操作，以API的方式开放给外部第三方系统访问。具体操作步骤 如下：登录 魔笔。在顶部菜单栏选择 应用管理，在右上角搜索框中输入...
JindoFS介绍和使用
JindoFS提供兼容对象存储的纯客户端模式（SDK）和缓存模式（Cache），以支持与优化Hadoop和Spark生态大数据计算对OSS的访问；提供块存储模式（Block），以充分利用OSS的海量存储能力和优化文件系统元数据的操作。JindoFS纯客户端模式（SDK...
智能压测
在 目标端表结构和数据生成方式 区域框中，设置以下参数。配置 说明 数据库类型 目标数据库实例的类型，目前支持：MySQL：表示 RDS MySQL 实例。PolarDB for MySQL：表示 PolarDB MySQL版 实例。PolarDB-X：表示 PolarDB-X 2.0实例。说明 ...
数据保护规则简介
在使用全密态功能之前，您需要配置数据保护规则，规则包括：指定目标数据列为被保护数据、声明数据保护方法（例如加密、脱敏）、授权指定用户访问数据等。本文介绍数据保护规则格式及说明。规则格式及说明 {"version":20230830,"rules":[{...
Shared Server
在Shared Server内置连接池中，通过提取出会话相关上下文Session Context，将用户连接和后端进程进行了解绑，并且引入Dispatcher来进行代理转发：Session Context保存Session相关数据，存放于共享内存中，跨进程共享。存放数据包括：...
Shared Server
在Shared Server内置连接池中，通过提取出会话相关上下文Session Context，将用户连接和后端进程进行了解绑，并且引入Dispatcher来进行代理转发：Session Context保存Session相关数据，存放于共享内存中，跨进程共享。存放数据包括：...
配置匹配规则
开启同步 DDL 功能后，当您使用 DDL 语句在源端创建一张新表或者修改一张表结构时，如果对应的表名在迁移/同步对象规则和排除对象规则的差集内，则该 DDL 语句可以被数据传输同步至目标端。库表汇聚场景下：建议您使用导入对象或匹配规则的...
功能概述
在您的业务前端页面和服务端中分别集成阿里云验证码提供的前端和服务端功能接入代码。配置接入完成后，即可在您的业务中使用阿里云的最新人机识别技术实现验证码。更多功能 将滑动验证服务接入业务后，您还可以使用以下功能：自定义样式：...
使用Kafka客户端消费订阅数据
说明 如果发生故障没有提交成功，重启客户端后会从上一个记录的位点进行数据消费，期间会有部分重复数据，您需要手动过滤。数据以Avro序列化存储，详细格式请参见 Record.avsc 文档。警告 如果您使用的不是本文提供的Kafka客户端，在进行反...
网络问题
前端协议 简单查询：一个简单查询周期是由前端发送一条Query消息给后端进行初始化开始。这条消息包含一个用文本字符串表达SQL命令（或者一些命令）。后端根据查询命令串的内容发送一条或者更多条响应消息给前端，并且最后是一条...
什么是数据库代理
PolarDB 数据库代理是位于数据库和应用程序之间的网络代理服务，用于代理应用程序访问数据库时的所有请求，具有高可用、高性能、可运维、简单易用等特点，支持自动读写分离、负载均衡、一致性级别、连接池、过载保护等高级功能。...
自定义RDBMS数据库及同步数据
如果开发模式是Dev-Prod模式，则可以通过以下方式配置数据源：单击 生产+开发数据源，配置生产环境和开发环境的数据源。单击 生产数据源，配置生产数据源。完成生产数据源的创建后，单击 开发数据源，配置开发环境的数据源。说明 系统支持...
自定义RDBMS数据库及同步数据
如果开发模式是Dev-Prod模式，则可以通过以下方式配置数据源：单击 生产+开发数据源，配置生产环境和开发环境的数据源。单击 生产数据源，配置生产数据源。完成生产数据源的创建后，单击 开发数据源，配置开发环境的数据源。说明 系统支持...
功能概述
在您的业务前端页面和服务端中分别集成阿里云验证码提供的前端和服务端功能接入代码。配置接入完成后，即可在您的业务中使用阿里云的最新人机识别技术实现验证码。更多功能 将智能验证服务接入业务后，您还可以使用以下功能：自定义样式：...
JindoFS块存储模式
应用场景 E-MapReduce目前提供了三种大数据存储系统，E-MapReduce OssFileSystem、E-MapReduce HDFS和E-MapReduce JindoFS，其中OssFileSystem和JindoFS都是云上存储的解决方案，下表为这三种存储系统和开源OSS各自的特点。特点 开源OSS E-...
功能概述
在您的业务前端页面和服务端中分别集成阿里云验证码提供的前端和服务端功能接入代码。配置接入完成后，即可在您的业务中使用阿里云的人机识别技术实现验证码。更多功能 将无痕验证服务接入业务后，您还可以使用以下功能：自定义样式：您...
存储说明
本地盘不能选择磁盘数量，只能使用默认配置好的数量，数据也没有后端的备份机制，需要上层的软件来保证数据可靠性。部分缓存或临时测试场景，或者基于3副本存储TB级数据时会使用本地盘，但是该方案会因为磁盘寿命增加额外的运维成本，因此...
购买数据迁移项目
目前源端支持 OceanBase 数据库（MySQL 和 Oracle 租户）、MySQL、Oracle、PostgreSQL、TiDB、PolarDB-X 1.0 和 PolarDB-X 2.0 数据库。目标端地域 根据您选择的源端地域，展示支持的目标端地域。目标端类型 根据您选择的源端类型，展示...
新增多表实时任务
已完成源端数据和目标端的物理表同步，具体操作，请参见 获取物理表。已添加同步任务目录，具体操作，请参见 添加任务目录。操作步骤 登录 数据资源平台控制台。在页面左上角，单击 图标，选择 协同。在顶部菜单栏，单击 图标，选择目标...
- 产品推荐
- 这些文档可能帮助您