SQL Server迁移上云指南

停止源库的数据写入,最后一个增量日志回放成功后,将业务切换到新数据库。SQL Server实例级别迁移上云 说明 若源库为2008 R2版本,建议升级后再进行操作。使用DBS和DTS(一键上云)部署物理协议网关。使用DTS迁移上云(内部会调用OSS ...

MySQL分分表同步至Hologres(方案1.0)

同时,为了便于在Hologres表里区分某条记录属于源端哪个物理库、物理表,则需要在Hologres表中添加上三个附加字段(src_datasource、src_database、src_table),标识某条记录的来源数据源实例、数据库以及表,这三个附加字段和物理表中的...

配置跨Spark SQL节点

以下Spark SQL语句可以实现将mysql_db在线的交易流水表sales与oracle_db库的用户表users进行关联,并将关联后的数据按部门名称分组,统计交易笔数和金额,加工后的数据写入到mysql_db在线中。INSERT INTO mysql_db.dept_sales SELECT ...

MySQL分分表同步至Hologres(方案2.0)

如上图所示,使用 源端数据库名 将源端数据库名作为目标schema名称,并且将所有满足 order_db.*正则表达式的源库写入目标Hologres名为 order_db schema中。自定义写入的目标表名称 创建表名变换规则 table_rule,操作如下:在 目标表名...

数据库管理

入库时间:即时序数据写入数据库的时间。上述冷热分界线和TTL的能力都是基于 事件时间 进行工作。目前不支持基于入库时间设置冷热分界线或TTL。无论是冷数据归档还是数据到期清理工作,都是通过时序引擎的异步compaction任务执行的,因此,...

行协议写入

db 否 数据写入数据库名。schema_policy 否 Schema约束策略。默认值为WEAK,WEAK模式下会自动创建时序表。支持的取值为:WEAK:弱约束策略。STRONG:强约束策略。NONE:无约束策略。详情请参见 支持的Schema约束策略。用户认证信息指定 ...

数据集成概述

说明 以业务数据库数据同步到MaxCompute数据仓库为例,当有大量的数据存储在数据库系统里,需要将数据库中的全量及增量数据同步到MaxCompute进行数仓分析时,数据集成传统方式是通过全量同步或者依赖数据库表中的 modify_time 等字段进行...

从采集到分析-TSDB For InfluxDB®让你的数据产生价值

了解我们-TSDB For InfluxDB® TSDB For InfluxDB®是一款专门处理高写入和查询负载的时序数据库,用于存储大规模的时序数据并进行实时分析,包括来自DevOps监控、应用指标和IoT传感器上的数据。它的主要特点如下:专为时间序列数据量身订...

常见问题

数据同步过程中如果源实例中的数据库名、表名或者列名中含有划线(-)会报错吗?由于ADB中不允许数据库名、表名或者列名中含有划线(-),为保证数据同步成功,系统会将中划线(-)映射为下划线(_)。如果在数据同步过程中遇到其他因数据...

使用SSMS迁移上云

本文以Azure SQL Database为例,介绍如何使用SQL Server Management Studio(SSMS)将您本地自建或其他云的SQL Server数据库迁移到 RDS SQL Server。前提条件 已创建存储空间大于源库的目标 RDS SQL Server 实例,且 RDS SQL Server 实例需...

UPSERT

与关系型数据库写入的区别 Lindorm的UPSERT语句写入数据的效果与传统关系型数据库的写入效果存在以下不同:传统关系型数据库 如果表定义了PRIMARY KEY,那么当连续两次写入相同PRIMARY KEY的数据时(使用INSERT语句且不带ON DUPLICATE KEY...

离线同步能力说明

作业速率上限控制 提供任务并发数控制功能来限制数据集成读取和写入数据库的最大并发数。提供限流功能控制同步流量,避免同步速度过快对数据来源端或者数据去向端造成太大的压力。说明 不限流的情况下则会提供现有硬件环境下最大的传输性能...

通过Kafka导入数据

数据库 SelectDB 版 支持通过Kafka连接器(SelectDB Connector for Apache Kafka)自动订阅和同步Kafka中的数据。本文介绍SelectDB Connector同步数据至 云数据库 SelectDB 版 的基本原理和使用方式。背景信息 Kafka Connect是一款在...

DataStudio侧实时同步任务配置

您需要在数据集成同步任务配置前,配置好您需要同步的源端和目标端数据库,以便在同步任务配置过程中,可通过选择数据源名称来控制同步任务的读取和写入数据库。实时同步支持的数据源及其配置详情请参见 实时同步支持的数据源。说明 数据源...

数据源概述

在配置数据集成同步任务之前,您需要首先定义好同步任务的源端和目的端数据源信息,以便在配置同步任务时,能够通过选择数据源名称来确定数据的读取和写入数据库。本文将介绍配置数据源时您需要了解的相关信息。数据源功能概述 配置数据源...

从MyCAT评估导入至PolarDB-X 1.0

说明 请您务必保证您的server.xml的数据库连接地址具有公网访问能力,否则预检流程可能失败。评估任务完成后,您可以进行如下操作:您可以单击任务列表右侧的 操作 栏中的 评估报告 查看评估建议详情。您可以单击任务列表右侧的 操作 栏中...

MySQL整实时同步至OSS数据

配置页面的右侧为源端数据库表的预览,是根据上述步骤中配置的数据源预览出来的待同步的数据库表和已选择好要同步的数据库表的预览情况。您可根据待同步的源端数据库表的数量,参考以下操作建议,快速选择要同步的库表。如果您的数据库表...

采集数据

说明 在数据集成同步任务配置前,您可以在DataWorks 数据源 页面,配置好您需要同步的源端和目标端数据库或数据仓库的相关信息,以便在同步任务配置过程中,可通过选择数据源名称来控制同步读取和写入数据库或数据仓库。本教程提供数据...

MySQL分分表同步至MaxCompute

说明 目前自动建表生成的MaxCompute表生命周期默认只有30天,并且可能存在字段类型映射,即若目标端数据库中没有与源端一致的数据类型时,同步任务在自动创建目标表时,将自动为源端字段匹配目标端可写入的字段类型。若您需要修改...

MySQL分分表同步至MaxCompute

说明 目前自动建表生成的MaxCompute表生命周期默认只有30天,并且可能存在字段类型映射,即若目标端数据库中没有与源端一致的数据类型时,同步任务在自动创建目标表时,将自动为源端字段匹配目标端可写入的字段类型。若您需要修改...

增量备份数据上云(SQL Server 2008 R2云盘、2012及...

停止本地应用对数据库写入操作,再做一个LOG Backup,最后一次增量上云。打开数据库 Step8.22:34 完成了最后一个LOG Backup文件增量上云操作,耗时4分钟,开始将数据库上线。Step9.22:35 数据库上线完毕,如果选择异步执行DBCC操作,上线...

导入与导出

数据库服务器端虽然能够及时消费客户端发送的数据,但由于总发送量较小,导致写入TPS不满足预期。您可以调大单次导入的 批量插入条数 及增加 任务期望最大并发数,数据导入性能会随着导入压力的增加而线性增加。DataWorks导入数据至...

MySQL一键实时同步至MaxCompute

您需要将数据库添加至DataWorks上,以便在同步任务配置时,可通过选择数据源名称来控制同步读取和写入数据库。本实践中创建的数据源名为 doc_mysql1,详情请参见 配置MySQL数据源、配置MaxCompute数据源。说明 数据源相关能力介绍详情请...

MySQL一键实时同步至MaxCompute

您需要将数据库添加至DataWorks上,以便在同步任务配置时,可通过选择数据源名称来控制同步读取和写入数据库。本实践中创建的数据源名为 doc_mysql1,详情请参见 配置MySQL数据源、配置MaxCompute数据源。说明 数据源相关能力介绍详情请...

INTO子句

示例 重命名数据库 SELECT*INTO"copy_NOAA_water_database"."autogen".:MEASUREMENT FROM"NOAA_water_database"."autogen"./.*/GROUP BY*name:result time written-0 76290 在TSDB For InfluxDB®中不能直接重命名数据库,所以 INTO 子句的...

业务切换流程

此类情况通常约定在执行数据迁移任务之前将业务中断并停止新的数据写入数据库,所以请直接跳转至步骤 5 继续操作。将业务暂时中断,禁止新的数据写入数据库。登录源数据库,根据数据库类型选择下述命令查看会话信息,确保没有新的会话...

业务切换流程

此类情况通常约定在执行数据迁移任务之前将业务中断并停止新的数据写入数据库,所以请直接跳转至步骤 5 继续操作。将业务暂时中断,禁止新的数据写入数据库。登录源数据库,根据数据库类型选择下述命令查看会话信息,确保没有新的会话...

写入数据

TSDB 只支持通过 HTTP API 方式进行数据写入,因此控制台不提供数据写入的功能页面。关于数据写入的指导说明,请参考《开发指南》中的以下章节:《SDK 参考》中的 写入数据;《HTTP API 参考》中的 写入数据

同步时源为PolarDB MySQL版的注意事项及限制

源实例为PolarDB MySQL版的同步方案概览 根据如下同步方案,查看同步任务的注意事项及限制:说明 DTS默认同步到目标数据库中时会取消外键约束,因此源数据库的级联、删除等操作不会同步到如下目标数据库:MySQL(RDS MySQL、自建MySQL)...

Flink数据导入

AnalyticDB MySQL版 的最大间隔时间,即执行下一次批量写入数据前的最大等待时间,可选取值如下:0:时间间隔为0时,批量写入数据功能仅考虑 sink.buffer-flush.max-rows 配置,即只要Flink接收到的数据行数达到最大写入行数后就会开始批量...

通过HTTP API写入数据

下面的例子展示了将3个数据点写入数据库 mydb。第一个点属于measurement为 cpu_load_short、tag为 host=server0 的时间序列,timestamp是服务器本地的时间戳。第二个点属于measurement为 cpu_load_short、tag为 host=server02,region=us-...

同步时源为Db2 for LUW的注意事项及限制

Db2 for LUW同步至PolarDB-X 2.0 说明 DTS默认同步到目标数据库中时会取消外键约束,因此源数据库的级联、删除等操作不会同步到目标数据库。类型 说明 源库限制 带宽要求:源库所属的服务器需具备足够出口带宽,否则将影响数据同步速率。待...

同步时源为PolarDB-X 2.0的注意事项及限制

源库为PolarDB-X的同步方案概览 根据如下同步方案,查看同步任务的注意事项及限制:说明 DTS默认同步到目标数据库中时会取消外键约束,因此源数据库的级联、删除等操作不会同步到如下目标数据库:MySQL(RDS MySQL、自建MySQL)PolarDB ...

配置Hologres输出组件

Hologres输出组件用于向Hologres数据源写入数据。同步其他数据源的数据至Hologres数据源的场景中,完成源数据的信息配置后,需要配置Hologres输出组件的目标数据源。本文为您介绍如何配置Hologres输出组件。前提条件 已创建Hologres数据源...

同步时源为MySQL的注意事项及限制

源库为MySQL的同步方案概览 根据如下同步方案,查看同步任务的注意事项及限制:说明 DTS默认同步到目标数据库中时会取消外键约束,因此源数据库的级联、删除等操作不会同步到如下目标数据库:MySQL(RDS MySQL、自建MySQL)PolarDB MySQL版...

配置Hologres输出组件

Hologres输出组件用于向Hologres数据源写入数据。同步其他数据源的数据至Hologres数据源的场景中,完成源数据的信息配置后,需要配置Hologres输出组件的目标数据源。本文为您介绍如何配置Hologres输出组件。前提条件 已创建Hologres数据源...

引擎功能

数据管理 数据库管理 时序数据的存储以Database为粒度进行隔离。支持通过SQL对Database的时间分区间隔、冷热分界线、数据过期时间等属性进行设置。具体操作,请参见 数据库管理。用户和权限管理 支持对时序数据的访问进行用户认证以及存储...

命令行界面

关于-import,需要注意的事项:通过使用-pps 设置每秒允许导入的数据点的个数,将数据点写入数据库。默认情况下,pps设置为0并且 influx 不限制数据导入的速度。允许导入.gz文件,只需在命令中加入-compressed。对于文件中的数据点,请提供...

FTP Check节点

为了保证DataWorks成功读取完整的外部数据库的数据,此时,可以让其他调度系统在数据库的数据写入任务完成后,在指定文件系统中进行文件标记(例如,生成一个.done 文件),表明该任务已完成。然后在DataWorks中配置一个FTP Check节点,...

同步时源为MongoDB的注意事项及限制

如果同步的源数据库类型为MongoDB,如自建MongoDB、云数据库MongoDB,您需要在配置具体的同步任务前,参考本文的注意事项及限制,以保障数据同步任务的正常运行。源库为MongoDB的同步方案概览 根据如下同步方案,查看同步任务的注意事项及...
共有200条 < 1 2 3 4 ... 200 >
跳转至: GO
产品推荐
云服务器 安全管家服务 安全中心
这些文档可能帮助您
数据库备份 云数据库 MongoDB 版 云数据库 RDS 云数据库 Redis 版 弹性公网IP 短信服务
新人特惠 爆款特惠 最新活动 免费试用