Dataphin集成任务同步数据Hive报错“GSS initiate ...

问题描述 Dataphin集成任务同步数据Hive报错“GSS initiate failed”。问题原因 Hive数据源kerberos认证没有成功。解决方案 检查Hive数据源的连通性以及集群认证的相关票证是否正常。适用于 Dataphin

Quick BI新建hive数据源后将简单SQL放到数据集中运行...

问题描述 Quick BI新建hive数据源后将简单SQL放到数据集中运行报错io.grpc.StatusRuntimeException:INTERNAL:java.sql.SQLException:org.apache.spark.sql.catalyst.parser.ParseException,错误情况如下:问题原因 将spark数据源当作hive...

Quick BI连接Hive数据源,用户名密码没有修改,过一段...

问题原因 经过确认,通过Kerberos认证连接的Hive数据源,但是没有将容器内的kerberos目录挂载到宿主机内,保留配置文件导致。解决方案 需要联系运维同学执行挂载kerberos目录的操作,不然每次容器重启后,hive数据源的账号密码就会需要重新...

源库连接性检查

源数据库对来源IP进行了限制 检测方法 使用命令行或客户端连接源数据库,如果连接正常,说明源数据库可能限制了DTS服务器IP地址。如果源数据库为自建MySQL,可以使用客户端连接源数据库后执行下述命令进行检查。SELECT HOST FROM mysql....

Quick BI连接hive数据源报错:"Required field&39;...

问题描述 Quick BI连接hive数据源报错:"Required field&39;client_protocol&39;is unset!Struct:TOpenSessionReq(client_protocol:null,configuration:{use:database=group3_dm}。问题原因 hive版本属于cdh hive,quick bi支持的是apache ...

什么是数据库网关

数据库网关DG(Database Gateway)是一种支持私网数据库远程访问的数据库连接服务。通过数据库网关,您可以安全且低成本地将第三方云或本地的数据库接入至阿里云。同时,数据库网关可以与其他阿里云产品(例如数据传输服务DTS,数据库备份...

什么是数据库网关

使用指引 如果您是第一次使用数据库网关,您可以参考下述步骤开始使用:准备工作 新建数据库网关 添加数据库 为什么选择数据库网关 数据库网关提供安全可靠、低成本的数据库接入服务,通过数据库网关您可以安全且低成本地将第三方云或本地...

功能概述

目标数据库:源数据库的克隆数据库,和源数据库拥有同样的表结构和数据,将源数据库捕获的流量回放的数据库。功能介绍 传统的压测方案大部分基于现有的压测工具(如sysbench、TPCC等),给定场景,改变数据写入和读取速度,观测压力变化对...

自建MySQL迁移至PolarDB MySQL版

支持的源数据库 MySQL与 PolarDB MySQL版 集群间的迁移,支持源数据库MySQL为以下类型。本文以有公网IP的自建数据库为例介绍配置流程,其他类型的源数据库配置流程与本案例类似。RDS MySQL 实例。以下类型的自建数据库:有公网IP的自建数据...

业务切换流程

Redis CLIENT LIST MongoDB use admin db.runCommand({currentOp:1,$all:[{"active":true}]})说明 上述语句查询到的进程或会话信息中,包含DTS连接源数据库的进程或会话。等待迁移任务的 增量迁移 再次进入 无延迟 状态,保持1分钟或以上,...

RDS MySQL同步至PolarDB MySQL版

支持的源数据库 MySQL同步至 PolarDB MySQL版 集群,支持源数据库MySQL为以下类型。本文以RDS MySQL实例为例介绍配置流程,其他类型的源数据库配置流程与本案例类似。RDS MySQL 实例。ECS上的自建数据库。通过专线、VPN网关或智能网关接入...

复制数据库SQL Server 2012及以上版本

您可以使用SQL命令复制数据库,您只需要使用存储过程sp_rds_copy_database指定源数据库和目的数据库即可。复制时间与数据库大小有关。说明 关于如何复制SQL Server 2008 R2版本实例的数据库,请参见 复制数据库SQL Server 2008 R2版。前提...

PolarDB MySQL版迁移至RDS MySQL

如为全量迁移和增量迁移任务,DTS要求源数据库的本地Binlog日志至少保留7天以上(您可在全量迁移完成后将Binlog保存时间设置为24小时以上),否则DTS可能因无法获取Binlog而导致任务失败,极端情况下甚至可能会导致数据不一致或丢失。...

PolarDB MySQL版同步至RDS MySQL

如为全量同步和增量同步任务,DTS要求源数据库的本地Binlog日志至少保留7天以上(您可在全量同步完成后将Binlog保存时间设置为24小时以上),否则DTS可能因无法获取Binlog而导致任务失败,极端情况下甚至可能会导致数据不一致或丢失。...

MySQL实例间的双向同步

如为增量同步任务,DTS要求源数据库的本地Binlog日志保存24小时以上,如为全量同步和增量同步任务,DTS要求源数据库的本地Binlog日志至少保留7天以上(您可在全量同步完成后将Binlog保存时间设置为24小时以上),否则DTS可能因无法获取...

从自建MySQL迁移至RDS MySQL实例

DTS要求源数据库的本地Binlog日志至少保留7天以上,否则DTS可能因无法获取Binlog而导致任务失败,极端情况下甚至可能会导致数据不一致或丢失。由于您所设置的Binlog日志保存时间低于DTS要求的时间进而导致的问题,不在DTS的SLA保障范围内。...

PolarDB MySQL版间迁移

如为全量迁移和增量迁移任务,DTS要求源数据库的本地Binlog日志至少保留7天以上(您可在全量迁移完成后将Binlog保存时间设置为24小时以上),否则DTS可能因无法获取Binlog而导致任务失败,极端情况下甚至可能会导致数据不一致或丢失。...

RDS MySQL实例间的同步

源数据库 目标数据库 RDS MySQL 实例。ECS上的自建数据库。通过专线、VPN网关或智能网关接入的自建数据库。通过数据库网关接入的自建数据库。通过云企业网CEN接入的自建数据库。RDS MySQL 实例。ECS上的自建数据库。通过专线、VPN网关或...

MyBase MySQL迁移至RDS MySQL

如为增量迁移任务,DTS要求源数据库的本地Binlog日志保存24小时以上,如为全量迁移和增量迁移任务,DTS要求源数据库的本地Binlog日志至少保留7天以上(您可在全量迁移完成后将Binlog保存时间设置为24小时以上),否则DTS可能因无法获取...

三节点企业系列的RDS MySQL迁移到集群系列的RDS MySQL

如为增量迁移任务,DTS要求源数据库的本地Binlog日志保存24小时以上,如为全量迁移和增量迁移任务,DTS要求源数据库的本地Binlog日志至少保留7天以上(您可在全量迁移完成后将Binlog保存时间设置为24小时以上),否则DTS可能因无法获取...

从Amazon Aurora MySQL迁移至PolarDB MySQL版

如果源数据库没有主键或唯一约束,且所有字段没有唯一性,可能会导致目标数据库中出现重复数据。对于数据类型为FLOAT或DOUBLE的列,DTS会通过 ROUND(COLUMN,PRECISION)来读取该列的值。如果没有明确定义其精度,DTS对FLOAT的迁移精度为38位...

从Amazon RDS MySQL迁移至阿里云

例如,源数据库地区为新加坡,目标数据库地区为杭州,您只需要添加杭州地区的DTS IP地址段。在加入IP地址段时,您可以一次性添加所需的IP地址,无需逐条添加入站规则。若您有其他疑问,请查看Amazon官方文档或联系Amazon的技术支持人员。...

百度智能云云数据库RDS MySQL迁移到阿里云

前提条件 端及目标端 要求 相关参考 端 百度智能云云数据库RDS MySQL实例 已开通公网访问,并获取外网连接地址及端口。已创建高权限账号。百度智能云云数据库RDS官方文档 目标端 阿里云云数据库RDS MySQL实例 已创建阿里云RDS MySQL...

PolarDB-X 1.0升级至PolarDB-X 2.0

源数据库(源库):源实例中要进行迁移的数据库。目标实例:要迁移至的 PolarDB-X 2.0实例。目标数据库(目标库):目标实例中创建好的用于迁移至的数据库。目标中继数据库:如果目标数据库为AUTO模式,目标实例中需创建用于结构迁移中继的...

数据库管理

参数 说明 数据库DB)名称 以字母开头,以字母或数字结尾;由小写字母、数字、下划线或中划线组成;长度为2~64个字符。数据库名称在集群内必须是唯一的。说明 请勿使用保留关键字作为数据库名称,如 test 等。数据库Owner 数据库的所有者...

管理数据库

您可以在控制台管理所有的 PolarDB 数据库。创建数据库 登录 PolarDB控制台。在控制台左上角,选择集群所在地域。找到目标集群,单击集群ID。在左侧导航栏中,单击 配置与管理>数据库管理。单击 创建数据库。在 创建数据库 面板中,设置...

数据库管理

参数 说明 数据库DB)名称 以字母开头,以字母或数字结尾;由小写字母、数字、下划线或中划线组成;长度为2~64个字符。数据库名称在实例内必须是唯一的。说明 请勿使用保留关键字作为数据库名称,如 test 等。数据库Owner 数据库的所有者...

数据清理

背景信息 ODC 支持在源数据库中的数据归档到目标数据库后,删除源数据库中的数据,以提高数据库查询性能,降低在线存储成本。本文档旨在介绍如何通过提交数据清理工单实现归档数据。原理介绍 前提条件 清理的表中必须包含主键。注意事项 ...

从沙箱实例迁移至RDS MySQL

当您恢复沙箱实例后,您可以通过 数据传输服务DTS 将沙箱实例迁移至 RDS MySQL,常见场景如下:保存已写入沙箱实例的数据:由于在沙箱实例的读写操作均不会影响到源数据库,若您希望将已写入沙箱实例的数据保存下来,您可以将沙箱实例迁移...

数据库管理

DMS支持PostgreSQL的数据库Database管理与模式(Schema)管理。登录 数据管理DMS 5.0。在DMS左侧的实例列表中,右键单击目标实例,从弹出的列表中选择 数据库管理。若您需要管理模式,请在DMS左侧的实例列表中展开目标实例,右键单击...

数据方案概览

空库初始化 支持将源数据库的表结构同步至空数据库中,实现快速同步数据库表结构。表一致性修复 用于对比不同表之间的表结构,找出差异并在目标表执行差异脚本,以保障不同表之间的表结构一致性 无锁结构变更 可以较好地规避因锁表以致于...

Dataphin同步Hive数据源Textfile格式表,报错“脏数据...

问题描述 Dataphin同步Hive数据源Textfile格式表,可能会遇到以下问题:1.数据中存在与列分隔符相同的字符,这样会导致读取数据错位。2.数据中存在换行符,也会导致报错“脏数据”问题原因 本身Hive Textfile格式文件读取数据时是按照列...

Microsoft Azure Database for MySQL数据库迁移到阿里...

填写源库和目标库信息,具体参数配置说明如下:库类别 参数 说明 源库 数据库类型 源数据库类型,本示例选择 MySQL。接入方式 源库实例接入DTS的方式,本示例选择 公网IP。实例地区 公网接入,选择任意地区即可,本示例选择 华东1(杭州)...

迁移数据库账号

grant SELECT on mysql.db to user@'%';grant SELECT on mysql.columns_priv to user@'%';grant SELECT on mysql.tables_priv to user@'%';目标 grant SELECT on mysql.user to user@'%';grant CREATE USER on*.*to user@'%';grant GRANT...

Hive

Hive数据仓库工具能将存储在HDFS系统中的结构化的数据文件映射为一张数据库表,并提供SQL查询功能,能将SQL语句转变成Map/Reduce任务来执行。操作步骤 初始化Spark。val spark:SparkSession=SparkSession.builder().config("hive.metastore...

管理数据库

RDS MariaDB支持通过控制台、SQL命令、API接口管理数据库,包括创建、删除数据库。背景信息 概念 实例:实例是虚拟化的数据库服务器。您可以在一个实例中创建和管理多个数据库数据库数据库是以一定方式储存在一起、能与多个用户共享、...

管理数据库

RDS MySQL支持通过控制台、SQL命令、API接口管理数据库,包括创建、删除数据库。背景信息 概念 实例:实例是虚拟化的数据库服务器。您可以在一个实例中创建和管理多个数据库数据库数据库是以一定方式储存在一起、能与多个用户共享、...

迁移时源库为DB2 for LUW的注意事项及限制

如为增量迁移任务,DTS要求源数据库的数据日志保存24小时以上,如为全量迁移和增量迁移任务,DTS要求源数据库的数据日志至少保留7天以上(您可在全量迁移完成后将数据日志保存时间设置为24小时以上),否则DTS可能因无法获取数据日志而导致...

Hive采集字段

简介 Hive采集工具通过访问Metastore DB 进行相关资源信息采集,当前支持的类型为MySQL数据库。基本信息 通过对Hive的对象信息进行盘点,采集的字段重点举例为:Hive版本 Hive db名称 Hive db大小 表个数 分区表个数 外部表个数 事物表个数...

数据库管理

参数 说明 数据库DB)名称 长度最多64个字符。以字母开头,以字母或数字结尾。由小写字母、数字、下划线或中划线组成。数据库名称在实例内必须是唯一的。支持字符集 选择utf8、gbk、latin1或utf8mb4。授权账号 选中需要访问本数据库的...
共有200条 < 1 2 3 4 ... 200 >
跳转至: GO
产品推荐
云服务器 安全管家服务 安全中心
这些文档可能帮助您
数据管理 数据库备份 云数据库 RDS 云数据库 Redis 版 弹性公网IP 短信服务
新人特惠 爆款特惠 最新活动 免费试用