通过数据同步功能同步SLS数据至数仓版

目标库配置 的参数说明如下:参数名称 参数说明 库名 AnalyticDB for MySQL 集群 的数据库名称。名 AnalyticDB for MySQL 集群的数据名称。源端数据预览 单击 点击查看最近10条LogStore数据,可以查看源端SLS的10条数据。Schema字段...

自建MySQL数据导入

本文介绍如何通过 AnalyticDB MySQL 的外表将ECS自建MySQL数据库的数据导入至 AnalyticDB MySQL 数仓版(3.0)。前提条件 已创建与 AnalyticDB MySQL 集群相同地域、相同VPC的ECS实例。已在ECS实例中安装自建MySQL。已在ECS实例的安全组中...

通过数据同步功能同步SLS数据至湖仓版

目标库配置 的参数说明如下:参数名称 参数说明 库名 AnalyticDB for MySQL 集群 的数据库名称。名 AnalyticDB for MySQL 集群的数据名称。源端数据预览 单击 点击查看最近10条LogStore数据,可以查看源端SLS的10条数据。Schema字段...

导出至自建MySQL

TABLE_PROPERTIES AnalyticDB MySQL 访问自建MySQL数据库的访问方式。url ECS实例的 主私网IP(即VPC地址)和目标库名(本文示例中为 test_adb)。查看步骤如下:登录 ECS管理控制台 并找到目标实例。在 实例详情 页签的 网络信息 区域,...

CREATE EXTERNAL TABLE

创建外部数据库的方法,请参见 CREATE EXTERNAL DATABASE。注意事项 不支持跨账号创建外表。OSS外表 重要 OSS Bucket需要与 湖仓版(3.0)集群位于同一地域。仅3.1.9.2及以上内核版本的集群支持创建Hudi外表。如何查看集群内核版本,请参见...

账号授权

前提条件 已创建 湖仓版(3.0)集群。详情请参见 创建集群。Spark作业权限说明 提交Spark作业,需要具备以下三种权限。AliyunADBFullAccess:管理 AnalyticDB MySQL 集群的权限。...相关文档 访问RDS MySQL数据源 访问OSS数据源

通过外表导入至数仓版

本文介绍如何通过外表将云数据库RDS MySQL中的数据导入至 AnalyticDB MySQL。前提条件 RDS MySQL实例需与 AnalyticDB MySQL 集群位于同一个VPC,即所在专有网络的VPC ID相同。说明 登录 RDS控制台,单击实例ID,在 数据库连接 页面的 网络...

SQL开发编辑器

查看库表结构 在 SQL开发 页面的 库表 页签查看系统库表INFORMATION_SCHEMA、自动创建的库表(例如,通过实时数据接入同步到 AnalyticDB MySQL库表)及手动创建的库表,并可以通过下拉按钮切换。选择引擎和资源组 通过选择不同的引擎...

数据导出到MongoDB

insert overwrite into export_mongo_mongo_external_table select*from hybriddb_export_mongo_test 注意事项 要求两张的DDL定义完全一致(HybridDB for MySQL数据表、HybridDB for MySQL外表)。目前只支持导出到MongoDB,不支持从...

从MaxCompute批量导入导出

导出HybridDB for MySQL数据到MaxCompute非分区 insert[overwrite]into odps_nopart_export_test_external_table select*from hybriddb_nopart_export_test#导出HybridDB for MySQL数据到MaxCompute分区某个分区 insert[overwrite]into...

DataWorks调度XIHE SQL

本教程将使用 orders 作为测试数据,连接 AnalyticDB MySQL 数据库后,执行以下SQL创建测试数据。CREATE TABLE orders(o_orderkey bigint NOT NULL COMMENT'',o_custkey int NOT NULL COMMENT'',o_orderstatus varchar NOT NULL ...

名称解释

分区(一级分区)HybridDB for MySQL中的从建模的维度看,可以分为事实(fact table)和维度(dimension table),事实是指分区(通常是一级分区),即需要被拆分到不同节点去存储的,在建的时候指定分区键就可以生成...

数据传输”导入

源库与目标库 源库的实例类型可以是RDS实例,或者是您自建的MySQL数据库。以RDS实例为例,选择待迁移实例的ID,输入对应的数据库账号及密码。说明 DTS现已支持RDS/MySQL向HybridDB for MySQL的 全量及增量数据同步。目标库选择 PetaData,...

存储空间分析

指标 说明 数据库 数据库名称。名称。空间占比 数据量占集群总数据量的比例。计算方法:空间占比=(的总数据量/集群总数据量)*100%。总数据量 的总数据量。计算方法如下:方法一:总数据量=热数据量+冷数据量。方法二:总数据...

Java访问(2.0版)

不带重试的JDBC连接示例 您可以在业务系统的Java代码中添加以下代码,通过MySQL JDBC连接AnalyticDB for MySQL数据库。Connection connection=null;Statement statement=null;ResultSet rs=null;try { Class.forName(...

DBeaver

本文测试了DBeaver 6.1.2 Community Edition版本与 AnalyticDB MySQL 在连通性、列举数据库、创建等方面的兼容性,并给出测试结果图。测试环境 Java MySQL AnalyticDB MySQL DBeaver java version"1.8.0_161"Java(TM)SE Runtime ...

DBVisualizer

本文测试了DBVisualizer 10.0.24 版本与 AnalyticDB MySQL 在连通性、列举数据库、创建等方面的兼容性,并给出测试结果图。测试环境 Java MySQL java version"1.8.0_161"Java(TM)SE Runtime Environment(build 1.8.0_161-b12)Java ...

作业开发入门概述

应用场景 当 AnalyticDB MySQL 湖仓版(3.0)集群的存储预留资源为0 ACU时,无法创建 AnalyticDB MySQL,您可以通过Spark SQL和XIHE BSP SQL方式创建外表并查询外表数据。作业开发流程概述 您可以选择Spark SQL或XIHE BSP SQL任意一种...

作业开发入门概述

AnalyticDB MySQL 湖仓版(3.0)提供Spark引擎和 AnalyticDB MySQL XIHE引擎,您可以选择不同的引擎进行不同方式的作业开发。本文介绍通过XIHE SQL(包含MPP和BSP模式)和Spark SQL方式进行 AnalyticDB MySQL作业开发的流程。作业开发...

库表

云原生数据仓库AnalyticDB MySQL 3.0集群中的数据库里面还有其他,且里面还有数据,则会导致该报错。您可以删除数据库前需要先删除库中的所有,此时使用 drop table 语句删除很麻烦,建议您使用新版DMS进行批量删除。登录 数据管理...

使用XIHE BSP SQL进行作业开发

本文介绍如何使用XIHE BSP SQL作业开发方式,将ODS层表数据通过DWD层过滤后,写入ADS层。前提条件 已创建 AnalyticDB MySQL 湖仓版(3.0)集群,且集群至少有16 ACU的计算预留资源和24 ACU的存储预留资源。详情请参见 创建湖仓版集群。已...

创建湖仓版集群

重要 如果您同时在使用阿里云上的其他云服务,例如云服务器ECS、云数据库RDS等,请确保AnalyticDB MySQL与其他云服务位于同一个VPC,否则它们无法通过内网互通,无法发挥最佳性能。计算预留资源 计算预留资源用于数据计算。增加计算资源...

客如云精准营销方案

方案解读:将原系统中分散使用Hive、HBase、kylin、TiDB处理的各类分析业务集中更换为 分析型数据库MySQL(AnalyticDB MySQL)中,确保实时输出分析报表。将业务库数据实时同步到 AnalyticDB MySQL 中,商户运营报表每5分钟更新一次。通过 ...

导入与导出

同步:在AnalyticDB MySQL中新建一张名要不同于报错的结构需要和源结构一致,通过 INSERT INTO SELECT 将源中的数据写入新建中,删除报错的,然后通过Rename将新更名为报错的名,重启DTS任务即可。...

使用Spark SQL进行作业开发

本文介绍如何使用Spark SQL作业开发,将ODS层表数据通过DWD层过滤后,写入ADS层。前提条件 已创建 AnalyticDB MySQL 湖仓版(3.0)集群,且集群至少有16 ACU的计算预留资源和24 ACU的存储预留资源。详情请参见 创建湖仓版集群。已创建Job型...

FineReport(2.0版)

配置项 说明 数据库 选择 MySQL。驱动器 选择 MySQL jdbc驱动。URL 分析型数据库MySQL版的连接地址,格式为:jdbc:mysql:/hostname:port。用户名 AccessKey ID。密码 Access Key Secret。完成上述参数配置后,单击 测试连接 测试连通性,...

Spark

本文汇总了使用 AnalyticDB MySQL Spark的常见问题及解决方案。常见问题概览 如何查看Spark应用信息?如何解决提交Spark应用时,出现User%s do not have right permission[*]to resource[*]报错?如何解决运行Spark应用时,出现No space ...

Navicat Premium

本文测试了Navicat Premium 12.1.27版本与 AnalyticDB MySQL 在连通性、列举数据库、创建等方面的兼容性,并给出测试结果图。测试环境 Java MySQL Navicat Premium java version"1.8.0_161"Java(TM)SE Runtime Environment(build 1.8.0_...

数据同步过程中源实例的数据库名、表名、列名是否可以...

概述 本文主要介绍数据同步过程中源实例的数据库名、名、列名是否可以包含横线(-)符号。详细信息 阿里云提醒您:如果您对实例或数据有修改、变更等风险操作,务必注意实例的容灾、容错能力,确保数据安全。如果您对实例(包括但不限于...

基本概念

CREATE DATABASE创建的就是逻辑数据库。一个 AnalyticDB for MySQL 集群最多可创建256个逻辑数据库。AnalyticDB for MySQL 文档中提到的数据库,都是指逻辑库。分片(Shard)根据分布键,将数据水平分割后得到的子,称为分片,英文名称...

通过外表导入至湖仓版

在 AnalyticDB MySQL 中创建数据库,示例如下:CREATE DATABASE adb_demo;在 AnalyticDB MySQL 中创建用于存储从MaxCompute中导入的数据,示例如下:说明 新和步骤3中创建的外表的字段顺序和字段数量需要一致,字段类型兼容。CREATE ...

功能特性

PolarDB MySQL数据导入 PolarDB-X数据导入 自建MySQL数据源 AnalyticDB for MySQL支持通过外表将ECS自建MySQL数据库中的数据导入至数仓版集群,同时也支持将数仓版集群中的数据导出至自建的MySQL数据库。自建MySQL数据导入 导出至自建MySQL...

配置AnalyticDB MySQL 2.0数据

准备工作 在分析型数据库MySQL版中创建数据库组和。详情请参见 快速入门-开通分析型数据库MySQL版服务、创建组 和 创建。重要 分析型数据库MySQL版中的需要创建成实时(普通),通过实时导入效率高而且流程简单。操作步骤 ...

永洪BI

AnalyticDB MySQL 支持通过永洪BI连接数据库、建等操作。操作方法 永洪BI试用地址,请参见 登录永洪BI。

数据导入性能优化

单进程无法完全利用系统资源,且一般客户端需要处理数据、攒批等操作,难以跟上数据库的导入速度,通过多并发导入可以加快导入速度。导入并发受攒批、数据源、客户端机器负载等影响,没有最合适的数值,建议通过测试逐步计算合适的并发能力...

数据导入性能优化

单进程无法完全利用系统资源,且一般客户端需要处理数据、攒批等操作,难以跟上数据库的导入速度,通过多并发导入可以加快导入速度。导入并发受攒批、数据源、客户端机器负载等影响,没有最合适的数值,建议通过测试逐步计算合适的并发能力...

通过外表导入至数仓版

返回结果如下:+-+-+-+-+|id|name|age|dt|+-+-+-+-+|1|james|10|202207|2|bond|20|202207|3|jack|30|202207|4|lucy|40|202207|+-+-+-+-+在 adb_demo 数据库中创建 test 用于存储从MaxCompute中导入的数据。CREATE TABLE IF NOT EXISTS ...

Smartbi

本文列出了Smartbi与 AnalyticDB MySQL版 在连通性、列举数据库、查询数据等方面的兼容性。测试环境 Smartbi试用地址为 登录Smartbi。如何通过Smartbi连接 AnalyticDB MySQL版 集群,请参见 Smartbi。测试范围 连接 AnalyticDB MySQL版 ...

HybridDB for MySQL设计和实践优化建议

大小分开 为提升系统整体的性能和稳定性,用户应合理地将大和小拆分到不同的数据库中,HybridDB for MySQL适合存储大,而将小交给RDS for MySQL存储,大可以使用sharding分区技术合理利用资源,而不影响小。分区键高并发执行...

通过MySQL分析实例同步至数仓版

您可以登录 AnalyticDB MySQL版 控制台,查看实例的运行状态以及RDS MySQL数据的同步状态。登录 云原生数据仓库AnalyticDB MySQL控制台。在页面左上角,选择集群所在地域。在左侧导航栏,单击 集群列表。在 数仓版(3.0)中,单击 集群类型...
共有200条 < 1 2 3 4 ... 200 >
跳转至: GO
产品推荐
云服务器 安全管家服务 安全中心
这些文档可能帮助您
云原生数据仓库AnalyticDB MySQL版 数据库备份 DBS 云数据库 RDS 云数据库 Redis 版 弹性公网IP 短信服务
新人特惠 爆款特惠 最新活动 免费试用