作业开发入门概述

AnalyticDB MySQL 湖仓版(3.0)提供Spark引擎和 AnalyticDB MySQL XIHE引擎,您可以选择不同的引擎进行不同方式的作业开发。本文介绍通过XIHE SQL(包含MPP和BSP模式)和Spark SQL方式进行 AnalyticDB MySQL作业开发的流程。作业开发...

CREATE EXTERNAL TABLE

创建外部数据库的方法,请参见 CREATE EXTERNAL DATABASE。注意事项 不支持跨账号创建外表。OSS外表 重要 OSS Bucket需要与 湖仓版(3.0)集群位于同一地域。仅3.1.9.2及以上内核版本的集群支持创建Hudi外表。如何查看集群内核版本,请参见...

导出至自建MySQL

TABLE_PROPERTIES AnalyticDB MySQL 访问自建MySQL数据库的访问方式。url ECS实例的 主私网IP(即VPC地址)和目标库名(本文示例中为 test_adb)。查看步骤如下:登录 ECS管理控制台 并找到目标实例。在 实例详情 页签的 网络信息 区域,...

从MaxCompute批量导入导出

导出HybridDB for MySQL数据到MaxCompute非分区 insert[overwrite]into odps_nopart_export_test_external_table select*from hybriddb_nopart_export_test#导出HybridDB for MySQL数据到MaxCompute分区某个分区 insert[overwrite]into...

数据传输”导入

源库与目标库 源库的实例类型可以是RDS实例,或者是您自建的MySQL数据库。以RDS实例为例,选择待迁移实例的ID,输入对应的数据库账号及密码。说明 DTS现已支持RDS/MySQL向HybridDB for MySQL的 全量及增量数据同步。目标库选择 PetaData,...

数据导出到MongoDB

insert overwrite into export_mongo_mongo_external_table select*from hybriddb_export_mongo_test 注意事项 要求两张的DDL定义完全一致(HybridDB for MySQL数据表、HybridDB for MySQL外表)。目前只支持导出到MongoDB,不支持从...

通过外表导入至数仓版

本文介绍如何通过外表将云数据库RDS MySQL中的数据导入至 AnalyticDB MySQL。前提条件 RDS MySQL实例需与 AnalyticDB MySQL 集群位于同一个VPC,即所在专有网络的VPC ID相同。说明 登录 RDS控制台,单击实例ID,在 数据库连接 页面的 网络...

账号授权

前提条件 已创建 湖仓版(3.0)集群。详情请参见 创建集群。Spark作业权限说明 提交Spark作业,需要具备以下三种权限。AliyunADBFullAccess:管理 AnalyticDB MySQL 集群的权限。...相关文档 访问RDS MySQL数据源 访问OSS数据源

DBVisualizer

本文测试了DBVisualizer 10.0.24 版本与 AnalyticDB MySQL 在连通性、列举数据库、创建等方面的兼容性,并给出测试结果图。测试环境 Java MySQL java version"1.8.0_161"Java(TM)SE Runtime Environment(build 1.8.0_161-b12)Java ...

DBeaver

本文测试了DBeaver 6.1.2 Community Edition版本与 AnalyticDB MySQL 在连通性、列举数据库、创建等方面的兼容性,并给出测试结果图。测试环境 Java MySQL AnalyticDB MySQL DBeaver java version"1.8.0_161"Java(TM)SE Runtime ...

Navicat Premium

本文测试了Navicat Premium 12.1.27版本与 AnalyticDB MySQL 在连通性、列举数据库、创建等方面的兼容性,并给出测试结果图。测试环境 Java MySQL Navicat Premium java version"1.8.0_161"Java(TM)SE Runtime Environment(build 1.8.0_...

DataWorks调度XIHE SQL

本教程将使用 orders 作为测试数据,连接 AnalyticDB MySQL 数据库后,执行以下SQL创建测试数据。CREATE TABLE orders(o_orderkey bigint NOT NULL COMMENT'',o_custkey int NOT NULL COMMENT'',o_orderstatus varchar NOT NULL ...

存储空间分析

指标 说明 数据库 数据库名称。名称。空间占比 数据量占集群总数据量的比例。计算方法:空间占比=(的总数据量/集群总数据量)*100%。总数据量 的总数据量。计算方法如下:方法一:总数据量=热数据量+冷数据量。方法二:总数据...

SQL开发编辑器

查看库表结构 在 SQL开发 页面的 库表 页签查看系统库表INFORMATION_SCHEMA、自动创建的库表(例如,通过实时数据接入同步到 AnalyticDB MySQL库表)及手动创建的库表,并可以通过下拉按钮切换。选择引擎和资源组 通过选择不同的引擎...

Java访问(2.0版)

不带重试的JDBC连接示例 您可以在业务系统的Java代码中添加以下代码,通过MySQL JDBC连接AnalyticDB for MySQL数据库。Connection connection=null;Statement statement=null;ResultSet rs=null;try { Class.forName(...

名称解释

分区(一级分区)HybridDB for MySQL中的从建模的维度看,可以分为事实(fact table)和维度(dimension table),事实是指分区(通常是一级分区),即需要被拆分到不同节点去存储的,在建的时候指定分区键就可以生成...

数据同步过程中源实例的数据库名、表名、列名是否可以...

概述 本文主要介绍数据同步过程中源实例的数据库名、名、列名是否可以包含横线(-)符号。详细信息 阿里云提醒您:如果您对实例或数据有修改、变更等风险操作,务必注意实例的容灾、容错能力,确保数据安全。如果您对实例(包括但不限于...

Smartbi

本文列出了Smartbi与 AnalyticDB MySQL版 在连通性、列举数据库、查询数据等方面的兼容性。测试环境 Smartbi试用地址为 登录Smartbi。如何通过Smartbi连接 AnalyticDB MySQL版 集群,请参见 Smartbi。测试范围 连接 AnalyticDB MySQL版 ...

导入与导出

同步:在AnalyticDB MySQL中新建一张名要不同于报错的结构需要和源结构一致,通过 INSERT INTO SELECT 将源中的数据写入新建中,删除报错的,然后通过Rename将新更名为报错的名,重启DTS任务即可。...

客如云精准营销方案

方案解读:将原系统中分散使用Hive、HBase、kylin、TiDB处理的各类分析业务集中更换为 分析型数据库MySQL(AnalyticDB MySQL)中,确保实时输出分析报表。将业务库数据实时同步到 AnalyticDB MySQL 中,商户运营报表每5分钟更新一次。通过 ...

创建湖仓版集群

重要 如果您同时在使用阿里云上的其他云服务,例如云服务器ECS、云数据库RDS等,请确保AnalyticDB MySQL与其他云服务位于同一个VPC,否则它们无法通过内网互通,无法发挥最佳性能。计算预留资源 计算预留资源用于数据计算。增加计算资源...

配置AnalyticDB MySQL 2.0数据

准备工作 在分析型数据库MySQL版中创建数据库组和。详情请参见 快速入门-开通分析型数据库MySQL版服务、创建组 和 创建。重要 分析型数据库MySQL版中的需要创建成实时(普通),通过实时导入效率高而且流程简单。操作步骤 ...

通过数据同步功能同步Kafka至湖仓版(推荐)

目标库配置 参数说明如下:参数名称 参数说明 库名 同步到 AnalyticDB MySQL数据库名称。如果不存在同名数据库,将新建库;如果已存在同名数据库,数据会同步到已存在的数据库中。库名命名规则,详见 使用限制。名 同步到 ...

HybridDB for MySQL设计和实践优化建议

大小分开 为提升系统整体的性能和稳定性,用户应合理地将大和小拆分到不同的数据库中,HybridDB for MySQL适合存储大,而将小交给RDS for MySQL存储,大可以使用sharding分区技术合理利用资源,而不影响小。分区键高并发执行...

FineReport(2.0版)

配置项 说明 数据库 选择 MySQL。驱动器 选择 MySQL jdbc驱动。URL 分析型数据库MySQL版的连接地址,格式为:jdbc:mysql:/hostname:port。用户名 AccessKey ID。密码 Access Key Secret。完成上述参数配置后,单击 测试连接 测试连通性,...

使用XIHE BSP SQL进行作业开发

在 test_xihe_db 中创建一张 AnalyticDB MySQL 的有索引,有分区的 adb_xihe_ads。CREATE TABLE test_xihe_db.adb_xihe_ads(id int,name string,age int)DISTRIBUTE BY HASH(id)PARTITION BY VALUE(age)LIFECYCLE 4;输入以下语句,并...

基本概念

CREATE DATABASE创建的就是逻辑数据库。一个 AnalyticDB for MySQL 集群最多可创建2048个逻辑数据库。AnalyticDB for MySQL 文档中提到的数据库,都是指逻辑库。分片(Shard)根据分布键,将数据水平分割后得到的子,称为分片,英文...

永洪BI

AnalyticDB MySQL 支持通过永洪BI连接数据库、建等操作。操作方法 永洪BI试用地址,请参见 登录永洪BI。

库表

云原生数据仓库AnalyticDB MySQL 3.0集群中的数据库里面还有其他,且里面还有数据,则会导致该报错。您可以删除数据库前需要先删除库中的所有,此时使用 drop table 语句删除很麻烦,建议您使用新版DMS进行批量删除。登录 数据管理...

数据导入性能优化

单进程无法完全利用系统资源,且一般客户端需要处理数据、攒批等操作,难以跟上数据库的导入速度,通过多并发导入可以加快导入速度。导入并发受攒批、数据源、客户端机器负载等影响,没有最合适的数值,建议通过测试逐步计算合适的并发能力...

使用Spark SQL进行作业开发

本文介绍如何使用Spark SQL作业开发,将ODS层表数据通过DWD层过滤后,写入ADS层。前提条件 已创建 AnalyticDB MySQL 湖仓版(3.0)集群,且集群至少有16 ACU的计算预留资源和24 ACU的存储预留资源。详情请参见 创建湖仓版集群。已创建Job型...

数据导入性能优化

单进程无法完全利用系统资源,且一般客户端需要处理数据、攒批等操作,难以跟上数据库的导入速度,通过多并发导入可以加快导入速度。导入并发受攒批、数据源、客户端机器负载等影响,没有最合适的数值,建议通过测试逐步计算合适的并发能力...

通过外表导入至湖仓版

在 AnalyticDB MySQL 中创建数据库,示例如下:CREATE DATABASE adb_demo;在 AnalyticDB MySQL 中创建用于存储从MaxCompute中导入的数据,示例如下:说明 新和步骤3中创建的外表的字段顺序和字段数量需要一致,字段类型兼容。CREATE ...

功能特性

PolarDB MySQL数据导入 PolarDB-X数据导入 自建MySQL数据源 AnalyticDB for MySQL支持通过外表将ECS自建MySQL数据库中的数据导入至数仓版集群,同时也支持将数仓版集群中的数据导出至自建的MySQL数据库。自建MySQL数据导入 导出至自建MySQL...

通过外表导入至数仓版

返回结果如下:+-+-+-+-+|id|name|age|dt|+-+-+-+-+|1|james|10|202207|2|bond|20|202207|3|jack|30|202207|4|lucy|40|202207|+-+-+-+-+在 adb_demo 数据库中创建 test 用于存储从MaxCompute中导入的数据。CREATE TABLE IF NOT EXISTS ...

Spark

本文汇总了使用 AnalyticDB MySQL Spark的常见问题及解决方案。常见问题概览 如何查看Spark应用信息?如何解决提交Spark应用时,出现User%s do not have right permission[*]to resource[*]报错?如何解决运行Spark应用时,出现No space ...

数据导出到Redis

insert overwrite into export_redis_test_external_table select*from hybrid_export_redis_test 注意事项 要求两张的DDL定义完全一致(HybridDB for MySQL数据表、HybridDB for MySQL外表)。请谨慎使用OVERWRITE导出,会清空整个db,...

创建集群

重要 如果您同时在使用阿里云上的其他云服务,例如云服务器ECS、云数据库RDS等,请确保AnalyticDB MySQL与其他云服务位于同一个VPC,否则它们无法通过内网互通,无法发挥最佳性能。时区 设置集群时区,设定后会按照所选时区处理时间相关的...

创建数据库

您可以使用DMS(Data Management Service)、客户端(Navicat for MySQL、DBeaver、DBVisualizer、SQL WorkBench/J)、业务系统中的程序代码或者MySQL命令行工具连接 云原生数据仓库AnalyticDB MySQL版 集群,然后通过CREATE DATABASE语句...

DBeaver

DBeaver支持MySQL、PostgreSQL、Oracle、DB2、MSSQL、Sybase以及其他兼容JDBC的数据库。您可以通过DBeaver的图形界面查看数据库结构、执行SQL查询和脚本、浏览和导出数据、处理BLOB/CLOB数据以及修改数据库结构等。准备工作 开始使用...
共有200条 < 1 2 3 4 ... 200 >
跳转至: GO
产品推荐
云服务器 安全管家服务 安全中心
这些文档可能帮助您
云原生数据仓库AnalyticDB MySQL版 云数据库 Redis 版 云数据库 RDS 数据库备份 DBS 弹性公网IP 短信服务
新人特惠 爆款特惠 最新活动 免费试用