MySQL分库分表同步至Hologres（方案1.0）
在本实践中，我们需要将MySQL数据库中的12张分库分表写入对应的两张Hologres表中。设置表（库）名映射规则如下：源表名和目标表名转换规则：支持将源表名通过正则表达式转换为目标表名。如上图所示设置 源 为要搜索的字符串 t_order.*，将...
MySQL分库分表同步至Hologres（方案2.0）
本文将以MySQL分库分表实时写入实时数仓Hologres场景为例，为您介绍分库分表写入Hologres数据集成最佳实践。前提条件 已完成Hologres和MySql数据源配置。您需要将数据库添加至DataWorks上，以便在同步任务配置时，可通过选择数据源名称来...
MySQL分库分表实践
本文为您介绍如何通过DataWorker数据集成和Flink两种方式将MySQL分库分表的数据写入至Hologres同一个表中，通过本实践您可以根据业务场景选择合适的方式将MySQL分库分表数据写入Hologres。背景信息 实际业务场景下数据同步通常不能通过一个...
分库分表问题
常见分库分表问题列表：分库分表是否支持多个拆分字段 分库分表是否支持跨库 JOIN 分库分表对拆分库表的数量是否有限制 分库分表是否支持多个拆分字段 数据访问代理分库分表功能支持多个拆分字段，但是如果配置了拆分字段，后续执行 SQL 均...
逻辑库
使用场景 如下为典型的逻辑库场景：单库-分表 分库-分表 分库-不分表 注意事项 SQL Console数据查询、结构设计、数据导出、数据变更等功能支持选择物理库或者逻辑库操作。选择逻辑库，则可便捷的进行分表/逻辑表操作，即将分表/逻辑表当做...
存储层高可用
AnalyticDB的存储层是基于Raft协议构建了一套分布式强一致、高可用、高可靠的存储系统，相比较于传统RDBMS的主备协议、常见的分布式中间件分库分表的系统，实现了更好的读写高可用。读写高可用 AnalyticDB使用Multi-Raft方式管理数据分片，...
多主集群（库表）概述
世界服游戏及电商场景：分钟级的扩缩容，适应快速增长的业务请求 场景特点：世界服游戏及电商场景，一般采用基于中间件或者业务的分库分表场景方案。在版本更新和大促的时候往往需要快速的弹性扩容数倍的集群容量，在活动和大促结束后又...
PolarDB-X 1.0的分库分表是什么意思？
关于 PolarDB-X 1.0 的分库分表的相关说明，请参见 拆分函数概述。
UNI_HASH
分库和分表都使用同一个拆分键进行UNI_HASH时，先根据分库键键值按分库数取余，再均匀散布到该分库的各个分表上。使用场景 适合于需要按用户ID或订单ID进行分库的场景。适合于拆分键是整数或字符串类型的场景。两张逻辑表需要根据同一个...
UNI_HASH
描述 使用UNI_HASH分库时，根据分库键的键值直接按分库数取余。如果键值是字符串，则字符串会被计算成哈希值再进行计算，完成路由计算，例如UNI_HASH('8')等价于8%D（D 是分库数目）。说明 按照键值或者哈希值取余时，不会对键值会哈希值...
YYYYWEEK
描述 根据分库键时间值的年份与一年的周数计算哈希值，然后再按分库数进行取余。例如，YYYYWEEK('2012-12-31 12:12:12')等价于按照(2013x54+1)%D（D是分库数目）公式计算出2012-12-31是2013年的第1周。使用限制 拆分键的类型必须是DATE、...
YYYYWEEK
查询时带上分库分表键后能直接将查询落在某个物理分库的某个物理分表。YYYYWEEK分库函数即可满足上述要求。上述需求中提到两年以内的每一周都需对应一张分表（即一周一张表），由于一年最多有53周，所以需要创建106（53x2=106）张物理分表...
YYYYDD
查询时带上分库分表键后能直接将查询落在某个物理分库的某个物理分表。YYYYDD分库函数即可满足上述要求。上述需求中提到两年以内的每一天都需对应一张分表（即一天一张表），由于一年最多有366天，所以需要创建732（366x2=732）张物理分表...
YYYYMM
查询时带上分库分表键后能直接将查询落在某个物理分库的某个物理分表。YYYYMM分库函数即可满足上述要求。上述需求中提到两年以内的每个月都需对应一张分表（即一个月一张表），由于一年有12个月，所以需要创建24（12x2=24）张物理分表才能...
YYYYDD
描述 根据分库键时间值的年份与一年的天数计算哈希值，然后再按分库数进行取余，完成路由计算。例如，YYYYDD('2012-12-31 12:12:12')函数等价于按照(2012x366+366)%D（D是分库数目）公式计算出2012-12-31是2012年的第366天。使用限制 拆分...
绑定或解绑RAM用户与数据库账号
RAM用户与AnalyticDB MySQL数据库普通账号映射场景 SQL编辑器：使用RAM用户登录SQL编辑器，需要映射成 AnalyticDB MySQL 数据库普通账号进行库表鉴权。JDBC连接方式：使用 AnalyticDB MySQL 数据库普通账号登录，需要映射成RAM用户进行外表...
绑定或解绑RAM用户与数据库账号
RAM用户与AnalyticDB MySQL数据库普通账号映射场景 SQL编辑器：使用RAM用户登录SQL编辑器，需要映射成 AnalyticDB MySQL 数据库普通账号进行库表鉴权。JDBC连接方式：使用 AnalyticDB MySQL 数据库普通账号登录，需要映射成RAM用户进行外表...
YYYYMM
查询时带上分库分表键后能直接将查询落在某个物理分库的某个物理分表。YYYYMM分库函数即可满足上述要求。上述需求中提到两年以内的每个月都需对应一张分表（即一个月一张表），由于一年有12个月，所以需要创建24（12x2=24）张物理分表才能...
STR_HASH
描述 STR_HASH函数通过指定字符串的开始位置下标与结束下标，以截取拆分键的字符串的某段子串，然后将其作为字符串（或整数）输入进行分库分表的路由计算具体的物理分片，函数如下所示：STR_HASH(shardKey[,startIndex,endIndex[,valType[,...
分库分表
数据库访问代理在后端将数据量较大的数据表水平拆分到各个 RDS 数据库中，后端的这些 RDS 数据库被称为分库，分库中的表被称为分表。拆分后，每个分库负责一份数据的读写操作，从而有效的分散了整体访问压力。在系统扩容时，只需要水平增加...
FineBI 6.0
本文测试了FineBI 6.0与 AnalyticDB MySQL 在连通性、列举表、查看表数据等方面的...测试范围 连接FineBI 说明 此处应填写MySQL数据库的连接信息，而不是AnalyticDB for MySQL数据库连接信息。新建数据库连接 列举表 查看表结构 查看表数据
DataV
域名 连接 AnalyticDB MySQL 数据库的URL地址。说明 此处的URL地址不是官网页面的URL，也不是本机的IP，是需要DataV服务器能够通过公网或阿里云部分Region内网访问您数据库的URL地址。例如使用外网环境下的阿里云 AnalyticDB MySQL，域名...
永洪BI
完成上述参数配置后，单击 测试连接 进行连通性测试，系统提示测试成功后，即可连接至指定的 AnalyticDB MySQL 数据库。使用永洪BI 通过永洪BI连接 AnalyticDB MySQL 集群后，您就可以获取 AnalyticDB MySQL 中的数据，然后通过永洪BI制作...
登录数据库
HybridDB for MySQL数据库兼容MySQL协议，您可以通过MySQL客户端或程序访问HybridDB for MySQL数据库，也可以使用阿里云的DMS登录数据库。前提条件 已通过HybridDB for MySQL管理控制台创建实例及数据库，待状态显示为 运行中，则数据库...
自建MySQL数据导入
本文介绍如何通过 AnalyticDB MySQL 的外表将ECS自建MySQL数据库的数据导入至 AnalyticDB MySQL 数仓版（3.0）。前提条件 已创建与 AnalyticDB MySQL 集群相同地域、相同VPC的ECS实例。已在ECS实例中安装自建MySQL。已在ECS实例的安全组中...
FineBI
配置外接数据库MySQL 说明 如果在此之前您已经安装并使用过FineBI，则可跳过如下步骤直接连接 AnalyticDB MySQL版 集群。详细步骤，请参见 连接AnalyticDB。打开FineBI。单击服务器地址，按照系统提示进行 账号设置。单击 下一步，选择数据...
查询数据库账号
AnalyticDB MySQL兼容MySQL数据库，AnalyticDB MySQL中也有一个名为MySQL的内置数据库，该数据库中存储的是AnalyticDB MySQL中的用户与权限信息。您可以通过SELECT语句查询AnalyticDB MySQL中的用户信息。注意事项 AnalyticDB MySQL中，...
概述
创建PolarDB for MySQL数据库集群 设置集群白名单 创建数据库账号 创建数据库 连接数据库 创建数据表 本示例在-PolarDB中创建 test_ads 数据库和 login_info 表，login_info 表存储5条数据。CREATE TABLE `login_info`(`id` int(11)NOT ...
登录数据库
HybridDB for MySQL数据库兼容MySQL协议，用户可以通过MySQL客户端或程序访问HybridDB for MySQL数据库，也可以使用阿里云的DMS。首先通过 HybridDB for MySQL管理控制台 创建实例及数据库，待状态显示为“运行中”，则数据库准备就绪；在...
其他SQL功能差异
AnalyticDB MySQL不支持的MySQL 5.6功能 数据库管理（Database Administration）插件和自定义函数（Plugin and User-Defined Function）SET 复合查询（Compound）数据备份（Replication）存储对象（Stored Objects）事务和锁定...
通过日志服务导入至数仓版
左边文本框为日志字段名称，右边为AnalyticDB MySQL数据库表中的字段。说明 Timestamp类型的字段映射精确到秒级别。例如日志时间为2022-01-05 10:12:13.145，投递到AnalyticDB MySQL后，投递结果为2022-01-05 10:12:13。投递开始时间 配置...
为什么HybridDB for MySQL 数据库刚创建时就有磁盘...
HybridDB for MySQL 数据库在初创时，会初始化一些系统文件，也会为表空间预分配一些空白磁盘页面，因此会使用一定的磁盘空间，这些磁盘空间在用户有真实数据写入时，会被重新利用起来。
使用HybridDB for MySQL需要有ECS吗？
初始默认状态下，HybridDB for MySQL仅...用户也可以在管理控制台上开通公网IP，就可以从公网访问HybridDB for MySQL数据库。但需注意，由于公网的网络情况较复杂且不属于阿里云的管理访问之内，通过公网IP地址访问数据库的网络性能会有损失。
基础版Spark全密态计算引擎使用示例
数据准备 本文示例的RDS MySQL数据库名为 adb，并在该库中创建了一张名为 customer 的表，示例如下：CREATE DATABASE IF NOT EXIST adb;CREATE TABLE IF NOT EXISTS adb.customer(id int,name varchar(1023),address varchar(1023),age int...
“数据传输”导入
源库与目标库 源库的实例类型可以是RDS实例，或者是您自建的MySQL数据库。以RDS实例为例，选择待迁移实例的ID，输入对应的数据库账号及密码。说明 DTS现已支持RDS/MySQL向HybridDB for MySQL的 全量及增量数据同步。目标库选择 PetaData，...
通过外表导入至湖仓版
示例数据说明 本文示例的RDS MySQL数据库名为 test_adb，并在该库中创建了一张名为 person 的表，示例如下：CREATE TABLE IF NOT EXISTS test_adb.person(id int,name varchar(1023),age int);向 person 表中插入数据，示例如下：INSERT ...
DataWorks调度XIHE SQL
本教程将使用 orders 表作为测试数据，连接 AnalyticDB MySQL 数据库后，执行以下SQL创建测试数据表。CREATE TABLE orders(o_orderkey bigint NOT NULL COMMENT'',o_custkey int NOT NULL COMMENT'',o_orderstatus varchar NOT NULL ...
STR_HASH
A：两者虽然都是直接根据字符串取值做分库分表的哈希路由，但是两者的分库分表的路由算法实现不一样。前者支持用户建表时自行设定截取子串相关参数，且在根据字符串的哈希值计算分库分表路由时是基于UNI_HASH算法进行计算；而后者是只对...
从OSS导入JSON数据文件
HybridDB for MySQL可以方便地通过外部表将存储在OSS中的JSON数据导入到HybridDB for MySQL数据库中。前提条件 资源和环境准备，执行操作前需提前准备OSS和HybridDB for MySQL的相关资源。包括：阿里云RAM账户，提前获取RAM账户的...
AnalyticDB MySQL助力Flowerplus业务高速发展
复杂数据查询性能 使用传统MySQL数据库对订单、商品流量、采购、业务转化率以及商品售罄报警等分析时速度较慢，数据达到千万级或者亿级时，复杂查询报表返回很慢或者根本无法返回，无法正常支撑报表和BI业务。数据实时性 部分报表对返回...
- 产品推荐
- 这些文档可能帮助您