数据集成服务
迁移方案 说明 同步MySQL数据到表格存储 MySQL数据库中的数据只能迁移到表格存储的数据表中。迁移过程中会使用到MySQL的Reader脚本配置和表格存储的Writer脚本配置，具体数据源配置如下：源数据源：MySQL数据源 目标数据源：Tablestore数据...
通过一键建仓同步至数仓版
已创建PolarDB MySQL数据库。更多信息，请参见 数据库管理。PolarDB MySQL数据库中已存在表数据。计费 一键创建PolarDB MySQL数据仓库时，系统自动通过DTS同步数据，DTS计费规则，请参见 计费概述。注意事项 数据同步过程中，若在源实例...
DTS同步数据到AnalyticDB MySQL时出现“modify ...
对于修改字段类型的报错提示，可以通过以下两种方式解决问题：如果同步任务是整个数据库的同步操作，可以在AnalyticDB MySQL中新建一张表，表名不同于报错的表，表结构和源表的表结构保持一致，通过使用 Insert Into Select SQL语句将报错...
数据标准概述
DataWorks数据建模支持在建模前规划制定数据标准，或在建模使用过程中根据业务情况沉淀企业业务的数据标准。通过规范约束标准代码、度量单位、字段标准、命名词典，来保障后续建模与应用过程中数据处理的一致性，从源头上保障数据的标准化...
OSS访问日志分析
您可以通过日志服务SLS存储和分析OSS日志数据，也可以将OSS日志数据导出并存储到指定的OSS目录长期保存，然后通过数据湖分析服务对长期保存的OSS日志数据进行分析。通过数据湖分析服务（Data Lake Analytics，DLA）分析OSS日志数据前，您...
通过SDK使用多元索引
如果实际业务中要用到非主键列查询、多条件组合查询等多种查询功能，您可以通过控制台为数据表创建多元索引，然后使用多元索引查询与分析数据。前提条件 已创建数据表，且数据表的最大版本数（max Versions）必须为1，数据生命周期（Time ...
新建存储过程
概述 存储过程是一条或多条语句的集合，对数据库进行一系列复杂操作时，存储过程可以在数据库内将这类复杂操作封装成一个代码块，以便重复使用，从而减少数据库开发人员的工作量。存储过程旨在完成特定功能的 SQL 语句集，经编译创建并保存...
数据归档
背景信息 ODC 支持定时将源数据库中的表数据归档至其它目标数据库中，以解决因线上数据增多影响查询性能与业务运作的问题。本文档旨在介绍如何通过提交数据归档工单实现归档数据。原理介绍 前提条件 归档的表中必须包含主键。注意事项 前置...
创建和管理自定义存储表
事务表：适用于自定义主键，数据按照主键粒度通过行级别更新和覆盖的表，类似于MySQL之类关系型数据库中的表。重要 该表最多支持存储3000万行的数据，超过3000万行的数据将无法写入。时序表：适用于存储随着时间不断追加的数据，例如设备...
MaxCompute数据迁移至OTS
order":{"hops":[{"from":"Reader","to":"Writer"}]},"setting":{"errorLimit":{"record":"0"},"speed":{"throttle":false,"concurrent":1,"dmu":1 } } } 在表格存储控制台中查看新增的表数据。登录 表格存储控制台。在左侧导航栏上，单击...
从MySQL批量导入导出
HybridDB for MySQL支持直接从MySQL中全量导入和导出数据，这也是HybridDB for MySQL的功能之一，相比较借助DTS、Kettle等工具，HybridDB for MySQL直通导入和导出节省了大量的中间转换，导入导出的速度要快10倍以上。导入准备 将数据从...
JSON索引
创建表时创建JSON索引 注意事项 若您在建表时手动指定为某一列或某几列创建INDEX索引，AnalyticDB for MySQL 不会再为表中其他列自动创建INDEX索引。语法 CREATE TABLE table_name(column_name column_type,index index_name(column_name|...
导入MySQL数据
您可以将自建MySQL数据库或RDS MySQL数据库中的数据导入到日志服务，实现数据的查询分析、加工等操作。本文介绍导入MySQL数据的操作步骤。使用限制 目前仅支持：华东1（杭州）、华东2（上海）、华北1（青岛）、华北2（北京）、华北3...
MaxCompute数据迁移至OSS
本文为您介绍如何使用DataWorks的数据同步功能将MaxCompute数据迁移至对象存储OSS（Object Storage Service）。前提条件 开通MaxCompute和DataWorks。在DataWorks上完成创建业务流程，本例使用DataWorks简单模式。详情请参见 创建业务流程...
优化建议
分布式数据库的高性能依赖于底层数据库的高性能，而对底层数据库性能来说，建立需要的索引是重要的环节；确保语句能正确使用到索引，例如查询条件能被索引完全覆盖到，保证分区键上有索引等；查询尽量在单机完成，最为简单的方式就是在分区...
将日志服务数据投递到AnalyticDB MySQL
左边文本框为日志字段名称，右边为AnalyticDB MySQL数据库表中的字段。说明 Timestamp类型的字段映射精确到秒级别。例如日志时间为2022-01-05 10:12:13.145，投递到AnalyticDB MySQL后，投递结果为2022-01-05 10:12:13。投递开始时间 配置...
云数据库 RDS MySQL 版如何查看表的主键字段
概述 本文介绍云数据库 RDS MySQL 版查看表主键字段的方法。详细信息 阿里云提醒您：如果您对实例或数据有修改、变更等风险操作，务必注意实例的容灾、容错能力，确保数据安全。如果您对实例（包括但不限于ECS、RDS）等进行配置与数据修改...
方案背景
推荐系统，订单类业务等 实时数据计算场景：监控系统，电商数字大屏等 样例场景 某电商公司为了完成电商运营数据的分析和展示，使用表格存储统一存储电商数据，通过Spark的流批处理离线聚合或实时统计电商数据，最终在DataV大屏上实现电商...
构建模型
在数据分析时，当需要分析的数据存储在不同的表，您可以通过数据关联，把多个表连接起来，形成模型进行数据分析。前提条件 您已创建数据集，请参见 创建并管理数据集。背景信息 Quick BI支持左外连接（LEFT JOIN）、内连接（INNER JOIN）、...
DDL差异
MySQL 云原生数据仓库AnalyticDB MySQL 定义 ALTER DATABASE 不支持 修改数据库属性。ALTER EVENT 不支持 修改现有事件的一个或多个特征。ALTER FUNCTION 不支持 修改函数的定义。ALTER LOGFILE GROUP 不支持 修改日志文件组。ALTER ...
通过任务编排实现跨库数据同步
本文通过在任务编排中创建跨库Spark任务，实现了定期将在线库中的订单表和商品表同步到数据仓库中进行数据分析，并将分析结果回流在线库中供管理者查询。前提条件 准备一个MySQL数据库作为在线库，用于存放订单表和商品表，且您拥有该数据...
MySQL数据库账号权限管理
CREATE ROUTINE 存储过程 创建存储过程权限。EXECUTE 存储过程 执行存储过程权限。FILE 服务器主机上的文件访问 文件访问权限。CREATE TEMPORARY TABLES 服务器管理 创建临时表权限。CREATE USER 服务器管理 创建账号权限。PROCESS 服务器...
FineBI
您可以通过FineBI连接 云原生数据仓库AnalyticDB MySQL版，以可视化的形式帮助您进行多样数据管理，例如过滤、分组汇总、新增列、字段设置、排序等，极大的提升了数据整合的便利性和效率。前提条件 了解FineBI与 AnalyticDB MySQL版 之间的...
联合查询多个MySQL实例
步骤一：在DLA中创建MySQL数据库连接 登录 DLA控制台，单击左侧导航栏的 SQL访问点，单击 登录到DMS，分别在DLA中创建两个底层映射到MySQL的数据库连接。CREATE SCHEMA dla_orders_db WITH DBPROPERTIES(CATALOG='mysql',LOCATION='jdbc:...
使用Tapdata Cloud导入MySQL数据
如果源库为默认数据库时区（+8:00），目标端数据库为指定时区（+0:00），假设源端数据库存储的时间为 2020-01-01 16:00:00，则目标端数据库存储的时间为 2020-01-01 08:00:00。包含表 要包含的表。取值范围如下：全部（默认）：包含数据库...
创建分析存储
当需要低成本存储时序数据以及快速查询和分析时序数据时，您可以使用CreateTimeseriesAnalyticalStore接口为已有时序表创建分析存储。前提条件 已通过控制台创建了开启分析存储的实例。具体操作，请参见 创建时序模型实例。已初始化...
查询报错问题
查询提示错误 META_COLUMN_NOT_EXIST 在分析型数据库MySQL版表新增字段后，查询提示找不到新添加的列，具体是什么原因？表正在上线，但是上线失败或者CN副本在重启，都有可能出现 META_COLUMN_NOT_EXIST。对于普通表 一级普通表：新增字段...
Cache Table
使用方法 创建Cache表 只支持使用CTAS语句来创建Cache表并写入数据，语句中必须指定 ENGINE='CACHE'，否则会创建为普通的表而不是Cache表。将 adb_demo.customer 表数据按 age 字段排序并写入到 c1 缓存表中，示例如下：可选：创建名为...
创建数据库
说明 创建实例时所选择的存储类型将决定您在创建数据库时所使用的存储类型，例如您在创建实例时选择的是 RDS MySQL，则您在创建数据库时存储类型即固定为 RDS for MySQL 不可变更。PolarDB-X 1.0 存储层 私有定制RDS 与计算层 PolarDB-X 1....
产品更新动态
可视分析数据集 增加数据源连接种类 在上传数据时，不仅支持MySQL数据源，增加了 AnalyticDB MySQL 数据库和 AnalyticDB PostgreSQL数据库，灵活适配客户数据连接的多样性需求。创建数据集 优化卡片保存功能 新版本简化卡片保存逻辑，在...
分析实例简介
分析实例类型 RDS MySQL的分析实例分为以下两种类型：云ClickHouse分析实例 云ClickHouse分析实例本质是云数据库ClickHouse实例，其通过MaterializedMySQL引擎将RDS MySQL实例中的数据同步到云数据库ClickHouse中，并利用其强大的分析性能...
从自建MySQL迁移至RDS实例
DTS支持结构迁移、全量数据迁移以及增量数据迁移，同时使用这三种迁移类型可以实现在自建应用不停服的情况下，平滑地完成自建MySQL数据库的迁移上云。前提条件 已创建 RDS MySQL实例 或 Serverless实例。自建MySQL数据库版本为5.1、5.5、5....
通过一键建仓同步至数仓版
数据库名称 从下拉列表中选择目标 AnalyticDB MySQL 数据库名。表名 从下拉列表中选择目标 AnalyticDB MySQL 表名。账号名称 目标 AnalyticDB MySQL 中创建的 数据库账号。账号密码 填写账号名称对应的密码。字段映射 系统自动提取日志服务...
创建分析存储
当需要低成本存储时序数据以及快速查询和分析时序数据时，您可以使用CreateTimeseriesAnalyticalStore接口为已有时序表创建分析存储。前提条件 已通过控制台创建了开启分析存储的实例。具体操作，请参见 创建时序模型实例。已初始化...
将MySQL数据迁移到Redis
SELECT CONCAT("*12\r",#这里的12是下方字段的数量，由MySQL表中的数据结构决定 '$',LENGTH('HMSET'),'\r ',#HMSET是在Redis中写入数据时使用的命令 'HMSET','\r ','$',LENGTH(id),'\r ',#id是HMSET字段后的第一个字段，迁移后会成为Redis ...
前言
如果要实时投递 表格存储 数据到OSS中存储和分析，请使用数据湖投递实现。更多信息，请参见 数据湖投递。时序模型 一般使用流程如下：初始化客户端用于配置访问的 表格存储 实例。更多信息，请参见 初始化客户端。创建时序表用于存储数据。...
配置转换组件
本文介绍数据库传输服务DTS提供的ETL功能支持的转换组件及其配置方法。背景信息 ETL支持的转换组件如下：表JOIN 字段计算器 表记录过滤 使用限制 ETL支持的转换组件存在如下限制：表JOIN：仅支持两个表之间做JOIN操作。字段计算器 和 表...
添加及管理识别结果
区域③ 为您展示 数据表、表字段、数据分类、数据分级、生效状态 信息，您可以对数据表、表字段、数据分类、生效状态进行修改，同时您可以在 操作 列下进行 在此表下继续配置字段识别规则 和 删除 操作。在此表下继续配置字段识别规则：可...
添加及管理识别结果
区域③ 为您展示 数据表、表字段、数据分类、数据分级、生效状态 信息，您可以对数据表、表字段、数据分类、生效状态进行修改，同时您可以在 操作 列下进行 在此表下继续配置字段识别规则 和 删除 操作。在此表下继续配置字段识别规则：可...
配置MySQL输出组件
比如为了满足服务的持续可用性，当前步骤写数据执行前先创建目标表Target_A，执行写入到目标表Target_A，当前步骤写数据执行完成后，对数据库中持续提供服务的表Service_B重命名成Temp_C，然后将表Target_A重命名为Service_B，最后删除Temp...
- 产品推荐
- 这些文档可能帮助您