需求分析
数据加工阶段 dwd_log_info_di 通过函数正则等方式对MaxCompute日志数据的表ods_raw_log_d进行加工，拆解为可分析字段（例如根据IP获取地域信息），写入dwd_log_info_di表中。dws_user_info_all_di 通过将用户基本信息ods_user_info_d和...
CREATE DATABASE AS（CDAS）语句
表结构变更同步 在实时同步整库数据的同时，还支持将每张源表的表结构变更（加列等）实时同步到结果表中。分库合并同步 支持使用正则表达式定义库名，匹配数据源的多个分库下的源表，合并后同步到下游每张对应表名的结果表中。源库新增表...
通过控制台使用多元索引
如果实际业务中要用到非主键列查询、多条件组合查询等多种查询功能，您可以通过控制台为数据表创建多元索引，然后使用多元索引查询数据。前提条件 已创建数据表，且数据表的最大版本数（max Versions）必须为1，数据生命周期（Time to Live...
管理MySQL Catalog
分库分表的逻辑表会返回额外的_db_name(STRING)和_table_name(STRING)两个系统字段，且这两个字段与原分表的主键会作为逻辑表的新联合主键以保证主键的唯一性。如果user01~user99的主键均为id，则user逻辑表的联合主键为(_db_name,_table_...
创建安全规则
例如建表时一定要有主键，在已有表上新增字段不允许为空等。希望数据库不能执行例如删数据、删表等高危操作的语法，仅能执行数据查询（SELECT）语法。希望对数据库的某些操作进行差异化的审批流程管控，例如写入数据免审批，更新1万条以内...
Presto Server配置和SQL示例
创建映射表 创建映射表用于对应到Tablestore实例中的表，重要 创建映射表时，请注意如下事项：请确保映射表中的字段类型和表格Tablestore数据表中的字段类型相匹配更多信息，请参见 字段类型映射。映射表名称必须与Tablestore中实际的表...
管理健康报告
参数化SQL分析从SQL执行频次、SQL执行总耗时、SQL耗时离散度、SQL CPU资源总消耗、SQL内存资源总消耗、SQL执行失败频次等维度进行排序，获取相应的TOP SQL并展现相关指标。通过参数化SQL分析，您可以：获取StarRocks数据库整体的SQL执行...
通过DTS导入数据
否则您需要在 配置任务对象高级配置 步骤中勾选 库表结构同步，并在 配置库表字段 把该表配置为unique模型，同时需要您手动配置主键列。Binlog日志：RDS MySQL默认已开启Binlog，您需确保binlog_row_image的值为full，否则预检查阶段提示报...
特征管理
特征表 和 主键字段，然后点击 确认 即可：注意：特征表必须是MaxCompute的分区表，主键字段必须与OpenSearch应用结构中的主键字段对应上。回到 特征管理 页面，点击 详情 可以查看特征表的特征详情：在 特征详情 页，可以查看已创建的特征...
RDS MySQL迁移至ClickHouse集群
在库表结构迁移阶段，DTS会在目标表中添加字段_sign 和_version，若您配置 迁移类型 时未勾选 库表结构迁移，则需要手动在目标表中添加字段。字段信息，请参见 字段信息。执行数据迁移前需评估源库和目标库的性能，同时建议业务低峰期执行...
代码模式建模
数据表创建完成后，您可以使用脚本模式通过FML语句配置表的字段及分区信息。本文为您介绍如何使用FML语句配置数据表的相关内容。前提条件 DataWorks目前不支持通过FML语言创建数据表，您需要提前使用可视化界面创建好维度表、明细表、汇总...
PolarDB MySQL版同步至AnalyticDB MySQL 3.0
此类场景中，您可以借助DTS的多表归并功能将源库中多个表结构相同的表（即各分表）同步至目标库中的同一个表中。具体操作，请参见 开启多表归并。说明 选择源库的多个表后，您需要通过对象名映射功能，将其改为目标库中的同一个表名。关于...
通过PrestoDB使用Tablestore
重要 创建映射表时，请注意如下事项：请确保映射表中的字段类型和表格Tablestore数据表中的字段类型相匹配更多信息，请参见 字段类型映射。映射表名称必须与Tablestore中实际的表名称相同。SQL语句CREATE TABLE中的table_name用于映射到...
步骤一：创建SQL分析任务
本文介绍创建SQL分析任务的操作流程，以及SQL分析工作台的查询对象、SQL语句编写区域和操作栏的功能。前提条件 已购买物联网平台的企业版实例，具体操作，请参见 购买企业版实例。背景信息 您可以使用SQL分析工作台，配置SQL分析任务。更多...
风险审计报告
您可以通过 数据管理DMS 的风险报告，搜集和评估数据库在使用过程中产生的各类风险，并获取系统提供的优化建议，使数据库运行得更加安全、稳定。什么是风险审计报告 风险审计报告是基于实例维度，对实例（或实例中指定的库）进行风险分析...
PolarDB MySQL版同步至ClickHouse集群
在库表结构同步阶段，DTS会在目标表中添加字段_sign 和_version，若您配置 同步类型 时未勾选 库表结构同步，则需要手动在目标表中添加字段。字段信息，请参见 字段信息。执行数据同步前需评估源库和目标库的性能，同时建议业务低峰期执行...
RDS MySQL同步至ClickHouse集群
云数据库ClickHouse是面向...单击 下一步配置库表字段，配置待同步表在ClickHouse中的 类型、主键列、排序键、分布键 和 分区键 信息。说明 DTS默认配置了一组数据，您可以将 定义状态 选择为 全部 后进行修改。主键列 和 排序键 可以是组合键...
RDS MySQL同步至ClickHouse集群
云数据库ClickHouse是面向联机分析处理的列式数据库，基于大宽表的聚合...单击 下一步配置库表字段，配置待同步表在ClickHouse中的 类型、主键列、排序键、分布键 和 分区键 信息。说明 DTS默认配置了一组数据，您可以将 定义状态 选择为 全部...
PolarDB-X 2.0迁移至云原生数据仓库 AnalyticDB MySQL...
警告 选择为 忽略报错并继续执行，可能导致数据不一致，给业务带来风险，例如：表结构一致的情况下，在目标库遇到与源库主键的值相同的记录，则会保留目标库中的该条记录，即源库中的该条记录不会迁移至目标库中。表结构不一致的情况下，...
RDS MySQL同步至AnalyticDB MySQL 3.0
此类场景中，您可以借助DTS的多表归并功能将源库中多个表结构相同的表（即各分表）同步至目标库中的同一个表中。具体操作，请参见 开启多表归并。说明 选择源库的多个表后，您需要通过对象名映射功能，将其改为目标库中的同一个表名。关于...
动态修改schema
如果由于业务变更、性能优化等情况需要在多元索引中新增、更新或者删除索引列以及修改多元索引的路由键和预排序方式，您可以通过动态修改多元索引的schema实现。动态修改schema操作包括为源索引创建灰度索引并修改多元索引schema、等待表...
PolarDB-X 2.0同步至云原生数据仓库 AnalyticDB MySQL...
上述配置完成后，单击页面下方的 下一步配置库表字段，设置待同步的表在目标 AnalyticDB MySQL 中的主键列和分布键信息。说明 若 同步类型 选择了 库表结构同步，您需要定义待同步的表在 云原生数据仓库AnalyticDB MySQL版 3.0...
RDS MySQL迁移至AnalyticDB MySQL 3.0
支持增量迁移的SQL操作 操作类型 SQL操作语句 DML INSERT、UPDATE、DELETE DDL CREATE TABLE、DROP TABLE、RENAME TABLE、TRUNCATE TABLE、ADD COLUMN、DROP COLUMN 警告 如果在数据迁移过程中变更了源表的字段类型，迁移任务将报错并中断...
SQL查询介绍
由于表格存储中原始表的列名大小写敏感，当使用SQL时，原始表的列名会统一转换为小写字母进行匹配，即如果要操作表格存储表中的Aa列，在SQL中使用AA、aa、aA、Aa均可，因此表格存储原始表的列名不能同时为AA、aa、aA和Aa。目前支持使用SQL...
PolarDB MySQL版迁移至AnalyticDB MySQL 3.0
支持增量迁移的SQL操作 操作类型 SQL操作语句 DML INSERT、UPDATE、DELETE DDL CREATE TABLE、DROP TABLE、RENAME TABLE、TRUNCATE TABLE、ADD COLUMN、DROP COLUMN 警告 如果在数据迁移过程中变更了源表的字段类型，迁移任务将报错并中断...
RDS SQL Server迁移至云原生数据仓库 AnalyticDB ...
说明 相关表信息的查看方法，请参见 如何查看SQL Server中堆表、无主键表、压缩表、含计算列的表信息。为保障增量数据迁移延迟的准确性，解析源端日志做增量同步模式，DTS会在源库中创建触发器dts_cdc_sync_ddl、心跳表dts_sync_progress、...
同步 RDS PostgreSQL 实例的数据至 OceanBase 数据库 ...
如果您通过 匹配规则 入口选择同步对象，RDS PostgreSQL 实例需要订阅已选数据库的所有表（包括已选表、未选表和新增表），且所有表均需要包含主键，或者表级复制标识 REPLICA IDENTITY 为 FULL，否则将导致业务数据更新、删除操作失败。...
创建并管理数据集
Quick BI中数据集是可视化分析的基础，您可以将需要分析的数据表创建为数据集，Quick BI支持可视化配置或自定义SQL方式创建数据集。前提条件 您已获取数据，请参见 连接数据源。功能入口 在Quick BI产品首页，通过以下入口，进入创建数据集...
RDS SQL Server迁移至云原生数据仓库 AnalyticDB ...
说明 相关表信息的查看方法，请参见 如何查看SQL Server中堆表、无主键表、压缩表、含计算列的表信息。为保障增量数据迁移延迟的准确性，解析源端日志做增量同步模式，DTS会在源库中创建触发器dts_cdc_sync_ddl、心跳表dts_sync_progress、...
RDS SQL Server迁移至云原生数据仓库 AnalyticDB ...
说明 相关表信息的查看方法，请参见 如何查看SQL Server中堆表、无主键表、压缩表、含计算列的表信息。为保障增量数据迁移延迟的准确性，解析源端日志做增量同步模式，DTS会在源库中创建触发器dts_cdc_sync_ddl、心跳表dts_sync_progress、...
PolarDB-X 2.0迁移至云原生数据仓库 AnalyticDB ...
说明 若 迁移类型 选择了 库表结构迁移，您需要定义待迁移的表在 云原生数据仓库 AnalyticDB PostgreSQL 版 中的 类型、主键列、分布键 等信息，详情请参见 CREATE TABLE。主键列 可以是选择多个列组成联合主键，且需要从 主键列 中选择1个...
开发运维建议
表 表结构中字段定义的数据类型建议与应用程序中的定义保持一致，表之间字段校对规则一致，避免报错或无法使用索引的情况发生。对于存在定期历史数据删除需求的业务，建议数据表按时间分区，按时间月或年区分，删除时使用 DROP 或者 ...
Tablestore外部表
说明 在返回的信息里，除了包含和内部表一样的基础信息，Extended Info还包含外部表StorageHandler、Location等信息。查询外部表 创建完外部表后，Tablestore的数据便引入到了MaxCompute生态中，即可通过正常的MaxCompute SQL语法访问...
方案实现
本文介绍实现大数据分析方案的详细配置操作，包括在RDS MySQL中创建源表、在表格存储中创建结果表、在实时计算Flink中创建作业并启动和在表格存储中分析数据。步骤一：在RDS MySQL中创建源表 通过DMS登录RDS MySQL。具体操作，请参见 通过...
PolarDB-X 1.0迁移至AnalyticDB MySQL 3.0
本文介绍如何使用数据传输服务DTS（Data Transmission ...说明 若 迁移类型 选择了 库表结构迁移，您需要定义待迁移的表在 云原生数据仓库 AnalyticDB MySQL 版 3.0集群中的 类型、主键列、分布键 等信息，详情请参见 CREATE TABLE。主键...
RDS SQL Server同步至云原生数据仓库 AnalyticDB ...
说明 相关表信息的查看方法，请参见 如何查看SQL Server中堆表、无主键表、压缩表、含计算列的表信息？为保障增量数据同步延迟的准确性，解析源端日志做增量同步模式，DTS会在源库中创建触发器 dts_cdc_sync_ddl、心跳表 dts_sync_progress...
RDS SQL Server同步至云原生数据仓库 AnalyticDB ...
说明 相关表信息的查看方法，请参见 如何查看SQL Server中堆表、无主键表、压缩表、含计算列的表信息？为保障增量数据同步延迟的准确性，解析源端日志做增量同步模式，DTS会在源库中创建触发器 dts_cdc_sync_ddl、心跳表 dts_sync_progress...
PolarDB MySQL版迁移至Elasticsearch
警告 选择为 忽略报错并继续执行，可能导致数据不一致，给业务带来风险，例如：表结构一致的情况下，如在目标库遇到与源库主键的值相同的记录：全量期间，DTS会保留目标集群中的该条记录，即源库中的该条记录不会同步至目标数据库中。...
RDS MySQL迁移至云原生数据仓库 AnalyticDB ...
支持增量迁移的SQL操作 操作类型 SQL操作语句 DML INSERT、UPDATE、DELETE DDL CREATE TABLE、DROP TABLE、RENAME TABLE、TRUNCATE TABLE、ADD COLUMN、DROP COLUMN 警告 如果在数据迁移过程中变更了源表的字段类型，迁移任务将报错并中断...
云数据库RDS MySQL版创建外键约束时提示“Cannot add ...
执行如下SQL语句，查看 tstudent 表结构，判断要关联的字段在要关联的表中是不是主键。show create table tstudent;系统显示类似如下，确认 tstudent 表没有主键。执行如下SQL语句，确认 tscore 表结构正常。show create table tscore;系统...
- 产品推荐
- 这些文档可能帮助您