创建数据访问代理数据库
创建数据访问代理数据库和创建普通 MySQL 数据库有两点不同：创建数据访问代理数据库的操作只能在控制台上进行；创建数据访问代理数据库时，需要选择若干（包含一个）RDS 或 OceanBase 作为数据存储节点（如果没有，需先购买并参见 添加...
同步方案概览
源为数据管理DMS逻辑库的同步方案 说明 下表中各类自建数据库（例如自建MySQL、Redis等）支持的接入方式如下：ECS自建数据库 专线/VPN网关/智能网关 数据库网关DG（无公网IP:Port的数据库）由于公网质量等因素，此接入方式可能会导致任务不...
有效映射关系管理
有效映射关系是基于配置的落标映射规则自动生成或手动配置添加的数据标准和资产对象之间的映射关系，可用于描述资产对象应该遵循某个数据标准，或数据标准被某个资产对象关联遵循，是进行落标监控的前提条件。本文为您介绍如何管理有效映射...
有效映射关系管理
有效映射关系是基于配置的落标映射规则自动生成或手动配置添加的数据标准和资产对象之间的映射关系，可用于描述资产对象应该遵循某个数据标准，或数据标准被某个资产对象关联遵循，是进行落标监控的前提条件。本文为您介绍如何管理有效映射...
DDL 语法
创建数据库 新建库：CREATE DATABASE IF NOT EXISTS my_db-MYSQL 原生 default character set utf8-MYSQL 原生[SHARDS 100]-扩展：【通用】分库数属性 复用已有库：CREATE DATABASE tradequery_db EXTENDS trade_db;创建数据表 当需要创建...
监测数据质量
在 请先选择数据库 对话框中，搜索并选择目标数据库，单击 确认。在右上角的扩展功能区域，单击表列表。从 操作 列中，选择 更多>查看表详情，进入表详情页面。通过搜索进入。单击 首页 页签，在页面中间的搜索框中，输入目标表名称。选择 ...
Spark SQL
当用户在Spark程序中创建了数据库db1和表table1后，如果在控制台的SQL执行中操作它们，需要显式检测其是否存在。如尝试删除此数据库时必须使用如下语句。DROP DATABASE IF EXISTS db1;6.当前在Spark SQL中不支持 GRANT 类赋权语句。同开源...
列存表使用排序键和粗糙集索引加速查询
表排序后可以加速范围限定查询，数据库会对每固定行记录每一列的min、max值。如果在查询时使用范围限定条件，ADBPG的查询引擎可以根据min、max值在对表进行扫描（SCAN）时快速跳过不满足限定条件的数据块（Block）。例如，假设一张表存储了...
配置数据质量监控
2、创建监控规则 表ads_user_info_1d用于用户画像分析，为检测每日UV波动，我们对汇总数据进行表行数波动监测及主键进行唯一值校验，以此观察每日UV的波动，及时了解线上流量波动。规则生效时，当监控到ads_user_info_1d表对应主键不唯一时...
配置数据质量监控
2、创建监控规则 表ads_user_info_1d用于用户画像分析，为检测每日UV波动，我们对汇总数据进行表行数波动监测及主键进行唯一值校验，以此观察每日UV的波动，及时了解线上流量波动。规则生效时，当监控到ads_user_info_1d表对应主键不唯一时...
概述
体验任务 本教程将带您体验如何使用云数据库 OceanBase 集群实例创建一个表，并在表中插入数据，从而验证云数据库 OceanBase 的高压缩存储和实时分析能力。主要操作步骤如下：顺序 操作步骤 详情 1 创建集群实例 当您初次使用云数据库 ...
MongoDB 3.4（已停止新购）
使用MongoDB工具将自建数据库迁移至副本集实例 使用MongoDB工具将自建数据库迁移至分片集群实例 使用NimoShake工具将Amazon DynamoDB数据库迁移至阿里云数据库MongoDB 使用MongoDB工具将MongoDB Atlas数据库迁移至阿里云数据库MongoDB 使用...
执行SQL基本操作
查看数据库 创建、查看和删除表 增加列、删除列、修改列的数据类型 创建、查看和删除本地索引 增删改查表数据 查看数据库 查看数据库：SHOW DATABASES;创建、查看和删除表 创建表。创建单表：CREATE TABLE single_tbl(id int,name varchar...
USE
目标数据库（database_identifier）database_identifier必须是当前实例中已存在的数据库。您可以通过 SHOW DATABASES 语法查看当前实例下所有的数据库。SHOW DATABASES 的使用方式，请参见 SHOW DATABASES。默认数据库（DEFAULT）USE语句中...
数据管理
② 数据库列表 展示了 所属库、表名、表类型、存储大小、描述、创建时间 和 更新时间，且支持根据 表名、存储大小、创建时间 或 更新时间 进行排序。单击目标 表名，还支持查看表的详细信息。序号 区域 说明 ① 表信息 展示了 所属库、表名...
接口说明
在指定的数据库database下进行DDL等操作，比如在指定的database下创建表 Result execute(String database,String sql);其中，Result对象表示SQL的执行结果，比如提交数据库的列表语句（"SHOW DATABASES"）后，可以通过Result获取到已经存在...
从Kafka同步数据
说明 创建Kafka消费表是为了将Kafka消费表的数据同步到 云数据库ClickHouse 的表中。Kafka消费表不能直接使用。Kafka消费表只是用来消费Kafka数据，没有真正地存储数据，最终消费数据需要实现消息批处理后进行消费。建表语法如下。CREATE ...
准备用于数据同步的数据库账号
无 双向同步任务对账号权限的要求 双向同步任务要求源和目标数据库具备如下权限，以允许DTS在源和目标数据库中创建库dts，用于做数据防循环复制。数据库 所需权限 创建及授权方式 RDS MySQL 高权限账号。创建数据库和账号。自建MySQL 待...
配置语句规则
本文介绍如何管理数据库的语句规则。背景信息 添加语句规则后，您可以做如下操作：在语句规则页面启用或禁用语句规则。当规则为告警审计时，审计记录命中启用的语句规则后，会触发风险告警。语句规则内的元素设置的越多，规则就越细化，SQL...
CreateOmsMysqlDataSource-创建 OMS MySQL 数据源
接口说明 注意 使用该接口需将 OceanBase 数据传输服务器的 IP 地址（请至 OMS 数据源添加页面查询）加入到您的阿里云数据库实例的白名单、ECS 的安全规则或自建数据库对应的安全设置（通常为您自建数据库的防火墙）中以确保 OceanBase ...
新建逻辑表命名规则
逻辑表命名规则旨在于让创建的逻辑表遵循统一的命名规范标准，可基于模型命名属性，对模型命名规则进行配置，形成条理清晰，方便检索并易于理解的数据模型，让数据模型应用更方便。本文介绍如何创建逻辑表命名规则。前提条件 已完成模型...
数据质量入门
步骤五：订阅质量规则 数据质量为您提供监控报警功能，通过订阅某表数据质量校验规则，第一时间接收质量校验异常结果并快速处理，保障数据安全、稳定、按时产出。在规则列表页面单击 订阅管理。配置报警消息的接收信息。DataWorks支持您...
新建逻辑表命名规则
逻辑表命名规则旨在于让创建的逻辑表遵循统一的命名规范标准，可基于模型命名属性，对模型命名规则进行配置，形成条理清晰，方便检索并易于理解的数据模型，让数据模型应用更方便。本文介绍如何创建逻辑表命名规则。前提条件 已完成模型...
Beam排序优化（7.0版）
get_interleaved_skew('beam_example_interleaved':regclass)relid|colname|skew|suggestion-+-+-+-17139|name|0.46|17139|region|0.54|NEED OPTIMIZE 17139|OVER ALL|0.54|NEED OPTIMIZE(3 rows)查看当前数据库所有多维排序表每列的倾斜...
自建MySQL迁移至PolarDB MySQL版
数据库 库表结构迁移 全量迁移 增量迁移 自建MySQL数据库 SELECT权限 SELECT权限 增量数据迁移：待迁移对象的SELECT权限 REPLICATION CLIENT、REPLICATION SLAVE、SHOW VIEW 建库建表的权限，以允许DTS创建库dts，用于记录迁移期间的心跳...
使用数据库实现读写流量路由
MSE提供一种数据库访问的读写流量路由的方案，您可以在不需要修改业务代码的情况下，基于此功能实现数据库读写分离。本文介绍如何开启数据库读写流量路由和配置读写流量路由规则。前提条件 将ACK微服务应用接入MSE治理中心。背景信息 读写...
SQL命令管理数据库
RDS控制台：创建数据库、删除数据库 API：CreateDatabase-创建数据库、DeleteDatabase-删除数据库 通过RDS控制台或API查看或修改系统字符集排序规则与时区，请参见：RDS控制台：修改字符集排序规则与时区 API：DescribeCollationTimeZones-...
RDS外部表
使用RDS数据源创建MaxCompute的外部表并加载数据 使用RDS数据源创建MaxCompute外部表的步骤如下：登录RDS数据库，执行建表语句并插入数据。操作详情请参见 通过DMS登录RDS数据库。建表示例如下：CREATE TABLE `rds_mc_external`(`id` int...
mysqlclient 连接 OceanBase 数据库
本文将介绍如何使用 mysqlclient 和 OceanBase 数据库构建一个应用程序，实现创建表、插入数据和查询数据等基本操作。点击下载 python-mysqlclient 示例工程 前提条件 您已安装 Python 3.x 和 pip。您已安装 OceanBase 数据库并且创建了 ...
创建表
本文介绍如何使用DMS（Data Management Service）在云数据库ClickHouse中创建表。前提条件 已完成快速入门的如下步骤。新建集群 创建账号 设置白名单 连接集群 创建数据库 操作步骤 在的 SQL Console 页面中，输入 CREATE TABLE 语句创建...
创建数据流
支持的数据库类型：MySQL：RDS MySQL、PolarDB MySQL版、MyBase MySQL、PolarDB分布式版、AnalyticDB MySQL 3.0、其他来源MySQL SQL Server：RDS SQL Server、MyBase SQL Server、其他来源SQL Server PostgreSQL：RDS PostgreSQL、PolarDB ...
生命周期管理介绍
功能说明 您可以通过生命周期管理对数据湖中的数据库、数据表配置数据管理规则，可以基于数据最后访问时间、分区值、分区/表最后修改时间、分区/表创建时间四种规则类型，对数据定期进行存储类型转换，从而节省数据存储成本。同时，可以...
配置数据质量监控
数据库：您当前的生产项目。表：本案例需要为dwd_log_info_di_emr表设置监控规则。在搜索结果中找到目标表，单击操作列的 监控配置，进入该表的规则配置页面。具体配置参考下文操作。配置分区表达式。在表的监控规则配置页面，单击 分区...
全增量实时同步至Hologres
如上图所示，使用 源端数据库名 将源端数据库名作为目标schema名称，并且将所有满足 order_db.*正则表达式的源库写入目标Hologres名为 order_db 的schema中。自定义目标表名映射规则 在 目标表名映射自定义 列，单击 编辑 按钮。可以使用...
配置数据层
mshaInstanceId=${实例id}&mshaDbName=${数据库名} 说明 将${实例id} 和${数据库名} 替换成管控面实际的实例ID和数据库名。实例库URL：业务代码无需修改。说明 数据源有多个JDBC-URL时以半角逗号（,）分隔。实例库URL 推送标识 当推送类型...
创建表
单击目标数据库右侧的登录数据库，在DMS for AnalyticDB页面的顶部菜单栏单击创建>表。在新建：表页面，按照提示进行参数配置。基本信息配置：列配置：分区配置：高级属性：配置好上述参数后，单击保存。通过DMS页面创建普通表 登录 分析型...
查看表资产详情
已在数据建模模块中创建逻辑表、物理化逻辑表、以及设置数据表质量规则。已在质量评估模块中创建质量检测计划任务。单击 数据质量>历史运行，展示质量运行信息以及运行日志，包括质量评分、质量结果和运行日志等。单击 查看详情，跳转到...
查看表资产详情
已在数据建模模块中创建逻辑表、物理化逻辑表、以及设置数据表质量规则。已在质量评估模块中创建质量检测计划任务。单击 数据质量>历史运行，展示质量运行信息以及运行日志，包括质量评分、质量结果和运行日志等。单击 查看详情，跳转到...
场景管理
无匹配的分发任务时是否呈现：若选否，则无需设置 内容集合，内容干预规则 和 排序规则，直接单击 确定，可创建场景。若选是，则需要设置 内容集合，内容干预规则 和 排序规则。内容集合：选择已创建的内容集合，若不选择则默认为全量内容...
准备用于数据迁移的数据库账号
建库建表的权限，以允许DTS创建库dts，用于记录迁移期间的心跳数据。为自建MySQL创建账号并设置binlog PolarDB MySQL 待迁移对象的读权限。创建和管理数据库账号 PolarDB O引擎 高权限账号。创建数据库账号。RDS MariaDB 待迁移对象的读...
- 产品推荐
- 这些文档可能帮助您