MySQL分库分表同步至Hologres（方案2.0）
配置区域 参数 说明 读端配置 离线任务源端最大连接数 支持您通过该参数控制当前同步方案所产生的所有离线子同步任务可占用的源端数据库连接数，即同一时间内，当前同步解决方案所产生的所有离线子同步任务读取数据库的并发数上限。...
支持的数据源
MongoDB Oracle SQL Server MariaDB Redis PostgreSQL 通过备份网关连接的数据库 说明 您可以在数据库服务器上安装备份网关服务，即可将数据库从服务器上添加至DBS中，具体信息，请参见 添加备份网关。MySQL Oracle SQL Server
JSON与XML解析库
请求参数 参数 必选 类型 说明 property_value 是 string JSON 格式数据 property_type 是 int 解析类型，0 表示 JSON，1 表示 XML 返回值 参数 必选 类型 说明 result 是 uint 处理 JSON 数据解析的标识符 property_destroy 删除 JSON 与 ...
使用数据传输迁移数据
反向增量 反向增量任务开始后，可以实时将业务切换后在目标端数据库产生的变更数据回流至源端数据库。通常反向增量会复用增量同步的配置，您也可以根据实际需求进行自定义配置。在 选择迁移对象 页面，选择当前数据迁移项目的迁移对象。您...
查看审计日志
服务端IP 数据库服务器服务端的IP地址，支持设置IPv4或IPv6地址。服务端端口 数据库服务器服务端的端口号。数据库名/实例名 数据库名称或实例名称。客户端工具 登录数据库的客户端工具。主机名 数据库服务器的主机名。操作系统用户名 使用...
JSON_TUPLE
用于一个标准的JSON字符串中，按照输入的一组键(key1,key2,.)抽取各个键指定的字符串。命令格式 string json_tuple(string<json>,string,string,.)参数说明 json：必填。STRING类型，标准的JSON格式字符串。key：必填。STRING类型，用于...
使用SSMS和BCP迁移SQL Server数据库
前提条件 目标数据库主机需要有充足的存储空间来存放导入的数据和因此而带来的日志文件增长，两者加起来的空间增长大概是源端数据库大小的2-3倍（如果数据库是Full模式）。如果目标数据库是在本地自建环境，请确保宿主机有足够的存储空间；...
JSON日志
本视频向您展示数据加工结构化数据JSON格式日志的解析。简单JSON解析 复杂JSON解析
安装Agent
Agent程序是数据库审计系统提供的功能插件，您需要在用户终端、目标数据库服务器或连接数据库的应用服务器上安装Agent，用于将数据库访问流量转发到审计系统。本文介绍安装及卸载Agent的具体操作。安装位置 根据待审计的数据库类型，您需要...
购买数据同步项目
源端地域 请选择源端数据库所在地域。源端类型 请选择源端数据库的类型。目前源端支持 OceanBase 数据库（MySQL 和 Oracle 租户）、PostgreSQL 数据库。目标端地域 根据您选择的源端地域，展示支持的目标端地域。目标端类型 根据您选择的源...
管理数据库
创建RDS MariaDB实例后，您需要在实例中创建与您业务相关的数据库。RDS MariaDB支持通过控制台、SQL命令、API接口管理数据库，包括创建、删除数据库。背景信息 概念 实例：实例是虚拟化的数据库服务器。您可以在一个实例中创建和管理多个...
购买数据迁移项目
源端地域 请选择源端数据库所在地域。源端类型 请选择源端数据库的类型。目前源端支持 OceanBase 数据库（MySQL 和 Oracle 租户）、MySQL、Oracle、PostgreSQL、TiDB、PolarDB-X 1.0 和 PolarDB-X 2.0 数据库。目标端地域 根据您选择的源端...
如何创建Federated表
使用限制 目前仅支持使用公网地址连接远端服务器的数据库。不支持远程连接在ECS上自建的数据库。不支持Federated引擎使用公网地址访问当前集群的数据库。操作步骤 创建远端Server。语法如下：CREATE SERVER<server_name>FOREIGN DATA ...
数据源概述
说明 数据同步基于数据源控制任务读写端数据库，您需要在数据集成同步任务配置前，配置好您需要同步的源端和目标端数据库或数据仓库的相关信息，以便在同步过程中，可通过选择数据源名称来控制同步读取和写入的数据库或数据仓库。...
创建数据库
若要使用云数据库RDS，您需要在实例中创建数据库。本文介绍如何为RDS PostgreSQL实例创建数据库。概念 实例：实例是虚拟化的数据库服务器。您可以在一个实例中创建和管理多个数据库。数据库：数据库是以一定方式储存在一起、能与多个用户...
一键实时同步至Kafka
附录：写入Kafka消息格式定义 完成配置实时同步任务的操作后，执行同步任务会将源端数据库读取的数据，以JSON格式写入到Kafka topic中。除了会将设置的源端表中已有数据全部写入Kafka对应Topic中，还会启动实时同步将增量数据持续写入Kafka...
什么是消息解析
数据解析流程图：设备上报自定义Topic的数据（上行数据）全流程图：自定义Topic消息解析脚本编写方法，请参见：提交消息解析脚本 JavaScript脚本示例 Python脚本示例 PHP脚本示例 物模型消息解析 数据格式 为 透传/自定义 的产品下的设备与...
OCS与数据库结合使用示例
从MySQL中查询数据.Key=non-beijing,Value=7 从OCS中读取数据.Key=non-beijing,Value=7 从OCS中读取数据.Key=non-beijing,Value=7 从OCS中读取数据.Key=non-beijing,Value=7 …… …… 从结果可以看出，程序第1次是从MySQL数据库当中查询...
跨库操作（dblink、postgres_fdw）
postgres=>select dblink_connect('<连接名称>','host=<同一VPC下远端目标数据库所在实例的内网域名>port=<同一VPC下远端目标数据库所在实例的内网监听端口>user=<远端目标数据库用户名>password=<密码>dbname=<远端目标数据库库名>');...
数据加密
您可以使用云数据库MongoDB提供的服务器端根证书来验证目标地址和端口的数据库服务是不是云数据库MongoDB提供的，以有效避免被其他人攻击。除此之外，云数据库MongoDB还提供了服务器端SSL证书的启用和更新能力，方便您按需更新SSL证书以...
JSON解析
Logtail JSON解析插件支持将Object类型的JSON日志结构化，解析为键值对形式。使用限制 JSON日志构建于两种结构，包括Object类型（键值对的集合）和Array类型（值的有序列表）。Logtail JSON解析插件是原生插件，支持解析Object类型的JSON...
JSON数据从OSS迁移至MaxCompute
本文为您介绍如何通过DataWorks数据集成，将JSON数据从OSS迁移至MaxCompute，并使用MaxCompute内置字符串函数GET_JSON_OBJECT提取JSON信息。前提条件 开通MaxCompute和DataWorks。新增MaxCompute数据源。详情请参见 创建MaxCompute数据源。...
ElasticSearch
本文介绍如何使用Databricks数据洞察访问ElasticSearch数据源。前提条件 通过主账号登录 阿里云Databricks控制台。已创建 ElasticSearch实例，具体参见 创建阿里云Elasticsearch实例。已创建DDI集群，具体请参见 创建集群。创建集群并通过...
半结构化分析
JSON格式数据在业务上也可以用text类型来存储，但是使用JSON/JSONB数据类型会在用户写入数据时对输入做JSON规则校验，避免不合法JSON数据写入。同时 AnalyticDB PostgreSQL版 提供一些列特定的JSON化函数，让用户可以对这些数据做出一些...
JSON数据从OSS迁移至MaxCompute
本文为您介绍如何通过DataWorks数据集成，将JSON数据从OSS迁移至MaxCompute，并使用MaxCompute内置字符串函数GET_JSON_OBJECT提取JSON信息。前提条件 开通MaxCompute。在DataWorks上完成创建业务流程，本例使用DataWorks简单模式。详情请...
源库连接性检查
在预检查阶段，系统会检查DTS服务器是否能够连通源端数据库。本文将介绍源库连接性检查失败的可能原因及修复方法。当源库连接性预检查失败时，可能是以下几种原因。数据库账号名或密码不正确 报错示例 Access denied for user 'XXX'@'XXX'...
表格存储是否支持存储JSON数据？
当前表格存储未直接支持存储JSON格式的数据。但是您可以通过字符串方式存储JSON数据，然后通过多元索引中的数组和嵌套类型实现JSON数据的灵活查询。更多信息，请参见 数组和嵌套类型。
数据类型转换
ENUM ENUM SET SET JSON 类型 MySQL 数据库 OceanBase 数据库 MySQL 租户 JSON 依赖于 OceanBase 数据库 MySQL 租户的版本：3.2.3 以下版本会转换为 TEXT，3.2.3 及以上版本会转换为 JSON。GIS 类型 重要 OceanBase 数据库 3.2.4 和 4.1.0 ...
数据集成支持的数据源
实时集成 适用于将来源端数据源中整库或全部表的数据变化实时集成至目标端数据源中，实现 来源端数据源与目标端数据源 实时地保持数据同步。离线集成支持的数据源 数据源 读取 写入 大数据存储型数据源 MaxCompute 支持 支持 Hive 支持 ...
内置全密态能力
PolarDB PostgreSQL版（兼容Oracle）提供全密态数据库功能，数据在用户侧加密后传入数据库管理系统，数据明文对于数据库服务端不可见，实现了端到端的全程加密的数据强安全性。全密态云数据库是达摩院数据库与存储实验室的自研产品，可以...
CREATE[PUBLIC]DATABASE LINK
CREATE[PUBLIC]DATABASE LINK创建一个数据库连接。语法 CREATE[PUBLIC]DATABASE LINK<name>CONNECT TO { CURRENT_USER|<username>IDENTIFIED BY"<password>"} USING {()|'<oracle_connection_string>' } 参数说明 参数 说明 PUBLIC 创建...
数据传输预检查
启动数据迁移项目时，为确保项目的顺利运行，OceanBase 数据传输功能会自动启动预检查环节，针对源端和目标端的数据库连通性、相关配置的正确性、增量日志参数等问题或设置进行检查。本文为您介绍数据迁移项目预检查环节的常见报错和解决...
通过 Go 客户端连接 OceanBase 数据库
为您介绍使用 Go 客户端通过代理模式连接数据库的操作。前提条件 在使用 GO 客户端时，尽量使用最新版本的客户端，最新版本客户端请详见 GitHub go 客户端仓库。引入 obkv-table-client-go 依赖，在本地 GO 仓库上执行以下命令，获取最新 ...
数据格式描述文件
Ingestion Spec（数据格式描述）是Druid对要索引数据的格式以及如何索引该数据格式的一个统一描述，它是一个JSON文件，一般由三部分组成。{"dataSchema":{.},"ioConfig":{.},"tuningConfig":{.} } 键 格式 描述 是否必须 dataSchema JSON...
数据处理
说明 目前版本支持从图数据库GDB导入数据、从文件中导入（包括从CSV文件和压缩包文件）、从数据库SQL表导入。数据解析。数据导入后，GDB Automl提供数据解析器对数据进行解析，可以自动配置解析数据源，解析器（支持CSV、ARFF、XLS、XLSX、...
告警日志
本文介绍了在云盾数据库审计系统中查询告警日志的具体操作。通过告警日志，您可以查询数据库的告警信息。操作步骤 登录数据库审计系统。具体操作，请参见 登录数据库审计系统。在左侧导航栏，选择 查询分析>告警日志。在 告警日志 页面，...
JSON_FORMAT
将JSON数据转换成STRING类型，默认不自动进行美化。命令格式 string json_format(<json>)参数说明 json：必填，待处理的JSON。返回值说明 返回STRING类型。使用示例 示例1：将NUMBER类型的JSON数据转换为字符串。select json_format(json '...
通过Mongo Shell管理数据库账号
roles":[{"role":"readAnyDatabase","db":"admin"}]} 查询目标数据库的所有数据库账号 说明 您可以通过 use database_name 命令切换数据库，其中 database_name 为目标数据库的名称。方式一：在目标数据库执行查询命令。show users 说明 ...
pg_database
目录 pg_database 存储有关可用数据库的信息。数据库通过CREATE DATABASE命令创建。和大部分系统目录不同，pg_database 是在集簇的所有数据库之间共享的：在一个集簇中只有一份 pg_database 拷贝，而不是每个数据库一份。列名称 列类型 ...
CREATE DATABASE
CREATE DATABASE语法用于在Lindorm实例中创建数据库，并设置数据库属性，例如数据有效期TTL，方便您统一归档数据。引擎与版本 CREATE DATABASE语法适用于宽表引擎和时序引擎。宽表引擎仅2.2.16及以上版本支持CREATE DATABASE语法。时序引擎...
- 产品推荐
- 这些文档可能帮助您