步骤五：启动实例并插入数据
步骤二：插入数据 登录flink_dataphin数据源的MySQL实例，并使用以下命令写入数据以验证实时任务计算结果。创建生成产品类型的函数 CREATE FUNCTION getSkuId()RETURNS VARCHAR(20)BEGIN DECLARE sku_id VARCHAR(20);SET sku_id=CASE FLOOR...
步骤五：启动实例并插入数据
步骤二：插入数据 登录flink_dataphin数据源的MySQL实例，并使用以下命令写入数据以验证实时任务计算结果。创建生成产品类型的函数 CREATE FUNCTION getSkuId()RETURNS VARCHAR(20)BEGIN DECLARE sku_id VARCHAR(20);SET sku_id=CASE FLOOR...
后续指引
说明 相关文档 数据迁移 上传下载数据 MaxCompute提供Tunnel批量数据通道、Streaming Tunnel流式数据写入通道和DataHub实时数据通道三种数据上传下载的通道，同时还支持基于DataHub和Tunnel提供的SDK实现上传下载数据，满足多样化场景需求...
开发ODPS SQL任务
插入数据 您可使用 INSERT INTO 或 INSERT OVERWRITE 语句向目标表中插入更新数据，详情请参见 插入或覆写数据（INSERT INTO|INSERT OVERWRITE）。SQL示例如下：插入数据 INSERT INTO students partition(gender='boy')VALUES(1,'张三',15,...
开发ODPS SQL任务
插入数据 您可使用 INSERT INTO 或 INSERT OVERWRITE 语句向目标表中插入更新数据，详情请参见 插入或覆写数据（INSERT INTO|INSERT OVERWRITE）。SQL示例如下：插入数据 INSERT INTO students partition(gender='boy')VALUES(1,'张三',15,...
EncDB SDK
如果您希望使用全密态功能对数据库表中的被保护数据列进行加密，并且使用Java应用程序访问数据库，可以使用全密态客户端Java SDK模块EncDB SDK接入全密态数据库，接入操作便捷，能够降低使用全密态功能的成本。本文介绍如何通过EncDB SDK...
数据导入方式介绍
基本特性 适合大批量数据：导入链路批量操作，适合单任务进行大量数据导入的场景。资源消耗大：利用集群资源进行高性能导入，建议在业务低峰期使用。批量可见：数据导入任务完成前数据不可见，任务完成后导入的数据批量可见。分区覆盖：...
概述
Federated表结构如下：当在本地 PolarDB MySQL版 集群的Federated表上执行SQL时，通常会从本地 PolarDB MySQL版 集群插入数据文件，更新或删除数据文件的操作被发送到远程 PolarDB MySQL版 集群或社区MySQL服务器执行，在远程集群或服务器...
Go-SQL-Driver/MySQL 连接 OceanBase 数据库示例程序
本文将介绍如何使用 Go-SQL-Driver/MySQL 驱动和 OceanBase 数据库构建一个应用程序，实现创建表、插入数据和查询数据等基本操作。点击下载 go-oceanbase 示例工程 前提条件 安装 OceanBase 数据库、Go 语言和相关驱动，并确保已经正确配置...
INSERT INTO
本文介绍如何用INSERT INTO 语句向 云数据库 ClickHouse 数据表中插入数据。基本语法 INSERT INTO 语句基本格式如下：INSERT INTO[db.]table[(c1,c2,c3)]VALUES(v11,v12,v13),(v21,v22,v23),.对于存在于表结构中但不存在于插入列表中的列，...
如何发布和调用JDBC数据服务
JDBC数据服务是通过JDBC将后端数据库访问能力在CSB实例上发布为服务，发布服务时只能以RESTful开放类型发布。前提条件 创建或申请CSB实例，请参见 创建实例。了解如何在CSB实例上发布、订阅和调用RESTful服务的基本使用，请参见 快速体验...
湖仓一体
本章节介绍如何通过 云数据库SelectDB 提供的联邦查询技术，对数据湖、数据库、远端文件等外部数据源进行联邦分析。为您提供简单、快速的数据分析体验。概述 云数据库SelectDB 提供多源数据目录功能（Multi-Catalog或Catalog），支持对接...
云监控控制台查看监控
分布式表文件个数 向分布式表写数据时待插入数据的文件个数。失败Query个数 查询失败的语句个数。MaterializeMySQL同步个数 使用MaterializeMySQL引擎创建的同步数据库个数。失败Insert Query个数 插入失败的语句个数。Kafka外表个数 已...
JDBC
设置FetchSize 默认情况下，驱动会一次性从数据库端获取所有数据，对于数据量很大的查询，这会占用客户端大量内存，甚至造成 OOM，为避免此类情况，JDBC提供了基于游标的ResultSet，批量获取数据集。使用方法如下：设置 FetchSize，...
将Excel的数据导入数据库
您可以将Excel的数据通过数据管理服务DMS（Data Management Service）导入到RDS MySQL数据库中。操作步骤 将Excel文件另存为.csv格式，并将中文或不符合数据库要求的列名修改为英文。说明 如果您的数据没有唯一的ID列，建议在最前方添加一...
数据库导出
若您的业务每日需要导出大量数据行，可将实例的管控模式变更为安全协同。具体操作，请参见 变更管控模式。若业务需求发生变更且工单已提交审批，无论是否通过审批，都可在 工单详情 页面，单击右上角的 关闭工单，以减少数据流出。操作步骤...
整库离线同步至Elasticsearch
您需要在数据集成同步任务配置前，配置好您需要同步的源端和目标端数据库，以便在同步任务配置过程中，可通过选择数据源名称来控制同步任务的读取和写入数据库。同步任务支持的数据源及其配置详情请参见 支持的数据源及同步方案。说明 数据...
mysqldump
该文件包含了创建数据库、表以及插入数据的SQL语句，从而确保数据的完整性和一致性。使用示例 导出 导出test_db数据库中的test_table表：mysqldump-h127.0.0.1-P9030-uroot-no-tablespaces-databases test_db-tables test_table 导出test_...
离线同步数据质量排查
确认脏数据出现的原因，并解决脏数据问题，或者确认可否容忍忽略脏数据。说明 若您任务不允许产生脏数据，您可以在 任务配置>通道配置 处，修改该阈值。配置任务脏数据阈值，详情请参见 通过向导模式配置离线同步任务，关于脏数据认定，...
CreateDataImportOrder-创建数据导入工单
创建数据导入工单。接口说明 仅管控模式为安全协同的数据库实例可调用此 API。关于该功能的更多说明，请参见 数据导入。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成...
创建同步ADS
2.同步说明 1）目前DataHub仅支持将TUPLE数据同步到ADS服务中2）ReplaceInto与IgnoreInto：ReplaceInto模式下，会使用replace into语句将数据插入，反之，IgnoreInto会使用insert方式插入数据库（replace into将根据主键覆盖记录，ignore ...
概述
体验任务 本教程将带您体验如何使用云数据库 OceanBase 集群实例创建一个表，并在表中插入数据，从而验证云数据库 OceanBase 的高压缩存储和实时分析能力。主要操作步骤如下：顺序 操作步骤 详情 1 创建集群实例 当您初次使用云数据库 ...
X-Engine引擎使用须知
以下举例说明：用户开启一个事务插入大量数据，在插入的过程中，由于先提交了一部分数据，其它请求就可以访问到插入的数据。用户开启一个事务修改大量数据，回滚的时候，已经执行了commit in middle的事务无法回滚。drop table t1;create ...
创建INTERVAL RANGE分区
在数据库中创建一个新的INTERVAL RANGE分区表，并向表中插入数据，示例如下：CREATE TABLE sales(id BIGINT,uid BIGINT,order_time DATETIME)PARTITION BY RANGE COLUMNS(order_time)INTERVAL(MONTH,1)(PARTITION p0 VALUES LESS THAN('...
概述
原理 在 PolarDB-X 中，如果创建表时通过 AUTO_INCREMENT 指定了自增列，为了保证自增列的全局唯一性，则自动为该表创建并关联一个Sequence对象，在插入数据时使用关联的Sequence对象分配全局唯一值并进行自动填充。根据数据库模式的不同，...
创建HBase数据源
背景信息 HBase是用于处理存储在Hadoop集群中大量数据的SQL查询引擎。如果您使用的是HBase，在导出Dataphin数据至HBase，您需要先完成HBase数据源的创建。更多HBase信息，请参见 HBase官网。使用限制 Dataphin仅支持超级管理员、数据源管理...
JSON_INSERT
c0|+-+|{"f1":1,"f2":{"t1":1,"t2":2,"t3":3}}|+-+示例2：在数组指定值前面插入数据。select json_insert(JSON'{"f1":[0,1,2]}',array("f1","0"),JSON'10',false);返回结果如下。c0|+-+|{"f1":[10,0,1,2]}|+-+示例3：在数组指定值后面插入...
导入数据
使用场景 表数据迁移 表数据备份 表数据分析 前提条件 数据库类型如下：数据库类型 关系型数据库 MySQL：RDS MySQL、PolarDB MySQL版、MyBase MySQL、PolarDB分布式版、AnalyticDB MySQL版、其他来源MySQL。SQL Server：RDS SQL Server、...
MySQL节点
常见问题：任务执行报错 暂不支持的jdbc驱动 问题描述 添加MySQL数据源时，选择了非连接串模式创建的数据源，导致运行任务时失败，报错信息为 sql execute failed!暂不支持的jdbc驱动。问题原因 出现上述报错通常都是选择了非连接串模式...
表数据管理
查看数据 进入数据页签后，ODC 以表格的形式展示表中的数据，并导航栏中提供了以下功能键查看和管理表中的数据：功能 说明 编辑 单击编辑图标进入编辑态，以修改表中的数据。提交（Oracle 模式）Oracle 模式下自动提交默认设置为关（OFF）...
数据导入
当您需要将大批量数据导入至数据库时，可以使用数据管理DMS提供的数据导入功能，导入SQL、CSV、Excel类型的文件。前提条件 数据库类型如下：关系型数据库 MySQL：RDS MySQL、PolarDB MySQL版、MyBase MySQL、PolarDB分布式版、AnalyticDB ...
向量数据导入
本节介绍如何进行数据插入。向量的数据导入和普通的堆表数据导入相同，可以采用 INSERT 语法，也可以采用 COPY 语法。本文以 INSERT 语法为例进行介绍。说明 向量列支持两种表达方式。向量列采用ARRAY[]的方式表示 INSERT INTO chunks ...
任务编排之电商打标
数据管理DMS任务编排主要用于编排各类任务并进行调度执行。您可以通过创建一个或多个任务节点组成的任务流，实现复杂的任务调度，提高数据开发效率。背景信息 电商做大促活动时，常会推出优惠活动，例如用户累计消费达到一定额度，发放对应...
使用DataWorks同步数据
本文以MaxCompute为例介绍如何将数据通过DataWorks同步至 云数据库ClickHouse。背景信息 您可以通过DataWorks，将支持的各种数据源数据离线同步至 云数据库ClickHouse。离线同步支持的数据源类型，具体请参见 支持的数据源与读写插件。前提...
数据脱敏
概念介绍 数据脱敏：在数据处理和数据存储过程中，通过一定的算法和技术，将敏感数据进行加工处理、模糊化或替换，使得数据无法识别或难以还原，从而达到保护数据安全、防止数据泄露的目的。动态脱敏：对敏感数据进行实时的脱敏处理，只有...
数据脱敏
数据安全中心（Data Security Center，简称DSC）支持静态脱敏和动态脱敏，可以脱敏数据库中的敏感数据。本文介绍如何使用静态脱敏和动态脱敏。脱敏方式 静态脱敏：通过新增脱敏任务，使用脱敏算法对敏感数据进行遮盖、加密或替换，并将脱敏...
上传数据
DataWorks支持将本地的CSV文件或部分文本文件数据直接上传至MaxCompute表中，本文为您介绍操作步骤详情。前提条件 已准备好用于接收本地数据的MaxCompute表。您可以选择已创建的MaxCompute表，或者直接新创建一个MaxCompute表，建表操作可...
迁移ClickHouse数据到StarRocks
通过JDBC方式，在目标集群创建目标表，在源集群创建外部表，将数据插入外部表实现数据迁移。适用场景 适用于单表数据迁移的场景。如果表数量大，则操作会比较繁琐，耗时较高。操作步骤 创建JDBC资源。create external resource ck_jdbc ...
查询报错问题
用户使用的是普通表，且写入大量数据后未执行optimize操作，此时执行SQL会随着插入数据多而变得越来越慢。这是因为分析型数据库MySQL版的实时数据增量部分默认未建索引，因此执行查询时会频繁访问磁盘。为保证查询速度，建议当用户执行过...
存储格式
行存表使用和 PostgreSQL 相同的堆存储模型（Heap Table），在 OLTP 类型负载下表现最好：这种场景中，数据常由每次一行或几行的 INSERT 实时插入，且在初始插入后可能被频繁地修改或删除。如有较小的表（例如维度表），建议选择行存表。...
- 产品推荐
- 这些文档可能帮助您