批量添加数据源
您可以通过 数据库备份DBS 的批量添加数据源功能，快速导入大批量同类型的数据源，便于后续对数据源进行管理与备份。功能说明 批量导入功能仅支持MySQL公网自建数据库。费用说明 添加数据源操作不会产生费用，只有在添加数据源后开启备份才...
API概览
其他 API 描述 AddDatabaseList 调用AddDatabaseList批量添加数据库。CreateDatabaseAccessPoint 调用CreateDatabaseAccessPoint创建数据库访问点。DeleteDatabaseAccessPoint 调用DeleteDatabaseAccessPoint删除数据库访问点。...
InsertList-插入多条数据
调用InsertList批量插入数据。接口说明 本接口当前仅支持华东 1（杭州）、华北 2（北京）地域的 Serverless 实例使用。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成...
手动添加数据源
您可以通过 数据库备份DBS 的手动添加数据源功能，将不同环境的数据库添加至 数据库备份DBS 中，便于后续对数据源进行管理与备份。...相关文档 支持的数据源 变更数据源的账号与密码 添加数据源的更多方式：批量添加数据源 自动添加数据源
使用DataWorks同步数据
批量插入字节大小 批量插入数据的最大字节数。批量条数 批量插入数据的条数。（可选）字段映射：您可以选择字段的映射关系，左侧的 源头表字段 和右侧的 目标表字段 为一一对应关系。说明 参数说明，具体请参见 字段映射。（可选）通道控制...
备份数据库
如何添加数据源，请参见 手动添加数据源、批量添加数据源、自动添加数据源。添加的数据源已设置数据库账号与密码。具体操作，请参见 设置数据源的账号与密码。已添加数据库备份策略模板。具体操作，请参见 创建备份策略模板。操作说明 登录...
导出至OSS
INSERT INTO PARTITION SELECT FROM 功能：INSERT INTO PARTITION SELECT FROM 用于向带分区的外表中批量插入数据。写入时在PARTITION字段中指明所有分区列和分区值；也可以只写明高层分区目录的分区值，低层分区动态生成；或完全不写分区...
批量消费
优势二：降低下游资源的API调用频率 场景示例：给数据库中插入数据，每更新一条数据执行一次插入任务，如果数据更新较频繁，可能会对数据库造成较大压力。此时，您可以设置每10条数据批量插入一次或每5秒执行一次插入任务，降低系统运行...
支持的数据源
当前DBS支持如下三种方式添加数据源：手动添加数据源 批量添加数据源 自动添加数据源 DBS支持的数据源类型请参见下表。数据源类别 数据库类型 阿里云数据库 RDS MySQL RDS SQL Server RDS PostgreSQL RDS MariaDB PolarDB MySQL版 PolarDB ...
批量添加资源数据
本视频介绍批量添加资源数据的操作步骤。
配置ClickHouse输出组件
批量插入字节大小、批量条数 批量插入字节大小 和 批量条数 均为数据同步的性能参数，用于调试数据同步的速度。批量插入字节大小：数据同步过程中每一次写入数据的字节数据量，默认字节大小为67108864，也就是64MB。批量条数：数据同步过程...
配置ClickHouse输出组件
批量插入字节大小、批量条数 批量插入字节大小 和 批量条数 均为数据同步的性能参数，用于调试数据同步的速度。批量插入字节大小：数据同步过程中每一次写入数据的字节数据量，默认字节大小为67108864，也就是64MB。批量条数：数据同步过程...
数据表管理
前置条件：您已开通产品服务和安装LSCC安全计算客户端，且已定义好数据源。数据表是指具体参与联合计算的数据集合，数据表名称及字段信息会上传...③ 批量操作区 批量加入：可批量将数据添加到其他合作空间下。批量删除：可批量将数据批量删除
访问JDBC外表
云原生多模数据库Lindorm计算引擎支持访问外部JDBC数据源，您可以通过Spark SQL完成Lindorm与外部数据源之间的数据流转以及联邦计算。前提条件 已开通Lindorm实例的计算引擎服务，具体操作请参见 开通与变配。确保外部数据源已开通访问权限...
数据传输与迁移概述
数据传输渠道 SDK-Tunnel渠道 外表（湖仓一体）JDBC渠道 场景数据写入MaxCompute 离线数据批量写入（数据通道）场景特征。周期调度任务（天、小时级别调用）。对数据延迟不敏感（只要在调度周期执行完成即可满足需求）。典型场景。类型 ...
JDBC数据源
本文介绍 云数据库 SelectDB 版 与JDBC数据源进行对接使用的流程，帮助您对兼容JDBC协议的数据源进行联邦分析。概述 JDBC Catalog支持通过标准JDBC协议连接其他数据源。连接后，SelectDB会自动同步数据源下的Database和Table的元数据，以便...
数据传输服务（上传）场景与工具
功能介绍 批量数据通道上传 使用批量数据通道上传数据时，可以通过单个批量操作将数据上传到MaxCompute中。例如上传数据源可以是外部文件、外部数据库、外部对象存储或日志文件。MaxCompute中批量数据通道上传包含如下方案。Tunnel SDK：您...
JDBC数据源
本文介绍如何使用JDBC数据源进行数据分析或者交互式开发。建表语法 CREATE TABLE tbName USING jdbc2 OPTIONS(propertyName=propertyValue[,propertyName=propertyValue]*);Table Schema 创建JDBC表时，无需显式地定义表的字段信息，示例...
如何发布和调用JDBC数据服务
背景信息 JDBC目前支持单表和多表查询，后续根据需要会提供插入、修改和删除库表数据的能力。每个CSB实例可以配置多个数据源，多个服务可以共享一个数据源。管理数据源 CSB目前支持MySQL兼容的数据库，包括RDS Mysql、DRDS、MySQL。CSB目前...
流式数据通道概述
MaxCompute流式数据通道服务提供了以流式的方式把数据写入MaxCompute的能力，使用与原批量数据通道服务不同的一套全新的API及后端服务。流式服务在API上极大简化了分布式服务的开发成本，同时解决了批量数据通道在高并发、高QPS（Queries-...
数据变更最佳实践
更新数据 AnalyticDB MySQL版 提供多种数据更新方式，建议如下：数据更新频率高、基于主键的行级覆盖更新且应用可以补齐所有列，可通过 REPLACE INTO 批量更新数据。数据更新频率低、基于主键更新，可通过 REPLACE INTO 或者 UPDATE 单条...
Spark常见报错
SSL_ERROR SSL peer shut down incorrectly JDBC_COLUMN_TYPE_PARSER_ERROR Can't get JDBC type for<数据类型>业务需要处理的数据量突然变大导致Spark作业无法成功执行。EXECUTOR_CONTAINER_OOM Exit Code:137 EXECUTOR_DISK_FULL No ...
计算引擎版本说明
为提升用户体验，云原生多模数据库 Lindorm 会不定期地发布版本，用于丰富云产品功能或修复已知缺陷。您可以参阅本文了解Lindorm计算引擎的版本更新说明。查看计算引擎版本 进入SparkUI界面。如何进入，请参见 进入SparkUI界面。单击 ...
数据导入
写入方式 选择文件的写入方式：INSERT：插入数据时数据库会检查主键（PrimaryKey），如果出现重复会报错。INSERT_IGNORE：如果表中已经存在相同的记录，则忽略当前新数据。REPLACE_INTO：如果表中已经有某行数据（根据主键或者唯一索引判断...
数据脱敏
添加识别规则 示例：管理员通过添加数据库 odc_test 中表 employee 的列 name 的识别规则。在项目协同窗口，单击 项目>敏感列>添加敏感列>扫描添加。在 扫描添加敏感列 页面中，选择 识别规则>管理识别规则。在 管理识别规则 页面中，单击 ...
管理数据
您也可以使用批量导入功能添加数据域。具体操作，请参见 更多操作。登录 数据安全中心控制台。在左侧导航栏，选择 资产中心>数据管理。在 自定义数据域 右侧，单击 添加。在 添加数据域 对话框，填写数据域名称和描述信息，并单击 确定。...
SQL变更
fac.insert_rows 插入数据的影响行数。fac.update_delete_rows 更新数据的影响行数。fac.max_alter_table_size 修改表中，最大的表空间大小。fac.is_has_security_column SQL脚本中是否包含敏感列。fac.security_column_list SQL脚本中包含...
使用DataWorks
添加目标数据源 请根据MaxCompute导出的目标数据源类型，完成添加数据源操作。更多添加数据源操作，请参见 配置数据源。创建业务流程 在DataWorks上创建业务流程，为创建离线同步任务做准备。登录 DataWorks控制台，单击左侧导航栏的 数据...
SQL Server数据源
} },"order":{"hops":[{"from":"Reader","to":"Writer"}]} } Writer脚本参数 参数 描述 是否必选 默认值 datasource 数据源名称，脚本模式支持添加数据源，此配置项填写的内容必须要与添加的数据源名称保持一致。是 无 table 选取的需要...
关系数据库全量入湖
本文为您介绍如何在数据湖构建（Data Lake Formation，简称DLF）中使用关系数据库全量入湖任务将RDS或PolarDB数据批量同步到数据湖中。重要 数据入湖功能已经停止更新，如果您有数据入湖需求请参考：数据入湖停止更新公告。前提条件 已开通...
导入结构和数据
背景信息 ODC 支持批量导入数据库对象的结构和数据。通过 ODC 导入任务可以分别导入数据库对象的结构和数据、仅导入数据或者仅导入结构。导入结构和数据：同时导入数据库对象的定义语句及其数据。仅导入数据：仅导入表/视图对象的数据。仅...
管理数据
添加数据 添加数据支持 单条添加 和 批量导入。单条添加 进入管理数据页面。在 数据 管理 页面，单击 添加数据，选择 单条添加。在新增表单页面，输入数据并单击 提交。批量导入 进入管理数据页面。在 数据 管理 页面，单击 添加数据，选择...
JDBC数据服务问题
本文汇总了一些高频问题，帮助您更顺畅的了解JDBC数据服务。查询结果字段可以支持逻辑运算结果吗？支持。不同的 数据服务类别 会返回不同的查询结果参数：单表查询：可以将查询结果参数的 表别名字段名 直接配置为需要的字段逻辑运算表达式...
湖仓一体
本章节介绍如何通过 云数据库SelectDB 提供的联邦查询技术，对数据湖、数据库、远端文件等外部数据源进行联邦分析。为您提供简单、快速的数据分析体验。概述 云数据库SelectDB 提供多源数据目录功能（Multi-Catalog或Catalog），支持对接...
数据传输服务概述
数据传输服务是MaxCompute数据进出的最重要通道，其中包括适用于批量操作的普通Tunnel和适用于流式写入的Stream Tunnel，同时在所有Region提供免费限量使用的数据传输服务共享资源组，也提供数据传输服务（包年包月）独享资源组，供您采购...
导出结构和数据
背景信息 ODC 支持批量导出数据库对象的结构和数据。通过 ODC 导出任务可以分别导出数据库对象的结构和数据、仅导出数据或者仅导出结构。导出结构和数据：同时导出数据库对象的定义语句及其数据。仅导出数据：仅导出表/视图对象的数据。仅...
Oracle数据源
增量数据同步的方式 Oracle Reader使用JDBC SELECT语句完成数据抽取工作，因此您可以使用 SELECT…WHERE…进行增量数据抽取，方式如下：数据库在线应用写入数据库时，填充modify字段为更改时间戳，包括新增、更新、删除（逻辑删除）。...
填充数据库
第一次填充数据库时可能需要插入大量的数据。本节包含一些如何让这个处理尽可能高效的建议。1.禁用自动提交 在使用多个 INSERT 时，关闭自动提交并且只在最后做一次提交（在普通 SQL 中，这意味着在开始发出 BEGIN 并且在结束时发出 COMMIT...
PostgreSQL数据源
} },"order":{"hops":[{"from":"Reader","to":"Writer"}]} } PostgreSQL Reader脚本参数 参数 描述 是否必选 默认值 datasource 数据源名称，脚本模式支持添加数据源，此配置项填写的内容必须与添加的数据源名称保持一致。是 无 table 选取...
SQL处理优化
数据操作DML 数据批量写入以及数据批量修改，都可通过SQL DML执行。SQL引擎对于操作Transactional Table 2.0的DML语法也是做了专门的改造开发，包括特定语法的解析，特定算子的Planner优化，针对pk列的去重逻辑，以及runtime构造Upsert格式...
- 产品推荐
- 这些文档可能帮助您