从自建Redis迁移至阿里云Redis
本文介绍如何使用数据传输服务DTS（Data Transmission Service），将自建Redis迁移至阿里云Redis实例。DTS支持全量数据迁移以及增量数据迁移，同时使用这两种迁移类型可以实现在自建应用不停服的情况下，平滑地完成自建Redis数据库的迁移...
从自建Redis迁移至Tair实例
EXPIRE key seconds PEXPIRE key milliseconds EXPIREAT key timestamp PEXPIREAT key timestampMs 使用Slave节点 当源自建Redis的 实例模式 为 集群版 时，您可以选择从Master或Slave节点读取数据，默认为 否，即从Master读取数据。...
离线同步任务调优
本文为您介绍影响数据同步速度的因素、如何通过调整同步任务的并发配置来实现同步速度最大化、作业的限速选项，以及数据同步过慢的场景。文档概述 同步速度受同步任务本身配置、数据库、网络等多方面影响，详情请参见：数据同步速度的影响...
GetRow
调用GetRow接口根据指定的主键读取单行数据。请求消息结构 message GetRowRequest { required string table_name=1;required bytes primary_key=2;Plainbuffer编码为二进制。repeated string columns_to_get=3;不指定则读出所有的列。...
读取OSS数据
在成功创建了OSS外部表后，您可以访问和查询存储在OSS指定目录下的数据文件，实现高效的数据读取操作。背景信息 完成OSS外部表创建后，您可以根据需要选择如下方式之一对OSS外部表进行操作：（推荐）方式一：将OSS的开源格式数据导入...
工作组成员管理
角色 包括工作组管理员、工作组开发者、工作组分析员、元数据读取、数据读取、数据变更。其中，元数据读取、数据读取和数据变更是专业模式下的角色。工作组管理员：工作组的管理者，拥有工作组内的所有权限。工作组开发者：拥有工作组内的...
工作组成员管理
角色 包括工作组管理员、工作组开发者、工作组分析员、元数据读取、数据读取、数据变更。其中，元数据读取、数据读取和数据变更是专业模式下的角色。工作组管理员：工作组的管理者，拥有工作组内的所有权限。工作组开发者：拥有工作组内的...
权限列表
工作组成员管理角色包括：工作组管理员、工作组开发者、工作组分析员、元数据读取、数据读取、数据变更。全局成员管理配置角色包括：租户管理员、租户访客、租户数据资产管理员、租户运维人员、租户一般用户。对号（√）表示支持，叉号（X...
权限列表
工作组成员管理角色包括：工作组管理员、工作组开发者、工作组分析员、元数据读取、数据读取、数据变更。全局成员管理配置角色包括：租户管理员、租户访客、租户数据资产管理员、租户运维人员、租户一般用户。对号（√）表示支持，叉号（X...
Alibaba Cloud Linux 3系统的NFS文件系统读取文件性能...
使用 dd 命令从NFS挂载点的文件中读取数据时，Alibaba Cloud Linux 3比Alibaba Cloud Linux 2用时多。例如：dd if=<nfs_mntpoint>/<testfile>of=dev/null bs=1M 说明 该示例命令表示从NFS挂载点的testfile文件中读取数据，并将其发送到/dev...
配置Hologres输入组件
同步Hologres数据源的数据至其他数据源的场景中，您需要先配置Hologres输入组件读取的数据源，再配置数据同步的目标数据源。本文为您介绍如何配置Hologres输入组件。前提条件 已创建Hologres数据源，如何创建，请参见 创建Hologres数据源。...
背景信息以及准备工作
您还可以在DLA中创建 云数据库 Redis 版（简称Redis）的数据库连接（映射数据库），然后通过MySQL客户端或者MySQL命令行工具连接DLA，使用标准SQL语句操作Redis数据库数据。本文档将以DLA读取Redis中CSV和JSON两中类型的数据为例，介绍如何...
配置Hologres输入组件
同步Hologres数据源的数据至其他数据源的场景中，您需要先配置Hologres输入组件读取的数据源，再配置数据同步的目标数据源。本文为您介绍如何配置Hologres输入组件。前提条件 已创建Hologres数据源，如何创建，请参见 创建Hologres数据源。...
配置Teradata输入组件
同步Teradata数据源的数据至其他数据源的场景中，您需要先配置Teradata输入组件读取的源数据源信息，再配置数据同步的目标数据源。本文为您介绍如何配置Teradata输入组件。使用限制 不支持读取Teradata数据库的视图。前提条件 在开始执行...
查询诊断
您也可以根据需求选择按照占用内存、磁盘读取数据量、磁盘读取数据耗时、网络传输数据量、网络传输数据耗时对算子排序以及计算整体比例。算子统计信息介绍如下：名称 说明 算子名称 算子名称与编号，在计划树中唯一。类型ID 算子类型编号。...
配置ClickHouse输入组件
同步ClickHouse数据源的数据至其他数据源的场景中，您需要先配置ClickHouse输入组件读取的数据源信息，再配置数据同步的目标数据源。本文为您介绍如何配置ClickHouse输入组件。前提条件 在开始执行操作前，请确认您已完成ClickHouse数据源...
配置Teradata输入组件
同步Teradata数据源的数据至其他数据源的场景中，您需要先配置Teradata输入组件读取的源数据源信息，再配置数据同步的目标数据源。本文为您介绍如何配置Teradata输入组件。前提条件 已创建Teradata数据源，如何创建，请参见 创建Teradata...
读取数据
表格存储 提供了GetRow接口用于读取单行数据以及BatchGetRow、GetRange等接口用于读取多行数据。说明 组成表的基本单位为行，行由主键和属性列组成。其中主键是必须的，且每一行的主键列的名称和类型相同；属性不是必须的，且每一行的属性...
创建Redis表并读取数据
本文介绍如何创建Redis的CSV和JSON格式表并读取相关数据。创建CSV格式表 针对Redis中CSV格式的数据，本示例在 DMS for Data Lake Analytics 中创建表dla_person_csv。CREATE EXTERNAL TABLE dla_person_csv(id int,name varchar,age int)...
数据传输与迁移概述
MaxCompute提供多种渠道，以便您从业务系统或外部数据源写入数据到MaxCompute，或者从MaxCompute写出数据到外部系统或外部数据源。数据传输渠道 SDK-Tunnel渠道 外表（湖仓一体）JDBC渠道 场景数据写入MaxCompute 离线数据批量写入（数据...
配置ClickHouse输入组件
同步ClickHouse数据源的数据至其他数据源的场景中，您需要先配置ClickHouse输入组件读取的数据源信息，再配置数据同步的目标数据源。本文为您介绍如何配置ClickHouse输入组件。前提条件 在开始执行操作前，请确认您已完成ClickHouse数据源...
PAI-TF数据IO方式介绍
PAI-TensorFlow支持读取OSS对象存储数据和MaxCompute表数据。警告 公共云GPU服务器即将过保下线，您可以继续提交CPU版本的TensorFlow任务。如需使用GPU进行模型训练，请前往DLC提交任务，具体操作请参见 创建训练任务。读取OSS数据 主流程 ...
外部表常见问题
问题类别 常见问题 OSS外部表 自定义Extractor在读取非结构化数据时，如果数据字段存在DATETIME类型，报错ODPS-0123131，如何解决？在MaxCompute上访问OSS外部表，编写UDF本地测试通过，上传后报错内存溢出，如何解决？通过外部表处理OSS...
Query级别诊断结果
查询返回客户端的数据量较大 查询消耗的内存资源较大 查询生成的Stage个数较多 查询读取的数据量较大 查询返回客户端的数据量较大 问题 大量数据返回到客户端会导致慢查询，还会占用部分网络前端资源。说明 您可以在查询详情页面的 查询...
日志消费与查询区别
区别 对比项目 日志查询 日志消费 查找关键词 支持 不支持 读取少量数据 快 快 读取全量数据 慢（100条日志100ms，不建议通过该方式读取数据。快（1 MB日志10ms，推荐方式。读取是否区分日志主题 区分 不区分，只以Shard作为标识。读取是否...
配置PolarDB输入组件
同步PolarDB数据源的数据至其他数据源的场景中，您需要先配置PolarDB输入组件读取的数据源，再配置数据同步的目标数据源。本文为您介绍如何配置PolarDB输入组件。前提条件 在开始执行操作前，请确认您已完成以下操作：已创建PolarDB数据源...
配置Oracle输入组件
同步Oracle数据源的数据至其他数据源的场景中，您需要先配置Oracle输入组件读取的源数据源信息，再配置数据同步的目标数据源。本文为您介绍如何配置Oracle输入组件。前提条件 在开始执行操作前，请确认您已完成以下操作：已创建Oracle数据...
配置MySQL输入组件
同步MySQL数据源的数据至其他数据源的场景中，您需要先配置MySQL输入组件读取的数据源，再配置数据同步的目标数据源。本文为您介绍如何配置MySQL输入组件。操作步骤 请参见 离线管道组件开发入口，进入离线管道脚本的开发页面。按照下图...
配置PolarDB输入组件
同步PolarDB数据源的数据至其他数据源的场景中，您需要先配置PolarDB输入组件读取的数据源，再配置数据同步的目标数据源。本文为您介绍如何配置PolarDB输入组件。前提条件 在开始执行操作前，请确认您已完成以下操作：已创建PolarDB数据源...
配置MySQL输入组件
同步MySQL数据源的数据至其他数据源的场景中，您需要先配置MySQL输入组件读取的数据源，再配置数据同步的目标数据源。本文为您介绍如何配置MySQL输入组件。操作步骤 请参见 离线管道组件开发入口，进入离线管道脚本的开发页面。按照下图...
备份对数据库的影响
备份原理与影响 类目 逻辑备份 物理备份 全量备份原理 对每张表数据进行切分，然后在数据库上执行SQL语句，多线程并行读取数据。在数据库所在服务器上安装DBS备份网关，然后通过备份网关将数据库文件进行备份（拷贝）。增量备份原理 支持...
配置Oracle输入组件
同步Oracle数据源的数据至其他数据源的场景中，您需要先配置Oracle输入组件读取的源数据源信息，再配置数据同步的目标数据源。本文为您介绍如何配置Oracle输入组件。操作步骤 请参见 通过离线单条管道配置集成任务，进入离线管道脚本的开发...
BatchGetRow
调用BatchGetRow接口批量读取一个表或多个表中的若干行数据。BatchGetRow操作可视为多个GetRow操作的集合，各个操作独立执行，独立返回结果，独立计算服务能力单元。与执行大量的GetRow操作相比，使用BatchGetRow操作可以有效减少请求的...
配置KingbaseES输入组件
同步KingbaseES数据源的数据至其他数据源的场景中，您需要先配置KingbaseES输入组件读取的数据源，再配置数据同步的目标数据源。本文为您介绍如何配置KingbaseES输入组件。前提条件 已创建KingbaseES数据源，如何创建，请参见 创建...
配置TiDB输入组件
同步TiDB数据源的数据至其他数据源的场景中，您需要先配置TiDB输入组件读取的数据源，再配置数据同步的目标数据源。本文为您介绍如何配置TiDB输入组件。前提条件 已创建TiDB数据源，如何创建，请参见 创建TiDB数据源。进行TiDB输入组件属性...
配置TiDB输入组件
同步TiDB数据源的数据至其他数据源的场景中，您需要先配置TiDB输入组件读取的数据源，再配置数据同步的目标数据源。本文为您介绍如何配置TiDB输入组件。前提条件 已创建TiDB数据源，如何创建，请参见 创建TiDB数据源。进行TiDB输入组件属性...
配置OpenGauss输入组件
同步OpenGauss数据源的数据至其他数据源的场景中，您需要先配置OpenGauss输入组件读取的数据源，再配置数据同步的目标数据源。本文为您介绍如何配置OpenGauss输入组件。前提条件 已创建OpenGauss数据源，如何创建，请参见 创建OpenGauss...
配置StarRocks输入组件
同步StarRocks数据源的数据至其他数据源的场景中，您需要先配置StarRocks输入组件读取的数据源，再配置数据同步的目标数据源。本文为您介绍如何配置StarRocks输入组件。前提条件 已创建StarRocks数据源，如何创建，请参见 创建StarRocks...
配置StarRocks输入组件
同步StarRocks数据源的数据至其他数据源的场景中，您需要先配置StarRocks输入组件读取的数据源，再配置数据同步的目标数据源。本文为您介绍如何配置StarRocks输入组件。前提条件 已创建StarRocks数据源，如何创建，请参见 创建StarRocks...
配置Impala输入组件
同步Impala数据源的数据至其他数据源的场景中，您需要先配置Impala输入组件读取的数据源，再配置数据同步的目标数据源。本文为您介绍如何配置Impala输入组件。前提条件 已创建Impala数据源，如何创建，请参见 创建Impala数据源 进行Impala...
- 产品推荐
- 这些文档可能帮助您