通过缓存优化性能
Delta缓存通过使用快速中间数据格式在节点的本地存储中创建远程文件的副本来加速数据读取。每当需要从远程位置获取文件时，数据都会自动缓存。然后在本地的连续读取上述数据，从而显著提高读取速度。说明 详细内容可参考Databricks官网文章...
MaxCompute数据源
MaxCompute数据源作为数据中枢，为您提供读取和写入数据至MaxCompute的双向通道。使用限制 说明 DataWorks的MaxCompute数据源可使用 Tunnel Endpoint 地址访问相应MaxCompute项目的Tunnel服务，从而通过上传、下载等方式同步该项目的数据。...
SpringJPA 连接 OceanBase 数据库
其余部分略->application.properties 文件 内容如下（仅数据源和 jpa 部分配置）：spring.datasource.url=jdbc:oceanbase:/xxx.xxx.xxx.xxx:1521 spring.datasource.username=a*spring.datasource.password=*spring.datasource.driver-...
SpringJPA 连接 OceanBase 数据库
其余部分略->application.properties 文件 内容如下（仅数据源和 jpa 部分配置）：spring.datasource.url=jdbc:mysql:/xxx.xxx.xxx.xxx:3306/test spring.datasource.username=a*spring.datasource.password=*spring.datasource.driver-...
创建多物理表服务单元
注意事项 只有当主物理表与非主物理表中某字段值和字段类型相同时，后续基于该多物理表服务单元创建的API才可以实现联合数据查询，否则无法实现联合数据查询。步骤一：选择服务单元类型 在Dataphin首页，单击顶部菜单栏 服务。系统默认进入...
模块配置文件
内容包括：Java 代码 Spring 配置文件 SOFABoot 子模块标识 SOFABoot 特有的配置。这些特有的配置，让一个 JAR 包能够被 SOFABoot 识别，使之具备模块化的能力。主要包含下述 2 部分内容：properties 配置文件。说明如下：路径：位于可部署...
通过向导模式配置离线同步任务
数据集成提供向导式的开发引导，您无需编写任何代码，通过在界面勾选数据来源与去向，并结合DataWorks调度参数，实现将源端单表或分库分表的全量或增量数据周期性同步至目标数据表。本文为您介绍向导模式配置离线同步任务的常规配置，各...
NFS协议
NFS概念 NFS（Network File System），即网络文件系统协议，是一种分布式文件系统协议，通过NFS协议，您可以像访问本地文件一样访问远端系统上的文件。Linux操作系统和容器建议使用NFS协议类型的文件系统。如果使用SMB协议类型的文件系统，...
Tablestore Stream数据源
DataWorks数据集成支持使用Tablestore Stream Reader读取Tablestore的增量数据，本文为您介绍DataWorks的Tablestore Stream数据读取能力。数据同步前准备：Tablestore Stream环境准备 使用Tablestore Stream插件前，您必须确保Tablestore表...
通过脚本模式配置离线同步任务
当您需要实现更精细化的配置管理时，您可以使用脚本模式配置离线同步任务，通过编写数据同步的JSON脚本并结合DataWorks调度参数使用，将源端单表或分库分表的全量或增量数据周期性同步至目标数据表。本文为您介绍脚本模式配置离线同步任务...
通过Logstash导入数仓版
Logstash是开源的服务器端数据处理管道，能够同时从多个数据源采集数据，然后对数据进行转换，并将数据写入指定的存储中。AnalyticDB MySQL 完全兼容MySQL，您可以将Logstash Input插件支持的任一数据源中的数据写入 AnalyticDB MySQL。...
文件数据源
文件数据源功能通常与数据配置节点功能搭配使用，用于需要自定义压测请求的场景，例如使用指定用户模拟登录场景等。本文介绍如何使用文件数据源。背景信息 使用文件数据源功能需将参数文件上传至PTS控制台或OSS上，参数文件规范如下：文件...
深度解析PolarDB数据库并行查询技术
如何将查询并行起来 对于一个类OLAP的查询，它通常是对大批量数据的查询，数据量大意味着数据远大于数据库的内存容量，大部分数据可能无法缓存到数据库的缓冲区中，而必须在查询执行时才动态加载到缓冲区中，这样就会造成大量IO操作，而IO...
概述
只读实例：在对数据库有少量写请求，但有大量读请求的应用场景下，单个实例可能无法承受读取压力，甚至对业务产生影响。为了实现读取能力的弹性扩展，分担数据库压力，您可以创建一个或多个只读实例，利用只读实例满足大量的数据库读取需求...
文件数据源
文件数据源功能通常与数据配置节点功能搭配使用，用于需要自定义压测请求的场景，例如使用指定用户模拟登录场景等。本文介绍如何使用文件数据源。使用限制 PTS压测场景和MSE网关压测场景可以添加数据配置节点，其他压测场景不支持添加。...
离线同步能力说明
数据集成的离线同步功能为您提供数据读取（Reader）和写入插件（Writer），方便您通过定义来源与去向数据源，并结合DataWorks调度参数使用，将源端数据库中全量或增量数据的同步至目标数据库中。本文为您介绍离线同步的相关能力。使用限制 ...
HikariCP 连接池连接 OceanBase 数据库示例程序
在 main 方法中，通过读取 db.properties 文件来配置 HikariCP 连接池，并获取数据库连接。然后依次调用了一系列的方法来创建表、插入数据、查询数据、更新数据和删除数据。如果在操作过程中发生 SQLException 异常，则会打印异常信息的...
创建元数据
背景信息 HBase、Elasticsearch和MongoDB数据源为非关系型数据源，基于这三种数据源创建服务单元时无法直接读取到数据源的数据，因此在基于HBase、Elasticsearch或MongoDB数据源创建服务单元之前，需要先创建对应数据源中数据表的元数据。...
采集数据
3、配置调度属性 通过以下配置实现调度场景下，每日00:15将存储在OSS的 user_log.txt 文件数据通过数据集成同步至MaxCompute的 ods_raw_log_d 表对应时间分区。配置调度参数：bizdate=$bizdate，获取前一天的日期，格式为 yyyymmdd。配置...
配置FTP输入组件
FTP输入组件适用于从FTP中将数据读取至大数据平台对接的存储系统内，进行数据整合和再加工。本文为您介绍如何配置FTP输入组件。前提条件 已创建FTP数据源，详情请参见 创建FTP数据源。进行FTP输入组件属性配置的账号，需具备该数据源的同步...
配置FTP输入组件
FTP输入组件适用于从FTP中将数据读取至大数据平台对接的存储系统内，进行数据整合和再加工。本文为您介绍如何配置FTP输入组件。前提条件 已创建FTP数据源，详情请参见 创建FTP数据源。进行FTP输入组件属性配置的账号，需具备该数据源的同步...
只读副本概述
应用场景 当出现如下场景时，用户可以考虑购买 OceanBase 只读副本以应对业务需要：场景一：系统面临大规模的读请求，且当前 OceanBase 集群实例中的备副本已无法满足业务日益增长的读负载，导致响应时间延长、影响用户体验。此时，需要...
采集数据
3、配置调度属性 通过以下配置实现调度场景下，每日00:15将存储在OSS的 user_log.txt 文件数据通过数据集成同步至MaxCompute的 ods_raw_log_d 表对应时间分区。配置调度参数：bizdate=$bizdate，获取前一天的日期，格式为 yyyymmdd。配置...
实时同步任务延迟解决方案
说明 实时同步任务从一个系统读数据，并将数据写入另一个系统，当写数据比读数据慢时，则读数据一侧的系统会受到反压，导致速度变慢。即造成瓶颈的系统可能会由于反压导致另一侧系统的一些异常，此时要优先关注造成瓶颈的系统的异常情况。...
设置透明数据加密TDE
TDE可对数据文件执行实时I/O加密和解密，数据在写入磁盘之前进行加密，从磁盘读入内存时进行解密。TDE不会增加数据文件的大小，开发人员无需更改任何应用程序，即可使用TDE功能。前提条件 集群版本为 PolarDB PostgreSQL版。已开通KMS。...
概述
OceanBase 云数据库集群实例可以通过添加备实例，组成一主多备的集群网络，主备实例之间保持数据同步，进一步提升数据库的高可用能力。原理介绍 主备实例架构为一主（Primary）多备（Physical_Standby），备实例不支持级联添加备实例。主备...
设置透明数据加密TDE
TDE可对数据文件执行实时I/O加密和解密，数据在写入磁盘之前进行加密，从磁盘读入内存时进行解密。TDE不会增加数据文件的大小，开发人员无需更改任何应用程序，即可使用TDE功能。前提条件 集群版本为 PolarDB PostgreSQL版（兼容Oracle）。...
什么是RDS MySQL
只读实例：在对数据库有少量写请求，但有大量读请求的应用场景下，单个实例可能无法承受读取压力，甚至对业务产生影响。为了实现读取能力的弹性扩展，分担数据库压力，您可以创建一个或多个只读实例，利用只读实例满足大量的数据库读取需求...
接入Spring Cloud Gateway应用
Spring Cloud Gateway应用可以通过SDK接入的方式接入AHAS网关防护。将Spring Cloud Gateway应用接入AHAS网关防护后，可以对其配置流控规则来保证系统稳定性。本文介绍如何使用SDK方式将Spring Cloud Gateway应用接入网关防护。操作步骤 ...
二级索引
为数据表创建二级索引后，您可以使用索引表、查看索引表信息、使用索引表查询数据以及删除索引表。前提条件 已创建数据表，且数据表的最大版本数（max Versions）必须为1。已为数据表创建预定义列。创建二级索引 说明 二级索引包括全局二级...
接入Spring Cloud Zuul应用
Spring Cloud Zuul应用可以通过SDK接入的方式接入AHAS网关防护。将Spring Cloud Zuul应用接入AHAS网关防护后，可以对其配置流控规则来保证系统稳定性。本文介绍如何使用SDK方式将Spring Cloud Zuul应用接入网关防护。操作步骤 登录 AHAS...
数据操作
创建数据表后，您可以通过命令行工具在数据表中插入新数据、更新一行数据、读取数据、删除一行数据、扫描数据以及导入导出数据。插入新数据 在表中插入新数据。您也可以通过导入JSON格式的配置文件来插入新数据到表中。命令格式 put-pk '...
目录和文件访问权限
文件存储 HDFS 版 为目录和文件提供了一种访问权限，该访问权限类似于POSIX文件系统的权限模型。本文简要介绍访问权限的概念、使用方式及其相关注意事项。访问权限介绍 文件存储 HDFS 版 文件系统中的每一个文件或者目录会关联到三个权限...
OSS数据源
背景信息 使用文件数据源功能需将参数文件上传至PTS控制台或OSS上，参数文件规范如下：文件格式支持CSV及ZIP格式，ZIP压缩包内的文件需是以CSV结尾的单个文件。说明 请勿直接修改XLSX文件的后缀。推荐使用EXCEL、Numbers等软件导出，或使用...
OSS数据源
背景信息 使用文件数据源功能需将参数文件上传至PTS控制台或OSS上，参数文件规范如下：文件格式支持CSV及ZIP格式，ZIP压缩包内的文件需是以CSV结尾的单个文件。说明 请勿直接修改XLSX文件的后缀。推荐使用EXCEL、Numbers等软件导出，或使用...
TensorFlow常见问题
Python不支持读取OSS数据，因此所有调用Python Open()及 os.path.exist()等文件和文件夹操作函数的代码都无法执行。例如 Scipy.misc.imread()及 numpy.load()等。通常采用以下两种方式在PAI中读取数据：使用tf.gfile下的函数，适用于简单...
外部表常见问题
问题类别 常见问题 OSS外部表 自定义Extractor在读取非结构化数据时，如果数据字段存在DATETIME类型，报错ODPS-0123131，如何解决？在MaxCompute上访问OSS外部表，编写UDF本地测试通过，上传后报错内存溢出，如何解决？通过外部表处理OSS...
设置透明数据加密TDE
在安全合规或静态数据加密等场景下，推荐使用透明数据加密TDE（Transparent Data Encryption）功能，对数据文件执行实时I/O加密和解密，通过在数据库层执行静态数据加密，阻止可能的攻击者绕过数据库直接从存储中读取敏感信息，有效提高...
基于MSE实现微服务应用无损上下线
apiVersion:apps/v1 kind:Deployment metadata:labels:app:spring-cloud-a name:spring-cloud-a spec:replicas:2 selector:matchLabels:app:spring-cloud-a template:metadata:labels:app:spring-cloud-a msePilotCreateAppName:spring-...
Commons Pool 连接 OceanBase 数据库示例程序
本文将介绍如何使用 Commons Pool、MySQL Connector/J 和 OceanBase 数据库构建一个应用程序，实现基本的数据库操作，包括创建表、插入数据、更新数据、删除数据、查询数据和删除表等。点击下载 commonpool-mysql-client 示例工程 前提条件...
- 产品推荐
- 这些文档可能帮助您