动态加载UDF
操作流程 步骤一：环境准备 步骤二：增加UDF 步骤三：删除UDF 步骤一：环境准备 将UDF对应的JAR包文件放在对应的文件系统中。目前UDF文件支持以下两种方式：方式一：将UDF的全部内容打成一个JAR包（例如，udfjar.jar），上传到文件系统中。...
UDF示例：兼容Hive
假设Hive UDF对应的JAR包名称为test.jar。操作步骤 安装并登录MaxCompute客户端。将 Hive UDF代码示例 通过Hive平台编译为JAR包，执行如下命令将Hive UDF JAR包添加为MaxCompute资源。添加资源。add jar test.jar;更多添加资源信息，请参见...
社区版CDC
说明 您也可以前往 Maven中央仓库 下载对应的JAR包。登录 实时计算控制台，并在左侧导航栏单击 数据连接。在 数据连接 页面，单击 创建自定义连接器，并上传第2步中下载的JAR文件。详情请参见 管理自定义连接器。编写SQL作业时，将社区版...
Python作业开发
如果Python作业中依赖第三方JAR包，请确保使用Scala版本对应的JAR包依赖。作业开发 开发参考 您可以参见以下文档在本地完成Flink业务代码开发，开发完成后您需要将其上传到Flink开发控制台，并部署上线作业。Apache Flink V1.17业务代码...
自定义标量函数（UDSF）
仅支持开源Scala V2.11版本，如果Python作业中依赖第三方JAR包，请确保使用Scala V2.11对应的JAR包依赖。UDSF开发 说明 Flink为您提供了Python自定义函数示例，便于您快速开发自定义函数。Flink Python自定义函数示例中包含了Python UDSF、...
Impala使用JindoSDK查询OSS-HDFS服务中的数据
以下以解压 jindosdk-x.x.x-linux.tar.gz 为例，如使用其他版本的JindoSDK，请替换为对应的JAR包名称。tar zxvf jindosdk-x.x.x-linux.tar.gz 说明 x.x.x表示JindoSDK JAR包版本号。可选：如果您的环境中未包含Kerberos和SASL相关依赖，则...
Spark作业异常排查及处理
Spark作业出现java.lang.ClassNotFoundException 根据Class的信息找到对应的JAR包，并通过以下方案处理：方案1：提交Spark任务时，使用-jars 把JAR包提交上去。方案2：使用 spark.driver.extraclasspath 和 spark.executor.extraclasspath ...
自定义表值函数（UDTF）
仅支持开源Scala V2.11版本，如果Python作业中依赖第三方JAR包，请确保使用Scala V2.11对应的JAR包依赖。UDTF开发 说明 Flink为您提供了Python UDX示例，便于您快速开发UDX。Flink Python UDX示例中包含了Python UDF、Python UDAF和Python ...
Java程序如何连接RDS MySQL
通过 官方网站 下载，将对应的Jar包引入到构建目录。通过代码 您可以通过代码连接云数据库RDS MySQL版的测试程序，示例代码如下。import java.sql.Connection;import java.sql.DriverManager;import java.sql.ResultSet;import java.sql....
Trino使用JindoSDK查询OSS-HDFS服务中的数据
以下以解压 jindosdk-x.x.x-linux.tar.gz 为例，如使用其他版本的JindoSDK，请替换为对应的JAR包名称。tar zxvf jindosdk-x.x.x-linux.tar.gz 说明 x.x.x表示JindoSDK JAR包版本号。可选：如果您的环境中未包含Kerberos和SASL相关依赖，则...
Spark使用JindoSDK查询OSS-HDFS服务中的数据
以下以解压 jindosdk-x.x.x-linux.tar.gz 为例，如使用其他版本的JindoSDK，请替换为对应的JAR包名称。tar zxvf jindosdk-x.x.x-linux.tar.gz 说明 x.x.x表示JindoSDK JAR包版本号。可选：如果您的环境中未包含Kerberos和SASL相关依赖，则...
自定义聚合函数（UDAF）
仅支持开源Scala V2.11版本，如果Python作业中依赖第三方JAR包，请确保使用Scala V2.11对应的JAR包依赖。UDAF开发 说明 Flink为您提供了Python UDX示例，便于您快速开发UDX。Flink Python UDX示例中包含了Python UDF、Python UDAF和Python ...
访问Kafka数据源
本文介绍如何使用 AnalyticDB MySQL 湖仓版（3.0）Spark...操作步骤 分别下载与Kafka和 AnalyticDB MySQL Spark实例版本对应的JAR包。下载链接，请参见 Kafka-clients 和 Spark-sql-kafka-0-10。在pom.xml文件的dependencies中添加依赖项。...
HBase使用OSS-HDFS服务作为底层存储
以下以解压 jindosdk-x.x.x-linux.tar.gz 为例，如使用其他版本的JindoSDK，请替换为对应的JAR包名称。tar-zxvf jindosdk-x.x.x-linux.tar.gz-C/usr/lib 说明 x.x.x表示JindoSDK JAR包版本号。配置 JINDOSDK_HOME。export JINDOSDK_HOME=...
Trino扩缩容
包含Trino组件的集群，当查询速度不符合数据处理要求，或某些大查询超出内存总量限制，且调整配置参数也...此时执行DROP JAR可能会报错，这是因为在新扩容的节点上未找到对应的JAR，忽略即可。包含对应JAR的Worker节点均能够成功执行此操作。
访问Elasticsearch数据源
使用Scala连接阿里云Elasticsearch 下载与阿里云Elasticsearch实例版本对应的JAR包，下载链接，请参见 Elasticsearch Spark。本文下载的示例JAR包为Elasticsearch-spark-30_2.12-7.17.9.jar。在pom.xml文件的dependencies中添加依赖项。...
Phoenix全增量迁移
如果源表带有 coprocessor,在创建目标表的时候需要确保目标集群包含coprocessor对应的jar包。准备工作 检查源集群、目标集群、LTS的网络连通性。添加Phoenix数据源。登录LTS操作页面。创建任务 在左侧导航选择 Lindorm/HBase迁移>Phoenix->...
冷热分层存储
以下以 jindosdk-x.x.x-linux 为例，如使用其他版本的JindoSDK，请替换为对应的JAR包名称。cd jindosdk-x.x.x-linux/bin/说明 x.x.x表示JindoSDK JAR包版本号。授予bin目录下的 jindo-util 文件的读、写、执行的权限。chmod 700 jindo-util...
全增量数据同步
如果源表带有coprocessor,在创建目标表的时候需要确保目标集群包含coprocessor对应的jar包。准备工作 检查源集群、目标集群、LTS的网络连通性。添加HBase、Lindorm数据源。登录LTS操作页面。创建任务 在左侧导航选择 Lindorm/HBase迁移>一...
基础使用
该模式与Per-Job模式不同的是，Application对应的JAR包中的 main()方法会在集群中的Job Manager中被执行。如果提交的JAR包中包含多个作业，则这些作业都会在该Application所属的集群中执行。优点：可以减轻客户端提交作业时的负担。缺点：...
接入阿里云ECS自建数据库实例
本文介绍如何在数据库自治服务DAS中接入阿里云ECS自建数据库。前提条件 DAS目前支持接入的ECS自建数据库引擎有：MySQL PostgreSQL MongoDB Redis 说明 目前DAS仅支持接入6.0及以下版本的自建Redis。部署数据库实例的ECS与DAS属于同一个阿里...
手动添加DBS IP地址至数据库白名单
手动添加 当源或目标数据库类型为 有公网IP:Port的自建数据库 时，且您的自建数据库具备白名单等安全设置，您需要手动将DBS IP地址添加到自建数据库对应的安全设置（通常为您自建数据库的防火墙）中。当源或目标数据库为 通过专线/VPN网关/...
DBVisualizer（2.0版）
Database Port 数据库对应的端口号。Database 数据库的名字。Database Userid 阿里云账号或者已授权RAM子账号的Access Key ID。Database Password 阿里云账号或者已授权RAM子账号的Access Key Secret。完成上述参数配置后，单击 Ping ...
添加 Oracle 数据源的白名单
实例类型为 数据库网关 时，选择目标 网关名称 和 数据库实例 后，单击复制图标，复制数据库实例对应的 VPC ID。进入云服务器 ECS 控制台的 安全组 页面，在 创建安全组 右侧的下拉列表中选择 专有网络 ID，粘贴 VPC ID 筛选安全组。单击...
使用MongoDB工具将自建数据库迁移至副本集实例
Mongodump和Mongorestore是MongoDB数据库自带的备份恢复工具。您可以在本地设备或ECS实例中安装MongoDB数据库，然后借助该工具将自建MongoDB数据库迁移至阿里云MongoDB副本集实例。推荐 使用DTS迁移副本集架构的自建MongoDB数据库上云，可...
使用MongoDB工具将自建数据库迁移至分片集群实例
Mongodump和Mongorestore是MongoDB数据库自带的备份恢复工具。您可以在本地设备或ECS实例中安装MongoDB数据库，然后借助该工具将自建MongoDB数据库迁移至阿里云MongoDB分片集群实例。背景信息 建议通过DTS迁移分片集群架构的自建MongoDB...
使用MongoDB工具将自建数据库迁移至单节点实例
推荐使用DTS迁移单节点架构的自建MongoDB数据库上云，可实现不停机迁移上云，操作步骤，请参见 云数据库MongoDB版（单节点架构）全量迁移至云数据库MongoDB版（所有架构）。更多数据迁移或同步场景的解决方案，请参见 数据迁移和同步方案...
缺少部分库表信息的原因
如果RDS MySQL数据库，在使用DAS空间相关功能的时候，发现某些库或者表没有显示出来，可能是因为您授予给DAS的数据库账号没有对应库表的Select权限。查看方式 直接通过命令确认：例如账号名称是das_test@'%'，show grants for das_test@'%'...
通过Mongo Shell连接MongoDB分片集群实例
Mongo Shell是MongoDB数据库自带的数据库管理工具，您可以在本地或ECS上安装Mongo Shell工具，然后通过Mongo Shell连接MongoDB分片集群实例。前提条件 为保障鉴权成功，请安装与MongoDB实例版本相对应的Mongo Shell版本，下载链接和安装...
通过Mongo Shell连接MongoDB单节点实例
Mongo Shell是MongoDB自带的数据库管理工具，您可以将Mongo Shell工具下载并安装至客户端（本地服务器或ECS服务器），用于连接云数据库MongoDB单节点实例。本文介绍通过Mongo Shell连接云数据库MongoDB单节点实例的方法。前提条件 已创建云...
分片集群实例连接说明
登录MongoDB数据库 获取如下信息：数据库连接地址，获取方法请参见 数据库连接地址。数据库账号，初始账号为root。重要 不建议在生产环境中直接使用root账号连接数据库。您可以根据业务需求创建用户并分配权限，详情请参见 使用DMS管理...
使用Mongo Shell通过SSL加密连接数据库
在使用Mongo Shell连接数据库时，您可以启用SSL（Secure Sockets Layer）加密功能提高数据链路的安全性。通过SSL加密功能可以在传输层对网络连接进行加密，在提升通信数据安全性的同时，保障数据的完整性。前提条件 实例类型为副本集实例，...
元数据管理常见问题
java.net.UnknownHostException: *”问题分析：由于在之前的集群上创建了Hive的数据库，并且数据库的位置是落在之前集群的HDFS之上，但是在集群释放的时候，没有清理掉对应的Hive Database，导致新建集群之后，无法访问到之前已经释放集群...
使用DTS将MongoDB Atlas数据库迁移至阿里云
本文介绍如何使用数据传输服务DTS（Data Transmission Service），将MongoDB Atlas数据库增量迁移至阿里云。DTS支持全量数据迁移和增量数据迁移，同时选择这两种迁移类型可以实现在不停服的情况下，平滑地完成MongoDB Atlas数据库的迁移。...
连接到数据库
DATABASE 数据库名称，可选。数据库账号 数据库的授权账号名称。数据库密码 数据库账号名对应的密码。说明 您可以选中 记住密码，方便之后再次登录时，无需输入对应的数据库账号和密码即可自动登录。管控模式 可选择 自由操作、稳定变更 或...
跨阿里云账号迁移MongoDB实例
如果您的数据库小版本过期或者不在维护列表内，当执行 实例版本升级、数据迁移、变更实例配置、按备份点将备份数据恢复至新建实例、按时间点将备份数据恢复至新建实例 或 恢复云数据库MongoDB单个或多个数据库 等操作时，为保证提供更出色...
管理实例
PolarDB-X 1.0计算资源主实例 的数据库完成平滑库扩容以后，默认会选择目标 PolarDB-X 1.0存储资源主实例 作为 PolarDB-X 1.0计算资源只读实例 上对应的存储实例，请尽快将该 PolarDB-X 1.0存储资源主实例 切换为对应的 PolarDB-X 1.0存储...
迁移MongoDB实例至其他地域
警告 如果源或目标数据库是阿里云数据库实例（例如RDS MySQL、云数据库MongoDB版等）或ECS上的自建数据库，DTS会自动将对应地区DTS服务的IP地址添加到阿里云数据库实例的白名单或ECS的安全规则中，您无需手动添加，请参见 DTS服务器的IP...
添加 MySQL 数据源的白名单
实例类型为 数据库网关 时，选择目标 网关名称 和 数据库实例 后，单击复制图标，复制数据库实例对应的 VPC ID。进入云服务器 ECS 控制台的 安全组 页面，在 创建安全组 右侧的下拉列表中选择 专有网络 ID，粘贴 VPC ID 筛选安全组。单击...
添加 Oracle 数据库的白名单
本文为您介绍如何添加 VPC 内自建数据库类型 Oracle 数据库的白名单。背景信息 Oracle>>OceanBase Oracle Mode 的实例类型包括 VPC 内自建数据库 和 公网 IP 自建数据库。公网 IP 是 OMA 服务的公网出口，仅访问公网数据源时，需要添加白...
- 产品推荐
- 这些文档可能帮助您