可视化管理资源
MaxCompute Studio的Project Explorer提供了可视化编辑器，可以帮助您快速在MaxCompute项目中添加注册MaxCompute UDF所需的资源，例如表、JAR包、PY脚本或压缩包等，并提供获取及删除资源的入口。本文为您介绍如何通过Project Explorer可视...
离线任务（JAVA）zip包制作指南
其中elastic-test-1.0-SNAPSHOT.jar是由mvn 打包出来的（jar包名称根据实际情况替换），其main class可以参照如下，pom自行编写即可，生成对应elastic-test-1.0-SNAPSHOT.jar即可。（备注：在数据开发配置了输入输出参数时，可以通过环境...
Spark作业配置
emr/checklist/data/wc-counts 32 注意 JAR包保存在OSS中，引用这个JAR包的方式是 ossref:/emr/checklist/jars/emr-checklist_2.10-0.1.0.jar。您可以单击下方的+插入OSS路径，文件前缀 选择 OSSREF，从 文件路径 中进行浏览和选择，系统...
基础术语
Fat JAR Fat JAR Fat JAR 是一种可执行的 JAR 包（Executable JAR），包含编译后的类及代码运行所需依赖 jar 的存档，可以使用 java-jar 命令运行该应用程序。Fat JAR 和普通的 JAR 不同在于它包含了依赖的 JAR 包。Gradle Gradle ...
pom.xml配置
该 fat JAR 包是一个可部署单元，有本地和云端 2 种部署方式：本地部署：可运行 java-jar 命令启动该.jar 包；云端部署：当上传到 SOFAStack 平台进行部署时，只需要上传该 fat JAR 文件，SOFABoot 技术栈会自动配合 SOFAStack 的部署平台...
将TraceId自动写入HTTP Response Header（Java和Node....
如果 可观测链路 OpenTelemetry 版 的扩展不满足您的需求，可以参考此方法实现OpenTelemetry Java Agent扩展并打成JAR包。方法一：开箱即用 扩展下载地址：ot-java-agent-extension-1.28.0.jar。可观测链路 OpenTelemetry 版 已经实现了...
将TraceId自动写入HTTP Response Header（Java和Node....
如果 可观测链路 OpenTelemetry 版 的扩展不满足您的需求，可以参考此方法实现OpenTelemetry Java Agent扩展并打成JAR包。方法一：开箱即用 扩展下载地址：ot-java-agent-extension-1.28.0.jar。可观测链路 OpenTelemetry 版 已经实现了...
管理自定义函数（UDF）
为了避免JAR包依赖冲突，在开发自定义函数时您需要注意以下几点：作业开发页面选择的Flink版本，请和Pom依赖中的Flink版本保持一致。Flink相关依赖，scope请使用provided，即在依赖中添加<scope>provided。其他第三方依赖请采用Shade方式...
元数据性能测试
NNbench的jar包位于${HADOOP_HOME}/share/hadoop/mapreduce目录下，${HADOOP_HOME}为测试机器中的Hadoop 安装目录，NNbench的jar包名为hadoop-mapreduce-client-jobclient-x.x.x-tests.jar，使用方法如下。本文所有命令均在${HADOOP_HOME}/...
Spark
标准的Spark通常使用以下3种配置：spark.jars spark.jars 可以用来指定JAR文件，多个JAR包可以用逗号（,）隔开。您可以把JAR包放在OSS上，也可以放在目标EMR集群的HDFS上。建议您放在OSS上，以便于您的JAR包可以被多个EMR集群共享，即使...
Airflow调度Spark
主文件是入口类所在的JAR包或者Python的入口执行文件。重要 Spark应用主文件目前只支持存储在OSS中。OSS Bucket与AnalyticDB MySQL集群需要在同一地域。class_name 是 Java或Scala程序入口类名称，必填参数。Python不需要指定入口类，非必...
MapReduce常见问题
lib文件夹中也包含了SDK的JAR包，建议您在导入包的时候把最新的客户端工具lib文件夹中的JAR包全部导进来。上传JAR包。将在本地测试通过的MapReduce程序，打成JAR包并上传，假设此JAR包的名称是 mr.jar。更多上传资源操作，请参见 资源操作...
离线任务（JAVA）zip包制作指南
其中elastic-test-1.0-SNAPSHOT.jar是由mvn 打包出来的（jar包名称根据实际情况替换），其main class可以参照如下，pom自行编写即可，生成对应elastic-test-1.0-SNAPSHOT.jar即可。（备注：在数据开发配置了输入输出参数时，可以通过环境...
使用说明
因此，在执行示例程序时，-resources 及-classpath 的参数中都出现了JAR包，但二者意义不同：resources 引用的是Graph作业，运行于分布式环境中。classpath 引用的是main函数，运行于本地，指定的JAR包路径也是本地文件路径。包名之间使用...
Sleep示例
测试准备 准备好测试程序的JAR包，假设名字为 mapreduce-examples.jar，本地存放路径为 data\resources。准备好SleepJob的测试资源。add jar data\resources\mapreduce-examples.jar-f;测试步骤 在MaxCompute客户端中执行Sleep。jar-...
DataFlow集群通过Hive Catalog连接数据湖元数据DLF
当您的集群是EMR-3.43.0之前版本：在 Maven仓库官网 中下载依赖的JAR包，并上传至DataFlow集群中。本示例是上传到/root目录，下载的JAR包为 Jackson Core、Jackson Databind 和 Jackson Annotations。具体版本请根据您实际情况下载，本示例...
编写Graph
说明 本示例将部署到MaxCompute项目的JAR包命名为odps-graph-example-sssp.jar。在MaxCompute客户端，执行如下命令运行SSSP。jar-libjars odps-graph-example-sssp.jar-classpath<LOCAL_JAR_PATH>/odps-graph-example-sssp.jar SSSP 1 sssp...
通过Java Agent接入
说明 Agent接入配置URL收敛：通过启动参数-Dcsp.sentinel.url.clean.config.path 配置文件路径，默认路径为jar包路径下的 ahas-sentinel-url-clean.properties 文件。支持classpath形式，如-Dcsp.sentinel.url.clean.config.path=classpath...
Java SDK使用示例
下载完成后解压，并复制SDK配置文件 connection-profile-standard.yaml 到 java-sdk-demo 中，最终目录结构如下：安装依赖 示例程序中已经包含了fabric-sdk-java的jar包和对应的源码包。可以通过如下命令进行安装：java-sdk-demo-1.4.5 ...
创建EMR MR节点
示例将本文《准备初始数据及JAR资源包》中生成的JAR包存储在JAR资源的存放目录 emr/jars 下。首次使用需要进行 一键授权，然后单击 点击上传 按钮，上传JAR资源。引用EMR JAR资源。打开创建的 EMR MR 节点，停留在代码编辑页面。在 EMR>...
配置扩展文件
阿里云PolarDB O引擎提供了兼容Java 6、Java 7和Java 8三个Java版本的JDBC驱动，分别对应以下三个JAR包：polardb-jdbc16.jar polardb-jdbc17.jar polardb-jdbc18.jar 您可以根据应用使用的JDK版本选择合适的JDBC。PostgreSQL JDBC driver ...
集群吞吐性能测试
TestDFSIO的jar包位于开源Hadoop版本的${HADOOP_HOME}/share/hadoop/mapreduce目录下，其中${HADOOP_HOME}为测试机器中的Hadoop安装目录，jar包名为hadoop-mapreduce-client-jobclient-x.x.x-tests.jar，您可通过执行以下命令，查看...
Java SDK 快速开始
(3)编译打包 运行命令编译打包：mvn package 即可在 target 得到下面 3 个 jar 包：batchcompute-job-log-count-1.0-SNAPSHOT-Split.jar batchcompute-job-log-count-1.0-SNAPSHOT-Count.jar batchcompute-job-log-count-1.0-SNAPSHOT-...
购买证书应用仓库API次数包
配置项 描述 规格数量 规格数量为可使用证书应用仓库功能API的次数，每个次数包的单价不同，次数包越大，单次价格越低。购买数量 数量是指购买次数包的个数。例如，数量为2，规格数量包为1000次，最终可调用的API次数为2000。购买证书应用...
创建EMR Shell节点
示例将本文《准备初始数据及JAR资源包》中生成的JAR包存储在JAR资源的存放目录 emr/jars 下。首次使用需要进行 一键授权，然后单击 点击上传 按钮，上传JAR资源。引用EMR JAR资源。打开创建的 EMR Shell 节点，停留在代码编辑页面。在 EMR>...
使用Flink访问
此处使用Apache Hadoop 2.7.3自带的JAR包 hadoop-mapreduce-examples-2.7.3.jar 中的randomtextwriter方法在文件引擎上生成测试数据。usr/local/hadoop-2.7.3/bin/hadoop jar/usr/local/hadoop-2.7.3/share/hadoop/mapreduce/hadoop-...
使用控制台金丝雀发布应用（K8s）
适用于JAR包和WAR包部署的应用 构建仓库类型 说明 构建仓库类型 功能仅支持容器服务K8s集群下的Java、Tomcat、EDAS-container（HSF）三种应用类型。暂不支持 ACK Serverless集群。需要安装镜像免密拉取组件，具体操作，请参见 使用免密组件...
使用控制台金丝雀发布应用（K8s）
适用于JAR包和WAR包部署的应用 构建仓库类型 说明 构建仓库类型 功能仅支持容器服务K8s集群下的Java、Tomcat、EDAS-container（HSF）三种应用类型。暂不支持 ACK Serverless集群。需要安装镜像免密拉取组件，具体操作，请参见 使用免密组件...
使用控制台金丝雀发布应用（K8s）
适用于JAR包和WAR包部署的应用 构建仓库类型 说明 构建仓库类型 功能仅支持容器服务K8s集群下的Java、Tomcat、EDAS-container（HSF）三种应用类型。暂不支持 ACK Serverless集群。需要安装镜像免密拉取组件，具体操作，请参见 使用免密组件...
Db2 for LUW同步至云原生数据仓库 AnalyticDB ...
数据传输服务DTS（Data Transmission Service）支持将 Db2 for LUW 同步至 云原生数据仓库AnalyticDB PostgreSQL版。前提条件 已创建目标 云原生数据仓库AnalyticDB PostgreSQL版 实例，创建方式请参见 创建实例。若源库数据需要全量同步，...
DescribePropertyScaDetail-查询资产指纹调查中间件...
取值：系统服务 软件库 容器组件 数据库 Web 容器 Jar 包 Web 框架 System Service ProcessStarted long 进程启动的时间戳，单位为毫秒。1596539788 InternetIp string 中间件、数据库或 Web 服务所在服务器的公网 IP。47.42.XX.XX ...
新功能发布记录
云数据库RDS、云原生数据库PolarDB、云数据库MongoDB、云数据库Redis、云原生内存数据库Tair、云原生数据仓库AnalyticDB PostgreSQL版产品的备份恢复功能均由DBS提供，各产品功能动态详情如下。说明 更多产品动态详情，请参见 数据库备份...
RDS MySQL同步至AnalyticDB for PostgreSQL ...
支持的MySQL类型 MySQL同步至 云原生数据仓库AnalyticDB PostgreSQL版 实例，支持以下源库类型。本文以RDS MySQL实例为例介绍配置流程，其他类型的源库配置流程与本教程类似。RDS MySQL 实例。ECS上的自建数据库。通过专线、VPN网关或智能...
自建Oracle同步至云原生数据仓库AnalyticDB ...
数据传输服务DTS（Data Transmission Service）支持将自建Oracle同步至 云原生数据仓库AnalyticDB PostgreSQL版，帮助您构建实时数仓。前提条件 自建Oracle数据库的版本为9i、10g、11g、12c、18c或19c版本。自建Oracle数据库已开启...
数据库对象的逻辑结构
AnalyticDB PostgreSQL 数据库由许多数据库对象组成，包括表（table）、索引（index）、序列（sequence）、视图（view）、以及数据库（database），数据库对象在逻辑上是彼此分离，相互之间可以有包含关系。一个 AnalyticDB PostgreSQL ...
UNI_HASH
描述 使用UNI_HASH分库时，根据分库键的键值直接按分库数取余。如果键值是字符串，则字符串会被计算成哈希值再进行计算，完成路由计算，例如UNI_HASH('8')等价于8%D（D 是分库数目）。说明 按照键值或者哈希值取余时，不会对键值会哈希值...
UNI_HASH
分库和分表都使用同一个拆分键进行UNI_HASH时，先根据分库键键值按分库数取余，再均匀散布到该分库的各个分表上。使用场景 适合于需要按用户ID或订单ID进行分库的场景。适合于拆分键是整数或字符串类型的场景。两张逻辑表需要根据同一个...
使用E-Mapreduce访问
提供用户在云上使用开源技术建设数据仓库、离线批处理、在线流式处理、即时查询、机器学习等场景下的大数据解决方案。E-MapReduce数据迁移 开通文件引擎服务，详情请参见 开通指南。准备工作。开通并创建E-MapRedece集群，详情请参见 创建...
导入与导出
若客户端存在瓶颈，将无法最大化压测数据库，您可以通过以下两种方法查看客户端或其所在服务器负载是否存在瓶颈：通过登录 云原生数据仓库AnalyticDB MySQL控制台，单击左侧导航的 监控信息 和 诊断与优化 来查验客户端自身以及所在服务器...
新建镜像仓库
支持注册镜像仓库，并对镜像仓库进行管理。本文主要介绍如何新建镜像仓库。...查看镜像仓库 在镜像仓库列表页面的 操作 列，单击 查看，即可查看镜像仓库基本信息。删除镜像仓库 在镜像仓库列表页面的 操作 列，单击 删除，即可删除镜像仓库。
- 产品推荐
- 这些文档可能帮助您