使用自定义域名调用API
用户使用API网关对外提供服务时，需要使用自己拥有的域名开放自己的能力，本文主要描述如何将用户自己的域名绑定到API网关上，让客户端使用自己的域名来调用其开放的API。1.概述 1.1 域名与分组、API之间的关系 用户需要将自己拥有的域名...
使用限制
本文主要介绍 文件存储 HDFS 版 的产品规格限制、协议功能限制、Hadoop fs命令限制及API限制。文件系统限制 限制项 限制说明 每个账号在单个地域内可创建的文件系统数量 3个 单个文件系统可创建的挂载点数量 2个 单个文件系统同一时刻可...
EMR-3.45.x版本说明
0.3-ali OLAP集群 服务 版本 StarRocks 2.4.3 Doris 1.2.1 ClickHouse EMR-3.45.1版本：22.8.14.57 EMR-3.45.0版本：22.3.8.39 Zookeeper 3.6.3 DataFlow集群 服务 版本 Hadoop-Common 2.8.5 HDFS 2.8.5 YARN 2.8.5 Knox 1.5.0 OpenLDAP 2....
通过HDP 2.6 Hadoop读取和写入OSS数据
client/hadoop-aliyun-2.7.3.2.6.1.0-129.jar hadoop/share/hadoop/tools/lib/sudo cp/usr/hdp/current/hadoop-client/lib/aliyun-*hadoop/share/hadoop/tools/lib/sudo cp/usr/hdp/current/hadoop-client/lib/jdom-1.1.jar hadoop/share/...
函数计算内网访问API网关
1 概述 API网关即能够和函数计算集成，构建起serverless架构，同时在实际场景中，也会出现在函数中需要调用API网关上发布的API，同时很多时候出于安全考虑，往往会希望函数从内网能够访问API。因此本文着重介绍两个场景的实现方式：在同一...
在文件存储 HDFS 版上使用Apache Tez
./hadoop-mapreduce/hadoop-2.8.5/share/hadoop/hdfs/*:./hadoop-mapreduce/hadoop-2.8.5/share/hadoop/hdfs/lib/*:./hadoop-mapreduce/hadoop-2.8.5/share/hadoop/yarn/*:./hadoop-mapreduce/hadoop-2.8.5/share/hadoop/yarn/lib/*:./...
导入API网关的扩展Swagger定义
Swagger 是一种用于描述API定义的规范，被广泛应用于定义和描述后端应用服务的API。现在，API网关支持导入Swagger 2.0的文件来创建API，您可以参考ImportSwagger，或在控制台上进行操作，入口见下图：API网关的Swagger扩展基于Swagger 2.0...
DescribeApiGroups-查询 API 分组列表
接口说明 此功能面向 API 提供者 调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 下表是API对应的授权信息，可以在RAM权限策略语句的 Action...
服务接入点
菲律宾（马尼拉）ap-southeast-6 apigateway.ap-southeast-6.aliyuncs.com apigateway-vpc.ap-southeast-6.aliyuncs.com 韩国（首尔）ap-northeast-2 apigateway.ap-northeast-2.aliyuncs.com 马来西亚（吉隆坡）ap-southeast-3 apigateway...
DescribeApiIpControls-查询API的IP访问控制绑定情况
接口说明 此功能面向开放 API 的用户 非必填的参数，不传入则默认返回所有，分页返回·调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 当前...
RemoveAppsAuthorities-撤销多个APP对指定API的访问...
接口说明 此功能面向 API 提供者和 API 使用者 撤销前请查看添加授权记录的授权者，API 所有者只能撤销 Provider 的授权，API 使用者只能撤销 Consumer 的授权 调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。...
SetAppsAuthorities-给多个APP添加API访问权限
接口说明 此功能面向 API 调用者和 API 使用者 API 提供者可以授权自己的 API 给任意应用（app）调用 API 使用者可以将已购买的 API 授权给自己的应用（app）调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。...
实例级别访问控制
API网关提供实例级别的访问控制，您可以分别配置针对IPv4和IPv6的访问控制策略组应用于实例，仅专享实例支持配置实例级别访问控制策略，并且仅对公网生效。1.创建访问控制策略组 1.1 在API网关控制台中实例页面，单击 访问控制，即进入访问...
GetResources-查询资源
1.List:/api/v1/providers/{provider}/products/{product}/resources/{parentResourcePath}/{resourceTypeCode} 2.Get:/api/v1/providers/{provider}/products/{product}/resources/{parentResourcePath}/{resourceTypeCode}/{resourceId} ...
文件存储 HDFS 版和数据库MySQL双向数据迁移
export HADOOP_COMMON_HOME=usr/local/hadoop-2.8.5 export HADOOP_MAPRED_HOME=$HADOOP_COMMON_HOME export HIVE_HOME=usr/local/apache-hive-2.3.9-bin#若没有安装hive可不必添加此配置 执行 cp${HIVE_HOME}/lib/hive-common-2.3.9.jar${...
HDFS常见命令介绍
语法 hadoop fs-get<path1><path2>示例：下载HDFS系统中/dir/sub-dir/目录下的文件 hello_world2.txt 至本地的/emr 路径下。hadoop fs-get/dir/sub-dir/hello_world2.txt/emr 您可以通过 ls 命令查看文件下载的情况。rm 删除HDFS系统中指定...
API 流量治理
请求参数 名称 类型 是否必填 示例 描述 api_id STRING 否 api_id1 API 标识 auth_app_info_id STRING 否 auth_app_info_id1 授权应用标识 limit_config LimitConfigVO 否-限流配置 tenant_id STRING 否 TSCPDICNT 租户标识 workspace_id ...
CreateApiTemplate-创建API模板
\"3.1.3-20230919\"},{\"ApplicationName\":\"SPARK3\",\"ApplicationVersion\":\"3.3.1-hadoop3.2-20231008\"},{\"ApplicationName\":\"TEZ\",\"ApplicationVersion\":\"0.10.2-hadoop3.2-20230823\"},{\"ApplicationName\":\"YARN\",\...
阿里云API网关试用服务协议
前言 欢迎使用阿里云API网关（Alibaba Cloud API Gateway）服务。在开通阿里云API网关服务前，请您仔细阅读 阿里云网站 上公布的相关规范、规则和使用流程以及本服务协议的全部内容，如果您不同意前述任意内容，或者无法准确理解阿里云的...
Spark Load
spark.hadoop.dfs.ha.namenodes.myha"="mynamenode1,mynamenode2","spark.hadoop.dfs.namenode.rpc-address.myha.mynamenode1"="nn1_host:rpc_port","spark.hadoop.dfs.namenode.rpc-address.myha.mynamenode2"="nn2_host:rpc_port",...
API 管理
NONE","subAppId":"Oo2llCf0MkkhGtgL"}],"result_code":"OK"} 通过 API ID 查询授权应用分页列表 sofa.apigateway.api.authapp.list 用于查询指定 API 的所有授权应用的分页列表。请求参数 名称 类型 是否必填 示例 描述 api_id STRING 是...
Lindorm文件引擎
address.<dfs.nameservices>.nn1":"<dfs.namenode.rpc-address.<dfs.nameservices>.nn1>","spark.hadoop.dfs.namenode.rpc-address.<dfs.nameservices>.nn2":"<dfs.namenode.rpc-address.<dfs.nameservices>.nn2>"},"file":"oss:/path/to/...
专享实例
808.00 45,696.00 api.s1.medium 17.680 10,608.00 127,296.00 api.s2.large 50.524 30,328.00 363,936.00 api.s2.large.x2-api.s2.large.x6 详见产品购买页 详见产品购买页 详见产品购买页 阿联酋（迪拜）api.s1.small 11.084 6,664.00 79...
Hadoop使用JindoSDK访问OSS-HDFS服务
基于统一的元数据管理能力，在完全兼容HDFS文件系统接口的同时，提供充分的POSIX能力支持，能更好地满足大数据和AI等领域的数据湖计算场景。本文介绍Hadoop如何通过JindoSDK访问OSS-HDFS服务。前提条件 已开通并授权访问OSS-HDFS服务。具体...
使用JindoFS加速OSS文件访问
hadoop-apiVersion:data.fluid.io/v1alpha1 kind:JindoRuntime metadata:name:hadoop spec:replicas:2 tieredstore:levels:mediumtype:HDD path:/mnt/disk1 quota:100Gi high:"0.9"low:"0.8"文件内容包含以下两部分：第一部分是Dataset CRD...
结构体说明
AppInfoVO 名称 类型 是否必填 示例 描述 api_count NUMBER 否 1 API 数量 app_id STRING 否 app_id APPID app_name STRING 否 app_name 应用名称 app_secret STRING 否 app_secret1 appSecret app_type STRING 否 STANDARD/MPAAS 应用类型...
概述
假设将1.2GB的数据以CSV、TSV或者LOG等格式存储在OSS中，通过DLA将CSV、TSV或者LOG格式转换为其他格式后，数据在OSS中所占用的存储空间如下表所示。存储格式 数据来源及特点 数据量增大或减少 详细数据量 JSON 大量应用产生JSON类型的数据...
EMR HBase版本
EMR-5.12.2 3.2.1 2.4.9 5.1.2 EMR-5.13.1 3.2.1 2.4.9 5.1.2 无 EMR-5.14.2 3.2.1 2.4.9 5.1.2 无 EMR-5.15.1 3.2.1 2.4.9 5.1.2 在配置中增加配置项，您可以根据自己的需求选择HBase Thrift Server的版本，包括v1和v2。EMR 3.x系列 EMR...
使用VPC内资源作为API的后端服务
2.3 创建API 创建API的流程与其他类型API方式一致，创建API分组以及定义API可参考 创建 API 创建应用以及授权可参考 创建后端服务为VPC内资源的API 2.4 测试API 可以通过以下方式测试您的API 调试API 下载SDK 使用简单认证（AppCode）方式...
漏洞公告|Apache Kafka Connect远程代码执行漏洞
2.12-2.4.1-1.1.5#change to your kafka version sudo chown kafka:hadoop kafka-2.12-2.4.1-1.1.5 tar xvf kafka-2.12-2.4.1-1.1.5.tar.gz sudo rm-f kafka-current sudo ln-s/opt/apps/KAFKA/kafka-2.12-2.4.1-1.1.5 kafka-current exit ...
API网关为K8s容器应用集群提供强大的接入能力
很容易地升级应用程序容器的新版本 提供容器弹性，如果容器失效就替换它 2.API网关作为Kubernetes集群的接入层架构 我们可以看到Kubernetes集群是可以作为应用服务的，但是Kubernetes集群没有足够的接入能力，特别在大型应用中，它是不能够...
ModifyApp-修改APP应用
接口说明 此功能面向调用 API 的用户 可修改 AppName 或者 Description，若两个属性都为空，则不做修改，直接返回成功 该接口调用的 QPS 限制为：单用户 QPS 不超过 50 调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的...
MapReduce开发手册
javac-classpath<HADOOP_HOME>/share/hadoop/common/hadoop-common-X.X.X.jar:<HADOOP_HOME>/share/hadoop/mapreduce/hadoop-mapreduce-client-core-X.X.X.jar:<HADOOP_HOME>/share/hadoop/common/lib/commons-cli-1.2.jar-d wordcount_...
使用HTTPS并用域名访问
用户可以将自己的域名绑定到API网关的API分组上，API网关通过域名来定位到一个唯一的API分组，再通过Path+HTTPMethod确定唯一的API。API网关为每个分组默认提供了公网二级域名，如果客户端直接调用API分组提供的公网二级域名，将会受到每天...
EMR-5.6.x版本说明
Hadoop集群 服务 版本 HDFS 3.2.1 YARN 3.2.1 Hive 3.1.2 Spark 3.2.1 Knox 1.1.0 Tez 0.9.2 Ganglia 3.7.2 Sqoop 1.4.7 JindoData 4.3.0 DLF-Auth 2.0.0 Iceberg 0.13.1 Hudi 0.10.1 DeltaLake 1.1.0 OpenLDAP 2.4.44 Hue 4.9.0 JindoSDK ...
UDF（地理空间）
本文为您介绍如何使用开源地理空间UDF分析空间数据。前提条件 请确认您已完成...wget 'https://repo1.maven.org/maven2/com/esri/geometry/esri-geometry-api/2.2.0/esri-geometry-api-2.2.0.jar' -O esri-geometry-api.jar cp~/.m2/repository/...
使用摘要签名认证方式调用API
API的拥有者可以在API网关控制台的应用管理页面生成APP，每个APP会携带一对签名密钥（APP Key和APP Secret）,API拥有者将API授权给指定的APP（APP可以是API拥有者颁发或者API调用者所有）后，API调用者就可以用APP的签名密钥来调用相关的...
Dataphin中数据集成任务运行报错“java.io....
common-2.6.0-cdh5.16.2.jar:na]at org.apache.hadoop.ipc.Client$Connection.access$2000(Client.java:396)~[hadoop-common-2.6.0-cdh5.16.2.jar:na]at org.apache.hadoop.ipc.Client$Connection$2.run(Client.java:761)~[hadoop-common-2...
文件存储 HDFS 版和对象存储OSS双向数据迁移
建议您使用的Hadoop版本不低于2.7.2，本文档中使用的Hadoop版本为Apache Hadoop 2.8.5。已开通对象存储OSS服务并创建存储空间（Bucket）。具体操作，请参见 对象存储OSS快速入门。背景信息 阿里云 文件存储 HDFS 版 是面向阿里云ECS实例及...
使用Cruise Control
rw-r-r-1 kafka hadoop 109095 Jul 20 15:07 kafkacruisecontrol.log-rw-r-r-1 kafka hadoop 0 Jul 20 15:07 kafkacruisecontrol-operation.log-rw-r-r-1 kafka hadoop 87452 Jul 20 15:07 kafka-cruise-control.out-rw-r-r-1 kafka hadoop...
- 产品推荐
- 这些文档可能帮助您