简介
API 应用程序编程接口 用户开放API，在API网关录入API，以提供接口的方式对外提供服务或者数据。Group API Group API分组 一组API。用户开放API，首先需要创建API分组 每个API分组拥有一个二级域名，两个Stage 用户需要将已经备案且解析至...
基础术语
中文 释义 API 应用程序编程接口，是一些预先定义的函数，或指软件系统不同组成部分衔接的约定。API 分组 用于将 API 进行逻辑的分组，同个分组下的 API 使用相同的分组标识做隔离。分组标识 是网关全局的唯一标识，用于定位在访问的 API。...
API概览
作业运维 API 标题 API概述 ListJobInfos 查看作业列表 查看作业列表 GetRunningJobs 获取运行态的作业列表 指定时间范围内，所有仍处于“运行中”的作业的运行态数据展示。KillJobs 终止作业 终止正在运行的作业。GetJobResourceUsage ...
报错“error occurred where call hadoop api”
问题描述 Dataphin管道任务失败，报错“error occurred where call hadoop api”。问题原因 Hive表字段改动导致。Hive表字段改动是要更新管道任务配置的，Hive输出组件的配置要求Hive表字段全部映射，否则就不允许提交，如果是TEXTFILE格式...
作业运维（新版）
如果您是数据开发人员，作业运维功能方便您日常查看作业详情，及时发现作业的异常情况和问题，对有问题的作业及时进行处理，例如终止或批量终止作业。如果您是管理员，作业运维功能方便您日常结合配额组查看某时刻的资源负载，合理分配和...
创建Hadoop计算源
该参数配置的主机可通过对应地址对Hadoop历史作业情况进行查看。yarn Web服务 yarn环境变量参数，格式为 yarn.web-proxy.address。用于分发Resource Manager访问请求。从Resourcemanager上点击正在执行的app，会跳转到yarn.web-proxy....
HAS Kerberos认证使用方法
vim/etc/ecm/hadoop-conf/core-site.xml 查看 hadoop.security.authentication.use.has 的值。如果值为 true，修改 hadoop.security.authentication.use.has 的值为 false。如果值为 false，直接执行 步骤3。添加Principal。执行如下命令，...
基于JindoFS存储YARN MR或SPARK作业日志
YARN Container日志配置 配置文件 参数 描述 示例 yarn-site yarn.nodemanager.remote-app-log-dir 当应用程序运行结束后，日志聚合的存储位置，YARN日志聚合功能默认已打开。jfs:/emr-jfs/emr-cluster-log/yarn-apps-logs oss:/${oss-...
SmartData使用说明（EMR-3.22.0~3.25.1版本）
Shell命令 hadoop fs-ls jfs:/your-namespace/hadoop fs-mkdir jfs:/your-namespace/test-dir hadoop fs-put test.log jfs:/your-namespace/test-dir/hadoop fs-get jfs:/your-namespace/test-dir/test.log./MapReduce作业 hadoop jar/usr/...
版本说明
查看API变更历史 查看API文档 变更项 变更内容 入参 OpenAPI 入参发生变更。新增入参：AccurateQuery 变更时间：2024-05-08 变更集发布说明：OpenAPI 名称 变更内容概要 操作 CreateAccessControlList OpenAPI 返回结构发生变更。查看API...
提交运行作业
调用SubmitFlowJob接口提交运行作业，每次只允许存在一个正在运行的实例。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。请求参数 名称 类型 是否必选 ...
版本说明
变更时间：2021-12-21 变更集发布说明：调整评价接口必填字段 OpenAPI...删除错误码：500 变更时间：2021-12-21 变更集发布说明：新增评价工单接口 OpenAPI 名称 变更内容概要 操作 EvaluateTicket 新增 OpenAPI。查看API变更历史 查看API文档
Lindorm（HBase）数据入库与ETL
hadoop}"} 参数说明如下：Key Value uri 栅格数据源URI time_tag 数据集元数据中的时间标签名称 type 操作类型 说明 这里只有两种类型的读取器可用：通过Hadoop API从S3或从Hadoop支持的文件系统中读取。数据写入objects {"name":...
版本说明
查看API变更历史 查看API文档 变更项 变更内容 API 内部配置变更，不影响调用。变更时间：2023-12-13 变更集发布说明：OpenAPI 名称 变更内容概要 操作 DescribeInstanceBill OpenAPI 入参发生变更。查看API变更历史 查看API文档 变更项 ...
作业诊断
单击 Detail，查看作业的详情。master-0 代表Spark Driver所在节点。单击 master-0 并选择All Tab，查看Spark Driver节点的具体信息。单击 StdOut，查看节点的结果输出。单击 StdErr，查看节点的log4j日志。使用Spark-Web-UI诊断作业 日志...
Hadoop
无 作业运行成功后，单击 操作>日志，查看作业日志。如果您的HDFS以 高可用模式部署（即有一个以上Master节点/NameNode）。{"args":["${fs.defaultFS}/tmp/test"],"name":"spark-on-hdfs","className":"com.aliyun.spark.SparkHDFS","conf...
常见问题
如果是Hadoop作业，打开YARN页面查看是否有索引作业生成，并查看作业执行log。如果上述情况都没有定位到错误，需要登录到E-MapReduce Druid集群，查看overlord的执行日志（位于/mnt/disk1/log/druid/overlord—emr-header-1.cluster-xxxx....
版本说明
变更时间：2023-07-04 变更集发布...查看API变更历史 查看API文档 变更项 变更内容 API 内部配置变更，不影响调用。CancelTask API 内部配置变更，不影响调用。查看API变更历史 查看API文档 变更项 变更内容 API 内部配置变更，不影响调用。
ListJobInfos-查看作业列表
查看作业列表 调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 当前API暂无授权信息透出。请求语法 POST/api/v1/jobs 请求参数 名称 类型 必...
Hadoop MapReduce作业配置
本文介绍如何配置Hadoop MapReduce类型的作业。前提条件 已创建好项目，详情请参见 项目管理。操作步骤 进入数据开发的项目列表页面。通过阿里云账号登录 阿里云E-MapReduce控制台。在顶部菜单栏处，根据实际情况选择地域 和资源组。单击...
安全白皮书
作业状态备份 您可以在 作业运维 页面，单击目标作业名称，在 状态集管理 页签查看作业状态集。详情请参见 查看状态生成总览。任务快速重启 当流作业中的某个Task发生异常时，为了保证数据一致性，同一个PipelineRegion的所有Task都会进行...
Hive
作业运行成功后，单击 操作>日志，查看作业日志。访问Hive,如果您集群中的HDFS是以非高可用部署的（即只有一个Master节点/NameNode）。{"args":["hello_dla"],"name":"spark-on-hive","className":"com.aliyun.spark.SparkHive","conf":{...
UpdateResource-更新资源
由于资源 API 目前不支持回滚，当用户遇到 API 部分失败时，需手动调用 GetResources API 查看资源最新的状态，然后调用 UpdateResource 或 DeleteResource 进行手动补偿（如果有必要）。调试 您可以在OpenAPI Explorer中直接运行该接口，...
故障排除
当用户遇到部分失败时，可调用GetResource API查看资源最新的状态，如果有必要可调用UpdateResource或DeleteResource进行手动补偿。{"requestId":"473469C7-AA6F-4DC5-B3DB-A3DC0DE3*","Code":"OperationFailure.PartialOperationFailed",...
API网关监控
本文主要介绍管理员如何在API网关查看API的调用情况。概述 API网关的监控支持查看 region（地域）、分组、以及API 的监控图表，监控图表的指标主要包含请求数、流量、延时、HttpStatusCode。1.region监控 1.1 登录 API网关控制台。1.2 点击...
使用MapReduce处理JindoFS上的数据
Hadoop MapReduce是一个使用简易的软件框架，基于它写出来的应用程序能够运行在由上千个商用机器组成的大型集群上，并以一种可靠容错的方式并行处理上T级别的数据集。一个MapReduce作业通常会把输入的数据集切分为若干独立的数据块，由Map...
管理数据模型
绑定的 API：列出了绑定了该数据模型的所有 API 及其基本信息，包括 API 名称、API 分组、授权应用数量、前端协议类型、请求路径等。在此列表，您还可以单击任一 API 名称，进入该 API 的详情页查看 API 的具体信息及监控数据等。参数配置...
更新日志
您将可以在这里找到阿里云Bss OpenAPI的更新日志，我们将持续更新API的更新，包括新接口的开放，参数调整以及问题的修复。建议您收藏并定期查看本页面以了解新的动态。同样建议您通过钉钉扫描文章底部的二维码加入开发者圈子，获取关于费用...
管理参数映射
查看参数映射 在参数映射列表页，您可以查看该参数映射的概览信息，包括参数映射名称、配置模板、绑定 API 数量、描述、映射类型以及创建时间。查看参数映射详情 在参数映射列表中，您还可以单击任一参数映射名称，进入该映射规则的详情页...
管理系统集群
绑定的API：列出了绑定了该系统集群作为后端服务类型的所有 API 及其基本信息，例如 API 名称，前端协议类型、OperationType/接口名称、请求路径、方法、状态、创建时间等。在此列表，您还可以单击任一 API 名称，进入该 API 的详情页查看 ...
管理应用
在 应用管理 页面，您可以根据业务需要，查看并管理已创建的应用。编辑应用信息 打开应用编辑界面有以下两种方式：在应用列表页，单击应用右侧 操作 列中的 编辑 即可打开编辑应用界面。单击应用名进入应用详情页后，单击页面右上方的 编辑...
通过日志服务查看API调用日志
日志项 描述 apiGroupUid API的分组ID apiGroupName API分组名称 apiUid API的ID apiName API名称 apiStageUid API环境ID apiStageName API环境名称 httpMethod 调用的HTTP方法 path 请求的PATH domain 调用的域名 statusCode ...
管理授权对象
绑定的 API 在授权应用详情页的 绑定的 API 标签页中，可查看当前授权应用已绑定的 API。在绑定的 API 列表中，您可以：查看 API 详情：单击 API 名称，即可跳转至该 API 的详情页，您可查看该 API 的 授权对象、配置信息、版本管理 等详细...
管理路由规则
在绑定的 API 列表中，您可以：查看 API 详情：单击 API 名称，即可跳转至该 API 的详情页，您可查看该 API 的 授权对象、配置信息、版本管理 等详细信息。筛选前端协议类型：单击 前端协议类型 右侧的筛选按钮。在打开的筛选框中，选择...
管理 CORS 规则
在绑定的 API 列表中，您可以：查看 API 详情：单击 API 名称，即可跳转至该 API 的详情页，您可查看该 API 的 配置信息、版本管理、监控、流量治理、CORS、授权对象、API 调试 等详细信息。筛选前端协议类型：单击 前端协议类型 右侧的...
数据开发常见问题
在Hadoop控制台，单击目标作业的ID，可以查看作业运行的详情。如何在OSS上查看日志？在E-MapReduce数据开发的页面，找到对应的工作流实例，单击 运行记录。在 运行记录 区域，单击待查看工作流实例所在行的 详情，在 作业实例信息 页面查看...
API调试及自助排错
API网关支持用户对配置在API网关中的已发布API进行在线调试，本文重点介绍如何通过API调试中的自助排错功能进行调试过程中的问题排查。1.概述 API控制台支持对已发布API进行调试，而在调试过程中遇到问题时，如何理解报错信息并快速定位和...
创建 API
目前支持的类型为 应用，表示 API 发布后支持 Web 浏览器、H5 容器、小程序、JS、业务系统的调用。请求路径：必填，针对应用设置的请求资源的 URL，通过请求路径可以定位到要请求的资源。支持英文字母、数字、下划线（_）、连接符（-），...
DescribeSummaryData-获取摘要数据
查看API网关在指定region下的资源数量。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 下表是API对应的授权信息，可以在RAM权限策略语句的 ...
产品简介
API网关（API Gateway），提供API托管服务，覆盖设计、开发、测试、发布、售卖、运维监测、安全管控、下线等API各个生命周期阶段，帮助您快速建设以API为核心的系统架构。构建中台。通过API网关强大的适配和集成能力，可以将各种业务系统的...
- 产品推荐
- 这些文档可能帮助您