问题描述 Dataphin管道任务失败,报错“error occurred where call hadoop api”。问题原因 Hive表字段改动导致。Hive表字段改动是要更新管道任务配置的,Hive输出组件的配置要求Hive表字段全部映射,否则就不允许提交,如果是TEXTFILE格式...
API 应用程序编程接口 用户开放API,在API网关录入API,以提供接口的方式对外提供服务或者数据。Group API Group API分组 一组API。用户开放API,首先需要创建API分组 每个API分组拥有一个二级域名,两个Stage 用户需要将已经备案且解析至...
中文 释义 API 应用程序编程接口,是一些预先定义的函数,或指软件系统不同组成部分衔接的约定。API 分组 用于将 API 进行逻辑的分组,同个分组下的 API 使用相同的分组标识做隔离。分组标识 是网关全局的唯一标识,用于定位在访问的 API。...
hadoop}"} 参数说明如下:Key Value uri 栅格数据源URI time_tag 数据集元数据中的时间标签名称 type 操作类型 说明 这里只有两种类型的读取器可用:通过Hadoop API从S3或从Hadoop支持的文件系统中读取。数据写入objects {"name":...
本文列出了使用Java代码通过Hadoop FileSystem API对 文件存储 HDFS 版 文件系统进行常用操作的示例,您可以参考这些示例代码开发您的应用。前提条件 已开通 文件存储 HDFS 版 服务并创建文件系统实例和挂载点。具体操作,请参见 文件存储...
背景信息 回收站是Hadoop Shell或部分应用(Hive等)对Hadoop FileSystem API在客户端的封装,当客户端配置或者服务端配置打开回收站功能后,Hadoop Shell会调用FileSystem的rename操作,把待删除的文件或者目录移动到/user/<username>/....
背景信息 回收站是Hadoop Shell或部分应用(Hive等)对Hadoop FileSystem API在客户端的封装,当客户端配置或者服务端配置打开回收站功能后,Hadoop Shell会调用FileSystem的rename操作,把待删除的文件或者目录移动到/user/<username>/....
背景信息 回收站是Hadoop Shell或部分应用(Hive等)对Hadoop FileSystem API在客户端的封装,当客户端配置或者服务端配置打开回收站功能后,Hadoop Shell会调用FileSystem的rename操作,把待删除的文件或者目录移动到/user/<username>/....
本文档主要介绍 文件存储 HDFS 版 文件系统SDK的安装及使用...mapreduce-examples-2.7.2.jar grep \ inputDir outputDirGrep"the"后续步骤 关于通过Hadoop FileSystem API接口方式使用 文件存储 HDFS 版 文件系统的操作示例,请参见 SDK示例。
HA集群 jindofsx.hdfs.XXX.dfs.ha.namenodes 表示hdfs-site.xml中 dfs.ha.namenodes.XXX 的值。例如:nn1、nn2、nn3。jindofsx.hdfs.XXX.dfs.namenode.rpc-address.nn1 表示hdfs-site.xml中 dfs.namenode.rpc-address.XXX.nn1 的值。例如:...
说明 如果Hadoop集群为HA集群,emr-header-1.cluster-xxxxx:9000需要改成emr-cluster,或者把端口9000改成8020。配置OSS作为E-MapReduce Druid的Deep Storage。在E-MapReduce Druid 配置 页面的 common.runtime 页签,配置如下参数。参数 ...
公共资源组不支持Hadoop高级参数HA的配置。是 无 fileType 文件的类型,目前仅支持您配置为 TEXT、ORC、RC、SEQ、CSV 和 parquet。HDFS Reader能够自动识别文件的类型,并使用对应文件类型的读取策略。HDFS Reader在做数据同步前,会检查您...
接口说明 方法 POST URI/openapi/ha3/instances/{instanceId}/clusters 调试 您可以在OpenAPI Explorer中直接运行该接口,免去您计算签名的困扰。运行成功后,OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 当前API暂无授权信息...
接口说明 方法 POST URI/openapi/ha3/instances/{instanceId}/recover-index 调试 您可以在OpenAPI Explorer中直接运行该接口,免去您计算签名的困扰。运行成功后,OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 当前API暂无...
接口说明 方法 DELETE URI/openapi/ha3/instances/{instanceId}/indexes/{indexName}/versions/{versionName} 调试 您可以在OpenAPI Explorer中直接运行该接口,免去您计算签名的困扰。运行成功后,OpenAPI Explorer可以自动生成SDK代码...
接口说明 方法 put URI/openapi/ha3/instances/{ instanceId }/node/{ nodeName }/online-configs/{ indexName } 调试 您可以在OpenAPI Explorer中直接运行该接口,免去您计算签名的困扰。运行成功后,OpenAPI Explorer可以自动生成SDK代码...
接口说明 方法 PUT URI/openapi/ha3/instances/{instanceId}/data-sources/{dataSourceName} 调试 您可以在OpenAPI Explorer中直接运行该接口,免去您计算签名的困扰。运行成功后,OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息...
接口说明 方法 PUT URI/openapi/ha3/instances/{instanceId}/clusters/{clusterName}/desc。调试 您可以在OpenAPI Explorer中直接运行该接口,免去您计算签名的困扰。运行成功后,OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 ...
接口说明 方法 GET URI/openapi/ha3/instances/{instanceId}/cluster-names 调试 您可以在OpenAPI Explorer中直接运行该接口,免去您计算签名的困扰。运行成功后,OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 下表是API对应的...
接口说明 方法 GET URI/openapi/ha3/instances/{instanceId}/query?query=xxxx 调试 您可以在OpenAPI Explorer中直接运行该接口,免去您计算签名的困扰。运行成功后,OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 下表是API...
接口说明 方法 DELETE URI/openapi/ha3/instances/{instanceId}/data-sources/{dataSourceName} 调试 您可以在OpenAPI Explorer中直接运行该接口,免去您计算签名的困扰。运行成功后,OpenAPI Explorer可以自动生成SDK代码示例。调试 授权...
接口说明 方法 PUT URI/openapi/ha3/instances/{ instanceId }/stop-task/{ fsmId } 调试 您可以在OpenAPI Explorer中直接运行该接口,免去您计算签名的困扰。运行成功后,OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 下表是...
接口说明 方法 DELETE URI/openapi/ha3/instances/{ instanceId }/clusters/{ clusterName } 调试 您可以在OpenAPI Explorer中直接运行该接口,免去您计算签名的困扰。运行成功后,OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息...
接口说明#方法 PUT URI/openapi/ha3/instances/{ instanceId }/force-switch/{ fsmId } 调试 您可以在OpenAPI Explorer中直接运行该接口,免去您计算签名的困扰。运行成功后,OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 下表...
接口说明 方法 DELETE URI/openapi/ha3/instances/{instanceId}/indexes/{indexName}?dataSource=xxx 调试 您可以在OpenAPI Explorer中直接运行该接口,免去您计算签名的困扰。运行成功后,OpenAPI Explorer可以自动生成SDK代码示例。调试 ...
接口说明 方法 DELETE URI/openapi/ha3/instances/{instanceId} 调试 您可以在OpenAPI Explorer中直接运行该接口,免去您计算签名的困扰。运行成功后,OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 下表是API对应的授权信息,...
接口说明 方法 GET URI/openapi/ha3/instances/{instanceId}/indexes/{indexName}/versions/{versionName}/file?fileName=root/test.txt 调试 您可以在OpenAPI Explorer中直接运行该接口,免去您计算签名的困扰。运行成功后,OpenAPI ...
接口说明 方法 POST URI/openapi/ha3/instances/{instanceId}/advanced-configs/{configName}/actions/publish 调试 您可以在OpenAPI Explorer中直接运行该接口,免去您计算签名的困扰。运行成功后,OpenAPI Explorer可以自动生成SDK代码...
接口说明 方法 DELETE URI/openapi/ha3/instances/{instanceId}/advanced-configs/{configName} 调试 您可以在OpenAPI Explorer中直接运行该接口,免去您计算签名的困扰。运行成功后,OpenAPI Explorer可以自动生成SDK代码示例。调试 授权...
接口说明 方法 PUT URI/openapi/ha3/instances/{instanceId}/password 调试 您可以在OpenAPI Explorer中直接运行该接口,免去您计算签名的困扰。运行成功后,OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 下表是API对应的授权...
接口说明 方法 GET URI/openapi/ha3/instances/{instanceId}/advanced-configs/{configName} 调试 您可以在OpenAPI Explorer中直接运行该接口,免去您计算签名的困扰。运行成功后,OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息...
接口说明 方法 PUT URI/openapi/ha3/instances/{ instanceId }/node-config?type=qrs&name=test 调试 您可以在OpenAPI Explorer中直接运行该接口,免去您计算签名的困扰。运行成功后,OpenAPI Explorer可以自动生成SDK代码示例。调试 授权...
接口说明 方法 put URI/openapi/ha3/instances/{instanceId}/advanced-configs/{configName}/file?fileName={fileName} 调试 您可以在OpenAPI Explorer中直接运行该接口,免去您计算签名的困扰。运行成功后,OpenAPI Explorer可以自动生成...
接口说明 方法 PUT URI/openapi/ha3/instances/{instanceId}/index-partition 调试 您可以在OpenAPI Explorer中直接运行该接口,免去您计算签名的困扰。运行成功后,OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 下表是API对应...
接口说明 方法 POST URI/openapi/ha3/instances/{instanceId}/indexes/{indexName}/actions/publish 调试 您可以在OpenAPI Explorer中直接运行该接口,免去您计算签名的困扰。运行成功后,OpenAPI Explorer可以自动生成SDK代码示例。调试 ...
接口说明 方法 POST URI/openapi/ha3/instances/{instanceId}/data-sources 调试 您可以在OpenAPI Explorer中直接运行该接口,免去您计算签名的困扰。运行成功后,OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 下表是API对应的...
接口说明 方法 PUT URI/openapi/ha3/instances/{instanceId}/cluster-online-config 调试 您可以在OpenAPI Explorer中直接运行该接口,免去您计算签名的困扰。运行成功后,OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 下表是...
接口说明 方法 PUT URI/openapi/ha3/instances/{instanceId}/indexes/{indexName}/versions/{versionName}/file?fileName=root/test.txt 调试 您可以在OpenAPI Explorer中直接运行该接口,免去您计算签名的困扰。运行成功后,OpenAPI ...
接口说明 方法 GET URI/openapi/ha3/instances/{ instanceId }/node-config 调试 您可以在OpenAPI Explorer中直接运行该接口,免去您计算签名的困扰。运行成功后,OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 下表是API对应的...
接口说明 方法 GET URI/openapi/ha3/instances/{instanceId}/specs?type=qrs 调试 您可以在OpenAPI Explorer中直接运行该接口,免去您计算签名的困扰。运行成功后,OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 下表是API对应...