Dataphin从FTP同步数据到HIVE报错“您尝试读取的列...
问题描述 用户从FTP同步数据到HIVE报错“您尝试读取的列越界,源文件该行有[1]列,您尝试读取第[2]列”。问题原因 文件编码格式错误。解决方案 检查文件编码格式，需要保持和选择的格式一样。适用于 Dataphin 列越界
Dataphin FTP客户端可以正常访问但是...报错“获取文件...
问题描述 Dataphin FTP客户端可以正常访问，数据源也是正常连通，但是数据集成报错“获取文件：[/xxx]属性时发生I/O异常,请确认与ftp服务器的连接正常”。问题原因 FTP未开启被动模式。项目沙箱白名单中未开启FTP被动模式的范围端口，只...
Dataphin中管道任务将FTP数据同步至HIVE，运行报错"您...
问题描述 Dataphin中管道任务抽取FTP数据，报错“ERROR DlinkTaskPluginCollector-脏数据:{"message":"您尝试读取的列越界,源文件该行有[31]列,您尝试读取第[32]列,数据详情[.]”，且读取的中文数据有乱码。完整的报错信息如下：2021-11-08...
Dataphin将OSS文件通过管道任务同步到MaxCompute，...
问题描述 Dataphin将OSS文件通过管道任务同步到MaxCompute，运行报错“Unable to execute HTTP request: The specified key does not exist”。完整的报错信息如下：2023-02-02 16:28:29.468[0-0-0-reader]INFO oss-[Server]Unable to ...
Dataphin中CSV文件集成到hive运行报“Code:[Hdfs...
概述 解决数据集成到hive库中时任务运行报“Code:[HdfsWriter-02],Description:[您填写的参数值不合法.].-仅仅支持单字符切分,您配置的切分为:[SOH]”错误的问题 问题描述 将CSV文件集成到hive数据库，运行报错：经Dlink智能分析,该任务最...
基于代码抽取时的移植说明
运行代码抽取工具 extract.bat，该脚本运行之后的界面如下所示：抽取后的代码说明 如同 config.bat 脚本的输出是 make.settings 文件，extract.bat 脚本的输入是 make.settings，输出是 output 文件。单击 output 文件，查看其详细内容。...
镜像检测概述
云助手是为ECS打造的原生自动化运维工具，通过免密码、免登录、无需使用跳板机的形式，在ECS实例上实现批量运维、执行命令（Shell、PowerShell和Bat等）和发送文件等操作。建议您在镜像中安装云助手，帮助您高效运维ECS。如何安装云助手，...
单机部署
解压后的文件结构如下：ossimport├─bin│└─ossimport2.jar#包括Master、Worker、TaskTracker、Console四个模块的总jar├─conf│├─local_job.cfg#Job配置文件│└─sys.properties#系统运行参数配置文件├─console.bat#Windows命令...
使用Azkaban调度MaxCompute
基于此场景，您可以设计作业、作业调度流程、各作业对应的作业文件及脚本文件如下。前提条件 在执行操作前，请确认您已满足如下条件：已下载并安装MaxCompute客户端。更多安装并配置MaxCompute客户端操作，请参见 安装并配置MaxCompute客户...
ossimport概述
单机模式下文件结构如下：ossimport├─bin│└─ossimport2.jar#包括Master、Worker、Tracker、Console四个模块的总jar├─conf│├─local_job.cfg#单机Job配置文件│└─sys.properties#系统运行参数配置文件├─console.bat#Windows...
Amazon Redshift应用和数据迁移至AnalyticDB ...
ossimport├─bin│└─ossimport2.jar#包括Master、Worker、TaskTracker、Console四个模块的总jar├─conf│├─local_job.cfg#Job配置文件│└─sys.properties#系统运行参数配置文件├─console.bat#Windows命令行，可以分布执行调入...
任务执行记录投递
在该目录下会显示以ECS实例ID为名称的目录、命令的脚本文件，其中脚本文件名可能为：commandContent.bat：对应Windows实例中执行Bat命令。commandContent.ps1：对应Windows实例中执行PowerShell命令。commandContent.sh：对应Linux实例中...
如何处理云监控插件进程自动退出问题？
如果文件 argusagent.log 中的日志出现 exceeds the maxValue 字样，则说明资源消耗超过阈值，例如：[WARN]2022-12-07 23:54:55.805854[4148]self_monitor.cpp(line:85):the agent's cpu usage(52.55%)exceeds the maxValue(50.00%)[WARN]...
资源中心
支持文件格式：txt、log、sh、bat、conf、cfg、py、java、sql、xml、hql、properties、json、yml、yaml、ini、js。输入 文件内容。单击 保存。已创建的文件支持以下操作。说明 在工作流上线状态下，无法编辑或重新上传已引用的文件，须先将...
版本变动记录
都可以通过 extract.sh 命令（Ubuntu）或者是通过点击 extract.bat 脚本（Windows）来抽取需要的源文件 有了这些源文件，不论用户在什么主机上用什么方式开发，都可以方便的将这些文件加入自己的工程中，用自己熟悉的源码编译方式进行编译 ...
快速集成
运行 demo/src/AliyunPlayerTest/build_win.bat。双击打开 demo/src/AliyunPlayerTest/build 文件夹中生成的 QAliyunPlayerTest.sln 文件，并选择x86架构进行编译。复制 demo/src/AliyunPlayerTest/AliyunPlayerTest/mui 文件夹到您的程序...
运行播放器Demo源码
运行demo/src/AliyunPlayerTest/build_win.bat。双击打开demo/src/AliyunPlayerTest/build文件夹中生成的QAliyunPlayerTest.sln文件，并选择x86架构进行编译。复制demo/src/AliyunPlayerTest/AliyunPlayerTest/mui文件夹到您的程序目录中。...
边缘模拟器环境搭建和使用介绍
win_linker_start_for_cmd.bat#Windows系统命令提示符的启动边缘模拟器脚本└─win_linker_stop.bat#Windows系统的停止边缘模拟器脚本 拷贝以上文件到PC的磁盘目录。copy时请注意：1）该目录需要具有读写权限；2）路径中不包含中文字符；3...
回收站
为避免误删除通用型NAS文件系统中的文件导致业务受阻或数据永久丢失，建议您开启回收站功能。开启后，被删除的文件或目录将暂存在回收站中，并在规定的保留时间之后彻底删除。您可以在保留时间期间恢复这些文件及其UID、GID和ACL等元数据...
查询文件系统详情
您可以在文件系统详情页了解您的文件系统概况，例如文件系统存储规格、文件系统资源使用量、文件系统版本、协议类型等信息。查询文件系统资源使用量 登录 NAS控制台。在左侧导航栏，选择 文件系统>文件系统列表。在页面上方，选择地域。...
入门概述
在云桌面内挂载CPFS文件系统 通过NFSv3协议访问CPFS文件系统 协议服务 在服务器中卸载挂载的文件系统 卸载文件系统 删除文件系统 删除文件系统 与对象存储OSS之间实现数据流动 数据流动 监测文件的使用量 数据监控 备份文件系统中的数据 ...
入门概述
文件系统常用操作 如果您想…您可以参考…创建文件系统 创建文件系统 添加挂载点 管理挂载点 创建权限组和规则 管理权限组 挂载文件系统 ECS实例挂载文件系统 容器挂载文件系统 函数计算挂载文件系统 跨网络或账户访问文件系统 本地数据...
文件存储NAS SMB ACL概述
因为文件夹的other默认值是 r-x，文件的默认值是 r-，所以Everyone只有 r-x 或者 r-的权限，导致新生成的文件夹里Everyone无法创建新文件，新生成的文件对于Everyone也是只读的。因此，强烈建议用户在Cygwin下使用noacl选项，不要使用acl...
文件存储CPFS监控概述
通过查看文件存储CPFS文件系统的容量监控和性能信息，您可以了解文件系统的存储容量使用情况和读写吞吐、读写IOPS等情况。通过为文件系统的重要监控指标设置报警规则，您可以及时获知指标异常并快速处理异常。本文介绍文件存储CPFS支持的...
高级管理FAQ
以下操作会更新访问时间：读取文件 写入文件 以下操作不会更新访问时间：重命名一个文件 修改文件的用户（user）、用户组（group）、模式（mode）等文件属性 如果一个目录配置了多项生命周期管理策略，文件系统会执行哪一项策略？...
管理数据流动任务
本文介绍如何在文件存储控制台创建、管理CPFS数据流动任务及查看任务报告。前提条件 已创建CPFS Fileset。具体操作，请参见 创建Fileset。已创建数据流动。具体操作，请参见 创建数据流动。任务说明 任务类型 按任务对数据的操作，可分为...
创建文件系统
文件系统实例是运行 文件存储HDFS版 的实体。在使用 文件存储HDFS版 前，您需要先创建文件系统实例。前提条件 已开通 文件存储HDFS版 服务。具体操作，请参见 开通文件存储HDFS版服务。操作步骤 登录 文件存储HDFS版控制台。在顶部菜单栏...
查询文件系统详情
您可以通过控制台查看当前已创建的文件系统详情，例如查看各地域文件系统资源使用量、文件系统性能、ECS实例挂载状态等信息。查询文件系统资源使用量 您可以通过以下方式快速查询当前阿里云账号下文件系统资源使用量，例如容量型或性能型...
通用型NAS备份
为避免存储在NAS文件系统中的数据丢失或受损影响业务，建议您通过云备份服务定期备份通用型NAS中的所有目录及文件。云备份服务支持配置灵活备份策略，将数据备份至云端，您可以随时查看和恢复数据。本文介绍如何通过云备份服务备份通用型...
快速入门
本文将帮助您快速部署和使用阿里云 文件存储 HDFS 版。您将完成创建 文件存储 HDFS 版 文件系统并完成挂载操作。部署成功后，您就可以像在Hadoop分布式文件系统（Hadoop Distributed File System）中一样管理和访问数据。前提条件 已开通 ...
扩容文件系统
创建文件存储CPFS文件系统时的配置容量即为您能使用的最大容量，当数据写满后，将导致数据无法写入。为了防止因为数据无法写入影响业务使用，建议您在数据写满前扩容当前文件存储CPFS文件系统的配置容量。本文介绍如何扩容文件存储CPFS文件...
常见问题
本文介绍了文件存储NAS产品简介中的常见问题。什么是文件存储NAS？阿里云文件存储NAS是一个可共享访问、弹性扩展、高可靠、高性能的分布式文件系统。NAS兼容了POSIX文件接口，可支持数千台计算节点共享访问，可以挂载到弹性计算ECS、神龙裸...
SDK示例
本文列出了使用Java代码通过Hadoop FileSystem API对 文件存储 HDFS 版 文件系统进行常用操作的示例，您可以参考这些示例代码开发您的应用。前提条件 已开通 文件存储 HDFS 版 服务并创建文件系统实例和挂载点。具体操作，请参见 文件存储...
创建文件系统
文件存储CPFS提供高吞吐和高IOPS的性能，适合高性能计算业务场景。可通过POSIX协议 或NFS协议 在多个计算节点（ECS、容器、云桌面、PAI）中实现文件系统的共享访问。本文介绍如何 创建CPFS文件系统或 创建CPFS智算版文件系统。前提条件 已...
读写访问文件类问题
当您访问文件系统中的文件时，文件系统中的文件会受到某些限制影响，导致文件操作错误、挂载点无响应或访问无响应等。您可以在本文中查找一些常见文件操作错误、文件属主、数据不同步或访问无响应的解决方案。交叉挂载兼容性问题 Linux挂载...
快速入门（FC）
NAS与函数计算无缝集成，您可以在函数计算的服务、应用上配置NAS，实时存储训练中的数据，也可以通过函数计算中的应用部署NAS浏览器，实现可视化管理NAS文件系统上的文件，包括上传文件/文件夹、下载文件/文件夹、增删改查等。本文介绍如何...
修改文件系统
本文介绍如何在 文件存储HDFS版 控制台修改某个文件系统的存储容量、基本信息以及吞吐模式。前提条件 已创建文件系统。具体操作，请参见 创建文件系统。操作步骤 登录 文件存储HDFS版控制台。在顶部菜单栏，选择地域。在左侧导航栏，选择 ...
API概览
本产品（文件存储（NAS/CPFS）/2017-06-26）的OpenAPI采用 RPC 签名风格，签名细节参见 签名机制说明。我们已经为开发者封装了常见编程语言的SDK，开发者可通过 下载SDK 直接调用本产品OpenAPI而无需关心技术细节。如果现有SDK不能满足使用...
基础管理FAQ
本文介绍创建或删除NAS文件系统、添加或删除挂载点等的常见问题。每个账号可以创建多少个文件系统、文件系统有什么限制？每个账号在单个地域内最多支持创建20个通用型NAS文件系统和200个极速型NAS文件系统。单个文件系统容量上限：通用容量...
查询文件系统详情
您可以在文件系统概览页了解您的文件系统概况，例如各地域文件系统数量、文件系统资源使用量等信息。前提条件 已创建文件系统。具体操作，请参见 创建文件系统。查询文件系统资源使用量 您可以通过以下方式快速查询当前阿里云账号下文件...
- 产品推荐
- 这些文档可能帮助您