PyODPS概述
整个流程中，下载上传数据消耗了大量的时间，并且在执行脚本的机器上需要很大的内存处理所有的数据，特别是对于使用DataWorks节点的用户来说，很容易因为超过默认分配的内存值而导致OOM运行报错。高效处理代码demo from odps.df import ...
DescribeRestoreJobs-查询防勒索恢复任务的详情
访问级别：是指每个操作的访问级别，取值为写入（Write）、读取（Read）或列出（List）。资源类型：是指操作中支持授权的资源类型。具体说明如下：对于必选的资源类型，用背景高亮的方式表示。对于不支持资源级授权的操作，用 全部资源 ...
外部表
如果指定的Table Store表名错误（不存在），则会报错，MaxCompute不会主动去创建Table Store表。LOCATION：用来指定Table Storeinstance名字、endpoint 等具体信息。图形化建表 进入 数据开发 页面，参见 创建并使用MaxCompute表 进行图形...
消息队列Kafka
Boolean 否 false 参数取值如下：true：在启动作业前检查消费者组是否有重复，如有重复作业将会报错，避免与现有的消费者组产生冲突。false：直接启动作业，不检查消费者组冲突。说明 仅VVR 6.0.4及以后版本支持该参数。结果表 参数 说明 ...
数据湖管理FAQ
说明 识别一个CSV文件的Schema是通过采样文件，然后读取文件前1000行，需要确认前1000行的字段及分隔是否完全一致。为什么一个目录下面是同样Schema的JSON文件，但是没有建表？目前元数据发现只支持对只包含文件的目录进行识别，如果一个...
CDC问题
TableMapEventDataDeserializer.readMetadata的NullPointerException MySQL全量过程中增加列后报错NullPointerException 报错：The connector is trying to read binlog starting at GTIDs xxx and binlog file 'binlog.000064',pos=...
MapReduce常见问题
执行MaxCompute MapReduce时，开启了600个Reducer加载一个配置文件，但是配置文件很小且报错java.lang.OutOfMemoryError，如何解决？执行MaxCompute MapReduce时，报错ODPS-0420095，如何解决？在MapReduce中使用资源时，报错文件太多，...
管理人群
多列CSV文件 目标用户的手机号和变量模板的变量内容，将这两类数据存储在一个多列的CSV文件中（需要包含列名），后续在人群管理页面上传此CSV文件。通常适用于需要对已有人群补充用户手机号数据，并补充后续运营内容模板中对应用户的内容...
日志服务采集数据常见的错误类型
单击错误查看详细报错，报错根据内容分为如下类型，请根据详细报错中的具体错误信息进行排查。accept error.：执行Accept时发生错误，插件将等待一段时间后重试。setKeepAlive error.：设置 Keep Alive失败，插件将跳过此错误并继续运行。...
数据导入常见问题
例如，上面示例中，源数据为CSV格式，包括三列，列分隔符为逗号（,），但是导入命令或导入语句中却指定制表符（\t）作为列分隔符，最终导致源数据的三列数据解析成了一列数据。解决方案 修改导入命令或导入语句中的列分隔符为逗号（,），...
提取字段
您在使用Logtail采集日志时，可以添加Logtail插件，通过正则模式、标定模式、CSV模式、单字符分隔符模式、多字符分隔符模式、键值对模式、Grok模式提取日志字段。本文介绍各个插件的参数说明和配置示例。使用限制 文本日志和容器标准输出只...
常见问题
读取OSS文件是否有文件数限制？写入DataHub时，一次性写入数据超限导致写入失败如何处理？使用lindorm bulk方式写入数据，是否每次都会替换掉历史数据？如何查询一个ES索引下的所有字段？离线同步场景及解决方案 离线同步任务如何自定义表...
关键缺陷通知
text转bit报错不支持：Cast FROM STRING to BINARY is not supported.-text转bit，再转bigint报错：ERROR:syntax error at or near")"TEXT类型转BIT类型支持不完善，导致出现报错：Cast FROM STRING to BINARY is not supported....
Spark常见问题
作业报错 运行Spark作业时，报错User signature dose not match，如何解决？运行Spark作业时，报错You have NO privilege，如何解决？运行Spark作业时，报错Access Denied，如何解决？运行Spark作业时，报错No space left on device，如何...
TensorFlow常见问题
for path in files:file_content=tf.gfile.FastGFile(path,'rb').read()#一定记得使用rb读取,否则很多情况下都会报错。image=tf.image.decode_jpeg(file_content,channels=3)#以JPG图片为例。读取大规模文件时，建议使用 tf.WhoFileReader...
HDFS数据源
HDFS是一个分布式文件系统，为您提供读取和写入HDFS双向通道的功能，本文为您介绍DataWorks的HDFS数据同步的能力支持情况。支持的版本 目前不支持阿里云文件存储HDFS版。使用限制 离线读 使用HDFS Reader时，请注意以下事项：由于连通默认...
DQL操作常见问题
问题类别 常见问题 GROUP BY 在执行MaxCompute SQL过程中，报错Repeated key in GROUP BY，如何解决？在执行MaxCompute SQL过程中，报错Expression not in GROUP BY key，如何解决？对表A执行GROUP BY生成表B，表B比表A的行数少，但表B的...
OSS-HDFS数据源
OSS-HDFS服务（JindoFS服务）是一款云原生数据湖存储产品，OSS-HDFS数据源为您提供读取和写入OSS-HDFS的双向通道，本文为您介绍DataWorks的OSS-HDFS数据同步的能力支持情况。使用限制 离线读 使用OSS-HDFS Reader时，请注意以下事项：由于...
创建OSS外部表
MaxCompute支持您在项目中创建OSS（Object Storage Service）外部表，与存储服务OSS上的目录建立映射关系，您可以通过OSS外部表访问OSS目录下的数据文件中的非结构化数据，或将MaxCompute项目中的数据写入OSS目录。本文为您介绍创建OSS外部...
配置FTP输出组件
文件名冲突报错：目录下的文件名存在冲突的文件，则运行时直接报错。写入文件个数 支持单个文件或多个文件。单个文件：将写入目标端FTP的单个文件中。多个文件：选择多个文件，将写入多个文件，文件数量为任务并发数。并在文件名后添加_1、...
配置FTP输出组件
文件名冲突报错：目录下的文件名存在冲突的文件，则运行时直接报错。写入文件个数 支持单个文件或多个文件。单个文件：将写入目标端FTP的单个文件中。多个文件：选择多个文件，将写入多个文件，文件数量为任务并发数。并在文件名后添加_1、...
PAI-TF数据转换方法
如果实际CSV字符串的列数大于或等于列数，则报错。field_delim 否 类型STRING，默认为英文逗号（,）。CSV格式数据的分隔符。不支持数字、正负号、字母e和E、小数点（.）和多字节分隔符。当使用空格作为分隔符时，多个连续空格将被视作一个...
上下游存储
Hologres 报错：BackPressure Exceed reject Limit 报错：remaining connection slots are reserved for non-replication superuser connections 报错：no table is defined in publication 日志服务SLS 报错：Caused by:...
Tunnel命令常见问题
使用Tunnel Upload命令上传两个文件时，第一个文件上传结束之后，第二个文件没有上传且没有报错信息，是什么原因？使用Tunnel Upload命令上传数据时，共分为50个Block，开始一切正常，但是在第22个Block时，出现Upload Fail，重试直接跳过...
同步增量数据到OSS
truncate表示会清理已存在的同名文件，append表示会增加到已存在的同名文件内容后面，nonConflict表示当同名文件存在时会报错。encoding":"UTF-8",/编码类型。fieldDelimiter":",",/每一列的分隔符。fileFormat":"csv",/文件类型，可选...
PolarDB MySQL版8.0.2版本发布日志
支持对OSS上CSV格式的数据文件使用查询加速功能。支持对已创建全局二级索引（GSI）的分区表执行 INSTANT DROP PARTITION 操作，且不会导致分区表上的全局二级索引（GSI）失效。优化并提升只读（RO）节点的读取性能。列存索引（IMCI）中新增...
Quick BI本地上传文件报错“AE0570000018:the file ...
问题描述 本文主要介绍Quick BI本地上传文件报错“AE0570000018:the file columns too much”的原因。问题原因 该问题是因为上传文件超过最大的列数限制。报错信息。解决方案 Quick BI 限制上传文件的列数最大为100列。使用限制 限制说明 ...
配置OSS对象存储
读取挂载的文件时，报错信息为 Input/output error。请确认您配置的OSS Bucket的存储类型，其中存储类型为归档存储和冷归档存储时，存放到该Bucket的文件都是冻结状态，这类文件要解冻后才能正常访问。建议您配置的OSS Bucket存储类型为...
整库离线同步至OSS
如果选择了写入单个文件，则文件名 前缀冲突 选项可以选择 替换原有文件 或 退出报错。写入单文件时源端单表数据量超过10G会引起同步报错。前缀冲突 定义写入OSS文件时，Object名称前缀冲突情况下的数据处理方式：替换原有文件：写入前清理...
配置Amazon S3输入组件
配置Amazon S3输入组件后，可以读取Amazon S3数据源中的数据至Dataphin，进行数据集成与数据开发。本文为您介绍如何配置Amazon S3输入组件。前提条件 在开始执行操作前，请确认您已完成以下操作：已创建Amazon S3数据源。具体操作，请参见 ...
配置Amazon S3输入组件
配置Amazon S3输入组件后，可以读取Amazon S3数据源中的数据至Dataphin，进行数据集成与数据开发。本文为您介绍如何配置Amazon S3输入组件。前提条件 在开始执行操作前，请确认您已完成以下操作：已创建Amazon S3数据源。具体操作，请参见 ...
文件分析
云数据库 SelectDB 版 支持表函数功能TVF（Table-Value-Function），可以将S3、HDFS等常见远端存储中的文件数据，映射成 云数据库 SelectDB 版 中的表，从而对这些文件数据进行分析。S3表函数 S3表函数可以让您像访问关系型数据库一样，...
配置OSS文件系统
读取挂载的文件时，报错信息为 Input/output error。请确认您配置的OSS Bucket的存储类型，其中存储类型为归档存储和冷归档存储时，存放到该Bucket的文件都是冻结状态，这类文件要解冻后才能正常访问。建议您配置的OSS Bucket存储类型为...
Hudi数据源
SelectDB读取Read Optimize表时会跳过log文件的合并。SelectDB判定一个表是否为Read Optimize表并不是通过_ro 后缀，而是通过Hive InputFormat信息。您可以通过 SHOW CREATE TABLE 命令观察COW/MOR/Read Optimize表的InputFormat是否相同。...
从OSS导入数据
例如CSV文件列与列之间使用竖线分割，则命令示例如下。INSERT INTO oss_test_tbl_distributed SELECT*FROM oss_test_tbl settings format_csv_delimiter='|';方法二：通过表函数导入OSS数据 22.8以下版本的导入语法 INSERT INTO...
HDFS与ClickHouse间的数据导入与导出
说明 其中uri不能为目录地址，且文件所属的目录需要存在，否则写数据时会报错。创建HDFS引擎表并准备数据。下载并上传示例数据 orders.csv 至HDFS集群的目录下，本文将文件上传到了HDFS集群的根目录下。执行以下命令创建数据库hdfs和HDFS表...
配置算法实例
如果算法报错，检测会失败，您可根据报错信息，修正输入参数，参考以上步骤，重新进行IV检测。报错返回参数如下：参数名称 类型 说明 code int 报错的错误码。固定取值500。requestId String 阿里云为该请求生成的唯一标识符。error_...
配置同步任务
文件名冲突报错：若目录下有重复的文件名称，则直接报错。配置 来源字段 区域的参数。选择来源表后，来源表的字段会展示在 来源字段 区域内。您可以单击字段所在行 操作 列下的 图标，删除来源字段。如果需要再次添加已删除的字段，则单击 ...
SendFile-推送文件到云手机
访问级别：是指每个操作的访问级别，取值为写入（Write）、读取（Read）或列出（List）。资源类型：是指操作中支持授权的资源类型。具体说明如下：对于必选的资源类型，用背景高亮的方式表示。对于不支持资源级授权的操作，用 全部资源 ...
Spark作业异常排查及处理
文件格式报错 Hive或Impala作业读取Spark导入的Parquet表报错 具体报错：Failed with exception java.io.IOException:org.apache.parquet.io.ParquetDecodingException:Can not read value at 0 in block-1 in file xxx 报错原因：由于Hive...
- 产品推荐
- 这些文档可能帮助您