大数据问题-大数据问题文档介绍内容-阿里云

大数据分析工具的常见问题和解决方法

概述 大数据分析是阿里云用户中心与DataWorks和MaxCompute联合推出的成本分析工具，提供大数据分析能力，解决因账单过大而导致无法分析的问题，当前仍处于灰度期间。在使用大数据分析时可能会碰到DataWorks或MaxCompute的权限问题，您可以...

关于我们

阿里云隐私计算产品是源于阿里集团内部数据安全流通的最新解决方案和实践，所以她的提出是基于解决实际的数据安全问题和大数据场景需要，这就决定了她的基因里面就是贴身于实际产业应用。目前团队中拥有全职博士4名，研究型密码学博士实习...

常见问题

本文介绍大数据专家服务常见问题。1.售前咨询渠道尊敬的“准”大数据专家服务用户您好：如果您准备购买阿里云大数据专家服务，但是遇到如服务范围、规格、服务选择等售前方面的问题，您可以通过钉钉与我们联系，您将“当面”获得阿里云大...

大数据安全治理的难点

大数据体系的特点与安全治理难点由于大数据系统在“存储、用户、入口、流转、交付”等多方面的特点，想要回答好上述问题，存在诸多难点。存储众所周知，大数据系统以数据类型多（结构化、非结构化、半结构化）、数据量大（动辄PB级别）...

补数据

本文为您介绍补数据的相关问题。补数据功能说明为什么小时分钟任务补数据选择了并行但实际不生效？为什么补数据选择业务时间后不运行，实例显示黄色，实例状态显示等待时间？为什么补数据选择业务时间昨天和今天，也会出现等待时间的情况...

常见问题

问题分类常见问题产品计费计费常见问题规格类型规格常见问题准备工作常见问题连接至MaxCompute Java SDK常见问题 Python SDK常见问题 JDBC常见问题数据迁移 Tunnel命令常见问题 Tunnel SDK常见问题开发 SQL：SQL常见问题内建...

安全配置常见问题

问题类别常见问题数据安全 MaxCompute如何保证数据安全？MaxCompute的数据是否可靠？VPC IP白名单是否支持设置网段？项目安全运行作业报错AllMachineInBlackList，如何解决？因涉及项目数据保护，无法将MaxCompute数据导出至MySQL，如何...

数据治理

数据地图血缘展示延迟问题数据地图新建表搜不到当前表业务逻辑变更如何通知下游？哪些类型的Hive表支持在数据地图中预览？数据保护伞数据保护伞为什么有时候查询脱敏有时候查询不脱敏为什么数据地图数据总览页存储量和存储趋势图相差较...

数据导入常见问题

容错率不宜设置过大，避免漏掉其他数据问题。当前业务的分区键对应的数据不是标准的DATE和INT类型，使用Stream Load导入数据到StarRocks时，需要转换数据吗？StarRocks支持在导入过程中进行数据转换。例如，待导入数据文件 TEST 为CSV格式...

后续指引

介绍：数据迁移实践：数据迁移最佳实践常见问题：数据上传下载常见问题大规模数据迁移 MaxCompute提供MMA（MaxCompute Migration Assist）迁移工具支撑大规模数据迁移。开发与分析数据类型 MaxCompute支持三种数据类型版本，为您介绍各...

实时同步常见问题

写端延迟大目标数据库性能、负载等问题当数据库负载较高时，单一的调整同步任务并发并不能解决问题，您需要联系数据库管理员寻求相关帮助。读写端延迟大使用公网同步，网络问题导致同步任务延迟。公网同步无法保障实时同步时效性，建议...

常见问题

问题描述：创建完外部表后查询没有数据返回。外部表创建语句示例如下。CREATE EXTERNAL TABLE storage_log(content STRING)PARTITIONED BY(ds STRING)ROW FORMAT DELIMITED FIELDS TERMINATED BY '\t' STORED AS TEXTFILE LOCATION 'oss:/...

SQL其他常见问题

本文为您介绍在MaxCompute中执行SQL时，与数据类型、SQL限制等相关的常见问题。问题类别常见问题数据类型 MaxCompute的时间类型字段是否可以不带时分秒？在执行MaxCompute SQL过程中，对DOUBLE类型的数据进行等值比较，为什么结果不符合...

数据开发常见问题

Spark：Spark常见问题外部表：外部表常见问题安全管理相关：权限管理常见问题安全配置常见问题运维管理：Information Schema常见问题小文件优化及作业诊断常见问题其他运维常见问题下载数据相关：如何下载超过1万条的表数据？...

处理治理项问题

使用治理方案模板并配置治理项后，数据治理中心会根据配置的治理项检测目标租户下存在的治理项问题。您可以在DataWorks的治理工作台中查看可优化问题总数、可优化项排行、优化项类别及可优化的任务或表详情，及时发现并处理待治理问题。...

DQL操作常见问题

说明海量数据的全排序，对性能的影响非常大，而且很容易造成内存溢出问题，请尽量避免执行该操作。MaxCompute是否支持ORDER BY FIELD NULLS LAST语法？MaxCompute不支持此语法。MaxCompute支持的语法请参见与其他SQL语法的差异。执行...

SmartData常见问题

JindoFS是阿里云开源大数据E-MapReduce产品提供的一套Hadoop文件系统，主要对Hadoop和Spark大数据生态系统使用阿里云OSS提供多层次的封装支持和优化。基础功能提供适配OSS和支持访问，您可以直接使用JindoFS SDK；标准功能针对OSS提供分布...

采集数据

本教程提供数据仅作为阿里云大数据开发治理平台DataWorks数据应用实操使用，所有数据均为人工Mock数据，并且只支持在数据集成模块读取数据。章节目标将MySQL存储的用户基本信息及OSS存储的网站访问日志，通过数据集成服务将数据同步至...

采集数据

本教程提供数据仅作为阿里云大数据开发治理平台DataWorks数据应用实操使用，所有数据均为人工Mock数据，并且只支持在数据集成模块读取数据。章节目标将MySQL存储的用户基本信息及OSS存储的网站访问日志数据，通过数据集成服务同步至...

访问OSS出现InvalidArgument Part number问题

一般情况Spark或Hive作业不会写入超过80 G的文件，可能是作业出现数据倾斜导致文件超大，建议您进行作业调参或优化规避数据倾斜问题。JindoSDK 4.5.2(EMR-3.43.1或EMR-5.9.1)及以上版本支持配置 fs.oss.blocklet.size.mb 进行调整，默认为8...

问题汇总

补数据补数据功能说明为什么小时分钟任务补数据选择了并行但实际不生效？为什么补数据选择业务时间后不运行，实例显示黄色，实例状态显示等待时间？...为什么不能在调度资源组上进行大数据计算？其他如何设置任务优先级？

常见问题

如何理解开源与云原生的大数据技术与产品？MaxCompute作为大数据平台，对业务数据是否有好的监控手段？MaxCompute的项目发挥什么作用？如何获取MaxCompute中的Accesskey_ID和AccessKey_Secret？现有账号的AccessKey被禁用，创建一个新的...

常见问题

本文为您介绍数据集成任务常见问题。资源组操作及网络连通在做离线同步时，我们需要先了解哪些DataWorks及其网络能力？同步ECS自建的数据库的数据时，如何保障数据库与DataWorks的网络连通？数据库和DataWorks不在同一个地域（Region）下...

其他问题

为什么不能在调度资源组上进行大数据计算？其他如何设置任务优先级？如何查看任务优先级？周期任务与周期实例、补数据实例、测试实例是什么关系？DataWorks每晚将根据周期任务，批量生成第二天自动调度的周期实例，周期实例自动生成并且...

Tunnel SDK常见问题

问题类别常见问题 Tunnel SDK Upload 使用Tunnel SDK上传数据时，上传的数据可以自动分配到各个分区吗？使用Tunnel SDK上传数据时，编写完UDF打成JAR包后上传，对JAR包大小有要求吗？使用Tunnel SDK上传数据时，是否有分区数量限制？使用...

外部表常见问题

问题类别常见问题 OSS外部表自定义Extractor在读取非结构化数据时，如果数据字段存在DATETIME类型，报错ODPS-0123131，如何解决？在MaxCompute上访问OSS外部表，编写UDF本地测试通过，上传后报错内存溢出，如何解决？通过外部表处理OSS...

常见问题

以下为您介绍实时同步数据至 AnalyticDB for MySQL 3.0操作失败的常见问题和解决方案。PolarDB数据源网络联通性测试失败怎么办？MySQL数据源网络联通性测试失败怎么办？实时任务，运行报错：...

MapReduce常见问题

产生原因某些数据特别大，下载到内存便溢出了。解决措施把Combiner去掉或者在Combiner中限制Size set odps.mapred.map.min.split.size=512;执行MaxCompute MapReduce时，报错内存溢出，如何解决？内存溢出通常是由于内存不足导致的，可以...

某网约车公司车辆轨迹数据

随着车辆数量的快速增长，每辆车每分钟上传轨迹、位置等信息到MySQL导致MySQL库数据量过大，将全量数据写到云原生多模数据库 Lindorm 中可以解决数据量过多和成本问题。业务挑战目前线下有7万+辆车，车辆数量在快速增长，每辆车每分钟...

数据开发常见问题

问题描述：集群的HDFS容量被写满，发现/spark-history 下有大量的数据。解决方法：在Spark 配置页面的服务配置区域，查看是否有 spark_history_fs_cleaner_enabled 参数：是：修改参数值为 true，可以周期性清理已经完成的作业的日志...

数据组织优化

Clustering 当前痛点 Transactional Table 2.0支持分钟级近实时增量数据导入，高流量场景下可能会导致增量小文件数量膨胀，从而引发存储访问压力大、成本高，并且大量的小文件还会引发Meta更新以及分析执行慢，数据读写I/O效率低下等问题，...

质量规则模板类型

如果差异较大，可能存在较大数据质量的问题需要进行确认和修复。实时多链路对比高可用场景下，需要构建多条链路，以便数据出现异常时，能够及时切换。对于多链路之间的数据计算进度监控则可以发现一些数据滞留、统计偏差问题，提升实时...

质量规则模板类型

如果差异较大，可能存在较大数据质量的问题需要进行确认和修复。实时多链路对比高可用场景下，需要构建多条链路，以便数据出现异常时，能够及时切换。对于多链路之间的数据计算进度监控则可以发现一些数据滞留、统计偏差问题，提升实时...

作业运行常见问题

导致MaxCompute作业运行时长不达预期（作业运行慢）的原因通常可分为资源不足、作业问题、模式回退三种：资源不足对于使用包年包月计算资源的作业，可能由于总体作业运行数据量大、申请资源多、作业优先级低而导致该作业出现资源等待...

Tunnel命令常见问题

上传数据时，每个Session的生命周期是一天，因源表数据太大，导致Session超时任务失败，如何解决？上传Session太多导致上传速度慢，如何解决？导入数据的最后一列为什么会多出\r符号？使用Tunnel Upload命令上传数据时，默认用逗号进行列...

等待资源

问题现象数据集成任务日志中显示wait。产生原因当前数据集成资源组上执行的任务超过了机器支持的并发上限，任务在等待数据集成执行资源。说明如果资源使用率高但实际无任务执行或资源组上可执行任务数未达资源组上限但仍无法执行任务，...

运行失败

解析表数据时出现“-nan”错误报错信息解决方法该问题一般是原始doc或query表输入的格式有问题，可能存在很大的值或者接近0的值。例如某一行vector下的值为 1.23~4.56~7.89~nan~4.21 或 1.1~2.2~127197893781729178311928739179222121....

PyODPS常见问题

本文为您介绍使用PyODPS时的常见问题。问题类别常见问题安装PyODPS 安装PyODPS时，提示Warning:XXX not installed，如何解决？安装PyODPS时，提示Project Not Found，如何解决？安装PyODPS时，报错Syntax Error，如何解决？在Mac上安装...

Java SDK常见问题

如果数据量比较大，建议您使用Tunnel SDK导出数据。SQLTask查询数据和DownloadSession在使用及功能上，有什么不同？SQLTask运行SQL并返回结果，返回条数有限制，默认是10000条。DownloadSession下载某个存在的表里的数据，结果条数无限制。...

DML操作常见问题

问题类别常见问题插入或更新数据执行INSERT操作过程中出现错误，会损坏原有数据吗？执行INSERT INTO或INSERT OVERWRITE操作时，提示Table xxx has n columns，but query has m columns，如何解决？执行INSERT INTO或INSERT OVERWRITE...

大数据问题

新品推荐