表分区
指定的分区键可以与父亲的分区键重叠，不过在指定子分区的边界时要注意它接受的数据集合是分区自身边界允许的数据集合的一个子集，系统不会尝试检查事情情况是否如此。3.在分区表的键列上创建一个索引，还有其他需要的索引（键索引并不是...
运行失败
解析表数据时出现“-nan”错误 报错信息 解决方法 该问题一般是原始doc或query表输入的格式有问题，可能存在很大的值或者接近0的值。例如某一行vector下的值为 1.23~4.56~7.89~nan~4.21 或 1.1~2.2~127197893781729178311928739179222121....
EMR Kafka磁盘写满运维
此时，可以通过ECS实例层面的操作，将分区副本数据挪到当前Broker的其他磁盘并修改相应Kafka数据目录元数据的方式来解决故障盘空间不足的问题。适用场景 故障磁盘所在Broker使用容量不均衡、存在空间使用率较低的磁盘。注意事项 该方法只能...
消息堆积和延迟问题
本文主要介绍 云消息队列 RocketMQ 版 TCP协议的Java客户端使用过程中，经常会出现的消息堆积和消息延迟的问题。通过了解 云消息队列 RocketMQ 版 客户端的消费原理和消息堆积的主要原因，帮助您可以在业务部署前更好的规划资源和配置，或...
小文件优化及作业诊断常见问题
本文为您介绍小文件优化以及作业诊断时的常见问题。问题类别 常见问题 小文件优化 MaxCompute什么情况下会产生小文件？如何解决小文件问题？作业诊断 执行并发插入操作报错，如何处理？运行作业时，报错ODPS-0130121，如何解决？创建的...
MapReduce常见问题
本文为您介绍在使用MapReduce时的常见问题。问题类别 常见问题 功能咨询 MapReduce的输入源可以是视图吗？MapReduce的结果写入到表或分区时，会覆盖还是追加数据？MapReduce中是否可以调用Shell文件？reduce.setup能否读入输入表？Mapper...
上下游存储
本文为您介绍实时计算Flink版上下游存储方面的常见问题。Kafka源表 Flink如何获取JSON数据？Flink和Kafka网络连通，但Flink无法消费或者写入数据？为什么Kafka源表数据基于Event Time的窗口后，不能输出数据？Flink中的Commit Offset有什么...
Tunnel命令常见问题
本文为您介绍使用Tunnel命令过程中的常见问题。问题类别 常见问题 Tunnel Upload Tunnel Upload是否支持通配符或正则表达式？Tunnel Upload对文件大小是否有限制？记录大小是否有限制？是否要使用压缩？同一个表或分区是否可以并行上传数据...
DQL操作常见问题
问题类别 常见问题 GROUP BY 在执行MaxCompute SQL过程中，报错Repeated key in GROUP BY，如何解决？在执行MaxCompute SQL过程中，报错Expression not in GROUP BY key，如何解决？对表A执行GROUP BY生成表B，表B比表A的行数少，但表B的...
更换操作系统（系统盘）
通过更换操作系统（系统盘）对系统盘进行扩容时，可能会因为超时导致分区扩容不生效，解决方案请参见 通过更换操作系统扩容系统盘失败，如何处理？③：在 安全设置 区域，设置登录认证方式。登录凭证 说明 密钥对 说明 仅Linux实例支持使用...
更换操作系统（系统盘）
通过更换操作系统（系统盘）对系统盘进行扩容时，可能会因为超时导致分区扩容不生效，解决方案请参见 通过更换操作系统扩容系统盘失败，如何处理？③：在 安全设置 区域，设置登录认证方式。登录凭证 说明 密钥对 说明 仅Linux实例支持使用...
使用须知
问题与解决方法 使用云数据库HBase的SQL功能（Phoenix）的过程中可能会遇到以下问题，为您提供解决以下问题的方法。meta可能存在不同步。问题描述：在同一时间多个连接访问Phoenix的场景下，一个连接进行DDL操作后（例如创建表，删除表，...
Tunnel SDK常见问题
问题类别 常见问题 Tunnel SDK Upload 使用Tunnel SDK上传数据时，上传的数据可以自动分配到各个分区吗？使用Tunnel SDK上传数据时，编写完UDF打成JAR包后上传，对JAR包大小有要求吗？使用Tunnel SDK上传数据时，是否有分区数量限制？使用...
错误码表（2.0版）
DDL相关错误码 范围 说明 18000~18100 DDL CREATE语句用户错误。...DDL CREATE语句系统错误 错误码 错误信息 解决办法 19000 LOCK_SERVICE_ERROR message=Acquire lock failed.DDL操作获取ZK锁失败，请稍后重试，或进一步...
分区管理
删除策略：根据设置的分区保留数量保留最新的分区并删除多余的分区。原理介绍 对表设置创建分区策略/删除分区策略。指定策略执行周期。执行分区计划。注意事项 仅支持 OceanBase MySQL 和 OceanBase Oracle 数据源。仅支持 Range 分区表。...
JindoFS实战演示
为了解决这些问题，您可以将HDFS中的热数据保留，将冷数据归档到OSS中，实现存储与计算分离。本视频为您介绍如何将HDFS中的文件载入Hive表，然后将Hive中的数据按照分区归档到OSS。OSS访问加速 文档链接 视频链接 视频发布时间 描述 访问...
如何快速测试云消息队列 Kafka 版服务端是否正常？
但是会出现部分分区发送消息失败，等到分区恢复后即可恢复正常。当 存储引擎 选择 Local 存储 时，默认选择 分区顺序消息。普通消息 日志清理策略 Topic日志的清理策略。当 存储引擎 选择 Local 存储（当前仅专业版实例支持选择存储引擎...
删除Group后仍然收到消息堆积的告警信息
问题现象 使用阿里云 云消息队列 Kafka 版 时，删除 Group 后，仍然收到消息堆积的告警信息。可能原因 发生消息堆积告警信息的原因如下：2.0.0以前的Kafka服务端版本，开源Kafka未提供删除 Group 和消费位点的OpenAPI，因此删除 Group，...
各源环境迁移至阿里云
SMC支持多种Windows以及Linux操作系统版本，您可以将自建IDC机房、本地虚拟机或者其他云厂商等环境中的源服务器迁移至阿里云。本文介绍迁移源服务器前的准备工作，以及如何使用SMC迁移源服务器至阿里云。背景信息 SMC支持多种迁移源环境，...
常见问题
本文汇总了 云数据库ClickHouse 的常见问题及解决方案。选型与购买 云数据库ClickHouse和官方版本对比多了哪些功能和特性？购买实例时，推荐选择哪一个版本？单双副本实例各有什么特点？购买链路资源时显示“当前区域资源不足”，应该如何...
数据组织优化
MaxCompute会根据系统状态自动触发执行，以保证Clustering服务的高效运行，减少对计算和I/O资源的消耗，从而解决读写放大的问题，从而提高整体的数据组织和处理性能。Compaction 当前痛点 Transactional Table 2.0支持Update和Delete格式的...
历史版本常见问题
现象描述 当分库分表列的类型是date/datetime/timestamp，且使用YYYYMM/YYYYWEEK/YYYYDAY/MMDD/MM/DD等拆分函数进行水平分区时，对于诸如 col>time1 and col的区间范围查询，有概率出现路由后部分分区缺失导致查询结果不完整的问题。...
一键MaxCompute Merge任务节点问题排查方案
出现ODPS-XXXX这种错误提示，通常是代表ODPS内部执行错误，您可查看 SQL错误码（ODPS-01CCCCX）文档查询报错以及解决办法，若文档中找不到或有其他问题，可以咨询MaxCompute技术支持人员。Request rejected by flow control.You have ...
大数据计算服务MaxCompute
增量源表独有 增量源表通过间歇轮询MaxCompute服务器获取所有的分区信息来发现新增的分区，读取新分区时要求分区内数据已写入完毕，详情参见 增量MaxCompute源表监听到新分区时，如果该分区还有数据没有写完，如何处理？通过startPartition...
通过Holo Client读写数据
针对分区表场景，写入时能自动路由对应分区，减少分区提前创建的复杂操作。同JDBC接口一致，支持订阅Hologres Binlog，实现数据的实时消费。支持Java、C、Go等多种编程语言，提升开发的便捷性。需要注意的是，Holo Client不是替代JDBC接口...
Kafka数据接入
但是会出现部分分区发送消息失败，等到分区恢复后即可恢复正常。当 存储引擎 选择 Local 存储 时，默认选择 分区顺序消息。普通消息 日志清理策略 Topic日志的清理策略。当 存储引擎 选择 Local 存储（当前仅专业版实例支持选择存储引擎...
PolarDB PostgreSQL（兼容Oracle）2.0版本与1.0版本...
分区表提升 PolarDB PostgreSQL版（兼容Oracle）2.0版本 通过改进分区系统，使得使用分区表进行查询时获得了更好的性能提升。现在，用户可以使用更灵活的分区裁剪和智能join。此外，该版本还增强了对于触发器的支持，同时增加了逻辑复制的...
Python SDK常见问题
问题类别 常见问题 安装PyODPS 安装PyODPS时，提示Warning:XXX not installed，如何解决？安装PyODPS时，提示Project Not Found，如何解决？安装PyODPS时，报错Syntax Error，如何解决？在Mac上安装PyODPS时，报错Permission Denied，如何...
一键实时同步至MaxCompute
例如，CPU、内存、网络等互相影响，可能会导致离线任务变慢或实时任务延迟等问题，甚至在资源不足的极端情况下，可能会出现任务被OOM KILLER杀掉等问题。步骤七：执行同步任务 进入 数据集成>同步任务 界面，找到已创建的同步方案。单击...
PyODPS常见问题
问题类别 常见问题 安装PyODPS 安装PyODPS时，提示Warning:XXX not installed，如何解决？安装PyODPS时，提示Project Not Found，如何解决？安装PyODPS时，报错Syntax Error，如何解决？在Mac上安装PyODPS时，报错Permission Denied，如何...
一键实时同步至MaxCompute
例如，CPU、内存、网络等互相影响，可能会导致离线任务变慢或实时任务延迟等问题，甚至在资源不足的极端情况下，可能会出现任务被OOM KILLER杀掉等问题。步骤七：执行同步任务 进入 数据集成>同步任务 界面，找到已创建的同步方案。单击...
使用SQL导入MaxCompute的数据至Hologres
注意事项 通过SQL导入MaxCompute数据至Hologres时，您需要注意如下内容：MaxCompute的分区与Hologres无强映射关系，MaxCompute的分区字段映射至Hologres为普通字段，因此支持MaxCompute分区数据导入Hologres非分区或者分区。Hologres仅支持...
设计阶段
事实表：按日分区且永久保留。周期性快照事实表：采用极限存储或根据自身情况设置生命周期。DWS层 汇总指标：自行选择保留月初、特定日期数据。设计加密技术：根据实际情况对敏感字段设计加密方案。Mapping设计 Mapping设计采用图形化或伪...
冷数据归档常见问题
本文汇总了 PolarDB 冷数据归档相关的常见问题。出现"[Data Lifecycle Management]DLM storage engine is not support.The value of polar_dlm_storage_mode is OFF."报错，如何处理？您需要在 PolarDB控制台 上开启冷数据归档功能。详情请...
SQL错误码（ODPS-01CCCCX）
触发条件：当批量添加同一分区时，会出现此错误。MaxCompute仅会执行接收到的第一个添加分区命令，并忽略后续请求。处理方法：避免同时对同一分区执行操作。ODPS-0110061:Failed to run ddltask-Your project is not allowed to install ...
宽表模型介绍
表格存储 按照分区键对数据表的数据进行分区，具有相同分区键的行会被划分到同一个分区，实现数据访问负载均衡。属性列（Attribute Column）一行中除主键列外，其余都是属性列。属性列会对应多个值，不同值对应不同的版本，每行的属性列...
表操作
当使用分区字段对表进行分区时，新增分区、更新分区内数据和读取分区数据均不需要做全表扫描，提高处理效率。col_comment：分区列的注释内容。注释内容为长度不超过1024字节的有效字符串，否则报错。说明 分区值不能包含双字节字符（如中文...
数据脱敏
分区写法参考 分区类型 分区写法 分区示例 后N周 自定义分区字段名称=$[yyyymmdd+7*N]time=$[20190710+7*1]，表示对2019年7月10日后一周的数据进行脱敏。前N周 自定义分区字段名称=$[yyyymmdd-7*N]time=$[20190710-7*3]，表示对2019年7月10...
使用Logstash（流式数据传输）
支持动态分区，可以根据Logstash解析的日志字段产生分区字段，能够自动创建不存在的分区。logstash-output-maxcompute 插件应用于如下场景：需要收集的应用的日志格式在Logstash上有输入插件支持或易于解析，例如NGINX日志。希望根据日志...
通道服务概述
注意事项 由于Tunnel的增量日志最多会保留7天（具体的值和数据表的Stream的日志过期时间一致），因此在使用全量加增量类型或者增量类型的Tunnel消费数据时，会出现如下情况：当Tunnel处于全量阶段时，如果全量数据在7天内没有消费完成，则...
- 产品推荐
- 这些文档可能帮助您