Logview诊断实践
输出文件size变大 问题现象：在输入输出条数相差不大的情况，可能存在结果膨胀几倍。解决思路：一种情况是数据分布变化导致的，我们在写表的过程中，会对数据进行压缩，而压缩算法对于重复数据的压缩率是最高的，所以如果写表的过程中，...
PolarDB并行查询
两个阶段没有重叠，这样就实现了全阶段的并行，但Parallel Hash join也有自身的问题，例如：共享Hash Table过大导致spill to disk问题，并行插入虽然无锁，但仍有“同步”原语带来的cache invalidation。Partition Hash join Partition ...
PolarDB MySQL版8.0.1版本发布日志
修复Hybrid Plan应用于带Order By的SQL语句，且输出行包含NULL时，报错"table definition has changed"的问题。8.0.1.1.38.1 类别 说明 发布时间 问题修复 未添加过Statement Outline的集群，在版本升级后如果添加了Statement Outline，...
功能特性
Crop 不支持 视频贴黑边 指定输入视频画面经过贴黑边后输出的宽度和高度，以及输入画面与输出画面左边、上边的相对位置，两个画面的间隙使用黑边填充。Pad 不支持 横竖屏自适应 开启后，输出分辨率由宽度、高度，变为长边、短边参数。当您...
PolarDB HTAP实时数据分析技术解密
对每一个计算表达式，其输入和输出都以Batch为单位，在Batch处理模式下，计算过程可以使用SIMD指令进行加速。即表达式系统有两项关键优化：充分利用列式存储的优势，使用分批处理模型代替迭代器模型，使用SIMD指令重写大部分常用数据类型的...
列存索引技术架构介绍
在IMCI中，HashJoin按如下流程执行：向量化执行解决了单核执行效率低的问题，而并行执行突破了单核的计算瓶颈。二者结合使得IMCI执行速度相比传统MySQL行式执行有了数量级的提升。向量化表达式体系 AP型场景，SQL中经常会包含很多涉及到...
2021年
2021年3月 修复roaringbitmap插件对输入异常参数时访问非法内存的问题。2021年3月 修复当只读节点日志同步延迟较大时，可能不会及时给主节点流复制反馈，从而导致流复制链接中断的问题。2021年3月 时空数据库（V3.4）类别 名称 描述 相关...
组件参考：所有组件汇总
词频统计 该组件是指输入一些字符串（手动输入或者从指定的文件读取），用程序来统计这些字符串中总共有多少个单词，每个单词出现的次数。TF-IDF 该组件是一种用于资讯检索与文本挖掘的常用加权技术。通常在搜索引擎中应用，可以作为文件与...
2021年
跨机并行查询 PX支持并行Delete 跨机并行查询支持并行delete，包括带子查询和不带子查询的并行delete。通过设置polar_px_enable_delete参数，开启或关闭该功能，默认值为false。设置为true时，表示开启并行delete功能。设置为false时，表示...
PolarDB处理TPC-H查询的挑战和机遇
如果group by列能够简单计算且仅依赖于join序列上第一个表，则可以尝试利用join table的有序索引（如果存在的话）或对其输出做filesort排序，来实现ordered aggregation，否则可以使用hash aggregation。这是因为MySQL重度依赖nested loop ...
高级配置：模型服务预热
解决方法 对于TensorFlow而言，每个服务都需要使用真实业务请求进行预热，并且该预热仅适用于请求的输入输出。因此，EAS 提供的模型预热功能需要您上传真实的请求数据。对于TensorFlow模型进行预热，只需要让 session->Run 按照真实请求...
提交节点报错：当前节点依赖的父节点输出名不存在
为了避免依赖关系配置错误导致数据出现问题，DataWorks会在提交节点时对表数据血缘关系的输入输出与调度配置的输入输出进行比较，如果不一致会给您提示，详情可参见 提交节点时提示：输入输出和代码血缘分析不匹配。不是DataWorks每天调度...
Dataphin“数据集成”输入和输出字段间无法建立映射...
产品名称 Dataphin 产品模块 数据集成 概述 提供数据集成中输入表字段和输出表字段映射不上问题的排查思路 问题描述 管道集成时，字段映射有问题，有些字段可以映射上、有些映射不上，不管是同名映射还是同行映射都会出现：问题原因 表字段...
Hive作业调优
另外，有多少个Reduce，就会有多少个输出文件，如果生成了很多个小文件，并且这些小文件作为下一个任务的输入，则会出现小文件过多的问题。并行运行 并行运行表示同步执行Hive的多个阶段。Hive在执行过程中，将一个查询转化成一个或者多个...
提交节点时提示：输入输出和代码血缘分析不匹配
问题现象 提交节点时，系统出现提示：输入输出和代码血缘分析不匹配。可能原因 当代码中SELECT的表与节点的依赖的父节点配置不一致，或代码中INSERT、CREATE的表与节点的本节点的输出不一致时，会出现该提示。以上图为例，说明：您提交的...
技术类问题
输入输出参数怎么填?SDK性能表现如何？如何解决屏幕黑屏问题？接入 美颜特效SDK 后，画面纯色闪烁，移动手机后，画面颜色变化，但仍然没有画面？启动后闪退问题？贴纸/美妆功能，人脸像呈90度横屏后，人脸不可识别问题？基础美颜有效，高级...
依赖关系
避免下游节点取数据时，上游表数据还未正常产出，导致下游节点取数出现问题。DataWorks上如何设置调度依赖？在DataWorks上，上游节点的输出作为下游节点的输入，形成节点依赖关系。说明 SQL任务会以如下方式自动配置节点输入输出：select ...
PolarDB MySQL版8.0.2版本发布日志
2024-04-17 问题修复 修复Statement Outline和Concurrency Control等功能在执行Reload操作时，出现的内存泄漏的问题。修复左连接 INFORMATION_SCHEMA 库中的表时结果错误的问题。修复了当已创建DLM策略的表的表结构发生变更后，DLM策略仍能...
集群管理FAQ
当Kubernetes集群出现问题或者节点异常时，您可通过容器服务ACK提供的一键故障诊断功能，辅助您定位集群中出现的问题，详情请参见 使用集群诊断。如果集群诊断功能无法满足需求，您需要分别在Master节点和异常的Worker节点上收集Kubernetes...
美颜特效SDK通用问题
出现原因：常见是由于纹理ID错误或生成纹理错误所致，偶尔会出现个别客户对返回后的纹理ID使用不当或使用无效纹理ID进行自身业务层的绘制而产生黑屏的问题。解决方法：美颜特效SDK 的渲染层基于OpenGL实现，只要确保传入 美颜特效SDK 接口...
SELECT
对于每一个被选中的行或者行组，会使用 SELECT 输出表达式计算实际的输出行。SELECT DISTINCT 从结果中消除重复的行。SELECT DISTINCT ON 消除在所有指定表达式上匹配的行。SELECT ALL（默认）将返回所有候选行，包括重复的行。通过使用...
Presto FAQ
解决方案：您可以查看自己的OSS的数据是否正常同步。性能相关问题 如何解决查询报错：“Query exceeded distributed user memory limit of 2.00TB or Query exceeded per-node user memory limit of xxGB”？DLA Presto中一个查询能使用的...
创建自定义组件
创建自定义组件支持选择不同的任务类型（包括：Tensorflow、PyTorch、XGBoost、ElasticBatch）、创建输入输出管道、配置超参等，自定义组件创建成功后，会转换为Designer界面可视化参数配置，详情请参见 操作步骤。针对不同的任务类型，...
开发ODPS MR任务
MaxCompute提供MapReduce编程接口。您可以通过创建ODPS MR类型节点并提交任务调度，使用MapReduce Java API编写MapReduce程序来处理MaxCompute中的...MapReduce常见问题：您可了解MR任务执行过程中的常见问题，便于出现异常时快速排查解决。
开发ODPS MR任务
MaxCompute提供MapReduce编程接口。您可以通过创建ODPS MR类型节点并提交任务调度，使用MapReduce Java API编写MapReduce程序来处理MaxCompute中的...MapReduce常见问题：您可了解MR任务执行过程中的常见问题，便于出现异常时快速排查解决。
常见问题
对于Proxima CE的输入输出表，其命名需要符合MaxCompute的命名规定，注意名称中不能带点号.，该符号为MaxCompute的特殊字符，会导致后续流程错误。通常发生在创建output表为 xxx.output_table_name 的情况。多个任务同时执行会有问题吗？...
运行失败
解析表数据时出现“-nan”错误 报错信息 解决方法 该问题一般是原始doc或query表输入的格式有问题，可能存在很大的值或者接近0的值。例如某一行vector下的值为 1.23~4.56~7.89~nan~4.21 或 1.1~2.2~127197893781729178311928739179222121....
数据正确性
将节点拆分，然后观察每个节点的Bytes Received（输入）和Bytes Sent（输出），确定数据在哪个节点被过滤，如果某个节点输出为0，输入不为0，说明数据被这个节点过滤了。常见的导致数据无输出的算子包括join、window或where。检查下游是否...
发布日志
增加音频焦点事件通知，解决外部通话等操作导致音量异常的问题。增加推流之后客户端手动横竖屏切换能力。修复yuv输入视频推流crash问题。修复支持外部视频输入的渲染模式设置不生效问题。V1.17@2020-03-07 支持RACE美颜输出。音视频数据回...
分场景排错指引
本文为您介绍实时计算Flink版分场景排错指引方面的常见问题，包括权限、运维和数据异常等问题。权限 不小心删除了角色或者变更了授权策略，导致Flink全托管服务不可用怎么办？运维 JobManager没有运行起来，如何快速定位问题？Python作业，...
访问PHP程序页面出现"Warning:Cannot modify header ...
解决方案 若需要在输出内容之前产生Cookie，可以在程序的最上方加入ob_start函数，ob_start是打开输出缓冲区的函数。例如void ob_start(void)，当缓冲区激活时，所有来自PHP程序的非文件头信息均不会发送，而是保存在内部缓冲区。如果需要...
DataStudio侧实时同步任务配置
避免混跑带来资源互相抢占、运行态互相影响等问题，例如，CPU、内存、网络等互相影响，导致离线同步任务突然变慢、实时同步任务延迟、以及在资源不足的极端情况下可能会出现任务被OOM Killer杀掉等问题。步骤三：配置实时同步任务 配置单表...
技术类问题
设置输入数据时的输入角度/输出角度/xy轴旋转等参数错误，如接口：updateInputDataAndRunAlg(byte[]imageData,int format,int width,int height,int stride,int inputAngle,int outAngle,int flipAxis,boolean reuseData)或者帧同步接口 ...
JDBC常见问题
本文为您介绍JDBC的常见问题。...当出现该问题时，说明JDBC驱动使用Tunnel连接MaxCompute获取SQL结果出现了错误，解决方式请参见 报错信息：ErrorCode=Local Error,Failed to create download session with tunnel endpoint.
场景1：包含离线同步节点的业务流程，如何配置调度...
在各个节点中开发任务代码时，DataWorks会根据业务代码自动解析，通过代码中的部分输入、输出命令，自动为节点添加 本节点的输出 或 依赖的上游节点。以上图中的ODPS节点sql_1为例，如果sql_1节点需要取用离线节点user_1产出的表 table_1 ...
工作流常见问题
本文介绍了在使用工作流中出现的常见问题以及解决的对应方法。如何上传文件？您可以通过媒体处理控制台或OSS官方提供的图形化管理工具进行文件上传工作，支持分片上传、断点续传、批量上传。详细信息参见 控制台上传、OSS图形化管理工具...
5、如何做好迭代跟进？
参与人 产品、开发和测试 主要职责 及时更新需求的状态，提前识别所负责需求的进展和问题，跟进和解决站会发现的问题 时长和频率 15分钟，三个相同：同一个团队、同一时间（建议在上午）、同一地点（在看板前）输入 过程 输出 团队成员更新...
媒体处理常见问题
如果转码失败，可能是因为源文件本身问题导致，例如：视频流缺失、metadata存在问题、帧错误、视频头部信息缺失等。通过阅读本文，您可以了解转码异常、转码格式支持及其他常见问题及对应解决方案。转码异常问题 使用SubmitJobs API提交...
输入与输出
MaxCompute MapReduce的输入、输出，支持MaxCompute内置类型的Bigint、Double、String、Datetime和Boolean类型，不支持您自定义数据类型。接受多表输入，且输入表的Schema可以不同。在Map函数中，您可以获取当前Record对应的Table信息。...
Logtail发布历史
修复ProcessorParseDelimiterNative解析携带下一行数据的问题 修复在反压情况下可能出现的文件无法读完的问题 修复plugin_export panic导致插件崩溃的问题 修复解析Apsara格式日志导致的崩溃问题 修复解析Apsara格式日志解析数据黏连问题 1...
- 产品推荐
- 这些文档可能帮助您