什么是云原生数据湖分析
寻求安全的数据处理解决方案。DLA所有的库表及存储的数据都有一整套安全的方案，避免数据被误用。寻求低成本的数据处理方案。DLA方案是完全Serverless的解决方案，是阿里云提供的云原生的数据处理方案。从之前Hadoop体系过渡到数据湖方案。...
流式数据通道概述
MaxCompute流式数据通道服务可以解决流式服务使用批量数据通道写入数据引发的各种问题，优势如下：更优化的数据存储结构，解决高QPS写入导致的碎片文件问题。提供了增量数据异步处理机制，可以在使用过程中无感知情况下对新写入的增量数据...
确认表血缘
导致下游取数出现问题 若当前节点 Job_B 代码中配置了依赖A表的数据，但未将产出A表数据的节点 Job_A 作为当前节点依赖的上游，则可能会出现A表数据未产出，当前节点便开始执行，最终导致 Job_B 节点产出的表数据出现问题。虽然 Job_A 的...
外部表常见问题
问题类别 常见问题 OSS外部表 自定义Extractor在读取非结构化数据时，如果数据字段存在DATETIME类型，报错ODPS-0123131，如何解决？在MaxCompute上访问OSS外部表，编写UDF本地测试通过，上传后报错内存溢出，如何解决？通过外部表处理OSS...
查看并管理整改流程
或者历史任务中出现过异常，但最新数据处理中已经用不到了，可以选择直接忽略。取消忽略：取消忽略后，将会按照最新一次校验结果确定问题状态。如果校验通过，问题状态是已解决；如果校验不通过，问题状态是未解决。重新校验：仅待处理、已...
查看并管理整改流程
或者历史任务中出现过异常，但最新数据处理中已经用不到了，可以选择直接忽略。取消忽略：取消忽略后，将会按照最新一次校验结果确定问题状态。如果校验通过，问题状态是已解决；如果校验不通过，问题状态是未解决。重新校验：仅待处理、已...
查看并管理治理工作台
或者历史任务中出现过异常，但最新数据处理中已经用不到了，可以选择直接忽略。取消忽略：取消忽略后，将会按照最新一次校验结果确定问题状态。如果校验通过，问题状态是已解决；如果校验不通过，问题状态是未解决。加入白名单：加入白名单...
查看并管理治理工作台
或者历史任务中出现过异常，但最新数据处理中已经用不到了，可以选择直接忽略。取消忽略：取消忽略后，将会按照最新一次校验结果确定问题状态。如果校验通过，问题状态是已解决；如果校验不通过，问题状态是未解决。加入白名单：加入白名单...
离线同步并发和限流之间的关系
实践内容 并发数 阅读此部分，您可以解决和理解如下问题：问题一：如何配置数据同步任务的并发数？问题二：为什么我的数据同步任务跑的比较慢，实际运行的并发数不够？问题三：为什么我的同步任务并发数配置的很高，但是任务运行速度仍然很...
Transaction Table2.0概述
很多业务场景并不要求延时秒级更新可见或者行级更新，更多的需求是分钟级或者小时级的近实时数据处理叠加海量数据批处理场景，MaxCompute支持基于Transaction Table2.0实现近实时的增全量一体的数据存储、计算解决方案，本文为您介绍本方案...
备份数据库
数据库备份DBS 的 批量备份 功能支持备份单个数据库和多个数据库。本文以批量配置MySQL逻辑备份为例，向您介绍如何备份数据库。说明 关于各类数据库备份方案，请参见 备份方案概览。前提条件 已添加数据源。如何添加数据源，请参见 手动...
常见问题
问题原因：出现Spark查询hudi数据重复，通常是因为Hudi不支持Spark DataSource方式读取导致的。解决方法：您需要在执行查询Hudi表的命令时，添加上 spark.sql.hive.convertMetastoreParquet=false。Hive查询Hudi数据重复，如何处理？问题...
写入与查询
本文介绍 AnalyticDB MySQL 中写入与查询的常见问题及解决方法。说明 当常见问题场景中未明确产品系列时，表明该问题仅适用于 AnalyticDB MySQL 数仓版（3.0）。常见问题概览 湖仓版（3.0）集群是否支持通过JDBC方式查询Hudi表的数据？湖仓...
常见问题
本文汇总了 云数据库ClickHouse 的常见问题及解决方案。选型与购买 云数据库ClickHouse和官方版本对比多了哪些功能和特性？购买实例时，推荐选择哪一个版本？单双副本实例各有什么特点？购买链路资源时显示“当前区域资源不足”，应该如何...
导入与导出
保证数据处理速度，排查数据生产消费是否同步，保证有足够的数据等待导入 AnalyticDB MySQL。保证客户端机器负载，检查CPU使用率或磁盘IO使用率等系统资源是否充足。湖仓版（3.0）集群的数据接入功能（APS)，是否会单独收取链路费用？不会...
数据标准概述
统一、标准的数据指标体系为各主题的数据分析提供支持，提升数据处理和分析效率，提供业务指标的 事前提示、事中预警、事后提醒，实现数据驱动管理，让决策者快速获取决策信息。前提条件 已购买 数据标准 增值服务，详情请参见 开通...
数据标准概述
统一、标准的数据指标体系为各主题的数据分析提供支持，提升数据处理和分析效率，提供业务指标的 事前提示、事中预警、事后提醒，实现数据驱动管理，让决策者快速获取决策信息。前提条件 已购买 数据标准 增值服务并且当前租户已开通 数据...
数据集成概述
为了解决上述问题，DataWorks提出了面向业务场景的同步任务配置化方案，支持不同数据源的一键同步功能，例如，“一键实时同步至Elasticsearch”、“一键实时同步至Hologres”和“一键实时同步至MaxCompute”功能等，通过此类功能，您只需要...
创建并管理数据源
若您想在DataWorks操作您的数据库或数据仓库（例如，MaxCompute项目数据），需先在DataWorks的数据源管理页面，将数据库或数据仓库创建为DataWorks的数据源，并将该数据源绑定至DataWorks相应的功能模块使用。例如，同步MaxCompute数据前，...
云原生多模数据库Lindorm助力蚂蚁链IoT数据降本
业务挑战 业务增速快，数据总量不断增大，MySQL出现性能瓶颈 日增数据量大，一年数据增量超6TB，存储成本压力大 数据冷热区分明显，和数据生成时间强相关 数据需要实时归档到离线进行分析 解决方案 阿里云Lindorm历经阿里众多核心服务的大...
SQL错误码（ODPS-01CCCCX）
处理方法：检查数据是否有问题。例如Join操作中相同Key的数据太多。ODPS-0123055:Script exception 模块：PROCESSOR。严重等级：5。触发条件：脚本异常。处理方法：当遇到UDF报错时，请参考UDF常见问题中的 类或依赖问题 行排查处理。ODPS-...
功能发布记录（2023年）
2023.4.11 所有地域 所有DataWorks用户 SQL查询 2023-03 功能名称 功能描述 发布时间 发布地域 使用客户 相关文档 数据治理中心支持使用消息通知治理问题 管理员及个人用户，可将治理工作台中每日治理的待解决问题，以消息通知的形式，通过...
离线同步任务调优
同步任务整体速度慢可能出现在同步过程的各个阶段，本文以现象入手，为您提供各个阶段运行慢的解决方案，详情请参见：数据同步慢的场景及解决方案。在数据库性能限制的情况下，同步速度并非越快越好，考虑到速度过高可能对数据库造成过大的...
V5.1.x系列实例版本说明
解决DISTINCT在部分跨库JOIN场景下会出现报错的问题。修复分库分表情况下聚合函数查询带LIMIT时返回结果不正确的问题。解决BigDecimal类型在类型转换过程会消耗大量CPU的问题。修复SHOW FULL STATS连接数不准确的问题。修复SHOW FULL STATS...
常见问题
参数调优策略 当Routine Load出现性能问题时，您可以考虑从如下几个维度来进行参数调优：任务调度周期 您可以通过缩短任务调度周期（即修改参数max_batch_interval）加速数据消费。但是，缩短任务调度周期可能会带来更多的CPU资源消耗。...
高效数据治理实施指南
背景信息 在多人协作的数据团队中，数据治理是重要且繁琐的工作，在解决“如何制定客观的数据治理目标”、“如何高效推动团队达成治理目标”的过程中，通常包含以下挑战：问题难定位：传统数据治理方式难以快速、完整、精准地定位潜在问题...
PolarDB PostgreSQL版（兼容Oracle）间的迁移
升级到2.0版本还意味着您可以与PostgreSQL社区保持同步，提供更多的资源和支持，帮助您解决问题并学习数据库的最佳实践。强烈建议您升级到 PolarDB PostgreSQL版（兼容Oracle）2.0版本，充分利用其优势。迁移评估 在您考虑进行系统迁移之前...
性能调优
可以排查出现问题的阶段，有没有峰值内存和扫描量比较高的查询，并分析查询内存高的原因。查询过程中报磁盘超出限制是什么原因，应该怎么处理？当 AnalyticDB MySQL 集群为弹性模式时，查询有可能会使用batch模式，查询会把查询的中间结果...
迁移 Oracle 数据库的数据至 OceanBase 数据库 Oracle...
本文为您介绍如何使用数据传输迁移 Oracle 数据库的数据至 OceanBase 数据库 Oracle 租户。重要 如果数据迁移项目长期处于非活跃状态（项目状态为 失败、已暂停 或 已完成），受增量日志保留时长等影响，项目可能无法恢复。数据传输将主动...
版本发布记录
支持分区级别的预处理，解决预聚合问题。半结构化JSON object类型支持如下特性：支持JSON object类型存储。支持JSON对象属性按照独立列存储。支持实验性功能，需要设置开关 set allow_experimental_object_type=1。性能优化 INSERT性能提升...
列存索引技术架构介绍
技术背景 MySQL生态HTAP数据库解决方案 MySQL是一款主要面向OLTP型场景设计的开源数据库，开源社区的研发方向侧重于加强其事务处理能力。如提升单核性能、多核扩展性和增强集群能力，以提升可用性等。在处理大数据量下复杂查询所需要的能力...
MySQL分库分表同步至Hologres（方案1.0）
背景信息 实际业务场景下数据同步通常不能通过一个或多个简单离线同步或者实时同步任务完成，而是由多个离线同步、实时同步和数据处理等任务组合完成，这就会导致数据同步场景下的配置复杂度非常高。尤其是在MySQL分库分表的场景下，上游的...
MySQL分库分表同步至MaxCompute
背景信息 实际业务场景下数据同步通常不能通过一个或多个简单离线同步或者实时同步任务完成，而是由多个离线同步、实时同步和数据处理等任务组合完成，这就会导致数据同步场景下的配置复杂度非常高。尤其是在MySQL分库分表的场景下，上游的...
PolarDB PostgreSQL版间的迁移
是：配置ETL功能，并在文本框中填写数据处理语句，详情请参见 在DTS迁移或同步任务中配置ETL。否：不配置ETL功能。保存任务并进行预检查。若您需要查看调用API接口配置该实例时的参数信息，请将鼠标光标移动至 下一步保存任务并预检查 按钮...
MySQL分库分表同步至MaxCompute
背景信息 实际业务场景下数据同步通常不能通过一个或多个简单离线同步或者实时同步任务完成，而是由多个离线同步、实时同步和数据处理等任务组合完成，这就会导致数据同步场景下的配置复杂度非常高。尤其是在MySQL分库分表的场景下，上游的...
PolarDB HTAP实时数据分析技术解密
但是应用这个方案的前提是用户需要迁移到对应的NewSQL数据库系统，而这会出现各种兼容性适配问题。一体化的行列混合存储方案 较多副本Divergent Design方法更进一步的方案，是在同一个数据库实例中采用行列混合存储，同时响应TP型和AP型...
2023年
ListJobInfos-查看作业列表 2023-12-04 新增SKEWJOIN HINT 新说明 当两张表Join存在热点，导致出现长尾问题时，您可以通过取出热点key，将数据分为热点数据和非热点数据两部分处理，最后合并的方式，提高Join效率。SkewJoin Hint可以通过...
全增量实时同步至Hologres
全增量实时同步方案为您先进行全量数据迁移，然后再实时同步增量数据至目标端。本文为您介绍如何创建全增量实时同步至Hologres任务。前提条件 已完成数据源配置。您需要在数据集成同步任务配置前，配置好您需要同步的源端和目标端数据库，...
Logview诊断实践
数据跨集群复制阶段 问题现象：子状态列表里面出现多次 Task rerun，Result 里有错误信息 FAILED:ODPS-0110141:Data version exception。作业看似失败了，实际还在执行，说明作业正在做数据的跨集群复制。产生原因一：Project刚做集群迁移...
MySQL分库分表同步至Hologres（方案2.0）
背景信息 实际业务场景下数据同步通常不能通过一个或多个简单离线同步或者实时同步任务完成，而是由多个离线同步、实时同步和数据处理等任务组合完成，这就会导致数据同步场景下的配置复杂度非常高。尤其是在MySQL分库分表的场景下，上游的...
- 产品推荐
- 这些文档可能帮助您