什么是云原生数据湖分析
寻求安全的数据处理解决方案。DLA所有的库表及存储的数据都有一整套安全的方案，避免数据被误用。寻求低成本的数据处理方案。DLA方案是完全Serverless的解决方案，是阿里云提供的云原生的数据处理方案。从之前Hadoop体系过渡到数据湖方案。...
资源规划及规格选型
计算W/N的前提是数据处理作业的 cost_cpu 很稳定，而且在这N个小时内，所有作业都随时在运行，不存在任何空闲的计算资源。但是，实际项目可能会因为某些原因导致作业运行时间延长（例如参与计算的数据量增加），相当于W会变大。同时，由于...
概述
错误处理策略 由于导入数据时为批量操作，其中部分消息记录可能发生解析错误或者写入错误。此时，您可以选择立即终止任务或者忽略这些错误，您还可以选择将产生错误的消息记录和错误信息记录在Kafka消息系统中或者表格存储中。工作模式 ...
SQL概述
提交MaxCompute作业后，会存在几十秒到数分钟不等的排队调度，所以适合处理批作业，提交一次作业批量处理海量数据。不适合直接对接需要每秒处理几千至数万笔事务的前台业务系统。使用向导 如果您需要.参考文档 说明 了解MaxCompute SQL 与...
Transaction Table2.0概述
很多业务场景并不要求延时秒级更新可见或者行级更新，更多的需求是分钟级或者小时级的近实时数据处理叠加海量数据批处理场景，MaxCompute支持基于Transaction Table2.0实现近实时的增全量一体的数据存储、计算解决方案，本文为您介绍本方案...
离线同步常见问题
MaxCompute如何实现列筛选、重排序和补空等 MaxCompute列配置错误的处理 MaxCompute分区配置注意事项 MaxCompute任务重跑和failover 报错信息及解决方案 报错信息及解决方案 数据同步报错：[TASK_MAX_SLOT_EXCEED]:Unable to find a ...
错误处理
方式 表格存储Node.js SDK目前采用“异常”的方式处理错误。如果调用接口没有抛出异常，则说明操作成功，否则失败。说明 批量相关接口，例如BatchGetRow和BatchWriteRow不仅需要判断是否有异常，还需要检查每行的状态是否成功，只有全部...
错误码概述
03：表示DT（Data Tunnel）错误，即批量数据通道作业错误。04：表示API错误。05：表示Xlib作业错误。Xlib是MaxCompute内专用于数据挖掘算法的模块。07：表示MapReduce作业错误。08：表示ODPS SDK/CLT作业错误。09：表示Stream作业错误。10...
审计日志
脚本任务 ChangeDataNode 修改数据处理任务（周期或手动任务）。DeleteDataNode 删除数据处理任务（周期或手动任务）。文件 AddFile 创建临时查询及目录。DeleteFile 删除临时查询及目录。ChangeFile 修改临时查询、重命名临时查询及目录。...
文档更新动态（2022年之前）
通用功能 概述 2020-04-09 数据处理 功能拓展 新增实时数据处理，帮助您处理实时计算任务。通用功能 实时数据处理 2020-04-09 实时元表 新增功能 为您介绍如何查看实时元表的详情。通用功能 元表详情 2020-04-09 函数权限 新增功能 为您...
区域热力层（v2.x版本）
动作 动作 说明 请求地理边界geojson数据接口 重新请求服务端数据，上游数据处理节点或图层节点抛出的数据将作为参数。例如区域热力层配置了API数据源为 http://api.test ，传到 请求地理边界geojson数据接口 动作的数据为 { id:'1'}，则...
设备端接收的错误码
通用公共错误码 错误码 原因 解决办法 400 处理请求时出错。提交工单。429 请求过于频繁，触发系统限流。提交工单。460 设备上报的数据为空，或参数格式错误、参数的数量超过限制等原因。按照 Alink协议 下具体文档中的数据格式，检查参数...
应用场景
相较于原有解决方案，我们的解决方案运维更加简单，并且使用MySQL协议，可以对接各种BI工具，从而实现数据的快速分析和处理。实时数据分析场景解决方案 步骤如下：实时摄入：通过直接读取Kafka数据来实现。提供了Flink-Connector来支持...
查看并管理手动运行补数据任务
③ 批量操作区 您可以通过批量操作区域提供的批量操作功能，对补数据任务进行批量处理，提高操作效率。具体操作，请参见。手动运行补数据任务支持的批量操作。手动运行补数据任务列表支持的操作 操作 描述 手动运行 立即运行当前补数据任务...
查看并管理手动运行补数据任务
③ 批量操作区 您可以通过批量操作区域提供的批量操作功能，对补数据任务进行批量处理，提高操作效率。具体操作，请参见 手动运行补数据任务支持的批量操作。手动运行补数据任务列表支持的操作 操作 描述 手动运行 立即运行当前补数据任务...
查看并管理治理工作台
或者历史任务中出现过异常，但最新数据处理中已经用不到了，可以选择直接忽略。取消忽略：取消忽略后，将会按照最新一次校验结果确定问题状态。如果校验通过，问题状态是已解决；如果校验不通过，问题状态是未解决。加入白名单：加入白名单...
查看并管理治理工作台
或者历史任务中出现过异常，但最新数据处理中已经用不到了，可以选择直接忽略。取消忽略：取消忽略后，将会按照最新一次校验结果确定问题状态。如果校验通过，问题状态是已解决；如果校验不通过，问题状态是未解决。加入白名单：加入白名单...
查看并管理定时调度补数据任务
③ 批量操作区 您可以通过批量操作区域提供的批量操作功能，批量对补数据任务进行批量处理，提高操作效率。具体操作，请参见 定时调度补数据任务支持批量操作。定时调度补数据任务列表支持的操作 操作 描述 手动运行 单击 可以手动方式运行...
导入与导出
保证数据处理速度，排查数据生产消费是否同步，保证有足够的数据等待导入 AnalyticDB MySQL。保证客户端机器负载，检查CPU使用率或磁盘IO使用率等系统资源是否充足。湖仓版（3.0）集群的数据接入功能（APS)，是否会单独收取链路费用？不会...
文档更新动态（2023年）
虚拟任务（Virtual任务）不纳入数据处理单元统计，以减少虚拟节点作为公共上下游，在进行批量节点管理场景下数据处理单元的消耗。售卖检查环节从已提交修改为已发布，减少测试任务对资源用量的影响。发布增加针对数据处理单元的发布预检和...
查看并管理定时调度补数据任务
③ 批量操作区 您可以通过批量操作区域提供的批量操作功能，批量对补数据任务进行批量处理，提高操作效率。支持的批量操作如下：开启：批量开启定时调度补数据任务的生效状态。开启后，任务按照配置的时间定时调度。关闭：批量关闭定时调度...
功能更新动态（2023年）
虚拟任务（Virtual任务）不纳入数据处理单元统计，以减少虚拟节点作为公共上下游，在进行批量节点管理场景下数据处理单元的消耗。售卖检查环节从已提交修改为已发布，减少测试任务对资源用量的影响。发布增加针对数据处理单元的发布预检和...
409错误
在左侧导航栏，选择 数据处理>图片处理。在 图片处理 页签，单击 解除自定义域名绑定。重要 图片处理页签默认显示处于enabled状态且为最近一次绑定的Cname，请确认该Cname是否为待解绑的Cname。如果图片处理页签不显示Cname，请联系 技术...
文档更新动态（2022年）
新增说明 Dataphin免费试用申请、Dataphin智能数据建设与治理试用服务协议 2022年10月 更新时间 特性 描述 类别 产品文档 2022年10月25日 资源用量详情抽屉优化 新增支持查看当前可用数据处理单元规格上线。新增数据标准、智能运维的用量...
SQL错误码（ODPS-01CCCCX）
本文为您介绍SQL错误码列表、触发条件及处理方法。该类型错误的错误码编码格式如下。ODPS-01CCCCX:通用描述-上下文相关说明 SQL错误包含META（CCCC段为1000~1999）、PROCESSOR（CCCC段为2000~2999）、PARSER（CCCC段为3000~3999）和PLANNER...
常见问题
本文汇总了 云数据库ClickHouse 的常见问题及解决方案。选型与购买 云数据库ClickHouse和官方版本对比多了哪些功能和特性？购买实例时，推荐选择哪一个版本？单双副本实例各有什么特点？购买链路资源时显示“当前区域资源不足”，应该如何...
功能发布记录 2022年之前
配置规则：按模板（批量）数据治理中心新增资源使用分析功能。DataWorks数据治理中心新增资源使用分析功能，从 MaxCompute存储消耗、MaxCompute计算消耗、DataWorks调度消耗、DataWorks离线同步消耗 四个维度展示资源消耗总览、资源消耗异...
流式数据通道概述
流式服务在API上极大简化了分布式服务的开发成本，同时解决了批量数据通道在高并发、高QPS（Queries-per-second）场景下的性能瓶颈。本文为您介绍如何使用流式数据通道服务。功能介绍 MaxCompute流式数据通道服务已商业化且不计费，您可以...
配置任务常见错误码及排查方法
解决方法：请重试，若仍然报错请联系技术支持解决。DTS.Msg.DbListIsEmpty 使用API配置任务时。原因：传入的DbList字段为null或传入的内容等效于null。解决方法：参考 迁移、同步或订阅对象说明 传入正确的DbList字段。DTS.Msg....
迁移 Oracle 数据库的数据至 OceanBase 数据库 Oracle...
本文为您介绍如何使用数据传输迁移 Oracle 数据库的数据至 OceanBase 数据库 Oracle 租户。重要 如果数据迁移项目长期处于非活跃状态（项目状态为 失败、已暂停 或 已完成），受增量日志保留时长等影响，项目可能无法恢复。数据传输将主动...
功能发布记录（2023年）
2023.06.01 所有地域 所有DataWorks用户 行业模型模板 Kafka数据源实时同步Hologres并进行ETL Kafka数据源至Hologres的实时同步可以实现同步过程中对于Kafka的JSON含义解析，以及其他基本的数据处理，实现实时同步的ETL流程。支持指定JSON...
通过整库迁移配置集成任务
离线整库迁移可用于将本地数据中心或在ECS上自建的数据库同步数据至大数据计算服务，包括MaxCompute、Hive、TDH Inceptor等数据源。本文为您介绍如何新建并配置整库迁移任务。前提条件 已完成所需迁移的数据源创建。整库迁移支持MySQL、...
Tunnel命令常见问题
这种情况是因为数据编码格式错误或分隔符使用错误导致上传到表的数据错误。建议规范原始数据后再执行上传操作。如何在Shell脚本中将一个TXT文件中的数据上传到MaxCompute的表中？在系统的命令行执行窗口，您可以通过指定参数快速执行上传...
版本发布记录
计费项 数据字典 支持控制台配置数据字典，当业务中有常量数据或者业务数据可以划分为业务事实表和业务维度表，通过数据字典来替代维度表，直接查询字典获得维度数据，增加查询效率。数据字典 资源队列 解决开源版中单个大查询消耗资源过多...
MySQL分库分表同步至Hologres（方案2.0）
背景信息 实际业务场景下数据同步通常不能通过一个或多个简单离线同步或者实时同步任务完成，而是由多个离线同步、实时同步和数据处理等任务组合完成，这就会导致数据同步场景下的配置复杂度非常高。尤其是在MySQL分库分表的场景下，上游的...
2023年
ListJobInfos-查看作业列表 2023-12-04 新增SKEWJOIN HINT 新说明 当两张表Join存在热点，导致出现长尾问题时，您可以通过取出热点key，将数据分为热点数据和非热点数据两部分处理，最后合并的方式，提高Join效率。SkewJoin Hint可以通过...
数据传输与迁移概述
其它自定义上传 SDK写入-批量数据通道（Tunnel）。离线数据流式写入（数据通道）场景特征。流式数据写入（7天24小时不间断写入）。对数据可见延迟容忍度高（可接受偶发小时级别数据可见延迟）。对请求延迟容忍度高（可接受偶发分钟级别请求...
版本说明
V2.5.1 2019年4月26日 问题修复 put和mput在加入details或者summary时候，数据点统计错误的问题修复。写入单点数据时，空格引发的JSON解析失败问题修复。多值模型下的NullPointerException问题修复。TSDB时间线没有限制住增长的问题修复。...
功能更新动态（2024年）
本文将为您及时同步2024年的Dataphin版本发布信息。2024年04月 对应发布的产品...Flink SQL任务支持引用示例代码快速创建任务，内置CDC实时数据同步入数据湖或数仓，Kafka实时数据处理等示例代码。新增实时计算任务列表，支持批量提交、批量...
连接方式概述
OceanBase Connector/C 允许 C/C++ 程序以一种较为底层的方式访问 OceanBase 分布式数据库集群，以进行数据库连接、数据访问、错误处理和 Prepared Statement 处理等操作。OceanBase Connector/C 也称为 LibOBClient，用于应用程序作为独立...
- 产品推荐
- 这些文档可能帮助您