应用场景
数据库备份DBS 提供数据全量备份、增量备份、异地备份以及数据恢复等功能，帮助您实现多种典型应用场景。典型场景 应用场景 相关操作文档 备份安全 跨阿里云账号备份恢复数据 通过公网地址实现数据库跨账号备份 备份集自动归档到备份服务器...
常见问题概览
本文汇总了云数据库MongoDB的常见问题。说明 如果您遇到其他问题，也可查阅 MongoDB错误码汇总 匹配错误信息。兼容性与变配 热点问题 其他常见问题 云数据库MongoDB版和MongoDB有什么关系？云数据库MongoDB版支持哪些数据库版本？云数据库...
如何处理Tair集群数据倾斜
在 Tair 集群中，若个别数据分片节点（Data Node）的内存使用率或CPU使用率、带宽使用率、延时等性能指标远远高于其他数据分片，该 Tair 集群可能已产生数据倾斜。数据倾斜严重时，会导致实例在整体内存使用率不高的情况下，发生内存逐出...
如何处理Redis集群数据倾斜
在 Redis 集群中，若个别数据分片节点（Data Node）的内存使用率或CPU使用率、带宽使用率、延时等性能指标远远高于其他数据分片，该 Redis 集群可能已产生数据倾斜。数据倾斜严重时，会导致实例在整体内存使用率不高的情况下，发生内存逐出...
版本发布记录
Bug修复 修复数据类型DateTime64与Datetime/Date字段的类型转换问题和值比较问题。修复“Invalid number of rows in Chunk”报错问题。从MaxCompute导入 社区兼容版21.8 新特性 引入ClickHouse与ZooKeeper连接的 fallback session lifetime...
时序引擎版本说明
修复单值查询超时后，读资源未释放的问题。修复使用lastest函数查询时，指定的Table未过滤时间分区的问题。修复使用SQL写入数据可能导致OOM的问题。3.4.26 发布日期 类型 说明 2023年03年14日 新特性 数据文件支持时间窗口整理。新增降采样...
配置数据库代理
本文介绍如何通过 PolarDB 的集群地址来配置数据库代理。前提条件 产品系列需为 PolarDB MySQL版 集群版。更多关于产品系列的介绍，请参见 企业版产品系列。注意事项 仅 PolarDB MySQL版 8.0版本的集群在配置数据库代理时支持开启并行查询...
查询慢日志
由于代理慢日志反映的延迟与您在应用端感受到的延迟更相近，在排查 Tair 服务超时问题时，建议多关注此类日志。说明 标准架构的 Tair 实例不提供代理慢日志。相关参数 参数名 说明 rt_threshold_ms 设置代理慢日志的阈值，默认为500毫秒。...
索引缺失
背景信息 阿里云专家服务团队总结多年服务经验，发现CPU使用率过高、IOPS过高、查询语句性能低下、应用超时卡顿等问题，超过90%的原因是索引缺失导致的。数据库自治服务DAS 可以帮助您发现数据库实例中缺失的索引信息，导出创建缺失索引的...
基于Delta lake的一站式数据湖构建与分析实战
数据湖作为一个集中化的数据存储仓库，支持的数据类型具有多样性，包括结构化、半结构化以及非结构化的数据，数据来源上包含数据库数据、binglog 增量数据、日志数据以及已有数仓上的存量数据等。数据湖能够将这些不同来源、不同格式的数据...
支持的云服务
MaxCompute和DataWorks提供完善的ETL、数据分析、数据地图、数据治理和数据仓库管理能力，并支持SQL、MapReduce、Graph等多种经典的分布式计算模型，能够更快速地解决用户海量数据计算问题，有效降低企业成本，保障数据安全。更多DataWorks...
访问OSS出现网络异常如何处理?
例如，Java SDK可以通过ClientConfiguration.setSocketTimeout设置Socket层传输数据的超时时间。更多SDK示例代码，请参见 简介。Connection reset 问题原因 客户端网络异常。代码中配置的Endpoint不准确。因攻击或者发布违法内容的原因导致...
离线同步并发和限流之间的关系
在一些数据同步场景，脏数据的出现会导致任务同步效率下降，以关系数据库写出为例，默认是执行batch批量写出模式，在遇到脏数据时会退化为单条写出模式（以找出batch批次数据具体哪一条是脏数据，保障正常数据正常写出），但单条写出效率会...
查询慢日志
由于代理慢日志反映的延迟与您在应用端感受到的延迟更相近，在排查 Redis 服务超时问题时，建议多关注此类日志。说明 标准架构的 Redis 实例不提供代理慢日志。相关参数 参数名 说明 rt_threshold_ms 设置代理慢日志的阈值，默认为500毫秒...
新功能发布记录
功能发布更新 2024年 03月 功能名称 变更类型 功能描述 相关文档 数据工作站 新增 支持以文档形式交付查询的数据和数据变化趋势等信息，并支持在交付后使用智能工具解答数据相关问题。使用数据工作站功能可以提高数据交付效率和数据自助...
概述
Spark全密态数据计算引擎常用于解决数据存储与计算安全、敏感数据合规和数据安全共享场景中的数据安全问题。以下是常见的应用场景：数据存储与计算安全场景：在不可信环境中（如第三方平台），Spark全密态计算引擎 可以为关键的数据分析...
数据保护机制
在实际业务处理过程中，用户可能会同时具备多个项目的访问权限，此时会存在数据在项目间流转的安全问题。MaxCompute提供了数据保护机制，支持对数据流出行为进行控制，为项目数据的安全性提供保障。本文为您介绍MaxCompute的数据保护机制...
WATERMARK语句
引入WATERMARK特性可以在数据出现延迟时，正确地丢弃延迟超时的数据，并且自动地从内存中丢弃过期的中间State数据，这个对流式查询的稳定运行至关重要。更多WATERMARK的详细信息请参见如下信息：Aggregate+Watermark Join+Watermark 多...
功能特性
计算 MaxCompute向用户提供了多种经典的分布式计算模型，提供TB、PB、EB级数据计算能力，能够更快速的解决用户海量数据计算问题，有效降低企业成本。功能集 功能 功能描述 参考文档 SQL开发 DDL语句 DDL语句 DDL DML操作 DML操作 DML操作 ...
数据导入常见问题
数据导入过程中，发生远程过程调用（Remote Procedure Call，简称RPC）超时问题，该如何处理？报错“Value count does not match column count”，该如何处理？报错“ERROR 1064(HY000):Failed to find enough host in all backends.need:3...
API概览
ModifyInstance 修改实例信息 当您需要修改实例的托管模式、数据库账密、功能包等基本信息，及环境类型、实例在DMS的名称、查询和导出数据的超时时间等高级信息时，可调用该API。ListInstances 获取实例信息列表 调用ListInstances接口，...
DataWorks On Hologres使用说明
数据地图概述 安全中心 数据保护伞 审批中心 安全中心是集数据资产分级分类、敏感数据识别、数据授权管理、敏感数据脱敏、敏感数据访问审计、风险识别与响应于一体的一站式数据安全治理界面，帮助用户落地数据安全治理事项。安全中心概述 ...
DataWorks On EMR使用说明
数据地图概述 安全中心 数据保护伞 审批中心 安全中心是集数据资产分级分类、敏感数据识别、数据授权管理、敏感数据脱敏、敏感数据访问审计、风险识别与响应于一体的一站式数据安全治理界面，帮助用户落地数据安全治理事项。安全中心概述 ...
DataWorks On MaxCompute使用说明
数据地图概述 安全中心 数据保护伞 审批中心 安全中心是集数据资产分级分类、敏感数据识别、数据授权管理、敏感数据脱敏、敏感数据访问审计、风险识别与响应于一体的一站式数据安全治理界面，帮助用户落地数据安全治理事项。安全中心概述 ...
查询报错问题
本文汇总了 AnalyticDB MySQL版 集群中的常见查询报错问题及处理建议。查询报错 QUERY_EXCEED_LIMIT ErrMsg:groups 100000001 exceed limit=>10000000 用户在执行SQL查询用limit处理分页时，如果start值限制10000无法获取10000以后的数据，...
数据湖管理FAQ
本文汇总了数据湖管理相关的常见问题及解决方案。Lakehouse相关问题 什么是Lakehouse？Lakehouse数据入湖时，对线上RDS有压力吗？如何控制建仓的限流能力？Lakehouse工作负载为什么运行失败，又没有S park Log 日志可以看？元数据发现相关...
SLB服务调用API网关超时的问题分析与处理步骤
追踪问题流，确认API超过1秒钟没有返回数据，客户端应该认为调用API超时，于是主动发起断开连接。访问公网1秒的超时时间太短，TCP的保护机制必须需要超过1秒以上的时间，建议客户端超时时间加长，加长超时时间之后后此问题不再出现。适用于...
Delta Lake概述
Delta Lake以数据为中心，围绕数据流走向（数据从流入数据湖、数据组织管理和数据查询到流出数据湖）推出了一系列功能特性，协助您搭配第三方上下游工具，搭建快捷、易用和安全的数据湖。背景信息 通常的数据湖方案是选取大数据存储引擎...
Tunnel SDK常见问题
问题类别 常见问题 Tunnel SDK Upload 使用Tunnel SDK上传数据时，上传的数据可以自动分配到各个分区吗？使用Tunnel SDK上传数据时，编写完UDF打成JAR包后上传，对JAR包大小有要求吗？使用Tunnel SDK上传数据时，是否有分区数量限制？使用...
数据方案概览
DMS的数据方案提供数据变更、数据导出、数据追踪、环境构建的功能，通过本文您可以了解数据方案的各项功能详情。一级功能 二级功能 功能描述 结构变更 结构设计 可以对目标库、表进行符合研发规范的表结构设计，保障多套环境（例如开发环境...
C100售后支持相关问题
本文介绍了您在使用C100系列数据库审计服务时可能遇到的问题和解决方案，帮助您更好地理解和使用产品。安装Agent相关问题 通过云助手安装的Agent，Agent安装目录是什么？通过云助手安装的Agent，Agent的日志目录是什么？安装Agent时，系统...
如何处理RDS MySQL连接数被打满的情况
问题描述 连接数满会导致客户端无法连接到RDS MySQL数据库。问题原因 空闲连接过多。活动连接过多。解决方案 说明 如果对实例或数据有修改、变更等风险操作，务必注意实例的容灾、容错能力，确保数据安全。如果对实例（包括但不限于ECS、...
2020年
无 缺陷修复 修复半同步无法超时的问题。修复CONNECT BY语句与WITH语句联用失败的问题。时空数据库（V3.1）类别 名称 描述 相关文档 新增 Trajectory数据类型 新增Gist索引支持索引轨迹类型，并提供六种不同维度的算子族以支持不同维度的...
全景视角
背景信息 为提高不同使用场景下的数据治理效率和质量，DataWorks为您提供以下视角：数据管理视角：在数据资产管理、数据安全加固、数据权限管理等数据管理场景下，建议您使用数据管理视角，关注查看数据管理过程中，表的统计数据、安全权限...
文档修订记录
DataWorks数据安全治理路线 2023年12月更新记录 时间 特性 类别 描述 产品文档 2023.12.29 新增功能 数据开发 若您要在DataWorks中进行数据建模、数据开发或使用运维中心周期性调度任务，需先将已创建的数据源或集群绑定至数据开发...
查询结果不符合预期的常见原因
Lindorm宽表经常会被应用在大数据链路中，如果写入链路出现问题，则可能导致写入延迟或无法正常写入数据，此时进行数据查询，该行数据还未写入，因此会产生无法查询到数据的情况。如果您在使用中遇到数据写入一段时间后才能查到的情况，...
创建同步任务
说明 脏数据认定标准：脏数据是对业务没有意义，格式非法或者同步过程中出现问题的数据。单条数据写入目标数据源过程中发生了异常，则此条数据为脏数据。因此只要是写入失败的数据均被归类于脏数据。例如，源端是VARCHAR类型的数据写到INT...
离线同步能力说明
数据集成的离线同步功能为您提供数据读取（Reader）和写入插件（Writer），方便您通过定义来源与去向数据源，并结合DataWorks调度参数使用，将源端数据库中全量或增量数据的同步至目标数据库中。本文为您介绍离线同步的相关能力。使用限制 ...
同步 OceanBase 数据库的数据至 RocketMQ
本文为您介绍如何使用数据传输同步 OceanBase 数据库的数据至 RocketMQ。背景信息 消息队列 RocketMQ 是阿里云基于 Apache RocketMQ 构建的低延迟、高并发、高可靠的分布式消息中间件。数据传输的数据同步功能可以帮助您实现 OceanBase ...
查看数据迁移项目的详情
启动数据迁移项目后，您可以在数据迁移项目的详情页面查看相应项目的基本信息、项目执行的进度和状态等信息。进入详情页面 您可以在数据迁移项目的详情页面，查看计划的迁移环节、各个环节的进度和状态，帮助您了解数据库迁移的整体进度，...
- 产品推荐
- 这些文档可能帮助您