互联网金融：上海富友支付服务股份有限公司
业务挑战 随着业务规模和用户量的快速增长，高并发交易和海量数据给富友的数据库带来三大挑战：数据量大导致性能瓶颈：仅扫码业务每日有千万级交易量，加上互联网、跨境和SaaS富掌柜等业务，海量数据下传统商业数据库的性能明显不足。...
2024年
云原生大数据计算服务 MaxCompute系统权限策略参考 2024-05-22 新增MaxCompute服务关联角色 新说明 服务关联角色（ServiceLinkedRole，简称SLR）是一种可信实体为阿里云服务的RAM角色，可解决跨云服务的授权访问问题。如MaxCompute访问大...
数据质量：全流程的质量监控
DataWorks的全流程数据质量监控功能为您提供35种预设表级别、...数据质量为您解决以下问题：数据库频繁变更问题 业务频繁变化问题 数据定义问题 业务系统的脏数据问题 系统交互导致质量问题 数据订正引发的问题 数据仓库自身导致的质量问题
读取优化
HBase在生产中往往会遇到Full GC、进程OOM、RIT问题、读取延迟较大等一些问题，使用更好的硬件往往可以解决一部分问题，但是还是需要使用的方式。我们把优化分为：客户端优化、服务端优化、平台优化（ApsaraDB for HBase）客户端优化 get...
高效数据治理实施指南
背景信息 在多人协作的数据团队中，数据治理是重要且繁琐的工作，在解决“如何制定客观的数据治理目标”、“如何高效推动团队达成治理目标”的过程中，通常包含以下挑战：问题难定位：传统数据治理方式难以快速、完整、精准地定位潜在问题...
常见问题
本文为您介绍数据湖构建的常见问题。如何申请数据湖构建产品的公测资格？数据湖构建如何收费？数据湖构建与OSS有什么区别？什么情况下我需要使用数据湖构建？如何申请数据湖构建产品的公测资格？请使用阿里云 主账号 进行公测资格申请（请...
Hive服务异常排查及处理
解决方案：推荐根据 异常排查 步骤分别排查机器环境以及组件自身的问题。常见异常二：Unexpected end of file when reading from HS2 server.The root cause might be too many concurrent connections 问题原因：HiveServer2压力过大。...
实时同步任务延迟解决方案
此时将无法通过数据集成任务设置解决延迟问题，需要从Kafka、DataHub和Loghub系统的上游数据生产侧解决数据写入倾斜问题后，延迟问题才能恢复。您可以通过在上述任务 运行详情 中切换到 运行信息 页签，查看不同Reader线程总字节数统计，...
外部表概述
第二种方法通常需要申请UDF网络访问权限，还需要开发者自己控制作业并发数，解决数据如何分片的问题。因此，MaxCompute提供了外部表来解决上述问题。外部表的功能旨在提供除MaxCompute内部表格以外的其他数据的处理能力。通过一条简单的DDL...
排查Redis实例内存使用率高的问题
重要 变配时 Redis 会进行数据倾斜预检查，若您选择的实例规格无法解决内存倾斜问题，Redis 会进行拦截与报错，请您调大实例规格后重试。在成功升级实例规格后，会改善内存倾斜问题，但可能也引起带宽倾斜或CPU倾斜。附录1：Redis内存占用...
Delta Table概述
针对这些问题近几年大数据开源生态也推出了各种解决方案，最流行的就是Spark/Flink/Presto开源数据处理引擎，深度集成开源数据湖Hudi、Delta Lake和Iceberg三剑客，践行统一的计算引擎和统一的数据存储思想来综合提供解决方案，解决Lambda...
解决SQL Server实例空间满自动锁的问题
问题描述 SQL Server实例可能会由于SQL语句、外部攻击等原因导致实例空间满，为避免数据丢失，RDS会对实例进行自动锁定，磁盘锁定之后，将无法进行写入操作。当实例由于实例空间满自动锁定时，可在控制台查看的运行状态。问题原因 造成SQL ...
解决SQL Server实例空间满自动锁的问题
问题描述 SQL Server实例可能会由于SQL语句、外部攻击等原因导致实例空间满，为避免数据丢失，RDS会对实例进行自动锁定，磁盘锁定之后，将无法进行写入操作。当实例由于实例空间满自动锁定时，可在控制台查看的运行状态。问题原因 造成SQL ...
与标准SQL的主要区别及解决方法
本文为您列举MaxCompute SQL与标准SQL的区别及常见问题解决方法。MaxCompute SQL与标准SQL的基本区别 主要区别 问题现象 解决方法 应用场景 不支持事务（不支持Commit和Rollback，不推荐使用INSERT INTO）。建议代码具备幂等性，支持重新...
新零售：杭州数云信息技术有限公司
同时由于业务数据量较大，单个实例需要较大的数据存储量，传统的单机数据库无法满足，PolarDB 的存储计算分离能力帮我们解决了这个困扰我们很久的问题。“双十一期间 PolarDB 的IOPS能力很稳定，连接数使用到当前规格的一半，还可以再承载...
聚合支付：Ping+
后续将通过 PolarDB-X 映射规则、热点迁移能力将部分大商户迁移至单独的RDS存储中，解决热点数据问题。客户价值 Ping+自成立以来一直专注帮助企业快速高效搭建支付系统，2016年底因业务的发展部分核心业务数据并发写及存储面临瓶颈，需要...
什么是数据管理DMS
RDS：阿里云关系型数据库RDS（Relational Database Service）是一种稳定可靠、可弹性伸缩的在线数据库服务，提供容灾、备份、恢复、迁移等方面的全套解决方案，帮助您解决数据库运维的烦恼。PolarDB：PolarDB是阿里云自研的下一代关系型云...
基于MaxCompute进行大数据BI分析
通过MaxCompute、AnalyticDB MySQL强大的数据加工和分析能力，降低大数据平台建设的门槛，轻松解决了海量数据的计算问题。同时有效降低企业成本，并保障数据安全。与第三方开源生态无缝对接，在不侵入用户应用的情况下，传输日志至日志服务...
互联网服务：小打卡
业务挑战 圈子打卡日记数据量大，有10亿级数据的高性能存储诉求。百万级活跃用户，有高并发读写诉求，同时需要在10亿级数据存储情况下保证平稳的读写性能。圈子打卡日记业务在根据圈子做水平拆分表之后，还存在通过用户维度查询打卡日记的...
DML无锁变更概览
DML无锁数据变更可以将单个SQL拆分成多个批次执行，能更好地满足业务方对大量数据变更的需求，例如历史数据清理、全表更新字段等，保证执行效率，减小对数据库性能、数据库空间等的影响。背景信息 当业务累积了大量数据时，需要定期清除表...
数据分析整体趋势
大数据与数据库一体化：早期大数据技术以牺牲一定程度一致性为基础提供分布式能力，解决了传统单机数据库的扩展性不足问题，在MapReduce基础上提供了标准SQL接口，架构上也逐步采用了部分MPP数据库技术；另一方面，分布式数据库也快速发展...
常见问题
本文为您介绍数据集成任务常见问题。资源组操作及网络连通 在做离线同步时，我们需要先了解哪些DataWorks及其网络能力？同步ECS自建的数据库的数据时，如何保障数据库与DataWorks的网络连通？数据库和DataWorks不在同一个地域（Region）下...
RDS MySQL I/O高问题
高吞吐导致实例I/O高 现象 如果表上有很多索引或大字段，频繁地更新、删除、插入，读取数据和刷新脏页时会有大量的I/O。您可以在控制台的 自治服务>性能趋势 页面，单击 性能趋势 页签，查看读写负载情况。解决方案 建议降低读写频率或升级...
功能特性
OSS数据源 一键入湖 通过DLA控制台配置数据源（RDS数据源、ECS自建数据库数据）和目标OSS数据仓库，系统按照您设定的数据同步时间自动、无缝的帮您把数据源中的数据同步到目标数据仓库OSS中，同时在数据仓库和DLA中创建与数据源表相同的表...
实时同步常见问题
写端延迟大 目标数据库性能、负载等问题 当数据库负载较高时，单一的调整同步任务并发并不能解决问题，您需要联系数据库管理员寻求相关帮助。读写端延迟大 使用公网同步，网络问题导致同步任务延迟。公网同步无法保障实时同步时效性，建议...
MySQL系统文件导致实例空间满的解决方法
当实例系统文件（主要是undo文件）过大，使存储空间占满，导致实例自动锁定时，您可以参照本文的指引来解锁并清理undo文件。问题描述 RDS MySQL实例存储空间满，实例 运行状态 为 锁定中。在 监控与报警 中，查看实例存储空间使用量，undo...
慢日志
慢日志问题极大地影响数据库的稳定性，当数据库出现负载高、性能抖动等问题时，数据库管理员或开发首先会查看是否有慢日志在执行。数据库自治服务DAS（Database Autonomy Service）支持慢日志分析功能，会统计并分析数据库中执行时间超过...
配置MaxCompute输出
大数据计算服务MaxCompute（原名ODPS）为您提供完善的数据导入方案，能够快速解决海量数据的计算问题。前提条件 配置MaxCompute输出节点前，您需要先配置好相应的输入或转换数据源，详情请参见 实时同步能力说明。背景信息 写入数据不支持...
使用Tunnel命令或Tunnel SDK
MaxCompute的客户端（odpscmd）、Studio等数据上传下载工具均通过Tunnel功能实现数据的上传与下载，本文为您介绍如何使用Tunnel命令或Tunnel SDK上传数据至MaxCompute。前提条件 已经创建好MaxCompute项目，并用对应的工具连接MaxCompute。...
慢日志
数据库自治服务DAS（Database Autonomy Service）支持慢日志分析功能，会统计并分析数据库中执行时间超过阈值的SQL语句，并提供相应的治理方案，帮助您快速定位并解决数据库性能问题，提高系统的稳定性和可靠性。前提条件 数据库引擎为 ...
版本说明
V1.2.0 2018年2月7日 功能优化 优化实例稳定性，解决大查询造成的实例服务不稳定；实例降采样（downsample）默认依据实例所在地域的本地时区计算。问题修复 修复控制台查询 TagValue 不完整的问题。V1.1.2 2017年11月30日 新特性 提供...
MySQL系统文件导致实例空间满的解决方法
如果存在对个InnoDB表长时间不结束的查询语句，而且在查询过程中表有大量的数据变化，则会生成大量的undo信息，造成ibdata1文件过大。导致实例存储空间耗尽。为避免数据丢失，RDS会自动锁定实例，实例运行状态显示为 锁定中。说明 对于RDS ...
DataV数字大屏设计介绍
本文主要介绍数字大屏的设计风格和搭建思路，以及在设计数字大屏时遇到的常见问题和解决办法。设计风格 独特清晰的风格赋予数字大屏独特的行业属性，在数字大屏设计中经常会出现需求方要求设计炫酷的要求，其中炫酷包含的关键词主要有 科技...
慢日志
慢日志问题极大地影响数据库的稳定性，当数据库出现负载高、性能抖动等问题时，数据库管理员或开发首先会查看是否有慢日志在执行。数据库自治服务DAS（Database Autonomy Service）支持慢日志分析功能，会统计并分析数据库中执行时间超过...
Serverless Presto概述
Presto开发的初衷就是为了解决使用Hive来进行在线分析速度太慢的问题，因此它采用全内存流水线化的执行引擎，相较于其它引擎会把中间数据落盘的执行方式，Presto在执行速度上有很大的优势，特别适合用来做Adhoc查询、BI分析、轻量级ETL等...
汽车行业：智能辅助驾驶业务遭遇大表瓶颈，小鹏汽车...
大表优化解决大表频繁更新问题 客户业务问题 在小鹏汽车的场景下，单表的大小达到TB级别，最大可达到7 TB。业务侧采用短连接+高并发（>400）更新的方式来访问TB级大表。在这种情况下，大表的文件访问操作（例如 open/lseek）会将整个数据库...
慢日志
慢日志问题极大地影响数据库的稳定性，当数据库出现负载高、性能抖动等问题时，数据库管理员或开发首先会查看是否有慢日志在执行。数据库自治服务DAS（Database Autonomy Service）支持慢日志分析功能，会统计并分析数据库中执行时间超过...
慢日志
慢日志问题极大地影响数据库的稳定性，当数据库出现负载高、性能抖动等问题时，数据库管理员或开发首先会查看是否有慢日志在执行。数据库自治服务DAS（Database Autonomy Service）支持慢日志分析功能，会统计并分析数据库中执行时间超过...
技术面临的挑战与革新
在Proxy的协同下，甚至可以做到节点切换对应用无感知 传统分布式架构与存储计算分离架构对比 分布式数据库其实已经有了不短的历史，早期的分布式数据库，在整体架构上可以分为share nothing和share disk两大类。share disk通过扩展底层的...
一键MaxCompute Merge任务节点问题排查方案
可以打开Logview看SQL任务的执行情况，sql执行慢的可能性很多：BASE数据量很大，启动的mapper和reducer过多，可以项目级别调整对应odps参数解决。启动的SQL任务过多，导致提交任务时资源不足，打开Logview，可以看到sql实例处在Waiting状态...
- 产品推荐
- 这些文档可能帮助您