数据量
在数据库备份场景下，有4个概念：数据库磁盘空间、数据文件空间、备份数据量、存储数据量。数据量 说明 数据库磁盘空间 由数据库的数据文件空间、数据库的日志文件空间、操作系统文件空间和空闲空间组成。说明 RDS中为：购买时选择的存储...
DataWorks On EMR使用说明
数据地图概述 安全中心 数据保护伞 审批中心 安全中心是集数据资产分级分类、敏感数据识别、数据授权管理、敏感数据脱敏、敏感数据访问审计、风险识别与响应于一体的一站式数据安全治理界面，帮助用户落地数据安全治理事项。安全中心概述 ...
东软案例
业务/技术亮点 移动端到云端业务全链路海量运维大数据存储。指标、日志等多源异构监控数据融合分析。99.99%数据可用性的高可靠低成本存储。客户感言 利用阿里云新一代 云原生多模数据库 Lindorm“灵动”引擎驱动的政府、企业数字信息系统...
2024年
MaxCompute近实时增全量一体化架构介绍 2024-04-24 新增基于MaxFrame实现大语言模型数据处理 新说明 相较于昂贵的GPU资源，MaxCompute的海量弹性CPU资源能够成为LLM海量数据处理的资源基础，而MaxFrame分布式计算能力可以帮助您更加高效、...
Dataphin支持的数据源
背景信息 Dataphin支持对接的数据源包括大数据存储型数据源、文件数据源、消息队列数据源、关系型数据源和NoSQL数据源，各模块支持对接的数据源类型说明如下：如果您需要在Dataphin中连接某数据源，则需要先在数据源管理中创建该数据源。...
查看敏感数据识别结果
仅支持在 结构化数据、半结构化数据、非结构化数据 或 大数据 分类下分别选择一个或多个数据类型，不支持跨分类同时选择多个数据类型。如果您未选中任意数据类型，数据安全中心默认展示所有数据类型下的敏感数据识别结果。数据模板：在 ...
限制说明
数据大小 云数据库 Memcache 版支持的单条缓存数据的 Key 最大不超过 1 KB，Value 最大不超过 1 MB，过大的数据不适合存储。事务支持 云数据库 Memcache 版不支持事务，有事务性要求的数据不适合写入，而应该直接写入数据库。使用场景 当...
创建Teradata数据源
通过创建Teradata数据源能够实现Dataphin读取Teradata的业务数据或向Teradata写入数据。本文为您介绍如何创建Teradata数据源。背景信息 Teradata是一款大型数据仓库系统。如果您使用的是Teradata，在对接Dataphin进行数据开发或导出...
图扑案例
针对存储层面临的问题，厦门图扑软件基于阿里 云原生多模数据库 Lindorm 改造存储层架构，以单库多模超融合模式存储全量采集的监控数据（技术方案对比如图2所示），极大地简化了存储层架构，进而降低了运维成本。利用Lindorm自研的数据压缩...
创建Teradata数据源
通过创建Teradata数据源能够实现Dataphin读取Teradata的业务数据或向Teradata写入数据。本文为您介绍如何创建Teradata数据源。背景信息 Teradata是一款大型数据仓库系统。如果您使用的是Teradata，在对接Dataphin进行数据开发或导出...
Dataphin支持的数据源
背景信息 Dataphin支持对接的数据源包括大数据存储型数据源、文件数据源、消息队列数据源、关系型数据源和NoSQL数据源，各模块支持对接的数据源类型说明如下：如果您需要在Dataphin中连接某数据源，则需要先在数据源管理中创建该数据源。...
Quick BI连接MaxCompute
MaxCompute支持您将MaxCompute项目数据接入阿里云Quick BI，对海量数据进行实时在线分析服务，同时支持拖拽式操作和丰富的可视化效果，帮助您轻松自如地完成数据分析、业务数据探查、报表制作等工作。本文为您介绍如何使用Quick BI连接...
我是安全管理员
解决方案 数据归档概述 数据归档功能支持定时将大表的数据归档至其他数据库，同时支持源表数据删除、表空间整理回收等。一键建仓 一键创建实时同步的数据仓库，数据在秒级的延迟下，同步至AnalyticDB MySQL版数据库中。数据库迁移 通过创建...
数据分析概述
DataWorks提供的数据分析平台，可以流畅地进行数据处理、分析、加工及可视化操作。在数据分析板块中，您不仅可以在线洞察数据，还可以编辑和共享数据。本文为您介绍数据分析平台的优势、功能、权限等概要信息。产品优势 与本地数据分析相比...
数据集成
数据源支持情况 数据集成目前支持40种以上的数据源类型（包括关系型数据库、非结构化存储、大数据存储、消息队列等），通过定义来源与去向数据源，并使用数据集成提供的数据抽取插件（Reader）、数据写入插件（Writer），实现任意结构化、...
数据源管理概述
功能介绍 多数据源类型接入：Dataphin内置丰富的数据源类型，支持对接的数据源包括大数据存储型数据源、文件型数据源、消息队列型数据源、关系型数据源和NoSQL数据源。更多信息，请参见 Dataphin支持的数据源。自定义数据源类型：在内置的...
数据源管理概述
功能介绍 多数据源类型接入：Dataphin内置丰富的数据源类型，支持对接的数据源包括大数据存储型数据源、文件型数据源、消息队列型数据源、关系型数据源和NoSQL数据源。更多信息，请参见 Dataphin支持的数据源。自定义数据源类型：在内置的...
Transaction Table2.0概述
随着当前数据处理业务场景日趋复杂，很多业务场景并不要求延时秒级更新可见或者行级更新，更多的需求是分钟级或者小时级的近实时数据处理叠加海量数据批处理场景，MaxCompute支持基于Transaction Table2.0实现近实时的增全量一体的数据存储...
什么是备份数据量
本文介绍 数据库备份DBS 中备份数据量的概念。名词解释 备份数据量，是指通过DBS备份链路的数据量。常见概念 在数据库备份场景下，有4个概念：数据库磁盘空间、数据文件空间、备份数据量、存储数据量。数据量 说明 数据库磁盘空间 由数据库...
数据重排
在MaxCompute的使用过程中，如果已经积累了大量数据占用了大量存储资源，且已经通过削减数据存储生命周期和删除非必要数据等方式进行了治理，在您的存储预算有限，计算资源还有冗余的情况下，可以考虑使用数据重排方式对存储空间进行优化。...
PolarDB Serverless实现了哪些突破
在国际数据库顶级会议2021 ACM SIGMOD上，一篇标题为《PolarDB Serverless:A Cloud Native Database for Disaggregated Data Centers》的论文，介绍了阿里云自研数据库 PolarDB 基于计算存储分离，实现的最新Serverless技术架构研究进展。...
大数据安全治理的难点
存储 众所周知，大数据系统以数据类型多（结构化、非结构化、半结构化）、数据量大（动辄PB级别）著称，某些巨头组织一天就能新增数十万甚至数百万张表，如此体量给数据分级分类带来了极大挑战，通过人工进行数据分级分类显然是不现实的，...
我是DBA
解决方案 数据归档 数据归档功能支持定时将大表的数据归档至其他数据库，同时支持源表数据删除、表空间整理回收等。一键建仓 一键创建实时同步的数据仓库，数据在秒级的延迟下，同步至AnalyticDB MySQL版数据库中。数据库迁移 通过创建工单...
我是管理员
数据归档 数据归档功能定时将大表的数据归档至其他数据库，支持源表数据删除、表空间整理回收等功能。数据库迁移 通过创建工单实现数据库迁移、校验和清理的闭环操作。运维管理 通知管理 可根据您的业务需求，订阅不同功能模块的消息事件，...
DataWorks On CDP/CDH使用说明
一、数据集成 DataWorks的数据集成模块为您提供读取和写入数据至CDP/CDH Hive、CDP/CDH HBase的能力，您需要将Hive或HBase组件创建为 DataWorks的 Hive或HBase数据源，实现将其他数据源的数据同步至Hive或HBase数据源，或将Hive或HBase数据...
计费方式
例如，待传输的数据量在初始阶段较大而在后期趋于稳定，或者待传输的业务数据量不可预测的情况。若您的数据传输任务已完成，也可释放实例，详情请参见 释放实例。配置数据同步实例时 数据同步实例将从 增量数据采集 模块启动后，开始按同步...
如何处理Tair集群数据倾斜
在 Tair 集群中，若个别数据分片节点（Data Node）的内存使用率或CPU使用率、带宽使用率、延时等性能指标远远高于其他数据分片，该 Tair 集群可能已产生数据倾斜。数据倾斜严重时，会导致实例在整体内存使用率不高的情况下，发生内存逐出...
如何处理Redis集群数据倾斜
在 Redis 集群中，若个别数据分片节点（Data Node）的内存使用率或CPU使用率、带宽使用率、延时等性能指标远远高于其他数据分片，该 Redis 集群可能已产生数据倾斜。数据倾斜严重时，会导致实例在整体内存使用率不高的情况下，发生内存逐出...
数据质量概述
数据质量帮助您第一时间感知源端数据的变更与ETL（Extract Transformation Load）中产生的脏数据，自动拦截问题任务，有效阻断脏数据向下游蔓延。避免任务产出不符合预期的问题数据，影响正常使用和业务决策。同时也能显著降低问题处理的...
DataWorks On MaxCompute使用说明
数据地图概述 安全中心 数据保护伞 审批中心 安全中心是集数据资产分级分类、敏感数据识别、数据授权管理、敏感数据脱敏、敏感数据访问审计、风险识别与响应于一体的一站式数据安全治理界面，帮助用户落地数据安全治理事项。安全中心概述 ...
技术面临的挑战与革新
分布式事务与集中式事务的优劣 事务处理是数据库保证ACID语义的核心功能，因为数据库系统需要处理大量的并发事务，为了保证并发事务能够尽可能高效的并发执行而又互不干扰，发展出若干种技术，比如多版本并发处理(MVCC)，乐观并发处理(OCC)...
功能发布记录（2024年）
所有DataWorks用户 数据治理中心概述 数据治理中心新增物化视图功能 当您在面对大数据计算任务频繁且存在大量相似子查询场景时，DataWorks支持自动化治理，智能推荐物化视图，为您提供了一种智能化、自动化的解决方案。当您启用此功能时，...
DataWorks On Hologres使用说明
数据地图概述 安全中心 数据保护伞 审批中心 安全中心是集数据资产分级分类、敏感数据识别、数据授权管理、敏感数据脱敏、敏感数据访问审计、风险识别与响应于一体的一站式数据安全治理界面，帮助用户落地数据安全治理事项。安全中心概述 ...
配置跨库Spark SQL节点
任务编排中的跨库Spark SQL节点，主要针对各类跨库数据同步和数据加工场景，您可以通过编写Spark SQL，完成各种复杂的数据同步或数据加工的任务开发。前提条件 支持的数据库类型：MySQL：RDS MySQL、PolarDB MySQL版、MyBase MySQL、...
支持的云服务
数据集成 MaxCompute可以通过数据集成功能加载不同数据源（例如MySQL数据库）的数据，也可以通过数据集成把MaxCompute的数据导出到各种业务数据库。数据集成功能已集成在DataWorks上，您可以直接在DataWorks上配置MaxCompute数据源并读写...
客户案例
MaxCompute已被广泛应用于各大领域处理云上大数据，帮助众多企业解决了海量数据分析问题，同时降低企业运维成本，企业人员可更专注于业务开发。本文为您介绍MaxCompute的精选客户案例。MaxCompute的全量客户案例信息，请参见 行业客户案例...
EMR数据开发停止更新公告
作为一站式大数据开发治理平台，DataWorks沉淀阿里巴巴十多年大数据建设方法论，为客户完成从入湖、建模、开发、调度、治理、安全等全链路数据湖开发治理能力，帮助客户提升数据的应用效率。迁移流程 阿里云DataWorks on EMR团队提供了完善...
MaxCompute近实时增全量一体化架构介绍
面对当前日益复杂且对数据时效性要求极高的近实时业务场景，MaxCompute基于Transaction Table2.0推出了集大规模存储、高效批量处理和近实时能力于一体的近实时增量一体化架构。本文为您介绍该架构的工作原理及其优势。背景和现状 在当前...
离线同步能力说明
数据集成的离线同步功能为您提供数据读取（Reader）和写入插件（Writer），方便您通过定义来源与去向数据源，并结合DataWorks调度参数使用，将源端数据库中全量或增量数据的同步至目标数据库中。本文为您介绍离线同步的相关能力。使用限制 ...
云原生多模数据库Lindorm助力蚂蚁链IoT数据降本
业务挑战 业务增速快，数据总量不断增大，MySQL出现性能瓶颈 日增数据量大，一年数据增量超6TB，存储成本压力大 数据冷热区分明显，和数据生成时间强相关 数据需要实时归档到离线进行分析 解决方案 阿里云Lindorm历经阿里众多核心服务的大...
- 产品推荐
- 这些文档可能帮助您