概述
背景信息 在大数据生态系统中，Alluxio位于数据驱动框架或应用（例如Apache Spark、Presto、TensorFlow、Apache Flink和Apache Hive等）和各种持久化存储系统（例如HDFS和阿里云OSS）之间，使得上层的计算应用可以通过统一的客户端API和...
新零售：特步
解决方案 通过 PolarDB-X+RDS的分布式数据库解决方案支撑O2O全渠道业务中台系统上线，通过垂直拆分剥离各业务中心，使不同类型的业务数据可以存储在不同的RDS上，确保资源和访问隔离，从物理上使整个数据库架构具备了扩展性。通过这套架构...
应用场景
实时数据通道 1.1 接入多种异构数据并投递到下游多种大数据系统 通过数据总线，您可以实时接入APP、WEB、IoT和数据库等产生的异构数据，统一管理，并投递到下游的分析、归档等系统，构建清晰的数据流，让您更好的释放数据的价值。...
客户案例
基于飞天大数据平台产品DataWorks+MaxCompute大大提高了数据业务的开发效率，构建大润发的数据中台体系。新金融行业：某互联网金融公司湖仓一体案例 客户架构如下。客户简介 公司的第一代数据湖是基于Hadoop+OSS搭建的，同时引入的数据中台...
什么是DataWorks
世界500强亿滋中国：通过DataWorks智能数据建模进行全链路的数据模型治理，极大提升数据中台的自服务能⼒，让企业数据决策实现下放，释放新零售的数字化力量。上市公司创梦天地：基于开源的EMR引擎，用DataWorks替换自研调度系统，企业内部...
管理数据库资产
在进行数据库审计前，您必须在数据库审计系统中添加要审计的数据库。本文介绍了在数据库审计系统中添加、编辑、删除数据库的具体操作。背景信息 关于数据库审计服务支持审计的数据库类型，请参见 支持的数据库类型。重要 数据库审计仅支持...
MaxCompute近实时增全量一体化架构介绍
背景和现状 在当前典型的数据处理业务场景中，对时效性要求较低的大规模数据全量批处理的单一场景，直接采用MaxCompute已经足以满足业务需求。然而，随着MaxCompute承载的业务规模和使用场景的不断丰富，除了处理好大规模离线批处理链路...
保险行业
阿里金融云是一家拥有保险系统从渠道外围到核心，全系统上云、且监管合规的云服务提供商。对于保险行业阿里金融云针对不同子场景提供定制化解决方案。例如：电子保单方案、新开保险公司核心上云方案、寿险核心上云方案。电子保单方案 阿里...
PolarDB PostgreSQL版（兼容Oracle）间的迁移
由于全量数据迁移会并发执行INSERT操作，导致目标数据库的表产生碎片，因此全量迁移完成后目标数据库的表存储空间会比源实例的表存储空间大。请确认DTS对数据类型为FLOAT或DOUBLE的列的迁移精度是否符合业务预期。DTS会通过 ROUND(COLUMN,...
功能特性
BI工具对接 数据传输迁移 MaxCompute提供多种渠道，以便从业务系统或外部数据源写入数据到MaxCompute，或者从MaxCompute写出数据到外部系统或外部数据源。功能集 功能 功能描述 参考文档 上传数据 Tunnel（离线）MaxCompute的客户端...
2023年
使用do-while节点实现复杂的数据分析 2023-09-20 新增通过跨项目数据访问实现不同地域MaxCompute项目数据迁移 新说明 本文为您介绍如何通过跨项目数据访问实现不同Region的MaxCompute项目数据迁移，包括两种使用场景：同云账号内不同Region...
文档更新动态（2023年）
更新说明 创建MySQL数据源 创建PolarDB-X数据源 创建AnalyticDB for MySQL 2.0数据源 创建AnalyticDB for PostgreSQL数据源 创建达梦（DM）数据源 创建TiDB数据源 创建Kafka数据源 离线集成配置优化 新增Apache Doris数据源的离线集成。...
功能更新动态（2023年）
创建MySQL数据源 创建PolarDB-X数据源 创建AnalyticDB for MySQL 2.0数据源 创建AnalyticDB for PostgreSQL数据源 创建达梦（DM）数据源 创建TiDB数据源 创建Kafka数据源 离线集成 新增Apache Doris数据源的离线集成。整库迁移任务支持...
公告
显著提升数据治理水平，Dataphin将进一步加强资产治理方向的投入，正式更名为“智能数据建设与治理Dataphin”，希望能够更好的助力企业构建质量可靠、消费便捷、生产安全经济的企业级数据中台。更名公告，请参见 Dataphin更名通知。2020年...
概述
业务挑战 大部分阿里云用户会将阿里云关系型数据库RDS、PolarDB for MySQL、MongoDB或者云服务器ECS自建数据库作为业务系统数据库，随着业务数据的增长，业务数据库存储的数据也越来越多。但RDS、PolarDB for MySQL、MongoDB或者ECS自建...
高压缩引擎（X-Engine）介绍
随着业务发展，数据库系统中会积累大量访问频率很低甚至为0的数据，这些数据的积累容易导致如下问题：历史数据和最新数据存储在同一数据库系统中，导致磁盘空间不足。大量数据共享数据库系统的内存、缓存空间、磁盘IOPS等，导致性能问题。...
数据集成概述
说明 以业务数据库数据同步到MaxCompute数据仓库为例，当有大量的数据存储在数据库系统里，需要将数据库中的全量及增量数据同步到MaxCompute进行数仓分析时，数据集成传统方式是通过全量同步或者依赖数据库表中的 modify_time 等字段进行...
自建MySQL应急恢复
首次开启时，系统会拷贝最新的全量备份集至沙箱存储中，并生成可挂载的快照，根据备份数据大小，您可能需要等待5~20分钟。当 沙箱实例时间范围 显示具体的可用时间范围后，即可开始创建沙箱实例并恢复数据至沙箱实例中。沙箱实例时间范围 ...
自建MySQL云灾备
首次开启时，系统会拷贝最新的全量备份集至沙箱存储中，并生成可挂载的快照，根据备份数据大小，您可能需要等待5~20分钟。当 沙箱实例时间范围 显示具体的可用时间范围后，即可开始创建沙箱实例并恢复数据至沙箱实例中。沙箱实例时间范围 ...
应急恢复
首次开启时，系统会拷贝最新的全量备份集至沙箱存储中，并生成可挂载的快照，根据备份数据大小，您可能需要等待5~20分钟。当 沙箱实例时间范围 显示具体的可用时间范围后，即可开始创建沙箱实例并恢复数据至沙箱实例中。沙箱实例时间范围 ...
应急恢复
首次开启时，系统会拷贝最新的全量备份集至沙箱存储中，并生成可挂载的快照，根据备份数据大小，您可能需要等待5~20分钟。当 沙箱实例时间范围 显示具体的可用时间范围后，即可开始创建沙箱实例并恢复数据至沙箱实例中。沙箱实例时间范围 ...
什么是Dataphin
Dataphin是阿里巴巴集团OneData数据治理方法论内部实践的云化输出，一站式提供数据采、建、管、用全生命周期的大数据能力，以助力企业显著提升数据治理水平，构建质量可靠、消费便捷、生产安全经济的企业级数据中台。Dataphin兼容多种计算...
受众与核心能力
同时，DataWorks持续打造符合企业级数仓、数据中台构建要求的功能模块，为企业业务的数字化转型提供支持。产品受众 从事数据开发、算法开发等岗位的技术人员 从事销售运营、商业智能分析等岗位的业务人员 从事数据安全与合规工作的管理人员...
产品概述
EMR基于开源的Apache Hadoop和Apache Spark，让您可以方便地使用Hadoop和Spark生态系统中的其他周边系统分析和处理数据。EMR还可以与阿里云其他的云数据存储系统和数据库系统（例如，阿里云OSS和RDS等）进行数据传输。阿里云EMR提供了on ...
产品简介
EMR基于开源的Apache Hadoop和Apache Spark，让您可以方便地使用Hadoop和Spark生态系统中的其他周边系统分析和处理数据。EMR还可以与阿里云其他的云数据存储系统和数据库系统（例如，阿里云OSS和RDS等）进行数据传输。产品介绍 阿里云EMR...
功能概览
恢复大规模文件系统 当文件系统中文件丢失或者受损时，您可以根据历史备份，将 全量文件 或者 满足条件的部分文件 进行恢复。可以 恢复到源大规模文件系统，或者 恢复到一个新的大规模文件系统。费用 大规模文件系统备份主要产生以下费用：...
功能简介
AnalyticDB PostgreSQL版 的企业数据智能平台是数据资产定义、加工、管理、服务的全流程平台，提供数据同步、数据查询、数据建模、数据开发、质量评估、资产管理等功能，为智能数据应用持续稳定供给全量、标准、干净、智能的数据资源。...
通过上传本地数据新建数据集
上传本地文件的方式导入业务所需的数据集，以便在模型画布中编辑业务模型时使用导入的数据集。本文介绍如何通过上传本地数据新建数据集。前提条件 已创建云计算资源作为存储数据源，具体操作，请参见 新建计算资源。已准备好待上传的数据表...
查看与减少数据备份
查看备份大小 备份大小=全量数据备份的大小+增量数据备份的大小 登录 DBS控制台。单击左侧导航栏中的 备份计划，然后在上方选择目标地域。单击目标备份计划名称，进入 备份任务配置 页面。在 付费信息 区域，查看全量备份数据量和增量备份...
大数据安全治理的难点
通常，大数据系统中的工作流涉及多部门、多责任人且跨系统的数据，如何才能协调好这些业务系统准时、保质保量地产出数据，避免出现因业务系统宕机/脏数据导致数据延时产出、产出脏数据，关乎到企业数据业务的连续性问题甚至高层的信任问题...
什么是数据资源平台
阿里云数据资源平台是数据资产定义、加工、管理、服务的全流程平台，提供数据同步、数据查询、数据标准、数据建模、数据加工、质量评估、业务模型构建、资产管理、数据服务等功能，为智能数据应用持续稳定供给全量、标准、干净、智能的数据...
什么是数据管理DMS
AnalyticDB MySQL版支持高吞吐的数据实时增删改、低延时地实时分析复杂ETL（Extract Transform Load），兼容上下游生态工具，可用于构建企业级报表系统、数据仓库和数据服务引擎。AnalyticDB PostgreSQL版：云原生数据仓库AnalyticDB ...
Transaction Table2.0概述
现状分析 当前典型的数据处理业务场景中，对于时效性要求低的大规模数据全量批处理的单一场景，直接使用MaxCompute足以很好的满足业务需求，对于时效性要求很高的秒级实时数据处理或者流处理，则需要使用实时系统或流系统来满足需求。...
通过DMS连接StarRocks实例
数据管理DMS（Data Management）是一款支撑数据全生命周期的一站式数据管理平台。您只需在DMS控制台录入StarRocks实例的相关信息，即可轻松实现通过图形化的Web界面对StarRocks实例的高效管控与深度运维，极大提升数据管理体验及操作效率。...
恢复MySQL逻辑备份
登录 DBS控制台，在 备份计划>备份计划列表 页面单击备份计划名称，在 备份任务>全量数据备份 页面中查看全量数据集的大小，详情请参见 查看备份计划。数据跨境合规承诺 请阅读并勾选合规声明。在 配置恢复对象 页面，配置以下信息，并单击...
识别任务说明
文件或表扫描限制 为了避免数据源中文件或表过大影响整体扫描进度，数据安全中心对可以扫描的文件大小或表的字段大小做了限制，请您在进行敏感数据扫描前了解以下规则：结构化数据（RDS MySQL、RDS PostgreSQL、PolarDB等）、大数据...
创建快照
数据库文件系统快照基于云盘快照，它是一种便捷高效的数据容灾手段，用于对文件系统的数据进行备份。前提条件 进行快照创建时，数据库文件系统必须处于 已挂载 或 待挂载 状态。说明 如果文件系统处于 待挂载 的状态，则需要保证文件系统有...
如何将一棵LSM-Tree塞进NVM
但实际的系统中为了加速内存表的刷盘操作，通常允许部分层的SST存在范围交叠，例如LevelDB、RocksDB等均允许Level0存在交叠，但乱序的Level0层数据布局会降低读取效率。机遇与挑战 现有的基于LSM-tree架构的OLTP存储引擎的设计通常存在以下...
产品优势
数据传输服务DTS（Data Transmission Service）支持RDBMS、NoSQL、OLAP等多种数据源之间的数据传输。它提供了数据迁移、实时数据订阅及数据实时同步等多种数据传输方式。相对于第三方数据流工具，DTS提供丰富多样、高性能、高安全可靠的...
查询多个备份集
在DLA的 SQL执行 页面，DLA会自动构建DBS全量备份集中库表结构并显示在控制台左侧对象列表中，您可以在窗口中输入SQL语句，单击 同步执行，即可快速查询备份集。说明 无论您使用主账号还是子账号登录DBS控制台，在进入DLA控制台查询备份集...
- 产品推荐
- 这些文档可能帮助您