使用DataWorks
MaxCompute支持通过DataWorks的数据集成功能将MaxCompute中的数据以离线方式导出至其他数据源。当您需要将MaxCompute中的数据导出至其他数据源执行后续数据处理操作时，您可以使用数据集成功能导出数据。本文为您介绍如何将MaxCompute的...
准备数据
参数 描述 任务期望最大并发数 数据同步任务内，可以从源并行读取或并行写入数据存储端的最大线程数。向导模式通过界面化配置并发数，指定任务所使用的并行度。同步速率 设置同步速率可以保护读取端数据库，以避免抽取速度过大，给源库造成...
应用场景
实时数据通道 1.1 接入多种异构数据并投递到下游多种大数据系统 通过数据总线，您可以实时接入APP、WEB、IoT和数据库等产生的异构数据，统一管理，并投递到下游的分析、归档等系统，构建清晰的数据流，让您更好的释放数据的价值。...
JindoData概述
JindoData是阿里云开源大数据团队自研的数据湖存储加速套件，面向大数据和AI生态，为阿里云和业界主要数据湖存储系统提供全方位访问加速解决方案。JindoData套件基于统一架构和内核实现，主要包括JindoFS存储系统（原JindoFS Block模式）、...
Napatech案例
云原生多模数据库 Lindorm 助力...客户价值 支持多个100G数据流量采集点的数据包元数据存储及快速索引。帮助用户实现全量数据的回溯分析。数据库架构简化、支持弹性扩容，运维难度及成本大幅减低。集成第三方大数据系统，助力业务分析。
通过实时计算订阅数据
依次双击 RDS 数据存储>数据库名称（datav_test）>表名（target_table），选择右侧的 作为结果表引用，在开发作业中引用目标表。通过 INSERT INTO 语句，将实时计算后的源表数据插入目标表中。说明 如果数据格式不匹配，需要进行相应的 ...
概述
数据同步过程中，数据源中的数据存储在目标数据仓库OSS中，搭建数据仓库过程中不会对数据源端的业务系统产生任何压力。通过DLA控制台配置建仓任务，支持自定义设置定时数据投递。极致的计算能力，充分发挥DLA的计算能力，通过DLA的大内存、...
什么是云数据库HBase
云数据库HBase是低成本、高扩展、云智能的大数据NoSQL，兼容标准HBase访问协议，提供低成本存储、高扩展吞吐、智能数据处理等核心能力，是为淘宝推荐、花呗风控、广告投放、监控大屏、菜鸟物流轨迹、支付宝账单、手淘消息等众多阿里巴巴...
什么是DataWorks
产品架构 DataWorks十多年沉淀数百项核心能力，通过 智能数据建模、全域数据集成、高效数据生产、主动数据治理、全面数据安全、数据分析服务六大全链路数据治理的能力，帮助企业治理内部不断上涨的“数据悬河”，释放企业的数据生产力。...
JindoFS介绍和使用
HDFS有Java onheap限制，而Block模式没有Java onheap和内存限制，可以支持更大的数据规模。Block模式轻运维，不用担心坏盘或坏节点，数据1备份放置在OSS上，支持上下线节点。支持对冷数据做透明压缩和归档，使用多种手段进行成本优化，对接...
数据分析整体趋势
据Gartner统计，到2025年实时数据占比达30%，其中非结构数据占比达80%，同时数据存储云上规模达45%，而云上数据库规模可达75%。从数仓分析市场增长来看，据Global Market Insights分析，2019-2025全球年复合增长超过12%，中国则大于15%，...
构建数据仓库
用户的应用场景复杂，对非结构化的语音、自然语言文本进行语音识别、语义分析、情感分析等，同时融合结构化数据搭建企业级的数据管理平台，并且计算和存储成本最低。平台支撑多种形式的应用，包括使用机器学习算法进行复杂数据分析、使用BI...
车联网数据存储处理方案
Lindorm宽表引擎、Lindorm文件引擎、Lindorm LTS数据同步服务、DLA数据湖分析具备了一体化的数据存储、实时归档、离线数据高压缩比存储、高效数据分析的能力 Lindorm LSM架构使得bulkload数据回流成为可能，高效并且对在线业务影响很低。...
客户案例
基于飞天大数据平台产品DataWorks+MaxCompute大大提高了数据业务的开发效率，构建大润发的数据中台体系。新金融行业：某互联网金融公司湖仓一体案例 客户架构如下。客户简介 公司的第一代数据湖是基于Hadoop+OSS搭建的，同时引入的数据中台...
高压缩引擎（X-Engine）介绍
随着业务发展，数据库系统中会积累大量访问频率很低甚至为0的数据，这些数据的积累容易导致如下问题：历史数据和最新数据存储在同一数据库系统中，导致磁盘空间不足。大量数据共享数据库系统的内存、缓存空间、磁盘IOPS等，导致性能问题。...
应用场景
数据通道：通过BDS构建云HBase与异构计算系统的高效、易用的数据链路。快速导入：通过BulkLoad将海量数据快速导入HBase，效率比传统方式提升一个数量级。高并发：水平扩展至千万级QPS。弹性：存储计算分离架构，支持独立伸缩，自动化扩容。...
ActionTrail日志清洗
说明 根据业务需求，判断是否需要新建文件夹，将ActionTrail投递过来的数据存储在新建文件夹中。在DLA中完成以下操作：开通DLA服务，请参见 开通云原生数据湖分析服务。初始化DLA数据库主账号密码，请参见 重置数据库账号密码。步骤一：...
应用场景
大数据场景：海量数据存储与分析 Lindorm支持海量数据的低成本存储、快速批量导入和实时访问，具备高效的增量及全量数据通道，可轻松与Spark、MaxCompute等大数据平台集成，完成数据的大规模离线分析。优势 低成本：高压缩比，数据冷热分离...
配置数据库审计实例
购买并启用数据库审计实例后，您可以在云盾数据库审计管理控制台管理您的数据库审计实例。本文介绍如何为数据库实例配置白名单、管理存储容量、升级和续费。前提条件 已启用数据库审计实例。具体操作，请参见 启用数据库审计实例。操作步骤...
主备方案介绍
A：LTS不会缓存数据，数据同步中当目标实例无法写入时，会记录读取WAL的点位，保证数据在目标实例恢复后继续同步数据，数据存储在源集群的Hlog中。Q：数据D1写入主实例，但数据D1尚未到达备实例时发生切换，此时备实例中写入一条数据D2后...
应用场景
数据湖分析 Databricks数据洞察支持计算存储分离的数据湖架构。使用阿里云对象存储OSS作为云上存储，DDI集群提供灵活的计算资源，OSS上的数据可以被多个DDI集群共享，减少数据冗余。同时，DataInsight Notebook支持多用户同时协同工作，您...
引擎功能
数据存储默认采用多副本策略，充分保证数据的可用性。数据库内机器学习 Lindorm时序引擎提供开箱即用的数据库内机器学习服务。您可以通过SQL语句直接在数据库内完成整个机器学习流程，挖掘更深的数据价值。使用数据库内机器学习服务的优势...
存储加密
使用限制 MaxCompute的数据存储加密功能使用限制如下：开启存储加密功能的项目，仅支持版本为V1.1及以上的Hologres外部表访问查询数据且需在开启存储加密功能前给Hologres授予KMS权限，详情请参见 查询MaxCompute加密数据（BYOK模式）。...
应用场景
通过内置算法规则和自定义敏感数据识别规则，对其存储的数据库类型数据以及非数据库类型文件进行整体扫描、分类、分级，并根据结果做进一步的安全防护，如细粒度访问控制、加密保存等。数据泄露检测与防护 通过智能化检测模型分析企业内外...
产品功能
TSDB 提供时序数据的高效读写。对于百万数据点的读取，响应时间小于 5 秒，且最高可以支撑每秒千万数据点的写入。...您也可以通过 TSDB 产品控制台的数据查询功能进行数据分组、降...TSDB 的数据存储默认采取三副本策略，充分保证数据的可用性。
典型场景
基于湖构建数据平台，支持BI、挖掘等业务 对象存储OSS可以作为湖存储，DLA基于OSS构建一站式的大数据平台。具体包括构建数据湖、数据ETL、交互式查询、机器学习等功能。构建数据湖 实时数据湖：支持DB的CDC与消息数据（如Kafka）入湖，构建...
数据集成概述
背景信息 面对各行各业对大数据的应用，数据集成会有很多的诉求，包括能够简单高效的配置大量数据表的同步任务、能够集成多种异构数据源、能够实现对数据源的数据进行轻度预处理、能够实现数据同步任务的调优（例如容错，限速，并发）等。...
查询机制
从第二个偏移位置可以看到事务号为102，表示事务102插入了这行数据，数据存储值为1。从右侧下半张图可以看出，事务号依旧是102，偏移量指向了（0，3），表示存储实际的数据为2；事务内命令的序号为1表示事务内的第二条命令进行了更新，与...
Kafka实时入湖建仓分析
数据解析配置 的参数说明如下：参数名称 参数说明 消息数据格式 Kafka的Value字段的数据存储格式，固定为JSON。Schema设置模式 默认为 手动设置，会从Kafka的Topic获取一条样例数据进行Schema的推断设置。消息样例数据 通过调整样例数据对...
元数据管理
选择元数据表中数据存储的位置。选择元数据表的存储格式。指定元数据表的分隔符。手动定义元数据表的列，指定列编号、列名称、是否是分区列等信息。删除元数据库 1.进入元数据管理-元数据库页面。2.找到想要删除的元数据库，点击右侧的删除...
冷热分层
归档类场景：对于读写简单，查询复杂的数据，您可以定期归档数据至成本更低的存储组件或更高压缩比的存储介质中，以达到降低成本的目的。海量结构化数据Delta Lake架构 针对结构化冷热分层的数据场景，阿里巴巴集团推出了海量结构化数据的...
数据仓库研发规范概述
设计阶段：数据产品经理、数据开发者应如何综合性能、成本、效率、质量等因素，更好地组织与存储数据。开发阶段：数据研发者如何高效、规范地进行编码工作。测试阶段：测试人员应如何准确地暴露代码问题与项目风险，提升产出质量。发布阶段...
冷热分离
云数据库HBase增强版支持冷热分离功能，可以将冷热数据存储在不同的介质中，有效提升热数据的查询效率，同时降低数据存储成本。背景信息 在海量大数据场景下，一张表中的部分业务数据随着时间的推移仅作为归档数据或者访问频率很低，同时这...
数据归档至专属存储
本文为您介绍如何将数据归档至专属存储中（存储在 DMS）、将专属存储的数据转存至OSS，以及删除归档至专属存储的数据等操作。前提条件 源数据库类型为：MySQL：RDS MySQL、PolarDB MySQL版、AnalyticDB MySQL 3.0。说明 MySQL数据库账号...
JindoFS实战演示
如何将HDFS海量文件归档到OSS 如何将HDFS海量文件归档到OSS 2021-05-18 如果您的数据存储在HDFS集群内，随着业务的发展，数据不断增长，可能导致存储空间不足、存储成本不断上升等问题，此时您可以将访问频率较低的HDFS数据归档到OSS中。...
Location托管
Location托管可以将数据湖OSS中的存储数据托管到数据湖构建（DLF）中进行管理和分析，在托管Location后将可以为你提供 存储概览，生命周期管理介绍，数据表-数据概况（如数据访问频次，数据最后更新时间等），以及存储权限（规划中）等数据...
集群容灾能力
Hadoop HDFS是一个经历了长时间考验且具有高可靠性的数据存储系统，已实现了海量数据的高可靠性存储。同时基于云上的特性，您也可以再在OSS等服务上额外备份数据，以达到更高的数据可靠性。服务容灾 Hadoop的核心组件都会进行HA部署，即有...
管理DAS经济版和企业版
企业版 V1 您可以对当前账号的DAS企业版进行 新增实例、升级、降配、续费 和 退订，并且设置目标数据库实例DAS企业版的 数据存储时长 以及 取消使用DAS企业版。重要 当您的数据库实例需要开启企业版时，请不要在 版本管理 页面为目标数据库...
使用MaxCompute控制台（离线）
基于阿里云对象存储OSS上传数据时，需满足以下条件：已开通OSS并创建Bucket，将待上传数据存储至OSS Bucket中。详情请参见 创建存储空间 和 上传文件。已为操作数据上传的阿里云账号授予可访问目标Bucket的权限，详情请参见 访问控制概述。...
表
表是MaxCompute的数据存储单元。它在逻辑上是由行和列组成的二维结构，每行代表一条记录，每列表示相同数据类型的一个字段。MaxCompute的表类似于传统关系型数据库中的表，可以存储结构化数据，并且使用SQL进行查询和分析。MaxCompute中...
- 产品推荐
- 这些文档可能帮助您