功能简介
数据同步为用户提供批量、实时多源异构数据的便捷同步或接入能力，系统提供完善的数据接入配置、任务运行监控等功能，有效保障数据接入的稳定性和可控性，满足各类平台、数据源及应用系统间的数据汇聚需求。同时支持对存储在基于ArcGIS、...
MySQL数据源
如果您配置离线任务时使用脚本模式的方式进行配置，您需要在任务脚本中按照脚本的统一格式要求编写脚本中的reader参数和writer参数，脚本模式的统一要求请参见 通过脚本模式配置离线同步任务，以下为您介绍脚本模式下的数据源的Reader参数...
金融大数据
满足了同时存在离线、在线、流数据的业务场景 解决了大数据平台的集成问题 为大数据平台的开发与管理提供了高效方案 金融风险控制方案 金融风险控制解决方案通过大数据画像、机器学习、知识图谱和复杂关系网络分析等手段，帮助金融机构建立...
应用场景
云数据库Cassandra可以很容易添加新的数据中心，不同的数据中心可以设定不同的副本数，既可以作为跨数据中心多活高可用，也可以作备份容灾或离线分析使用。业务灵活多变 云数据库Cassandra的数据模型灵活，对表结构的变更是一个非常轻量级...
通用数据开发
通常数据开发的总体流程包括数据产生、数据收集与存储、数据分析与处理、数据提取和数据展现与分享。说明 上图中，虚线框内的开发流程均可基于阿里云大数据平台完成。数据开发的流程如下所示：数据产生：业务系统每天会产生大量结构化的...
RecommendTemplates
可选值：general：通用场景 analysisVisualization：数据分析场景 dbAcceleration：数据库加速场景 search：搜索场景 log：日志场景 说明 商业版实例支持通用场景、数据分析场景、数据库加速场景和搜索场景；日志增强版仅支持日志场景。...
数据可视化展现
在数据分析模块，DataWorks为您提供数据可视化工具，能够将加工后的数据以图表形式直观展示，便于您快速提取关键信息。本文将以场景示例形式，为您介绍如何用DataWorks完成用户画像数据的可视化展示。前提条件 在开始示例前，请确认您已经...
增量数据同步
通过选择已注册的数据源端数据和目标端，实现增量任务自动建表的方式创建离线同步周期任务，本文介绍如何创建MySQL to MaxCompute离线增量数据同步周期调度的任务。前提条件 已新建工作组“信息中心（xxzx）”，具体操作，请参见 新建工作...
概述
大数据分析 如果您的业务采用MySQL数据库，随着业务的发展，大数据分析场景逐渐增多，而MySQL数据库进行大数据分析需要结合流式组件、存储系统、计算组件等工具，操作复杂且难度大，您可以选择将MySQL数据库迁移到表格存储中实现大数据分析...
MaxCompute近实时增全量一体化架构介绍
数据库整库 实时同步写入 当前数据库系统与大数据处理引擎都有各自擅长的数据处理场景，面对一些复杂的业务需求，往往需要同时运用OLTP（联机事务处理）、OLAP（联机分析处理）及离线分析引擎来对数据进行全面且深入的分析与处理，因此数据...
应用场景
大数据场景 云数据库HBase支持海量全量数据的低成本存储、快速批量导入和实时访问，具备高效的增量及全量数据通道，可轻松与Spark、MaxCompute等大数据平台集成，完成数据的大规模离线分析。优势如下：低成本：高压缩比，数据冷热分离，...
应用场景
大数据场景：海量数据存储与分析 Lindorm支持海量数据的低成本存储、快速批量导入和实时访问，具备高效的增量及全量数据通道，可轻松与Spark、MaxCompute等大数据平台集成，完成数据的大规模离线分析。优势 低成本：高压缩比，数据冷热分离...
应用场景
数据湖场景 DataLake集群类型提供了数据湖分析场景所需的服务和相关湖格式，包括Hadoop、OSS-HDFS、Hive、Spark、Presto等。通过选择OSS-HDFS，集群的YARN服务不再依赖集群本地的HDFS，也不需要使用Core节点组，从而提高了集群的弹性和灵活...
产品简介
应用场景 数据分析场景，通过元数据发现、数据探索能力，可以快速的对OSS内结构化、半结构化数据进行分析、探索。结合 E-MapReduce、OSS 两个产品，DLF协助客户快速构建云上数据湖。结合 MaxCompute、DataWorks、E-MapReduce 3个产品，DLF...
应用场景
大数据分析与机器学习 在大数据分析与机器学习场景中，应用对数据访问的吞吐性能和延迟有较高要求。而 文件存储 HDFS 版 能够提供高吞吐量和低延迟的访问能力，无需将数据迁移到计算资源本地，因此在该场景下推荐使用 文件存储 HDFS 版 ...
购买指引-全托管
以适配不同场景、不同数据体量客户的诉求：智能研发版（离线&实时）：支持离线研发和实时研发场景，可创建生产开发隔离的双环境项目，提供智能建模、逻辑运维等特色功能，适用于数据量丰富、权限管控严格、具备专业大数据开发团队的企业...
场景：调度参数在数据集成的典型应用场景
场景三：定义目标字段 注意事项 在DataStudio界面单击运行 或高级运行 时，仅支持手动为离线同步任务配置的变量赋值常量，由于数据集成无法直接使用开发环境冒烟测试功能，建议您通过以下方式验证调度参数在调度场景下的替换情况。...
常见问题
数据湖后端存储使用OSS，用户使用数据湖构建面向大数据分析和机器学习场景可以获得集中式权限管理和统一的元数据视图，更容易对接云上大数据和分析产品。什么情况下我需要使用数据湖构建？在云上有数据分析和机器学习需求，希望构建云上的...
EMR Hive数据整库离线同步至MaxCompute
本文以阿里云EMR Hive离线同步写入MaxCompute场景为例，为您介绍如何一次性把EMR Hive整个数据库的数据离线同步至MaxCompute。背景信息 Hive是基于Hadoop的一个数据仓库工具，用来进行数据的提取、转化、加载，可以存储、查询和分析存储在...
EMR Hive数据整库离线同步至MaxCompute
本文以阿里云EMR Hive离线同步写入MaxCompute场景为例，为您介绍如何一次性把EMR Hive整个数据库的数据离线同步至MaxCompute。背景信息 Hive是基于Hadoop的一个数据仓库工具，用来进行数据的提取、转化、加载，可以存储、查询和分析存储在...
可观测性能力介绍
相比开源工具redis-rdb-tool的解析速度，离线全量Key分析 在大小Key混合（占比1：9）的场景下实现4倍速度提升，在中大Key场景下实现20倍速度提升，同时保证进程内存占用固定维持在1 GB以内，避免大Key解析可能带来内存溢出的问题。离线全量...
可观测性能力
相比开源工具redis-rdb-tool的解析速度，离线全量Key分析 在大小Key混合（占比1：9）的场景下实现4倍速度提升，在中大Key场景下实现20倍速度提升，同时保证进程内存占用固定维持在1 GB以内，避免大Key解析可能带来内存溢出的问题。离线全量...
用户画像分析概述
RoaringBitmap优化方案 基于RoaringBitmap的超大规模画像分析场景，适合数据量大，标签规模多，需要去重处理的场景。通过结合RoaringBitmap结构化存储，实现天然去重，避免Join开销，降低运算复杂度，快速出结果。详情请参见 画像分析-...
羲和分析计算引擎
面向海量数据的云原生数仓需要满足不同的数据分析场景，包括在线报表，在线交互式分析，以及ETL等。不同的场景依赖分析计算引擎自适应的采用不同的查询优化技术，包括按需的动态代码编译，CPU友好的内存数据布局，以及自适应的并行度调整等...
数据同步概述
实时数仓Hologres是一款兼容PostgreSQL 11协议的实时数仓，与大数据生态无缝连接，支持高并发地实时写入，数据写入即可查，同时也支持离线数据的加速查询、实时数据和离线数据联邦分析，助力快速搭建企业级实时数仓。Hologres数据同步说明 ...
同步方案选取指南
大数据离线同步场景（可实现最快分钟级的离线数据采集任务）。需要自定义查询语句，以及多表联合查询后同步数据的场景。同步整个数据库中数据的场景。需要开通DataWorks服务。对于传输速度要求较高或复杂环境中的数据源同步场景，需要...
数据传输与迁移概述
数据传输渠道 SDK-Tunnel渠道 外表（湖仓一体）JDBC渠道 场景数据写入MaxCompute 离线数据批量写入（数据通道）场景特征。周期调度任务（天、小时级别调用）。对数据延迟不敏感（只要在调度周期执行完成即可满足需求）。典型场景。类型 ...
HBase SQL（Phoenix）与Spark的选择
另外Spark可以支持sql、scala、java、python语言，支持流、OLAP、离线分析、数据清洗、支持多源（HBase、MongoDB、Redis、OSS等）。Spark Streaming支持准实时的在线流，不在此讨论访问内。差异对比 对比项目 Phoenix Spark SQL复杂度 简单...
规格及选型
4C16G ESSD云盘 PL0 ESSD云盘 PL1 适合计算存储均衡场景，适合离线分析业务。重要 高性能（基础版）不提供高可用，请谨慎选择该系列。8C32G ESSD云盘 PL1 16C64G ESSD云盘 PL2 表 2.Serverless 实例系列 调度模式 节点规格/计算资源阈值...
流式ETL
报表提速：构建实时报表体系，不仅大幅提升报表产出效率，还能支持更多实时分析场景，满足了企业数字化转型阶段对报表产出效率的高要求。实时计算场景：对业务侧产生的流数据实时清洗处理，形成特征值、标签支持在线业务计算模型（画像、风...
什么是ETL
报表提速：构建实时报表体系，不仅大幅提升报表产出效率，还能支持更多实时分析场景，满足了企业数字化转型阶段对报表产出效率的高要求。实时计算场景：对业务侧产生的流数据实时清洗处理，形成特征值、标签支持在线业务计算模型（画像、风...
功能简介
将业务数据沉淀为智能数据或智能算子，通过可视化的拖拉拽和简单的图形化条件设定进行模型编排，支持 离线 场景，实现简化建模复杂度、提高模型运行效能、结合智能化算法等帮助用户将数据与业务结合起来，不断积累和沉淀专家业务模型，服务...
应用场景
在线或离线分析系统：支持实时在线分析系统和类似于Hadoop的离线分析系统。数据处理 在很多领域，如股市走向分析、气象数据测控、网站用户行为分析，由于数据产生快、实时性强且量大，您很难统一采集这些数据并将其入库存储后再做处理，这...
Serverless存储层
充分利用本地内存+本地SSD+远程全局分布式缓存，提供湖仓数据的加速能力，同时满足从百毫秒级高性能在线分析场景到百TB级的高吞吐ETL场景。弹性能力 提供分钟级别的弹性扩缩容。全量数据在扩缩容时无需搬迁，通过元数据（Metadata）的操作...
离线全量Key分析
您可以通过离线全量Key分析功能来分析 Tair 的备份文件，快速发现实例中的大Key，帮助您掌握Key在内存中的占用和分布、Key过期时间等信息，为您的优化操作提供数据支持，帮助您避免因Key倾斜引发的内存不足、性能下降等问题。该功能由 ...
离线全量Key分析
通过离线全量Key分析功能来分析Redis的备份文件，可以快速发现实例中的大Key，帮助您掌握Key在内存中的占用和分布、Key过期时间等信息，为您的优化操作提供数据支持，帮助您避免因Key倾斜引发的内存不足、性能下降等问题。该功能由 ...
创建集群
可应用于大数据离线处理、实时处理和交互式查询等多种使用场景。支持构建数据湖架构，使用JindoFS进行数据湖加速。Zookeeper：提供独立的分布式一致性锁服务，适用于大规模的Hadoop集群、HBase集群和Kafka集群。Presto：是基于内存的分布式...
RDS增量数据同步至MaxCompute
本文以同步业务RDS数据库的数据至MaxCompute为例，为您介绍如何对不同场景的数据进行增量同步。背景信息 根据需要同步的数据在写入后是否发生变化，分为恒定的存量数据（通常是日志数据）和持续更新的数据（例如人员表中，人员的状态会发生...
RDS增量数据同步至MaxCompute
本文以同步业务RDS数据库的数据至MaxCompute为例，为您介绍如何对不同场景的数据进行增量同步。背景信息 根据需要同步的数据在写入后是否发生变化，分为恒定的存量数据（通常是日志数据）和持续更新的数据（例如人员表中，人员的状态会发生...
SQL概述
MaxCompute SQL是MaxCompute中用于数据查询和分析的SQL语言，其语法类似于标准SQL，但在标准语法ANSI SQL92的基础上进行了一些扩展和限制以更好地服务于大规模数据仓库的场景。本文为您介绍MaxCompute SQL使用场景、使用向导及支持的工具...
- 产品推荐
- 这些文档可能帮助您