产品简介

开源大数据开发平台E-MapReduce(简称EMR)是运行在阿里云平台上的一种大数据处理系统解决方案。EMR基于开源的Apache Hadoop和Apache Spark,让您可以方便地使用Hadoop和Spark生态系统中的其他周边系统分析和处理数据。EMR还可以与阿里云...

DataWorks On EMR使用说明

背景信息 开源大数据开发平台E-MapReduce(简称EMR),是运行在阿里云平台上的一种大数据处理的系统解决方案。EMR基于开源的Apache Hadoop和Apache Spark,让您可以方便地使用Hadoop和Spark生态系统中的其他周边系统分析和处理数据。阿里云...

产品概述

什么是E-MapReduce 开源大数据开发平台E-MapReduce(简称EMR),是运行在阿里云平台上的一种大数据处理的系统解决方案。EMR基于开源的Apache Hadoop和Apache Spark,让您可以方便地使用Hadoop和Spark生态系统中的其他周边系统分析和处理...

离线集成概述

解决企业复杂大数据批处理难题,支持企业精细化运营、数据营销、智能推荐等数据业务场景。离线集成功能底层基于Spark开发,支持提升Hadoop平台运行速度的应用场景。说明 如果您在使用该功能的过程中有任何疑问或问题,请使用钉钉搜索钉钉...

Transaction Table2.0概述

很多业务场景并不要求延时秒级更新可见或者行级更新,更多的需求是分钟级或者小时级的近实时数据处理叠加海量数据批处理场景,MaxCompute支持基于Transaction Table2.0实现近实时的增全量一体的数据存储、计算解决方案,本文为您介绍本方案...

自媒体:易撰

自媒体 网站地址:易撰 客户介绍 长沙营智信息技术有限公司是专业的新媒体大数据服务商,其旗下知名品牌易撰,基于新媒体大数据挖掘技术及NLP算法分析,为各内容创客、广告主提供全面、科学、精准的大数据分析服务以及大数据架构解决方案。...

大数据用户画像解决方案

进入互联网,特别是移动互联网时代,用户随时随地都会在...多维度&复杂查询:原生全局二级索引、Lindorm Search满足多维度查询需求 方案详情&专家服务 解决方案详情参见:基于Lindorm的大数据用户画像解决方案 任何问题,欢迎联系 技术支持。

数据管理DMS解决方案系列

为了更好地指导您使用数据管理DMS(Data Management),DMS推出解决方案系列文档,旨在通过最佳实践(Step by Step)的形式向您介绍DMS研发流程、数据安全、...研发流程解决方案 数据安全解决方案 数据开发解决方案 更多信息,请参见 概览。

DQL操作常见问题

解决措施 将SQL拆分为两层,内层处理没有常量的DISTINCT逻辑,外层加入常量数据。在执行MaxCompute SQL过程中,报错Expression not in GROUP BY key,如何解决?问题现象 执行MaxCompute SQL时,返回报错如下。FAILED:ODPS-0130071:...

操作指南

一、大数据专家服务流程指南 二、服务流程说明 用户可以根据自己实际需要,提前或者在问题发生时购买大数据专家服务,服务项包含大数据技术架构方案咨询、大数据解决方案POC、大数据搬站迁云方案咨询、跨地域迁移支持服务、大数据专家高阶...

IoT数据自动化同步至云端解决方案

下图为您展示使用DataWorks数据集成完成OSS数据同步至大数据系统的解决方案流程。新建离线同步节点,详情请参见 通过向导模式配置离线同步任务。选择数据来源OSS进行读取,详情请参见 OSS Reader。选择数据去向进行写入,本文以 MaxCompute...

什么是云原生数据湖分析

寻求安全的数据处理解决方案。DLA所有的库表及存储的数据都有一整套安全的方案,避免数据被误用。寻求低成本的数据处理方案。DLA方案是完全Serverless的解决方案,是阿里云提供的云原生的数据处理方案。从之前Hadoop体系过渡到数据湖方案。...

RDS MySQL空间不足问题

解决方案 优化数据结构,减少二级索引数量。字段导致空间不足 现象 如果表结构定义中有blob、text等字段或很长的varchar字段,也会占用更的表空间。解决方案数据压缩以后再插入。空闲表空间太多导致空间不足 现象 空闲表空间太多...

生成测试数据

模拟数据设置信息 显示创建模拟数据任务时您选择的 目标表、模拟生成数据量、批处理大小、插入模拟数据前清空表、数据冲突处理方式、实际插入记录、冲突记录、忽略插入、清除记录 和 规则设置展示 等信息。在任务信息面板右下角,单击 再次...

SQL调优

解决方案:使用如下命令调单个并发处理数据大小。set odps.stage.mapper.split.size=;set odps.stage.reducer.num=<并发数>;Instance数量设置方法 读表的Task 方法1:通过设置参数调整并发度。设定一个map的最大数据输入量,单位MB-...

产品优势

云原生数据湖分析DLA(Data Lake Analytics)是新一代大数据解决方案,采取计算与存储完全分离的架构,支持数据库与消息实时归档建仓。DLA提供弹性的Spark与Presto,满足在线交互式查询、流处理、批处理、机器学习等诉求,也是传统Hadoop...

常见术语

云原生数据湖分析(简称DLA)是新一代大数据解决方案,采取计算与存储完全分离的架构,支持数据库(RDS\PolarDB)与消息实时归档建仓,提供弹性的Spark与Presto,满足在线交互式查询、流处理、批处理、机器学习等诉求,也是传统Hadoop方案...

金融大数据

架构优势:提供了结构化与非结构化数据的融合方案 满足了同时存在离线、在线、流数据的业务场景 解决了大数据平台的集成问题 为大数据平台的开发与管理提供了高效方案 金融风险控制方案 金融风险控制解决方案通过大数据画像、机器学习、...

常见问题

解决方案:您可以选择同地域的其他区域购买。VPC网络支持相同区域不同可用区之间打通,同区域网络延迟无感知。水平扩缩容耗时受什么影响?水平扩缩容过程涉及数据搬迁,实例里面数据越多搬得越多,耗时时间越长。扩缩容期间对实例有什么...

MaxFrame概述

背景信息 为满足用户基于MaxCompute进行规模数据处理、分析及数据挖掘的需求,MaxCompute提供了一套Python开发生态,通过统一的Python编程接口完成数据分析、处理及挖掘、建模全生命周期。MaxFrame是由阿里云自研的分布式计算框架,提供...

应用场景

访问频度极高业务 如社交网络、电子商务、游戏、广告等。...实现对大数据的分布式分析处理,适用于商业分析、挖掘等大数据处理场景。通过数据集成服务可自助实现数据在云数据库 Memcache 版与 MaxCompute 间的同步,简化数据操作流程。

应用场景

批处理意味着每一次处理的数据量很,而且有很多张大表要做关联,经常要做一些比较复杂的查询,并且更新量也比较,使得传统的集中式数据库,出现了单点瓶颈,垂直扩容成本非常高,几乎不可接受。OceanBase 数据库的 SQL 引擎在经过了近 ...

基于DLF、RDS或Flink、OSS支持Delta Lake或Hudi存储...

Delta Lake和Hudi是数据方案中常用的存储机制,为数据湖提供流处理、批处理能力。MaxCompute基于阿里云DLF、RDS或Flink、OSS产品提供了支持Delta或Hudi存储机制的湖仓一体架构。您可以通过MaxCompute查询到实时数据,即时洞察业务数据...

应用场景

前端的监控系统和大数据处理系统会利用 TSDB 的数据查询和计算分析能力进行业务监控和分析结果的实时展现。电力化工及工业制造监控分析 传统电力化工以及工业制造行业需要通过实时的监控系统进行设备状态检测,故障发现以及业务趋势分析。...

产品优势

基于对象存储OSS中的文档、图片、视频等多媒体数据,智能媒体管理典型的应用场景有图片、视频、网盘等。场景痛点分析 图片应用 对于图片应用,首先上传图片、视频到...场景化一站式解决方案 面向场景的构建快捷的元数据管理,快速实现应用。

功能概览

解决企业批处理复杂大数据的难题,支持企业精细化运营、数据营销、智能推荐等大数据业务场景。离线集成概述 流式ETL 帮助您实现流式数据地抽取、数据转换和加工、数据装载。丰富企业实时数据处理和计算场景,赋能企业数字化转型。什么是...

快速玩转Tablestore入门与实战

场景篇 基于Tablestore的一站式物联网存储解决方案-表设计篇 基于Tablestore的一站式物联网存储解决方案-数据操作篇 基于Tablestore的一站式物联网存储解决方案-Spark分析 基于Tablestore的一站式物联网存储解决方案-数据湖分析 基于...

T+1多库合并建仓

解决方案 T+1多库合并建仓是指通过DLA控制台上的多库合并建仓向导将RDS中的分库分表数据聚合到统一的表中,并以分区表形式存储数据。您可以全局分析所有数据,也可以选择某个分区对分区数据进行分析,进行数据分析时会非常的方便,并且也不...

发展历程

2018年4月,MaxCompute的多个客户案例荣获“2017大数据优秀产品和应用解决方案案例”奖。2018年3月,MaxCompute登上Forrester《2018年一季度云端数据仓库》大数据服务榜单。2018年3月,Gartner发布了《2017年分析型数据管理解决方案(DMSA...

聚水潭:云原生数据仓库助力企业实现商业洞察

客户价值 中国最大的电商SaaS ERP提供商聚水潭引入阿里云 AnalyticDB PostgreSQL版 构建企业级云原生数据仓库,获得了如下方面的提升:海量数据高效 AnalyticDB PostgreSQL版 以其强大的批处理和多维度复杂分析能力支撑用户包括ETL、CRM和...

应用场景

相较于原有解决方案,我们的解决方案运维更加简单,并且使用MySQL协议,可以对接各种BI工具,从而实现数据的快速分析和处理。实时数据分析场景解决方案 步骤如下:实时摄入:通过直接读取Kafka数据来实现。提供了Flink-Connector来支持...

Delta Lake概述

很高 低 较高 事务性 支持 不支持 支持 性能 高 低 较高 扩展性 依赖于具体实现 高 高 面向人员 管理人员 管理人员、数据科学家 管理人员、数据科学家 成本 高 低 低 适用场景 Delta适用于云上数据数据管理解决方案。如果您存在以下场景...

Spark计算引擎

Spark通用化的引擎能力可以同时提供SQL、批处理、流处理、机器学习和图计算的能力。AnalyticDB MySQL Serverless Spark是 AnalyticDB MySQL 团队基于Apache Spark打造的服务化的大数据分析与计算服务,开通 AnalyticDB MySQL 服务后只需...

上海新能源汽车车辆基础数据

解决方案 Lindorm历经阿里众多核心服务的规模验证,拥有相关技术领域的技术团队,保障了使用过程的持续稳定、可靠,构建起坚实的离在线存储底座,使得客户可以聚焦于业务侧的发展。Lindorm宽表引擎批量组提交优化,幅度提升集群吞吐量...

X-Engine简介

因为目标是面向规模的海量数据存储,提供高并发事务处理能力和降低存储成本,在部分大数据量场景下,数据被访问的机会是不均等的,访问频繁的热数据实际上占比很少,X-Engine根据数据访问频度的不同将数据划分为多个层次,针对每个层次...

AIOps 解决方案专家服务内容说明

智能故障发现解决方案 基于调研与评估的结果,为客户设计智能故障发现解决方案,包含:多账号统一监控数据接入,并根据应用分组为客户设计AI算法能力用于实时故障发现,并根据分析结果智能定位根因,提供实时异常检测的稳定性方案,保障...

什么是DataWorks

DataWorks基于MaxCompute、Hologres、EMR、AnalyticDB、CDP等大数据引擎,为数据仓库、数据湖、湖仓一体等解决方案提供统一的全链路大数据开发治理平台。从2009年起,DataWorks不断沉淀阿里巴巴大数据建设方法论,支撑数据中台建设,同时与...

数据湖管理FAQ

本文汇总了数据湖管理相关的常见问题及解决方案。Lakehouse相关问题 什么是Lakehouse?Lakehouse数据入湖时,对线上RDS有压力吗?如何控制建仓的限流能力?Lakehouse工作负载为什么运行失败,又没有S park Log 日志可以看?元数据发现相关...

创建解决方案

数据开发模式全面升级,包括工作空间>解决方案>业务流程三级结构,抛弃陈旧的目录组织方式。背景信息 DataWorks对数据开发模式进行全面升级,按照业务种类组织相关的不同类型的节点,让您能够更好地以业务为单元、连接多个业务流程进行开发...

公交出行:启迪公交

解决方案 启迪公交采用 PolarDB-X 分布式数据库方案构建了全部业务系统,既支持海量大数据处理能力,又支持高并发、高可用和很强的弹性伸缩能力。票务管理工作台通过用户检录数据,实时同步到阿里云AnalyticDB分析型数据库,分析出实时...
共有200条 < 1 2 3 4 ... 200 >
跳转至: GO
产品推荐
云服务器 安全管家服务 安全中心
这些文档可能帮助您
云服务器 ECS 云数据库 RDS 数据库备份 云原生大数据计算服务 MaxCompute 弹性公网IP 短信服务
新人特惠 爆款特惠 最新活动 免费试用