互联网教育:尚学博志(上海)教育科技有限公司

尚学数字化教学解决方案(以学生为中心,以教学为主体)基于移动互联新技术重构学校教学环境和资源,帮助学校打造智慧校园,实现智慧教学、智慧管理。业务挑战 尚学数字化教学解决方案基于移动终端和各类物联网设备进行广泛的数据采集,...

概述

解决方案 T+1全量同步一键建仓是指通过DLA控制台配置数据源(RDS、PolarDB for MySQL、MongoDB数据源、ECS自建数据数据)和目标OSS数据仓库,系统按照您设定的数据同步时间自动、无缝的帮您把数据源中的数据同步到目标数据仓库OSS中,...

图扑案例

面向工业物联网IIoT场景,图扑软件提供监控系统监控可视化解决方案,其产品可用于快速创建和部署,高度可定制化,并具有强大交互功能的拓扑图形及表盘图表等应用,非常适用于实时监控系统的界面呈现,广泛应用于电信网络拓扑和设备管理,...

Transaction Table2.0概述

针对这些问题近几年大数据开源生态也推出了各种解决方案,最流行的就是Spark/Flink/Presto开源数据处理引擎,深度集成开源数据湖Hudi、Delta Lake和Iceberg三剑客,践行统一的计算引擎和统一的数据存储思想来综合提供解决方案,解决Lamdba...

什么是阿里云Elasticsearch

产品介绍 阿里云Elasticsearch致力于打造基于开源生态的、低成本、场景化的云上Elasticsearch解决方案,源于开源,又不止于开源。基于云上超强的计算和存储能力,以及在集群安全和运维领域积累的技术经验,阿里云Elasticsearch不仅支持集群...

全场景解决方案

同时,金融行业历来是强监管、强安全、高复杂度的行业,伴随金融监管体制改革,监管部门对金融IT系统的建设和运维有非常严格的要求,需要具备金融级安全、可靠及高性能的云原生解决方案。蚂蚁集团自主研发的金融级分布式架构平台,专注为...

E-MapReduce本地盘实例规模数据集测试

大数据基准测试用于公平、客观评测不同大数据产品/平台的功能和性能,对用户选择合适的大数据平台产品具有重要的参考价值,TPC-DS逐渐成为了业界公认的大数据系统测试基准。本文以阿里云E-MapReduce+D1本地盘方案模拟TPC-DS测试的演示方案...

网商银行

基于金融云计算平台,网商银行拥有处理高并发金融交易、海量大数据和弹性扩容的能力,可以利用互联网和大数据的优势,给更多小微企业提供金融服务。业务挑战 网商银行将普惠金融作为自身的使命,目标是利用互联网的技术、数据和渠道创新,...

数据管理DMS解决方案系列

为了更好地指导您使用数据管理DMS(Data Management),DMS推出解决方案系列文档,旨在通过最佳实践(Step by Step)的形式向您介绍DMS研发流程、数据安全、数据开发的解决方案。研发流程解决方案 数据安全解决方案 数据开发解决方案 更多...

EMR-3.22.x版本说明

发布日期 EMR-3.22.0 2019年7月28日 新功能 服务 变更点 Kudu 新增组件,Kudu填补Hadoop生态圈的功能空白,可提供类似HBase快速数据插入以及随机存取的功能,允许用户进行数据修改,同时还提供类似HDFS或Parquet超大规模的数据分析以及查询...

云市场各集市入驻条件

AI与大数据计算 AI与大数据计算提供大数据应用服务,包含大数据软件、大数据 SaaS 服务、大数据解决方案等,涵盖BI、数据可视化、人工智能、舆情、营销等各个领域。成为阿里云AI与大数据计算服务商需要符合以下条件:营业执照需要满1年,...

什么是数据管理DMS

AnalyticDB MySQL版:云原生数据仓库AnalyticDB MySQL版是融合数据库、大数据技术于一体的云原生企业级数据仓库服务。AnalyticDB MySQL版支持高吞吐的数据实时增删改、低延时地实时分析复杂ETL(Extract Transform Load),兼容上下游生态...

Spark计算引擎

Apache Spark是一个通用的开源的分布式处理系统,通常用于大数据工作负载。Spark既支持使用SQL,又支持编写多种语言的DataFrame代码,兼具易用性和灵活性。Spark通用化的引擎能力可以同时提供SQL、批处理、流处理、机器学习和图计算的能力...

E-MapReduce弹性低成本离线大数据分析

离线大数据分析概述 主流的三大分布式计算框架系统分别为Hadoop、Spark和Storm:Hadoop可以运用在很多商业应用系统,可以轻松集成结构化、半结构化以及非结构化数据集。Spark采用了内存计算,允许数据载入内存作反复查询,融合数据仓库、流...

上海新能源汽车车辆基础数据

2019年开始上海市新能源汽车大数据平台从自建Hadoop集群迁移至阿里云Lindorm+DLA Spark产品,有效解决了我们平台存储和计算的横向动态扩容瓶颈,同时借助其产品中间件LTS实现了我们平台数据的冷热分离,有效降低了数据存储成本,依托于阿里...

客户案例

基于 ALB 统一流量调度和监控》《基于 K8s 多集群隔离环境下的 DevOps 实现》北京蔚领时代科技有限公司作为国内领先的视频云计算解决方案提供商,拥有自主研发的创新云计算架构以及音视频实时编解码、应用容器技术、GPU虚拟化等关键技术...

通过ES-Hadoop实现Hive读写阿里云Elasticsearch数据

本文介绍通过ES-Hadoop组件在Hive上进行Elasticsearch数据的查询和写入,帮助您将Elasticsearch与Hadoop生态组件结合起来,实现更灵活的数据分析。背景信息 Hadoop生态的优势是处理规模数据集,但是其缺点也很明显,就是当用于交互式分析...

内置时空数据引擎Ganos

支持构建广泛的行业生态解决方案 PolarDB Ganos可服务于政务、商业、军用、民用、科教等广泛领域,包含IoT、出行、物流、社交、零售、LBS等新型业态以及国土、测绘、水利、农业、公安、应急、交通、电信、能源、航空航天等各类地理空间相关...

DataWorks V3.0

MapReduce:E-MapReduce(Elastic MapReduce,简称EMR)构建在阿里云云服务器ECS上,基于开源的Apache Hadoop和Apache Spark,让您可以方便地使用Hadoop和Spark生态系统中的其它周边系统(例如Hive),来分析和处理自己的数据的大数据引擎...

JindoFS块存储模式

应用场景 E-MapReduce目前提供了三种大数据存储系统,E-MapReduce OssFileSystem、E-MapReduce HDFS和E-MapReduce JindoFS,其中OssFileSystem和JindoFS都是云上存储的解决方案,下表为这三种存储系统和开源OSS各自的特点。特点 开源OSS E-...

离线同步常见问题

MaxCompute如何实现列筛选、重排序和补空等 MaxCompute列配置错误的处理 MaxCompute分区配置注意事项 MaxCompute任务重跑和failover 报错信息及解决方案 报错信息及解决方案 数据同步报错:[TASK_MAX_SLOT_EXCEED]:Unable to find a ...

功能特性

计算 MaxCompute向用户提供了多种经典的分布式计算模型,提供TB、PB、EB级数据计算能力,能够更快速的解决用户海量数据计算问题,有效降低企业成本。功能集 功能 功能描述 参考文档 SQL开发 DDL语句 DDL语句 DDL DML操作 DML操作 DML操作 ...

可观测性体系概述

用户业务层可观测性 基于容器服务ACK构建的业务系统的具体业务场景,例如基于容器服务构建一套高可用可扩展的网站,网站的业务运营数据PV、UV等,例如应用的成本审计场景等。解决方案 方案介绍 适用场景 参考文档 自定义日志监控方案 推荐...

如何对JSON类型进行高效分析

方案 业务系统采用JSON类型主要由于半结构化数据的灵活性和高效分析的需求,因此,灵活性与高性能就成为衡量海量半结构化数据分析的解决方案好坏的关键指标。传统数据库解决方案 传统关系型数据库(MySQL、PostgreSQL与ClickHouse等)在...

产品优势

阿里云发布生活物联网平台为行业合作伙伴提供安全、稳定、高扩展、低成本的智能生活解决方案,同时还将通过阿里云的全球化部署助力中国企业走向国际化,共同打造物联网的生态圈。平台的优势 生活物联网平台的优势,主要体现在以下几个方面...

概述

有关阿里云存储服务的详细介绍、客户案例、解决方案等,请参见 阿里云存储产品家族。对象存储OSS 对象存储OSS(Object Storage Service)是一款海量、安全、低成本、高可靠的云存储服务,其容量和处理能力弹性扩展,提供多种存储类型供选择...

数据上云工具

通过简单的配置即可完成数据的采集和传输,结合MaxCompute和StreamCompute可以轻松构建流式数据从采集到分析的一站式解决方案。LogStash的DataHub插件可以将日志数据实时上传到DataHub,并归档到MaxCompute表中。具体示例请参见 Logstash+...

Hadoop Yarn RPC 0 Day在野利用分析与传播手段披露

Hadoop作为大数据计算基础组件往往集群化部署,一旦一台主机沦陷,其整个集群都将受到威胁,其对外暴露的端口服务会造成极大威胁。阿里云安全持续对该BOT进行监控,发现近期传播有所上升,提醒广大用户注意防护。传播手段 Kinsing僵尸网络...

什么是OSS-HDFS服务

基于统一的元数据管理能力,完全兼容HDFS文件系统接口,满足大数据和AI等领域的数据湖计算场景。注意事项 警告 当您为某个Bucket开通OSS-HDFS服务后,通过该服务写入的数据将保留在OSS-HDFS的数据存储目录.dlsdata/下。为避免影响OSS-HDFS...

使用E-Mapreduce访问

提供用户在云上使用开源技术建设数据仓库、离线批处理、在线流式处理、即时查询、机器学习等场景下的大数据解决方案。E-MapReduce数据迁移 开通文件引擎服务,详情请参见 开通指南。准备工作。开通并创建E-MapRedece集群,详情请参见 创建...

行业趋势与背景

随着x86技术日趋成熟,稳定性与小型机的差距不断缩小,另一方面,MySQL采用轻量化线程模型并具备高并发的支持能力,其生态逐步完善,因此新方案采用了基于Sharding技术+开源MySQL的分布式架构(TDDL+AliSQL),这代产品的特征是以解决扩展...

基本概念

M MaxCompute 大数据计算服务MaxCompute(原名ODPS)是一种快速、完全托管的TB、PB级数据仓库解决方案,提供了完善的数据导入方案以及多种经典的分布式计算模型,能够快速地解决海量数据计算问题。通过数据集成服务,可将Lindorm数据导入...

产品概述

HTAP 随着移动互联网和IoT设备的普及,数据会产生爆炸式的增长趋势,传统的OLTP和OLAP的解决方案基于简单的读写分离或者ETL模型,将在线库的数据以T+1的方式抽取到数据仓库中进行计算,这种方案存在存储成本高、实时性差、链路和维护成本...

Hive作业异常排查及处理

读取Snappy文件出现OOM 原因分析:LogService等服务写入的标准Snappy文件和Hadoop生态的Snappy文件格式不同,EMR默认处理的是Hadoop修改过的Snappy格式,处理标准格式时会报错OutOfMemoryError。解决方法:对Hive作业配置如下参数。set io....

技术架构

闭环的生态工具:数据管理DMS,基于阿里巴巴集团十余年的数据库服务平台的云版本,提供免安装、免运维、即开即用、多种数据库类型与多种环境统一的Web数据库管理终端,可以为企业用户快速复制搭建与阿里集团同等安全、高效、规范的数据库...

Serverless模式

支持 使用\COPY命令导入本地数据 支持 使用OSS外表高速导入OSS数据 支持 Hadoop生态外表联邦分析 支持 仓级迁移 自建Greenplum迁移到AnalyticDB PostgreSQL版 暂不支持。您可以通过外表文件中转导入。Teradata应用迁移至AnalyticDB ...

应用场景

阿里云开源大数据平台E-MapReduce(简称EMR)具有广泛的应用场景。本文为您介绍EMR的主要应用场景。数据湖场景 DataLake集群类型提供了数据湖分析场景所需的服务和相关湖格式,包括Hadoop、OSS-HDFS、Hive、Spark、Presto等。通过选择OSS-...

列存索引技术架构介绍

技术背景 MySQL生态HTAP数据库解决方案 MySQL是一款主要面向OLTP型场景设计的开源数据库,开源社区的研发方向侧重于加强其事务处理能力。如提升单核性能、多核扩展性和增强集群能力,以提升可用性等。在处理大数据量下复杂查询所需要的能力...

规格及选型

案例四:自动驾驶企业 用户为自动驾驶领域企业,需要基于车采数据进行地理位置和时序的采集数据分析,要求对JSON格式的友好兼容和时空数据的分析能力,构建业务看板并支持特征工程。建议:使用 AnalyticDB PostgreSQL版 存储弹性模式,实例...

低成本RDS历史库

大数据生态 无缝对接Spark、Hive、Flink、Presto等开源大数据生态产品,支持API访问和文件读取等多种对接方式,简单高效满足用户海量数据分析需求。典型应用 用户交易记录通过App写入MySQL,LTS将MySQL中实时同步到Lindorm,近三个月状态...
共有200条 < 1 2 3 4 ... 200 >
跳转至: GO
产品推荐
云服务器 安全管家服务 安全中心
这些文档可能帮助您
开源大数据平台 E-MapReduce 云原生大数据计算服务 MaxCompute 数据传输服务 云服务器 ECS 商标服务 弹性公网IP
新人特惠 爆款特惠 最新活动 免费试用