应用场景

该场景可实现:在离线一体化 支持数据实时增删改、具备在线分析和ETL计算一体化,实现大数据数据库的融合。通过资源组隔离让在离线计算任务不相互影响,保证业务稳定运行。计算存储资源弹性 采用计算存储分离架构,计算资源和存储资源按...

2019年

概述 通过Tunnel迁移日志数据至MaxCompute 通过DataHub迁移日志数据至MaxCompute 通过DataWorks数据集成迁移日志数据至MaxCompute 通过LogHub迁移日志数据至MaxCompute 2019-12-25 新增开源地理空间UDF。新功能 您可以将开源地理空间UDF...

应用场景

通过结合其他云产品,云数据库RDS可以适用于更多典型的应用场景。自建库搭配RDS实现异地容灾 RDS搭配异构数据实现数据多样化存储 RDS结合开放搜索服务实现复杂搜索 开启读写分离扩展RDS处理能力 RDS搭配大数据计算服务实现大规模数据计算

应用场景

访问频度极高业务 如社交网络、电子商务、游戏、广告等。...实现大数据的分布式分析处理,适用于商业分析、挖掘等大数据处理场景。通过数据集成服务可自助实现数据在云数据库 Memcache 版与 MaxCompute 间的同步,简化数据操作流程。

DataWorks on EMR数据安全方案

大数据领域,阿里云为企业用户提供了一整套数据安全方案,包含用户认证、数据权限、大数据作业管理体系等。本文以联合使用DataWorks与EMR为例,为您介绍DataWorks on EMR场景下的数据安全方案。背景信息 DataWorks on EMR目前支持LDAP...

RDS搭配大数据计算服务实现大规模数据计算

本文介绍RDS MySQL如何结合大数据计算服务MaxCompute使用。开放数据处理服务又称为大数据计算服务(MaxCompute,原名ODPS),可服务于批量结构化数据的...通过 数据集成 服务,可将RDS数据导入MaxCompute,实现大规模的数据计算,如下图所示。

数据治理中心概述

量化评估:健康分 健康分是依据数据资产在数据生产、数据流通及数据管理中的用户行为、数据特性、任务性质等元数据,使用数据处理及机器学习等技术,对各类型数据进行综合处理和评估,通过个人、工作空间维度客观呈现数据资产状态的综合...

数据服务入门

步骤一:创建数据源并配置网络连通性 使用数据服务创建API前,您需将数据库或数据仓库添加为DataWorks的数据源,并保障数据服务资源组与您的目标数据源网络连通,以便调用API时DataWorks可成功访问数据源。说明 DataWorks工作空间将集群或...

区域热力层(v4.x版本)

过滤器 打开 过滤器,选择已创建的数据过滤器或新建数据过滤器,并配置数据过滤器脚本,实现数据的筛选功能。详情请参见 管理数据过滤器。数据响应结果 实时展示了组件所使用的数据。当组件数据源发生变化时,数据响应结果会对应展示最新的...

区域热力层(v3.x版本)

过滤器 打开 过滤器,选择已创建的数据过滤器或新建数据过滤器,并配置数据过滤器脚本,实现数据的筛选功能。详情请参见 管理数据过滤器。数据响应结果 实时展示了组件所使用的数据。当组件数据源发生变化时,数据响应结果会对应展示最新的...

基本散点图

过滤器 打开 过滤器,选择已创建的数据过滤器或新建数据过滤器,并配置数据过滤器脚本,实现数据的筛选功能。详情请参见 管理数据过滤器。数据响应结果 实时展示了组件所使用的数据。当组件数据源发生变化时,数据响应结果会对应展示最新的...

云数据库RDS简介

通过数据集成服务,可将RDS数据导入MaxCompute,实现大规模的数据计算 DTS 您可以使用数据传输服务DTS将本地数据库迁移到云上的RDS,以及实现RDS的异地容灾。OSS 对象存储服务OSS是阿里云提供的海量、安全、低成本、高可靠的云存储服务。...

版本发布记录

接入DataWorks任务调度 接入DataWorks任务调度,使得用户能够可视化轻松定制数据湖分析的数据处理流程,实现云上大数据WorkFlow。接入函数计算 接入函数计算,使得用户能够基于这两款Serverless化云产品,构建云原生Serverless工作流。接入...

基本概念

通过数据集成服务,可将Lindorm数据导入MaxCompute,实现大规模的数据计算。更多信息,请参见 什么是MaxCompute。MongoDB 提供稳定可靠、弹性伸缩、完全兼容MongoDB协议的数据库服务。数据结构多样时,可以选择将结构化数据存储在Lindorm,...

PolarDB HTAP实时数据分析技术解密

最后,列存中的块存储结构,结合MIN、MAX等粗糙索引信息可以实现大范围的数据过滤。所有这些行为都极的提升了IO的效率。在存储计算分离架构下,减少网络读取的数据量,可以缩短对查询处理的响应时间。列式存储同样能提高CPU在处理数据...

列存索引技术架构介绍

列存中大块存储的结构,结合MIN/MAX等粗糙索引信息可以实现大范围的数据过滤。所有这些行为都极的提升了IO的效率。在存储计算分离架构下,减少通过网络读取的数据量可以对查询处理的响应时间带来立竿见影的提升。列式存储同样能提高CPU在...

RDS术语

通过数据集成服务,可将RDS数据导入MaxCompute,实现大规模的数据计算。更多信息,请参见 什么是MaxCompute。Microsoft AD Active Directory,活动目录。微软提供的面向Windows Standard Server、Windows Enterprise Server以及Microsoft ...

RDS术语

通过数据集成服务,可将RDS数据导入MaxCompute,实现大规模的数据计算。更多信息,请参见 什么是MaxCompute。Microsoft AD Active Directory,活动目录。微软提供的面向Windows Standard Server、Windows Enterprise Server以及Microsoft ...

RDS术语

通过数据集成服务,可将RDS数据导入MaxCompute,实现大规模的数据计算。更多信息,请参见 什么是MaxCompute。Microsoft AD Active Directory,活动目录。微软提供的面向Windows Standard Server、Windows Enterprise Server以及Microsoft ...

RDS术语

通过数据集成服务,可将RDS数据导入MaxCompute,实现大规模的数据计算。更多信息,请参见 什么是MaxCompute。Microsoft AD Active Directory,活动目录。微软提供的面向Windows Standard Server、Windows Enterprise Server以及Microsoft ...

RDS术语

通过数据集成服务,可将RDS数据导入MaxCompute,实现大规模的数据计算。更多信息,请参见 什么是MaxCompute。Microsoft AD Active Directory,活动目录。微软提供的面向Windows Standard Server、Windows Enterprise Server以及Microsoft ...

教程概述

本文档通过一个案例,演示了如何基于阿里云产品和服务实现设备数据在大屏上展示。本案例的原理如下:在设备端模拟两个字段,通过MQTT协议向阿里云物联网平台设备(高级版)发送数据。物联网平台接收到数据后通过规则引擎转发至DataHub。在...

实现开发生产等多套环境隔离

使用DataWorks进行大数据开发时,支持对开发、测试、生产等环境进行隔离,当您联合使用了其他阿里云产品时,也可根据环境隔离诉求进行对应业务的环境设置与隔离,本文以DataWorks联合EMR、OSS等产品为例,为您介绍如何实现开发生产等多套...

实验介绍

涉及产品 本案例涉及以下产品:一站式大数据开发治理DataWorks 本案例通过DataWorks实现数据采集,加工,质量监控,与数据可视化展现,您需提前开通该服务。详情请参见 开通DataWorks服务。云原生大数据计算服务MaxCompute 实现底层加工...

快速体验

涉及产品 本案例涉及以下产品:一站式大数据开发治理DataWorks 本案例通过DataWorks实现数据采集、加工、质量监控,以及数据可视化展现,您需提前开通该服务。详情请参见 开通DataWorks服务。云原生大数据计算服务MaxCompute 实现底层加工...

应用场景

实时数据通道 1.1 接入多种异构数据并投递到下游多种大数据系统 通过数据总线,您可以实时接入APP、WEB、IoT和数据库等产生的异构数据,统一管理,并投递到下游的分析、归档等系统,构建清晰的数据流,让您更好的释放数据的价值。...

概述

配置循环SQL节点 跨库Spark SQL 基于Spark引擎,实现大规模跨库数据传输和数据加工,主要针对各类跨库数据同步和数据加工场景。配置跨库Spark SQL节点 Lindorm Spark 通过Lindorm计算引擎高效地完成分布式计算任务,满足用户在数据生产、...

什么是DataWorks

DataWorks基于MaxCompute、Hologres、EMR、AnalyticDB、CDP等大数据引擎,为数据仓库、数据湖、湖仓一体等解决方案提供统一的全链路大数据开发治理平台。从2009年起,DataWorks不断沉淀阿里巴巴大数据建设方法论,支撑数据中台建设,同时与...

功能特性

本文为您介绍DataV-...数据集准备:自动探查接入数据,快速了解数据形态 可视化分析:智能洞察找到分析灵感,主动探索聚焦分析目标 作品创作:一键生成长图作品,讲述数据故事 作品分享:灵活多端分享,以生动的可视化数据作品传递数据见解

大数据安全治理的难点

存储 众所周知,大数据系统以数据类型多(结构化、非结构化、半结构化)、数据(动辄PB级别)著称,某些巨头组织一天就能新增数十万甚至数百万张表,如此体量给数据分级分类带来了极挑战,通过人工进行数据分级分类显然是不现实的,...

未来规划

云计算架构的核心逻辑就是通过虚拟化技术带来池化资源,云原生数据库采用分布式数据库架构,实现大规模扩展,每套数据库系统横跨多台服务器和虚拟机,带来了全新的系统管理挑战。其中最核心的挑战就是如何实现弹性以及高可用,实现按需按量...

通用数据开发

通常数据开发的总体流程包括数据产生、数据收集与存储、数据分析与处理、数据提取和数据展现与分享。说明 上图中,虚线框内的开发流程均可基于阿里云大数据平台完成。数据开发的流程如下所示:数据产生:业务系统每天会产生大量结构化的...

账单数据订阅及查询分析

DataWorks及MaxCompute:DataWorks基于MaxCompute等大数据引擎,支持您在线进行SQL分析、业务洞察、编辑和分享数据,以及将查询结果保存为可视化图表卡片,快速搭建可视化数据报告。订阅账单数据后,用户中心会将相关账单数据同步至指定...

TS

TairTS是基于Redis Module开发的时序数据结构,提供低时延、高并发的内存读写访问,及快速地过滤、聚合查询功能,集存储与计算为一体,在简化了处理时序数据流程的同时,幅度提高了性能。TairTS简介 相比 RedisTimeSeries,TairTS提供了...

PolarDB Serverless实现了哪些突破

第一代云原生数据库的困境 早期的云上数据库,部分是以ECS中的自建数据库和云厂商托管的数据库RDS的形态存在的,到目前为止还是有非常的用户量。这些云上数据库架构使用的是传统数据库的架构,只是运行在云的基础设施上,数据库本身并...

什么是EMR on ACK

阿里云E-MapReduce(简称EMR)on ACK提供了全新构建大数据平台的方式。您可以将开源大数据服务部署在阿里云容器服务Kubernetes版(ACK)之上,利用ACK在服务部署和容器应用管理的优势,减少对底层集群资源的运维投入,以便于您可以更加专注...

概述

解决方案 T+1全量同步一键建仓是指通过DLA控制台配置数据源(RDS、PolarDB for MySQL、MongoDB数据源、ECS自建数据数据)和目标OSS数据仓库,系统按照您设定的数据同步时间自动、无缝的帮您把数据源中的数据同步到目标数据仓库OSS中,...

什么是数据传输服务DTS

数据传输服务DTS(Data Transmission Service)是阿里云提供的实时数据流服务,支持关系型数据库(RDBMS)、非关系型的数据库(NoSQL)、数据多维分析(OLAP)等数据源间的数据交互,集数据同步、迁移、订阅、集成、加工于一体,助您构建...

什么是数据库存储DBFS

数据库文件存储(DBFS),是一款针对数据库场景的云原生共享文件存储服务。它基于共享存储架构设计,通过文件协议提供数据库定制功能,具备企业级存储特性。主要服务于云上自建数据库,基于传统SAN的应用等,为用户提供高IO性能和高可用性...

冷热分层

背景信息 在海量大数据场景下,随着业务和数据量的不断增长,性能和成本的权衡成为大数据系统设计面临的关键挑战。Delta Lake是新型数据湖方案,推出了数据流入、数据组织管理、数据查询和数据流出等特性,同时提供了数据的ACID和CRUD操作...
共有200条 < 1 2 3 4 ... 200 >
跳转至: GO
产品推荐
云服务器 安全管家服务 安全中心
这些文档可能帮助您
数据库备份 云数据库 RDS 云数据库 Redis 版 数据传输服务 弹性公网IP 短信服务
新人特惠 爆款特惠 最新活动 免费试用