概述

如果使用自建开源大数据生态体系,例如Hive、Spark等,需要专门的数据工程师来操作和运维,且操作流程也不像使用MySQL一样简单,成本极高。解决方案 T+1全量同步一键建仓是指通过DLA控制台配置数据源(RDS、PolarDB for MySQL、MongoDB...

什么是云消息队列 Kafka 版?

消息队列 Kafka 版 广泛用于日志收集、监控数据聚合、流式数据处理、在线和离线分析等数据领域,已成为大数据生态中不可或缺的部分。产品优势 云消息队列 Kafka 版 针对开源的Apache Kafka提供全托管服务,解决开源产品的痛点。有了 云...

新建数据模版

消息中间件作为数据源时,需要通过创建数据模版来解释消息中间件中消息的结构。本文介绍如何新建数据模版。操作步骤 登录 数据资源平台控制台。在页面左上角,单击 图标,选择 协同。在顶部菜单栏,单击 图标,选择目标工作组,单击 资产...

新建数据模版

消息中间件作为数据源时,需要通过创建数据模版来解释消息中间件中消息的结构。本文介绍如何新建数据模版。操作步骤 登录企业数据智能平台。在页面左上角,单击 图标,选择 协同。在顶部菜单栏,单击 图标,选择目标工作组,单击 资产...

JindoData概述

JindoData是阿里云开源大数据团队自研的数据湖存储加速套件,面向大数据和AI生态,为阿里云和业界主要数据湖存储系统提供全方位访问加速解决方案。JindoData套件基于统一架构和内核实现,主要包括JindoFS存储系统(原JindoFS Block模式)、...

相关的云服务

数据源类云产品 使用DataWorks进行数据集成时,支持将数据从不同数据源间进行离线或实时同步,各类阿里云或自建关系型数据库、非结构化存储、大数据存储、消息队列等产品均支持添加为DataWorks的数据源,添加完成后即可使用DataWorks进行...

概述

背景信息 在大数据生态系统中,Alluxio位于数据驱动框架或应用(例如Apache Spark、Presto、TensorFlow、Apache Flink和Apache Hive等)和各种持久化存储系统(例如HDFS和阿里云OSS)之间,使得上层的计算应用可以通过统一的客户端API和...

产品架构

PolarDB-X 1.0 承担着OLTP在线核心数据库的职责与定位,可与数据集成、数据传输,缓存、大数据生态配合使用。产品架构图 内核架构 PolarDB-X 1.0 由计算层实例与存储层私有定制RDS实例组成,通过挂载多个MySQL进行分库分表水平拆分。如同...

产品架构

阿里云产品 EMR衔接了开源大数据生态和阿里云生态。EMR可以部署在阿里云ECS(Elastic Compute Service)和Kubernetes(简称ACK)上;数据可以存储在阿里云OSS上;通过在EMR上创建Data Science集群可以使用及学习机器学习PAI;EMR集成在...

新功能发布记录

DirectMail:Doman ALIYUN:DirectMail:Ipfilter ALIYUN:KMS:Key ALIYUN:KMS:Secret ALIYUN:MNS:Queue ALIYUN:MNS:Topic ALIYUN:OOS:Parameter ALIYUN:OOS:SecretParameter ALIYUN:OOS:PatchBaseline ALIYUN:RAM:User ALIYUN:RAM:Group ...

生态对接概述

阿里云生态数据库HBase版 基于HBase和Spark的数据处理平台 阿里云实时计算Flink 基于Flink的资讯场景实时数仓 大数据计算服务MaxCompute 接入MaxCompute 数据传输服务DTS 使用DTS同步MySQL 容器服务Kubernetes版 在Knative上实现Kafka...

引擎简介

丰富生态 兼容HBase、Cassandra(CQL)等多种开源标准接口,与Spark、Flink等多种计算引擎互联互通,无缝对接主流数据生态。关于Lindorm宽表引擎的更多内容,请参见 功能特性 和 Lindorm VS HBase VS Cassandra。典型场景 数据场景:海量...

查询概述

云数据库 SelectDB 版 高度兼容MySQL相关生态,支持湖仓一体化,并确保了上游与下游数据生态系统的无缝整合。本文介绍SelectDB在查询方面的能力概述。基础能力 云数据库 SelectDB 版 支持标准SQL语法,在SQL方言方面向MySQL兼容。采用MySQL...

Napatech案例

Lindorm支持海量数据的低成本存储、快速批量导入和实时访问,具备高效的增量及全量数据通道,可轻松与各类大数据平台集成,完成数据规模离线分析。基于Lindorm的解决方案,用户在采用到100Gbps+流量产生的大量数据包元数据直接通过...

安全白皮书概述

Dataphin面向各行各业大数据建设、管理及应用诉求,一站式提供从数据接入到数据消费全链路的智能数据建设与资产治理的大数据能力,包括产品、技术和方法论等,可帮助企业一站式构建生产经济、质量可靠、安全稳定、消费便捷的企业级数据资产...

MaxFrame概述

MaxFrame是由阿里云自研的分布式计算框架,提供了一套兼容MaxCompute计算资源及数据接口的Python生态环境。本文为您介绍MaxFrame背景信息、功能介绍及使用场景。背景信息 为满足用户基于MaxCompute进行规模数据处理、分析及数据挖掘的...

技术架构

架构演进理念 当前,分布式领域有3大技术方向:Sharding技术,NewSQL原生分布式技术,云原生DB技术。每种分布式都有其独特的优势和特点。PolarDB-X 1.0 的架构继承了DRDS和X-DB技术的稳定性,结合了PolarDB的云原生技术,融入了NewSQL对于...

引擎简介

与多模引擎共享存储,LindormDFS支撑,充分利用了对象存储的低成本与高可靠、块存储的高性能等优势,并通过高低速分层存储、副本共享去重、智能冷热转存等技术,面向用户提供弹性低成本、100%HDFS协议兼容的云原生大数据存储能力,可使用...

产品概述

利用蚂蚁区块链技术,ODATS制定了标准化的区块链UDAG全栈跨链协议,保证跨链交易的安全性、可扩展性及可靠性,打破区块链数据孤岛,实现同构及异构链之间的可信互通,助力企业之间可信协作,促进产业生态可信融合。跨链服务调用链路 使用跨...

资源类型索引

消息队列RabbitMQ版 ALIYUN:AMQP:Binding:为Exchange绑定目标对象Queue或Exchange ALIYUN:AMQP:Exchange:创建Exchange ALIYUN:AMQP:Instance:创建一个消息队列RabbitMQ实例 ALIYUN:AMQP:Queue:创建Queue ALIYUN:AMQP:VirtualHost:创建...

概述

同一份数据以不同的格式保存,数据所占用的存储空间不同,使用DLA扫描数据时所花费的时间和费用也不同。通常情况下,同一份数据以ORC格式和PARQUET格式存储时,其数据扫描性能要优于普通文本CSV格式。因此,您可以将文本类型的数据转换为...

产品概述

云原生数据仓库 AnalyticDB PostgreSQL 版 是一种规模并行处理(MPP)数据仓库服务,可提供海量数据在线分析服务。云原生数据仓库 AnalyticDB PostgreSQL 版 基于开源项目Greenplum构建,由阿里云深度扩展,兼容ANSI SQL 2003,兼容...

功能概览

1.4 生态融合 系出飞天,与阿里云大数据系统深度整合,无缝对接MaxCompute、实时计算、交互式分析等产品,打通整个大数据体系。2.产品功能 2.1 数据接入 提供多种SDK、API和Flume、Logstash等第三方插件,让您高效便捷的把数据接入到数据...

技术架构选型

数据模型设计之前,您需要首先完成技术架构的选型。本教程中使用阿里云大数据产品MaxCompute配合DataWorks,完成整体的数据建模和研发流程。完整的技术架构图如下图所示。其中,DataWorks的数据集成负责完成数据的采集和基本的ETL。...

技术架构选型

数据模型设计之前,您需要首先完成技术架构的选型。本教程中使用阿里云大数据产品MaxCompute配合DataWorks,完成整体的数据建模和研发流程。完整的技术架构图如下图所示。其中,DataWorks的数据集成负责完成数据的采集和基本的ETL。...

技术架构选型

根据阿里巴巴OneData方法论最佳实践,在设计数据模型前,您需要完成技术架构的选型。本教程中使用阿里云大数据产品Dataphin配合MaxCompute,完成整体的数据建模和研发流程。完整的技术架构如下图所示。其中,Dataphin的数据集成及同步负责...

开源支持

MaxCompute是阿里巴巴自研的一站式的快速、完全托管的TB/PB/EB级数据仓库解决方案。本文将为您介绍MaxCompute相关的开源功能。SDK MaxCompute提供Java SDK和Python SDK接口实现创建、查看、删除MaxCompute表等操作。通过SDK,您可以通过...

migrate-controller

migrate-controller是基于开源项目Velero开发的组件,并与阿里云快照、云备份 产品深度结合,可以为您提供数据及应用模板的备份、恢复及迁移。本文为您介绍migrate-controller组件信息、使用说明及变更记录。组件介绍 关于如何安装migrate-...

版本说明

本文通过介绍C++ SDK的版本信息,包含下载链接、发布时间、更新点等,以便您按需获取相应C++ SDK收发消息。获取了C++ SDK后,您需按照SDK的使用说明来准备相应环境。不同版本的SDK的环境准备步骤有所不同,具体说明如下:针对v2.0.0及以上...

标签传递

X ALIYUN:DRDS:DrdsInstance 云服务器ECS ALIYUN:ECS:AutoSnapshotPolicy ALIYUN:ECS:CopyImage ALIYUN:ECS:CustomImage ALIYUN:ECS:DedicatedHost ALIYUN:ECS:Disk ALIYUN:ECS:Instance ALIYUN:ECS:InstanceClone ALIYUN:ECS:...

访问实例

Lindorm通过访问实例满足大量数据库读取需求,本文介绍如何从Lindorm控制台获取Lindorm消息引擎Kafka访问地址。获取连接地址 登录 Lindorm管理控制台。在页面左上角,选择实例所属的地域。在 实例列表 页,单击目标实例ID或者目标实例所在...

概述

PolarDB PostgreSQL版 分区表的查询优化可以让它相比于同样数据量的普通表性能更加优异,特别是面临超大数据量场景时,合理的使用分区,可以有效地提高查询效率。PolarDB PostgreSQL版 支持分区修剪技术和分区wise-join技术,这两种技术在...

典型使用场景

实时计算-HBase增强版(Lindorm)+Blink/Spark 基于数据的应用,如算法、智能运营、监控大屏等系统。通常需要实时获取业务系统产生的...应用可以将消息队列的消息投递解耦,交由LindormStreams将数据更新按特定的消息格式投递到消息队列中。

生态集成

云原生数据仓库AnalyticDB PostgreSQL版 具备完善和开放的生态系统,支持无缝对接业界以及阿里云生态数据管理工具,BI报表可视化工具,ETL工具,数据迁移工具,同时可以与业界流行的流式处理系统,日志类系统,大数据类系统,传统数仓及...

概述

PolarDB PostgreSQL版(兼容Oracle)分区表的查询优化可以让它相比于同样数据量的普通表性能更加优异,特别是面临超大数据量场景时,合理的使用分区,可以有效地提高查询效率。PolarDB PostgreSQL版(兼容Oracle)支持分区修剪技术和分区...

应用场景

物联网设备无时无刻不在产生海量的设备状态数据和业务消息数据,这些数据有助于进行设备监控、业务分析预测和故障诊断。背景信息 设备将原始数据通过 MQTT 协议发送到物联网平台,经由物联网平台将数据转发到消息服务系统,继而通过流计算...

预估资源价格

DBInstance ALIYUN:GPDB:ElasticDBInstance API网关API Gateway ALIYUN:ApiGateway:Instance 数据传输服务DTS ALIYUN:DTS:SubscriptionInstance ALIYUN:DTS:SynchronizationJob ALIYUN:DTS:MigrationJob 消息队列Kafka版 ALIYUN:KAFKA:...

应用场景

通过结合其他云产品,云数据库RDS可以适用于更多典型的应用场景。自建库搭配RDS实现异地容灾 RDS搭配异构数据库实现数据多样化存储 RDS结合开放搜索服务实现复杂搜索 开启读写分离扩展RDS处理能力 RDS搭配大数据计算服务实现规模数据计算

产品优势

数据安全中心DSC(Data Security Center)可扫描和识别海量数据,帮您实时获取数据的安全状态。本文介绍 数据安全中心 的产品优势。合规性 使用数据安全中心产品,可以帮助企业满足等保2.0对“云计算环境下安全审计”及“个人信息保护”的...

创建Aliyun HBase数据

本文为您介绍如何创建Aliyun HBase数据源。背景信息 Aliyun HBase即阿里云的云数据库HBase。如果您使用的是云数据库HBase,在对接Dataphin进行数据开发时,您需要先完成Aliyun HBase数据源的创建。更多信息,请参见 什么是云数据库HBase。...
共有200条 < 1 2 3 4 ... 200 >
跳转至: GO
产品推荐
云服务器 安全管家服务 安全中心
这些文档可能帮助您
云数据库 RDS 云数据库 Redis 版 云消息队列 Kafka 版 数据库备份 弹性公网IP 短信服务
新人特惠 爆款特惠 最新活动 免费试用