应用场景

实时数据通道 1.1 接入多种异构数据并投递到下游多种大数据系统 通过数据总线,您可以实时接入APP、WEB、IoT和数据库等产生的异构数据,统一管理,并投递到下游的分析、归档等系统,构建清晰的数据流,让您更好的释放数据的价值。...

IoT数据自动化同步至云端解决方案

大数据分析是大数据完成数据价值化的重要手段之一,而进行大数据分析的第一步是让数据成功上云。解决方案 IoT数据自动化同步至云端解决方案主要包括存储原始数据和同步数据至分析系统两部分。IoT设备大量的数据通常以半结构化的形式存储。...

ECS实例说明

大数据型 使用本地SATA盘作存储数据,存储性价比高,是大数据量(TB级别的数据量)场景下的推荐机型。说明 Hadoop、Data Science、Dataflow和Druid类型的集群支持Core节点;Zookeeper和Kafka类型的集群不支持Core节点。本地SSD型 使用本地...

数据迁移与同步FAQ

DTS的数据迁移与数据同步工作原理是什么?DTS的数据迁移与数据同步有什么区别?使用DTS遇到预检查报错,如何解决?什么是数据迁移、数据同步?数据迁移:将Redis数据库中的数据(即键值对)迁移至另一个Redis数据库中。通常迁移完成后即可...

产品概述

什么是E-MapReduce 开源大数据开发平台E-MapReduce(简称EMR),是运行在阿里云平台上的一种大数据处理的系统解决方案。EMR基于开源的Apache Hadoop和Apache Spark,让您可以方便地使用Hadoop和Spark生态系统中的其他周边系统分析和处理...

基于MaxCompute进行大数据BI分析

背景信息 MaxCompute:用于进行规模数据计算,详情请参见 什么是MaxCompute。RDS MySQL:用于进行海量数据实时高并发在线分析,详情请参见 云原生数据仓库AnalyticDB MySQL版。DataWorks:可实现ETL功能,对复杂数据集进行采集、加工及...

文档修订记录

Check节点 2024.1.12 新增功能 最佳实践 新增DataWorks大数据安全治理实践新增指南,为您介绍数据安全治理的常见思路、DataWorks产品的安全能力,以及在DataWorks上基于“基础防护建设”、“数据安全防护措施”、“数据安全持续运营”三个...

实时同步常见问题

写端延迟 目标数据库性能、负载等问题 当数据库负载较高时,单一的调整同步任务并发并不能解决问题,您需要联系数据库管理员寻求相关帮助。读写端延迟 使用公网同步,网络问题导致同步任务延迟。公网同步无法保障实时同步时效性,建议...

JindoData概述

JindoData是阿里云开源大数据团队自研的数据湖存储加速套件,面向大数据和AI生态,为阿里云和业界主要数据湖存储系统提供全方位访问加速解决方案。JindoData套件基于统一架构和内核实现,主要包括JindoFS存储系统(原JindoFS Block模式)、...

亿海蓝-航运大数据的可视化案例

——亿海蓝CTO 客户简介 亿海蓝是中国的航运大数据公司,做为中国最大的AIS数据服务运营商,发展目标是通过大数据技术推动全球航运物流与互联网的融合,加速航运产业转型升级。亿海蓝目前已为全球上百万行业用户提供数据服务,客户涵盖港口...

Delta Lake概述

Delta Lake以数据为中心,围绕数据流走向(数据从流入数据湖、数据组织管理和数据查询到流出数据湖)推出了一系列功能特性,协助您搭配第三方上下游工具,搭建快捷、易用和安全的数据湖。背景信息 通常的数据湖方案是选取大数据存储引擎...

什么数据传输服务DTS

数据传输服务DTS(Data Transmission Service)是阿里云提供的实时数据流服务,支持关系型数据库(RDBMS)、非关系型的数据库(NoSQL)、数据多维分析(OLAP)等数据源间的数据交互,集数据同步、迁移、订阅、集成、加工于一体,助您构建...

透明数据加密概述

什么是透明数据加密 透明数据加密指对数据文件执行实时I/O加密和解密。通过在数据库层执行静态数据加密,阻止可能的攻击者绕过数据库直接从存储中读取敏感信息。经过数据库身份验证的应用和用户可以继续透明地访问应用数据(不需要更改应用...

创建MongoDB数据

更多阿里云MongoDB信息,请参见 云数据库MongoDB-什么是云数据库MongoDB版。使用限制 Dataphin仅支持超级管理员、数据源管理员、板块架构师、项目管理员角色创建数据源。超级管理员、数据源管理员角色添加与配置请参见 添加Dataphin成员。...

SmartData常见问题

JindoFS是阿里云开源大数据E-MapReduce产品提供的一套Hadoop文件系统,主要对Hadoop和Spark大数据生态系统使用阿里云OSS提供多层次的封装支持和优化。基础功能提供适配OSS和支持访问,您可以直接使用JindoFS SDK;标准功能针对OSS提供分布...

创建Aliyun HBase数据

更多信息,请参见 什么是云数据库HBase。前提条件 若您需在Dataphin中创建基于阿里云产品的数据源,创建数据源前,需确保Dataphin的IP已添加至数据库白名单(或安全组)中,使数据源与Dataphin网络互通。具体操作,请参见 附录:数据源白...

创建ClickHouse数据

阿里云数据库ClickHouse的更多信息,请参见 什么是云数据库ClickHouse。前提条件 若您需在Dataphin中创建基于阿里云产品的数据源,创建数据源前,需确保Dataphin的IP已添加至数据库白名单(或安全组)中,使数据源与Dataphin网络互通。具体...

数据源权限管理

本文为您汇总数据源权限管理相关的问题。哪些角色可以管理数据源的权限?是否支持再次分享已被分享的数据源?数据源的创建者是否有权控制该数据源?什么是私有模式的数据源?哪些用户能够收回数据源的分享权限?如何检查数据源分享关系的...

产品概述

什么是全密态数据库 全密态数据库是数据库与存储实验室与阿里云数据库团队合作的自研产品,以技术为基石,最小化人员、平台管理等不可控因素造成的潜在数据安全隐患,可以有效杜绝云数据库服务(或应用服务等数据拥有者以外的任何人)接触...

产品概述

什么是全密态数据库 全密态数据库是 达摩院数据库与存储实验室 与阿里云数据库团队合作的自研产品,以技术为基石,最小化人员、平台管理等不可控因素造成的潜在数据安全隐患,可以有效杜绝云数据库服务(或应用服务等数据拥有者以外的任何...

功能概述

从安全视角来看,云数据库能防护安全威胁,其安全性由弱到强可分为以下几个阶梯(阶梯越高,安全性越强):常规云数据库服务:基于云安全服务,能够 拦截绝部分外部攻击,但仍然需要信任数据库实例内的操作系统、数据软件、IaaS运维...

数据服务入门

步骤一:创建数据源并配置网络连通性 使用数据服务创建API前,您需将数据库或数据仓库添加为DataWorks的数据源,并保障数据服务资源组与您的目标数据源网络连通,以便调用API时DataWorks可成功访问数据源。说明 DataWorks工作空间将集群或...

RDS术语

M MaxCompute 大数据计算服务MaxCompute(原名ODPS)是一种快速、完全托管的TB/PB级数据仓库解决方案,提供了完善的数据导入方案以及多种经典的分布式计算模型,能够快速地解决海量数据计算问题。通过数据集成服务,可将RDS数据导入...

RDS术语

A AliPG 阿里云支持一系列兼容PostgreSQL的云数据库服务产品,这些云数据库服务采用统一的数据库内核(简称AliPG),AliPG兼容PostgreSQL开源数据库,于2015年正式商用,支持PostgreSQL主流版本,已稳定运行多年,支撑了大量阿里巴巴集团...

从RDS MySQL迁移至自建Kafka

Kafka是应用较为广泛的分布式、高吞吐量、高可扩展性消息队列服务,普遍用于日志收集、监控数据聚合、流式数据处理、在线和离线分析等大数据领域,是大数据生态中不可或缺的产品之一。通过数据传输服务DTS(Data Transmission Service),...

基本概念

DTS 数据传输服务(Data Transmission Service,简称DTS)支持关系型数据库(RDBMS)、非关系型数据库(NoSQL)、数据多维分析(OLAP)等数据源间的数据交互,集数据同步、迁移、订阅、集成、加工于一体,帮助您构建安全、可扩展、高可用的...

创建GreenPlum数据

通过创建GreenPlum数据源能够实现Dataphin读取GreenPlum的业务数据或向GreenPlum写入数据。本文为您介绍如何创建GreenPlum数据源。背景信息 Greenplum是一款大数据分析引擎,作用于分析、机器学习和AI等领域。其架构主要针对管理规模分析...

RDS术语

M MaxCompute 大数据计算服务MaxCompute(原名ODPS)是一种快速、完全托管的TB/PB级数据仓库解决方案,提供了完善的数据导入方案以及多种经典的分布式计算模型,能够快速地解决海量数据计算问题。通过数据集成服务,可将RDS数据导入...

创建GreenPlum数据

通过创建GreenPlum数据源能够实现Dataphin读取GreenPlum的业务数据或向GreenPlum写入数据。本文为您介绍如何创建GreenPlum数据源。背景信息 Greenplum是一款大数据分析引擎,作用于分析、机器学习和AI等领域。其架构主要针对管理规模分析...

RDS术语

M MaxCompute 大数据计算服务MaxCompute(原名ODPS)是一种快速、完全托管的TB/PB级数据仓库解决方案,提供了完善的数据导入方案以及多种经典的分布式计算模型,能够快速地解决海量数据计算问题。通过数据集成服务,可将RDS数据导入...

整体架构

云原生数据仓库AnalyticDB MySQL版 是阿里巴巴自主研发、经过超大规模以及核心业务验证的PB级实时数据仓库。概述 自2012年第一次在集团发布上线以来,AnalyticDB MySQL版 至今已累计迭代发布近百个版本,支撑起集团内的电商、广告、物流、...

RDS术语

AliPG 阿里云支持一系列兼容PostgreSQL的云数据库服务产品,这些云数据库服务采用统一的数据库内核(简称AliPG),AliPG兼容PostgreSQL开源数据库,于2015年正式商用,支持PostgreSQL主流版本,已稳定运行多年,支撑了大量阿里巴巴集团...

基于Delta lake的一站式数据湖构建与分析实战

数据湖作为一个集中化的数据存储仓库,支持的数据类型具有多样性,包括结构化、半结构化以及非结构化的数据数据来源上包含数据数据、binglog 增量数据、日志数据以及已有数仓上的存量数据等。数据湖能够将这些不同来源、不同格式的数据...

将云消息队列 Kafka 版的数据迁移至MaxCompute

本文介绍如何使用DataWorks数据同步功能,将 云消息队列 Kafka 版 集群上的数据迁移至阿里云大数据计算服务MaxCompute,方便您对离线数据进行分析加工。前提条件 在开始本教程前,确保您在同一地域中已完成以下操作:云消息队列 Kafka 版 ...

行业趋势与背景

行业趋势 数据库系统至关重要 数据库与操作系统、中间件并称为系统软件的三驾马车,是企业IT系统不可或缺的组件,也是互联网应用级企业信息管理系统存储数据和管理数据的核心平台。数据库系统是一切应用软件数据处理及交换核心,是所有...

功能特性

数据迁移 数据迁移功能帮助您实现同构或异构数据源之间的数据迁移,适用于数据上云迁移、阿里云内部跨实例数据迁移、数据库拆分扩容等业务场景 功能集 功能 功能描述 参考文档 同构迁移 逻辑迁移 支持同构数据库间的数据迁移。自建MySQL...

X-Engine简介

造成这种现象的原因是近年来我们所依赖的硬件体系发生了巨大的变化,例如多核(众核)CPU、新的处理器架构(Cache/NUMA)、各种异构计算设备(GPU/FPGA)等,而架构在这些硬件之上的数据软件却没有太的改变,例如使用B-Tree索引的固定...

常见问题

软件配置有什么要求?数据模型和表定义 生产环境下的副本数应该设置为多少?如何分区?如何分桶?如何设计排序键?如何合理的选择数据类型?数据导入常见问题 业务调优 购买常见问题 EMR StarRocks支持哪些地域?常见使用问题 如何选择数据...

DataWorks数据服务对接DataV最佳实践

当今社会数据收集的方式不断丰富,行业数据大量积累,导致数据规模已增长到传统软件行业无法承载的海量级别。MaxCompute服务于批量结构化数据的存储和计算,已经连续多年稳定支撑阿里巴巴全部的离线分析业务。过去,如果您想要通过DataV...

产品简介

大数据专家服务 大数据专家服务(Bigdata Expert Service)是由阿里云大数据专家基于阿里云多年大数据架构、应用、运维、AI算法建模等最佳实践经验及方法论为用户提供全方位的大数据产品技术、咨询服务及售后专家服务运维保障,帮助用户...
共有200条 < 1 2 3 4 ... 200 >
跳转至: GO
产品推荐
云服务器 安全管家服务 安全中心
这些文档可能帮助您
数据库备份 云数据库 RDS 数据传输服务 云数据库 Redis 版 弹性公网IP 短信服务
新人特惠 爆款特惠 最新活动 免费试用