从RDS MySQL迁移至自建Kafka

Kafka是应用较为广泛的分布式、高吞吐量、高可扩展性消息队列服务,普遍用于日志收集、监控数据聚合、流式数据处理、在线和离线分析等大数据领域,是大数据生态中不可或缺的产品之一。通过数据传输服务DTS(Data Transmission Service),...

数据集成概述

背景信息 面对各行各业对大数据的应用,数据集成会有很多的诉求,包括能够简单高效的配置大量数据表的同步任务、能够集成多种异构数据源、能够实现对数据源的数据进行轻度预处理、能够实现数据同步任务的调优(例如容错,限速,并发)等。...

整体架构

云原生数据仓库AnalyticDB MySQL版 是阿里巴巴自主研发、经过超大规模以及核心业务验证的PB级实时数据仓库。概述 自2012年第一次在集团发布上线以来,AnalyticDB MySQL版 至今已累计迭代发布近百个版本,支撑起集团内的电商、广告、物流、...

基于Delta lake的一站式数据湖构建与分析实战

数据湖作为一个集中化的数据存储仓库,支持的数据类型具有多样性,包括结构化、半结构化以及非结构化的数据数据来源上包含数据数据、binglog 增量数据、日志数据以及已有数仓上的存量数据等。数据湖能够将这些不同来源、不同格式的数据...

将云消息队列 Kafka 版的数据迁移至MaxCompute

本文介绍如何使用DataWorks数据同步功能,将 云消息队列 Kafka 版 集群上的数据迁移至阿里云大数据计算服务MaxCompute,方便您对离线数据进行分析加工。前提条件 在开始本教程前,确保您在同一地域中已完成以下操作:云消息队列 Kafka 版 ...

通过RAM角色授权模式配置数据

本文以OSS数据源为例,为您介绍如何通过RAM角色授权模式配置数据源,提高云上数据的安全性。前提条件 如果您需使用RAM用户登录并完成本文操作流程,请先为RAM用户授予 AliyunDataWorksFullAccess 和 AliyunRAMFullAccess 权限策略,详情请...

数据库导出

当您需要进行数据库备份、导出数据库表进行数据分析等操作,您可使用 数据管理DMS 的数据导出功能,该功能可通过提交工单的方式导出数据库。前提条件 数据库类型如下:MySQL系列:自建MySQL、RDS MySQL、PolarDB MySQL版、AnalyticDB ...

主备方案介绍

数据库HBase存储海量大数据,在业务场景中往往承载着重要数据,为保障数据的高可用性和安全性,云数据库HBase提供了主备双活和主备容灾特性。本文介绍云数据库HBase的主备双活和主备容灾特性功能。使用场景 主备双活:大数据量随机读响应...

ETL工作流快速体验

GitHub十大热门编程语言 DataWorks MaxCompute 函数计算 OSS 数据集成 数据开发 基础版 基于GitHub Archive公开数据集,通过DataWorks 数据集成 模块获取过去1小时GitHub中提交次数最多的代码语言数据,在DataStudio 数据开发 模块通过函数...

快速入门

作为学院派关系型数据库管理系统的鼻祖,它的优点主要集中在对SQL规范的完整实现以及丰富多样的数据类型支持,包括JSON数据、IP数据和几何数据等,而部分商业数据库都不支持这些数据类型。除了完美支持事务、子查询、多版本控制(MVCC)...

阶段一:基础防护建设

在该阶段,DataWorks为您提供了数据分类分级、规范数据开发流程、企业级身份认证、开源身份隔离等多个场景的最佳实践,帮助企业做好数据安全治理的相关基础防护工作。场景一:数据分级分类 无论在任何行业,数据分级分类都是监管首要检查的...

创建Hudi数据

背景信息 Hudi即Apache Hudi,Hudi是一个通用的大数据存储系统,将核心仓库和数据库功能直接引入到数据库中,并支持记录级别的插入更新和删除数据的能力。更多信息,请参见 Apache Hudi官网。权限说明 仅支持 超级管理员、数据源管理员、...

DataWorks On EMR使用说明

数据地图概述 安全中心 数据保护伞 审批中心 安全中心是集数据资产分级分类、敏感数据识别、数据授权管理、敏感数据脱敏、敏感数据访问审计、风险识别与响应于一体的一站式数据安全治理界面,帮助用户落地数据安全治理事项。安全中心概述 ...

创建Impala数据

通过创建Impala数据源能够实现Dataphin读取Impala的业务数据或向Impala写入数据。本文为您介绍如何创建Impala数据源。背景信息 Impala是用于处理存储在Hadoop集群中大量数据的SQL查询引擎。如果您使用的是Impala,在导出Dataphin数据至...

JindoFS实战演示

使用Checksum迁移HDFS数据到OSS 使用Checksum迁移HDFS数据到OSS 2021-05-11 通过Checksum算法,你可以在大数据迁移场景中校验数据的完整性、对比数据差异并实现增量迁移。本视频为您介绍如何使用Jindo Distcp迁移HDFS数据到OSS,以及在迁移...

什么是MaxCompute

MaxCompute是适用于数据分析场景的企业级SaaS(Software as a Service)模式云数据仓库,以Serverless架构提供快速、全托管的在线数据仓库服务,消除了传统数据平台在资源扩展性和弹性方面的限制,最小化用户运维投入,使您可以经济并高效...

什么数据资源平台

阿里云数据资源平台是数据资产定义、加工、管理、服务的全流程平台,提供数据同步、数据查询、数据标准、数据建模、数据加工、质量评估、业务模型构建、资产管理、数据服务等功能,为智能数据应用持续稳定供给全量、标准、干净、智能的数据...

Dataphin支持的数据

背景信息 Dataphin支持对接的数据源包括大数据存储型数据源、文件数据源、消息队列数据源、关系型数据源和NoSQL数据源,各模块支持对接的数据源类型说明如下:如果您需要在Dataphin中连接某数据源,则需要先在数据源管理中创建该数据源。...

配置DataHub输出组件

配置DataHub输出组件,可以将外部数据库中读取数据写入到DataHub,或从大数据平台对接的存储系统中将数据复制推送至DataHub,进行数据整合和再加工。本文为您介绍如何配置DataHub输出组件。前提条件 已创建DataHub数据源。具体操作,请参见...

配置跨库Spark SQL节点

任务编排中的跨库Spark SQL节点,主要针对各类跨库数据同步和数据加工场景,您可以通过编写Spark SQL,完成各种复杂的数据同步或数据加工的任务开发。前提条件 支持的数据库类型:MySQL:RDS MySQL、PolarDB MySQL版、MyBase MySQL、...

数据分析概述

DataWorks提供的数据分析平台,可以流畅地进行数据处理、分析、加工及可视化操作。在数据分析板块中,您不仅可以在线洞察数据,还可以编辑和共享数据。本文为您介绍数据分析平台的优势、功能、权限等概要信息。产品优势 与本地数据分析相比...

什么是RDS MySQL

RDS MySQL 阿里云关系型数据库服务RDS(Relational Database Service)支持MySQL引擎,RDS MySQL是基于阿里巴巴MySQL源码分支的在线数据库服务,经过双十一高并发、大数据量的考验,拥有优良的性能。RDS MySQL支持实例管理、账号管理、数据...

限制说明

数据大小 云数据库 Memcache 版支持的单条缓存数据的 Key 最大不超过 1 KB,Value 最大不超过 1 MB,过数据不适合存储。事务支持 云数据库 Memcache 版不支持事务,有事务性要求的数据不适合写入,而应该直接写入数据库。使用场景 当...

外部表概述

MaxCompute支持使用外部表功能查询和分析存储于OSS等外部存储系统的数据。该机制使得用户可以无需将数据导入到MaxCompute内部存储,直接对外部数据进行操作,从而提供了数据处理的灵活性和方便性。背景信息 MaxCompute SQL作为分布式数据...

Quick BI连接MaxCompute

MaxCompute支持您将MaxCompute项目数据接入阿里云Quick BI,对海量数据进行实时在线分析服务,同时支持拖拽式操作和丰富的可视化效果,帮助您轻松自如地完成数据分析、业务数据探查、报表制作等工作。本文为您介绍如何使用Quick BI连接...

数据重排

在MaxCompute的使用过程中,如果已经积累了大量数据占用了大量存储资源,且已经通过削减数据存储生命周期和删除非必要数据等方式进行了治理,在您的存储预算有限,计算资源还有冗余的情况下,可以考虑使用数据重排方式对存储空间进行优化。...

创建Teradata数据

通过创建Teradata数据源能够实现Dataphin读取Teradata的业务数据或向Teradata写入数据。本文为您介绍如何创建Teradata数据源。背景信息 Teradata是一款大型数据仓库系统。如果您使用的是Teradata,在对接Dataphin进行数据开发或导出...

DataWorks On CDP/CDH使用说明

一、数据集成 DataWorks的数据集成模块为您提供读取和写入数据至CDP/CDH Hive、CDP/CDH HBase的能力,您需要将Hive或HBase组件创建为 DataWorks的 Hive或HBase数据源,实现将其他数据源的数据同步至Hive或HBase数据源,或将Hive或HBase数据...

我是安全管理员

解决方案 数据归档概述 数据归档功能支持定时将表的数据归档至其他数据库,同时支持源表数据删除、表空间整理回收等。一键建仓 一键创建实时同步的数据仓库,数据在秒级的延迟下,同步至AnalyticDB MySQL版数据库中。数据库迁移 通过创建...

Iceberg概述

您可以借助Iceberg快速地在HDFS或者阿里云OSS上构建自己的数据湖存储服务,并借助开源大数据生态的Spark、Flink、Hive和Presto等计算引擎来实现数据湖的分析。核心能力 Apache Iceberg设计初衷是为了解决Hive数仓上云的问题,经过多年迭代...

什么是备份数据

本文介绍数据库备份DBS中备份数据量的概念。名词解释 备份数据量,是指通过DBS备份链路的数据量。常见概念 在数据库备份DBS业务场景下,含有常见以下几个概念:数据库磁盘空间、数据文件空间、备份数据量、存储数据量等。概念 说明 数据库...

DataWorks On MaxCompute使用说明

数据地图概述 安全中心 数据保护伞 审批中心 安全中心是集数据资产分级分类、敏感数据识别、数据授权管理、敏感数据脱敏、敏感数据访问审计、风险识别与响应于一体的一站式数据安全治理界面,帮助用户落地数据安全治理事项。安全中心概述 ...

Transaction Table2.0概述

随着当前数据处理业务场景日趋复杂,很多业务场景并不要求延时秒级更新可见或者行级更新,更多的需求是分钟级或者小时级的近实时数据处理叠加海量数据批处理场景,MaxCompute支持基于Transaction Table2.0实现近实时的增全量一体的数据存储...

DataWorks On Hologres使用说明

数据地图概述 安全中心 数据保护伞 审批中心 安全中心是集数据资产分级分类、敏感数据识别、数据授权管理、敏感数据脱敏、敏感数据访问审计、风险识别与响应于一体的一站式数据安全治理界面,帮助用户落地数据安全治理事项。安全中心概述 ...

我是DBA

解决方案 数据归档 数据归档功能支持定时将表的数据归档至其他数据库,同时支持源表数据删除、表空间整理回收等。一键建仓 一键创建实时同步的数据仓库,数据在秒级的延迟下,同步至AnalyticDB MySQL版数据库中。数据库迁移 通过创建工单...

配置MaxCompute输出

大数据计算服务MaxCompute(原名ODPS)为您提供完善的数据导入方案,能够快速解决海量数据的计算问题。前提条件 配置MaxCompute输出节点前,您需要先配置好相应的输入或转换数据源,详情请参见 实时同步能力说明。背景信息 写入数据不支持...

导入概述

为了更好地满足各种不同的业务场景,StarRocks支持多种数据模型,StarRocks中存储的数据需要按照特定的模型进行组织。本文为您介绍数据导入的基本概念、原理、系统配置、不同导入方式的适用场景,以及一些最佳实践案例和常见问题。背景信息...

我是管理员

数据归档 数据归档功能定时将表的数据归档至其他数据库,支持源表数据删除、表空间整理回收等功能。数据库迁移 通过创建工单实现数据库迁移、校验和清理的闭环操作。运维管理 通知管理 可根据您的业务需求,订阅不同功能模块的消息事件,...

查询结果不符合预期的常见原因

Lindorm宽表经常会被应用在大数据链路中,如果写入链路出现问题,则可能导致写入延迟或无法正常写入数据,此时进行数据查询,该行数据还未写入,因此会产生无法查询到数据的情况。如果您在使用中遇到数据写入一段时间后才能查到的情况,...

风险识别管理(新版)

规则名称 规则类型 规则等级 规则配置 非工作时间查询大数据量敏感数据 数据访问风险 低 如下时间段查询数据量大于10000时命中该规则。周一至周五:22:00~24:00。周六至周日:00:00~24:00。相似SQL查询 数据访问风险 低 十分钟内查询相似...
共有200条 < 1 2 3 4 ... 200 >
跳转至: GO
产品推荐
云服务器 安全管家服务 安全中心
这些文档可能帮助您
云原生大数据计算服务 MaxCompute 数据库备份 云数据库 RDS 云服务器 ECS 弹性公网IP 短信服务
新人特惠 爆款特惠 最新活动 免费试用