自建Hadoop迁移MaxCompute
自建Hadoop迁移MaxCompute
场景描述 客户基于ECS、IDC自建或在友商云平台自建了大数 据集群,为了降低企业大数据计算平台的成本,提高 大数据应用开发效率,更有效保障数据安全,把大数 据集群的数据、作业、调度任务以及业务数据库整体 迁移到MaxCompute和其他云产品。 解决的问题 自建Hadoop集群搬迁到MaxCompute 自建Hbase集群搬迁到云Hbase 自建Kafka或应用数据准实时同步到 MaxCompute 自建Azkaban任务迁移到Dataworks任务 产品列表 MaxCompute,Dataworks、云数据库Hbase版、Datahub、VPC,ECS。
VPN网关 VPN网关是一款基于 Internet的网络连接服务,通过加密通道的方式实现企业 中心、企业办公网络或 Internet终端与阿里云专有网络(VPC)安全可靠的连 。VPN 网关提供 IPSec-VPN 连接和 SSL-VPN 连接。详情请查看 https://www.aliyun.com/product/vpn IPSec VPN 基于路由的 IPSec-VPN,不仅可以更方便的配置和...
来自: 最佳实践 相关产品:云服务器ECS,DataWorks,大数据计算服务 MaxCompute,云数据库 HBase 版,数据总线,云速搭
基于Flink+ClickHouse构建实时游戏数据分析
基于Flink+ClickHouse构建实时游戏数据分析
在互联网、游戏行业中,常常需要对用户行为日志进行分析,通过数据挖掘,来更好地支持业务运营,比如用户轨迹,热力图,登录行为分析,实时业务大屏等。当业务数据量达到千亿规模时,常常导致分析不实时,平均响应时间长达10分钟,影响业务的正常运营和发展。 本实践介绍如何快速收集海量用户行为数据,实现秒级响应的实时用户行为分析,并通过实时流计算Flink/Blink、云数据库ClickHouse等技术进行深入挖掘和分析,得到用户特征和画像,实现个性化系统推荐服务。 通过云数据库ClickHouse替换原有Presto数仓,对比开源Presto性能提升20倍。 利用云数据库ClickHouse极致分析性能,千亿级数据分析从10分钟缩短到30秒。 云数据库ClickHouse批量写入效率高,支持业务高峰每小时230亿的用户数据写入。 云数据库ClickHouse开箱即用,免运维,全球多Region部署,快速支持新游戏开服。 Flink+ClickHouse+QuickBI
关键技术选型 1.1.ClickHouse vs Presto 面对海量的数据,我们如何进行数据库的选项,这里对比了开源的两种常见分析性 据库。ClickHouse对数据采用有序存储的方式,其核心思想是充分利用了磁盘批量顺序读写 的性能要远远高于随机读写的特征,并且结合 LSM tree的设计进一步进行优化,使得 写性能达到最优(可达到 200MB/S...
来自: 最佳实践 | 相关产品:云服务器ECS,弹性公网IP,实时计算,Quick BI,消息队列 Kafka 版,云数据库 ClickHouse
利用交互式分析(Hologres)进行数据查询
利用交互式分析(Hologres)进行数据查询
场景描述 随着收集数据的方式不断丰富,企业信息化 程度越来越高,企业掌握的数据量呈TB、 PB或EB级别增长。同时,数据中台的快 速推进,使数据应用主要为数据支撑、用户 画像、实时圈人及广告精准投放等核心业务 服务。高可靠和低延时地数据服务成为企业 数字化转型的关键。 Hologres致力于低成本和高性能地大规模 计算型存储和强大的查询能力,为您提供海 量数据的实时数据仓库解决方案和实时交 互式查询服务。 解决问题 1.加速查询MaxCompute数据 2.快速搭建实时数据仓库 3.无缝对接主流BI工具 产品列表 MaxCompute Hologres 实时计算Flink 专有网络VPC DataWorks DataV
通 过 下 图 所 示 方 式 登 录,或 者 访 问 直 接 登 录 均 可。(https://bpstudio.console.aliyun.com)步骤2 在 CADT主页面,单击新建>官方模板新建 文档版本:20220330 7 利用交互式分析工具进行数据查询 解决方案系统搭建 步骤3 在搜索框中,输入“交互式分析数据查询”,通过关键字找到该模板,选中后,...
来自: 最佳实践 | 相关产品:大数据计算服务 MaxCompute,DataV数据可视化,实时计算,Hologres,云速搭CADT
媒体处理MPS
阿里云媒体处理(ApsaraVideo for Media Processing,原MTS)是一种多媒体数据处理服务。它以经济、弹性和高可扩展的转换方法,将多媒体数据转码成适合在全平台播放的格式。并基于海量数据深度学习,对媒体的内容、文字、语音、场景多模态分析,实现智能审核、内容理解、智能编辑。
高可靠的云存储服务和灵活定制的防盗链接鉴权功能双重保障资源安全.视频版权保护.支持在输出的视频上覆盖最多四个静态PNG格式图像.品牌logo宣传.支持指定开始时间点,截取指定时长的媒体剪辑。支持多段音视频拼接为单个文件.对象存储OSS.云服务器ECS.云数据库RDS.负载均衡SLB.推荐搭配使用.快速搭建您专属的教学平台....
来自: 云产品
自建数据库迁移到云数据库-自定义模板
本方案介绍如何将网站的自建数据库迁移至云数据库 RDS,解决您随着业务增长可能会面临的数据库运维难题。数据库采用高可用架构,支持跨可用区容灾,给业务带来数据安全、可用性、性能和成本方面收益。方案提供了快速体验教程,模拟了数据库迁移所需的工作,帮助您快速上手。
产品解决方案文档与社区权益中心定价云市场合作伙伴支持与服务了解阿里云备案控制台方案导读背景RDS 解决的问题如何迁移到 RDS迁移前后对比优惠购买本方案介绍如何将网站的自建数据库迁移至云数据库 RDS,解决您随着业务增长可能会面临的数据库运维难题。数据库采用高可用架构,支持跨可用区容灾,给业务带来数据安全、可用...
来自: 解决方案
基于函数计算FC实现阿里云Kafka消息内容控制MongoDB DML操作
基于函数计算FC实现阿里云Kafka消息内容控制MongoDB DML操作
在大数据ETL场景,将Kafka中的消息流转到其他下游服务是很常见的场景,除了常规的消息流转外,很多场景还需要基于消息体内容做判断,然后决定下游服务做何种操作。 该方案实现了通过Kafka中消息Key的内容来判断应该对MongoDB做增、删、改的哪种DML操作。 当Kafka收到消息后,会自动触发函数计算中的函数,接收到消息,对消息内容做判断,然后再操作MongoDB。用户可以对提供的默认函数代码做修改,来满足更复杂的逻辑。 整体方案通过CADT可以一键拉起依赖的产品,并完成了大多数的配置,用户只需要到函数计算和MongoDB控制台做少量配置即可。
记录 MongoDB连接地址 步骤1 进入数据库链接页面,可以看到 ConnectionStringURI 连接地址,推荐使用该高可用连 地址,后续在函数计算 FC 中会使用到该连接地址。24 文档版本:20240304 基于函数计算 FC 实现阿里云 Kafka 消息内容控制 MongoDB DML 操作 场景验证 创建 和集合 2.3.MongoDB 步骤1 点击页面右上角登录...
来自: 最佳实践 | 相关产品:函数计算,消息队列 Kafka 版,云数据库 MongoDB版
数据库 RDS MySQL 版
阿里云云数据库RDS MySQL是一种稳定可靠、可弹性伸缩的在线MySQL数据库服务, 提供了高可用、高可靠、高安全、易运维等一站式的数据库解决方案,帮助您免除MySQL运维的烦恼。
产品解决方案文档与社区权益中心定价云市场合作伙伴支持与服务了解阿里云备案控制台云数据库 RDS MySQL 版产品简介产品优势产品功能产品选型入门与试用技术解决方案产品定价安全合规客户案例常见问题社区云数据库 RDS MySQL 版稳定可靠、可弹性伸缩的在线 MySQL 数据库服务,帮助您免除 MySQL 运维的烦恼。立即购买免费试用...
来自: 云产品
数据库 SelectDB 版
云数据库 SelectDB 版是新一代云原生数据仓库 SelectDB 在阿里云上的全托管服务,聚焦于满足企业级大数据分析需求,Apache Doris 2.0 进一步增强数据导入能力,为客户提供极致性能、简单易用的数据分析服务。
产品解决方案文档与社区权益中心定价云市场合作伙伴支持与服务了解阿里云备案控制台云数据库 SelectDB 版产品简介产品优势产品功能产品选型入门与试用技术解决方案产品定价安全合规常见问题社区云数据库 SelectDB 版基于 Apache Doris 的云原生实时数据仓库,致力于为客户提供极致性能、简单易用的数据分析服务。...
来自: 云产品
数据库自动扩缩容和自动SQL优化
方案使用数据库自治服务DAS实现RDS MySQL数据库的自动扩缩容和自动SQL优化,将基于人工的手动式运维转变为基于智能的主动式持续优化,具有数据库运维成本低,服务稳定性高的优势。
产品解决方案文档与社区权益中心定价云市场合作伙伴支持与服务了解阿里云备案控制台方案使用数据库自治服务DAS实现RDS MySQL数据库的自动扩缩容和自动SQL优化,将基于人工的手动式运维转变为基于智能的主动式持续优化,具有数据库运维成本低,服务稳定性高的优势。方案预估:体验本方案预计费用不超过3元(假设您选择最低...
来自: 解决方案
数据库和应用迁移 ADAM
数据库和应用迁移 Advanced Database & Application Migration(以下简称 ADAM)是一款把数据库和应用迁移到阿里云(公共云或专有云)的产品,支持 Oracle、Teradata、Db2 的异构迁移上云。ADAM 全面评估上云可行性、成本和云存储选型,内置实施协助、数据迁移、应用迁移等工具,确保可靠、快速、低成本上云。
数据库和应用迁移 Advanced Database&Application Migration(以下简称 ADAM)是一款把数据库和应用迁移到阿里云(公共云或专有云)的产品,支持 Oracle、Teradata、Db2 的异构迁移上云。ADAM 全面评估上云可行性、成本和云存储选型,内置实施协助、数据迁移、应用迁移等工具,确保可靠、快速、低成本上云.数据库和应用迁移...
来自: 云产品
云速搭部署数据库审计
云速搭部署<em>数据库</em>审计
本实践通过云速搭实现数据库审计的部署。
文档版本:20211111 16 云速搭部署数据库审计 CADT部署数据库审计应用架构 步骤11 等待数据库审计启动后,参照如下链接使用数据库审计。https://bp.aliyun.com/detail/39中第 11章《开通并配置数据库审计》中的内容。文档版本:20211111 17 云速搭部署数据库审计 产品支持 3.产品支持 产品详情:...
来自: 最佳实践 | 相关产品:专有网络 VPC,云数据库RDS MySQL 版,数据库审计,云速搭CADT
数据库RDS PostgreSQL
云数据库RDS PostgreSQL 版完全兼容开源PostgreSQL,基于云原生架构,软硬协同优化,提供稳定可靠、高性价比的数据库服务。通过丰富的插件拓展,支撑各领域场景化业务,如自研Ganos多维多模时空引擎及开源PostGIS地理信息引擎、向量引擎、时序引擎等百余款插件。
数据在用户侧加密后传入云数据库数据库中存储的、网络中传输的、内存中缓存的的都是加密后的数据,数据拥有者以外的任何人无法接触到用户的明文数据,端到端全链路避免数据泄漏的发生.OSS云存储扩展.通过外部表的方式将OSS云存储中的CSV格式化文件当成本地数据表进行使用,支持与本地数据表进行JOIN、数据读写,借助OSS...
来自: 云产品
混合云数据库统一管理
混合云<em>数据库</em>统一管理
本最佳实践描述在混合云场景下,用户利用数据库网关将IDC自建数据库和云上RDS实例统一管理。通过DMS管理云上RDS实例和IDC自建数据库,并通过DTS实现IDC数据库和云上RDS的数据同步, DBS将数据备份到云上
其中杭州部署 MySQL数据库数据库网关,上海部署 PgSQL 据库。注意:上述模板中“自建 MySQL”和“自建 PgSQL”已经和公网 IP绑定,在部署完 数据库软件后,可以解绑公网 IP。模拟仅有内网 IP的数据库服务器。步骤3 部署所有资源。单击部署资源,单击下一步,直到完成资源部署。文档版本:20201224(发布日期)8 混合云...
来自: 最佳实践 | 相关产品:数据传输,数据管理
Oracle数据库与应用迁移PolarDB
Oracle<em>数据库</em>与应用迁移PolarDB
场景描述 本最佳实践适用于Oracle数据库及应用迁 移到阿里云PolarDB数据库(Oracle兼容 版)。通过ADAM将Oracle数据库迁移到 PolarDB数据库,可以降低应用升级、运 维成本,同时提升系统弹性,实现数据库 及应用全栈上云。 解决问题 1.解决Oracle及其应用迁移上阿里云, 通过ADAM评估迁移工具,降低迁移 风险,提高迁移效率。 2.使用PolarDB(Oracle兼容版)数据 库,提升数据库并发读能力,降低运维 成本。 产品列表 数据库和应用迁移(ADAM) PolarDB(Oracle兼容版) 云服务器(ECS) 专有网络(VPC)
方案优势 将 Oracle数据库迁移到阿里云 PolarDB数据库降低运维成本,方便扩展,满足 文档版本:20220210 1 Oracle数据库与应用迁移 PolarDB 最佳实践概述 据库弹性需求。迁移过程中采用 ADAM评估分析工具,在迁移前就对数据和应用改造的工作量和 风险完全掌握,便于决策并有效降低实施风险。迁移过程中通过专业工具,自动...
来自: 最佳实践 | 相关产品:专有网络 VPC,云服务器ECS,云数据库PolarDB,数据库和应用迁移 ADAM,云速搭
数据库异地灾备
<em>数据库</em>异地灾备
场景描述 适用于不满足于单地域,对数据可靠性 (RPO)和服务可用性(RTO)要求更高 的,希望防范断电、断网等机房故障,抵 御地震、台风等自然灾害,具备异地容灾 备份恢复能力的客户业务场景。 解决问题 1.实时备份,RPO达到秒级 2.表级恢复,故障恢复时间大大缩短 3.长期归档,自动管理备份生命周期 4.异地灾备,构建数据库灾备中心 产品列表 专有网络VPC 云服务器ECS 弹性公网IP(EIP) 负载均衡SLB 云数据库RDSMySQL 数据库备份服务DBS 对象存储服务OSS 数据湖分析服务DLA 数据管理服务DMS 数据传输服务DTS
步骤7 完成数据库恢复配置之后,预检查将会检查所有前面的配置选项、数据库连通性、 据库权限等内容。预检查完成后,单击立即启动。步骤8 在恢复任务列表,可以看到该恢复任务状态从初始化中,运行中,变到完成,单击管 理,可查看恢复任务详情。文档版本:20220207 84 数据库异地灾备 容灾演练 步骤9 恢复完成后,点击 ...
来自: 最佳实践 | 相关产品:云数据库RDS MySQL 版,对象存储 OSS,数据管理,数据湖分析,数据库备份DBS,云速搭CADT
弹性裸金属自建ORACLE数据库双机
弹性裸金属自建ORACLE<em>数据库</em>双机
场景描述 1.客户业务系统选型ORACLE数据库且不愿做 业务改造:由于历史原因,客户业务系统只支持 ORACLE数据库,客户没有技术/时间去做技术栈 改造。 2.高性能:希望拥有比虚拟机更高的性能和稳定 性,以保障数据库高性能,支撑高并发的业务系 统。 3.高可用:追求数据库服务的高可用,在某一台数 据库服务器宕机时快速切换备机,实现对业务应 用的最小影响。 4.数据安全性:极端情况下能找回数据,数据备份 和恢复更方便。
验证文档内容 文档版本:20220207 I 弹性裸金属自建 ORACLE数据库双机 前言 前言 概述 本实践演示基于弹性裸金属的云上 ORACLE双机搭建最佳实践,通过 DG实现两个 可用区实例数据同步,配合 TAF技术,在主库宕机时将应用连接切换到备库,保障 据库高可用性。应用范围 第三方云平台或线下 IDC需要使用阿里云日志服务生态。...
来自: 最佳实践 | 相关产品:块存储,云服务器ECS,弹性公网IP,弹性裸金属服务器(神龙),云速搭
云原生数据库PolarDB MySQL版
PolarDB MySQL版是自研的云原生关系型数据库,100%兼容MySQL。多主多写、多活容灾、HTAP、交易和分析性能最高分别是开源数据库的6倍和400倍,TCO低于自建数据库50%。
通过PolarDB多主集群、HTAP和透明冷热数据分层的方案,升级了SaaS数据库架构,解决了易仓跨境SaaS遇到的单实例海量表维护困难,租户资源调配和利用低效,数据量大存储成本高,数据库实例多数据集成成本高,店铺和商品多维统计分析性能差等一系列数据库痛点。不仅大幅提升数据库资源调配效率和利用率,而且实现了持续降本...
来自: 云产品
数据库 RDS MariaDB 版
云数据库 MariaDB 版是全球流行的开源数据库,支持包括 MySQL InnoDB 等多种存储引擎,为不同需求的用户提供灵活的选择。
查看数据库全部产品.云数据库 RDS MariaDB 版是全球流行的开源数据库,支持包括 MySQL InnoDB 等多种存储引擎,为不同需求的用户提供灵活的选择.RDS学习路径.云数据库 RDS MariaDB 版.查看MariaDB相关文档.了解Open API和SDK使用.快速使用MariaDB产品.MariaDB相关技术交流.数据强一致性保证,满足金融级可靠性要求。能搭建...
来自: 云产品
< 1 2 3 4 ... 6 >
共有6页 跳转至: GO
产品推荐
云服务器 安全管家服务 安全中心
这些文档可能帮助您
云数据库 RDS 云数据库 MongoDB 版 云数据库 Redis 版 数据库备份 DBS 弹性公网IP 短信服务

新品推荐

切换为移动版

新人特惠 爆款特惠 最新活动 免费试用