某手游开发公司在离线一体分析方案
在线用户基数大，日志数据规模大，需要高吞吐低成本的处理平台。GM需要对原始数据进行核对，另外还有一些即时数据分析需求。需要同时支持在线型和离线型业务场景。解决方案 云数据库Lindorm能适应业务的快速变化，支持灵活的Schema，动态列...
互联网金融：上海富友支付服务股份有限公司
运维繁琐且成本高：国内该商业数据库的DBA稀缺，出问题后大多情况下需要原厂介入，处理周期太长，严重影响到业务的使用。解决方案 数据库选型 经过充分的调研和评估，富友决定采用阿里云瑶池数据库旗下的云原生数据库PolarDB承载核心的支付...
应用场景
前端的监控系统和大数据处理系统会利用 TSDB 的数据查询和计算分析能力进行业务监控和分析结果的实时展现。电力化工及工业制造监控分析 传统电力化工以及工业制造行业需要通过实时的监控系统进行设备状态检测，故障发现以及业务趋势分析。...
数据标准
因此，数据处理的前奏就是数据标准化，数据标准作为一个统一的数据共识，在标准化中起到重要作用。数据标准落标说明 数据标准落标的意义在于从源头进行数据的标准化生产，加速数据的融合与统一的效率，节省大量数据应用和处理的成本。完成...
Transaction Table2.0概述
现状分析 当前典型的数据处理业务场景中，对于时效性要求低的大规模数据全量批处理的单一场景，直接使用MaxCompute足以很好的满足业务需求，对于时效性要求很高的秒级实时数据处理或者流处理，则需要使用实时系统或流系统来满足需求。...
新零售：杭州数云信息技术有限公司
所属行业：新零售 网站地址：数云信息技术有限公司 公司介绍 杭州数云信息技术有限公司成立于2011年，伴随着电子商务、大数据应用和零售企业互联网化的趋势快速发展，目前已成为国内领先的数据化营销软件产品和服务提供商。数云致力于为...
RDS与自建数据库对比优势
云数据库RDS提供高可用、高可靠、高安全、可扩展的托管数据库服务，在性能等同于商业数据库的同时，其价格相比ECS自建数据库和自购服务器搭建数据库更加低廉，能够节约大量部署及维护成本。价格对比 费用 云数据库RDS ECS自建数据库 自购...
流式数据通道概述
流式服务在API上极大简化了分布式服务的开发成本，同时解决了批量数据通道在高并发、高QPS（Queries-per-second）场景下的性能瓶颈。本文为您介绍如何使用流式数据通道服务。功能介绍 MaxCompute流式数据通道服务已商业化且不计费，您可以...
什么是云数据库HBase
云数据库HBase是低成本、高扩展、云智能的大数据NoSQL，兼容标准HBase访问协议，提供低成本存储、高扩展吞吐、智能数据处理等核心能力，是为淘宝推荐、花呗风控、广告投放、监控大屏、菜鸟物流轨迹、支付宝账单、手淘消息等众多阿里巴巴...
跨境SaaS:深圳市易仓科技有限公司
PolarDB HTAP能力让用户可以在一套 PolarDB 数据库上同时运行OLTP和OLAP型混合负载，在保证现有PolarDB优异的OLTP性能的同时，大幅提升 PolarDB 在大数据量上运行复杂查询的性能，复杂的查询性能相比行存有百倍以上性能提升。客户价值 价值...
深度解析Lindorm搜索索引（SearchIndex）特性
Lindorm SearchIndex提供了最终一致性和强一致性两种语义，对于访问量大、数据延迟性要求不高的场景采用最终一致性，可以提供非常高的吞吐和可用性，而业务访问延迟敏感的业务可以选择强一致性模型，数据写入成功后，索引立即可查。...
电子合同：深圳法大大网络科技有限公司
考虑过将历史数据统一抽取到大数据平台，但改造成本高，耗时长。解决方案 PolarDB 依靠计算与存储分离、分布式存储架构，能够很好地支撑大数据量的存储和高效查询。法大大通过数据传输服务DTS（Data Transmission Service）将存储在MySQL...
整体架构
湖仓版（3.0）架构如下：数据源 数据管道APS可以一键低成本接入数据库、日志、大数据中的数据。存储层+计算层 支持自研引擎，羲和计算引擎和玄武存储引擎。新增集成的开源引擎，Spark计算引擎和Hudi存储引擎。可以借助开源的能力为您提供更...
使用Tunnel命令或Tunnel SDK
MaxCompute的客户端（odpscmd）、Studio等数据上传下载工具均通过Tunnel功能实现数据的上传与下载，本文为您介绍如何使用Tunnel命令或Tunnel SDK上传数据至MaxCompute。前提条件 已经创建好MaxCompute项目，并用对应的工具连接MaxCompute。...
X-Engine简介
因为目标是面向大规模的海量数据存储，提供高并发事务处理能力和降低存储成本，在大部分大数据量场景下，数据被访问的机会是不均等的，访问频繁的热数据实际上占比很少，X-Engine根据数据访问频度的不同将数据划分为多个层次，针对每个层次...
客户案例
张炜宇 阿里妈妈基础共享技术开发平台总监“OceanBase 很好的满足了我们广告业务对于存储系统扩展性，并行计算，统计计算，高吞吐，低时延，资源隔离等大数据处理的需求，在报表业务的演进中帮助我们建立了一套业务和平台分离，面向效果...
产品优势
相比自建Redis数据库、云数据库Redis版以及其他内存数据库，云原生内存数据库Tair 在数据安全、运维、高可用、内核优化等方面都有一定的优势。Tair与自建Redis对比 对比项 云原生内存数据库Tair版 自建Redis 安全防护 事前防护：VPC网络...
数据组织优化
Compaction服务通过消除记录中间历史状态，可节省计算和存储成本，极大加速全量快照查询场景的效率，但也不是频率越高越好，首先执行一次也要读取一遍全量数据进行Merge，极大消耗计算和IO资源，并且生成的新BaseFile也会占据额外的存储...
计算成本控制
SQL作业计算成本控制 对于SQL计算作业，大部分费用较高的SQL都是由全表扫描引起的。另外，调度频繁也会引起SQL作业费用的增加，调度频繁可能会产生任务的堆积，在后付费的情况下会造成排队现象，如果任务多又出现了排队，那么第二天的账单...
EMR Workbench
阿里云EMR Workbench是一个综合性的大数据分析和开发环境，作为阿里云E-MapReduce的一部分，它提供了EMR Notebook和EMR Workflow两个核心功能。通过EMR Workbench，您可以轻松进行数据开发，以及交互式数据分析，并设计复杂的数据处理工作...
DBS沙箱功能概览
相比现有基于大数据平台的历史数据离线分析方案，DBS沙箱功能提供原始数据库SQL接口，不需要开发人员编写离线分析脚本，并由于使用快照存储机制，存储成本也更低。费用说明 更多信息，请参见 DBS沙箱费用。后续步骤 自建MySQL应急恢复...
JindoFS实战演示
云上计算云下数据：HDFS缓存加速 云上计算云下数据：HDFS缓存加速 2021-06-29 随着云计算越来越成熟，带来弹性扩容、运维方便、节省成本等优点，越来越多企业开始将大数据平台搬到云上。云下的HDFS集群存在历史数据，其中可能包含敏感数据...
PolarDB PostgreSQL版间的迁移
是：配置ETL功能，并在文本框中填写数据处理语句，详情请参见 在DTS迁移或同步任务中配置ETL。否：不配置ETL功能。保存任务并进行预检查。若您需要查看调用API接口配置该实例时的参数信息，请将鼠标光标移动至 下一步保存任务并预检查 按钮...
PolarDB PostgreSQL版（兼容Oracle）间的迁移
2.0版本引入了新的查询优化算法和存储引擎，提高了查询速度和并发处理能力，能够更快地处理大量数据，提升数据库的响应能力和性能。此外，2.0版本还引入了许多新的功能和增强功能，提供更好的用户体验和开发者工具。例如，改进了对JSON数据...
表设计规范
分区数量和数据量建议 建议单个分区中的数据量不要太大。应尽量避免分区数据倾斜，避免单个表不同分区的数据量差异超过100万。分区设计时应合理规划分区个数，较细粒度的分区在跨分区扫描时会影响SQL的执行性能。单个分区中数据量较大的...
构建数据仓库
方案优势：阿里巴巴大数据最佳实践，高性能、低成本、Serverless服务，免运维、全托管模式，让企业的大数据研发人员更聚焦在业务数据的开发、生产、治理。产品组合：MaxCompute+Flink+DataWorks。场景说明 用户数据来源丰富，包括来自云端...
PolarDB HTAP实时数据分析技术解密
在处理大数据量下复杂查询所需要的能力方面，如优化器处理子查询的能力、高性能算子HashJoin、SQL并行执行等。社区将其处于低优先级，因此MySQL的数据分析能力提升进展缓慢。随着MySQL的发展，用户使用其存储了大量的数据，并且运行着关键...
列存索引技术架构介绍
在处理大数据量下复杂查询所需要的能力方面，如优化器处理子查询的能力、高性能算子HashJoin、SQL并行执行能力等，MySQL社区一直将其放在比较低优先级上，因此，MySQL的数据分析能力提升进展缓慢。随着MySQL发展为世界上最为流行的开源数据...
概览
审计成本高，难度大。针对如上问题，DMS通过如下多个功能为您提供数据安全解决方案：功能项 说明 管理访问控制权限 通过权限细粒度管理，避免开发人员接触数据库账号密码。管理敏感数据 将敏感、机密字段（如手机号码）设置成敏感列（对...
引擎简介
核心能力 低成本 通过高密度低成本介质、智能冷热分离、高压缩比算法、自适应编码等技术，达到海量数据存储处理成本比自建低80%。云原生弹性 通过存计分离架构和Serverless技术，支持计算和存储资源的按需即时弹性。企业级稳定性 基于高...
应用场景
应用场景 1.实时数据通道 1.1 接入多种异构数据并投递到下游多种大数据系统 通过数据总线，您可以实时接...大数据实时化 数仓是大数据的基础，实时化的数仓能够让BI、报表、推荐（用户标签产出）等多种业务收益，大数据系统总体向实时化迈进。
核心自治技术案例解析
通过数据库自治服务DAS，可以帮助企业节省90%的数据库管理成本，降低80%的运维风险，让您可以更集中在业务创新，让业务持续行驶在快车道上。本文以双11期间的实际案例介绍DAS已拥有的核心自治特性：7x24实时异常检测、故障自愈、自动优化、...
HDFS概述
HDFS（Hadoop Distributed File System）是一种Hadoop分布式文件系统，具备高度容错特性，支持高吞吐量数据访问，可以在处理海量数据（TB或PB级别以上）的同时最大可能的降低成本。HDFS适用于大规模数据的分布式读写，特别是读多写少的场景...
通过向导模式配置离线同步任务
限流：您可以通过限流控制同步速率，以保护读取端数据库，避免抽取速度过大，给源库造成太大的压力。限速最小配置为1MB/S。不限流：在不限流的情况下，任务将在所配置的并发数的限制基础上，提供现有硬件环境下最大的传输性能。说明 流量...
MaxFrame概述
您可以用更熟悉、高效、便捷的方式利用MaxCompute的海量计算资源及数据进行大规模数据处理、可视化数据探索分析以及科学计算、ML/AI开发等工作。本文为您介绍MaxFrame背景信息、功能介绍及使用场景。版本说明 当前MaxCompute MaxFrame功能...
产品优势
AnalyticDB MySQL版 提供融合数据库、大数据技术于一体的云原生企业级数据仓库服务，高度兼容MySQL，支持毫秒级更新，亚秒级查询。无论是数据湖中的非结构化或半结构化数据，还是数据库中的结构化数据，您都可使用 AnalyticDB MySQL 构建...
成本
对象存储（OSS）是阿里云推出的存储服务，具备数据量大、成本低、安全性高、可靠性高的特点，能够满足多种场景的存储需求，存储成本低至 0.12元/GB/月。AnalyticDB PostgreSQL版 支持通过外表方式对OSS存储服务进行访问，支持对OSS的数据...
文档更新动态（2022年之前）
更新说明 计费说明 系统将依据您选择的数据处理单元规格分配不同的默认调度资源，选购的规格越高，分配的调度资源越多，可以支持的任务并发数越大，计算处理速度也相应提升。更新说明 2021年08月24日 数据源：可支持的数据源类型和版本拓展...
减灾与应急时空解决方案与案例
公司主营OpenRIS灾害风险大数据平台提供了海量灾害数据的快速地图展示、统计查询、切割下载、上传数据定制化在线分析等功能，实现了灾害数据与模型一体化云服务。在数据与系统上云过程前，遇到了如下挑战：长期积累的时空数据类型多、数据...
互联网、电商行业离线大数据分析
概述 电商网站的销售数据通过大数据进行分析后，可以在大屏幕展示销售指标、客户指标、销售排名和订单地区分布等业务指标数据。DataV大屏支持可视化动态展示销售数据，触控大屏支持您自助查询数据，极大地提高数据的可读性。应用场景 电商...
- 产品推荐
- 这些文档可能帮助您