消费-搭建监控系统
众多应用比如OTS、ODPS、CNZZ等利用日志服务logtail收集日志数据，利用API消费数据，导入下游实时统计系统或者离线系统做分析统计。作为一个基础设施，日志服务具备：可靠性：经过多年阿里集团内部用户的检验，经历多年双十一考验，保证...
功能简介
同时，随着数据量剧增，在海量数据中快速发现高质量的洞察报告，需要花费大量时间进行数据分析，从而才有可能提取有效知识。为了将业务人员从重复、无效的分析工作释放出来，并通过智能化的能力帮助业务管理者、运营、业务分析师等人员高效...
什么是数据管理DMS
AnalyticDB MySQL版：云原生数据仓库AnalyticDB MySQL版是融合数据库、大数据技术于一体的云原生企业级数据仓库服务。AnalyticDB MySQL版支持高吞吐的数据实时增删改、低延时地实时分析复杂ETL（Extract Transform Load），兼容上下游生态...
企迈云商
解决方案 企迈使用阿里云DAS数据库自治服务，支持多种数据库类型、多个数据库实例的批量管理，提供 巡检评分、监控大盘 等能力，能够快速定位到异常实例。DAS通过 7*24小时异常检测，自动检测到实例出现异常，并触发根因分析，定位异常的...
什么是Quick Audience
数据集：数据集是在Quick Audience里的一个概念，Quick Audience里的圈选和分析大部分都是基于数据集来做的。数据集是数据表在Quick Audience里的一种映射，将物理表的字段在Quick Audinece里配置映射关系后，就可以保存生成一个数据集。...
什么是数据库网关
全生态服务：通过数据库网关，各种数据库产品将逐步接入，实现跨云和云上云下的全生态服务（如数据库迁移、容灾、跨库JOIN、数据分析、数据安全等能力），保证您享受云端数据库产品带来的一致性服务。数据库网关的更多功能特性和场景，请...
应用场景
解决方案：与品牌数据银行能力深度融合，实现分别在阿里云及生态内为客户提供服务，并实现品牌一方数据、平台二方数据的一键高效互通互用，全面提能提效品牌全域消费者运营。与达摩盘链路打通，实现品牌自有消费者资产的一方人群和阿里域内...
汇联易实战：RDS通用云盘助力突破性能瓶颈
本案例将介绍上海甄汇信息科技有限公司在面临多个业务挑战时，通过选择阿里云瑶池数据库RDS MySQL，并升级存储介质为通用云盘，同时启用IO突发功能，成功应对并解决了业务高峰期数据库查询速度慢的性能瓶颈问题，使SaaS服务能够在关键时刻...
什么是Quick Tracking
多模型即时分析 提供常用的流量分析模型，在模型能力范围内，客户可以根据自身需求，无需数据同学开发，自助进行数据分析。支持事件分析、留存分析、漏斗分析、用户洞察等9种模型，所有分析模型都可做到秒级数据返回，大大提升数据的获取...
将云消息队列 Kafka 版的数据迁移至MaxCompute
本文介绍如何使用DataWorks数据同步功能，将 云消息队列 Kafka 版 集群上的数据迁移至阿里云大数据计算服务MaxCompute，方便您对离线数据进行分析加工。前提条件 在开始本教程前，确保您在同一地域中已完成以下操作：云消息队列 Kafka 版 ...
2020年
2020-12-07 所有区域 消费监控告警 查询编辑器支持查询加速提升数据分析能力 MaxCompute数据分析查询模式原先是离线模式，此次发布查询模式支持MaxCompute查询加速，对于中、小数据量查询作业将执行时间从分钟级缩减至秒级，即查速度上提升...
背景信息以及准备工作
背景信息 DLA作为无服务化的大数据分析服务，通过标准的SQL语句直接对存储在阿里云对象存储服务（Object Storage Service，简称 OSS）、表格存储（Table Store）中的数据进行清洗。例如，使用DLA对OSS中的历史数据按天进行清洗。DataWorks...
东软案例
如下图所示，阿里Lindorm数据库在赋能政企数字运维团队更强大的运维大数据分析能力的同时，大幅度提升了政府、企业数字系统性能和在线服务的客户数字体验，降低了低价值密度监控数据存储管理成本。图 1.阿里云Lindorm数据库驱动的IT运维...
DataWorks on EMR数据安全方案
在大数据领域，阿里云为企业用户提供了一整套数据安全方案，包含用户认证、数据权限、大数据作业管理体系等。本文以联合使用DataWorks与EMR为例，为您介绍DataWorks on EMR场景下的数据安全方案。背景信息 DataWorks on EMR目前支持LDAP...
Serverless Presto概述
因此它采用全内存流水线化的执行引擎，相较于其它引擎会把中间数据落盘的执行方式，Presto在执行速度上有很大的优势，特别适合用来做Adhoc查询、BI分析、轻量级ETL等数据分析工作。阿里云数据湖分析团队在Presto之上又进行了很多的优化，...
什么是数据库网关
DG相关服务 相关服务 说明 数据传输服务DTS 数据传输服务DTS（Data Transmission Service）是阿里云提供的实时数据流服务，支持关系型数据库（RDBMS）、非关系型的数据库（NoSQL）、数据多维分析（OLAP）等数据源间的数据交互，集数据同步...
通过数据同步功能同步SLS至湖仓版（推荐）
本文介绍如何添加SLS数据源，新建SLS同步链路并启动任务，以及数据同步后如何进行数据分析和数据源管理。前提条件 已创建 AnalyticDB MySQL 湖仓版（3.0）集群。具体操作，请参见 创建集群。已创建Job型资源组。具体操作，请参见 新建资源...
典型使用场景
数据查询分析 AnalyticDB PostgreSQL版 既通过索引排序等特性支持高并发低延时的多维度点查范围查场景，也通过向量化引擎，CBO优化器，列式存储支持大数据量多表关联聚合的复杂分析场景。例如，数据类业务应用对ADS层数据进行快速查询；...
产品架构
EMR自研能力 为让开源大数据组件和服务更好的运行在阿里云技术设施上，EMR自研了如下组件：数据应用平台，提供交互式开发、作业提交、作业调试和工作流一站式数据开发体验，详情请参见 EMR Studio概述。Shuffle Service是EMR在优化计算引擎...
监控与日志
日志服务一站式提供数据采集、加工、查询与分析、可视化、告警、消费与投递等功能，全面提升您在研发、运维、运营、安全等场景的数字化能力。更多信息，请参见 什么是日志服务。云企业网已接入日志服务，您可通过云企业网的流日志功能开通...
MaxCompute账单用量明细分析
背景信息 MaxCompute是一款大数据分析平台，其计算资源的计费方式分为包年包月和按量付费两种。MaxCompute每天以项目为维度进行计费，账单会在第二天06:00前生成。更多MaxCompute计量计费信息，请参见 计费项与计费方式概述。MaxCompute会...
用户价值
数据资源平台为用户提供了一站式数据资产定义、生产、管理与服务平台，提供企业级数据资产构建能力和一致性使用体验，助力客户快速构建数据智能平台，实现数据资源统一管理，挖掘潜在规律，优化业务决策，让大数据真正的驱动客户业务。...
应用场景
数据实时分析 传输方式：数据订阅 数据分析在提高企业洞察力和用户体验方面发挥着举足轻重的作用，且实时数据分析能够让企业更快速、灵活地调整市场策略，适应快速变化的市场方向和消费者体验。DTS提供的数据订阅功能，可以在不影响线上...
通过DMS连接StarRocks实例
类别 配置项 说明 数据来源-选择 阿里云>大数据>StarRocks。基本信息 数据库类型 StarRocks。实例地区 选择在EMR控制台创建的StarRocks实例所在的地域。其他主账号 如果您选择 跨阿里云账号实例，则会出现该配置项。选择数据库实例所属的...
常见问题
具备智能、高效的数据分析能力：秒级分析百亿级数据能力、智能运维（AIOps）能力、智能异常检测与根因分析能力。提供弹性、低成本的云服务：日志服务是全托管免运维的云服务，具备每天PB级别的弹性伸缩能力。支持按量付费，您仅需为实际...
Delta Lake概述
背景信息 通常的数据湖方案是选取大数据存储引擎构建数据湖（例如，阿里云对象存储OSS产品或云下HDFS），然后将产生的各种类型数据存储在该存储引擎中。在使用数据时，通过Spark或Presto对接数据分析引擎并进行数据解析。但该套方案存在...
实时数据消费概述
实时数据源消费 Kafka数据集成是实时分析功能的另一个组件，它允许 AnalyticDB PostgreSQL版 数据库实时地从Kafka Topic中消费数据。为您提供了一个强大的工具，用于结合流处理和批处理的数据分析。更多信息，请参见 实时数据源集成。使用...
概述
应用场景 实时数据分析是Apache Druid最典型的使用场景。该场景涵盖的面很广，例如：实时指标监控 推荐模型 广告平台 搜索模型 Apache Druid架构 Apache Druid拥有优秀的架构设计，多个组件协同工作，共同完成数据从摄取到索引、存储和查询...
互联网、电商行业离线大数据分析
方案介绍 实现互联网、电商行业离线大数据分析的流程如下：同步用户订单等数据至MaxCompute。通过DataWorks对原始数据进行处理，并形成开放API。以API的形式通过DataV在大屏上展示结果数据。方案优势 大规模存储：超大规模存储且自动扩容，...
聚合支付方案
阿里云从业务扩展性、数据流动性、服务高可用三方面入手，通过多款云数据库产品为利楚扫呗制定聚合支付方案，解决利楚扫呗在业务扩展期遇到的数据存储空间不足、读写性能下降以及大数据分析空缺等问题。业务痛点 武汉利楚商务服务有限公司...
文档修订记录
订阅成功后，账单数据会定时同步至MaxCompute，您可使用DataWorks的数据分析功能查询并分析账单数据，将分析结果生成可视化图表卡片及报告，同时，也可将您的阿里云消费分析报告分享给其他用户。账单数据订阅及查询分析 2024.2.21 新增功能...
配置同步实例
当目标实例为阿里云分析型数据库MySQL版时，传入分析型数据库MySQL版的集群ID。DestinationEndpoint.InstanceType String 否 RDS 目标实例类型，取值为：Redis：阿里云Redis实例。RDS：阿里云RDS实例。PolarDB：阿里云PolarDB集群（仅支持...
Grafana接入阿里云时序数据库TSDB For InfluxDB®️...
将阿里云时序数据库TSDB For InfluxDB®接入Grafana后，您可以利用Grafana的丰富易用的可视化工具更好地监控和分析来自阿里云时序数据库TSDB For InfluxDB®的数据。本文介绍如何将阿里云时序数据库TSDB For InfluxDB®接入Grafana。前置...
客户案例
大数据处理能力：随着阿里巴巴集团业务的高速发展，推广营销在商业引流上的重要性越发明显，报表作为营销产品的闭环，其诉求也越发的多样化、个性化，报表数据在近几年的发展中在量级上已经增长到TB甚至数十 TB 的规模。这个时候存储系统的...
2019年
概述 通过Tunnel迁移日志数据至MaxCompute 通过DataHub迁移日志数据至MaxCompute 通过DataWorks数据集成迁移日志数据至MaxCompute 通过日志服务迁移日志数据至MaxCompute 2019-12-25 新增开源地理空间UDF。新功能 您可以将开源地理空间UDF...
Logstash性能排查
您可以选择其中一种方式，也可以将这三种方式结合起来使用：大数据量场景，可根据Logstash节点数乘以消费者线程数评估Kafka的topic分区数。说明 分区数并不是越多越好，分区本身也有自己的开销。使用相同的group_id运行多个Logstash实例，...
使用限制
不提供永久文件存储功能，会定期(7+天)清除您的文件，重要转储文件请务必提前使用OSS或其他方式存储 应用诊断分析平台免费提供50GB临时可用空间供您分析 应阿里云安全监管要求，为了最大程度保护用户数据，应用诊断分析平台只能访问以 ...
第三方数据源授权数据分析确认书
第三方数据源授权数据分析确认书如您选择配置同步多个数据源，您同意：1、您理解并确认，您经签署或页面点击本《数据分析确认书》，即同意、并委托阿里云开放搜索/智能推荐服务对该等数据源进行同步及分析处理。阿里云将按照您的指令同步、...
按扫描量付费
您可以登录 数据湖分析管理控制台，通过 费用>订单 查看消费记录。如何节省费用 您可以先通过以下3种方式对原始数据进行处理，然后再使用DLA扫描数据，可以节省一定的费用。格式转换：把原始数据的格式转换为高性能格式。DLA支持多种高性能...
Flink VVP+DLF数据入湖与分析实践
背景信息 阿里云实时计算Flink版是一套基于Apache Flink构建的实时大数据分析平台，支持多种数据源和结果表类型。Flink任务可以利用数据湖统一存储的优势，使用Hudi结果表或Iceberg结果表，将作业的结果输出到数据湖中，实现数据湖分析。在...
- 产品推荐
- 这些文档可能帮助您