基于DLF、RDS或Flink、OSS支持Delta Lake或Hudi存储...
背景信息 通常，企业构建和应用数据湖需要经历数据入湖、数据湖存储与管理、数据探索与分析过程。MaxCompute基于阿里云DLF（Data Lake Formation）、RDS（Relational Database Service）或Flink、OSS（Object Storage Service）产品提供了...
时空服务介绍
应用场景 适用于车联网、物流、交通规划、自动驾驶等基于流式数据且对实时性要求较高的时空数据管理与查询场景。场景 示例 电子围栏 实时计算多个车辆的位置，判断目标对象是否离开地理围栏区域。轨迹生成 回溯车辆的行驶轨迹、基于多条...
镜像介绍
Drupal 8.5.6 Drupal是一个开源的，且非常优秀的内容管理系统（CMS）平台，用于构造提供多种功能和服务的动态网站，它综合了强大并可以配置的功能，能支持从个人博客到大型社区等各种不同应用的网站项目。该镜像基于CentOS 7.3 64位操作...
快速上手可观测链路 OpenTelemetry 版
OpenTelemetry 版 通过Jaeger上报Go应用数据 通过SkyWalking上报Go应用数据 通过Zipkin上报Go应用数据 Python应用 通过OpenTelemetry上报Python应用数据 通过SkyWalking上报Python应用数据 通过Jaeger上报Python应用数据 Node.js应用 通过...
通过DataWorks将Hadoop数据同步到阿里云ES
当您基于Hadoop进行交互式大数据分析查询，遇到查询延迟的问题时，可以将数据同步至阿里云Elasticsearch中再进行查询分析。ES对于多种查询类型，特别是即席查询（Ad Hoc），基本可以达到秒级响应。本文介绍通过DataWorks的数据集成服务，...
AnalyticDB PostgreSQL版7.0版本
数据脱敏能够根据不同的用户，应用不同的脱敏函数将原始数据以脱敏后的形式展示，从而实现对敏感隐私数据的保护，提高数据的安全性。企业级能力 存储过程 支持存储过程语法CREATE FUNCTION和CREATE PROCEDURE。生成列 支持生成列...
搭建与管理（基于Hadoop）
通过MaxCompute与Hadoop构建湖仓一体方案旨在实现对海量数据的统一管理、存储和分析，提供了一个既能处理结构化、半结构化数据，又能满足高并发分析需求的一体化数据平台。本文为您介绍如何通过MaxCompute与Hadoop构建湖仓一体，以及管理湖...
外部表
MaxCompute 大数据计算服务MaxCompute为您提供快速且完全托管的数据仓库解决方案，并可以通过与OSS的结合，高效经济地分析处理海量数据。MaxCompute外部表 该功能基于MaxCompute新一代的V2.0计算框架，可以帮助您直接对OSS中的海量文件进行...
应用场景
大数据存储与分析 传统的数据分析场景下，用户需要把数据从在线数据库（Operational Database）复制到离线数据仓库（Data Warehouse）上之后再进行数据分析，这需要海量数据的多次复制、传输、加载和存储等多方面工作。HybridDB for MySQL...
JindoFS块存储模式
本文主要介绍JindoFS的块存储模式（Block），以及一些典型的应用场景。概念 块存储模式提供了最为高效的数据读写能力和元数据访问能力，并且能够支持更加全面的Hadoop文件系统语义。同时，JindoFS也提供了外部客户端，能够从集群外部访问...
应用场景
但数据体系复杂、数据不统一，数据分析速度和数据准确一致性难保障，战略决策与数据化运营受阻。解决方案：数据融合：通过数据引入功能，将业务系统数据集成、融合一体，统一基础数据。数据建模：通过规范建模功能，结合业务发展需求，自顶...
Serverless模式
AnalyticDB PostgreSQL版 全新推出Serverless模式，利用云基础设施提供的资源池化和海量存储能力，结合传统MPP数据库技术、离在线一体化技术和Serverless技术，实现了计算存储分离、秒级扩缩容和多实例数据实时共享的特性。简介 AnalyticDB...
应用场景
阿里云Elasticsearch具有广泛的应用场景，包括日志分析与运维全观测、信息...还能借助Kibana，完成业务数据的统计分类以及大盘的搭建，从而在电子商务、移动应用、广告媒体等多个场景下，高效统计并分析海量数据，深入挖掘业务的数据价值。
Hive连接器
hive.force-local-scheduling 强制将分片规划到与处理该分片数据的Hadoop DataNode服务相同的节点上。此配置方式对于Presto与每个DataNode并置的安装很有用，可以提升并置安装的效率。默认值为false。hive.respect-table-format 新分区应...
选择付费方式
统计CU时可以通过作业元数据（Information_Schema）视图的 TASKS_HISTORY 统计，详情请参见 按照项目实际消耗的计算资源数量规划计算资源。Hadoop用户上云迁移的付费方式。某个Hadoop集群可能有1个管控节点以及5台计算节点，每台机器32核，...
使用MapReduce处理JindoFS上的数据
Hadoop MapReduce是一个使用简易的软件框架，基于它写出来的应用程序能够运行在由上千个商用机器组成的大型集群上，并以一种可靠容错的方式并行处理上T级别的数据集。一个MapReduce作业通常会把输入的数据集切分为若干独立的数据块，由Map...
受众与核心能力
总之，使用DataWorks，您不仅可以进行海量数据的离线加工分析，还能完成数据的汇聚集成、开发、生产调度与运维、离线与实时分析、数据质量治理与资产管理、安全审计、数据共享与服务、机器学习、应用搭建等覆盖大数据全生命周期的最佳实践...
数据集市
数据集市是基于业务分类，面向特定应用场景或者产品的数据组织。通常位于数据应用层，依赖于公共层的整合数据。本文为您介绍如何创建数据集市并管理主题域。前提条件 已创建业务分类，用于对指定业务进行特定场景化的细分。详情请参见 业务...
迁移ECS实例至轻量应用服务器
由于业务的需要，您可以将ECS实例中部署的网站程序迁移至轻量应用服务器。本文介绍如何迁移ECS实例至轻量应用服务器。前提条件 已创建与ECS实例操作系统版本相同的轻量应用服务器。具体操作，请参见 创建轻量应用服务器。说明 如果您已创建...
应用概述
应用是ARMS应用监控的被监控主体，为Java应用安装探针后，ARMS即可开始监控Java应用，您可以查看应用拓扑、调用链路、异常事务、慢事务和SQL分析等一系列监控数据。应用的生命周期 从接入应用开始到删除应用结束，应用可能处于不同的状态和...
数据质量教程概述
基于这份网站日志，您可以统计并展现网站的浏览次数（PV）和独立访客（UV），并能够按照用户的终端类型（如Android、iPad、iPhone、PC等）和地域分别统计。在整体数据链路的处理过程中，为保证最终产出数据的质量，您需要对数据仓库ODS、...
添加宜搭数据源
宜搭是阿里巴巴自研的低代码应用构建平台，您可以通过可视化拖拽的方式，快速完成数据应用的搭建。本文为您介绍在DataV中添加和使用宜搭数据源的方法，以及相关参数配置说明。前提条件 已通过钉钉登录 宜搭控制台 创建一个宜搭应用数据表单...
自动弹性扩缩容
配置项 描述 推荐使用场景 应用提供服务平均每秒请求量 基于过去1分钟数据统计，该应用每个实例平均每秒接收到的服务请求量，数据源来自EDAS产品应用监控。适用于微服务流量的应用。应用提供服务平均响应时间（毫秒）基于过去1分钟数据统计...
功能特性
通过OpenTelemetry上报Go应用数据 通过Jaeger上报Go应用数据 通过Zipkin上报Go应用数据 通过SkyWalking上报Go应用数据 接入Python应用 支持通过OpenTelemetry、Skywalking、Jaeger上报Python应用性能数据。通过OpenTelemetry上报Python应用...
添加宜搭数据源
宜搭是阿里巴巴自研的低代码应用构建平台，您可以通过可视化拖拽的方式，快速完成数据应用的搭建。本文为您介绍在DataV中添加和使用宜搭数据源的方法，以及相关参数配置说明。前提条件 已通过钉钉登录 宜搭控制台 创建一个宜搭应用数据表单...
JindoFS介绍和使用
JindoFS是基于阿里云对象存储OSS，为开源大数据生态构建的Hadoop兼容文件系统（Hadoop Compatible File System，HCFS）。JindoFS提供兼容对象存储的纯客户端模式（SDK）和缓存模式（Cache），以支持与优化Hadoop和Spark生态大数据计算对OSS...
功能特性
通过OpenTelemetry上报Go应用数据 通过Jaeger上报Go应用数据 通过Zipkin上报Go应用数据 通过SkyWalking上报Go应用数据 接入Python应用 支持通过OpenTelemetry、Skywalking、Jaeger上报Python应用性能数据。通过OpenTelemetry上报Python应用...
创建数仓分层
应用数据层 ADS（Application Data Service）ADS层用于存放数据产品个性化的统计指标数据，输出各种报表。例如，某电商企业，在6月9日至6月19日，杭州地域出售的各大球类商品的数量及排行情况。公共维度层 DIM（Dimension）DIM层使用维度...
功能发布记录
统一语言 创建与管理限界上下文 创建和管理领域事件 微服务开发平台 新工作台发布，中心应用与托管应用在微服务开发平台透出。代码仓库管理：云效公有云代码仓库支持授权模式，无需配置凭证，授权后可创建代码仓库或关联有权限的代码仓库。...
Napatech案例
Lindorm支持海量数据的低成本存储、快速批量导入和实时访问，具备高效的增量及全量数据通道，可轻松与各类大数据平台集成，完成数据的大规模离线分析。基于Lindorm的解决方案，用户在采用到100Gbps+流量产生的大量数据包元数据直接通过...
创建Hive数据源
背景信息 Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供SQL查询功能。Hive用于转化HQL或SQL语句为MapReduce、Tez等程序。Hive处理的数据存储在HDFS中。Hive分析数据底层的实现是MapReduce、Tez等...
数仓分层
在阿里巴巴的数据体系中，我们建议将数据仓库分为三层，自下而上为：数据引入层（ODS，Operation Data Store）、数据公共层（CDM，Common Data Model）和数据应用层（ADS，Application Data Service）。数据仓库的分层和各层级用途如下图所...
构建数据仓库
实时数据：按实际业务需求使用Flink进行实时ETL（可选）、结果入库，使用交互式分析产品构建实时数据仓库、应用集市，并提供海量数据的实时交互查询和分析。交互式分析：提供实时离线联邦查询。历史离线数据存放于MaxCompute，实时分析数据...
数仓分层
在阿里巴巴的数据体系中，我们建议将数据仓库分为三层，自下而上为：数据引入层（ODS，Operation Data Store）、数据公共层（CDM，Common Data Model）和数据应用层（ADS，Application Data Service）。数据仓库的分层和各层级用途如下图所...
应用场景
网页或者移动应用的静态和动态资源分离 利用海量互联网带宽，OSS可以实现海量数据的互联网并发下载。OSS提供原生的 传输加速 功能，支持上传加速、下载加速，提升跨国、跨洋数据上传、下载的体验。同时，OSS也可以结合CDN产品，提供静态...
应用场景
实时地理围栏：实时数据的地理围栏报警，需要支持对接实时计算进行实时数据统计分析。海量车辆管理：海量车辆的诸多状态信息的数据管理与查询分析，需要支持对接批计算进行海量历史数据查询分析。车联网架构图如下图所示。车辆数据通过MQTT...
持久内存型
适用场景 海量数据下对性能与成本要求高的场景 计算中间数据对性能的要求很高，采用Redis社区版成本较高，如果采用HBase之类的数据库存储数据则可能无法满足性能需求。采用持久存储型实例保障数据持久化的同时提供近乎Redis社区版的吞吐和...
持久内存型
适用场景 海量数据下对性能与成本要求高的场景 计算中间数据对性能的要求很高，采用Redis社区版成本较高，如果采用HBase之类的数据库存储数据则可能无法满足性能需求。采用持久存储型实例保障数据持久化的同时提供近乎Redis社区版的吞吐和...
典型应用
云数据库ClickHouse应用场景介绍。交互式报表 基于ClickHouse和BI工具构建实时运营监控报表 利用ClickHouse构建实时交互式报表，实时分析订单、收入、用户数等核心业务指标；构建用户来源分析系统，跟踪各渠道PV、UV来源。海量数据实时多维...
数据服务概述
数据服务（OneService）是基于Dataphin建设数据中台的最后一步。数据服务作为统一的数据服务出口，实现了数据的统一市场化管理，有效地降低数据开放门槛的同时，保障了数据开放的安全。前提条件 已购买 数据服务 增值服务，开通Dataphin ...
- 产品推荐
- 这些文档可能帮助您